数据科学 Skill技能列表

ApacheSpark优化器Skill ApacheSparkOptimizer

4.5

Apache Spark 优化器是一款专注于提升大数据处理效率的专业技能。它通过深度分析 Spark 作业的执行计划、数据分区和资源配置,提供针对性的代码优化、参数调优和策略建议,旨在显著降低作业运行时间、减少计算资源消耗并节约成本。核心功能包括数据倾斜治理、Shuffle 优化、缓存策略推荐和集群配置调优,适用于 ETL、流处理和数据迁移等多种大数据场景。关键词:Spark优化,大数据性能调优,分布式计算,ETL加速,成本节约,数据倾斜处理,执行计划分析。

Pymoo多目标优化框架Skill pymoo

4.5

Pymoo是一个Python多目标优化框架,用于解决单目标和多目标优化问题。它支持NSGA-II、NSGA-III、MOEA/D等算法,处理Pareto前沿、约束条件,并提供基准测试问题如ZDT、DTLZ。适用于工程设计、机器学习、量化金融等领域的优化任务。关键词:多目标优化、Python框架、NSGA-II、Pareto前沿、约束处理。

回归分析器Skill regression-analyzer

4.5

回归分析器技能是一个用于科学数据建模的专业工具,专注于执行全面的回归分析。它能够进行线性与广义模型拟合、模型诊断、处理多重共线性、生成预测并解释系数。该技能适用于量化金融、预测建模、数据分析、统计套利、因子挖掘、风险管理等场景,是数据科学家和量化研究员进行关系探索、效应估计和变量选择的强大助手。

LaminDBSkill lamindb

4.5

LaminDB 是一个开源的生物数据管理框架,旨在使数据可查询、可追溯、可复制且符合 FAIR 原则。它支持生物数据集管理、计算工作流跟踪、数据注释与验证、生物本体集成等,适用于 scRNA-seq、空间转录组学等生物学研究。关键词:LaminDB, 生物数据管理, FAIR, 数据治理, 工作流跟踪, scRNA-seq, 数据湖。

流处理Skill stream-processing

4.5

流处理技能专注于实时数据处理技术,用于构建事件驱动系统和流分析应用。它涉及使用框架如Apache Kafka、Apache Flink等处理无界数据流,支持低延迟响应、窗口操作、状态管理和精确一次交付。关键词:流处理、实时数据、事件流、Kafka、Flink、流分析、数据管道、事件驱动架构。

Kafka流管理Skill kafka-streaming

4.5

这个技能用于管理和监控Kafka流处理平台,包括主题创建、消费者组状态检查、延迟分析、broker健康评估等。适用于数据工程师、DevOps工程师和系统管理员,帮助优化数据流管道和确保系统稳定性。关键词:Kafka, 流管理, 主题管理, 消费者组, 延迟监控, broker健康, 数据工程, 消息队列。

数据流设计Skill data-flow

4.5

数据流设计技能用于根据需求描述设计和实施数据管道架构,包括数据源集成、转换处理、目标系统部署,支持批处理、流处理、Lambda、Kappa等多种模式,适用于数据仓库、数据湖、机器学习、商业智能等应用场景。关键词:数据管道、ETL、流处理、数据架构、数据工程、Spark、Flink、Kafka、数据湖仓。

GIUHArcGIS水文提取工具箱Skill giuh-arcgis-extraction

4.5

本技能用于在 ArcGIS 10.6(Python 2.7)环境中构建和运行地貌瞬时单位线(GIUH)工具箱,实现 DEM 提取河网与流域(Strahler分级)、交互式出口点选择、Horton 比率计算、GIUH 概率密度(超指数分布)、等效 Nash 单位线及时段单位线(DUH)。涵盖 GIUH 特定代码模式(Python 2.7 安全的 CSV/JSON/matplotlib 写入、无 numpy 的栅格分区统计、子流域栅格掩膜提取)及 3 文件工具箱打包。关键词:ArcGIS 10.6、Python 2.7、GIUH、地貌单位线、DEM 水文提取、Strahler 分级、Horton 比率、Nash 单位线、流域提取、栅格处理、py2.7 兼容、工具箱打包。

运营仪表板生成器Skill operational-dashboard-generator

4.5

运营仪表板生成器是一款用于创建实时运营绩效监控系统的专业技能工具,专注于KPI(关键绩效指标)可视化、数据仪表板设计、业务智能分析和实时告警配置。该工具支持从制造执行系统(MES)、企业资源计划(ERP)等多源数据集成,提供从执行层到车间层的多层可视化视图,帮助企业实现运营数据可视化、绩效监控数字化和决策支持智能化。核心功能包括:实时数据仪表板、KPI计算与追踪、趋势分析图表、阈值告警系统、移动端访问和钻取式报告。适用于制造业运营监控、供应链可视化管理、质量控制和业务流程优化等场景。

治理与主权书记员Skill governance-sovereignty

4.5

该技能用于处理与土著治理和主权主张相关的历史文档分析。作为治理与主权书记员,其主要职责是遵循严格的协议,手动分析JSON格式的文档任务,提取关于首席/理事会职权、土地所有权主张、自治实践以及抵制联邦政府强制措施的证据。工作流程包括获取任务、手动语义分析、生成符合法律级标准的JSON分析报告、提交结果以及处理异常。核心要求是保持中立、仅使用事实性语言、逐字引用,并严格避免自动化分析或主观推断。适用于历史研究、法律证据整理、土著权利主张支持等领域。 关键词:治理 主权 书记员 文档分析 证据提取 JSON处理 法律级标准 土著权利 历史研究 手动分析 协议遵循 数据治理

Dask并行计算库Skill dask

4.5

Dask是一个用于并行和分布式计算的Python库,能够处理超出内存的数据集,提供类似Pandas和NumPy的API,适用于大数据处理、数据工程和科学计算。关键词:并行计算、分布式计算、大数据处理、Python数据工程。

数据完整性守护者Skill data-integrity-guardian

4.5

数据完整性守护者是一种专注于数据库迁移安全、数据约束验证、事务边界审查、引用完整性保护和隐私合规的技能。用于确保数据库操作的可靠性,防止数据丢失和腐败,维护数据治理标准。关键词:数据完整性、数据库迁移、数据治理、ACID属性、GDPR合规、数据安全、事务管理、引用完整性、隐私保护。