数据科学 Skill技能列表
Excel转YML转换器Skill xls2yml
Excel转YML转换器是一款将Excel表格中的域和表架构转换为Starlake YAML配置文件的工具。适用于数据工程团队,简化数据模型管理流程,支持批量文件转换、自定义输出目录、IAM策略标签集成等功能,提高数据治理效率。关键词:Excel转YML、Starlake、数据工程、配置管理、ETL开发、数据治理。
LaminDBSkill lamindb
LaminDB 是一个开源的生物数据管理框架,旨在使数据可查询、可追溯、可复制且符合 FAIR 原则。它支持生物数据集管理、计算工作流跟踪、数据注释与验证、生物本体集成等,适用于 scRNA-seq、空间转录组学等生物学研究。关键词:LaminDB, 生物数据管理, FAIR, 数据治理, 工作流跟踪, scRNA-seq, 数据湖。
Postgresql技能Skill postgresql
全面协助PostgreSQL开发,由官方文档生成。
流处理Skill stream-processing
流处理技能专注于实时数据处理技术,用于构建事件驱动系统和流分析应用。它涉及使用框架如Apache Kafka、Apache Flink等处理无界数据流,支持低延迟响应、窗口操作、状态管理和精确一次交付。关键词:流处理、实时数据、事件流、Kafka、Flink、流分析、数据管道、事件驱动架构。
Dask并行计算库Skill dask
Dask是一个用于并行和分布式计算的Python库,能够处理超出内存的数据集,提供类似Pandas和NumPy的API,适用于大数据处理、数据工程和科学计算。关键词:并行计算、分布式计算、大数据处理、Python数据工程。
敏感性分析工具包Skill sensitivity-analysis-toolkit
本工具包是一个专注于数学优化的敏感性分析解决方案,主要用于评估优化模型的鲁棒性。核心功能包括对偶变量计算、影子价格分析、参数规划、紧约束识别和后最优性分析。它帮助用户理解模型参数变化对最优解的影响,支持鲁棒优化建模,适用于金融、工程、供应链等领域的决策支持系统。 关键词:敏感性分析,优化模型,对偶变量,影子价格,参数规划,鲁棒优化,后最优性分析,数学建模,决策支持
数据架构Skill data-architecture
数据架构技能专注于现代数据平台设计,包括数据湖、数据湖屋、数据仓库和数据网格等模式的选用与实施,涉及数据存储策略、架构权衡和治理。关键词:数据架构、数据湖、数据湖屋、数据网格、数据平台设计、数据存储策略、ACID事务、数据治理。
数据转换Skill transforming-data
数据转换技能涉及使用ETL/ELT模式、SQL(如dbt)、Python库(如pandas、polars、PySpark)和编排工具(如Airflow)将原始数据处理成可用于分析的数据集,适用于数据管道构建、增量加载、性能优化和数据质量保障。关键词:数据转换、ETL开发、数据工程、数据管道、dbt、Airflow、SQL、Python、数据仓库。
治理与主权书记员Skill governance-sovereignty
该技能用于处理与土著治理和主权主张相关的历史文档分析。作为治理与主权书记员,其主要职责是遵循严格的协议,手动分析JSON格式的文档任务,提取关于首席/理事会职权、土地所有权主张、自治实践以及抵制联邦政府强制措施的证据。工作流程包括获取任务、手动语义分析、生成符合法律级标准的JSON分析报告、提交结果以及处理异常。核心要求是保持中立、仅使用事实性语言、逐字引用,并严格避免自动化分析或主观推断。适用于历史研究、法律证据整理、土著权利主张支持等领域。 关键词:治理 主权 书记员 文档分析 证据提取 JSON处理 法律级标准 土著权利 历史研究 手动分析 协议遵循 数据治理
敏感性分析-不确定性量化Skill sensitivity-analysis-uq
该技能提供一套完整的全局敏感性分析(GSA)方法,用于量化模型输出对输入参数变化的敏感程度。核心功能包括计算Sobol指数、执行Morris筛选、进行FAST分析等,帮助用户识别关键输入变量、理解模型行为、优化模型设计并支持不确定性量化(UQ)研究。适用于金融建模、工程仿真、环境科学等领域的模型验证与风险评估。关键词:敏感性分析,不确定性量化,Sobol指数,Morris方法,FAST,方差分解,模型验证,风险评估。
Pymoo多目标优化框架Skill pymoo
Pymoo是一个Python多目标优化框架,用于解决单目标和多目标优化问题。它支持NSGA-II、NSGA-III、MOEA/D等算法,处理Pareto前沿、约束条件,并提供基准测试问题如ZDT、DTLZ。适用于工程设计、机器学习、量化金融等领域的优化任务。关键词:多目标优化、Python框架、NSGA-II、Pareto前沿、约束处理。
自动加载Skill autoload
自动加载技能通过监控传入目录,自动推断数据文件的模式,生成配置文件,并将数据高效加载到数据仓库中,适用于快速数据集成和ETL流程优化,关键词包括:自动加载、模式推断、数据仓库、ETL、数据工程。