数据工程 Skill技能列表
市场索引APISkill market-index
这个技能是一个市场索引工具，用于搜索、发现和浏览跨多个预测市场平台的市场数据。它支持关键词搜索、平台过滤、分类浏览、新市场发现和趋势分析，适用于量化金融、数据分析和市场研究。关键词：市场索引、预测市场、API、搜索、数据检索、量化交易。
高级数据工程师Skill senior-data-engineer
高级数据工程师技能专注于构建和管理可扩展的数据基础设施、ETL/ELT系统、数据管道和数据质量，支持生产级AI/ML和数据系统。关键技术包括Python、SQL、Spark、Airflow、dbt、Kafka等，适用于数据架构设计、数据工作流优化、数据治理等场景，助力企业实现数据驱动的决策和创新。关键词：数据工程、ETL、数据管道、数据基础设施、Spark、Airflow、Python、SQL、DataOps。
ZarrPython库技能Skill zarr-python
Zarr Python是一个用于存储和处理大规模N维数组的Python库，支持分块、压缩、并行I/O和云存储集成，与NumPy、Dask、Xarray兼容，适用于科学计算、数据工程和机器学习流水线。关键词：Zarr Python, 数据存储, 分块数组, 压缩, 云存储, 科学计算, 并行处理, Dask, Xarray
数据流设计Skill data-flow
数据流设计技能用于根据需求描述设计和实施数据管道架构，包括数据源集成、转换处理、目标系统部署，支持批处理、流处理、Lambda、Kappa等多种模式，适用于数据仓库、数据湖、机器学习、商业智能等应用场景。关键词：数据管道、ETL、流处理、数据架构、数据工程、Spark、Flink、Kafka、数据湖仓。
分布式NoSQL数据库专家Skill nosql-expert
本技能提供分布式NoSQL数据库（如Cassandra和DynamoDB）的专业设计模式和指导，包括思维模型、查询优先建模、单表设计、避免热分区等，适用于大规模系统开发、数据工程和云计算场景。关键词：分布式NoSQL数据库、Cassandra、DynamoDB、查询优先建模、热分区、数据工程。
dbt项目分析器Skill dbt-project-analyzer
dbt项目分析器是一款用于评估和优化dbt（data build tool）数据转换项目的专业工具。它能自动分析项目结构、模型依赖、测试覆盖率、文档完整性和命名规范，检测性能瓶颈与循环依赖，并提供基于最佳实践的具体改进建议。适用于数据工程师、数据分析师和DevOps团队，帮助提升数据仓库项目的质量、可维护性和运行效率。关键词：dbt分析，数据工程，数据仓库优化，测试覆盖率，模型依赖分析，性能调优，CI/CD集成，数据治理。
数据模式与知识建模Skill data-schema-knowledge-modeling
数据模式与知识建模是一种用于设计数据库模式、构建知识图谱和定义数据模型的技能。它涉及识别实体、属性和关系，指定约束和不变量，以实现正确的系统实施和数据集成。关键词包括数据库设计、数据模型、知识图谱、实体关系建模、数据治理、模式迁移和数据可视化，适用于数据工程、数据治理和架构设计等场景。
Dask分布式计算技能Skill dask
Dask是一个Python库，用于并行和分布式计算，支持处理超过内存限制的大数据工作流。适用于数据科学、机器学习、数据工程任务，如ETL、数据分析和大规模数值计算。关键词：分布式计算，大数据处理，Python，pandas，NumPy，并行处理，数据科学，机器学习，数据工程，ETL开发。
数据建模Skill data-modeling
数据建模是设计数据库模式、数据仓库和数据分析系统的核心技能，涵盖维度建模、星型模式、数据保险库等技术，用于优化数据存储和查询性能，支持操作型和分析型数据处理。关键词：数据建模，数据库设计，数据仓库，OLAP，OLTP，维度建模，星型模式，数据保险库。
数据库查询与导出Skill database-query-and-export
这个技能用于查询SQLite、PostgreSQL和MySQL数据库，并将结果导出到CSV或JSON格式。适用于数据提取、报告生成、备份迁移、数据分析工作流和自动化数据库查询。关键词包括数据库查询、数据导出、CSV导出、JSON导出、SQLite、PostgreSQL、MySQL、数据工程、ETL。
数据库架构设计Skill database-schema-design
本skill提供数据库架构设计的详细指导，包括规范化策略、表设计模式、约束策略、数据类型选择、架构演进和性能优化等，旨在帮助设计出可扩展、高效的数据库架构。
ClickHouse数据工程与分析技能Skill clickhouse-io
这个技能专注于使用ClickHouse列式数据库进行高性能数据分析和数据工程，涵盖表设计、查询优化、物化视图、批量插入和实时聚合等模式。它适用于大规模数据处理、实时OLAP分析，特别是在股票量化交易中用于数据处理、回测和风险评估，关键词包括ClickHouse、数据分析、数据工程、查询优化、物化视图、量化金融、OLAP、实时分析、大数据处理。