数据工程 Skill技能列表

SQL查询翻译器Skill query-translator

4.5

SQL查询翻译器是一个用于在不同数据库方言(如Oracle、PostgreSQL、MySQL、SQL Server)之间自动转换SQL查询的工具。它提供函数映射、语法翻译、性能提示转换和查询优化建议,是数据库迁移、云适配和系统重构的关键技能。关键词:SQL翻译,数据库迁移,方言转换,函数映射,查询优化,PostgreSQL,Oracle,MySQL,SQL Server,性能优化。

生物信息学分析师Skill bio-informatics-analyst

4.5

该技能用于协调和管理生物信息学数据处理流程,包括数据转换、分析管道设置、质量控制以及报告生成,确保工作流程的可重复性和高效性,特别适用于单细胞分析等生物医学研究领域。关键词:生物信息学、数据分析、数据处理、工作流程自动化、可重复性、Nextflow、Python、单细胞分析、质量控制、生物医药。

数据库模式可视化工具Skill schema-visualizer

4.5

该技能用于从数据库模式生成可视化图表、实体关系图(ERD)和文档,支持多种格式如Mermaid、PlantUML和来源如SQL、ORM模型,帮助数据库设计、分析和优化,关键词包括数据库、模式、可视化、ERD、文档、SQL、ORM。

YAML转Excel转换器Skill yml2xls

4.5

该技能用于将 Starlake YAML 数据定义转换为 Excel 电子表格,便于与非技术用户共享数据模型,支持 YAML 和 Excel 之间的双向转换,适用于数据工程、数据治理和数据处理工作流。关键词:YAML 转 Excel, Starlake 数据转换, 数据模型共享, 数据工程工具, ETL 开发, 数据可视化。

分布式NoSQL数据库专家Skill nosql-expert

4.5

本技能提供分布式NoSQL数据库(如Cassandra和DynamoDB)的专业设计模式和指导,包括思维模型、查询优先建模、单表设计、避免热分区等,适用于大规模系统开发、数据工程和云计算场景。关键词:分布式NoSQL数据库、Cassandra、DynamoDB、查询优先建模、热分区、数据工程。

dbt项目分析器Skill dbt-project-analyzer

4.5

dbt项目分析器是一款用于评估和优化dbt(data build tool)数据转换项目的专业工具。它能自动分析项目结构、模型依赖、测试覆盖率、文档完整性和命名规范,检测性能瓶颈与循环依赖,并提供基于最佳实践的具体改进建议。适用于数据工程师、数据分析师和DevOps团队,帮助提升数据仓库项目的质量、可维护性和运行效率。关键词:dbt分析,数据工程,数据仓库优化,测试覆盖率,模型依赖分析,性能调优,CI/CD集成,数据治理。

Kafka工程师Skill kafka-engineer

4.5

Kafka工程师技能专注于Apache Kafka分布式流处理平台,提供实时数据管道构建、事件驱动架构设计、流处理应用开发(Kafka Streams/ksqlDB)以及数据集成(Kafka Connect)的专业能力。核心关键词包括:实时数据处理、事件流、微服务通信、数据管道、流计算、消息队列、大数据集成、容错系统、性能调优。适用于构建高吞吐、低延迟的实时数据平台,支撑金融风控、电商交易、物联网监控等场景。

Kafka流管理Skill kafka-streaming

4.5

这个技能用于管理和监控Kafka流处理平台,包括主题创建、消费者组状态检查、延迟分析、broker健康评估等。适用于数据工程师、DevOps工程师和系统管理员,帮助优化数据流管道和确保系统稳定性。关键词:Kafka, 流管理, 主题管理, 消费者组, 延迟监控, broker健康, 数据工程, 消息队列。

Snakemake工作流管理器Skill snakemake-workflow-manager

4.5

Snakemake工作流管理器是一个用于生物信息学和数据分析领域的自动化流程管理工具。该技能支持基于规则的管道执行、DAG工作流调度、集群计算资源管理、Conda环境隔离、检查点恢复机制和性能基准收集。适用于构建可重复、可扩展的科研分析流程,特别适合高通量测序数据处理、批量数据分析和自动化报告生成等场景。 关键词:Snakemake工作流管理, 生物信息学流程自动化, 可重复研究, DAG任务调度, Conda环境管理, 集群计算, 数据分析管道, 工作流检查点, 基准测试, 报告生成

市场索引APISkill market-index

4.5

这个技能是一个市场索引工具,用于搜索、发现和浏览跨多个预测市场平台的市场数据。它支持关键词搜索、平台过滤、分类浏览、新市场发现和趋势分析,适用于量化金融、数据分析和市场研究。关键词:市场索引、预测市场、API、搜索、数据检索、量化交易。

高级数据工程师Skill senior-data-engineer

4.5

高级数据工程师技能专注于构建和管理可扩展的数据基础设施、ETL/ELT系统、数据管道和数据质量,支持生产级AI/ML和数据系统。关键技术包括Python、SQL、Spark、Airflow、dbt、Kafka等,适用于数据架构设计、数据工作流优化、数据治理等场景,助力企业实现数据驱动的决策和创新。关键词:数据工程、ETL、数据管道、数据基础设施、Spark、Airflow、Python、SQL、DataOps。

数据流设计Skill data-flow

4.5

数据流设计技能用于根据需求描述设计和实施数据管道架构,包括数据源集成、转换处理、目标系统部署,支持批处理、流处理、Lambda、Kappa等多种模式,适用于数据仓库、数据湖、机器学习、商业智能等应用场景。关键词:数据管道、ETL、流处理、数据架构、数据工程、Spark、Flink、Kafka、数据湖仓。