数据工程 Skill技能列表

数据架构Skill architecting-data

4.5

数据架构技能提供设计现代云原生数据平台的战略指导,涵盖存储范式选择、数据建模方法、数据网格实施、开放表格式应用等。关键词:数据架构、数据平台、存储范式、数据建模、数据网格、数据治理、现代数据堆栈、奖章架构、Apache Iceberg、dbt、数据工程。

列级血缘技能Skill col-lineage

4.5

这个技能用于生成SQL转换任务中的列级血缘,追踪输出列到源列的数据来源,提供精细的数据溯源信息。关键词:数据血缘、SQL分析、数据工程、数据治理、ETL、数据仓库。

数据迁移Skill data-migration

4.5

数据迁移技能专注于安全、高效地执行数据库和数据系统的迁移工作,包括规划迁移策略、实施数据转换、确保零停机部署以及设计回滚机制,以维护数据完整性和系统稳定性。关键词:数据库迁移,数据转换,零停机,安全架构,回滚策略,数据完整性。

SQL优化模式Skill sql-optimization-patterns

4.5

本技能提供SQL查询优化、索引策略和EXPLAIN分析的全面指南,帮助数据工程师和开发者提升数据库性能,消除慢查询。适用于数据库管理、后端开发和数据工程场景。关键词:SQL优化、数据库性能、索引策略、查询计划、EXPLAIN分析、慢查询调试。

索引技能Skill index

4.5

索引技能是一个命令行工具,用于将数据索引到Elasticsearch中,作为esload命令的别名,适用于数据加载、搜索优化和数据管道集成。关键词:数据索引、Elasticsearch、数据工程、ETL、搜索、数据加载。

ClickHouse数据工程与分析技能Skill clickhouse-io

4.5

这个技能专注于使用ClickHouse列式数据库进行高性能数据分析和数据工程,涵盖表设计、查询优化、物化视图、批量插入和实时聚合等模式。它适用于大规模数据处理、实时OLAP分析,特别是在股票量化交易中用于数据处理、回测和风险评估,关键词包括ClickHouse、数据分析、数据工程、查询优化、物化视图、量化金融、OLAP、实时分析、大数据处理。

数据库架构设计Skill database-schema-design

4.5

本skill提供数据库架构设计的详细指导,包括规范化策略、表设计模式、约束策略、数据类型选择、架构演进和性能优化等,旨在帮助设计出可扩展、高效的数据库架构。

数据建模Skill data-modeling

4.5

数据建模是设计数据库模式、数据仓库和数据分析系统的核心技能,涵盖维度建模、星型模式、数据保险库等技术,用于优化数据存储和查询性能,支持操作型和分析型数据处理。关键词:数据建模,数据库设计,数据仓库,OLAP,OLTP,维度建模,星型模式,数据保险库。

Parquet转CSV工具Skill parquet2csv

4.5

这个技能用于将Parquet格式的数据文件转换为CSV格式,实现数据格式转换和导出功能。适用于数据工程、ETL处理和数据兼容性场景。关键词:Parquet, CSV, 数据转换, Spark, 数据导出, 格式转换, 数据工程。

ZarrPython库技能Skill zarr-python

4.5

Zarr Python是一个用于存储和处理大规模N维数组的Python库,支持分块、压缩、并行I/O和云存储集成,与NumPy、Dask、Xarray兼容,适用于科学计算、数据工程和机器学习流水线。关键词:Zarr Python, 数据存储, 分块数组, 压缩, 云存储, 科学计算, 并行处理, Dask, Xarray

Kafka工程师Skill kafka-engineer

4.5

Kafka工程师技能专注于Apache Kafka分布式流处理平台,提供实时数据管道构建、事件驱动架构设计、流处理应用开发(Kafka Streams/ksqlDB)以及数据集成(Kafka Connect)的专业能力。核心关键词包括:实时数据处理、事件流、微服务通信、数据管道、流计算、消息队列、大数据集成、容错系统、性能调优。适用于构建高吞吐、低延迟的实时数据平台,支撑金融风控、电商交易、物联网监控等场景。

DBeaver数据库工具技能Skill dbeaver

4.5

此技能提供 DBeaver 数据库工具的全面指导,包括数据库连接、SQL 编辑、数据管理和数据库管理,帮助用户高效处理数据库操作。关键词:数据库、SQL、DBeaver、数据管理、数据库管理、SQL 查询、数据库工具、数据工程。