数据工程 Skill技能列表

⚡

SQL查询写作技能Skill query-writing

4.5

此技能专注于SQL查询的编写和执行,覆盖从基础单表查询到高级多表JOIN和聚合操作,适用于数据分析、数据工程和数据库管理领域,关键词:SQL查询、数据分析、数据库、数据工程、商业智能。

⚡

流式细胞仪文件处理库Skill flowio

4.5

FlowIO是一个轻量级Python库,用于读取、写入和处理流式细胞仪标准(FCS)文件,支持FCS版本2.0-3.1。它能提取事件数据为NumPy数组,读取元数据和通道信息,并转换为CSV或DataFrame格式,适用于流式细胞仪数据预处理和分析。关键词:Python库,FCS文件,流式细胞仪数据,数据预处理,NumPy,数据分析。

⚡

CSV处理器Skill csv-processor

4.5

CSV处理器是一种高级数据处理工具,专门用于解析、转换和分析CSV文件。它支持自动检测分隔符、处理多种编码、数据清洗、统计分析等功能,适用于数据预处理、ETL流程、数据质量检查和商业智能应用。关键词:CSV处理,数据解析,数据变换,数据分析,数据清洗,ETL,数据工程。

⚡

Navicat数据库管理技能Skill navicat

4.5

此技能提供Navicat数据库管理工具的全面指导,帮助用户进行数据库连接、SQL查询执行、数据管理和数据库管理操作,适用于数据库管理员和开发者。关键词:Navicat, 数据库管理, SQL查询, 数据管理, 数据库连接。

⚡

数据架构Skill architecting-data

4.5

数据架构技能提供设计现代云原生数据平台的战略指导,涵盖存储范式选择、数据建模方法、数据网格实施、开放表格式应用等。关键词:数据架构、数据平台、存储范式、数据建模、数据网格、数据治理、现代数据堆栈、奖章架构、Apache Iceberg、dbt、数据工程。

⚡

DAG生成技能Skill dag-generate

4.5

该技能用于从 Starlake 项目配置自动生成 Airflow 或 Dagster 的 DAG(有向无环图)文件,支持数据加载和变换任务的编排,适用于数据工程、ETL 开发和自动化工作流管理。关键词:DAG, Airflow, Dagster, Starlake, 数据工程, ETL, 任务编排, 工作流。

⚡

SQL优化模式Skill sql-optimization-patterns

4.5

本技能提供SQL查询优化、索引策略和EXPLAIN分析的全面指南,帮助数据工程师和开发者提升数据库性能,消除慢查询。适用于数据库管理、后端开发和数据工程场景。关键词:SQL优化、数据库性能、索引策略、查询计划、EXPLAIN分析、慢查询调试。

⚡

URL抓取器Skill url-fetcher

4.5

该技能用于从指定网页URL自动抓取并提取干净的文本内容,去除HTML噪音,适用于数据收集、内容分析、文档处理和网络爬虫等场景,支持参数化设置以提高效率。关键词:网页抓取、文本提取、URL解析、HTML清理、数据获取、网络爬虫、内容分析、自动化工具。

⚡

数据模式与知识建模Skill data-schema-knowledge-modeling

4.5

数据模式与知识建模是一种用于设计数据库模式、构建知识图谱和定义数据模型的技能。它涉及识别实体、属性和关系,指定约束和不变量,以实现正确的系统实施和数据集成。关键词包括数据库设计、数据模型、知识图谱、实体关系建模、数据治理、模式迁移和数据可视化,适用于数据工程、数据治理和架构设计等场景。

⚡

流数据处理Skill streaming-data

4.5

这个技能用于构建事件流系统和实时数据管道,涵盖消息代理(如Kafka、Pulsar)、流处理器(如Flink、Spark)、生产者/消费者模式、事件溯源和变更数据捕获(CDC)等。适用于微服务通信、实时分析、数据集成、IoT平台和高频交易系统等场景。关键词:流数据处理、实时数据管道、事件驱动架构、Kafka、Flink、数据工程、微服务、CDC、事件溯源。

⚡

数据库查询与导出Skill database-query-and-export

4.5

这个技能用于查询SQLite、PostgreSQL和MySQL数据库,并将结果导出到CSV或JSON格式。适用于数据提取、报告生成、备份迁移、数据分析工作流和自动化数据库查询。关键词包括数据库查询、数据导出、CSV导出、JSON导出、SQLite、PostgreSQL、MySQL、数据工程、ETL。

⚡

SQL查询翻译器Skill query-translator

4.5

SQL查询翻译器是一个用于在不同数据库方言(如Oracle、PostgreSQL、MySQL、SQL Server)之间自动转换SQL查询的工具。它提供函数映射、语法翻译、性能提示转换和查询优化建议,是数据库迁移、云适配和系统重构的关键技能。关键词:SQL翻译,数据库迁移,方言转换,函数映射,查询优化,PostgreSQL,Oracle,MySQL,SQL Server,性能优化。