数据工程 Skill技能列表

索引技能Skill index

4.5

索引技能是一个命令行工具,用于将数据索引到Elasticsearch中,作为esload命令的别名,适用于数据加载、搜索优化和数据管道集成。关键词:数据索引、Elasticsearch、数据工程、ETL、搜索、数据加载。

流数据处理Skill streaming-data

4.5

这个技能用于构建事件流系统和实时数据管道,涵盖消息代理(如Kafka、Pulsar)、流处理器(如Flink、Spark)、生产者/消费者模式、事件溯源和变更数据捕获(CDC)等。适用于微服务通信、实时分析、数据集成、IoT平台和高频交易系统等场景。关键词:流数据处理、实时数据管道、事件驱动架构、Kafka、Flink、数据工程、微服务、CDC、事件溯源。

数据库架构设计Skill database-schema-design

4.5

本skill提供数据库架构设计的详细指导,包括规范化策略、表设计模式、约束策略、数据类型选择、架构演进和性能优化等,旨在帮助设计出可扩展、高效的数据库架构。

Parquet转CSV工具Skill parquet2csv

4.5

这个技能用于将Parquet格式的数据文件转换为CSV格式,实现数据格式转换和导出功能。适用于数据工程、ETL处理和数据兼容性场景。关键词:Parquet, CSV, 数据转换, Spark, 数据导出, 格式转换, 数据工程。

电子书文本提取器Skill ebook-extractor

4.5

电子书文本提取器是一个用于从EPUB、MOBI、PDF格式电子书中提取纯文本的工具。它支持常见电子书格式,使用Python脚本实现,无需大型语言模型调用,纯文本提取。适用于数据分析、文本处理、阅读转换等场景。关键词:电子书提取、文本转换、Python工具、EPUB、MOBI、PDF、数据提取。

ZarrPython库技能Skill zarr-python

4.5

Zarr Python是一个用于存储和处理大规模N维数组的Python库,支持分块、压缩、并行I/O和云存储集成,与NumPy、Dask、Xarray兼容,适用于科学计算、数据工程和机器学习流水线。关键词:Zarr Python, 数据存储, 分块数组, 压缩, 云存储, 科学计算, 并行处理, Dask, Xarray

DBeaver数据库工具技能Skill dbeaver

4.5

此技能提供 DBeaver 数据库工具的全面指导,包括数据库连接、SQL 编辑、数据管理和数据库管理,帮助用户高效处理数据库操作。关键词:数据库、SQL、DBeaver、数据管理、数据库管理、SQL 查询、数据库工具、数据工程。

Firecrawl抓取技能Skill firecrawl-scrape

4.5

Firecrawl抓取技能是一个通过Firecrawl MCP工具抓取网页并提取内容的技能,支持从URL或搜索查询获取结构化数据,适用于数据采集和网络内容分析,关键词包括:网页抓取、数据提取、Firecrawl、MCP、爬虫、内容抓取、SEO搜索。

模式推断Skill infer-schema

4.5

这个技能用于从数据文件(如CSV、JSON、XML、Parquet)中自动推断出Starlake表的模式,并生成对应的YAML配置文件。适用于数据工程中的模式发现、元数据管理和ETL开发流程,帮助数据团队快速建立数据结构。关键词:数据模式推断,ETL开发,YAML配置,文件分析,元数据生成。

SQL优化模式Skill sql-optimization-patterns

4.5

本技能提供SQL查询优化、索引策略和EXPLAIN分析的全面指南,帮助数据工程师和开发者提升数据库性能,消除慢查询。适用于数据库管理、后端开发和数据工程场景。关键词:SQL优化、数据库性能、索引策略、查询计划、EXPLAIN分析、慢查询调试。

SQL查询翻译器Skill query-translator

4.5

SQL查询翻译器是一个用于在不同数据库方言(如Oracle、PostgreSQL、MySQL、SQL Server)之间自动转换SQL查询的工具。它提供函数映射、语法翻译、性能提示转换和查询优化建议,是数据库迁移、云适配和系统重构的关键技能。关键词:SQL翻译,数据库迁移,方言转换,函数映射,查询优化,PostgreSQL,Oracle,MySQL,SQL Server,性能优化。

数据建模Skill data-modeling

4.5

数据建模是设计数据库模式、数据仓库和数据分析系统的核心技能,涵盖维度建模、星型模式、数据保险库等技术,用于优化数据存储和查询性能,支持操作型和分析型数据处理。关键词:数据建模,数据库设计,数据仓库,OLAP,OLTP,维度建模,星型模式,数据保险库。