数据工程 Skill技能列表

⚡

RSS聚合器Skill rss-aggregator

4.5

RSS聚合器技能,通过Python脚本自动抓取和汇总多个RSS订阅源的最新内容,提供结构化更新信息,适用于信息聚合、数据分析和自动化报告。关键词:RSS聚合、数据抓取、信息汇总、自动化更新、Python脚本。

⚡

Scrapfly自动化Skill scrapfly-automation

4.5

该技能通过Rube MCP和Composio自动化Scrapfly网页抓取任务,提供工具发现、连接管理和执行功能,优化数据采集流程。关键词:Scrapfly自动化,Rube MCP,Composio,网页抓取,数据采集,自动化工具,数据工程。

⚡

ZarrPython数据存储库Skill zarr-python

4.5

Zarr Python 是一个用于云存储的分块 N 维数组库,支持压缩、并行 I/O 和与 NumPy、Dask、Xarray 的集成,专为大规模科学计算和数据处理而设计。关键词:数据存储、并行计算、云计算、科学计算、大数据处理、Python 库。

⚡

数据管道架构师Skill data-pipeline-architect

4.5

数据管道架构师技能专注于设计和实现高效、可靠的数据管道,涵盖ETL/ELT流程、编排工具、错误处理和数据质量验证,确保数据从源到目标的顺畅流动。关键词:数据管道、ETL、ELT、数据工程、架构设计、数据质量、编排、数据仓库。

⚡

比较Skill compare

4.5

此 Starlake compare 技能用于数据工程项目的版本对比,生成差异报告,支持 Git 集成、文件路径和标签比较,便于审查 schema 更改、配置更新和发布管理。关键词包括 Starlake、比较、差异报告、schema 变化、数据工程、Git 版本控制、ETL 开发、数据治理,提升项目管理效率。

⚡

时序数据库专家Skill timescaledb

4.5

Timescaledb技能是一个专注于PostgreSQL时序数据库扩展的AI助手。它提供全面的开发支持,涵盖超表管理、连续聚合、数据压缩、实时分析等核心功能。适用于数据库开发、时间序列数据处理、物联网数据分析、金融量化系统等场景。关键词:TimescaleDB, 时序数据库, PostgreSQL扩展, 时间序列分析, 超表, 数据压缩, 实时分析, 数据库优化, IoT数据处理, 量化金融数据存储。

⚡

DatabaseQueryOptimizationSkill database-query-optimization

4.5

通过索引、高效查询和执行计划分析提高数据库查询性能,减少响应时间和数据库负载。

⚡

ESLoad技能Skill esload

4.5

这是一个用于将数据从文件(如Parquet、JSON)加载到Elasticsearch索引的工具,支持自定义映射、文档ID和时间戳索引命名,适用于数据工程和ETL流程,方便数据集成与处理。关键词:Elasticsearch, 数据加载, Parquet, JSON, 映射, 文档ID, 时间戳索引, ETL, 数据工程。

⚡

查询构建器Skill query-builder

4.5

该技能是一个交互式数据库查询构建工具,用于自动生成优化的SQL和NoSQL查询语句,支持多种数据库和ORM,提高开发效率和查询性能。关键词包括数据库查询、SQL优化、NoSQL、ORM、性能调优、数据工程、后端开发。

⚡

JSON转换器技能Skill json-transformer

4.5

JSON转换器技能是一个用于处理JSON数据的工具,支持解析、验证、转换、合并、提取等高级操作,广泛应用于数据工程、后端开发和数据分析领域,方便数据处理和API集成。关键词:JSON处理、数据转换、数据分析、数据清洗、编程工具、API数据、格式转换、数据提取。

⚡

DataMigrationScriptsSkill data-migration-scripts

4.5

创建安全、可逆的数据库迁移脚本,用于模式变更、数据迁移和转换,支持零停机部署。

⚡

DatabasePerformanceDebuggingSkill database-performance-debugging

4.5

通过查询分析、索引优化和执行计划审查来调试数据库性能问题,识别并修复慢查询。