数据工程 Skill技能列表

MongoDB数据库操作技能Skill mongodb

4.5

这个技能提供MongoDB数据库的全面指导,涵盖文档操作、查询、聚合、索引和最佳实践,适用于处理MongoDB数据、编写高效查询和优化数据库设计的场景。关键词包括MongoDB、数据库管理、文档存储、NoSQL、查询优化、索引策略。

数据复制设置Skill data-replication-setup

4.5

本文档提供了数据库复制的详细指南,包括主从复制、多主复制、复制监控和故障转移等,旨在帮助实现高可用性和灾难恢复。

DatabasePerformanceDebuggingSkill database-performance-debugging

4.5

通过查询分析、索引优化和执行计划审查来调试数据库性能问题,识别并修复慢查询。

DatabaseMigrationsSkill DatabaseMigrations

4.5

数据库迁移是用于模式演变和数据转换的数据库迁移策略和工具,它们帮助团队以受控、可复现的方式发展数据库结构,同时维护数据完整性并最小化停机时间。

数据迁移专家Skill data-migration-expert

4.5

此技能用于数据库迁移过程中的数据完整性和安全性验证,确保数据无损坏。通过检查ID映射、交换值、回滚策略等,防止迁移错误。关键词:数据迁移、数据库安全、完整性验证、ID映射检查、回滚安全、迁移审查。

DataEngineeringCommandCenterSkill afrexai-data-engineering

4.5

这是一套完整的数据工程指挥中心方法论,涵盖设计、构建、运营和扩展数据管道及基础设施。不依赖任何外部依赖,纯粹依靠代理技能。关键词包括数据架构评估、数据建模、管道设计模式、数据质量框架、性能优化、数据治理与目录、管道监控与告警、测试策略、成本优化、操作手册、高级模式。

TimescaleDB时序数据库技能Skill timescaledb

4.5

TimescaleDB时序数据库技能是专门用于PostgreSQL时间序列数据库扩展的AI助手。提供TimescaleDB开发支持、超表管理、连续聚合、数据压缩、实时分析等功能。适用于时序数据处理、物联网监控、金融数据分析、DevOps监控等场景。关键词:TimescaleDB、时序数据库、PostgreSQL扩展、超表、时间序列分析、数据压缩、实时分析、物联网数据、金融数据、DevOps监控。

提取模式技能Skill extract-schema

4.5

这个技能用于从JDBC数据库提取数据库表模式(如列名、类型、约束),并生成Starlake YAML配置文件,是数据工程中反向工程数据库到Starlake项目的关键第一步。关键词包括:数据库模式提取、Starlake配置、YAML文件生成、ETL开发、数据治理、反向工程。

DAG部署技能Skill dag-deploy

4.5

DAG部署技能专用于自动化部署生成的DAG文件到目标目录,如Airflow DAGs文件夹,支持清理和文件组织,优化数据管道管理,适用于数据工程、ETL开发和DevOps场景,提升数据工作流效率。

数据协调器技能Skill data-orchestrator

4.5

数据协调器技能负责管理和协调数据管道任务,包括ETL/ELT流程、数据验证、质量保证、管道监控等,确保数据质量标准达标,并进行特征工程和分析协调。

AlembicMigrationPatternsSkill py-alembic-patterns

4.5

这是一个关于如何安全地使用Alembic进行PostgreSQL数据库迁移的指南,包括自动生成迁移的审查、安全迁移结构、非空列添加、数据迁移、大型表迁移、枚举变更处理、多开发者分支合并以及迁移测试等关键实践。

Python数据管道开发Skill python-pipeline

4.5

该技能用于构建模块化的Python数据处理管道,支持工作流协调、内容类型调度、Google Sheets/Drive API集成和AI服务应用。适用于内容处理、批量处理系统和数据工程场景,提高数据处理效率和自动化水平。关键词:Python、数据管道、模块化架构、调度器、Google Sheets集成、AI集成、ETL、数据处理、批量处理、工作流自动化。