数据工程 Skill技能列表

4.5

数据库索引策略Skill database-indexing-strategy

本技能涉及数据库索引策略的设计和实施,包括索引创建、查询性能优化、索引类型选择、复合和部分索引设计、索引维护和监控等,旨在提高数据库查询效率和数据完整性。

4.5

数据库迁移管理Skill database-migration-management

这个技能涉及数据库迁移和架构版本控制,包括在PostgreSQL和MySQL中进行迁移框架设置、执行数据转换、添加或删除表和列、索引创建和优化、迁移测试和验证、回滚计划和执行以及多环境部署。

4.5

DatabaseMonitoringSkill database-monitoring

数据库性能监控与健康检查指南,包含监控指标、查询优化、告警配置等关键实践。

4.5

DatabasePerformanceDebuggingSkill database-performance-debugging

通过查询分析、索引优化和执行计划审查来调试数据库性能问题,识别并修复慢查询。

4.5

DatabaseQueryOptimizationSkill database-query-optimization

通过索引、高效查询和执行计划分析提高数据库查询性能,减少响应时间和数据库负载。

4.5

DatabaseMigrationsSkill DatabaseMigrations

数据库迁移是用于模式演变和数据转换的数据库迁移策略和工具,它们帮助团队以受控、可复现的方式发展数据库结构,同时维护数据完整性并最小化停机时间。

4.5

数据库管理Skill managing-databases

数据库管理技能专注于指导PostgreSQL、DuckDB、Parquet和PGVector的架构决策,用于设计数据库模式、选择存储策略、优化查询性能、调整维护配置、实施向量搜索,并诊断OLTP、OLAP和相似性搜索工作负载中的性能问题。关键词:数据库管理,PostgreSQL,DuckDB,Parquet,PGVector,架构设计,性能优化,数据工程。

4.5

PostgreSQL高级模式Skill postgres-advanced-patterns

PostgreSQL高级模式技能专注于数据库性能优化、复杂查询处理、索引策略和数据库设计。包含有效的索引创建、查询优化技巧、窗口函数、CTEs、JSON操作、分区、物化视图等高级功能。适用于后端开发人员、数据工程师和数据库管理员,提升PostgreSQL数据库的效率和可扩展性。关键词:PostgreSQL, 数据库优化, 性能调优, 查询优化, 索引策略, 数据库设计。

4.5

数据管道架构师Skill data-pipeline-architect

数据管道架构师技能专注于设计和实现高效、可靠的数据管道,涵盖ETL/ELT流程、编排工具、错误处理和数据质量验证,确保数据从源到目标的顺畅流动。关键词:数据管道、ETL、ELT、数据工程、架构设计、数据质量、编排、数据仓库。

4.5

ClickHouse高性能分析模式与优化Skill clickhouse-io

本技能专注于 ClickHouse 数据库的高性能分析模式、查询优化和数据工程最佳实践,适用于大规模数据分析工作负载。关键词包括 ClickHouse、数据分析、查询优化、数据仓库、ETL、物化视图、性能监控、OLAP、列式存储。

4.5

数据库模式可视化工具Skill schema-visualizer

该技能用于从数据库模式生成可视化图表、实体关系图(ERD)和文档,支持多种格式如Mermaid、PlantUML和来源如SQL、ORM模型,帮助数据库设计、分析和优化,关键词包括数据库、模式、可视化、ERD、文档、SQL、ORM。

4.5

Scrapfly自动化Skill scrapfly-automation

该技能通过Rube MCP和Composio自动化Scrapfly网页抓取任务,提供工具发现、连接管理和执行功能,优化数据采集流程。关键词:Scrapfly自动化,Rube MCP,Composio,网页抓取,数据采集,自动化工具,数据工程。