数据工程 Skill技能列表

4.5

TimescaleDB时序数据库技能Skill timescaledb

TimescaleDB时序数据库技能是专门用于PostgreSQL时间序列数据库扩展的AI助手。提供TimescaleDB开发支持、超表管理、连续聚合、数据压缩、实时分析等功能。适用于时序数据处理、物联网监控、金融数据分析、DevOps监控等场景。关键词:TimescaleDB、时序数据库、PostgreSQL扩展、超表、时间序列分析、数据压缩、实时分析、物联网数据、金融数据、DevOps监控。

4.5

DatabaseSchemaDesignerSkill database-schema-designer

这项技能提供全面的指导,用于设计健壮、可扩展的数据库架构,适用于SQL和NoSQL数据库。无论是从头开始构建还是演进现有架构,此框架确保数据完整性、性能和可维护性。

4.5

创建Bauplan数据管道Skill creating-bauplan-pipelines

本技能是Bauplan数据工程平台的详细指南,用于创建和管理数据管道项目。它涵盖了从项目初始化、DAG(有向无环图)设计、SQL/Python模型编写、到严格模式验证和物化策略的全流程。核心功能包括:数据管道开发、ETL/ELT流程构建、数据转换模型(SQL/Python)、数据质量检查、I/O下推优化、分支安全管理以及自动化工作流。适用于数据工程师、数据分析师和开发人员构建可维护、高性能的数据处理流水线。

4.5

WAP数据安全摄取技能Skill wap-ingestion

WAP数据安全摄取技能是一种基于写-审计-发布模式的数据工程解决方案,专门用于从AWS S3云存储安全导入数据到bauplan数据平台。该技能通过临时分支隔离、数据质量检查、原子性合并等机制,确保数据加载过程的安全可靠,防止脏数据污染生产环境。适用于金融风控、企业数据仓库、ETL流程、数据湖管理等场景,支持Parquet、CSV、JSONL等多种数据格式的安全摄取。

4.5

PostgreSQL模式Skill postgres-patterns

这项技能涵盖审查PostgreSQL特定问题的迁移和编写高效查询,包括索引审查、部分索引、JSONB索引、并发索引创建、查询性能分析、UUID性能、约束审查、批量操作、表锁定意识、连接管理、数据类型选择等。

4.5

PostgreSQL性能工程Skill postgres-performance

本技能涵盖了从一开始就构建高性能数据库交互的模式,以及修复性能问题,包括查询优化、索引策略、分页、批量处理、聚合优化、连接池调整、读取副本、非规范化、表分区和缓存策略等。

4.5

AlembicMigrationPatternsSkill py-alembic-patterns

这是一个关于如何安全地使用Alembic进行PostgreSQL数据库迁移的指南,包括自动生成迁移的审查、安全迁移结构、非空列添加、数据迁移、大型表迁移、枚举变更处理、多开发者分支合并以及迁移测试等关键实践。

4.5

DatabaseBackup&RestoreSkill database-backup-restore

数据库备份与恢复策略实施指南,包括备份类型、保留策略、恢复测试和RTO/RPO规划。

4.5

数据库迁移管理Skill database-migration-management

这个技能涉及数据库迁移和架构版本控制,包括在PostgreSQL和MySQL中进行迁移框架设置、执行数据转换、添加或删除表和列、索引创建和优化、迁移测试和验证、回滚计划和执行以及多环境部署。

4.5

DatabaseMonitoringSkill database-monitoring

数据库性能监控与健康检查指南,包含监控指标、查询优化、告警配置等关键实践。

4.5

DatabaseMigrationsSkill DatabaseMigrations

数据库迁移是用于模式演变和数据转换的数据库迁移策略和工具,它们帮助团队以受控、可复现的方式发展数据库结构,同时维护数据完整性并最小化停机时间。

4.5

数据管道架构师Skill data-pipeline-architect

数据管道架构师技能专注于设计和实现高效、可靠的数据管道,涵盖ETL/ELT流程、编排工具、错误处理和数据质量验证,确保数据从源到目标的顺畅流动。关键词:数据管道、ETL、ELT、数据工程、架构设计、数据质量、编排、数据仓库。