数据工程 Skill技能列表

⚡

引导技能Skill bootstrap

4.5

引导技能是Starlake数据工程工具的核心功能,用于快速创建新的项目结构和配置文件。它支持使用模板进行项目搭建,包含标准目录、配置示例和数据,适用于数据工程师进行ETL开发、数据加载和转换。关键词:Starlake、项目引导、模板、配置、数据工程、ETL开发。

⚡

PDF处理Skill pdf

4.5

PDF处理技能用于通过编程方式提取PDF文档中的文本和表格,创建、合并、分割PDF文件,以及填充表单。适用于文档自动化处理、数据提取和分析,常用于数据工程和软件开发场景。在股票量化交易中,此技能可辅助处理财务报告和交易文档,提取关键数据进行分析。关键词:PDF处理,文档提取,Python库,数据工程,自动化处理,量化交易,数据提取。

⚡

增量模型策略选择器Skill IncrementalModelStrategySelector

4.5

增量模型策略选择器是一款用于数据工程和ETL开发的专业工具。它能够根据数据源特征(如更新模式、数据量、频率)和平台环境,智能选择和配置最优的增量数据处理策略(如追加、合并、删除后插入)。该工具专注于提升数据转换管道的效率和性能,通过优化分区裁剪、唯一键配置、回看窗口和迟到数据处理等关键参数,确保数据仓库和BI报表的数据新鲜度与准确性。关键词:增量模型,数据工程,ETL开发,dbt配置,数据转换,分区优化,数据仓库,策略选择。

⚡

渐变维度实现生成器Skill SCDImplementationGenerator

4.5

渐变维度实现生成器是一款自动化数据建模工具,专门用于跨平台生成渐变维度(SCD)实现方案。该工具支持SCD类型1/2/3/4/6,可自动生成MERGE语句、dbt快照配置、代理键管理和历史跟踪优化代码。适用于数据仓库、ETL开发、维度建模和商业智能场景,帮助数据工程师高效实现数据历史版本管理和变更跟踪。关键词:渐变维度,SCD,数据建模,数据仓库,ETL开发,历史跟踪,维度建模,代理键,dbt,数据工程

⚡

数据库设计专家Skill database-designer

4.5

数据库设计专家技能是一套综合工具和知识体系,用于构建和优化现代数据库系统。关键词包括数据库架构、性能优化、数据迁移、索引策略、规范化设计。

⚡

PostgreSQL性能工程Skill postgres-performance

4.5

本技能涵盖了从一开始就构建高性能数据库交互的模式,以及修复性能问题,包括查询优化、索引策略、分页、批量处理、聚合优化、连接池调整、读取副本、非规范化、表分区和缓存策略等。

⚡

DatabaseBackup&RestoreSkill database-backup-restore

4.5

数据库备份与恢复策略实施指南,包括备份类型、保留策略、恢复测试和RTO/RPO规划。

⚡

SQL查询优化Skill sql-query-optimization

4.5

SQL查询优化是一项技术,用于分析和优化数据库查询,提高查询性能,减少执行时间。关键词包括:性能瓶颈、索引策略、查询重写、EXPLAIN分析、批量操作。

⚡

ClickHouse高性能分析模式与优化Skill clickhouse-io

4.5

本技能专注于 ClickHouse 数据库的高性能分析模式、查询优化和数据工程最佳实践,适用于大规模数据分析工作负载。关键词包括 ClickHouse、数据分析、查询优化、数据仓库、ETL、物化视图、性能监控、OLAP、列式存储。

⚡

提取BigQuery架构Skill extract-bq-schema

4.5

此技能用于直接从Google BigQuery数据集中提取表架构,并将其转换为Starlake YAML配置文件。适用于数据工程、ETL开发和数据仓库构建,提升元数据管理效率。关键词:BigQuery、架构提取、Starlake、YAML、数据工程、ETL、数据仓库、元数据。

⚡

AIOS数据库架构与运维工程师Skill aios-data-engineer

4.5

这是一个专注于数据库架构与运维的技能,用于数据库设计、模式构建、Supabase配置、RLS策略实施、数据迁移、查询优化、数据建模和运维监控。适合数据工程师、数据库管理员和开发人员使用。关键词:数据库架构、运维工程师、Supabase、数据工程、查询优化、RLS策略、数据建模、迁移。

⚡

SQL查询优化编写Skill data-write-query

4.5

这个技能用于根据自然语言描述,编写针对特定SQL方言优化的查询,遵循最佳实践。它帮助用户高效进行数据提取和分析,提升数据库查询性能。关键词:SQL查询,数据编写,优化,数据分析,数据库,数据工程,ETL开发。