数据工程 Skill技能列表
PDF处理Skill pdf
PDF处理技能用于通过编程方式提取PDF文档中的文本和表格，创建、合并、分割PDF文件，以及填充表单。适用于文档自动化处理、数据提取和分析，常用于数据工程和软件开发场景。在股票量化交易中，此技能可辅助处理财务报告和交易文档，提取关键数据进行分析。关键词：PDF处理，文档提取，Python库，数据工程，自动化处理，量化交易，数据提取。
DAG部署技能Skill dag-deploy
DAG部署技能专用于自动化部署生成的DAG文件到目标目录，如Airflow DAGs文件夹，支持清理和文件组织，优化数据管道管理，适用于数据工程、ETL开发和DevOps场景，提升数据工作流效率。
数据公共客户端Skill datacommons-client
这个技能提供对Data Commons平台的程序化访问，用于查询和探索公共统计数据、知识图谱和实体标识符。适用于数据科学家、分析师和开发者获取人口统计、经济指标、健康数据、环境统计等全球权威数据，进行数据分析、建模和决策支持。关键词：Data Commons、API、统计数据、知识图谱、Python、数据工程、经济指标、人口统计、健康数据。
提取模式技能Skill extract-schema
这个技能用于从JDBC数据库提取数据库表模式（如列名、类型、约束），并生成Starlake YAML配置文件，是数据工程中反向工程数据库到Starlake项目的关键第一步。关键词包括：数据库模式提取、Starlake配置、YAML文件生成、ETL开发、数据治理、反向工程。
模式推断Skill infer-schema
这个技能用于从数据文件（如CSV、JSON、XML、Parquet）中自动推断出Starlake表的模式，并生成对应的YAML配置文件。适用于数据工程中的模式发现、元数据管理和ETL开发流程，帮助数据团队快速建立数据结构。关键词：数据模式推断，ETL开发，YAML配置，文件分析，元数据生成。
阶段技能Skill stage
阶段技能用于将数据文件从登陆区移动到待处理区，执行解压缩和确认文件处理，是数据摄取管道的第一步，确保数据准备就绪供后续加载。关键词：数据阶段化、ETL、数据工程、ACK文件处理、数据管道、数据摄取、文件管理。
SQL查询优化Skill sql-query-optimization
SQL查询优化是一项技术，用于分析和优化数据库查询，提高查询性能，减少执行时间。关键词包括：性能瓶颈、索引策略、查询重写、EXPLAIN分析、批量操作。
数据库设计专家Skill database-designer
数据库设计专家技能是一套综合工具和知识体系，用于构建和优化现代数据库系统。关键词包括数据库架构、性能优化、数据迁移、索引策略、规范化设计。
流数据处理Skill streaming-data
这个技能用于构建事件流系统和实时数据管道，涵盖消息代理（如Kafka、Pulsar）、流处理器（如Flink、Spark）、生产者/消费者模式、事件溯源和变更数据捕获（CDC）等。适用于微服务通信、实时分析、数据集成、IoT平台和高频交易系统等场景。关键词：流数据处理、实时数据管道、事件驱动架构、Kafka、Flink、数据工程、微服务、CDC、事件溯源。
数据库优化技术Skill DatabaseOptimizationTechniques
数据库优化技术是一系列用于提升数据库查询性能、降低资源消耗、确保数据高效访问的方法和策略。关键词包括查询优化、索引策略、连接池、缓存策略、数据库维护等。
数据库查询与导出Skill database-query-and-export
这个技能用于查询SQLite、PostgreSQL和MySQL数据库，并将结果导出到CSV或JSON格式。适用于数据提取、报告生成、备份迁移、数据分析工作流和自动化数据库查询。关键词包括数据库查询、数据导出、CSV导出、JSON导出、SQLite、PostgreSQL、MySQL、数据工程、ETL。
索引技能Skill index
索引技能是一个命令行工具，用于将数据索引到Elasticsearch中，作为esload命令的别名，适用于数据加载、搜索优化和数据管道集成。关键词：数据索引、Elasticsearch、数据工程、ETL、搜索、数据加载。