数据工程 Skill技能列表
数据工程师Skill data-engineer
数据工程师技能专注于构建、维护和优化大规模数据处理系统与基础设施。核心能力包括设计可扩展的数据管道、实施ETL/ELT工作流、构建数据湖/数据仓库、进行实时流处理以及优化数据平台成本与性能。适用于企业级数据平台搭建、数据治理、数据迁移和现代化数据架构项目。关键词：数据工程，ETL，ELT，数据管道，数据仓库，数据湖，Airflow，Spark，Kafka，大数据处理，数据基础设施。
仪器数据到Allotrope转换器Skill instrument-data-to-allotrope
该技能用于将实验室仪器输出的文件（如PDF、CSV、Excel、TXT）转换为标准化的Allotrope Simple Model (ASM) JSON格式或扁平化的2D CSV，以支持数据标准化，便于集成到LIMS系统、数据湖或下游分析。功能包括自动检测仪器类型、生成完整的ASM JSON、扁平化CSV和可导出的Python解析代码，适用于数据工程团队。关键词：仪器数据转换，Allotrope格式，数据标准化，LIMS系统，数据工程，Python解析，实验室数据管理，ASM JSON，扁平化CSV。
数据血缘技能Skill lineage
此技能用于生成任务依赖关系图（数据血缘），通过分析SQL变换文件中的依赖关系，可视化数据血缘，支持多种输出格式如DOT、SVG、PNG、JSON，便于数据工程和数据治理。关键词：数据血缘、任务依赖、SQL分析、数据可视化、数据工程。
提取BigQuery架构Skill extract-bq-schema
此技能用于直接从Google BigQuery数据集中提取表架构，并将其转换为Starlake YAML配置文件。适用于数据工程、ETL开发和数据仓库构建，提升元数据管理效率。关键词：BigQuery、架构提取、Starlake、YAML、数据工程、ETL、数据仓库、元数据。
阶段技能Skill stage
阶段技能用于将数据文件从登陆区移动到待处理区，执行解压缩和确认文件处理，是数据摄取管道的第一步，确保数据准备就绪供后续加载。关键词：数据阶段化、ETL、数据工程、ACK文件处理、数据管道、数据摄取、文件管理。
引导技能Skill bootstrap
引导技能是Starlake数据工程工具的核心功能，用于快速创建新的项目结构和配置文件。它支持使用模板进行项目搭建，包含标准目录、配置示例和数据，适用于数据工程师进行ETL开发、数据加载和转换。关键词：Starlake、项目引导、模板、配置、数据工程、ETL开发。
模式推断Skill infer-schema
这个技能用于从数据文件（如CSV、JSON、XML、Parquet）中自动推断出Starlake表的模式，并生成对应的YAML配置文件。适用于数据工程中的模式发现、元数据管理和ETL开发流程，帮助数据团队快速建立数据结构。关键词：数据模式推断，ETL开发，YAML配置，文件分析，元数据生成。
Python数据管道开发Skill python-pipeline
该技能用于构建模块化的Python数据处理管道，支持工作流协调、内容类型调度、Google Sheets/Drive API集成和AI服务应用。适用于内容处理、批量处理系统和数据工程场景，提高数据处理效率和自动化水平。关键词：Python、数据管道、模块化架构、调度器、Google Sheets集成、AI集成、ETL、数据处理、批量处理、工作流自动化。
PDF处理技能Skill pdf
PDF处理技能用于编程方式处理PDF文档，包括文本和表格提取、PDF创建、合并分割、表单处理以及自动化操作。关键词包括：PDF处理、文本提取、表格提取、Python库、自动化、数据提取、文档管理。
Parquet转CSV工具Skill parquet2csv
这个技能用于将Parquet格式的数据文件转换为CSV格式，实现数据格式转换和导出功能。适用于数据工程、ETL处理和数据兼容性场景。关键词：Parquet, CSV, 数据转换, Spark, 数据导出, 格式转换, 数据工程。
预加载技能Skill preload
该技能用于在数据加载流程中检查landing或pending区域的文件可用性，确保文件就绪后触发加载，适用于数据工程、ETL开发和自动化编排，关键词：文件检查、数据加载、编排、ETL、数据仓库、预加载。
数据库技能Skill databases
该技能专注于MongoDB和PostgreSQL数据库的管理与操作，涵盖数据建模、查询编写、性能优化、索引管理、数据库迁移、备份恢复策略等关键方面。适用于数据库管理员、后端开发者和数据工程师，提升数据库处理效率和系统稳定性。关键词：MongoDB, PostgreSQL, 数据库管理, 查询优化, 数据建模, 性能调优