数据工程 Skill技能列表
流处理Skill stream-processing
流处理技能专注于实时数据处理技术，用于构建事件驱动系统和流分析应用。它涉及使用框架如Apache Kafka、Apache Flink等处理无界数据流，支持低延迟响应、窗口操作、状态管理和精确一次交付。关键词：流处理、实时数据、事件流、Kafka、Flink、流分析、数据管道、事件驱动架构。
Parquet转CSV工具Skill parquet2csv
这个技能用于将Parquet格式的数据文件转换为CSV格式，实现数据格式转换和导出功能。适用于数据工程、ETL处理和数据兼容性场景。关键词：Parquet, CSV, 数据转换, Spark, 数据导出, 格式转换, 数据工程。
数据血缘技能Skill lineage
此技能用于生成任务依赖关系图（数据血缘），通过分析SQL变换文件中的依赖关系，可视化数据血缘，支持多种输出格式如DOT、SVG、PNG、JSON，便于数据工程和数据治理。关键词：数据血缘、任务依赖、SQL分析、数据可视化、数据工程。
引导技能Skill bootstrap
引导技能是Starlake数据工程工具的核心功能，用于快速创建新的项目结构和配置文件。它支持使用模板进行项目搭建，包含标准目录、配置示例和数据，适用于数据工程师进行ETL开发、数据加载和转换。关键词：Starlake、项目引导、模板、配置、数据工程、ETL开发。
列级血缘技能Skill col-lineage
这个技能用于生成SQL转换任务中的列级血缘，追踪输出列到源列的数据来源，提供精细的数据溯源信息。关键词：数据血缘、SQL分析、数据工程、数据治理、ETL、数据仓库。
DAG生成技能Skill dag-generate
该技能用于从 Starlake 项目配置自动生成 Airflow 或 Dagster 的 DAG（有向无环图）文件，支持数据加载和变换任务的编排，适用于数据工程、ETL 开发和自动化工作流管理。关键词：DAG, Airflow, Dagster, Starlake, 数据工程, ETL, 任务编排, 工作流。
ESLoad技能Skill esload
这是一个用于将数据从文件（如Parquet、JSON）加载到Elasticsearch索引的工具，支持自定义映射、文档ID和时间戳索引命名，适用于数据工程和ETL流程，方便数据集成与处理。关键词：Elasticsearch, 数据加载, Parquet, JSON, 映射, 文档ID, 时间戳索引, ETL, 数据工程。
DAG部署技能Skill dag-deploy
DAG部署技能专用于自动化部署生成的DAG文件到目标目录，如Airflow DAGs文件夹，支持清理和文件组织，优化数据管道管理，适用于数据工程、ETL开发和DevOps场景，提升数据工作流效率。
索引技能Skill index
索引技能是一个命令行工具，用于将数据索引到Elasticsearch中，作为esload命令的别名，适用于数据加载、搜索优化和数据管道集成。关键词：数据索引、Elasticsearch、数据工程、ETL、搜索、数据加载。
创建Bauplan数据管道Skill creating-bauplan-pipelines
本技能是Bauplan数据工程平台的详细指南，用于创建和管理数据管道项目。它涵盖了从项目初始化、DAG（有向无环图）设计、SQL/Python模型编写、到严格模式验证和物化策略的全流程。核心功能包括：数据管道开发、ETL/ELT流程构建、数据转换模型（SQL/Python）、数据质量检查、I/O下推优化、分支安全管理以及自动化工作流。适用于数据工程师、数据分析师和开发人员构建可维护、高性能的数据处理流水线。
数据处理器Skill data-processor
数据处理器是一个用于处理和验证各种数据输入的工具，适用于数据清洗、验证和预处理。关键词包括数据处理、数据验证、Python工具、数据输入处理，方便SEO搜索和数据管理应用。
Python数据管道开发Skill python-pipeline
该技能用于构建模块化的Python数据处理管道，支持工作流协调、内容类型调度、Google Sheets/Drive API集成和AI服务应用。适用于内容处理、批量处理系统和数据工程场景，提高数据处理效率和自动化水平。关键词：Python、数据管道、模块化架构、调度器、Google Sheets集成、AI集成、ETL、数据处理、批量处理、工作流自动化。