数据工程 Skill技能列表
模式推断Skill infer-schema
这个技能用于从数据文件（如CSV、JSON、XML、Parquet）中自动推断出Starlake表的模式，并生成对应的YAML配置文件。适用于数据工程中的模式发现、元数据管理和ETL开发流程，帮助数据团队快速建立数据结构。关键词：数据模式推断，ETL开发，YAML配置，文件分析，元数据生成。
索引技能Skill index
索引技能是一个命令行工具，用于将数据索引到Elasticsearch中，作为esload命令的别名，适用于数据加载、搜索优化和数据管道集成。关键词：数据索引、Elasticsearch、数据工程、ETL、搜索、数据加载。
KafkaStreamsSkill kafka-streams
Kafka Streams是一个用于构建实时流处理应用程序的库，它提供了一个高级的抽象，允许开发者轻松地表达处理逻辑，同时确保数据的容错性和可扩展性。
ESLoad技能Skill esload
这是一个用于将数据从文件（如Parquet、JSON）加载到Elasticsearch索引的工具，支持自定义映射、文档ID和时间戳索引命名，适用于数据工程和ETL流程，方便数据集成与处理。关键词：Elasticsearch, 数据加载, Parquet, JSON, 映射, 文档ID, 时间戳索引, ETL, 数据工程。
DAG生成技能Skill dag-generate
该技能用于从 Starlake 项目配置自动生成 Airflow 或 Dagster 的 DAG（有向无环图）文件，支持数据加载和变换任务的编排，适用于数据工程、ETL 开发和自动化工作流管理。关键词：DAG, Airflow, Dagster, Starlake, 数据工程, ETL, 任务编排, 工作流。
比较Skill compare
此 Starlake compare 技能用于数据工程项目的版本对比，生成差异报告，支持 Git 集成、文件路径和标签比较，便于审查 schema 更改、配置更新和发布管理。关键词包括 Starlake、比较、差异报告、schema 变化、数据工程、Git 版本控制、ETL 开发、数据治理，提升项目管理效率。
列级血缘技能Skill col-lineage
这个技能用于生成SQL转换任务中的列级血缘，追踪输出列到源列的数据来源，提供精细的数据溯源信息。关键词：数据血缘、SQL分析、数据工程、数据治理、ETL、数据仓库。
数据处理器Skill data-processor
数据处理器是一个用于处理和验证各种数据输入的工具，适用于数据清洗、验证和预处理。关键词包括数据处理、数据验证、Python工具、数据输入处理，方便SEO搜索和数据管理应用。
ZarrPython库技能Skill zarr-python
Zarr Python是一个用于存储和处理大规模N维数组的Python库，支持分块、压缩、并行I/O和云存储集成，与NumPy、Dask、Xarray兼容，适用于科学计算、数据工程和机器学习流水线。关键词：Zarr Python, 数据存储, 分块数组, 压缩, 云存储, 科学计算, 并行处理, Dask, Xarray
PDF处理技能Skill pdf
PDF处理技能用于编程方式处理PDF文档，包括文本和表格提取、PDF创建、合并分割、表单处理以及自动化操作。关键词包括：PDF处理、文本提取、表格提取、Python库、自动化、数据提取、文档管理。
WAP数据安全摄取技能Skill wap-ingestion
WAP数据安全摄取技能是一种基于写-审计-发布模式的数据工程解决方案，专门用于从AWS S3云存储安全导入数据到bauplan数据平台。该技能通过临时分支隔离、数据质量检查、原子性合并等机制，确保数据加载过程的安全可靠，防止脏数据污染生产环境。适用于金融风控、企业数据仓库、ETL流程、数据湖管理等场景，支持Parquet、CSV、JSONL等多种数据格式的安全摄取。
创建Bauplan数据管道Skill creating-bauplan-pipelines
本技能是Bauplan数据工程平台的详细指南，用于创建和管理数据管道项目。它涵盖了从项目初始化、DAG（有向无环图）设计、SQL/Python模型编写、到严格模式验证和物化策略的全流程。核心功能包括：数据管道开发、ETL/ELT流程构建、数据转换模型（SQL/Python）、数据质量检查、I/O下推优化、分支安全管理以及自动化工作流。适用于数据工程师、数据分析师和开发人员构建可维护、高性能的数据处理流水线。