数据工程 Skill技能列表
Excel转YML转换器Skill xls2yml
Excel转YML转换器是一款将Excel表格中的域和表架构转换为Starlake YAML配置文件的工具。适用于数据工程团队，简化数据模型管理流程，支持批量文件转换、自定义输出目录、IAM策略标签集成等功能，提高数据治理效率。关键词：Excel转YML、Starlake、数据工程、配置管理、ETL开发、数据治理。
数据库模式可视化工具Skill schema-visualizer
该技能用于从数据库模式生成可视化图表、实体关系图（ERD）和文档，支持多种格式如Mermaid、PlantUML和来源如SQL、ORM模型，帮助数据库设计、分析和优化，关键词包括数据库、模式、可视化、ERD、文档、SQL、ORM。
数据复制设置Skill data-replication-setup
本文档提供了数据库复制的详细指南，包括主从复制、多主复制、复制监控和故障转移等，旨在帮助实现高可用性和灾难恢复。
ESLoad技能Skill esload
这是一个用于将数据从文件（如Parquet、JSON）加载到Elasticsearch索引的工具，支持自定义映射、文档ID和时间戳索引命名，适用于数据工程和ETL流程，方便数据集成与处理。关键词：Elasticsearch, 数据加载, Parquet, JSON, 映射, 文档ID, 时间戳索引, ETL, 数据工程。
PDF处理技能Skill pdf
PDF处理技能用于编程方式处理PDF文档，包括文本和表格提取、PDF创建、合并分割、表单处理以及自动化操作。关键词包括：PDF处理、文本提取、表格提取、Python库、自动化、数据提取、文档管理。
仪器数据到Allotrope转换器Skill instrument-data-to-allotrope
该技能用于将实验室仪器输出的文件（如PDF、CSV、Excel、TXT）转换为标准化的Allotrope Simple Model (ASM) JSON格式或扁平化的2D CSV，以支持数据标准化，便于集成到LIMS系统、数据湖或下游分析。功能包括自动检测仪器类型、生成完整的ASM JSON、扁平化CSV和可导出的Python解析代码，适用于数据工程团队。关键词：仪器数据转换，Allotrope格式，数据标准化，LIMS系统，数据工程，Python解析，实验室数据管理，ASM JSON，扁平化CSV。
DAG部署技能Skill dag-deploy
DAG部署技能专用于自动化部署生成的DAG文件到目标目录，如Airflow DAGs文件夹，支持清理和文件组织，优化数据管道管理，适用于数据工程、ETL开发和DevOps场景，提升数据工作流效率。
数据处理器Skill data-processor
数据处理器是一个用于处理和验证各种数据输入的工具，适用于数据清洗、验证和预处理。关键词包括数据处理、数据验证、Python工具、数据输入处理，方便SEO搜索和数据管理应用。
ZarrPython数据存储库Skill zarr-python
Zarr Python 是一个用于云存储的分块 N 维数组库，支持压缩、并行 I/O 和与 NumPy、Dask、Xarray 的集成，专为大规模科学计算和数据处理而设计。关键词：数据存储、并行计算、云计算、科学计算、大数据处理、Python 库。
数据转换Skill transforming-data
数据转换技能涉及使用ETL/ELT模式、SQL（如dbt）、Python库（如pandas、polars、PySpark）和编排工具（如Airflow）将原始数据处理成可用于分析的数据集，适用于数据管道构建、增量加载、性能优化和数据质量保障。关键词：数据转换、ETL开发、数据工程、数据管道、dbt、Airflow、SQL、Python、数据仓库。
提取模式技能Skill extract-schema
这个技能用于从JDBC数据库提取数据库表模式（如列名、类型、约束），并生成Starlake YAML配置文件，是数据工程中反向工程数据库到Starlake项目的关键第一步。关键词包括：数据库模式提取、Starlake配置、YAML文件生成、ETL开发、数据治理、反向工程。
DatabaseLockingStrategiesSkill DatabaseLockingStrategies
数据库锁定策略是用于管理共享数据并发访问的机制，确保数据完整性，防止多个事务同时以可能造成不一致的方式修改相同数据。关键概念包括并发控制、锁定类型（共享锁定、独占锁定）、锁定粒度（行级、页面级、表级锁定）以及多版本并发控制（MVCC）。此技能涉及数据库事务、锁定机制、隔离级别和死锁处理等。