ETL开发 Skill技能列表
ETL管道构建器Skill etl-pipeline-builder
ETL管道构建器是一个用于自动化构建和管理数据迁移管道的技能。它专注于数据提取、转换和加载（ETL）流程，支持增量加载、变更数据捕获（CDC）以及全面的监控告警功能。关键词：ETL开发，数据管道，数据迁移，CDC，增量加载，数据工程，数据集成，Airflow，dbt，数据仓库。
Excel文件处理技能Skill document-processing-xlsx
此技能用于处理、解析、创建和操作Excel电子表格（.xlsx, .xls），使用库如SheetJS、exceljs，支持数据导入导出、生成动态报告、自动化电子表格操作。适用于数据迁移、财务报告生成、批量数据处理等场景，关键词包括Excel、电子表格、数据导入、数据导出、报告自动化、SheetJS、xlsx、数据处理、自动化工具。
数据提取Skill extract-data
数据提取技能用于从数据库表中高效提取数据到CSV或Parquet文件，支持全量、增量提取，并行处理，以及灵活的过滤选项，适用于数据工程和ETL流程，关键词包括数据提取、数据库、CSV、Parquet、ETL、数据工程、增量提取、并行处理。
ETL/ELT数据管道模式Skill etl-elt-patterns
本技能详细介绍了ETL和ELT数据管道模式，包括设计、实施、优化和数据质量控制，适用于数据工程和数据分析，关键词包括ETL、ELT、数据管道、数据转换、数据仓库、数据质量、现代数据栈。
摄取技能Skill ingest
摄取技能是一个数据处理命令，用于从指定文件路径直接加载数据到数据域的表中。适用于程序化或API驱动的数据摄取场景，支持ETL开发、数据工程、数据治理等。关键词：数据摄取、文件加载、ETL工具、数据管道、数据处理、量化金融、证券投资。
RayData分布式数据处理Skill ray-data
Ray Data 是一个用于机器学习和人工智能工作负载的可扩展分布式数据处理库，支持流式执行、GPU加速，并集成PyTorch、TensorFlow等框架。适用于大规模数据预处理、批量推断、多模态数据加载和分布式ETL管道。关键词：分布式数据处理、机器学习、AI、流式执行、GPU加速、ETL、Ray、数据预处理、批量推断。
Polars数据处理库Skill polars
Polars是一个基于Apache Arrow的快速内存DataFrame库，支持惰性评估和并行执行，适用于处理1-100GB的数据集，用于ETL管道、数据清洗、数据分析、pandas迁移和数据管道优化，提高数据处理效率和性能。关键词：数据处理，DataFrame，Apache Arrow，ETL，数据工程，数据科学，并行执行，内存计算。
新闻聚合Skill news-aggregation
新闻聚合技能用于从多个新闻网站和聚合器通过RSS订阅自动收集、去重和总结最新新闻，生成简洁主题摘要，并列出所有来源链接。适用于数据分析、信息聚合和自动化报告。关键词：新闻聚合、RSS、多源数据、数据分析、Python、Node.js、ETL、自动化。
Kafka数据加载技能Skill kafkaload
Kafka 数据加载技能是一个用于在 Apache Kafka 主题和文件系统之间高效传输数据的工具。它支持批处理和流式处理模式，提供数据转换功能，适用于数据集成、ETL 流程和大数据处理场景。关键词：Kafka、数据加载、数据卸载、批处理、流式处理、数据转换、ETL。
Excel作业定义转YAML技能Skill xls2ymljob
这是一个用于数据工程的工具，能够将Excel电子表格中描述的任务定义高效转换为Starlake YAML配置文件，支持批量处理和策略集成，适用于ETL开发和数据治理。关键词：Excel, YAML, Starlake, 任务转换, ETL开发, 数据工程, 数据治理, 配置文件。
转换技能Skill transform
转换技能用于执行SQL或Python数据转换任务，支持从源表读取数据并写入目标表，具备依赖管理、多种写入策略和递归执行功能。适用于数据工程、ETL开发、数据仓库构建和数据处理流程，关键词包括SQL转换、Python脚本、数据管道、ETL工具、数据集成、数据科学、数据库管理。
数据加载技能Skill load
此技能用于将数据文件从待处理区域高效加载到数据仓库中，实现ETL（提取、转换、加载）过程。它包括数据验证以符合模式、应用写策略（如APPEND、OVERWRITE）、强制执行数据质量期望（如唯一性检查）和隐私转换。支持多种文件格式（JSON、CSV、XML），并通过配置灵活管理数据加载。关键词：数据加载，ETL，数据仓库，数据验证，写策略，数据质量，隐私转换，文件格式，配置管理。