数据科学 Skill技能列表
Kafka数据加载技能Skill kafkaload
Kafka 数据加载技能是一个用于在 Apache Kafka 主题和文件系统之间高效传输数据的工具。它支持批处理和流式处理模式，提供数据转换功能，适用于数据集成、ETL 流程和大数据处理场景。关键词：Kafka、数据加载、数据卸载、批处理、流式处理、数据转换、ETL。
作业技能Skill job
starlake作业技能是用于运行数据处理作业的命令行工具，作为transform命令的别名，支持运行指定作业及其递归依赖，适用于数据工程和ETL开发场景。关键词：starlake, 作业, transform, 数据处理, ETL, 命令行, 数据转换, 数据仓库, 自动化任务。
摄取技能Skill ingest
摄取技能是一个数据处理命令，用于从指定文件路径直接加载数据到数据域的表中。适用于程序化或API驱动的数据摄取场景，支持ETL开发、数据工程、数据治理等。关键词：数据摄取、文件加载、ETL工具、数据管道、数据处理、量化金融、证券投资。
模式推断Skill infer-schema
这个技能用于从数据文件（如CSV、JSON、XML、Parquet）中自动推断出Starlake表的模式，并生成对应的YAML配置文件。适用于数据工程中的模式发现、元数据管理和ETL开发流程，帮助数据团队快速建立数据结构。关键词：数据模式推断，ETL开发，YAML配置，文件分析，元数据生成。
索引技能Skill index
索引技能是一个命令行工具，用于将数据索引到Elasticsearch中，作为esload命令的别名，适用于数据加载、搜索优化和数据管道集成。关键词：数据索引、Elasticsearch、数据工程、ETL、搜索、数据加载。
数据新鲜度检查技能Skill freshness
这个技能用于监控数据表的新鲜度，通过查询最后更新时间戳，并将结果存储在审计表中进行监控和报警。适用于数据治理、数据工程和云服务等领域。关键词：数据新鲜度、更新时间戳、数据监控、数据报警、数据治理、Starlake、ETL、数据仓库。
提取技能Skill extract
提取技能是Starlake工具中的一项功能，用于从JDBC数据库源提取模式和数据。它将数据库模式的元数据提取为YAML文件，并将实际数据提取到文件中。这个技能结合了模式提取和数据提取，是一个方便的ETL命令，适用于数据工程、数据仓库和ETL开发工作流，帮助自动化数据处理任务。关键词：数据提取，数据库模式，JDBC，ETL，数据工程，数据仓库，Starlake。
提取脚本技能Skill extract-script
提取脚本技能能够从 Mustache 或 SSP 模板自动生成 SQL DDL 脚本，适用于不同数据库平台，支持自定义提取、增量更新和审计功能，提升数据库脚本开发效率。关键词：提取脚本、Mustache 模板、SSP 模板、SQL DDL、数据库脚本生成、增量提取、审计模式。
提取模式技能Skill extract-schema
这个技能用于从JDBC数据库提取数据库表模式（如列名、类型、约束），并生成Starlake YAML配置文件，是数据工程中反向工程数据库到Starlake项目的关键第一步。关键词包括：数据库模式提取、Starlake配置、YAML文件生成、ETL开发、数据治理、反向工程。
提取BigQuery架构Skill extract-bq-schema
此技能用于直接从Google BigQuery数据集中提取表架构，并将其转换为Starlake YAML配置文件。适用于数据工程、ETL开发和数据仓库构建，提升元数据管理效率。关键词：BigQuery、架构提取、Starlake、YAML、数据工程、ETL、数据仓库、元数据。
ESLoad技能Skill esload
这是一个用于将数据从文件（如Parquet、JSON）加载到Elasticsearch索引的工具，支持自定义映射、文档ID和时间戳索引命名，适用于数据工程和ETL流程，方便数据集成与处理。关键词：Elasticsearch, 数据加载, Parquet, JSON, 映射, 文档ID, 时间戳索引, ETL, 数据工程。
DAG生成技能Skill dag-generate
该技能用于从 Starlake 项目配置自动生成 Airflow 或 Dagster 的 DAG（有向无环图）文件，支持数据加载和变换任务的编排，适用于数据工程、ETL 开发和自动化工作流管理。关键词：DAG, Airflow, Dagster, Starlake, 数据工程, ETL, 任务编排, 工作流。