数据工程 Skill技能列表
阶段技能Skill stage
阶段技能用于将数据文件从登陆区移动到待处理区,执行解压缩和确认文件处理,是数据摄取管道的第一步,确保数据准备就绪供后续加载。关键词:数据阶段化、ETL、数据工程、ACK文件处理、数据管道、数据摄取、文件管理。
提取BigQuery架构Skill extract-bq-schema
此技能用于直接从Google BigQuery数据集中提取表架构,并将其转换为Starlake YAML配置文件。适用于数据工程、ETL开发和数据仓库构建,提升元数据管理效率。关键词:BigQuery、架构提取、Starlake、YAML、数据工程、ETL、数据仓库、元数据。
ClickHouse高性能分析模式Skill clickhouse-io
本技能文档系统介绍了ClickHouse数据库在高性能分析场景下的核心模式与实践。涵盖表设计优化、查询性能调优、数据插入策略、物化视图应用、性能监控方法以及常见分析查询模式。适用于数据工程师、数据分析师和开发人员构建实时分析系统、数据仓库和大规模数据处理平台。关键词:ClickHouse优化、OLAP数据库、实时分析、数据工程、查询性能、大数据处理、数据仓库、ETL管道、物化视图、时间序列分析。
流处理窗口设计器Skill StreamProcessingWindowingDesigner
流处理窗口设计器是一款专注于为实时数据流处理系统设计优化窗口策略的专业工具。它提供窗口类型选择、水印策略配置、延迟数据处理、触发机制优化等核心功能,帮助用户构建高效、可靠的流处理管道。关键词:流处理、窗口策略、水印机制、实时计算、数据聚合、状态管理、延迟处理、触发配置、流式架构、事件时间处理。