预加载技能Skill preload

该技能用于在数据加载流程中检查landing或pending区域的文件可用性,确保文件就绪后触发加载,适用于数据工程、ETL开发和自动化编排,关键词:文件检查、数据加载、编排、ETL、数据仓库、预加载。

数据工程 0 次安装 0 次浏览 更新于 3/15/2026

name: preload description: 检查在landing/pending区域中可用的文件

PreLoad 技能

检查在landing或pending区域中可用的文件。这对于编排很有用,可以在触发实际加载过程之前确定文件是否就绪。

使用

starlake preload [options]

选项

  • --domain <值>: 要检查文件的域(必需)
  • --tables <值>: 要检查的表的逗号分隔列表(默认:域中的所有表)
  • --strategy <值>: 预加载策略:ImportedPendingAck
  • --globalAckFilePath <值>: 全局确认文件的路径
  • --options k1=v1,k2=v2: 替换参数
  • --reportFormat <值>: 报告输出格式:consolejsonhtml

策略

策略 描述
imported 检查文件是否已导入到landing区域
pending 检查文件是否在pending区域可用
ack 在处理前检查确认文件是否存在

示例

检查待处理文件

starlake preload --domain starbake

检查特定表

starlake preload --domain starbake --tables orders,products

使用ACK策略检查

starlake preload --domain starbake --strategy ack --globalAckFilePath /data/pending/starbake/GO.ack

使用JSON报告检查

starlake preload --domain starbake --reportFormat json

相关技能

  • stage - 将文件从landing移动到pending
  • load - 将文件加载到数据仓库
  • dag-generate - 使用预加载传感器生成DAG