name: preload description: 检查在landing/pending区域中可用的文件
PreLoad 技能
检查在landing或pending区域中可用的文件。这对于编排很有用,可以在触发实际加载过程之前确定文件是否就绪。
使用
starlake preload [options]
选项
--domain <值>: 要检查文件的域(必需)--tables <值>: 要检查的表的逗号分隔列表(默认:域中的所有表)--strategy <值>: 预加载策略:Imported、Pending或Ack--globalAckFilePath <值>: 全局确认文件的路径--options k1=v1,k2=v2: 替换参数--reportFormat <值>: 报告输出格式:console、json或html
策略
| 策略 | 描述 |
|---|---|
imported |
检查文件是否已导入到landing区域 |
pending |
检查文件是否在pending区域可用 |
ack |
在处理前检查确认文件是否存在 |
示例
检查待处理文件
starlake preload --domain starbake
检查特定表
starlake preload --domain starbake --tables orders,products
使用ACK策略检查
starlake preload --domain starbake --strategy ack --globalAckFilePath /data/pending/starbake/GO.ack
使用JSON报告检查
starlake preload --domain starbake --reportFormat json
相关技能
- stage - 将文件从landing移动到pending
- load - 将文件加载到数据仓库
- dag-generate - 使用预加载传感器生成DAG