⚡

数据新鲜度检查技能Skill freshness

这个技能用于监控数据表的新鲜度，通过查询最后更新时间戳，并将结果存储在审计表中进行监控和报警。适用于数据治理、数据工程和云服务等领域。关键词：数据新鲜度、更新时间戳、数据监控、数据报警、数据治理、Starlake、ETL、数据仓库。

数据治理 0 次安装 0 次浏览 更新于 3/15/2026

name: freshness description: 检查数据新鲜度和最后更新时间戳

Freshness Skill

通过查询最后更新时间戳来检查数据表的新鲜度。结果存储在 SL_LAST_EXPORT 审计表中，用于监控和报警。

用法

starlake freshness [选项]

选项

  • --connection <值>: 从 application.sl.yml 中的连接引用
  • --database <值>: 数据库 / GCP 项目 ID
  • --tables <值>: 以逗号分隔的 数据集.表 对列表进行检查
  • --external: 包括在 _config.sl.yml 中定义的外部数据集
  • --write <值>: 写入模式: OVERWRITE, APPEND
  • --accessToken <值>: 用于认证的访问令牌
  • --persist <值>: 持久化结果到审计表 (true/false)
  • --reportFormat <值>: 报告输出格式: console, json, 或 html

配置上下文

新鲜度阈值可以在域或表级别定义:

# 在 _config.sl.yml 或 table.sl.yml 中
load:
  metadata:
    freshness:
      warn: "24h"     # 警告如果数据超过 24 小时
      error: "48h"    # 错误如果数据超过 48 小时

示例

检查特定表的新鲜度

starlake freshness --tables starbake.orders,starbake.customers --persist true

检查所有表的新鲜度

starlake freshness --database my-gcp-project --persist true

使用连接检查新鲜度

starlake freshness --connection duckdb --tables starbake.orders

相关技能