名称：Great Expectations 生成器 描述：根据数据画像和业务规则生成 Great Expectations 套件 版本：1.0.0 类别：数据质量 技能ID：SK-DEA-006 允许使用的工具：
- 读取
- 写入
- 编辑
- 全局搜索
- 文本搜索
- Bash
Great Expectations 生成器
概述
根据数据画像和业务规则生成 Great Expectations 套件。此技能自动化创建全面的期望套件，以强制执行数据质量约束。
功能
- 基于画像生成期望套件
- 自定义期望创建
- 检查点配置
- 数据文档生成
- 验证结果分析
- 期望参数化
- 套件版本管理建议
- 与 dbt 和 Airflow 集成
输入模式
{
"数据画像": "对象",
"业务规则": ["对象"],
"现有套件": "对象",
"严格程度": "严格|中等|宽松"
}
输出模式
{
"期望套件": "对象",
"检查点配置": "对象",
"文档": "字符串",
"覆盖率报告": {
"有期望的列数": "数字",
"总期望数": "数字"
}
}
目标流程
- 数据质量框架
- ETL/ELT 管道
- dbt 项目设置
使用指南
- 提供来自画像分析的数据画像结果
- 定义应强制执行的业务规则
- 根据用例要求指定严格程度
- 如果扩展现有配置，请包含现有套件
最佳实践
- 从中等严格程度开始，并根据验证结果进行调整
- 包含列级和表级期望
- 记录每个自定义期望的业务理由
- 与数据转换一起对期望套件进行版本管理
- 配置适当的数据文档以提高利益相关者的可见性