数据分析工程 data-analytics-engineering

数据分析工程是一种技能,专注于构建可靠的数据指标和准备商业智能(BI)系统。它涉及定义指标和维度模型、构建数据转换层、实施数据质量测试、以及文档化数据集和数据血统。适用于需要数据建模、指标定义或分析数据处理的场景。关键词:数据分析工程、数据建模、指标定义、数据质量、BI准备、dbt、SQL转换。

数据工程 0 次安装 0 次浏览 更新于 3/7/2026

name: data-analytics-engineering description: 用于可靠指标和BI准备的分析工程。构建转换层、维度模型、语义指标、数据质量测试和文档。当您需要dbt或SQL转换策略、指标定义或分析数据建模时使用。

数据分析工程

范围

  • 定义指标、粒度和维度模型。
  • 构建转换层和语义模型。
  • 实施数据质量测试和可观察性。
  • 文档化数据集、数据血统和所有权。
  • 对齐分析输出与BI和产品需求。

所需输入

  • 业务指标和决策用例。
  • 源系统、数据新鲜度和延迟需求。
  • 现有数据仓库、工具和编排。
  • 预期数据量和变化频率。
  • 治理要求和访问控制。

工作流程

  1. 定义指标字典和粒度。
  2. 设计暂存层、中间层和集市层。
  3. 用清晰的键建模维度和事实表。
  4. 构建语义层和指标定义。
  5. 添加新鲜度、空值、范围和重复项测试。
  6. 文档化血统、所有者和SLA。
  7. 规划上线、回填和验证检查。

输出

  • 指标字典和语义模型。
  • 包含模式和粒度定义的数据模型。
  • 转换计划和dbt或SQLMesh结构。
  • 数据质量测试套件和警报计划。
  • 文档和所有权地图。

质量检查

  • 保持指标定义稳定且版本化。
  • 将指标视为API:文档化变更、安全弃用、故意回填。
  • 为核心表定义数据合同(模式、新鲜度、键)以控制下游中断。
  • 避免在单个模型中混合粒度。
  • 确保测试覆盖关键连接和聚合。
  • 基于真实来源和历史基线进行验证。

模板

  • assets/metric-dictionary.md 用于指标定义和所有者。
  • assets/semantic-layer-spec.md 用于实体、度量和维度。
  • assets/data-quality-test-plan.md 用于测试覆盖规划。

资源

  • references/modeling-patterns.md 用于建模指导和数据质量模式。
  • references/tool-comparison-2026.md 用于dbt vs SQLMesh vs Coalesce决策矩阵。
  • data/sources.json 用于精选供应商文档和趋势跟踪来源(用作WebSearch种子列表)。

相关技能


趋势意识协议

重要:当用户询问关于分析工程、数据建模或BI的推荐问题时,您必须在回答前使用WebSearch检查当前趋势。如果WebSearch不可用,请使用 data/sources.json + 网络浏览,并说明您验证了什么与假设了什么。

触发条件

  • “什么是用于[分析工程/数据建模/BI]的最佳工具?”
  • “我应该使用什么来进行[转换/语义层/指标]?”
  • “分析工程的最新动态是什么?”
  • “[dbt/指标层/数据质量]的当前最佳实践?”
  • “[工具/方法]在2026年仍然相关吗?”
  • “[dbt] vs [SQLMesh] vs [其他]?”
  • “用于[用例]的最佳BI工具?”
  • “SQLMesh收购”或“Fivetran转换”
  • “代理分析”或“AI数据工作流”
  • “指标债务”或“指标治理”

所需搜索

  1. 搜索:“2026年分析工程最佳实践”
  2. 搜索:“[dbt/SQLMesh/语义层] vs 替代方案 2026”
  3. 搜索:“2026年1月分析工程趋势”
  4. 搜索:“[特定工具] 2026年新发布”
  5. 搜索:“代理分析 AI 数据 2026”(针对AI相关查询)

报告内容

搜索后提供:

  • 当前格局:现在流行的分析工具/模式是什么
  • 新兴趋势:获得关注的新工具、模式或标准
  • 弃用/衰退:失去相关性或支持的工具/方法
  • 推荐:基于新鲜数据,而不是静态知识

示例主题(用新鲜搜索验证)

  • 转换工具(dbt、SQLMesh、Coalesce)
  • 语义层(dbt语义层、Cube、AtScale、仓库原生)
  • 指标存储和无头BI
  • 数据质量工具(dbt测试、Elementary、dbt-expectations/Metaplane)
  • BI平台(Metabase、Superset、Lightdash、Hex)
  • 数据建模模式(维度、宽表、活动模式)
  • 分析工程工作流程和CI/CD
  • 代理AI工作流程用于分析
  • 数据网格和领域拥有的数据产品