name: data-analytics-engineering description: 用于可靠指标和BI准备的分析工程。构建转换层、维度模型、语义指标、数据质量测试和文档。当您需要dbt或SQL转换策略、指标定义或分析数据建模时使用。
数据分析工程
范围
- 定义指标、粒度和维度模型。
- 构建转换层和语义模型。
- 实施数据质量测试和可观察性。
- 文档化数据集、数据血统和所有权。
- 对齐分析输出与BI和产品需求。
所需输入
- 业务指标和决策用例。
- 源系统、数据新鲜度和延迟需求。
- 现有数据仓库、工具和编排。
- 预期数据量和变化频率。
- 治理要求和访问控制。
工作流程
- 定义指标字典和粒度。
- 设计暂存层、中间层和集市层。
- 用清晰的键建模维度和事实表。
- 构建语义层和指标定义。
- 添加新鲜度、空值、范围和重复项测试。
- 文档化血统、所有者和SLA。
- 规划上线、回填和验证检查。
输出
- 指标字典和语义模型。
- 包含模式和粒度定义的数据模型。
- 转换计划和dbt或SQLMesh结构。
- 数据质量测试套件和警报计划。
- 文档和所有权地图。
质量检查
- 保持指标定义稳定且版本化。
- 将指标视为API:文档化变更、安全弃用、故意回填。
- 为核心表定义数据合同(模式、新鲜度、键)以控制下游中断。
- 避免在单个模型中混合粒度。
- 确保测试覆盖关键连接和聚合。
- 基于真实来源和历史基线进行验证。
模板
assets/metric-dictionary.md用于指标定义和所有者。assets/semantic-layer-spec.md用于实体、度量和维度。assets/data-quality-test-plan.md用于测试覆盖规划。
资源
references/modeling-patterns.md用于建模指导和数据质量模式。references/tool-comparison-2026.md用于dbt vs SQLMesh vs Coalesce决策矩阵。data/sources.json用于精选供应商文档和趋势跟踪来源(用作WebSearch种子列表)。
相关技能
- 使用 data-lake-platform 进行平台架构。
- 使用 data-sql-optimization 进行查询调优。
- 使用 ai-ml-data-science 进行建模和实验。
趋势意识协议
重要:当用户询问关于分析工程、数据建模或BI的推荐问题时,您必须在回答前使用WebSearch检查当前趋势。如果WebSearch不可用,请使用 data/sources.json + 网络浏览,并说明您验证了什么与假设了什么。
触发条件
- “什么是用于[分析工程/数据建模/BI]的最佳工具?”
- “我应该使用什么来进行[转换/语义层/指标]?”
- “分析工程的最新动态是什么?”
- “[dbt/指标层/数据质量]的当前最佳实践?”
- “[工具/方法]在2026年仍然相关吗?”
- “[dbt] vs [SQLMesh] vs [其他]?”
- “用于[用例]的最佳BI工具?”
- “SQLMesh收购”或“Fivetran转换”
- “代理分析”或“AI数据工作流”
- “指标债务”或“指标治理”
所需搜索
- 搜索:
“2026年分析工程最佳实践” - 搜索:
“[dbt/SQLMesh/语义层] vs 替代方案 2026” - 搜索:
“2026年1月分析工程趋势” - 搜索:
“[特定工具] 2026年新发布” - 搜索:
“代理分析 AI 数据 2026”(针对AI相关查询)
报告内容
搜索后提供:
- 当前格局:现在流行的分析工具/模式是什么
- 新兴趋势:获得关注的新工具、模式或标准
- 弃用/衰退:失去相关性或支持的工具/方法
- 推荐:基于新鲜数据,而不是静态知识
示例主题(用新鲜搜索验证)
- 转换工具(dbt、SQLMesh、Coalesce)
- 语义层(dbt语义层、Cube、AtScale、仓库原生)
- 指标存储和无头BI
- 数据质量工具(dbt测试、Elementary、dbt-expectations/Metaplane)
- BI平台(Metabase、Superset、Lightdash、Hex)
- 数据建模模式(维度、宽表、活动模式)
- 分析工程工作流程和CI/CD
- 代理AI工作流程用于分析
- 数据网格和领域拥有的数据产品