名称

ab-test-readout

描述

当需要解读 A/B 实验数据、判断结果能否上线或设计实验指标时使用。该技能先做数据质量校验（样本比例、埋点完整性、分流一致性），再计算绝对与相对提升、置信区间和显著性，结合业务成本给出上线、继续观察或终止的结论。适用于产品功能实验、增长活动、推荐策略与定价测试。关键词：A/B测试、实验分析、显著性、p值、置信区间、样本量、分流、指标、留存、转化率、灰度、实验设计、统计功效、多重比较、辛普森悖论。

A/B 实验解读与决策

把一张实验数据表变成“上不上”的决定，而不是只报一个 p 值。

何时使用

实验到期，需要给业务结论。
实验期中发现指标异常，判断是否继续。
设计实验，需要定指标、样本量与停止规则。
多个实验同时运行，需要避免相互干扰。

不适用：纯观察性数据分析（不能直接归因）；小样本且无法扩展的实验。

输入

分组、样本量、时间窗口。
核心指标与护栏指标的定义与口径。
分流方式与哈希键。
业务成本：错误上线的损失、错误放弃的机会成本。

指标口径不明确时先对齐口径，不要开始算显著性。

工作流

第 1 步：数据质量

先排除“数据坏了”再谈统计：

样本比例失配（SRM）：实际分流比例与设计比例做卡方检验，p < 0.001 视为分流异常。
埋点完整性：两组曝光、点击、转化漏斗各层转化率是否合理。
分流一致性：同一用户是否跨组。
时间窗口：是否覆盖完整周期（至少一个完整周，避开节假日异常）。
异常值：单用户极端行为是否主导结果。

SRM 未解决前，任何显著性结论都不可信。

第 2 步：描述统计

对每个指标给出：

组内样本量与均值/转化率。
绝对提升与相对提升。
95% 置信区间。
分布形态（转化率用二项分布，金额类注意长尾）。

相对提升必须有绝对值和基线，单独说“提升 20%”没有意义。

第 3 步：显著性

转化率：两比例 z 检验或卡方。
连续指标：t 检验；长尾严重时用 bootstrap。
报告 p 值与置信区间，不要只报 p 值。
多重比较：同时看多个指标时做 Bonferroni 或 Benjamini-Hochberg 校正，或明确只把核心指标作为决策依据。
中途窥探：反复看数据会抬高假阳性，需用序贯检验或固定观察点。

第 4 步：业务判断

按 references/decision-rules.md：

统计显著 + 业务显著 → 上线。
统计显著 + 业务不显著 → 评估维护成本，通常不上。
不显著 + 区间跨 0 且样本足够 → 判定无效，停止。
不显著 + 样本不足 → 继续收集或判定功效不足。
核心指标提升但护栏指标恶化 → 不上线，先查原因。

第 5 步：偏差排查

辛普森悖论：分渠道/分端看方向是否反转。
新奇效应：新功能短期点击高，长期回落。
选择偏差：分流依赖登录态导致组间人群不同。
溢出效应：同设备、同社交关系跨组污染。
季节性：实验期与基线期外部环境不同。

第 6 步：结论与沉淀

输出一页结论：结论、证据、风险、后续实验建议。把实验配置与数据快照归档，便于复现。

检查清单

[ ] 分流比例通过 SRM 检验。
[ ] 埋点在两组均无缺失。
[ ] 实验覆盖完整业务周期。
[ ] 核心指标与护栏指标都已报告。
[ ] 给出绝对提升、相对提升与置信区间。
[ ] 多重比较已处理或已声明决策指标。
[ ] 已检查辛普森悖论与新奇效应。
[ ] 结论包含“不上线”的选项与理由。
[ ] 样本量满足事前功效计算。

输出模板

## 结论
上线 / 不上线 / 继续观察

## 数据质量
- SRM：
- 埋点：
- 窗口：

## 指标结果
| 指标 | 对照组 | 实验组 | 绝对提升 | 相对提升 | 95% CI | p |
| --- | --- | --- | --- | --- | --- | --- |

## 分群
| 渠道/端 | 方向 | 说明 |
| --- | --- | --- |

## 风险与偏差
...

## 建议
...

反模式

看到 p < 0.05 就上线，不看效应大小与护栏指标。
实验两天就下结论。
反复查看数据并随时停止。
只报相对提升，隐藏小基线。
忽略分流异常，把脏数据算出“显著”。

参考文件

references/stats-checklist.md：统计检验与样本量计算要点。
references/decision-rules.md：上线判定与偏差排查。