A/B实验解读与决策Skill：把一张实验数据表变成「上不上」的决定，而不是只报一个 p 值
- 它解决的是「最后一步」的问题：绝大多数实验团队不缺数据，缺的是从数据到「上线 / 不上线 / 继续观察」的可信推理链条。这个技能把这条链路固化成六个可复用的步骤。
- 先查数据坏没坏，再谈显著性：技能把样本比例失配（SRM）检验、埋点完整性、分流一致性、时间窗口、异常值放在最前面，SRM 未解决前不下任何显著性结论。
- 输出的是决策文档，不是统计量：包括结论、数据质量说明、指标结果表、分群表、风险与偏差、后续建议，并明确保留「不上线」这一选项。
- 主动对抗常见坑：多重比较校正、中途窥探、辛普森悖论、新奇效应、选择偏差、溢出效应、季节性，都写进了工作流和检查清单。
- 适用面广：产品功能实验、增长活动、推荐策略、定价测试都能用；不适用于纯观察性数据归因和小样本且无法扩展的实验。
一、该技能叫什么？如何下载安装 AI 技能提升开发效率？
技能中文名：A/B实验解读与决策Skill 技能英文名：ab-test-readout 技能ID：2119809290489987074
这个技能要解决的问题非常具体：实验跑完了，数据表拉出来了，然后呢？
现实中常见的场景是——分析师报了一个 p 值，产品经理问「那到底上不上」，双方来回拉扯；或者看到相对提升 20% 就匆忙上线，结果上线后大盘数据没变化，甚至护栏指标变差。问题的根源不是统计知识不够，而是缺少一套从数据质量校验到业务判断的完整流程，以及一套把结论写清楚的输出模板。
ab-test-readout 就是把这套流程固化下来的技能：它先校验数据是否可信，再计算绝对提升、相对提升、置信区间与显著性，最后结合业务成本（错误上线的损失、错误放弃的机会成本）给出上线、继续观察或终止的结论。
如何「一键安装」这类 AI 技能
AI 技能的安装通常遵循「获取技能包 → 导入技能库 → 在会话中启用」的思路，这个技能也不例外。具体步骤如下：
- 确认安装前提：你使用的 AI 客户端或平台需要支持技能（Skill）机制，并已开通技能库 / 插件市场入口。不同平台的入口名称不同，以官方说明为准。
- 获取技能包：通过平台技能市场搜索技能名
ab-test-readout，或使用技能ID2119809290489987074定位；也可以由管理员导入技能配置包。具体获取渠道以官方说明为准。 - 导入并启用：在技能管理页面完成安装后，确认该技能处于「已启用」状态，并检查其依赖的参考文件（
references/stats-checklist.md、references/decision-rules.md）是否随技能一并加载。 - 验证是否生效：新建一个对话，输入一句触发语，例如「帮我解读这个 A/B 实验结果，判断能不能上线」，观察返回内容是否包含「数据质量 / SRM / 埋点 / 窗口」等结构化段落。如果只是泛泛而谈统计概念、没有走数据质量校验，说明技能未被正确加载，需要回到技能管理页重新检查。
安装过程本身不需要写代码，也不需要额外配置模型参数；关键是确认技能被正确挂载，并且在对话中被实际调用。
二、该技能的主要功能和特点
- 数据质量前置校验：对样本比例失配（SRM）做卡方检验，实际分流比例与设计比例不符且 p < 0.001 时视为分流异常；同时检查埋点完整性（曝光、点击、转化漏斗各层转化率是否合理）、分流一致性（同一用户是否跨组）、时间窗口是否覆盖至少一个完整周并避开节假日、是否存在单用户极端行为主导结果。
- 完整的描述统计输出：对每个指标给出组内样本量与均值/转化率、绝对提升、相对提升、95% 置信区间，并提示分布形态（转化率按二项分布处理，金额类注意长尾）。技能特别强调：单独说「提升 20%」没有意义，必须同时给出绝对值与基线。
- 按指标类型选择检验方法：转化率用两比例 z 检验或卡方检验，连续指标用 t 检验，长尾严重时用 bootstrap；要求同时报告 p 值与置信区间，而不是只报 p 值。
- 多重比较与中途窥探防护：同时看多个指标时，要求做 Bonferroni 或 Benjamini-Hochberg 校正，或明确声明只把核心指标作为决策依据；反复查看数据会抬高假阳性，需用序贯检验或固定观察点。
- 业务判断规则化：依据
references/decision-rules.md给出五种判定路径——统计显著且业务显著则上线；统计显著但业务不显著则评估维护成本、通常不上；不显著且区间跨 0 且样本足够则判定无效；不显著且样本不足则继续收集或判定功效不足；核心指标提升但护栏指标恶化则不上线并先查原因。 - 偏差排查清单：系统性排查辛普森悖论（分渠道、分端看方向是否反转）、新奇效应、选择偏差、溢出效应、季节性。
- 可直接交付的输出模板：结论、数据质量、指标结果表、分群表、风险与偏差、建议，六个板块一页写完，可直接贴进评审文档。
- 反模式告警：明确列出「看到 p < 0.05 就上线」「实验两天就下结论」「反复查看数据随时停止」「只报相对提升隐藏小基线」「忽略分流异常把脏数据算出显著」等错误做法。
和普通统计工具相比，它的差异点不在于「会不会算」，而在于会不会拒绝给出结论——当 SRM 没通过、埋点有缺失、窗口不完整时，它会先把问题指出来，而不是强行算出一个漂亮的 p 值。
三、如何使用该技能？
第 1 步：准备四类输入
技能明确要求四项输入，缺一项都可能让结论失真：
- 分组、样本量、时间窗口；
- 核心指标与护栏指标的定义与口径；
- 分流方式与哈希键；
- 业务成本：错误上线的损失、错误放弃的机会成本。
第 2 步：先对齐指标口径
如果口径不明确（比如「活跃」到底是登录还是有点击、转化是否去重），技能会先要求对齐口径，不会在口径模糊的情况下开始算显著性。这一步经常被跳过，但恰恰是最容易导致结论反悔的环节。
第 3 步：发起调用
你可以用一句自然语言触发，例如：
「这是首页改版的实验结果，对照组 51,200 人转化率 3.12%，实验组 50,900 人转化率 3.28%，核心指标是下单转化率，护栏指标是退款率和页面加载时长，分流按用户ID哈希，业务上错误上线的损失较大。帮我判断能不能上线。」
第 4 步：走完六步工作流
技能会依次执行：数据质量 → 描述统计 → 显著性 → 业务判断 → 偏差排查 → 结论与沉淀。
第 5 步：按模板交付结论
输出格式固定如下（示意）：
## 结论
继续观察（样本量未达事前功效要求，区间跨 0）
## 数据质量
- SRM：实际 51,200 : 50,900，与 50:50 设计比例卡方检验 p = 0.34，通过
- 埋点：两组曝光→点击→下单漏斗各层转化率量级一致，无缺失
- 窗口：覆盖 7 天，含完整工作日与周末，未跨节假日
## 指标结果
| 指标 | 对照组 | 实验组 | 绝对提升 | 相对提升 | 95% CI | p |
| --- | --- | --- | --- | --- | --- | --- |
| 下单转化率 | 3.12% | 3.28% | +0.16pp | +5.1% | [-0.05pp, 0.37pp] | 0.14 |
| 退款率（护栏） | 1.02% | 1.05% | +0.03pp | +2.9% | [-0.02pp, 0.08pp] | 0.31 |
## 分群
| 渠道/端 | 方向 | 说明 |
| --- | --- | --- |
| iOS | 正向 | 提升幅度大于整体 |
| Android | 持平 | 区间跨 0，需继续收集 |
## 风险与偏差
新奇效应风险中等；Android 端样本占比偏低，需关注辛普森悖论。
## 建议
延长观察 7 天至满足事前功效计算，或按端拆分继续验证。
注意输出中同时给出了绝对值、相对值、置信区间与 p 值，并把护栏指标并列展示，这正是技能反复强调的汇报方式。
四、同类型竞品对比分析
| 方案名称 | 定位 | 核心功能 | 安装/使用门槛 | 适用场景 | 优势与不足 |
|---|---|---|---|---|---|
| ab-test-readout（A/B实验解读与决策Skill） | 实验结论生成与决策辅助 | 数据质量校验（SRM/埋点/分流/窗口）、描述统计、显著性检验、业务判断规则、偏差排查、固定输出模板 | 低：在支持技能机制的 AI 平台安装启用即可，无需写代码；需准备四类输入 | 已跑完实验需出结论、期中异常判断、实验设计定指标与停止规则 | 优势：流程完整、强调「不上线」选项、主动暴露偏差与反模式；不足：不做数据拉取与可视化，输入数据仍需自备，依赖口径清晰 |
| 通用数据分析 BI 工具 | 数据可视化与自助分析 | 报表搭建、看板、下钻、自助取数 | 中：需建模、配置数据源，通常要数据团队支持 | 日常监控、大盘分析、多维下钻 | 优势：可视化强、可与数仓打通；不足：显著性、多重比较、SRM 等统计判断需自行处理，不产出决策结论 |
| 商业 A/B 测试平台 | 实验全流程托管 | 分流 SDK、实验配置、指标计算、部分显著性报告 | 中高：需接入 SDK、改造埋点、可能有采购成本 | 有专职实验团队、实验量大、需要平台化管理 | 优势：端到端闭环、分流可靠；不足：绑定特定平台生态，跨平台历史数据解读不便，业务判断与偏差排查仍需人工 |
| 通用大模型直接问答 | 通用推理与文本生成 | 对话、文本总结、基础统计概念解释 | 极低：打开即用 | 快速解释概念、粗略估算 | 优势：门槛最低；不足：容易跳过数据质量校验直接给 p 值结论，缺少固定流程与检查清单，结论稳定性依赖提问方式 |
选型建议很简单：如果你要的是「数据怎么展示」，选 BI 工具；如果你要的是「分流和实验怎么管」，选实验平台；如果你要的是**「这张表到底该不该上线，理由是什么」**，那正是这个技能的定位。
五、该技能的典型应用场景与实际体验情况
场景一：增长活动复盘（用户：增长产品经理） 痛点是活动跑完只看到「转化率涨了」，说不清涨幅是否可信。使用方式是粘贴两组样本量与转化率、说明活动周期与分流方式，让技能先做质量校验再给结论。实际体验上，技能往往会在第一段就点出「实验仅 2 天，未覆盖完整周」，把「要不要现在上线」的问题直接变成「要不要延长观察」的问题——这个转向本身就是价值。
场景二：推荐策略迭代（用户：算法工程师） 痛点是核心指标提升但人均使用时长波动大、长尾明显。技能会提示连续指标用 t 检验、长尾严重时改用 bootstrap，并要求同时报告核心指标与护栏指标。注意事项是：输入里必须写清指标口径与时间窗口，否则技能会停下来要求对齐口径。
场景三：定价与付费墙测试（用户：商业化负责人） 痛点是金额类指标长尾重、单用户极端值可能主导结果。技能会把异常值检查放在数据质量阶段，并在业务判断阶段引入「错误上线的损失」这一成本维度。上手难度低，但对业务成本的描述质量要求较高——你给的成本信息越具体，结论越可用。
场景四：多实验并行（用户：实验平台负责人） 痛点是同时跑多个实验，互相干扰难以判断。技能会提醒分流一致性、溢出效应（同设备、同社交关系跨组污染）与多重比较校正。注意事项：技能不负责实验编排，实验间的流量隔离仍需在平台侧解决。
整体体验：上手难度低，触发只需要一句自然语言；效果主要体现在「拦住了多少错误结论」而不是「算得多快」；最需要注意的是两点——输入数据必须真实完整，以及口径必须在开始时对齐，否则再严谨的统计也只是把错误的前提算得更精确。
六、该技能能为用户带来的价值
- 把流程固化，减少反复沟通：六步工作流加一页模板，让产品、分析、工程三方对「结论长什么样」有共同预期，省掉大量「你这个提升是相对还是绝对」的来回确认。
- 降低统计门槛：使用者不需要自己判断该用 z 检验还是 t 检验、要不要做多重比较校正、样本比例失配怎么检验，技能会把这些判断替你做掉，并解释理由。
- 减少错误上线的风险：通过护栏指标强制并列展示、SRM 前置校验、偏差排查清单，把「脏数据算出显著」「小基线放大相对提升」这类高代价错误挡在上线之前。
- 让「不上线」成为一个正规选项：多数汇报天然偏向「有结果」，而技能明确要求结论包含「不上线」的选项与理由，这能显著改善决策质量。
- 沉淀可复用的资产：每次输出都包含实验配置与数据快照的归档建议，便于后续复现与横向对比，长期看会形成团队自己的实验知识库。
需要注意的是，技能本身不产生数据、不做可视化，它的价值完全建立在「你给它的输入是真实且口径清晰的」这一前提上。
七、常见问题 FAQ
Q1：这个技能怎么安装？需要写代码吗？
不需要写代码。在支持技能机制的 AI 平台上，通过技能市场搜索 ab-test-readout 或使用技能ID 2119809290489987074 定位并安装，确认技能处于已启用状态即可。具体入口名称与操作路径各平台不同，以官方说明为准。安装后用一句「帮我判断这个实验结果能不能上线」验证是否生效。
Q2：它是免费的吗？ 技能详情中没有提供价格信息，是否收费取决于你所在平台的技能市场策略，以官方说明为准。技能自身不调用额外付费数据源，成本主要来自你使用的 AI 平台本身。
Q3：它适合谁用？小团队用得上吗？ 适合产品经理、增长运营、数据分析师、算法工程师以及任何需要为实验结果负责的人。小团队反而更适合——因为小团队通常没有专职实验分析师，而这个技能把「该检查什么、该报什么、该怎么下结论」标准化了。
Q4：它和商业 A/B 测试平台冲突吗？ 不冲突，二者是互补关系。实验平台负责分流、埋点接入和指标计算，这个技能负责把结果翻译成决策。你可以继续用现有平台跑实验，把导出的数据交给技能做解读与偏差排查。
Q5：为什么它有时候不给结论，而是让我继续观察？ 这是设计使然。当样本量不足、置信区间跨 0、实验窗口未覆盖完整业务周期，或 SRM 未通过时，任何显著性结论都不可信，技能会明确判定「继续收集」或「功效不足」。这比给出一个看似确定的错误答案更有价值。