技能使用指南

split-test-evaluator(A/B测试统计分析工具)Skill 是什么?

split-test-evaluator(A/B测试统计分析工具)Skill 一次输入即可完成转化率差异、Z 检验、卡方检验、置信区间、统计功效与最小样本量估算,并输出 JSON 结果与中文建议报告,零第三方依赖、Python 3.8+ 即可运行,帮你避免基于噪音的错误上线决策。想知道怎么安装、怎么判读 p 值?立即查看完整使用指南与竞品对比。

A/B测试统计分析工具Skillsplit-test-evaluator
17 个章节 约 16 分钟阅读 AI 智能生成

A/B测试统计分析工具Skill:一键完成显著性检验、功效评估与样本量估算

  • 一个脚本跑完全套统计:转化率差异、Z 检验、卡方检验、置信区间、统计功效、最小样本量,一次输入全部返回。
  • 输出即结论:除结构化 JSON 外,还附带中文建议报告,直接告诉你"差异是否显著、当前样本够不够、还要收多少数据"。
  • 零依赖、零门槛:仅需 Python 3.8+ 标准库,不需要安装 numpy、scipy 等任何第三方包。
  • 适合落地决策:把"凭感觉上线"变成"看 p 值和功效上线",减少错误决策带来的流量与收入损失。
  • 自然语言即可触发:在支持技能调用的 AI 助手里,直接说"A/B 测试结果显著吗"就能用,无需记忆命令。

1. 该技能叫什么?如何一键安装 AI 技能提升开发效率?

技能中文名:A/B测试统计分析工具Skill 技能英文名:split-test-evaluator 技能ID:14289 许可协议:MIT

它解决的是一个非常具体的痛点:A/B 实验跑完了,数据摆在面前,但没人能说清"这个提升到底是真的还是噪音"。产品经理看到转化率从 5% 涨到 5.5%,觉得"涨了 10%,可以全量上线";而实际上样本量可能远远不够,统计功效只有三成多,这次上线很可能是在追一个随机波动。传统做法是打开 Excel 手算公式、或者去找在线计算器逐个输入,既慢又容易算错,还得在多个工具之间来回切换。

这个技能把整条链路压缩成"一次输入 → 一次输出",把统计判断交还给自动化流程。

一键安装的思路与步骤

"一键安装 AI 技能"的本质,是把一个封装好的能力模块挂到你的 AI 助手或本地工作流中,之后用自然语言或一条命令就能调用。具体流程如下:

  1. 确认运行前提:本技能基于 Python 3.8 及以上版本,只使用 Python 标准库,无需 pip install 任何第三方包。这是它相比自写统计脚本的最大优势——不折腾环境。
  2. 在技能库中检索并安装:在所用平台的技能市场或技能库中,通过技能名 split-test-evaluator 或技能ID 14289 检索,点击安装/添加到当前工作区。不同平台的安装入口、按钮位置与命令形式存在差异,具体安装命令与页面入口以官方说明为准。
  3. 确认文件落地:安装完成后,检查技能目录下是否存在核心脚本 scripts/ab_test_analyze.py。该文件是全部统计逻辑的载体。
  4. 验证是否生效:用官方示例数据跑一次冒烟测试——
echo '{"control_visitors":10000,"control_conversions":500,"treatment_visitors":10000,"treatment_conversions":550}' | python3 scripts/ab_test_analyze.py

如果能返回包含 conversion_rates、z_test、confidence_interval、power_analysis、sample_size、recommendation 的 JSON,说明安装成功、环境正常。

  1. 在对话中验证触发:向已接入该技能的 AI 助手提问"A/B 测试结果显著吗"或"帮我估算样本量",若助手开始按技能的输入格式索要访客数与转化数,说明技能已被正确调度。

2. 该技能的主要功能和特点

  • 转化率差异计算:同时给出对照组与实验组的转化率、绝对差异(百分点)和相对提升百分比,方便用两种口径向上汇报。
  • 双比例 Z 检验:使用 pooled 标准误对大样本(各组 ≥30)做显著性检验,输出 z 统计量、p 值与 significant 布尔判断。
  • 2×2 卡方检验交叉验证:基于列联表再做一次独立性检验,在大样本下与 Z 检验等价(χ² ≈ z²)。两条路径互相印证,能有效发现数据录入或口径错误。
  • 置信区间:默认 95% 置信水平,采用 unpooled 标准误的 Wald 方法,给出转化率差异的上下界。下界为负是重要信号——意味着在当前数据下不能排除实验组更差。
  • 统计功效分析:评估"在当前样本量下,若真实存在差异,被检测出来的概率有多大"。功效不足时,即使 p 值不显著也不能断言"没有效果"。
  • 最小样本量估算:基于期望功效(默认 0.8)与最小可检测效应(MDE),反推每组所需样本量,直接用于实验排期。
  • 结构化 + 可读双输出:JSON 结果可直接进数据管道、看板或自动化报告,recommendation 字段则是写给人的中文结论。
  • 零第三方依赖:只用标准库,天然适合嵌入 CI、定时任务、内网隔离环境。

和普通工具比强在哪? 在线计算器通常一次只算一个指标(要么 p 值,要么样本量),且结果留在网页里无法复用;Excel 需要自己写公式、自己判断单双侧、自己处理边界情况。本技能把六个指标打包成一次调用,输出机器可读,且附带判断建议。


3. 如何使用该技能?

第 1 步:整理实验数据

从埋点系统或实验平台导出四个数字:对照组访客数、对照组转化数、实验组访客数、实验组转化数。

第 2 步:构造输入 JSON

{
  "control_visitors": 10000,
  "control_conversions": 500,
  "treatment_visitors": 10000,
  "treatment_conversions": 550,
  "alpha": 0.05,
  "desired_power": 0.8,
  "mde": 0.01
}

字段说明:前四项必填;alpha 为显著性水平(默认 0.05);desired_power 为期望统计功效(默认 0.8);mde 为最小可检测效应(绝对值,不填则使用观测到的差异)。若你只关心"是否显著",只传前四项即可。

第 3 步:运行

两种方式任选其一:

# 方式一:通过 stdin
echo '{"control_visitors":10000,"control_conversions":500,"treatment_visitors":10000,"treatment_conversions":550}' | python3 scripts/ab_test_analyze.py

# 方式二:通过命令行参数
python3 scripts/ab_test_analyze.py '{"control_visitors":10000,"control_conversions":500,"treatment_visitors":10000,"treatment_conversions":550}'

在已安装该技能的 AI 助手中,也可以直接用自然语言描述:“对照组 10000 访客 500 转化,实验组 10000 访客 550 转化,帮我看看显著性。”

第 4 步:读懂输出

{
  "conversion_rates": {
    "control": 0.05,
    "treatment": 0.055,
    "absolute_difference": 0.005,
    "relative_lift_percent": 10.0
  },
  "z_test": { "z_statistic": 1.5852, "p_value": 0.11292, "significant": false },
  "chi_square_test": { "chi2_statistic": 2.5129, "p_value": 0.11292, "significant": false },
  "confidence_interval": { "level": 0.95, "lower": -0.001182, "upper": 0.011182 },
  "power_analysis": { "observed_power": 0.3542, "desired_power": 0.8, "sufficient_power": false },
  "sample_size": { "minimum_per_group": 31234, "alpha": 0.05, "desired_power": 0.8, "detectable_effect": 0.005 },
  "recommendation": "未检测到显著差异 (p=0.1129 ≥ α=0.05);当前统计功效不足 (35.42% < 80%),结果可能不可靠;建议每组至少收集 31,234 个样本"
}

判读顺序建议:先看 significant → 再看 sufficient_power → 再看置信区间下界 → 最后看 minimum_per_group 决定要不要继续收量。这个例子里转化率确实"涨了 10%“,但 p=0.1129 未过线、功效仅 35.42%,正确结论是"证据不足,不能上线”,而不是"效果为正"。


4. 同类型竞品对比分析

方案名称 定位 核心功能 安装/使用门槛 适用场景 优势与不足
split-test-evaluator(本技能) 面向 AI 工作流的 A/B 统计分析模块 转化率差异、Z 检验、卡方检验、置信区间、功效、样本量、中文建议 需 Python 3.8+,零第三方依赖,安装入口以官方说明为准 需要可复现、可自动化的实验判读 优势:一次调用产出全套指标,JSON 可进管道,附中文结论;不足:只做统计判读,不含分流、埋点与实验管理
Excel / 在线显著性计算器 通用轻量计算工具 单次计算 p 值或样本量 门槛最低,打开即用 偶发的一次性核算 优势:无需环境;不足:一次只算一个指标,公式易错,结果无法留存和批量复用
分析平台自带的实验模块 一体化实验平台 分流、指标看板、显著性判断 需接入平台 SDK 与埋点,学习成本中等 已深度使用该平台的团队 优势:链路闭环、可视化好;不足:通常绑定平台数据口径,跨平台数据难以合并分析,输出不易二次开发
自写 Python 脚本(scipy/statsmodels) 定制化统计开发 能力可无限扩展 需安装科学计算依赖,需自行实现检验与边界处理 有专职数据科学团队 优势:完全可控;不足:开发与维护成本高,容易在单双侧、pooled/unpooled、功效公式上踩坑

结论性建议:做一次性小核算,在线计算器够用;做常态化实验体系,本技能与平台实验模块互补;追求完全定制再考虑自写脚本。


5. 该技能的典型应用场景与实际体验情况

场景一:产品经理的版本上线决策

角色与痛点:产品经理推动一个新注册页改版,实验跑了两周,看到转化率从 5.0% 升到 5.5%,业务方催促上线,但没人能给出统计判断。

使用方式:把四个数字丢给技能,得到 p=0.1129、功效 35.42%、每组需 31234 样本的结论。

实际体验:上手难度极低,只要会填四个数字。效果上最大的价值是挡住了一次基于噪音的上线决策。注意事项:不要只看 relative_lift_percent,那是"看起来最漂亮但最容易被误读"的字段。

场景二:增长团队的实验排期规划

角色与痛点:增长负责人要排下周的实验计划,不确定每个实验需要多少流量、跑多少天,经常中途偷看数据提前下结论。

使用方式:在实验开始前传入 mde(如 0.01)与 desired_power(如 0.8),用 sample_size.minimum_per_group 反推所需流量与周期。

实际体验:这是本技能被低估的用法——先算样本量再开实验,能显著减少"半路看数、反复纠结"的情况。注意 mde 填的是绝对差异而非百分比,填错会直接导致样本量估算失真。

场景三:数据分析师的批量报告自动化

角色与痛点:一位分析师每周要处理十几个实验,手工在表格里逐个算显著性,重复劳动且口径不统一。

使用方式:把各实验的四项数据整理成 JSON,循环调用脚本,收集返回的 JSON 汇总成周报,recommendation 字段可直接作为结论列。

实际体验:因为零第三方依赖,脚本放进定时任务或内网环境都不会有装包失败的风险。注意输出是标准 JSON,落库前建议对数值字段做一次精度约定。

场景四:面试与教学中的统计直觉训练

角色与痛点:新人常把"相对提升 10%“直接等同于"效果确定为正”。

使用方式:用同一组数据反复调整 alpha、desired_power、mde,观察 significant 与 sufficient_power 如何变化。

实际体验:Z 检验与卡方检验输出互相印证(χ² ≈ z²),很适合用来讲清"显著性"和"功效"是两件事。


6. 该技能能为用户带来的价值

  • 决策质量提升:把"看数字涨了就上线"升级为"看 p 值、置信区间和功效再上线",直接降低错误上线带来的流量与收入损耗。以上述示例为例,一次被拦下的错误全量上线,避免的可能就是全站流量上的负向或无效改动。
  • 分析效率提升:六项统计指标从"多工具切换 + 手写公式"压缩为一次调用,单次实验判读从十几分钟降到几秒,且可批量循环。
  • 门槛显著降低:用户不需要记住 pooled 与 unpooled 标准误的区别,不需要纠结单双侧,脚本已按大样本双比例场景封装好,输出还附带中文解释。
  • 口径统一带来的长期价值:同一份 JSON 输入永远得到同一份结论,团队内部的实验判读标准被固化下来,减少"各算各的"引发的争论。
  • 工程友好:零第三方依赖 + JSON 输出,意味着它可以低成本嵌入现有数据管道、看板与自动化报告流程,成为一个可长期复用的基础设施级小组件。

7. 常见问题 FAQ

Q1:这个技能怎么安装?需要先装 numpy 或 scipy 吗? 不需要。技能仅使用 Python 标准库,要求 Python 3.8 及以上即可。安装方式是在所用平台的技能库中按技能名 split-test-evaluator 或技能ID 14289 检索并添加,具体安装命令与入口位置以官方说明为准;安装后可用官方示例 JSON 跑一次脚本验证是否生效。

Q2:它收费吗?可以商用吗? 该技能采用 MIT 许可协议,属于宽松开源许可,通常允许自由使用、修改与分发(具体以许可条款与平台说明为准)。它本身不包含任何付费接口或外部服务调用。

Q3:p 值 0.11 但转化率涨了 10%,到底能不能上线? 不能据此上线。p=0.1129 大于常用的 α=0.05,说明观测到的差异完全可能来自随机波动;同时该样例的统计功效只有 35.42%,远低于 80% 的经验阈值,属于"样本不够、结论不可靠"。正确做法是参考 sample_size.minimum_per_group 继续收量后再判读,或检查是否存在实验周期过短、分流不均等问题。

Q4:它和在线显著性计算器、平台自带实验模块怎么选? 做一次性的小核算,在线计算器最省事;已经有成熟实验平台的团队,平台模块在分流和可视化上更完整;而当你需要可复现、可批量化、可嵌入自动化流程的统计判读时,本技能更合适。三者并不冲突,常见组合是"平台负责跑实验,本技能负责出结论"。

Q5:适合哪些人用? 产品经理、增长运营、数据分析师、前端/后端工程师,以及任何需要判断"A/B 实验数据是否可信"的角色。只要你能提供访客数和转化数,就能用它得到一份带中文建议的统计结论。