不喜欢广告？ 去 无广告 今天
A/B测试统计显著性计算器
数据开发人员数学
广告 移除？
广告 移除？
指导
A/B测试统计显著性计算器
输入控制组（A）和变体（B）的访客数和转化数，立即查看两者之间的差异是真实的还是仅由随机波动引起。该计算器执行双比例z检验，计算p值、绝对和相对提升值以及差异的置信区间，然后将结果转化为清晰的结论：胜出、无差异，或继续运行测试。
它使用与Optimizely、VWO和Convert等工具后端显著性计算器相同的合并方差z检验。所有计算都在浏览器中完成，因此您的实验数据永远不会离开页面。
如何使用
- 输入看到变体的总访客数 控制组（A） 并输入其中转化的访客数。
- 输入看到变体的总访客数 变体（B） 并输入其中转化的访客数。
- 选择置信水平（90%、95%或99%）并选择单尾或双尾检验。
- 查看结果面板顶部的结论，并检查p值、z值、提升值和置信区间的详细信息。
- 点击输入框底部的任意示例预设，查看明确胜出、临界结果和低流量测试的情况。
特征
- 双比例z检验 — 合并方差显著性检验，用于比较转化率的标准方法。
- 精确p值 — 通过标准正态累积分布函数（CDF）使用高精度erf近似计算得出。
- 单尾或双尾 — 根据您是否只关心B优于A，或关心任何差异来选择。
- 置信区间 — 包括绝对差异（以百分点表示）和相对提升的置信区间。
- 智能结论 — 区分数据不足、无真实差异，以及需要更多样本才能确认的差异。
- 可视化分解 — 显示转化率的条形图和流量分配概览，以便发现分配不均的情况。
- 100% 客户端 — 您的实验数据保留在浏览器中，不会上传到服务器。
广告 移除？
常问问题
-
A/B测试中的统计显著性是什么意思？
统计显著性是观察到的两个变体之间差异是由真实效应而非随机波动引起的概率。通常的阈值是p值低于0.05，即有小于5%的概率在两个变体实际上相同的情况下观察到这种差异。
-
p值实际上意味着什么？
p值是在两个变体实际上表现相同的情况下，观察到当前差异（或更大差异）的概率。较小的p值（例如0.01）意味着在零假设下该结果极不可能，这表明两个变体表现不同。p值不是B优于A的概率。
-
何时使用单尾检验还是双尾检验？
当您希望检测A和B之间的任何差异（包括B表现更差的情况）时，使用双尾检验。当您有明确的方向性假设（B优于A）且在实验前已决定，并且不会对相反方向的结果采取行动时，使用单尾检验。对于大多数产品实验，双尾检验是更安全的默认选择。
-
绝对提升和相对提升之间的区别是什么？
绝对提升是转化率之间的原始差异，以百分点表示（例如，从5%提升到6%是+1个百分点的绝对提升）。相对提升是该变化相对于原始转化率的百分比（例如，从5%提升到6%是+20%的相对提升）。营销人员通常引用相对提升，但绝对提升决定了在给定流量规模下的实际美元影响。
