跳到主要内容

A/B 测试样本量计算器

根据基线转化率、最小可检测效应、统计功效和显著性水平,计算有效 A/B 测试所需的样本量和估计测试期间 — 在开始收集数据之前。

输入

运行测试前的当前转化率。

值得检测的最小变化。相对值:20 表示相对于基线的 20% 提升 (5% → 6%)。绝对值:20 表示 +20 个百分比点 — 对于现实的效应,请使用 1 或 2 等较小的值。

2 = 经典 A/B 测试。3 个或以上变体对显著性水平应用 Bonferroni 修正,因为每个处理都与对照进行比较。

所有变体组合的平均日流量,用于估计测试运行的时间。

输出

详细明细
MetricValue
No data yet
使用的公式
 
这对您有帮助吗?

使用此工具的更多方式

REST API

curl -X POST https://api.iotools.cloud/v1/tool/ab-test-sample-size-calculator \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "baselineRate": "5",
    "mdeType": "relative",
    "minimumDetectableEffect": "20",
    "testSides": "two",
    "power": "80",
    "significanceLevel": "0.05",
    "variants": "2",
    "dailyVisitors": ""
  }'

替换成您账户中的密钥。工具的字段即为请求体——没有额外包装。

让 AI 代理执行

Use the IOTools `ab-test-sample-size-calculator` tool (A/B Test Sample Size Calculator) on this input:

YOUR_INPUT_HERE

将此粘贴给任何已连接 IOTools MCP 服务器的代理,再加上您的输入内容。

嵌入式小组件

<iframe
  src="https://iotools.cloud/embed/ab-test-sample-size-calculator/"
  width="100%" height="520" frameborder="0" scrolling="no" loading="lazy"
  title="A/B 测试样本量计算器 — iotools.cloud"
  sandbox="allow-scripts allow-forms allow-same-origin allow-downloads allow-popups allow-popups-to-escape-sandbox"
  allow="clipboard-write"
  style="width:100%;border:1px solid #e5e7eb;border-radius:12px;overflow:hidden"></iframe>
<script src="https://iotools.cloud/embed.js" async></script>

把它放到您自己的页面上——免费,无需密钥,只需保留一个反向链接。

每次 API/MCP 调用费用5 积分起
需要更多积分?查看定价

也可通过

使用指南

这个计算器是干什么的?

在启动 A/B 测试之前,此工具会告诉您为了可靠地检测您关心的改进,每个变体需要多少访客。输入您的基线转化率最小可检测效应(值得捕捉的最小提升)、目标统计功效显著性水平,它将运行标准的两比例样本量公式为您提供精确的数字 — 如果您输入每日流量,还会提供估计的测试期间。

这是测试开始之前应该运行的计算。测试完成后,使用 A/B 测试显著性计算器 来评估您实际收集的结果。

如何使用

  1. 输入您的基线转化率 — 您今天获得的转化率。
  2. 输入最小可检测效应 — 值得检测的变化有多大。选择相对值(相对于基线的 % 提升,例如 20 表示 5% → 6%)或绝对值(固定的百分比点变化,例如 2 表示 5% → 7%)。
  3. 选择双尾(变体可能更好或更差)或单尾(您只关心它是否更好)。
  4. 选择您的统计功效(80% 是常见的默认值)和显著性水平(0.05 是标准值)。
  5. 设置变体数量(包括对照) — 经典 A/B 测试为 2,A/B/n 测试为更多。
  6. 可选:输入您的每日访客数以获得估计的测试期间。

为什么更多变体会改变样本量?

使用 3 个或以上变体,每个处理都与对照进行比较,因此测试更多变体意味着同时运行更多假设检验。如果不进行修正,这会增加您的总体假阳性率 — 运行的比较越多,其中一个看起来"显著"纯粹是由于偶然的可能性就越大。此计算器应用 Bonferroni 修正,将显著性水平除以比较数,使整个实验中的真实错误率保持在您设置的水平。

相对 MDE 和绝对 MDE 之间的区别是什么?

相对 MDE 随基线按比例变化 — 基线为 5% 时相对提升 20% 的目标是 6%,但基线为 40% 时相同的 20% 提升的目标是 48%。绝对 MDE 是独立于基线的固定百分比点变化 — 输入 2 总是添加 2 个百分比点,无论您的基线是 5% 还是 40%。相对 MDE 是转化率测试中更常见的约定,因为它在具有非常不同基线率的页面之间适当地按比例变化。

为什么更小的效应需要那么多访客?

样本量大致按检测效应的平方的倒数增长 — 将最小可检测效应减半会使所需样本量大约增加四倍。这就是为什么在低流量页面上追求非常小的提升 (相对 1-2%) 可能需要数十万的样本量,而在高转化页面上预期的大效应则需要少得多的访客。

隐私

所有计算都在您的浏览器中本地运行 — 您的数据永远不会发送到服务器。

statistical powerminimum detectable effectmdeconversion rate optimizationcropower analysistwo-proportion z-testexperiment designtest durationsignificance level

喜欢这些工具?去掉广告吧。

一次性付款即可永久移除您账户中的所有广告。无需订阅,不追踪。