A/B テスト有意性計算機

この計算機の機能

コントロール (A) と バリエーション (B) の訪問者数とコンバージョン数を入力すると、このツールは2 比率の z 検定 — 2 つのコンバージョン率を比較するための標準的な統計検定 — を実行します。各グループのコンバージョン率、絶対差と相対差、z スコア と p 値、差と相対改善率の信頼区間、結果が統計的に有意かどうかを平易な言葉で判定します。

内部で行われるすべてが 2 比率の z 検定です：統合されたコンバージョン率と標準誤差が z スコアと p 値の計算（仮説検定）に使用され、非統合の標準誤差が信頼区間の計算に使用されます — これは標準的な慣例であり、信頼区間は帰無仮説のように 2 つの率が等しいと想定すべきではないからです。

使い方

1. コントロール (A) とバリエーション (B) の 訪問者数 と コンバージョン数 を入力します。
2. 信頼水準 を選択します — 90%、95%（一般的なデフォルト）または 99%。
3. B が A と何らかの方向で異なるかどうかだけを知りたい場合は 両側検定 を、B が A より優れているかどうかを具体的に知りたい場合は 片側検定 を選択します。
4. 結果表を読みます：判定 行がその差を信頼すべきかどうかを平易な言葉で伝え、その下の行がその判定の裏付けとなる数値を示します。

「統計的に有意」とは何を意味するのか？

p 値が選択した有意水準（1 − 信頼水準、例：95% 信頼水準で 0.05）を下回ることを意味します — すなわち、A と B に本当に差がなければ、これほど大きな差が偶然生じることはほとんどありません。これは B が長期的に実際に優れていることの保証ではなく、改善の大きさについても何も語りません — p 値と合わせて改善率とその信頼区間も必ず確認してください。

どのくらいのサンプルサイズが必要ですか？

固定的な数はありません — ベースラインのコンバージョン率と検出したい効果のサイズに依存します。目安として、合計サンプルが約 1,000 人未満の場合は、非常に大きな改善でなければ検出できることが稀です。より小さな真の差には比例してより大きなサンプルが必要です。計算機が「データが不足」と表示した場合は、早めにテストを止めずにおく — 結果を繰り返し確認して有意性が見えた時点で停止すると、偽陽性率が膨らみます。

片側検定と両側検定 — どちらを選ぶべき？

デフォルトで 両側検定 を使用します：B が A と異なるかどうかをいずれの方向でもテストし、バリエーションが常に劣る可能性があるため、より安全な選択です。データを確認する前に方向性仮説を決定した場合にのみ 片側検定 を使用してください（例：「B はより良い場合のみ、悪い場合はない」）— 片側検定はより少ない証拠で有意に達するため、データを見てから片側検定に切り替えるのは自分を騙す一般的な方法です。

信頼区間が p 値と同等に重要なのはなぜ？

p 値は差が現実である可能性があるかどうかだけを伝え、その大きさについては何も語りません。相対改善率の信頼区間は、真の効果の妥当な範囲を示します — CI が +2% から +54% の「有意な」結果は、CI が +22% から +34% の結果よりもはるかに実用性が低く、両方が同じ p 値の基準をクリアする場合でも同様です。

プライバシー

すべての計算はブラウザ内でローカルに実行されます — 你的なデータがサーバーに送信されることはありません。