A/Bテスト統計的有意性計算機

A/Bテスト統計的有意性計算機

訪問者とコンバージョン数をコントロール（A）と変異（B）にそれぞれ入力し、その差が本物の効果か、あるいは偶然のノイズかをすぐに確認できます。この計算機は2プロポーションz検定を実行し、p値、絶対および相対のリフト、そして差の信頼区間を計算した後、その数字を明確な結論に変換します：勝者、差なし、またはテストを続けるべきです。

同じプール分散z検定を使用しており、Optimizely、VWO、Convertなどのツールの背後にある検定計算機と同じアルゴリズムを使っています。すべての計算はブラウザ内で実行されるため、実験データはページから離れては出ません。

使用方法

1. 訪問者が変化した経験を確認した総数を入力してください。 コントロール（A） その中で変換した人数を入力してください。
2. 訪問者が変化した経験を確認した総数を入力してください。 変異（B） その中で変換した人数を入力してください。
3. 信頼水準（90％、95％、または99％）を選択し、片側検定または両側検定を選択してください。
4. 結果パネルの上部で結論を確認し、p値、zスコア、リフト、および信頼区間の詳細をチェックしてください。
5. 入力の下部にある例のプリセットのいずれかをクリックして、明確な勝者、境界値の結果、および低トラフィックテストがどのように見えるかを確認してください。

機能

• 2プロポーションz検定 — プール分散検定で、コンバージョン率を比較する標準手法です。
• 正確なp値 — 標準正規分布関数（CDF）を使用して高精度のerf近似で計算されます。
• 片側または両側 — BがAを上回る場合のみに注目するか、または差の有無に関わらず注目するかで選択します。
• 信頼区間 — 絶対差（パーセントポイント）と相対リフト（パーセント）の両方についての信頼区間を提供します。
• スマートな結論 — 資料が不足していること、実際の差がないこと、またはサンプル数を増やして確認すべき差があることの3つの状況を区別します。
• 視覚的分解 — コンバージョン率のバーとトラフィックの割合の概要を表示し、不均衡な割当をすぐに確認できます。
• 100%クライアントサイド — あなたの実験データはブラウザに留まり、アップロードされません。