Kalkulator Signifikansi Uji A/B

Apa yang kalkulator ini lakukan?

Masukkan jumlah pengunjung dan konversi untuk kontrol (A) dan varian (B), dan alat ini menjalankan uji z dua proporsi — uji statistik standar untuk membandingkan dua tingkat konversi. Alat ini melaporkan tingkat konversi untuk masing-masing sisi, perbedaan absolut dan relatif, z-score dan p-value, interval kepercayaan untuk perbedaan dan peningkatan relatif, serta keputusan dalam bahasa sederhana apakah hasilnya secara statistik signifikan.

Di balik semuanya adalah uji z dua proporsi: tingkat konversi yang digabungkan dan standard error digunakan untuk menghitung z-score dan p-value (uji hipotesis), sedangkan standard error yang tidak digabungkan digunakan untuk interval kepercayaan — konvensi standar, karena interval tidak boleh mengasumsikan kedua laju sama seperti yang diasumsikan oleh hipotesis nol.

Cara menggunakannya

1. Masukkan pengunjung dan konversi untuk Kontrol (A) dan Varian (B).
2. Pilih tingkat kepercayaan — 90%, 95% (bawaan umum) atau 99%.
3. Pilih dua arah jika Anda hanya ingin mengetahui apakah B berbeda dari A ke mana pun, atau satu arah jika Anda secara khusus ingin mengetahui apakah B lebih baik dari A.
4. Baca tabel hasil: baris keputusan memberitahu Anda dalam bahasa sederhana apakah perbedaan tersebut dapat dipercaya, dan baris-baris di bawahnya menunjukkan angka-angka yang mendasari keputusan tersebut.

Apa artinya "secara statistik signifikan"?

Ini berarti p-value berada di bawah ambang signifikansi yang Anda pilih (1 − tingkat kepercayaan, misalnya 0,05 pada tingkat kepercayaan 95%) — dengan kata lain, jika benar-benar tidak ada perbedaan antara A dan B, kesenjangan sebesar ini kecil kemungkinannya muncul secara kebetulan. Ini bukan jaminan bahwa B sebenarnya lebih baik dalam jangka panjang, dan tidak mengatakan apa pun tentang seberapa besar peningkatannya — selalu baca peningkatan dan interval kepercayaannya bersama dengan p-value.

Berapa ukuran sampel yang saya butuhkan?

Tidak ada angka tetap — ini tergantung pada tingkat konversi baseline Anda dan ukuran efek yang ingin Anda deteksi. Sebagai aturan umum, sampel gabungan di bawah ~1.000 pengunjung jarang cukup untuk mendeteksi sesuatu selain peningkatan yang sangat besar; perbedaan kecil yang sebenarnya membutuhkan sampel yang proporsional lebih besar. Jika kalkulator mengatakan "data tidak cukup", biarkan ujian tetap berjalan daripada menghentikannya lebih awal — melihat berulang kali hasil dan menghentikan begitu Anda melihat signifikansi akan memperbesar tingkat positif palsu Anda.

Satu arah vs. dua arah — mana yang harus saya pilih?

Gunakan dua arah secara default: ini menguji apakah B berbeda dari A, ke kedua arah, dan merupakan pilihan yang lebih aman karena varian selalu dapat berkinerja buruk. Gunakan satu arah hanya ketika Anda memiliki hipotesis arah yang ditentukan sebelum melihat data (misalnya "B hanya bisa lebih baik, tidak pernah lebih buruk") — uji satu arah mencapai signifikansi dengan lebih sedikit bukti, sehingga beralih ke satu arah setelah melihat data adalah cara umum untuk menipu diri sendiri.

Mengapa interval kepercayaan sama pentingnya dengan p-value?

p-value hanya memberi tahu Anda apakah perbedaan itu mungkin nyata; ia tidak mengatakan apa pun tentang ukurannya. Interval kepercayaan untuk peningkatan relatif menunjukkan rentang yang masuk akal dari efek nyata — hasil yang "signifikan" dengan CI +2% hingga +54% jauh kurang dapat ditindaklanjuti dibandingkan dengan CI +22% hingga +34%, bahkan jika keduanya melewati batas p-value yang sama.

Privasi

Semua perhitungan dijalankan secara lokal di browser Anda — angka-angka Anda tidak pernah dikirim ke server.