A/Bテストサンプルサイズ計算機の使い方
A/Bテストでサンプルが不足すると、実際にない差を「あり」と誤判定したり（第1種誤り）、本当の改善を見逃したり（第2種誤り）します。この計算機は統計的に信頼できる結論を得るための最小サンプルサイズを算出します。
最小感知効果（MDE）は「この程度の改善なら意味がある」と判断する相対的な改善率です。転換率5%が5.5%になる（10%の相対改善）を感知したいならMDEを10%に設定します。MDEを小さくするほど必要サンプルが増えます。
一般的には信頼度95%・検出力80%を標準として使用します。信頼度を99%に上げるかMDEを小さくすると、必要サンプル数が大幅に増加します。
よくある質問
A・Bの2つに均等に分配すればよいですか?
はい。各バリアント（コントロールAと実験B）にそれぞれn人を割り当てます。合計は2nです。トラフィックが不足する場合はMDEを大きくするか信頼度を90%に下げてサンプル数を減らせます。
A/Bテストはどのくらいの期間実施すべきですか?
サンプル数に達した場合でも最低7日間は継続することをお勧めします。曜日によるトラフィックの差を均等化するためです。