A/Bテスト

まず、こう考えてみる

見出しAと見出しBを同じ時期に別々の利用者へ見せ、行動の違いを比べます。好みの投票だけでなく、条件をそろえて効果を調べる方法です。

専門的には

Optimizelyは、二つの版を利用者へ無作為に提示し、統計的な分析で成果を比較する方法と説明します。比較する指標や対象を先に決め、差の不確実性と実務上の大きさを検討します。

具体例と使い方

用語集の検索案内を比較するなら、検索課題の完了を主要な指標にし、離脱など他の影響も見ます。必要な利用者数と期間を考え、少ない数の一時的な差で勝敗を決めないようにします。

間違えやすいこと

月曜にA、火曜にBを出すだけでは、曜日や流入の差が混ざります。統計的な差がないことを、二つが完全に同じと証明したことにもできません。

NACKの視点

表現を数値だけで評価せず、伝えたい内容と利用者への影響を保ちながら改善するために使います。

出典・参考資料

• Optimizely｜A/B testing ↗（外部サイトを新しいタブで開く）

更新記録

2026-10-14：初版。定義と主要な区別を参照資料と照合。具体例と「NACKの視点」は本用語集の編集による説明です。