- テスト条件の統一が大切
- 仮説と目的の明確化重要
- 数値評価と枠組み活用
テスト条件は整っていますか?
A/Bテストを実施する際は、できるだけ条件(期間、曜日、時間など)を統一し、複数の要素を同時にテストしないことが基本です。さらに、テストの目的と仮説を明確にした上で実施することで、効果検証が適切にできるようになります。また、複数の対策案がある場合は、感覚ではなく数値化した評価基準に基づいて採用するかどうかを判断するプロセスが重要です。
システム制約は問題?
一方、現状ではシステム上の制約から、同じ期間にランダムに分けた対象者に対して検証を行うことが難しく、やむを得ず期間をずらして全顧客にA案とB案を表示して比較する方法を採っています。CL率やCVR、各フローごとの離脱ポイントを日々確認しつつ、今後は1つの仮説に絞るのではなく、フレームワークを活用して複数の仮説を立て、取り組んでいく予定です。
総合演習でデータ加工を実践できると思ったのですが、筆記のみだったので、今までの学びが身についたか試せなかったのは少し残念です。
ポータルの話でいうと、一度見た動画を早送り・巻き戻しできないのは不便でした。