Eメールマーケティングを担当している皆様は、「どんな件名にすればより開封率があがるのか」「クリック率を改善するにはボタンの文言はどうすればいいのか」「ボタンの色は何色がいいのか」など、成果をあげるために日々頭を悩ませていると思います。
さまざまな改善アイディアがでてきたとき、それを実際に試してみて、効果があるか否かを判断することは非常に重要です。そこで、今回は施策の良し悪しを適切に判断するための1つの方法である「ABテスト」についてご紹介します。
ABテストとは？
ABテストとは、施策の良し悪しを判断するために、複数パターンの施策を実際に実行し、結果を比較することです。
施策の良し悪しについて感覚的に判断するのではなく、定量的に判断をすることによって、確実な改善が見込めます。
しかし、単純に2つ（あるいはそれ以上）のパターンを比較して、こっちの方が開封率がよかったからこれが正解、となるわけではありません。
きちんとポイントを押さえたうえで実行しないと、本当は効果があるとは言えない施策を「効果あり」としてしまう可能性もありますので注意が必要です。
ABテストの進め方
ABテストは大きくわけて、下記の４ステップで進めます。
各ステップについて、詳しく説明します。
ステップ１：課題の明確化
まずは、「何を改善するために」ABテストを実施するかを明確にします。
Eメールの場合、改善する指標は基本的に「開封」「クリック」そしてクリックした先のページにセミナー等の申込みフォームがある場合は「フォーム提出」の3つですので、このうちどの指標を改善するのかを決めましょう。
1回のテストでは1つの指標についてテストを行います。
基本的にまず「開封」から改善していくことをおすすめします。
これは、メールの開封数が十分に多い状態で「クリック」や「フォーム提出」のテストを行ったほうが有意な差を得られやすくなるためです。
ステップ２：テスト計画
課題が明確化できたら、ステップ１で特定した課題に対して、具体的にどこをどのようにテストするのかを計画します。
例えば、次のような計画を立てます。
| テスト計画例 | |
|---|---|
| 課題 | 開封率改善 |
| どこ | 件名 |
| どのように | 「〇〇様へ」など受信者の名前を件名の冒頭に差し込む |
あとは計画に基づいて、実際に2種類のEメールを作成します。
テスト計画の注意事項
テスト計画を作るにあたっては、次の3点に注意をしてください。
- テスト計画は、1回分だけでなく、「このテストがうまくいったら／うまくいかなかったら次はどんなテストをするか」を合わせて計画することで、継続的な改善サイクルを作りやすくなります
- 「どのようにテストするのか」および実際にテストパターンを作成する際に、オリジナルとテストパターンに明確な差が出るように注意します。
明確な差がない場合、テストの結果にも差が表れにくくなります。 - 1回のテストでは、1つのポイントのみテストします。
複数個所を変えてしまうと、どれが要因で結果に差がついたのかわからなくなってしまいます。
ステップ３：テスト実施
計画ができたら、オリジナルEメールおよびテストEメールの2つのEメールを作成し、実際に配信します。
ほとんどのMAツール、メール配信ツールでABテストの機能があると思いますので、実際の設定は各ツールに従ってください。
必要な配信対象数（サンプル数）の目安
配信対象数（サンプル数）が少ないと、統計的に有意な差を得ることができません。以下に必要な配信対象数の目安をまとめました。
例えば、オリジナルパターンに期待される開封率が10%、テストパターンに期待される開封率が11%の場合は、各14,748人ずつに配信することで有意な結果が得られやすくなります。
十分なリストがない場合は、1回のテストで結果を判断するのではなく、同様のテストを何回か繰り返してみて判断するとよいでしょう。
ステップ4：振り返り
最後に、テスト結果を確認し、統計的に有意な差があるかをチェックします。
A/Bテスト信頼度判定ツール（有意差判定） – 株式会社真摯
https://cinci.jp/report/ab-calculator.html
上記のサイトがおすすめです。パターンA（オリジナル）とパターンB（テスト）について「Visitor」に配信数、
「Conversions」にテストした指標（一意の開封数またはクリック数）を入力すると、信頼度を算出してくれます。
テスト結果より有効な施策だと判断できた場合は、テンプレートに反映したり、メール作成時のルールとして共有しましょう。
クリックのテストの場合、配信停止リンクなど、成果に直接関係ないリンクのクリック数を除外することでより正確な分析となります。
ABテストのパターン例
「開封」を改善したい場合
開封に影響するのは主に「件名」「プレビューテキスト」です。
件名のテスト例としては、次のようなものがあります。
- 名前を入れる（〇〇様へ）
- 業種名を入れる（〇〇業の方向け）
- 数字の表現を入れる（〇社の導入実績）
- 緊急性を入れる（明日まで）
プレビューテキストのテスト例としては、次のようなものがあります。
- プレビューテキストを設定する（そもそも設定していなかった場合）
- 文字数（10文字程度／30文字程度など）
「クリック」を改善したい場合
クリックに影響するのは本文中のあらゆる要素ですが、特に重要なのは「ボタン」です。
ボタンのテスト例としては、次のようなものがあります。
- 数（複数or１つだけ）
- 色（ボタンおよびテキスト）
- 大きさ
- 配置（上部、真ん中、下部）
- ボタンのメッセージ
その他のテスト例としては、次のようなものがあります。
- 引き算（オリジナルパターン中の1つの要素を削除する）
- 配置換え（オリジナルパターン内の要素の順番を入れ替える）
- 足し算（オリジナルパターンに何か1つ要素を加える）
- レイアウト変更（1カラム、2カラムなど）
ABテストを実施する前のチェックリスト
最後に、ABテストを実施時に気を付けるべきポイントをチェックリストとしてまとめました。ぜひABテストを実施する際にご活用ください。
- ABテストで改善したい課題は明確になっているか
- 作成したテストパターンにおいて、オリジナルパターンからの変更点は1か所だけになっているか
- テストパターンとオリジナルパターンの変更点は明確か
- 十分な配信対象数（サンプル数）があるか
- 今回のテストがうまくいった場合、うまくいかなかった場合の次のテストについても計画しているか