仮説がABテストの成功を左右する!成果を出す仮説の立て方

ABテストの目的とメリット

ABテストとは、WEBサイトのパフォーマンスを改善するための手法です。パターンAとパターンBなど複数のバージョンを用意してテストを行い、どちらのパフォーマンスが高いかを導き出します。パターンは2つとは限らず3つ以上のときもあります。

ABテストの目的は、一般的には、CVR(コンバージョンレート=成約率)の最大化、サイトエンゲージメントの向上(直帰率の改善)などです。で対象ページは、LP(ランディングページ)やトップページのほか、会員ページ、商品一覧ページ、購入フォームなどさまざまで、CVRとして設定されるKPI(重要業績評価指標)も、購入率、寄付率、資料請求率、ダウンロード率、ログイン率などサイトの内容によって変わってきます。

ABテストには以下のようなメリットがあり、サイト改善の方法として広く用いられています。

シンプルで運用しやすい

セットアップや実装が比較的容易で、短期間で実施できることがメリットです。

低コストで実施できる

サイト改善のための手段としては、サイトリニューアルがありますが、高額な費用や、膨大な工数がかかるのがネックです。ABテストによるWEBページの改善は低コストで実施できることが利点です。また、ポイントをしぼったWEBサイトの改善は工数も抑えることができます。

しかし、方法を誤ると思ったような効果が出ないこともあります。実際、「サイト訪問者はいるのにCV(コンバージョン)が上がらない。その原因が分からない」「そもそも比較のためにどのようなページを作ればいいのか分からない」などといった、担当者の悩みはよく聞きます。

ABテストを効果的に行うには、仮説をしっかり立てて挑むことがとても重要です。では、その仮説はどのように立てたらいいのでしょうか。 今回は、ABテストを成功させるための仮説の立て方やポイント、検証方法の具体的な流れについて紹介します。

DLPOの製品資料や料金表などが必要でしたらお気軽にお申し付けください。

なぜABテストで仮説は重要なのか?

仮説を立てずにABテストを行うリスク

ABテストはWEBサイトのパフォーマンス改善に役立つ手法ですが、成功させるためには、仮説を立てることが重要です。仮説を立てずに実施すると、導き出された結果を正しく解釈することができません。また、仮説を立てたとしても、それが的外れな場合は、期待通りの成果を出すことは難しくなります。

商品がどうすれば売れるのかについての考え方とLPO(ランディングページ最適化)やABテストの実践方法を解説した書籍「マーケッターとデータサイエンティストが語る売れるロジックの見つけ方」(発行:宣伝会議)では、仮説を立てずにABテストを行うリスクについて、以下の3つを挙げています。

1. テスト中の成約率が下がる

通常、WEBページのクリエイティブは推敲を重ねて作られています。仮説構築も行わず、その一部分をただやみくもに変更するとページの統一感が崩れ、逆に成約率が下がる場合があります。

2. 検証に時間がかかることで成果に結びつかない

仮説を立てずにテストを行うと、検証するクリエイティブ数が増え、検証に時間がかかるリスクが生じます。ABテストは時間をかければ必ず成果に結びつくとは限りません。まずはテスト前にしっかり仮説を立て、改善が期待できるクリエイティブに絞って検証することで時間のロスを減らせます。

3. 効果の根拠がわからない

ABテストでCVRの最大化を見込めるクリエイティブが見つかったとしても、どのように改善するかに関する仮説を事前に立てていない場合は、なぜ成約率が上がったのか、変更したどの点が、どのように良かったかの判別ができません。仮説を立てて実施することで、たとえ成約率が上がらず失敗に終わったとしても、マーケティングの知見を得ることができます。

ABテストを成功させるための仮説の重要性を押さえたところで、次は、具体的な作業について見ていきましょう。

ABテストのプロセス

ABテストは、以下の流れで作業を進めるのが一般的です。

1. 仮説を立てる

WEBページの中の課題を特定し、どのページをどのように改善するべきか、改善するとしたらどのような方法があるのか、またその改善によってユーザーの行動はどう変わるのかなど、仮説を立てます。同時に、その仮説に沿って、改善に導くためのさまざまなアイディアを出していきます。

2. クリエイティブ(テストパターン)を作る

仮説に沿って出てきたさまざまなアイディアを基に、テストページのクリエイティブを決めていきます。

3. テスト計画を立て、ABテストを実行する

ABテストには、AとBのパターンを別々の期間にテストする「逐次テスト」と、ユーザーごとにページを振り分け、同期間で実施する「並行テスト」の二つの方法があります。テスト方法や時期、日数などについて具体的な計画を立て、実行します。

4. ABテストの結果を検証する

仮説通りの成果が出た、仮説とは違う結果が出たなど、テスト結果を分析し、検証していきます。仮説を立てて実施することで、想定外の結果が出た場合も検証がしやすくなります。

仮説はどうやって立てる?

ユーザー調査などのデータを足がかりに仮説を立てる

ここからは、ABテストにおいて重要な仮説の構築について、具体的な手順を解説していきます。

そもそも、どのページに対してABテストを実施すべきか悩む人も多いでしょう。テストの成功率を高めるためには、ゴールに近いページから改善の可能性を探るのが一般的です。例えば、商品購入や資料請求などにつながる申し込みや問い合わせフォームページ、記載後の確認ページなどはCVに近く、テストの影響が大きく出るページです。

また、仮説を立てる際には、ユーザーがどのような行動をしているのか、現状の調査・分析を行い、今のサイトにどのような課題があるのかを把握することが重要です。

仮説構築に必要な調査とは

定量調査
Google Analyticsなどのアクセス解析ツールを活用してPV数やセッション数など、サイト訪問者の行動を数値化して分析します。数値がファクトとなる特性上、誰にでも理解しやすく、説得力のあるデータを取得できるのが定量調査のメリットです。

定性調査
数値化できないユーザーの心理的な側面を調査して分析します。お金をかけずに身近な人にサイトについての感想を聞くといった小規模なものから、ユーザーを多数集めてインタビューするなど、方法はさまざまです。定性調査では、ユーザーの関心事や疑問・不安といったコミュニケーションレベルの課題の他、文章の可動性、操作性といった表現レベルの課題なども見つけることができます。
自社サイトのユーザー行動以外にも、競合サイトや人気のある異業種サイトの構造、仕組みなどの調査・研究にも有用です。

自社サイトについて調査・分析をすることによって、どのページのどこを、どう改善すればユーザー行動が変わるのかといった仮説が立てやすくなります。

思いつく限りの改善アイディアをひねり出す

仮説を立てたら、その仮説に沿って思いつく限りの改善アイディアを出していきましょう。
ここから先は、「仮説構築→改善アイディアに基づくABテスト実施→結果の検証・判断」のPDCAサイクルを継続的に回し、サイトの改善を行っていくことが大切です。

実は、ABテストを実施しても、結果に明らかな違いが出るのは3割程度です。3割を低いとみるか、高いとみるかは意見の分かれるところでしょう。野球にたとえれば、10回バッターボックスに立って3回ヒットが打てるということで、かなりの打率ともいえます。

ABテストの利点は、簡単に実施でき、結果がすぐに分かること。す。仮に思ったような結果が出なかったとしても、ABテストを繰り返し実施することは容易です。ただし、結果が出ないからといって期間を延長する方法はあまりおすすめできません。

改善アイディアをテスト内容に反映させることに時間をかけるのではなく、仮説に基づく可能性の高い改善アイディアをどんどんテストしてPDCAを回し、前に進みながら検証していく姿勢も必要です。

良い仮説を立てるためのポイント

良い仮説を立てるためには、考慮すべき要素について正しい知識を持っておくことが重要です。

先ほど紹介した書籍「マーケッターとデータサイエンティストが語る売れるロジックの見つけ方」(発行:宣伝会議)では、以下の3つの要素を挙げています。

  1. 顧客は誰か?
  2. 何を伝えるか?
  3. それをどのように伝えるか?

上記の3つの要素を考慮して仮説を立てることは、その後に続くテストパターンの作成、テスト結果の検証において重要です。

クリエイティブ作成とABテストの実施、仮説の検証

テストパターン(クリエイティブ)を作成する

仮説を立て、改善のためのアイディアをひねり出した後は、テストを実施するためのクリエイティブを複数パターン作ります。

クリエイティブというと難しく感じる人もいるかもしれませんが、応募ボタンの色を変える、位置を変えるなど、ちょっとした変更でも効果が出る場合があります。

テストパターンを作る際は、以下の4つの観点で考えると、すっきり整理できます。

  • 要素の有無/ページ内にどのような要素を入れ込むか。例えば、応募ボタン、購入ボタンなどをページの中に入れるか、入れないかなど
  • 配置/ページに入れ込む要素をどこに配置するか。例えば、応募ボタンの位置をページの中央に表示するか、最下部にするかなど。
  • デザイン/写真を入れるなら男性か女性か、応募ボタンの色、大きさ、フォントなどをどうするかなど
  • 文言/ユーザーの興味を引く本文や、応募ボタンなどの文言一つでも、ユーザーの反応は変化します。

テストしたいページ、項目が多数ある場合は、優先順位をつけることをおすすめします。
例えば、テストしたい箇所について、「CVの可能性・インパクト・作業の簡単さ」といった3つの観点で点数をつけ、数値化するのも一案です。

クリエイティブ作成で押さえるべきポイント

適切なクリエイティブを準備することは、ABテスト成功のためには不可欠です。クリエイティブ作成にあたって注意すべきポイントは以下の通りです。

1. 結果がわかりやすくなるよう、要素を分解する

クリエイティブの要素である「キャッチコピー」「ビジュアル」「デザイン」「ボタンの有無」「トーン・マナー」などを分解し、テストの対象を絞り込みます。結果が分かりやすいよう、分解した要素の一つを1テストに割り当てます。

2. アイディア1つにつきクリエイティブは1つとする

例えば、メインビジュアルのABテストで「女性と犬」「犬の親子」というパターンを比較する場合、それぞれのアイディアを表現するクリエイティブを一つずつ用意します。

3. テストの意図を満たすクリエイティブが制作できているか?に注意する

クリエイティブにテストの意図を的確に反映させることが重要です。テスト設計をするマーケティング担当者からクリエイティブを担当するデザイナーへ引き継がれる段階で、テストの意図が適切に共有されていないと、テストの意図を満たさないクリエイティブが制作されてしまうことがあるので注意しましょう。

4. 仮説に基づき、成功する可能性の高いパターンを絞り込む

やみくもにテストパターンを増やすことは非効率的です。仮説に基づき、成功する可能性の高いパターンに絞り込んでテストを実施しましょう。

5. 要素ごとにABテストを行い、組み合わせることでチャンピオンを導き出す

キャッチコピーのテスト、ビジュアルのテスト、ボタンの色のテストなどを順次実施し、それぞれのテストで数値が良かったパターンを組み合わせることで、効果の上がるLP(ランディングページ)「チャンピオンページ」を導き出すことができます。

多くの要素をテストしたいときは、要素を組み合わせたいくつかのパターンを同時に走らせる多変量テストもおすすめです。多変量テストを始めたい方は、多変量テストを基本からまとめた以下の資料を参照してください。
参考資料:多変量テストを用いたLPO手法を完全解説

ABテストを実施する

テストするクリエイティブを決定した後は、いよいよABテストの実施です。
ABテストには、「逐次テスト」と「並行テスト」の2つの方法があることはすでに説明しましたが、具体的にはどのような違いがあるのでしょうか。

AとBのパターンを別の時期に行う「逐次テスト」は、LPOツールなどが不要なため簡単に行えますが、テストを実施する時期によって結果も異なる可能性が高い方法です。

一方、AとBのパターンを同時期に行う「並行テスト」は、AとBを同じ条件で比較できるため、より信頼性が高い結果が得られます。「並行テスト」を行う場合は、LPOツールなどを用いることで容易に実施することができます。

ABテストの方法については、以下の記事で詳しく紹介しています。ぜひ参考にしてください。
【ABテストの方法】テストのメリットと効果的な実施方法まとめ

結果に基づき仮説を実証する

ABテストは、CVRの最大化やサイトエンゲージメントの向上(直帰率の改善)などを目的に行われるものです。しかし、実施したからといって、必ずしもいい結果が出るわけではありません。逆に、CVなどが下がるケースもあります。

ABテストを実施する際に重要なのは、結果に一喜一憂するのではなく、どこが良くて結果に結びついたのか、またどこが悪くて結果が出なかったのかをきちんと検証することです。仮説に基づいたABテストを実施すれば、どんな結果もその後の知見に変えることができます。

期待通りの結果が出なかったときは、仮説に基づく別の改善アイディアを出し、繰り返しABテストを行っていくことが大切です。社内でチームを作って進めるのが理想的ですが、難しい場合は、社外の専門家などに相談することも検討しましょう。

仮説のアイディアに困ったときは、ABテストの実装を容易にするツールの導入がおすすめ

ABテストには、さまざまな成功事例があります。仮説のアイディアが思い浮かばないときは、他社の成功事例などを参考にするのも良い方法です。DLPOのサイトで紹介している以下の成功事例も参考にしてみてください。

DLPOでは、ABテストや多変量テストに役立つツールの提供の他、改善のためのアイディアが浮かばないというお客様のご相談にも対応しています。 例えば、LPOツールの導入後、半年間はアイディアを一緒に見つけていく、ユーザー調査の手配を行うなど、お客様のそばで、しっかり伴走するサービスも提供しています。
テストを実施する際も、「有効な方法が分からない」「もっと便利に使うには?」など、細かいご質問に対するご提案もいたしますので、お気軽にご相談ください。

メールまたはお電話で、DLPO へお気軽にお問い合わせを。
DLPO お問合わせ

DLPOの製品資料や料金表などが必要でしたらお気軽にお申し付けください。