ABテストとパーソナライゼーションを併用する最適な方法

多くのマーケッターはABテストとパーソナライゼーションはそれぞれ全く異なるものであると考えていますが、私は自信を持ってそうではないと言えます。 それは、この2つを合わせて用いることで最大の結果を得るための方法があると考えているからです。

成長市場やパフォーマンスの良い市場を見定めることを目的とするマーケッターとして、私たちはコンバージョン率や新規顧客数、収益などで定量化される“結果”に責任を持たねばなりません。そしてあらゆるマーケッターが、コンバージョン率を高めたいと考えています。
この際、A/Bテストとパーソナライゼーションは、コンバージョン率を高めていく上で用いられるシンプルなメソッドでもあります。

しかし現在のところ、本当は併用するのが最善策であるような状態であっても、この2つのメソッドを別々に扱ってしまうマーケッターがほとんどです。これについて理解を深めることで、コンバージョン率の最適化を行う上でより多くの成果を得ることができるようになるでしょう。

全ての顧客に対して最もパフォーマンスが良いページを知る上で一般に用いられる方法として、A/Bテストと多変量テスト（MVT）があります。あなたのサイトに1つしかバリエーションがなく、訪問者が見るのがそのバージョンであるという場合にはこのアプローチは有効です。

例えばこのテストは、それぞれ異なる技術スタックにより作られている2つのサインアップ（登録）フローを比較し、適切な方のフローを選択してその技術スタックに注力していきたい場合などに適しています。

パーソナライゼーションとは、経験をオーダーメイドすること

A/Bテストは、あるアイデアと他のアイデアを比較試験し、平均してどちらの方が優れているかを調べる上で効果的です。

一方、パーソナライゼーションのメソッドを用いると、あなたのサイトの様々なバージョンを、訪問者の興味や様々なコンテクストに合わせて表示することができます。
サイトに複数のバージョンを持たせることにより、メッセージの“平均化”を防ぎ、それぞれの訪問者に対してより優れたパフォーマンスを発揮できるバリエーションを提供することができるのです。

しかしテキサス拠点のデジタルマーケティング企業Clearheadの2016年の報告によれば、顧客に対するパーソナライゼーションを取り入れた情報や体験を開発・提供する準備が整っているウェブ上の小売業者はたった17%であるとされており、他の同職種についても同じようなことが言えるとされています。

多くのマーケッターは、はっきりと意識しているわけではないものの、自身のサイトをより“個別化”しつつあります。
例えば、異なるオーディエンスやキャンペーンについてそれぞれ異なるランディングページがあるということは、サイトを“パーソナライズ（個人化・個別化）”していると言えます。

適切に導入・適用することができれば、パーソナライゼーションを用いることで、全ての顧客に単一のページを表示するよりも好ましい結果を得ることができます。

その理由は、それぞれの顧客セグメントに対して最もパフォーマンスの優れた経験を提供する方が、全てに対して平均して最も優れたパフォーマンスを発揮するよりも良い結果が得られるからです。
以下の表は、その仕組みを図解したものです。

ここであなたはこう考えるかもしれません。
「自分のサイトのどのバージョンがどの顧客セグメントに対して効果的か、どうすれば分かるのか」と。
その答えが、パーソナライゼーションとA/Bテストの併用なのです。

2つのメソッドを併用することで、予め決められた顧客セグメントに適切と想定される内容を表示し、表示内容がその対象に対して実際に適切であることを確認することができるのです。

それぞれ個別に用いるよりも、ABテストとパーソナライゼーションは組み合わせることでより優れた相乗効果を生み出します。さながら、お刺身とワサビのようなものです。パーソナライゼーションを行う際には、テストを行うという心構えが必要です。 現在の多くのマーケッターには、そういった考え方が欠けているように思われます。

それぞれのセグメントにオーディエンスを当てはめ、それからそのオーディエンスに対してA/Bテストを行うことで、A/Bテストのツールを用いて潜在的なパーソナライゼーションを試験することができます。

このためには、まずそれぞれの、対象となるセグメントをデータに基づいて設定しなければなりません。
それから、この定義にマッチングしているオーディエンスを創成します。
続いて、それぞれのセグメントに対してABテストを行います。

つまり、あるセグメントのオーディエンスに対してのみ表示されるページAまたはページBについてテストを行うのです。これにより、このセグメントに表示する上で最善のページ（AまたはB）を知ることができます。
この試験については、現在用いられているほとんどのA/Bテストツールで行うことができるでしょう。

ルールに基づいたパーソナライゼーション

あるセグメントに対するA/Bテストを、ルールに基づいたパーソナライゼーションに応用することもできます。
その際にはまず、特定のセグメントあるいはコンテクスト、またはその両方に対するターゲットを定義するため、一連のルールを設定する必要があります。
その後、それぞれのルール内において、A/Bテストを行うのです。
結果として、ルールにより“そのページを見る資格がある”とされる訪問者にのみ、AまたはBのページが表示されることとなります。

一般に用いられているパーソナライゼーションツールのほとんどには、ルール内で行うA/Bテスト機能が搭載されています。これにより、それぞれのセグメントに対して表示する上で最も適切なページを知ることができます。

いずれのアプローチの場合であっても、それぞれのセグメントに対して表示する上で最も適切な内容を知ることができ、それにより、全体に対して平均的なパフォーマンスを発揮するようなページを表示するよりも優れたパフォーマンスを発揮することができます。

こうしたA/Bテストを行う上では、サイトにより多くのバリエーションが必要であり、それを作成するための時間と手間がかかります（またそのバリエーションはそれなりのクオリティでなければなりません）。
しかしそのリターンとして、高レベルのコンバージョン率が得られるのです。

これまでの方法よりも、もっと良い方法は無いか。その場合の疑問は、「テストとパーソナライゼーションの併用をより短期間で行うようなスケーラブルな方法はないか」ということでしょう。
その答えはイエスです。このアプローチは、プレディクティブ・パーソナライゼーション（Predictive personalization、予測パーソナライゼーション）と呼ばれます。

事実上、今、私たちが知るパーソナライゼーションは全て、ルールに基づくものとなっています。
つまり、あらゆるパーソナライゼーションについて、私たちマーケッターは、「このプロフィールに合致してこのように振る舞う訪問者にはこれを表示しろ」というようにルールを設定しなければならないのです。

プレディクティブ・パーソナライゼーションでは、このアプローチを自動化することができます。

リアルタイムに自動でセグメントを発見し、多くのアイデアを同時にテストし、それぞれ個々の訪問者に対して、その瞬間にコンバージョンさせる可能性が最も高いと考えられる、その顧客に合わせた体験を提供する。
それがプレディクティブ・パーソナライゼーションなのです。

このアプローチで克服できる従来の問題が2つあります。1つは、マーケティングの手法が変わっていくのと同じように、個々の訪問者に対して提供するべき適切な内容も恐らくはきっと変化していくであろうということです。
A/Bテストでは、この類いのリスクの脆弱性を克服することは困難です。頻繁に再テストしなければ、何が起こっているのかすら把握することは困難になります。

プレディクティブ・パーソナライゼーションを用いた場合、マシンはその時に最適であると考えられる内容を観察し続け、それに対して微調整を続けます。これにより、自社および競合社の将来的な変化や、マーケティングの手法や割くべき労力の変化にも対応することができるのです。

もう1つの従来の問題とは、テストには終わりがないということです。テスト結果には統計的有意性が付きものであり、マーケティング全般について応用・考慮するべき知見も一緒に得られます。
しかし私たちは、「正解」が変化した場合に備え、テストを続けていかなくてはいけないのです。
これもまた、現代の多くのマーケッターが見落としている考え方です。

ルールに基づいたパーソナライゼーションと比較した場合の欠点は、サイトの（訪問者に表示するに値すると考えられる）バージョンのうち、個々の訪問者がどれを目にすることになるかを事前に知ることができない、という点です。
しかしその代わりに、一度に大量のアイデアをテストし、高パフォーマンスを実現することができます。

以上のように、A/Bテストとパーソナライゼーションを同時に行うことで、両者を最大限に活用しながら、最適化に関するルーチンワーク的なタスクの多くをマシンに任せることができます。
これにより空いた時間で、あなたの見込み客について更に理解を深めたり、見込み客をコンバージョンするための新たなアプローチについて更に思索を深めたりすることができるようになるのです。

では、いつ、どのテクニックを用いるのが良いのでしょう。以下に一例を示しましょう。

Chimeは、不必要な手数料を取り除くことにより利用者が金銭面でよりメリットを得られるようにデザインされたオンラインバンクです。
提供されるモバイルアプリにより、利用者は支払いを常に管理し、自動化を通じて健全な貯蓄習慣を形成することができます。
Chimeの、無駄をそぎ落とした、経験豊富な、データに基づくマーケティングチームは、より多くの新規顧客の登録を得たいと考えていました。

彼らが最初にしたのは、プレディクティブ・パーソナライゼーションを用いたページに関する、少しばかりの経験に着目することでした。ブレインストーミングを1週間にわたり行う中で、8つのヘッドライン、2つの新たなタイプの主なコンテンツの他、日ごとの何千というページビュー（閲覧数）を獲得しているホームページに設置する動画を試験的に作成もしました。
Chimeが最終的にテストしたホームページのバージョン数は54にもなります。

Chimeの当初のプレディクティブ・パーソナライゼーション・テスト

追加・テストされたコンテンツの例

ChimeのCEO・共同設立者であるChris Britt（クリス・ブリット）による説明動画

新たなコピーと画像

Chimeの当初の結果

6週間が経過し、8%の新規顧客を得ることができました。
その理由は、プレディクティブ・パーソナライゼーションのシステムが訪問者について知る情報に基づき、訪問者の一人一人を自動的に何百万というセグメントの中の一つに当てはめていったからです。

訪問者の振る舞いを観察することにより、システムは、ヘッドラインや主なキャッチコピー、ビデオの組み合わせの中から、そのセグメントに最も適した組み合わせを学習したのです。
数時間のうちに、システムはどんどんよりパフォーマンスに優れた組み合わせを表示するようになっていきました。

さらなるバリエーション

8%の増加は確かにビジネスにとって有益なものではありましたが、同チームはそれだけでは飽き足らず、更に注力をしていくことにしました。
新たな写真やビデオ、現状の訪問者の大多数に対して響くようだと感じた事柄に基づいて作成された新規のコピー。
こうしたアイデアを実現・テストする上で、216のバリエーションをテストすることとなりました。

Chimeのアプリを示し、製品のイメージを中心に配置

自動貯蓄をフィーチャーした2つ目の動画

異なる画像とキャッチコピー

4週間が経過し、ベースとなるウェブサイトを常に表示するグループと比べ、ホームページを介しての顧客獲得は79%増加しました。

プレディクティブ・パーソナライゼーションによるテストから得られること

テストとパーソナライゼーションを併用するというアプローチにより、パフォーマンス面での改善に加え、顧客の嗜好についてChimeは有益な情報を得ることができました。
例えば、デバイスの種類、1日の時間帯、地理データといったものが、訪問者に対するパーソナライゼーションにとって非常に重要なものであることが発覚したのです。

以下の画像は、全体におけるヘッドラインと画像の最高の組み合わせ（キャッチコピーは“Banking made awesome”）を示しています。
このページは、ChimeがA/Bテストを逐一行っていたとすれば、全ての顧客に対して表示されていたであろうページということになります。

しかし、プレディクティブ・パーソナライゼーションにより、モバイルデバイスを用いている顧客には“Save effortlessly and automatically”のコピーを表示する方がパフォーマンスの高いことが分かり、これを適用することで23%の新規顧客獲得に繋がりました。
同様に、地理データによって個人化（パーソナライズ）することにより17%の新規登録の増加、時間帯によるヘッドラインの変更により30%増加させることに成功しました。

セグメントテストによる結果は、これまでにもその有用性が示されていました。プレディクティブ・パーソナライゼーションにより、このプロセスを自動化することができた、ということになります。

Chimeは当初、いくつかのアイデアを早期にテストすることにより勢いを付けることに注目していました。ここから何が奏功するかを学び、高パフォーマンスのアイデアに更に注力し、短期間で更に利益を大きく伸ばしたのです。
もしもパーソナライゼーションと併用せずにA/Bテストだけを用いた場合、より時間がかかり、より多くのコストが掛かっていたであろうことが予想されます。

Perkvilleは、企業に対する顧客のロイヤルティの獲得や収益の成長を促す、一体型の紹介・報酬プログラムです。
Perkvilleはクライアントの事業に対する顧客の口コミや紹介数を増やしたいと考えていました。
そこでまず、紹介をしたいものがある会員が入力するフォームのある“紹介ページ”を最適化することに注目しました。

Perkvilleの基本となる会員の紹介フォーム（変更無し）

“送信”ボタンがある紹介ページは、一日の閲覧数が比較的少なく（2000未満）、従来のA/Bテストでは難しい面がありました。
新たなアイデア１つをテストして統計学的に有意な結果を得るには数週間または数ヶ月が必要だったのです。そこでPerkvilleは、より多くのアイデアをテストし、サイトでの紹介登録を増やすため、A/Bテストとパーソナライゼーションを、プレディクティブ・パーソナライゼーションを踏まえて併用することを試すこととしました。

当初、Perkvilleは、紹介ページにおける3つの“体験”に着目しました。

テストの例

Perkvilleは、既存のフォームに対する変更についてテストを行いました。
この変更として、例えば、“テキストを送信する”の欄への自動入力（簡単な私信の入力可能箇所）なども含まれました。また、ヘッドラインや、フォームのトップの情報もシンプルなものにし、テストを行いました。

“テキストの送信”への自動入力（オファー付き）

ヘッドラインのシンプル化

また、CTAについていくつかのバリエーションを試しました。“送信”ボタンのメッセージを、“Share the love（愛をシェア）”、“Tell your friends（友達に教える）”、“シェアしてxxポイントを獲得”といったようなものに変更してみたのです。

結果

最初のテストを開始してから5週間後、Perkvilleは、プレディクティブ・パーソナライゼーションのテストにより以下の結果を得ることとなりました。

全体の結果：

改善率：42.5%
統計的有意性：99%超

CTAの結果：
・全体で最もパフォーマンスを発揮したもの：“Share the love”
・デスクトップデバイスに最適だったもの：“Tell your friends”
・タブレットデバイスに最適だったもの：“シェアして117ポイントを獲得”

もしもPerkvilleがパーソナライゼーションを用いずにA/Bテストだけを用いていたら、全ての顧客に対して“Share The Love”の表示が出るように設定していたでしょう。
しかし彼らは、A/Bテストとパーソナライゼーションを、プレディクティブ・パーソナライゼーションによって組み合わせることで、それぞれの訪問者に対してCTAを自動で最適化し、高コンバージョン率を実現するに至ったのです。
つまりPerkvilleは、デバイスの種類によって最適なCTAが異なることを発見したのです。

こうして自動化された最適化により、A/Bテストとパーソナライゼーションは併用され、どのバリエーションのパフォーマンスが最も優れているかといったことについて有益な知見を得ると共に、全体でより良い結果を実現することができたのです。

全ての金融サービスやSaaS企業が、ChimeやPerkvilleの実例にそのまま従うことはできないでしょう。
現在1つしか自社ページのバージョンを持たない企業にとっては、パーソナライゼーションを用いないA/Bテストはコンバージョン率を高める方法として正しいアプローチであると言えるからです。

しかし、A/Bテストとパーソナライゼーションを併用することで、概して言えばより良い結果を得られるというのもまた事実です。ならば、自社のコンバージョン率を改善することを考えた場合、一考に値するのは確かでしょう。

A/Bテストとパーソナライゼーションは、往々にして全く異なるアプローチであると言われます。しかし、自社事業の結果を最大化する上では、この2つは組み合わせて使うのが最善なのだと理解して頂けたのではないでしょうか。

この記事は、CXLのブログに掲載された「How to Use A/B Testing and Personalization Best Together」を翻訳したものです。