【ABテスト事例】セグメンテーションは効果的？それとも逆効果？

2021/06/01 ABテスト事例 ABテスト、B2B、CRO、LPO、パーソナライズ

この記事は、海外のABテスト事例配信サイト「Guess The Test」に掲載された記事を翻訳したものです。翻訳元:「Guess The Test」

テストの詳細と背景

大企業向けのアプリケーションソフトウェアのプロバイダーである多国籍企業のSAPは、ドイツ語版の自身のサイトで、この動的なテストを行いました。

SAPの課題の1つが、多様なグローバルクライアントに対し、サイト全体で関連性のある顧客体験を提供することでした。さらに、SAPへの訪問者の90%がクッキーによる追跡を無効としていること、つまり、SAPのサイトに訪れるさい、彼らは匿名のままでいることも課題でした。

顧客情報が乏しい中、SAPが各顧客にカスタマイズした体験を提供することは困難でした。

しかし、パーソナライズの効果を考えると、テストチームは、業界ごとにトップページとランディングページのデザインを動的に変更することは投資すべき価値があり、コンバージョン率を増加させると考えました。

業界ごとにWebの体験をパーソナライズするため、ホームページとランディングページの下記3つの要素を動的に変更するテストを行いました。

1. メイン画像
2. ボディコピー
3. コール・トゥ・アクション

訪問者は業界ごとにセグメントされます。下記の5つの業界がテストされました。

1. 銀行
2. 小売
3. 教育機関
4. 自動車
5. 消費財

仮説

業界ごとにセグメントされた経験を提供することは、一般的なWebサイトよりも良い体験を提供することになり、その結果、クリック率と製品のダウンロード率を増加させると考えました。

しかし、業界ごとにWebサイトを動的に作り変えるためにはコストがかかり、投資する価値がないのでは、という考えもありました。また、匿名の訪問者へ適切な体験を提供できなければ、逆効果になると考えました。

そのため、テストを行うことを決断したのです。

テストの設計

どの体験が勝利するかを判断するため、Adobe Analyticsによって収集されたインサイトを用い、ABテストの環境を設定し、実施しました。

テストの実行期間は3ヶ月でした。その間、10万人のユーザーが訪問しています。トラフィックは各業界ごとに5等分されています。

その結果、2万人の訪問者が5つの業界ごとの体験を提供されています。各サブセットはさらに50対50にトラフィックが分割されています。ユーザーの半分は一般的なWebサイトを閲覧します。残りの半分のユーザーは、各業界をベースに動的にパーソナライズされたページを閲覧します。

一般的なページのデザイン（Aバージョン）は、雲に囲まれた山の頂上で誇らしげに立つ登山者の画像が表示されています。Webサイトのコピー文とコール・トゥ・アクションのターゲットは広範囲であり、クラウドコンピューティングに興味のあるユーザーへの一般的な内容となっています。Aバージョンのトップページとそれに続くランディングページは下記の通りです。

業界ごとにセグメントされたページ（Bバージョン）のデザイン例として、教育機関の例を挙げてみましょう。この場合、教室内の学生の様子が表示されています。コピー文とコール・トゥ・アクションは、教育機関の関係者をターゲットとした内容になっています。トップページとそれに続くランディングページは下記の通りです。

また、銀行向けのページでは、光り輝くスカイラインの画像が用いられています。Webサイトのコピー文とコール・トゥ・アクションは、銀行業界のユーザーに向けた内容になっています。トップページとそれに続くランディングページは下記の通りです。

トップページからランディングページへのクリック率と製品のダウンロード率は全てのバージョンで計測されています。

テスト結果

勝者はBバージョンでした。疑いもなく、パーソナライズされたページが勝ったのです。

動的に変更するページが勝利したことに驚きはないかもしれません。しかし、それぞれの業界でどの程度コンバージョンに影響したかは、驚くべきものです。

・クリック率

一般的なWebサイトと比較すると、セグメントされた体験を提供することで、クリック率は59%上昇しました。

しかし、特定の業界のパフォーマンスは、その他の業界のパフォーマンスを上回っています。

銀行業界の場合、コントロールグループと比較し、CTRは269%も上昇したのです！

・ダウンロード率

全ての業界を含めた全体的な結果では、コントロールグループと比較し、ダウンロード率は28.96%上昇しました。

銀行業界の場合、コントロールグループと比較し、ダウンロード率は195.77%上昇しています。ほぼ垂直の上昇です！

このテストの信頼性は95%です。

この結果はどの程度、信頼できる？

サンプルサイズが大きく（セグメントごとに20,000の訪問者）、テスト期間が十分であり（3ヶ月間）、信頼性が95%であることから、今回のテストは公正であると言えます。

しかし、クッキーが使えず、データが匿名となったさい、各ユーザーがどのようにセグメントされるかは不透明です。

分析

1.パーソナライズはコンバージョンを上昇させる強力な要因

パーソナライズへの顧客の反応を測定した調査では、同じ業界などの共通した項目を持つグループは、最適化されたパーソナライズのコンテンツに最も良い反応を示すことがわかっています。

おそらく、こうした反応が起こる理由として、受容可能な行動を指示するために各個人が他者に目を向けるという心理学的な現象の、ソーシャルプルーフが挙げられると言えます。

2.セグメンテーションは効果的

ソーシャルプルーフの観点からすると、個人がセグメントされる、つまり、グループの一部であると感じるようになると、そのコンテンツへのエンゲージメントが高まるという考えが理由となりえます。そこでの体験は、より関連性のある体験として感じられるのです。

関連性の考えを当てはめるために、SAPは業界ごとのセグメンテーションのテストを行いました。

そして、予期せぬ発見に出会ったのです。

チームは、その業界で働くユーザーがその業界のプロフェッショナルであるという感覚を持つセグメンテーションが最も効果的であることを発見ました。例えば、銀行業界で働くユーザーは、その業界周辺のメッセージをすぐに理解することができます。

反対に、小売業界で働くユーザーは、同様の感覚を得られないかもしれません。なぜなら、彼らはその業界ではなく、サプライチェーンや消費財業界に親近感を覚えるからです。

業界を「簡単に特定すること」への注力は、SAPの大きな目標となりました。

チームは、「業界別セグメンテーション」キャンペーンをグローバルに展開しています。彼らの発見は、非常に明確です。セグメンテーションは疑いもなく、クリック率、エンゲージメント、ダウンロード率を増加させます。どのような文化であれ、どのような国であれ。

今回の調査で得られる知見と実施可能なアドバイス

特定のユーザーをターゲットとしたページは、全てのユーザーに向けられたページよりも、良いパフォーマンスを発揮する傾向があります。

なぜなら、ユーザーが異なれば、その行動も異なるからです。全ての場合に対応できるたった1つのソリューションは、実際は、どの場合にも対応しません。

コンバージョンを最適化するために、可能な限りオーディエンスを理解することは重要です。彼らを眠りから目覚めさせるものを発見しましょう。そして、それらをコンテンツにし、適切に彼らに届けるのです。