【ABテスト事例】UX検証とABテストの組み合わせがもたらす効果とは？

大手メディアであるThe McClatchy Companyにとって、読者の心を短時間で掴むことはもっとも重要です。綿密な検証を通じて、チームは最適なナビゲーションメニューのフォーマットが読者のコンバージョンに大きな影響を与えると学んできました。

以前McClatchyは、“kebab(ケバブ)”型のメニューフォーマットがモバイル上で“cog(歯車)”や“avatar(アバター)”型のフォーマットを上回るパフォーマンスを出すかをテストしました。この検証でMcClatchyは、ケバブ型のフォーマットがコンバージョンに大きく影響することを発見し、このケースではcontrolの「ケバブ」型フォーマットが他のバージョンと比較してクリック率(CTR)を10.9%増加させ、圧倒的な勝者となりました。

さらにテスト検証チームはメニューのコピーに注意を向け、訪問者にもっとも強くアピールする最適な言葉を見極めたいと考えました。

Quantcastの分析データを通じて、McClatchyは、自社の読者の大部分が35歳以上かつ子どもがいる男性であることを発見しました。さらに、この読者層は非常に高いレベルの教育を受け、裕福な人物である傾向がありました。

McClatchyのテスト検証チームは自社の若い先進的な考えを持つ読者層を考え、元々の “Classifieds(クラシファイド広告)”メニューが流行に敏感な読者にとっては時代遅れに感じられるのではないかと懸念を持ちました。彼らはよりフレッシュな“Buy & Sell(購入と販売)”というタイトルが、コンバージョンを向上させるかもしれないと考えました。

テスト検証を行うにあたって、チームはナビゲーションメニューの最善の言葉を決定するために、二種類のアプローチを採用しました。
彼らはまず、質的なユーザーエクスペリエンス(UX) の検証から始め、ユーザーの動きとメニューの言葉に対するコメントを観察しました。

実際に、UX検証の結果では、人々はタイトルが“Buy & Sell”に切り替わった時の方が、よりスムーズに誘導されることが分かりました。
この結果を受けて、タイトルが変更されました。

しかし、UXチームと分析チームの両者が、その結果は完全に正確なものかを疑問に感じていました。両チームを通じて誰もが同意したのは、ユーザーの発言と行動はしばしば一致しないということでした。

したがって、定量的なABテストが、UX調査の結果を検証する目的で実行されました。

分析チームは、ニュースサイトとしては元々の“Classifieds”ラベルの方が新しい“Buy & Sell”よりも効果があるという仮説を立てました。しかし、UXチームの素晴らしい仕事を軽視したくはなかったので、彼らは検証するのが最善だと判断しました。

どちらのナビゲーションメニューが最善かを判断するために、アクセスは半々に分けられました。
41万7500人以上の訪問者が次の二つのうちのいずれかのバージョンにアクセスしました。

A：“Buy & Sell”(購入と販売)のコピー
B：“Classifieds”(クラシファイド広告)のコピー

McClatchyの検証チームは自社のサイトで社内検証を行いました。テスト検証は26日間で行われました。

コピーを“Buy & Sell”【A】から元々の“Classifieds”【B】に変更したパターンが、メニューのクリック数が75％増加し、99％の信頼性を獲得しました。

しかし、興味深いことに、この増加はパソコンからのアクセスでのみ起こりました。検証ではすべてのデバイスを対象としていましたが、他の機器では統計的に重大な結果は見受けられませんでした。

なおMcClatchyは、通常はクリックだけでなくファネルの深部で検証を行うにも関わらず、今回の検証では上部のナビゲーションメニューのクリック以外では統計的な有意性を立証することはできませんでした。

人が欲しいというものと、実際に好んでいるものは異なる可能性があります。

そのような事情から、質的なユーザーエクスペリエンスに着目するグループは、ある発見が定量的な確固たる証拠と完全に矛盾するという事態に遭遇する場合があります。

UXの専門家であるジェリー・マクガバン氏が自身の記事(英語)の中で述べたように、「顧客について知る際の最大の問題は、顧客が自分自身のことを知らないということ」なのです。

あるUXについての研究で、マクガバン氏は、航空会社の事例を報告しています。その航空会社の乗客は機内食としてヘルシーなものが食べたいと要望していました。しかし、実際にメニューを変更してヘルシーな食事も提供し始めると、そのフルーツと野菜は腐ってしまいました。実際には、乗客はジャンク―フードを食べたがっていたのです。それにも関わらず彼らは逆の要望を出していました。

人間の言動と行動は一致しないことがあるため、質的なUX調査の結果を完全に信頼するのは問題となる場合があります。
私は何回かUXについての調査を実施しました。その際には、参加者はウェブサイト上でのタスクの実行や、指示された情報の発見に苦労していたにも関わらず、実験の最後にウェブサイトについての感想を聞かれた際には、「素晴らしいウェブサイトです。使いやすいし、情報も見つけやすいです」と答えたのです。

UX調査において、対人調査を行う場合にはバイアスがかかる可能性があるため、ハードデータを入手するもっとも確実な方法は、質的なA/Bテストによって結果を確認することです。

さらに、この検証では、分かりやすい方法で顧客に話を聞く最良の仕組みを学ぶことで、発言内容の向こう側にある顧客の本当の姿を知ることが非常に重要だと証明されました。

“Buy & Sell”はより直感的で情報量の多いラベルのように思えた一方で、McClatchyのメインの読者層は従来の“Classifieds”の新聞ラベルに慣れていました。おそらく彼らは直感的に、何かを売買する際にはそのラベルを探したはずです。

“Classifieds”という言葉を目にすることにもっとも慣れていたため、実際の状況でもそのラベルがもっともコンバージョンに貢献したのです。

このテスト検証が示しているのは、直感を常に信頼することは誤りで、ユーザーのアドバイスも鵜呑みにすることはできないということです。

仮に一般的な定説がある方法を支持していたとしても、常にA/Bテストを行いましょう。確固たる根拠を得て、その上で、質的および量的なデータの両方を根拠とした、情報に基づいた判断を行うことが望ましいです。
今回の検証では質的データと量的データを組み合わせて、素晴らしい示唆的な結果を得ることが出来ました！

1. 人間の言動と行動は一致しないことがあります！

顧客が本当はチョコレートを欲しがっているのに、フルーツや野菜を提供してはいけません。
もっとも顧客はそのことを認めないかもしれませんが。顧客の発言の奥にある意図を探り、彼らが本当は何を望んでいるのかを検証しましょう。その後に、彼らがもっとも親しみのある理解しやすい言葉で彼らにアプローチしましょう。

2. UX検証とA/Bテストの両方を組み合わせて、もっとも確かな結果を得ましょう。

今回の研究が示したように、質的検証の結果は、常に量的検証の結果と一致するわけではありません。
それによって、どちらの結果を信じるべきかという疑問が生まれます。妥当な結論に到達する最良の方法は、UX検証とA/Bテストの両方を行い、データを精査し、その後に顧客と彼らのニーズを理解しようと試みることです。
その際には、顧客の発言と行動が一致しない可能性もあるので注意しましょう。このような詳細な分析に基づいて行動することで、あなたの顧客にとって実際に最高の効果を発揮するソリューションを実装する手助けとなるでしょう。