【ABテスト事例】どちらの数字フォーマットが効果的？

2021/10/19 ABテスト事例 ABテスト、CRO、LPO、メッセージ

この記事は、海外のABテスト事例配信サイト「Guess The Test」に掲載された記事を翻訳したものです。翻訳元:「Guess The Test」

テストの詳細と背景

米国のメディケアとメディケイドを管理する、連邦医療機関のCenters for Medicare and Medicaid Servicesが、今回の調査を行いました。

Office of Communications内のEメールを担当するチームが、簡単な数字を使用した「平易な言葉」を用いて表記することが、保険の申請数に影響を与えるかどうかを調査したいと考えたのです。

仮説

調査チームは、簡単な数字を用いた平易な言葉遣いをすることで、ユーザーの理解が進むと考えました。その結果、説得力が増し、登録者数の増加につながると期待したのです。

しかし、数字の表記を変更したところで、影響は認められない可能性も考えていました。もしくは、コンバージョン数を下げてしまう可能性も考えていました。

そのため、テストを行うことが最適であると判断したのです。

テストの設計

数字の表記の違いの効果を検証するため、調査チームは2つのメッセージを作成しました。

1つ目は、簡単な数字で書かれたメッセージです。「3人のうち2人が保険料を節約できる」と書かれています。実際のメッセージは下記となります。

【A】「3人のうち2人が保険料を節約できる」

2つ目は、メッセージの内容は同一ですが、よりテクニカルな表記とするため、数字をパーセンテージに置き換えました。「66％の人が保険料を節約できる」と書かれています。実際のメッセージは下記となります。

【B】「66％の人が保険料を節約できる」

この2つのメッセージは、Eメールでの最新情報の配信を希望しており、アカウントの作成も完了しているものの、まだ保険の申し込みを行っていないユーザーを対象に送付されました。

最適な数字の表記を判断するため、A/Bテストと、GoogleのAnalyticsとTag Managerが設定されました。

保険への申し込みにつながる、フォームの完了数は、両方のバージョンで計測されています。

テスト結果

勝者はバージョン【A】でした。「3人のうち2人」という表記が、大きく勝利したのです。

「66％」という表記から、「3人のうち2人」という表記に変えただけで、106％という驚くべき登録者数の増加につながりました。

この結果はどの程度、信頼できる？

非常に興味深い結果となりましたが、今回の調査結果をそのまま鵜呑みにするわけにはいきません。

今回の調査は、Google AnalyticsとTag Managerで行われたため、信頼度の報告はなく、算出もされていません。同様に、実験のサンプルサイズや期間も報告されていません。

こうした事実から考えると、他のサンプル集団でテストが行われた場合、同様の結果とはならない可能性があります。今回の調査結果を自身のWebサイトにも当てはめようと考えている場合は、調査結果をそのまま信じるのではなく、自身のオーディエンスにも当てはまるか、テストを行う必要があります。これは、もちろん、すべての状況においてベストプラクティスとなります。

分析

数字の表示方法は、私たちの認識に大きな影響を与えます。しかし、今回のケースでは、なぜバージョンAが勝利したのでしょう？

いくつかの理由が考えられます。

1．私たちは変数を十分に考えない

例えば、お店で売られている商品の値段が99.99ドルの場合、100.00ドルの同じ商品よりも安く感じられます。

実際には、その差額はたったの1セントです。しかし、キリのいい数字と余分なゼロのおかげで、価格がより高く感じられます。

こうした心理現象は「数値適応効果」と呼ばれています。この分野の研究によると、人は数字に影響を与える変数や単位を十分に考えないため、数字の量や確立に対し誤った判断を下す傾向があるとのことです。

例えば、12オンスの缶ジュースが1.50ドルで売られていたとします。また、同一の商品の18オンスが1.75ドルで売られていたとします。ぱっと見ではどちらも同じサイズに見えますが、12オンスの缶ジュースのほうが安く感じられます。

しかし、1オンスあたりの価格を考えると、18オンスの缶ジュースのほうがお得なのです。しかし、単位の大きさが価格にどのような影響を与えるかを人々は十分に考えないため、より価格の安い缶ジュースに魅力を感じるのです。

今回の調査でも、同様の現象が発生しています。

小さい数字の表記のほうに引き寄せられたのは、それが理解しやすく、視覚化しやすいからであると思われます。

3人のうち2人が節約に成功していると想像することは容易いです。しかし、66%の人々というのはイメージがしづらいです。また、この割合は、グループ全体の大きさを示すものではありません。

2．私たちは集団の一部としてのイメージや感覚を好む

3人のうち2人という表記はイメージがしやすいため、加入者は、この少人数のグループの一員になれることを想像できたのではないでしょうか。

多くの読者が、自分も節約を成功した人になりたい、と考えたはずです。また、ソーシャルプルーフによって、この欲求がさらに高められたと考えられます。

メッセージの次の行では、990万人以上がすでにこのオファーに申し込んでいる、というソーシャルプルーフが用いられています。理解しやすい数字の表記に加え、ソーシャルプルーフが表記されていることで、コンバージョンを促したと言えるでしょう。

今回の調査で得られる知見と実施可能なアドバイス

数字の報告をする際、小さく、シンプルな表記をするほうが効果的であると、今回の調査では示されています。「3人中2人」や「66％」という表記のいずれも使用できるという状況であれば、より小さい数字の表記を選択すべきと言えます。

数学的には、その内容はどちらも同じです。しかし、コンバージョンという観点においては、それは同じではないこともあるのです。