【ABテスト事例】どちらのサブスクリプションプランが効果的?

この記事は、海外のABテスト事例配信サイト「Guess The Test」に掲載された記事を翻訳したものです。翻訳元:「Guess The Test

テストの詳細と背景

人気の3D CADのモデリングソフトフェア、AutoCADのメーカーであるAutodeskは、自身のサイトでサブスクリプションプランのテストを行いました。

このテストの目的は、月間と年間のプランを提供することでサブスクリプションの契約数を伸ばし、注文と訪問をより増加させられるかを見極めることです。もしかすると、年間のプランに月間のオプションを加えることで視覚的な乱雑さが増し、選択肢が多すぎるため、コンバージョン数が減ってしまうかもしれません。

仮説

テストチームは、年間のオプションに加え、月間のオプションが追加されることで、より多くの注文と訪問が得られると考えました。

しかし、逆説的ではありますが、オプションが増えるとユーザーが判断を躊躇し、視覚的な乱雑さも増すことから、コンバージョンの低下を導く可能性もあると考えていました。

そのため、チームのメンバーは、どの価格フォーマットが最適であるかをテストすることにしたのです。

テストの設計

どちらの価格表が優位であるかを判断するため、A/Bテストの環境が設定されました。テストは25日間行われました。

この期間に、5万8千人の北米のユーザーが訪れ、月間のサブスクリプションのオプションがあるバージョンと、ないバージョンが表示されました。トラフィックは50対50で分けられています。

訪問者の半分には、年間のサブスクリプションプランのみが表示されます。表示画面は下記です。



残りの半分の訪問者には、年間と月間のサブスクリプションプランが表示されます。表示画面は下記です。


サブスクリプションページへのクリック率(CTR)は計測されています。サブスクリプションプランへのオーダー数も、各バージョンともに計測されています。

テスト結果

勝者はBバージョンでした。月間と年間のサブスクリプションプランが表示されているほうが、大きく勝利したのです。

オーダー数のコンバージョン


月間と年間のオプションを表示した場合、年間のオプションのみを表示した場合と比べ、オーダー数が100%増加しました。信頼性は99%です。

クリック率のコンバージョン


「SUBSCRIBE」のコール・トゥ・アクション(CTA)ボタンのクリック数を見てみると、2つのバージョンで大きな差異は見られませんでした。

この結果はどの程度、信頼できる?

サンプルサイズが大きく(5万8千人の訪問者)、テスト期間は標準(3週間以上)、オーダー数のコンバージョンの信頼度は99%ということから、この調査は公正であると言えます。

しかし、月間のサブスクリプションを加えたバージョンではCTAボタンの数が2倍になるにも関わらず、クリック率のコンバージョンには大きな差異が見られなかったことは、興味深いです。

クリック率の結果だけを見てしまうと、このテスト結果に間違った結論を出してしまうところでした。このテスト結果は、複数のKPIを見ることの重要性を示しており、可能な限りファネルの下のほうで見られることが理想です。

分析

この調査結果は、私達に何を示しているでしょうか?いくつかのインサイトが得られます。

1.「選択」は認知バイアスです


認知バイアスは、人間の行動に起こる心理的なパターン、もしくは、癖です。認知バイアスは非理性的な振る舞いをします。

心理学的な側面から見ると、私達が持つ選択肢の量は私達の判断に影響し、結果的に、コンバージョンにも影響します。

選択肢が少なすぎると、人々は脱力し、何も言う術がないという状態になります。

しかし、選択肢が多すぎると、オーディエンスは、判断を下そうと焦ってしまう「分析麻痺」に陥ってしまいます。圧倒された感覚を覚え、彼らが下せる判断は、「判断を下さないこと」、という考えに至ってしまいます。

●分析麻痺

この認知バイアスは、選択肢が多すぎると発生し、結局はなんの判断も下せなくなってしまいます。

この反応は、「フェイマス・ジャム・スタディ」と呼ばれる研究で観察されました。

コロンビア大学とスタンフォード大学の調査員が、実在するグロッサリーストアでこの研究を行いました。買い物客は、2つのサンプリングステーションの1つでジャムを提供されます。最初のステーションには、24のフレーバーのジャムが置かれました。もう片方には6つのジャムが置かれています。

24のフレーバーがあるサンプルでは、多くの買い物客が立ち止まりましたが、購入に至った買い物客はたったの3%です。 反対に、6つのサンプルでは、立ち止まった買い物客は少数でしたが、30%の買い物客が、少なくとも1つのジャムを購入したのです! 調査員は、少ない選択肢がより多くの売上を発生させることを発見しました。

なぜでしょう?おそらく、多すぎる選択肢は、判断ができないという地点まで買い物客を圧倒してしまい、結果として何も決断できなくなってしまったと思われます。 逆説的に、選択肢が少ないと購入に対する迷いを減少させ、より簡単に購入できるようになるのです。

この発見は、多すぎる選択肢は逆効果であることを示しています。買い物客を圧倒してしまい、コンバージョンを損なってしまうのです。

●ホブソンの選択

しかし、十分な選択肢を与えないことも逆効果となりえます。

「受け取るか、去るか」の選択を迫られることは、「ホブソンの選択」として知られています。

この言葉は、1500年代のイギリスにいた、40頭以上の馬を保有する、トーマス・ホブソンという馬主に由来します。 ホブソンの馬小屋に訪れた客は、自分が乗れる馬を自由に選べると考えていました。しかし実際は、客の選択はすでに決定されていたのです。ホブソンは、常に、入り口に一番近いところにいる馬しか貸しませんでした。この方法では、最高の馬を選ぶことはできません。

たった1つの選択肢しか顧客に提供しないため、「その馬に乗るか、乗らないか」のどちらかの選択となります。つまり、「受け取るか、去るか」の選択です。

このホブソンの選択の背景にあるのは、ここでの「選択」は、「提示された1つのオプションを受け取るか、拒絶するか」であり、言い換えると、顧客は十分な量の選択肢を与えられていないのです!

2.「適量」の選択肢を提供する


AutodeskのA/Bテストでは、「ホブソンの選択」が提供されていました。「年間のサブスクリプションか、何もしないか」の選択は、多くのユーザーに「何もしない」を選択させてしまいます。

しかし、月間か年間かという、第2の選択肢を提供することで、自身のニーズと予算に適したより良い選択を行えるという自信をユーザーに与えることになります。

サブスクリプションのプランを追加することで視覚的に乱雑になり、混乱を生んでしまう、と主張することは可能です。しかし、こちらのデザインが勝利しました。おそらく、サブスクリプションに興味のあるユーザーにとって、「適切な量」の選択となったからと思われます。

3.「3つのチャーム」と「4つのアラーム」


では、どのくらいの量だと多すぎて、どのくらいの量だと少なすぎるのでしょう?

状況によって可変しますが、1つの商品やサービスについて提示されるべき、積極的な主張の最適な数は3つである、とする調査があります。 4つか、それ以上の場合、買い物客の心の中から猜疑心を呼び起こしてしまうということです。

シューとカールソンが行った研究では、被験者は5つの項目について読むよう、依頼されました。朝食のシリアル、レストラン、シャンプー、アイスクリーム屋、政治家、についてです。

各項目において、被験者はその項目について、1~6の積極的な主張の説明を読みました。例えばシャンプーの場合、髪の毛を(1)きれいにする、(2)強くする、(3)より健康的にする、(4)柔らかくする、(5)より輝かせる、(6)より豊かにする、であり、それぞれの属性を組み合わせた場合もありました。

その上で、その項目の属性に対する被験者の姿勢がポジティブであったか、ネガティブであったかを測定しました。また、その主張について懐疑的に感じるレベルも測定されました。

この研究では、物事に対する被験者の姿勢が最もポジティブになるのは、3つの主張が提示された場合であることがわかっています。少なすぎると、説得力に欠けます。多すぎると、猜疑心を引き出します。

この研究と同様のことが、価格テーブルにも言えるはずです。 今回のAutodeskのテストでは、月間と年間という2つの選択肢しか提示されていません。しかしユーザーには、価格テーブルの他に3つのプランも提示されており、より理想的な数までに選択肢を増やすことができました。

今回の調査で得られる知見と実施可能なアドバイス

選択とは面白いものです。多すぎると圧倒され、少なすぎると無力となります。3つの選択肢をユーザーに提示することが、最適な数であるようです。

サブスクリプションのプランでは、月間と年間の選択肢を与えることで、ユーザーが購入判断に対する自信を持つ手助けとなったようです。

カテゴリー一覧

ABテスト事例 | LPOノウハウ