28,304の実験を分析して分かった5つの事実

CRO(コンバージョン率最適化)の担当者たちは2019年にどのような実験を行ったのでしょうか？私たちCXLでは当社のConvert.comの顧客からランダムに抽出した28,304件の実験を分析しました。

この記事では観察結果のうちで顕著だったもの、そしていくつかの重要な情報を共有したいと思います。

• CROの担当者たちが検証を終了するタイミング
• どの種類の実験がもっとも人気があるか
• パーソナライゼーションが実験のプロセスに採用される頻度
• CROの担当者たちは一つの実験に対していくつの目標を設定するか
• 失敗に終わった実験からの「学習」がどれほど高くつくか

では始めていきましょう。

CRO実験のうち95％という統計的有意性の水準を満たしたものはたったの20％だけでした。95％の統計的有意性を達成することで魔法のような効果が得られるわけではないかもしれませんが、とはいえそれは重要な伝統的基準です。

この結果を「Econsultancy’s 2018 Optimization Report」の結果と比較することも可能でしょう。その実験では、2/3以上の回答者が、自分たちが行った30％の実験について「明確な統計的有意性を持つ勝者」を得られたと回答しました。(一方で代理店の回答者についてはより良い数字が示され、実験において明確な勝者を発見したという回答は39％でした。)

統計的有意性に達しなかった原因には二つのことが考えられます。つまり、仮説がうまくいかなかった、もしくは、さらに面倒なことに、検証を早く止めすぎたということです。
およそ半分(47.2%)の「CXL 2018 State of Conversion Optimization」レポートの回答者が、A/Bテストを終了する基準点を用意していなかったことを告白しています。

統計的有意性を達成できなかった実験のうち、コンバージョン率が10％以上向上したものは7.5件に1件のみでした。

社内チームの場合は平均より少しだけ結果が劣ります。7.63件につき1件(13.1%)の実験が統計的有意性を持つ基準となる、10％のコンバージョン率の向上を達成しました。
私たちが前回のバージョンの研究を発表した2014年に遡ると、この数字は少し高くなり、およそ14％でした。

代理店の結果はそれよりもわずかに良いものでした。彼らの行った実験のうち15.84%が10%の上昇を伴う有意なものでした。この数字は私たちの以前の研究ではさらに高いものでしたが(33%)、もっともその母数ははるかに小さいものでした(わずか700件)。とはいえ、両方の研究で、代理店は社内のCROチームよりも良い結果を出しました。
今年、彼らは社内チームの実績を21％上回りました。(月ごとの検証ボリュームを比較した際に、代理店の顧客と社内チームの顧客の間に有意な差は見当たりませんでした。)

A/Bテスト (DOM操作と分岐したURLを用いたもの)は、現在も多くの最適化の担当者たちにとって頼れる検証となっており、私たちのプラットフォーム上のすべての実験のうち97.5%をA/Bテストが占めています。

このトレンドは新しいものではありません。A/Bテストは常に主流でした。CXLが行った年間の検証タイプの分析がこのことを実証しています。2017年には、CXLのレポートによれば、90％の検証がA/Bテストでした。2018年には、この数字はさらに8％増え、A/Bテストはほぼ普遍的な実験形式となりました。

確かにA/Bテストはシンプルな仕組みです。結果をより早く示してくれますし、より小さいアクセス量で行うことが出来ます。以下に検証タイプごとの要約を示します。

• A/B DOM：80.9％
• A/B 分岐URL：16.6％
• A/A：1.15％
• 多変量解析(MVT)：0.78％
• パーソナライゼーション：0.57％

北アメリカの最適化企業は1ヶ月あたり13.6件のA/Bテストを行っています。一方で西ヨーロッパの企業は平均して7.7件しか行っていません。2018 CXL reportの基準を採用すれば、私たちの顧客は検証量においてトップ30％に位置しています。

大西洋を挟んだ地域間の違いは他にもあります。西ヨーロッパの企業はDOM操作を伴うA/Bテストをより多く行い、アメリカやカナダの企業は分岐するURLを伴うテストを西ヨーロッパと比べて2倍多く行っています。

最適化の担当者たちは複数の目標を設定している

追加の「診断的」もしくは二次的な目標を設定することで、その取り組みの成否にかかわらず、実験からより多くを学習できるようになります。第一の目標は「勝者」を確実に明らかにすることですが、二次的な基準は、実験が対象となる人々の行動にどのように影響したかに注目します。(Optimizelyは、成功する実験は、実験の全容を明らかにするために8つもの目標をしばしば追跡していると主張しています。)

私たちはこれを肯定的に捉えています。顧客が自身の加えた変更によってウェブサイト上でのユーザーの行動にどのような影響があるかについてより深い洞察を得ようと試みているからです。

EconsultancyによるOptimization Reportの2018年版においても、多くのCROの担当者が複数の目標を設定していることが示されています。実際に、社内担当者のおよそ90％、そして代理店の回答者の85％が二次的な目標は「非常に重要」もしくは「重要」であると答えました。販売と収益は第一の成功基準ですが、一般的な二次的な基準には直帰率(バウンスレート)や”Contact Us”フォームの記入率などがあります。

さらにEconsultancyの研究によれば、高いパフォーマンスを出した組織(第一の成功基準において6%以上の改善を達成した企業)はより高い確率で二次的な評価基準も測定していることが明らかになりました。

パーソナライゼーションはその豊かな将来性にも関わらず、まだポピュラーでありません。私たちの調査サンプルの中で最適化の方法としてパーソナライゼーションを採用していたのは1％未満でした。パーソナライゼーションは私たちのすべてのプランで追加料金なしで利用可能であるにも関わらずです。

最近シリーズAの資金調達で800万ドルを達成したIntellimizeや、最近マクドナルドに買収されたDynamic Yieldのような製品の存在は、アメリカの投資家やビジネス界がパーソナライゼーションの可能性を高く買っていることを明確に示しています。

しかし、CROの選択肢としては、パーソナライゼーションは未だに少数派に過ぎません。A/Bテストとパーソナライゼーションのツールを使用している362,367件のウェブサイトを扱ったBuiltWithの提供するデータを見ると、私たちの発見を裏打ちするものとなっています。

アメリカを拠点とするユーザーは、西ヨーロッパのユーザーと比較すると、6倍も多くパーソナライゼーションを使用していることを私たちは発見しました。
(さらに、私たちのアカウントをベースとしたマーケティングツールの順番待ちリストに載っている依頼者の約70％がアメリカ企業でした。
そのツールはGDPR(EU一般データ保護規則)に準拠したものであるにも関わらずです。)

ヨーロッパ市場などにおけるパーソナライゼーションは、より賢いAIによる最適化がプライバシーにも配慮した方法で自動セグメンテーションを改善するにつれて、一般的になっていくかもしれません。

2017年にEconsultancyはCROの担当者たちを対象に調査を行いましたが、そこではパーソナライゼーションは「もっとも採用されていないが、もっとも多く計画された」CROの方法であることが明らかになりました。
およそ81％の回答者が、ウェブサイトのパーソナライゼーションの実装は「非常に」もしくは「きわめて」困難であると感じていました。いくつかのレポートが言及しているように、パーソナライゼーションの実装における最大の障害はデータのソーシングでした。

私たちのパーソナライゼーションに関する発見は、CRO業界の他のいくつかのレポートによって派生していきました。
EconsultancyによるCROを担当する社員(社内および代理店)を対象とした調査は、社内担当の回答者の42％、そして代理店の回答者の66％がウェブサイトの最適化を採用していると報告しました。Dynamic Yieldによる2019 Maturity Reportでは、44％の企業が「セグメンテーションが限定された」社内の「基礎的な」パーソナライゼーションを採用しているという結果が出ました。

CXLが2017年のレポートでCROの担当者を調査したところ、55％の回答者が、何らかの形式のウェブサイトパーソナライゼーションを使用していると回答しました、最新のCXLのレポートでは、回答者たちはパーソナライゼーションについて、CROの方法としての「有効性」という観点で、5段階で3.4と評価しました。

Evergageによるパーソナライゼーションのトレンドレポートでは、ホームページとランディングページがパーソナライゼーションの行われている割合がもっとも高いエリアで(それぞれ45%と37%)、その次が製品ページ (27％)という結果になりました。

私たちのサンプルでは「成功した」実験―定義としては、コンバージョン率を向上させた統計的有意性を持つすべての実験―は平均してコンバージョン率を61％も上昇させました。

成功しなかった実験―学習するだけに終わったもの―はコンバージョン率にマイナスの影響を与えることもあります。そうした実験は平均して、コンバージョン率を26％低下させました。

実験ごとにおよそ2.45のバリエーションがあり、それぞれの実験には検証期間中にコンバージョン率を低下させてしまう可能性(既存のコンバージョン率の10％程度)が約85％あります。

企業は行ったすべての実験から学習してアーカイブ化をする必要があります。CXLレポートによれば、およそ80％の企業が結果をアーカイブ化し、36.6％が専用のアーカイブ化ツールを使用しています。このことは、CROの担当者たちが過去の取り組みで学習したことを活用して、実験プログラム改善していることを明確に示しています。

しかし、結果を追跡し学習内容をドキュメント化することが長期的には検証プログラムの改善につながる可能性がある一方で、失敗した実験から学び、素早く成功を実現しなければならないという切迫した状況も存在します。

さらには、実験の成功の可能性が高まるように、検証のアイディアをじっくり調査および計画する必要性もあります。CXLが開発したResearchXL modelは成功の可能性が高い、データに裏打ちされた検証のアイディアを思いつく最良の方法です。

私たちの調査は業界のベンチマークを作り上げる手助けとなりましたが、私たちの発見のいくつかは驚くに値しないものでした(例えばA/Bテストの人気など)。

私たちが驚いたのは、パーソナライゼーションを採用する顧客がほとんどいないという事実です。パーソナライゼーションは私たちのすべてのプランで利用可能で、それほど多くのトラフィック量も必要としないため、もっと多くの企業がその先進的な機能を取り入れると私たちは考えていました。すでに触れたように、データ管理を改善すれば、企業がパーソナライゼーションを行うのは容易になります。

その以外では、私たちは複数の目標を設定することは良い兆候だと考えています。検証者は、彼らの実験が学習と成功の機会を最大化するためにどのように機能するかについて、より深く掘り下げたいと考えているからです。