CXL Live 2019を振り返る：各講演の概要

何か見逃してしまったのではと不安な方向けに、この記事では今年のCXL Liveで行われた各セッションの要点をまとめてあります。

• 統計的調査そのものが無意味なのではなく、多くの統計的調査が無意味なのである。以下の点に気をつければ統計調査は有効なものとなる。

  • 調査の質問を正しく設定する。
  • 「数字」を提示するのをやめて、情報を提示する。

• 適切な質問を行う方法。

  • 未来についての質問はしない(例えば『Xという機能を加えれば、あなたは製品Yを購入しますか？』)。あなたのユーザーは超能力者ではありません。
  • 遠い過去についての質問はしない。人間の記憶は非常に信頼性が低いため。
  • 誘導尋問は行わない(例えば、何かがどれほど『良いか』を聞いてはならない。『良かったか、悪かったか』と聞くか、単純に『どうでしたか？』と聞くこと)。

• ネガティブなことに対する、バイアスをかけた質問をすると、より多くのフィードバックが得られることがある(例えば『それはどれほど大変でしたか？』)。

• どこで、いつ調査を行うかは結果に影響する可能性がある。もしユーザーが不快に感じるサイトセクションで調査を行った場合、それによって返答にバイアスがかかることになる。

• 入力フォームの確認ページやサンキューページは、人々に質問を行うための大きなチャンスである(例えば、『他社も検討しましたか？もし、そうであるなら、どの特徴が理由で、わが社を選んでくれたのですか？』)。

• インタビューをセッティングする場合には、それをインタビューではなく「チャット(雑談)」だと呼ぶ。そしてチャットのような雰囲気でインタビューを行う。会話がどこに向かうかを予測し、ひたすら耳を傾ける。

• コピーライティングの作業の90％はリスニングである。

• 目標は人々が自分を投影できるコピーを書くことである。現在の自分自身、そして近い未来の自分自身。

• コピーの検証：これはブレークスルーなのか失敗なのか？全体のブレークスルーとなるのに十分なほど商品を宣伝できているか？もしくは全く効果がないか？

• 顧客の声の標準的なデータソース以外でも調査を行う。より効果的な調査先としては以下を勧める。

  • 会社設立者たちにインタビューをする(彼らも元々は『客』だったはず)。
  • サンキューページでの調査。
  • Usertesting.comなどのWEBユーザテストサービス。
  • 電話営業を利用する。
  • サポートチケットを利用する。
  • Facebookのコメントを利用する。
  • オンラインレビューを利用する。

• 会社設立者たちへのインタビューにより物語、バリュー・プロポジション、そしてビッグデータが見つかる場合がある。

  • 動画でインタビューを記録する(許可を得たうえで)
  • インタビューを文字に書き起こす(rev.comなどのサービスを利用)
  • それを印刷し、内容を蛍光ペンでチェックしながら読む。印象的な箇所は？他とは異なる意見は？

• 電話営業とデモ音声はコミュニケーションのシークエンスと階層をプロットにし、コピーを心に残るものにする手助けをする。

  • あなたの見込み客が実際に考えている思考の流れについての洞察を得る。
  • デモを見た時の表情を観察する。
  • 見込み客が話している箇所までスキップする。
  • 「ドキュメンタリー風」の瞬間に注目する(例えば、誰かにその原稿を渡したら、その人はそれを演じることができますか？それこそが欲しい瞬間です)。
  • 「～が心配で」や「～を見せてもらえますか？」というフレーズに注目する。
  • 発見した内容をタグ付けして、コピーに使用できるようにする(#反対意見、#後半、など)。

• カスタマーエクスペリエンスとは、あなたのビジネスとのつながりを顧客が認識することである。

• 投資運用会社Vanguard社では、カスタマーエクスペリエンスに取り組むことで、他社との差別化が図れると判断した。

  • カスタマーエクスペリエンスをカスタマイズしパーソナライズすることを軸に実験を行った。
  • かつての顧客は電話を避けるためにオンラインを利用している。そこでページを再構築してより実験が行いやすくし、目標を決めた上でカスタマーコール率を低下させる。

• どのように外部に発信するか。

  • 同じ業界か、その分野で最高の企業(例えばUSAAやCIGNA)からコンペティティブ・インテリジェンス(CI)を得る。
  • 市場調査会社Forrester Research
  • カスタマーエクスペリエンスブログ

• どのように内部に発信するか

  • 顧客からの定量調査および定性調査(デジタル分析、市場調査など)
  • 「発信力のある人に話を伝える」
  • あなたの会社の財務部門の人に話をする。どの業績指標が注目を集めるか？

• 話をしたからといってモノが売れるわけではない。

• あなたが商品を「売る」とき、人々はその考えを見透かす。

• 顧客調査とフィードバックによって、必要とされる正直なフィードバックが明らかになり、顧客に「話をすべきこと」を知る手助けとなる。

• 人工知能は判断をする際に、リアビューミラーではなく未来を予測する分析機能を提供している。

• 私たちは実用的なAIのスタートラインに立っている(SiriやAlexa)。

• AIは仕事の現場にも進出し始めている(例えばレコメンデーションエンジン、チャットボット、同時購入する商品提案の自動化など)。

• AIは過去のデータ(トレーニングデータ)を収集し、そのデータが示す過去の実績から学習するあらゆるシステムを指す。一般的に、機械学習によって指揮される場合が多い。

• ディープラーニングはニューラルネットワークの概念である。その分野では期待が過剰に膨らんでいる。

  • 畳み込みニューラルネットワーク(CNN)は、画像および動画認識に活用されている。
  • 回帰型ニューラルネットワークは時系列データに効果的である。
  • 敵対的生成ネットワーク(GAN)は、あなたがそこに入力した他のデータや写真から、偽のデータや画像を作り上げることに長けている。

• AIで何をすべきか。

  • 顧客離れを予測する。
  • 各個人に送信すべきオファーを決定する。
  • イノベーションを加速させる。
  • コンテンツをパーソナライズする。
  • アカウント・ベースド・マーケティング。
  • アルゴリズムによるアトリビューション。
  • 将来の上昇を予想する。
  • 批判を予測する。

• そのモデルに何ができるかを理解し(必ずしも基礎的なアルゴリズムとは限らない)、それを採用するタイミングの把握と、その結果を解釈する方法を知ることは、アナリストに必要なスキルである。

• 機械学習の自動化は、私たちがあまりに多くのデータを持ちながら、十分な時間がないという問題を解決してくれる。

  • 機械学習の自動化によって、たった数分間で高い正確性を持った予測を行うことができる。
  • 従来は高価なものだったが、今はそうではない。今日ではコードレスのAIによって、そうした作業を行うことができる。

• なぜ私たちのCROの仕事は不要になるのか。チームがそれぞれ異なるペースで稼働しているから。

  • コンバージョンチーム：6～8週間の実験サイクル
  • マーケティングチーム：準備、キャンペーン、準備、キャンペーン
  • 製品チーム：2週間のスプリント

• コンバージョンおよび最適化チームはマーケティングおよび製品チームにとっての悪夢となりえる。

• 最適化チームはプライドを持っている(プライドが高すぎる)。

  • 彼らは他のチームに対して、彼らがしていることは間違いだと言う。
  • 独善的、過度に批判的になりえる。
  • 最適化チームはもっと人間的になるべきだ。

• なぜ最適化チームを廃止することがいいアイディアだと言えるのか。

  • 私たちは穴の開いたバケツを最適化しているのだろうか？製品およびマーケティングチームが参加すべきである。
  • 「コンバージョン率の最適化」という言葉は実際には、私たちの業務内容を表していない。私たちはクライアントが彼らのビジネスの目標を達成する支援をしている。
  • なぜ私たちはいつもウェブにだけ着目するのか？メール、ソーシャルを最適化する作業もまた、最適化である。

• 最適化はあなたが影響を与えようとしているKPIである。

  • そこにはしばしばユーザーあたりのクリック、行動、トランザクションの数などが含まれる。
  • 潜在的な生涯価値を最適化すべきである。すべてのチームが最適化の基準とすべき普遍的なKPIがあるべき。

• 最適化の本質は効果、つまり、より多くの結果を得ることである。

  • それをどうやって行うか？全部門が協力して、「検証のセンターオブエクセレンス」を作り上げるべきである。
  • 会社の主柱としてエビデンスをベースとした成長を実現する。リサーチを民主化して、製品チームが統計について心配しなくていいようにする。
  • 実装に向けた優先順位付け＝エビデンスの質×共通の目標に対する潜在的な影響

• 意見を押しつけるのではなく、人の行動に力を貸す人であれ。

• 人間の行動の理解は複雑で、それに影響を与えるとなれば、なおさら複雑である。

• 問題の根源は、研究が一般に知られる経緯にある。

  • メディアや学術ジャーナルで注目を浴びるような論文を書きたいというプレッシャーを感じている研究者から問題が始まる。
  • 科学ジャーナルは70％の論文を却下するため、掲載される論文は非常に少ない。
  • ある論文が出版までこぎつけると、プレスリリースでは正確性ではなく、宣伝が重視される。
  • メディアが宣伝を続け、ブロガーがさらに問題をこじらせる。
  • 最終的に、私たちはそれをTwitterで消費する。20ページの内容を160文字に圧縮したうえで。

• それは伝言ゲームのようなもので、最高のシナリオはゆがめられた情報が何も影響を及ぼさないことで、最悪のシナリオはその情報が逆効果を生むことである。

• 無自覚な専門家の落とし穴

  • 過度な簡略化。メディアは簡潔でキャッチ―に内容を伝える必要があるので、結果を簡略化する。その際に修飾語句やニュアンスが失われる。
  • 効果の規模の過大評価。統計的な重要性は現実的な重要性、つまり効果の大きさとイコールではない。
  • 過度な一般化。私たちはしばしば研究の制約を無視する。そうした制約は、ほとんどの研究はラボの大学生と協力して行っているため(彼らが代表というわけではないにしても)、必然的に起こるものである。
  • 発見を個別に扱う。メディアは単一の発見を絶対的なものとして扱う。単独で多くを証明できる研究など存在しない。変数を加えることで効果が弱まったり、結果が逆になることもある。

• 無自覚な専門家の落とし穴

  • 研究の原典を読む。実際には何が発見されたか？効果の規模はどれほどか？どのように実施されたか？
  • いい加減な記者に騙されないようにする。
  • 自分で研究内容を検証する。それが誤った結果や逆効果を生むことがないかを理解する。

• ドーパミン神話では次のような効果があるとされている。

  • ドーパミンは喜びや幸福の神経伝達物質である。
  • 不規則報酬はあまりに強力なので、ユーザーはそれに抗うことができない。
  • Facebookのような企業はドーパミンを使って人々を操っている。

• そうした主張が本当だとすれば

  • ソーシャルメディアは純粋な喜びということになる。
  • 私たちはみな中毒者で、邪悪な操り手に踊らされている。
  • ほとんどの人間はあらゆる自己管理を行うことができない。

• 実際には、ドーパミンは人々にエネルギーを感じさせ、好奇心を掻き立てる。

  • それが提供する感情的な報酬はすぐに薄れ、人々を不満にさせる。
  • 人々は誘因に慣れているので、そのためドーパミンが誘発されなくなる。
  • ドーパミンによる報酬は行動を強化する。
  • ドーパミンが少なすぎることは運動障害と関係している。

• どのようにして聴衆にドーパミンを分泌させるか？以下のようなデジタルな約束とサプライズを提供する。

  • バーチャル・ウェルカムギフト
  • 一獲千金のオファー
  • ミステリーボックス
  • オークション
  • 景品くじ
  • 「あの子役スターは今どうなっている？」という広告
  • BuzzFeedのアンケートやクイズ、例えば「あなたはどの犬のタイプか？」

• これをデジタルマーケティングにどう活かすか？

  • プレゼントやヒントの視覚的な暗示
  • 秘密の賞品
  • 編集上のフック
  • バリュー・プロポジション
  • メリットの紹介
  • あらゆる報酬の暗示

• 脳は古い報酬に慣れている(例えば、バナーブラインドネスなどの現象)。

• 刺激への慣れをどのように克服するか？

  • もっと優れた、大きなオファーを行う。
  • ノベルティを使う。
  • サプライズを含める。
  • 話の全体は話さないでおく。
  • アプローチをする頻度を下げる。
  • ランダムなギフトを追加する。
  • 今あるものをパッケージングし直す。
  • イノベーションを加える。
  • 不規則報酬を使用する。

• 不確実性を利用し、優位に立つ。

  • 何らかの商品を発送しようとしている際には、ランダムな報酬を使い、期待を増加させる。

• 期待マネジメントを行い、誠実に対応し、約束を実行すれば、その行動に値するドーパミンを得ることができる。

• 誰かがあなたにデータを見せてきたら、あなたは、第一に「このデータはどこで、どのようにして収集したのですか？」と聞くだろう。

• データを基礎とした検証を、創造的な自由への制限と誤解する人々も存在する。

• Booking.comでは、データの検証に信頼が置かれており、決断は誰もが目に見えるように行われている。この仕組みによって、継続的な個別の判断決定プロセスが可能になる。

• 複数の個人的体験を集めてもデータにはならない。決断を行う際にはエビデンスが必要となる。

• 憶測を避ける(例えば、『どっちのボタンの色の方が良いか？』)。

  • 憶測ではなく仮説検定を行うべきである。仮説検定では実験の背後にある思考がはるかに詳しく説明されている。
  • 上記のことはボタンの色が検証できないことを意味するのではなく、それによって、なぜその検証を行っているのか、そしてどのバリエーションを検証すべきなのかについて多くを理解できることを意味する。

• 仮説テンプレート：理論、検証、目的

• 実験を通じて、あなたの持つ製品理解を疑うことが非常に重要である。

  • それは「すべての検証は成功する」といった思考を根底から覆す。「10回中9回の検証は失敗に終わる(VWOによる調査)」が、学習は決して失敗ではない。

• もっともリスクの高い思い込みを素早く検証できる最小のステップを見つけ出す。

• メールアドレス収集は、時にはあなたの主要な目的に反する作用をもたらすことがある。

  • 例えば、コンテストポップアップを最適化したことでメールのサインアップ数は300％以上上昇したがeコマースのコンバージョン率とAOV(平均注文額)は下落した。
  • 修正方法：コンテストポップを、販売を促進するオファーと取り換える(訪問時と退出時に行う少額の割引オファーを組み合わせる)。
  • 同じようにメールのサインアップも増加させ、それに加えてトランザクションのコンバージョン率と収益を向上させる。

• なぜメールサインアップに注目するのか？

  • データを見ると、メールのトラフィックはしばしば最高のパフォーマンスを出している。 タイムラグと経路の長さの例：3分の2が同じ日にコンバートするが、最初のタッチポイントでは半分もコンバートしていない。
  • 顧客との関係を構築する。
  • 検証戦略：独立したKPI(ほかの検証と矛盾しそうにないもの)、トラフィックの低さ(この場合には十分なマクロコンバージョンがない箇所を検証できる可能性がある)、学習としての検証(メッセージングと動機の検証)。

• CROフレームワークResearchXLのプロセス

  • ヒューリスティック分析
  • マウストラッキング
  • ウェブ分析
  • ユーザーテスト
  • 定性調査
  • 技術的分析

• 顧客調査

  • オープンエンドな、誘導的でない質問
  • 動機、判断決定プロセス、躊躇い、フラストレーションについて情報を知る。

• インサイトはあらゆるところから得られる可能性がある。

• データポイントを相互に関連付け、あなたのロードマップに優先順位をつける(PXL)。

• 他の例

  • 頻繁に購入する製品のためのコンテストポップアップを最適化したことで、他のeコマースの評価基準に悪影響を与えることなく、メールサインアップが増加した。
  • 何もなかった箇所にウェルカムオファーを追加することで、メールサインアップが95％増加し、トランザクションのコンバージョン率にもわずかな上昇が見られた。

• 要約

  • 戦略とビジネスに重要なことを一致させる。無駄な方法論を選択しない。
  • あらゆる戦略、ツール、オファー、デザインを試す。
  • 自分で研究を行う！

• 観察できる評価基準は数多く存在する。

  • コンバージョン率
  • 直帰率
  • クリック率
  • ページビュー
  • リード獲得数
  • 購入コンバージョン率

• しかし、これらは物事の全容を教えてはくれない。

• 確かな結論を導き出すためには、ファネルデータを分析しなければならない。

• フィットネスクラスのWEB予約サービスClassPassでは、新しいクライアントを獲得するためにはリファラルが重要だと考えているので、リファラルに対してインセンティブを与えるのは理に適っている。

  • 彼らは検証として、友人とトレーニングができる10回分の回数券を無料で提供した。
  • 招待は50％増加して、リファラル獲得は35％増加した。
  • しかしその後、彼らは自分たちが他のチャンネルを共食いしていたことに気が付いた。リファラルとしてコンバートした人々は、すでにほかのチャンネルから獲得済みのリードだった。

• 成功のための実験を設定する。

  • 成功の評価基準を定義する。
  • サンプルの規模を決定する際には、あらゆるファンネル状のステップを検討する(つまり、ファネルのボトム分析を可能にするくらい大規模にもしておく)。
  • ファネルのレバーを特定し、反復する。
  • インセンティブは効果があるが、あまりに効果が高すぎて、本当には興味がない人までコンバートしてしまったり、他のチャンネルを共食いしてしまうことがある。
  • 成功した検証が成長とコストに与える影響を常に考えること。

• 実験のコスト―みんなメリットがコストを上回ることを期待している。

• なぜ失敗はつらいのか？失敗は成功よりも強く心の中に残る。

• 知識よりも学習が重要：知識は有限なので、あらゆる実験を学習の契機となるように設計する。失敗からさえも学習できるように。

• 家系のルーツを調べるサイトAncestry.comは検証の失敗を再設計している。

  • 第一の検証：変化を加えすぎたと学んだ。変数を隔離する必要がある。
  • 第二の検証：消費者はパッケージ間の違いを理解しておらず、安価な方を選んでいるだけである。
  • 第三の検証：オファーページが複雑すぎて、消費者はそのページに時間を使いすぎている。
  • 第四の検証：現在はあまりに多くの人が短期パッケージを利用している。
  • 第五の検証：これは単純に機能していない。元の計画に立ち戻る。

• 失敗を再フレーム化し直すことを学ぶ：A/Bテストの実行は私たちの授業料である。学習にはお金がかかる。

• 検証の影響

  • 基準となるランレート：年間1億ドル
  • 検証による上昇：10％
  • 検証期間：90日間(1年間の1/4)
  • ネガティブな影響：250万ドル
  • 合計収益：9750万ドル

• 検証しないことによる影響

  • 基準となるランレート：年間1億ドル
  • 検証による上昇：10％
  • 検証期間：一年間
  • ネガティブな影響：1000万ドル
  • 合計収益：9000万ドル

• 検証による節約額：750万ドル

• 一連の検証から学習をすることで、失敗を成功に変えることができる。

• 要約

  • 18世紀のスコットランド名医ジェームズ・リンド：犠牲はあるが、良い面もある。
  • Amazonのジェフ・ベゾス：実験をし続けよ。
  • 有名ラッパーのJay-Z：失敗は教訓だ。

• 組織的文化に敏感であることで、みなの生活は楽になる。

  • もしある会社が物事を違う方法で進めているのであれば、あなたは適応しなければならないかもしれない。

• 悪魔は細部に宿る。

  • 早く進めすぎたせいで、何度か検証を再ローンチせざるを得なかった。
  • シンプルな検証のために、GoogleアナリティクスとGoogleオプティマイズを接続するには数秒間しかかからなかったはずだが、それをしなかったために二週間を無駄にした。

• データに裏打ちされていなければ、それはおそらく機能しない。

  • 一連の検証は、そのほとんどがデータを基にした検証であるべき。
  • アパレルブランドは自社の洋服の品質を示し、画像を大きく見せたいと考える。しかし、その考えはデータに由来するものではない。
  • 私たちが大きなイメージを見せればページ当たりに表示される製品数が減る。したがってCTRが低下する。

• 並外れた結果を得るためには定量データと定性データが必要不可欠。

  • テストをロールアウトした後は、フォームの入力開始率が20％減少したことに失望した。
  • 新しいフォームは見た目も良く、サイトのあらゆる箇所でよく機能していた。
  • コントロールと変化率に活用すべく、セッションの記録をフィルターにかけた。
  • 新しいバリエーションでは、フォームは目立つようになり、訪問者はそれがフォームだと認識できるようになったため、フォームの入力開始率は上昇した。

• 好奇心は猫を殺しはしない。

  • 関心を持って厳しい質問をすることで、他から突出する(例えば、『これは本当に素晴らしい。でももっと良くならないか？』)。
  • プロジェクトを開始する際に、私はツールから得たデータを基に大きなビジネス上の決定を行うことを不安に感じた。
  • 私はそのデータを信頼するために統計学を学ばなければならなかった。

• 統計上の亡霊：自分の行った検証が評価基準に影響を与えたと考えている場合でも、実際には影響がないことがある。その場合にはデータに騙されている。

• 10万回のA/Aテストを行い、そのうちの60％で少なくとも1％の違いが計測された。

• 「統計的に重要ではない」としても、影響がないわけではなく、帰無仮説を却下するだけの十分な証拠がないだけである。

• 統計上の亡霊が出現する四つの原因

  • 複数の比較
  • のぞき見
  • 劣悪な評価基準
  • あと少しで重要

• 複数の比較

  • これはp値を調整することで説明する必要がある。
  • 誤検知(フォールス・ポジティブ)の可能性がそれぞれの比較に適用される。
  • 例えば、1つの比較では誤検知の可能性は5％だが、8個の比較を行うと誤検知の可能性は34％になる。
  • ある主要な評価基準に基づいて仮説を立て、その後に第二の基準を選ぶ。

• のぞき見

  • データを見て、事前に決められた実験の終了時点を待たずに行動を起こす。
  • これは誤検知の割合に大きな影響を与える可能性がある。
  • のぞき見をする正当な理由：バグのチェック、大きな失敗の防止、効率性。

• 劣悪な評価基準

  • 良い評価基準とは有意義で、解釈可能で、高感度で、検証にフィットする。
  • 有意義：検証者が変化させようと意図するものを捉えられる。
  • 解釈可能：ある変化がユーザーの行動をどのように変えたかが簡単に理解できる。
  • 高感度：小さな変化を迅速に検知できる。
  • 検証にフィットする：普通の検証は独立性と、エラーが通常に分布することを前提とする。

• あと少しで重要

  • 魅惑する亡霊のこと。人々は自分が望むものを信じたがる。
  • 「あと少しで」重要なものなどはない！

• 実験プロセスの段階

  • プロセス。あなたは何でもすることができる。そしてあなたがしていない事もまた重要である。
  • 創造
  • 分析
  • 判断決定。次に何をすべきかを決める方法。

• データが少なければ、その分私見が強まる。私たちの意見はしばしば誤っている。高給取りの幹部(HiPPO)の意見にあなたのアイディアをかき消されてはならない。そうではなく、実験をすべきである。

• 過去のデータから始める。あなたのテストのアイディアの対象人数はどれくらいか？現在のコンバージョン率とその増加の見積もりは？

• パワーアナリシスを実行する。終了時点を判断し、検知漏れ(フォールス・ネガティブ)を避けるために重要(80%の意味するところは、もし変化があった場合にそれを検知できる可能性が80％だということ)。

• 複数の変化を同時に加えると、何が機能しなかったかを判断するのかが不可能になるので、より小規模な段階的な変化を加える検証を行うこと。

  • Etsyは検証の終了後、あらゆる変化をリリースすることから始めた。
  • A/Bテストへの変更をより小規模なサイクルで実装するための、さらに進んだプロセスに移行した。

• リリースする前に、そのアイディアのプロトタイプを作る。

• 正しい評価基準を採用しているということを保証してくれる科学者に関わってもらう。彼らは出力計算やアイディアのイテレーションの際にも手助けをしてくれる。

• 判断決定

  • 技術的な複雑さはどれほどか？あなたが追加しようとしている部門とは何か？
  • それは根本的な特徴か？
  • 小さすぎて検知できないネガティブな影響がある可能性は存在するか？

• あいまいな状態、つまり確固とした戦略や判断決定のための十分なデータがない状態でローンチする際は注意深く行動する。

• データを提示する際に必ず問うべきなのは「聞いた人に何を覚えて帰ってもらいたいか？」という質問である。

• テンプレート項目

  • なぜ検証したのか。
  • 何を検証したのか。
  • 結果
  • 学んだこと
  • 次にすべきこと

• あなたの作ったスライドがプレゼンテーションなのではなく、あなた自身がプレゼンテーションである。

• あなたのビジネスの状況を述べる。

  • これをどこで検証しているのか？
  • 聞き手は誰か？
  • 何を評価するものか？

• 主題を述べる(例えば、『バリュー・プロポジションチャットはリード獲得を促進するか？』)。

• 実験が評価された方法を定義する。

  • 仮説ステートメント
  • 第一のKPI
  • 第二のKPI

• プレゼンテーションを相互交流的なものにする。アンケートを取る―人々に何が勝つかを質問してみる。

• 結果をプレゼンする。

  • 第一のKPIへの影響
  • 第一のKPIを一度視覚化する。そうすることで聞き手は結果についてより深く理解する。
  • 他の発見を見せるためのセグメンテーション。
  • 学習と行動を常に同時に行う(この作業はプレゼン時間の40～50％を占める)。

• あなたのプレゼンを向上させるために何かを加えなければ、そのことでプレゼンの評価は下がる(例えば、統計や技術的情報を加える)。

• 展開が予想できるテンプレートを入れる。何が起こるかを人々が予期できるようにする。作業をよりスムーズにする。

• サッチャー錯視(1980年の実験)：上下逆さまの顔(マーガレット・サッチャー)の変化を認識することは困難。

• パターンを知らなければ、それを認識できない可能性がある。同じことがCROにも言える。

• 物事の背後にある真実を見たければ、視点を変える必要がある。

• 例えば、なぜコメルツ銀行は廃れつつあるのか？

  • 率直に言って、エクスペリエンスが悪い。
  • ではなぜか？彼らにはデザイナー、CRO、アナリストもいる。
  • 無知な高給取りの幹部たち(HiPPO)―経営陣は痛みを感じない。

• 真実、より正確には現実の正確な理解が良い結果を生むための必要不可欠な基礎である。

• 革新的なビジネスモデルの話はしない。革新的な人々はその話をしたりはしない。革新するのに忙しいからだ。

• デジタル面での成長はテクノロジーに由来しない。それはカスタマーエクスペリエンスを基礎としている。

• カスタマーエクスペリエンスを検証する意思がなければ、結果を得ることはできない。

• 最適化とはその性質上スピードが求められる。CROはチーム対して、組織が行ったことが良かったのか悪かったのかを証明する新しいデータを求めてくる。

• 優れた最適化チームは、顧客を中心に据えたアイディアを生み出す。

• Amazonのアドバンテージは、彼らが継続的に新しいインサイトを生み出している点である。

  • それは波、とてつもなく早い津波である(それを目で捉えることはできない)

• 無限大の最適化プロセス：分析、優先順位付け、検証

• 経営陣のマインドセットを変革する。

  • 経営陣はウェブサイトの変化を気にしていない。
  • 経営陣に実験プログラムのROIをプレゼンする。
  • ヒント：CFOと友達になろう。
  • 経営幹部レベルの円卓会議。これを開催することで経営陣が彼らの問題を議論し、問題解決に意欲的になる(例えば、プログラムを販売するなど)。
  • 経営陣は大きなものを欲しがる。しかし、彼らは小さな変更が大きな結果を生むことを忘れている(複合作用)。

• デジタルトランスフォーメーションは良い目標とは言えない。

  • 目標は「製品を素早く市場に出す」や「良いカスタマーサービス」といったものである。
  • 私たちは上記のような目標を変えるべきではなく、それを実現するためのツールだけを変えるべき時に、「デジタルトランスフォーメーション」という目標を(誤って)設定する。

• デジタルトランスフォーメーションの5つの方法

  • 製品のデジタル化。
  • 製品を中心にデジタルサービスのレイヤーを作り上げる。
  • 「水面下の」プロセスのデジタル化。
  • マーケティング、販売、顧客定着の取り組みのデジタル化。
  • 新しいデジタル製品の導入。

• これらのデジタルトランスフォーメーションの5つの方法を選択し、優先順位を付けなければならない。デジタル分野の指導者でさえ、ある分野には優れているが、他の分野は詳しくない。

• 指導者はそのためには多くのお金がかかると考え、実行者は自分たちにはリソースがないと感じている。

  • 現実には、ホッケースティックカーブ状の成長を遂げる。何らかの結果を得るためには莫大な費用をかけなければならない(その後に結果は急激に向上する)。
  • 継続中の取り組みに予算を割り当てる前に、新しい取り組みに予算を割り当てる。

• 目標と評価方法が一致していない。

  • 大きな計画の中に小さなプロジェクトが体系的に位置づけられていない。
  • デジタルトランスフォーメーションを行ったとしても、リターンの大きさや必要な投資の額を把握していない。ROIだけを見ていても未来に進むことはできない。
  • ソリューション：OKR(Google)、イノベーション・アカウンティング(エリック・リース)、計量資金調達(ベンチャー・キャピタル)

• デジタル分野の3つの強力な能力

  • (1)顧客の声を聴く能力。
  • 顧客の声を聞いた時に、(2)行動することができる。そうでなければ、誤った情報に基づいて行動することになる。
  • 上記のどちらも出来たのであれば、(3)スケーリングを行うことができる。そうでなければ、誤ったものをスケーリングすることになる。

• 一般的な心配として、SEOによってCROが悪影響を受けるというものがある。この逆の心配はない。

  • CROはファネルの底を扱う(より多くの人をコンバートさせ売り上げにつなげる)
  • SEOはファネルの一番上を扱う(より多くの人をファネルに誘導する)。

• CROページの多くはインデックスすらなく、その上、その多くとCROテストがオーガニックトラフィックに悪影響を与える(このケースは多く見受けられる)。

• 実験：SEO担当者と非デジタルマーケターが、二つのページのどちらが高くランク付けされるかを評価するように依頼された。

  • 予想の正確性が50％を超えた者はいなかった。
  • SEO担当者はそうでない人と比べて、わずかに的中率が上回っただけだった。

• では。もっと正確な予測をするにはどうすれば良いか？SEO検証をすべきである(DistilledODN)。

• あるニッチ分野で機能する変更は、他の分野では機能しないことがある。したがって検証をすべき。

• SEOの「最良の方法」はサイト/産業に特化させること。

• ユーザーエクスペリエンスは(ひょっとすると)ランキングの要素である。

  • Googleは人間が好きなものを好むように機械学習のモデルを訓練している。
  • しかし、Googleも完ぺきではない。あらゆるアルゴリズムの変更によってもその目標は達成できないが、彼らはそこに挑戦している。
  • したがって、私たちはユーザーエクスペリエンスの原理からSEOの仮説を立てなければならない。

• 結局のところは、私たちはSEOとCROの影響を同時に検証して、そこから利益を得なければならない。私たちは同じチームなのだから。

• 多くの人々が自分たちはパーソナライズをしていると「考えている」が、世の中には役に立たないパーソナライゼーションが多くある。(ひょっとすると)ランキングの要素である。

• 私が実際にパーソナライズしてもらいたい点：私の意図、私の行動、私の知識レベル。

• セグメンテーションの二つの主な役割。

  • メッセージをより関連性の高い具体的なものにする。
  • セグメンテーションを利用して報告を改善する。

• セグメンテーションにおいて私が気にしている二つのこととは、「誰」と「何」の要素である。私は〇〇なので、××についてあなたの助けが必要だ。

• 人々を自動的にセグメント化する方法。

  • 意図/行動
    1．その人が私たちのサイトで最後に読んだ20～30の記事はどのようなものか？
    2．元々のランディングページ
    3．彼らがクリックした広告(特にFacebook広告)
    4．リファラル
  • 行動
    1．購入
    2．リードマグネット
    3．ウェビナー
  • 調査
    1．つながりを作る：「今何に一番集中して取り組んでいますか？」
    2．調査：「私たちのサイトで今日は何をしようとしていますか？」
    3．調査を主催する。
  • MAソリューションのClearbit等

• セグメントの方法が分からなければどうなるのか？

  • メールコースに参加したり、リードマグネットをダウンロードした人がいたら、はっきりと質問する(例えば、『このメールコースから何を得る必要があるのか？』)

• パーソナライゼーションを行うことで、ニッチなメッセージングを、実際にはニッチなビジネスになることなく利用することができる。

• 考える時間を少なくして、エンゲージメントを増やす＝コンバージョンの増加

• 結局のところ、パーソナライゼーションとは関連性である。

• マーケティングとエンジニアリング部門はしばしば、似たような実験を行おうとして衝突する。

• 製品により近い人々はビジネス上のコネも多い。

• 企業の様々なタイプ：技術第一(Bing、LinkedIn)、第二(Booking.com、Grubhub)、第三(Sephora、Target)。

• ビジネスの種類によって、違いがある。

  • 最適化：この特徴は実験ツールがなければ存在しえないだろう。実験の設計はスプリントサイクルから生まれることがある。
  • 妥当性の検証：この特徴は実験に関係なく存在する。実験の設計は開発サイクルの一部である。

• Snapchatの大規模なデザイン変更は83％のユーザーレビューでバッシングされた。これは妥当性の検証を基礎としたプロセスであれば避けられた大惨事の例である。

• ページの表示スピードはコンバージョン率に悪影響を与える。CROツールを使用するだけではコンバージョン率が5%以上低下するという説や、 クライアントサイドでテストを実装した場合ページの表示速度は1,000ミリ秒単位でしか改善されないとのデータがある。ページ表示が0.1秒遅延するごとにRPV （訪問１人あたりの収益）は0.5%低下する。

• 成功へのステップ

  • 現在の構造を理解する：最適化か妥当性の検証か。
  • あなたがカバーできていない分野を把握する。ROIは追跡できているか？実験を行って製品を発送しているか？
  • 人々や部門の間のギャップを埋める。プログラムの評価基準に対する相互の目標を獲得する。
  • 結果を共有しジョイントプロジェクトを行うためのフォーラムを立ち上げる(結果とは世界的なプログラムレベルのもので、個人的なテストのものではない)。
  • 評価基準をコンスタントに見直し、それを妨げる要因を解決するための月次ミーティングを開く。

• 文化は実験を成功させる要因である。以下の場面を想定してほしい。

  • ワンマン型の最適化の達人が、皆から実験のアイディアを募集した。
  • 彼女は多くのアイディアを得るが、ワンマン型なので仕事の山に埋もれてしまう。
  • しばらくすると、それはジョークになる。アイディアの墓場だと。

• どうすればうまくできるか？

  • インスパイア―閃光。人々を刺激して行動する気にさせる。
  • 教育―研修。公式および非公式。
  • 情報提供―知識と行動の伝達。

• コアチームがプログラムを所有している。彼らは重役の賛同を得ること、そして勢いをつけることに集中している。

• Envoyの例

  • ミッシェルはコアとなるファネルを最適化しないことで、会社が失っているものを強調した。
  • リードエンジニアとリードデザイナーを雇用した。彼らはさらに、外部の代理店からパートナーを呼び込み、獲得した。
  • 誰もが実験の効果を知ることができる。エンジニアは成功したバリエーションを直ちにハードコード化した。

• Squareの例

  • もっとも認知度が高い製品のチームが、デザインの見直しを行い大失敗した。
  • 実験を中心として人々のマインドセットを変化させることを目的としたワークショップを開催した。
  • 協力関係を育むことにフォーカスし、現在のチームに重要なものかもしれないインサイトが他のチームから得られないかを尋ねた。

• RACIモデル

  • R－responsible(責任感)―実際の仕事を行う。
  • A－accountable(説明責任)―プロジェクトのオーナー。
  • C－consultant(コンサルタント)―プロセスのマネジメントについての情報を提供する。
  • I－information(情報)―報告を行うだけでよい人。

• RACIコミュニケーションの例

  • オーナー：実験の主導者
  • メッセージ：実験Xがローンチされた。
  • チャンネル：Slackの通知
  • 聞き手：エンジニアリングのチーム
  • タイミング：実験がツールにローンチされた際に自動的に。

この記事は21時間半にもおよぶセッションを要約したものです。もし、会合の内外も含めた完全なセッションを体験したければ、ここに参加すれば良いのです。 良いお知らせがあります。来年まで待つ必要はありません。エストニアでDigital Elite Campが6月13日から15日にかけて開催されますので、ぜひご参加ください。