ABテストでファクトベースの議論が根づき、チーム内が活性化
〜モバオク！のABテスト事例〜

──ユーザー層にはどんな特徴がありますか。

小田切：会員制ということもあり、15年間、毎月アクセスするなど、非常にコアなユーザーに支えられています。ユーザー同士、フォローする機能もあり、オークションを通して相互交流されている方もいらっしゃいます。
そのような古くからのユーザーの他、最近新しくユーザーとなる方では、「ヒットプライスオークション」というイベントオークションがきっかけとなる例が増えています。人気ゲーム機や家電製品などが日替わりで登場し、落札価格を予想してタイミングよく入札すると、上限500円の価格で落札できるという、ゲーム感覚のオークションです。

──それは楽しいサービスですね。

小田切：古くからのユーザーも新しい若い世代のユーザーも、幅広く楽しんでいただけるように考えています。

──それでは、セグメント分けが細かくできることや、テストの回数を増やせることを基準にツール選びをされたのですか。

はい、そうですね。機能面ではその点を重視しました。
もうひとつ、施策を打っていくプロセスでの課題もありました。当社は、トップダウンで何かを決定していくのではなく、デザイナー、エンジニア、品質管理、カスタマーサポートなどなど、全メンバーが議論して改善を目指す体制を敷いています。

そうした現場はともすると、顧客目線ではない議論に進んでしまうことがあります。また、テスト結果を可視化して全員で共有するということは手間もかかり、やりきれていない現実もありました。
それで、結果を共有する上でのサポートや、外部の視点でアドバイスをいただけることも重視しました。

──機能面とサポート面からDLPOを選んだのですね。

小田切：その通りです。ABテストの専門家として高いレベルのアドバイスがいただけることは魅力でした。価格面でもリーズナブルだと感じました。

──2020年2月から導入されて、現在4か月あまりが経過したところですが、テストはどのように行っていますか。

小田切：「モバオク！」はWebでもアプリでも展開していますが、現在DLPOを導入しているのはWebのスマホ版です。目標は、課金する、つまり会員登録をする人を増やすこと、そして一度課金した人に継続してもらうことです。
会員登録については、コンバージョンにいちばん近い場所である会員登録ページで、ボタンデザインや文言など、毎週2か所のテストを回して、導線を少しずつ改善しているところです。
登録ページ内には、ヘッダー、登録内容確認欄、「初月無料」の告知欄、支払い方法選択ボタンなど、かなり多くの要素があるので、テストの回数も多くなります。DLPO導入後はスピーディーに改善が進んでいます。

もうひとつの、課金後の継続という点では、テストを実施する箇所が無限にあり、どこをテストするのか、難しいところです。効果的な箇所を選んでこちらも少しずつ展開しています。
現在は同時に4本のABテストを回す体制になっています。

──セグメントの切り分けが重要ということでしたが、どんなセグメント分けをしていますか。

小田切：基本のところでは、ログインの有無、ログインの中でも既存ユーザーか新規ユーザーか。使い慣れている人とそうでない人では、必要な情報に差が出ると考えています。
また、まだ想像の域を出ないのですが、キャリア決済など、決済タイミングの影響で、月の初め・半ば・終わりでは明らかに差があるため、この点も仮説を立てながらセグメント分けをしています。
今後もっと細かい切り分けをしていきます。

──テストするべき場所がたくさんあるというお話ですが、優先順位や組み合わせなどで迷うことはありませんか。

小田切：テスト箇所で迷うとき、設定パターンが複雑で迷うときには、DLPOの担当者に問い合わせます。ほとんど毎回、アドバイスをもらっていると思います。もちろん聞いてそれを行うだけでなく、内部にノウハウを蓄積しています。いずれは自分たちで全て回せるようにしたいですね。

──サポートを内部の成長につなげていけるのは素晴らしいですね。テストアイディアはどのように出しているのでしょうか。

小田切：先ほどお話ししたように、当社では全員が課題を共有し、議論を進めていきます。個別のABテストのアイディアを出す前に、「モバオク！」のサービスについてじっくり考え話し合う機会を設けました。
特に、ユーザーの心理については重点的に議論をしています。ヘビーユーザー、ライトユーザー、両方のインタビュー動画を通し、ペルソナを設定しつつ、登録、入札、取引などが、どのような心理で行われていくのか、カスタマージャーニーを描き、皆で共有しました。
ちょうど、テレワークに移行した時期でしたからWeb会議で、アルバイトも含めて関わる全員が参加して、総勢30人ほどのワークショップを行いました。

──全員のアイディアをまとめるのも大変ではないですか。

小田切：いろいろな人から出たアイディアは、メイン担当者が吸い上げ、ブラッシュアップして定例の会議で提案しています。この会議では、ABテストの中心を担うメンバーが、週1回のペースで、実行中のテストの報告、次のテスト案の決定などを行っています。

──ワークショップを介してのアイディアに、印象的なものや、効果的なテストにつながったものはありますか。

小田切：たとえば、カスタマージャーニーの中では「いちばん盛り上がるとき」は、「商品を見つけて入札した瞬間」だとしています。そのいちばん盛り上がるところに訴求することが次につながるのではないかと、デザイナーから具体的な企画が上がっています。

まだ結果は出ていませんが、効果的な訴求方法をABテストで見つける道筋となりそうです。いろいろな職種から、実施テスト数以上の提案があります。

──全員で目標やイメージを共有し、活発にアイディアを出せるのは組織として強みとなりますね。

小田切：そうですね。その職種ならではの観点からテストアイディアが出てくるようになりますから、組織全体が活性化されています。
また、4〜5か月の間、ABテストをどんどん回してきた実績によって、ファクトに基づいた議論が根づいたとも思います。現場では、エンジニア、デザイナー、それぞれの立場から「こっちのデザインがいい、この配置がいい」など、いろいろなことを言うものです。専門性に自信を持っていますから、上から目線の発言にもなりがちです。

しかし、ABテストでは数字ではっきり結果が出ますから、議論のベースが、自分だけの経験や思いこみからファクトへと、自然に移っていくようです。
結果、1人1人が考えたことがアイディアで終わらず「テストを行って検証してみようか」と適切なステップを踏んで企画に結びついていると感じます。

──ABテストが、議論の活発化に貢献しているのですね。

小田切：ABテストという共通の経験が、内部のさまざまな取り組みをドライブさせていると思います。「ファクトベースで」と口で言ってもなかなか伝わらないものですが、実際にテストを行ってその結果を見ているので、腹落ちするんですね。
結果の共有も導入時の課題だったことはお話ししましたが、DLPOのレポートがとてもわかりやすいので、これも全員で共有しています。ファクトベースでの議論ができているのは、レポートで結果をしっかり見られるからこそだと思います。

──読者にメッセージをお願いします。

小田切：「モバオク！」は、「自分にしか見つからない『一点物』が見つかる」サービスです。私はファッションが好きですが、買い物は専ら「モバオク！」です。今日着ているものもそうです。自分と好みの合うユーザーを見つけてフォローしていると、自分好みのアイテムが、日々見つかるのは大きな魅力だと思います。

商品の豊富さという点では、他社サービスに敵わないところもあるかもしれませんが、「ココにしかない」をつくり出しているサービスですから、ぜひ体験してください。
この魅力をしっかり発信していけるようなサイト・アプリづくりを今後も続けていきます。

(記事の内容、肩書きなどは2020年6月現在のものです。)