【ABテスト事例】性別によるセグメント分割はコンバージョンに影響する？

オランダのデジタルメディアのエージェンシーであるGreenhouse Groupは、クライアントであるオランダの国営宝くじ会社のStaatsloterijと共に、性別に特化したケーススタディを行いました。

今回の調査の目的は、Eメールで送付される宝くじのボーナスに、性別が影響するかどうかを判断することです。

調査のため、オーディエンスは性別で分けられました。男性にも、女性にも、Eメールは送付されました。しかし、男性と女性では、ボーナスの内容が異なりました。

女性には、オランダの有名なアーティストである、マルコ・ボルサトのソールドアウトしたコンサートのチケットが当たるというボーナスが提示されました。

当初、担当チームは、このボーナスをすべてのユーザーに送付する予定でした。しかし、調査の結果、マルコ・ボルサトのFacebookページに「いいね」をしているユーザーの約70％が女性であることがわかりました。

この調査結果から、コンサートチケットのボーナスは、男性客のコンバージョンに影響を与えないのではないかと考えました。そのため、ボーナスをジャックポットの宝くじへと変更した、男性向けのテストバージョンを作成することにしたのです。

調査チームは、ボーナスの内容を性別ごとに分けることで、コンバージョンの増加につながり、宝くじの売上を伸ばすことができると考えました。

しかし、コンサートチケットのボーナスを女性のみに提示し、ジャックポットの宝くじのボーナスを男性のみに提示することは、逆効果になる可能性も認めていました。なぜなら、ユーザーの好みに影響するのは、性別のみではないからです。

そのため、調査チームは、最も効果的な手法を判断すべく、性別を変更したテストを行うことにしたのです。

性別を分けたオファーがコンバージョンの増加につながるかどうかを調査するために、Oracle社のCRMのアプリケーションであるSiebelを使用し、A/Bテストを行いました。Siebelは、性別によるターゲティングの設定と、Eメールの開封率を測定するために使用されています。また、買い物かごへの追加、注文、商品のコンバージョン数などのコンバージョンデータを測定するために、Google Analyticsも使用されています。

8日間で、合計132,000人がEメールを受け取りました。

男性と女性の両方に送信したオファー（Aバージョン）

ユーザーの半分が、コンサートチケットをボーナスとするEメールを受け取りました。このバージョンのEメールは、男性にも女性にも送付されています。実際のEメールは下記です。

性別で分けたオファー（Bバージョン）

ユーザーの残りの半分は、性別に応じて、コンサートチケットかジャックポットのどちらかのオファーを受け取りました。下記の左側の画像は、女性に送付されたEメールです。下記の右側の画像は、男性に送付されたEメールです。

サンプル全体では、男性（62%）の方が女性（38%）よりも比率が高くなりましたが、テストは性別が均等になるように構成されています。

コンバージョン数は、両方のEメールで測定されています。

勝者はBバージョンでした。性別に応じたバージョンが大きく勝利したのです。

オファーを性別で区別することで、宝くじのオーダーが46%増加しました。信頼性は99%です。

サンプル数が多く（132,000人）、テスト期間も十分であり（Eメールのキャンペーンとしては長期と言える8日間）、信頼性が99%であることから、この調査が有効である確率は高いと言えます。

しかし、テストグループでは、男性の方が女性よりも多かったため、ユーザーが性別ごとに適切に区分されていたかどうかは、判断が難しいです。サンプル集団の分割が適切に行われていたはずだ、と考えるしかありません。

また、性別は曖昧な基準でもあります。全ての人々が男性とも女性とも限らないのです。今回のテストではユーザーを性別で区分しましたが、男性でも女性でもないユーザーについては考慮していない可能性があります。

さらに、今回の調査では、男性とされているユーザーがコンサートチケットよりもジャックポットのボーナスを好む、ということを示したに過ぎません。女性とされているユーザーも、コンサートチケットよりもジャックポットのボーナスを好む可能性も考えられますが、その調査は行われていません。女性は、コンサートチケットのオファーしか受け取っていないのです。

性別を区別したバージョンが勝利したのはなぜでしょうか？いくつかの理由が考えられます。

1.全ての訪問者は同一ではない

訪問者は皆、自身で考え行動し、振る舞いも異なります。そのため、ユーザーの全てを同一に扱うべきではありません。全ての人に当てはまるアプローチよりも、一人一人のニーズに合わせた戦術のほうが、はるかに効果的なのです。オーディエンスを適切にセグメントすることは、コンバージョンにおける鍵となります。

性別は、セグメント化における明確な方法の1つです。しかし、性別によって適切にセグメントすることは、オーディエンスの好みや好き嫌いを深く理解する必要があります。

オーディエンスを深く理解することで、A/Bテストで活用できる知見を得ることができます。例えば、Facebookグループを見たり、消費者にアンケートを取るなどすることで、オーディエンスの好みや行動を把握することができます。

2.関連性の高いオファーはコンバージョンを発生させる

性別はセグメント化の唯一の方法ではありません。

新規訪問者とリピーター、デバイスタイプやロケーションなど、セグメント化する方法は複数あります。

それぞれのカテゴリーにおいて、そのグループに特化した関連性の高い情報を提供することが目的となります。Forbesのこの記事によると、文脈において適切な関連性を提供することが、顧客への訴求にとって重要であるとのことです。関連性の高いオファーを提供することで、コンバージョンにつながる可能性が高くなると言えます。

オーディエンスに適した、関連性の高いコンテンツや画像を提供することで、共感を生むことのない一般的な素材よりも、高いコンバージョンを獲得することができるでしょう。

強力なセグメンテーションの戦略を練るためには、オーディエンスについての事前調査が欠かせません。Facebookは事前調査の1つの方法と言えますが、他にも様々な方法を駆使することで、オーディエンスについての知見を得ることができます。