【LPOはDLPO】「猫」で説明します。ABテスト・多変量テスト

こんにちは!
今日は猫を使って、ABテストと多変量テストの違いをご説明できればと思います。

まずはA/Bテストです。二匹の猫がいて（猫Aと猫B)、どちらの猫が可愛いのか知りたいです。WEBを通じて1万人に一人ずつ一匹だけ猫を見せます。猫のパターンは二匹ですので、猫Aを見ている人は5,000人。猫Bを見ている人も5,000人。

今回の例で猫Aを見た人は66%が可愛いと答えています。猫Bは34%と人気度が少し低めでした。
猫Aの大きな勝利です！

ただし、このA/Bテストには二つの課題があります。
猫は二匹しか存在しないので
1) そもそもこの二匹以外に可愛い猫が存在するのでは?という疑問があります。
2) 上記の猫Aはどういった理由で勝っているか不明です。勝ったのは耳が水色だから？ベロが出ているから？目が黒いから？その猫が勝っている要因は闇の中です。

そこで「多変量テスト」の登場です。方法はほぼ変わりません。1万人に一人ずつ、一匹だけ猫を見せます。
しかし、A/Bテストと決定的に違うのはその猫の数です。
今回の例で、なんと192タイプの猫のモテ度を計ります。

• 耳：4つのバリエーション　（赤色、水色、ピンク色、緑色）
• 顔：4つのバリエーション　（赤色、水色、ピンク色、緑色）
• 目: 3つのバリエーション　（黒色、ピンク色、二色の組み合わせ）
• 口：2つのバリエーション　（口、ベロが出ている口）
• 帽子：2つのバリエーション　（帽子あり、帽子なし）

4 x 4 x 3 x 2 x 2 =192。192匹の猫です。これは大した数ではありません。
データアーティストでは、1000パターン以上の多変量テストは日常茶飯事なので、この猫のテストは少ない方だと言えます。
テストの対象となるのは、ランディングページ、バナー広告、入力フォームなどです。

WEBを通じて1万人一人ずつに一匹だけ猫を見せます。
その猫が可愛いかどうかという意見を求めます。

今回のテストで1万人中、6,500人は自分が見た猫が可愛いと答えています。気になるところは、もちろんその猫の特長ですね。
まずは「顔」という部分に関するデータを集めます。

「ピンク」の圧勝ですね。
「可愛い！」と答えた人の50% (3,250人）はピンク色の顔をしている猫を選んでいます。
さて、耳はいかがでしょうか？

また「ピンク」ですね。今まで、私の予想通りです。
さて、目はいかがでしょうか。

「黒」が勝っています。
大きな差ではありませんが、統計的な有意差がきちんと出ています。黒の勝ちです。
次は口のあたりですね。

「ベロ」が出ている猫の圧勝です。
最後に、帽子を被ったほうが良いか否か。

帽子は被らない方が良かったようです。
個人的には少し意外な結果でした。

テストが無事に終わって、分析も一通り終わっています。今後はセグメント別の分析も行いたいと思います。
あくまで仮説ですが、関西の人はもう少し派手な猫が好みなのではないか？北海道の人は青系の猫が好きなのでは？と考えます。
データを見てみないと実際にどうか分かりません。

最後に、今回のテストのチャンピオンをお見せしたいと思います！

テストしたいところは、まだまだたくさんありますが、この猫がモテることは間違いないと思います。
娘にも好評でした。