The Lpo Blog

猫と子供

「猫」を使って説明します!

~ A/Bテスト・多変量テスト ~

こんにちは!
今日は猫を使って、ABテストと多変量テストの違いをご説明できればと思います。

まずはA/Bテストです。二匹の猫がいて(猫Aと猫B)、どちらの猫が可愛いのか知りたいです。WEBを通じて1万人に一人ずつ一匹だけ猫を見せます。猫のパターンは二匹ですので、猫Aを見ている人は5,000人。猫Bを見ている人も5,000人。今回の例で猫Aを見た人は66%が可愛いと答えています。猫Bは34%と人気度が少し低めでした。猫Aの大きな勝利です!

ABテスト結果の例

ただし、このA/Bテストには二つの課題があります。猫は二匹しか存在しないので

1) そもそもこの二匹以外に可愛い猫が存在するのでは?という疑問があります。

2) 上記の猫Aはどういった理由で勝っているか不明です。勝ったのは耳が水色だから?ベロが出ているから?目が黒いから?その猫が勝っている要因は闇の中です。
そこで「多変量テスト」の登場です。方法はほぼ変わりません。1万人に一人ずつ、一匹だけ猫を見せます。しかし、A/Bテストと決定的に違うのはその猫の数です。
今回の例で、なんと192タイプの猫のモテ度を計ります。

  • 耳:4つのバリエーション (赤色、水色、ピンク色、緑色)
  • 顔:4つのバリエーション (赤色、水色、ピンク色、緑色)
  • 目: 3つのバリエーション (黒色、ピンク色、二色の組み合わせ)
  • 口:2つのバリエーション (口、ベロが出ている口)
  • 帽子:2つのバリエーション (帽子あり、帽子なし)

4 x 4 x 3 x 2 x 2 =192。192匹の猫です。

これは大した数ではありません。データアーティストでは、1000パターン以上の多変量テストは日常茶飯事なので、この猫のテストは少ない方だと言えます。テストの対象となるのは、ランディングページ、バナー広告、入力フォームなどです。
WEBを通じて1万人一人ずつに一匹だけ猫を見せます。その猫が可愛いかどうかという意見を求めます。
多変量テスト

多変量テストの例

今回のテストで1万人中、6,500人は自分が見た猫が可愛いと答えています。気になるところは、もちろんその猫の特長ですね。
まずは「顔」という部分に関するデータを集めます。

顔の結果

「ピンク」の圧勝ですね。「可愛い!」と答えた人の50% (3,250人)はピンク色の顔をしている猫を選んでいます。
さて、はいかがでしょうか?

耳の結果

また「ピンク」ですね。今まで、私の予想通りです。さて、はいかがでしょうか。

目の結果

「黒」が勝っています。大きな差ではありませんが、統計的な有意差がきちんと出ています。黒の勝ちです。次はのあたりですね。

口の結果

「ベロ」が出ている猫の圧勝です。最後に、帽子を被ったほうが良いか否か。

帽子の結果

帽子は被らない方が良かったようです。個人的には少し意外な結果でした。

テストが無事に終わって、分析も一通り終わっています。今後はセグメント別の分析も行いたいと思います。あくまで仮説ですが、関西の人はもう少し派手な猫が好みなのではないか?北海道の人は青系の猫が好きなのでは?と考えます。
データを見てみないと実際にどうか分かりません。

最後に、今回のテストのチャンピオンをお見せしたいと思います!

多変量テストのチャンピオン猫

テストしたいところは、まだまだたくさんありますが、この猫がモテることは間違いないと思います。

娘にも好評でした。



Please Like ♥

LIKE