本物のABテスト。その結果とは？

こんにちは！データアーティストのミックです。今日はABテストに関して話します。

A/Bテストとは、異なる2パターン（2以上のパターンも可能）のWebページ、広告などを用意し、効果を比較するテストのこと。
テストするのはページや広告のデザイン、レイアウト、商品のUSP、説明文などです。効果の物差しとなるものは広告の クリック率やページのコンバージョン率などです。

DAは今回、通常とちょっと違うA/Bテストを実施してみました。
本当の「A」vs「B」というテストです。読んで字のごとく、「A」のバナーには"A"　「B」のバナーには"B"と書いてあります。
もはや媒体社様へのスパム行為なのではないかと思うレベルの目立ち方です。※媒体審査はもちろん通っています。

「A」,「B」それぞれ4サイズずつ、合計8つのバナー広告を用意。
「A」バナーと「B」バナー。広告の作成時間は15分程度です。
新記録です。非常に効率が良かったです。バナー広告のセットアップも非常に順調でした。

続いて、その8つのバナー広告をDSP(安くてたくさん配信できるいい感じの広告枠)で全国配信。たった5日間で広告の表示回数は合計で5,033,358回、クリック数は1,942回。
「A」バナーと「B」バナーのクリック率を比較しました。

広告は500以上のサイトに表示されています。テスト実施前には「B」が勝つかな？と思っていました。

上のグラフがテストの結果です。「A」が勝つには勝っているのですが、これは「たまたま」とみなすべきです。
なぜならば、両グラフバーの真中にある小さな棒みたいなもの(誤差棒)がオーバーラップしているからです。

ちなみに、この棒は正確には標準偏差というものですが、ざっくりいうと"結果の怪しさの範囲"です。
例えば、「A」のクリック率は0.039%と測定されましたが、±0.001%の怪しさが有ります。
本当の「A」のクリック率は0.038%かもしれませんし、逆に0.040%かもしれません。』のように解釈します。

この誤差棒についてもう少しきちんと計算していくと、実は「A」と「B」のCTRの差は上振れでも大体0.004%ということがわかります。
元のCTRが約0.04%であることを考えると、テストによって改善できる見込みは、大きくても1.1倍です。

我々が普段実施しているテストの改善率と比較すると、今回のテストはCTRに大きな影響を与えないと考えるべきです。

ということで、今回のテストでは、「A」と「B」は引き分けにしたいと思います。
はい。例によってやってしまいました・・・
お金をかけて、"違いが無いことがきちんとわかりました"という結果を導きました・・・

本当は、『「A」より「B」のほうが有意にCTRが高い！？
ウェブサイトが直線で構成させるのに対し、「B」の文字は曲線が多く視認性が高まる効果があるのです！』とか書きたかったんです。
結果の乏しさをカバーするためにやたら細かい統計の説明にするという悪あがきをする始末。
あぁ、最近、社長の私に対する態度がまたちょっと冷たくなったと痛切に感じます。スカンジナビアに帰りたい。

さて気を取り直してがんばります！
DAがテストを実施する場合、CTR・CVRは平均して1.48倍になります。 もし今回のテストで1.48倍の改善が出来ていれば、統計的に十分差があるということを示せました。

「A」のCTRは0.056%(0.04%×1.48)となりますので、下の図のように怪しさを加味しても二つのCTRにオーバーラップが有りません。
余裕のある勝利です。統計的に有意な差がきちんと出ていて、どう考えても疑問のない数字です。
･･･ということで、DAのLPOはきちんと成果が出るよ！という宣伝を終えます。

span class="bold">企画の独創性とは裏腹に非常に地味な結果となった本当のA/Bテストですが、最後に私なりの考察を付け加えました。
二つの広告のCTRにほぼ差はないですが、「A」が微妙に勝っているのは、まあ、事実です。
私独自の仮説ですが、之は血液型に関係しているのではないかと考えています。
「A」が少しだけ勝っているというのはA型の日本人は全人口の38%をしめているからです。 B型は22%しかないのです。

ロシアのカスピ海の近くに住んでいるカルムイク族は「B型」の割合が世界一番高い41%らしいので、今度はカルムイク族を相手に、同様のテストが出来ればと考えています。