魔法のLPO 高度に発展した科学は魔法と区別がつかない

“LPOをこれから始めようと考えてる人が読んで役に立ちますように。”そう思いながらこの資料は書かれています。
でも簡単なことだけが書いてある訳じゃありません。その人が実際にLPOの運用をするようになって、改めてこの資料を読んだときにも、ちょっとニヤリとしちゃうようなことをちりばめながら書いてあります。

LPOというと数学がすごく必要なんじゃないかって思ってる人が多いみたいです。
でもそんなことないかもと思ってもらえるように書いてあります。
だけどもね、そう書くからこそ逆にLPOの数学の本質が分かるように書いてあります。

LPOを始めようと思ってる人はとってもラッキーです。それはとっても楽しいから。
自分が落とした一滴の施策で驚くような変化が起きる。LPOにはそんな可能性が秘められています。
しかもたまたまじゃなくて何度も起こせる。なぜならLPOは科学だから。

ただし理科の時間にビーカーで試したのとは大きさが全然違います。水溶液ではなくて世界の色が変わります。
自分のしたことで世界が自由に変えられる。それは本当に楽しい。それがやみつきになったころのあなたはもうすっかりLPOの匠です。
そうなったらあとは普通にしていても利益が上げられます。さあさあ、あとはワクワクに任せて進むだけです！

まず始めに言葉の意味から始めましょう。
LPOは日本語ではランディングページ最適化(英：Landing Page Optimization)と訳されます。ランディングページというのはインターネットの閲覧者（これからユーザーと呼びますね）がサイトに訪れたときに初めて見るページのことです。 ただし最近ではランディングページに限らずサイト内のページであればどこでもLPOと呼んだりしています。

続いて最適化です。最適化というと難しく聞こえますが、要は良くしましょうということです。

Wikipedia でLPO を調べるとターゲティング、ABテスト、MVT などなどいろいろ専門的な言葉が出てきますが、目的はページを良くしてコンバージョン率や直帰率を改善しましょうということになります。
どうやったらページを良くできるかを考えていたら、自然とそういった手法に辿りつくものです。

それでは一つ一つを順番に考えていきましょう。
ここからはある会社のあるサイトのウェブマスターをしている照日夫さん(名:デルピオ、元はイタリア人ですが日本に帰化したときに漢字を当てました)のお話を例にしていきます。
もっとイメージをふくらましてもらうためにデルピオさんは“魔法のご飯”という新商品の宣伝サイトを扱っているとします。

「どっちがいいか」はみんなに聞く

ストーリー：新しいページを作ってみたよ

デルピオさんはこのサイトを通じて少しでも多くの人に魔法のご飯を買ってもらいたいと考えてました。
今のサイトもそんなに悪くないのですが、少し説明が堅苦しいなぁ。そこでもっとかわいらしいイラストを付けたページを用意してみました。

自分ではとっても気に入っているのですが、すこし自信が無いので会社の友達のタカムーチョに聞いてみることにしました。そうしたら友達もすごくいいと言ってくれました。
ただ会社にはいろんな人がいます。ちょっとかわいすぎると言われちゃうかも知れません。
そこで友達に手伝ってもらって、もっと多くの人にも質問してみました。

すると40人の友達(の友達)からは新しいページの方がいいと言ってもらえました。
ただ10人の友達(の友達)からは今のページの方がいいと言われてしまいました。
デルピオさんは、自分のアイデアを気に入ってくれる人が多くてうれしくなる反面、もしもサイトに来てくれてる人が自分のアイデアを好きじゃなかった10人と同じ好みだったらどうしようと不安にもなりました。

そこでデルピオさんは今のページと新しいページを一週間ずつ表示して、どっちが魔法のご飯の取り寄せ申込率(コンバージョン率, CVR)が高いかを調べてみることにしました。
みんながいいと言ってくれてるのだからきっと大丈夫。でもちょっとこわいなぁ。デルピオさんはドキドキしていました。

解説：新しいページを作ってみたよ

始めにLPOはページを良くすることと書きました。
ところがインターネットでLPOについて調べてみると、ページの効果のテスト方法ばかりが重点的に書かれていて、良くするという一番大事なことが強調されてないことが多々あります。

そういった中、デルピオさんがここでとった行動はとっても正しいものです。なぜなら今より良くなりそうな物を考えて、それを今と比べようとしたからです。
テストということばかりに目がいくと、ついついいろいろバリエーションを網羅的に用意してしまいがちです。でもあくまで良くなるようにすることが目的ですから、“今より良くなりそうなページだけテストする”ということが大切です。

ちなみにデルピオさんが会社のみんなの評価を求めたことも隠れたグッジョブです。実際にウェブにアップすることは、本当のお客様を対象としたとても大胆なテストです。
その前に少しでも勝率を上げる工夫をすべきです。会社さんによってはユーザビリティテスト(ここでは細かく話しませんね)を事前に行うところもありますが、デルピオさんのように社内アンケートを取るだけも十分に効果はあります。
50人中40人が良いと言っているのだからやってみる価値は十分ありますね♪

ストーリー：おんなじ土俵で勝負しましょう

それぞれのページを一週間ずつ表示した結果を見たデルピオさんはホッとしました。
それぞれのページが1000回ずつ表示されていて、そのうち元のページは50回、新しいページは100回、魔法のご飯の取り寄せをしてくれていたからです。

5%から10%になりました。改善率でいうと100%アップです。これはすごいことです。
デルピオさんはルンルンでこのことを上司に報告しました。すると上司からこんなことを言われました。
“上がったことはうれしいんだけどねぇ、となりの魔法のお粥チームのサイトは特に何もしてないのに取り寄せ数が70%改善されてたんだよ。これ景気のせいとかとも考えられないかなぁ？？”と。
あらまぁ、魔法のお粥チームよりは改善率が高いものの、たまたまかもしれないと言われると否定はしきれません。

デルピオさんはピンときました。
よーいドンでおんなじ期間に交互に新旧のページを見せればいいんじゃないかな？でもそんなことが出来るのかな？デルピオさんは後輩プログラマーのピロッセオに質問してみました。
するとLPOツールというものを使うと、大変なプログラムをしなくてもそういうことが出来るということを教えてもらいました。

ピロッセオの力を借りて無事LPOツールの実装を終えたデルピオさん、いよいよテスト開始です。大丈夫、きっと勝てるさ。

解説：おんなじ土俵で勝負しましょう

上司の指摘の鋭さもさることながら、デルピオさんもとってもいいことを思いつきました。
そうです、二つのものを比べるときは可能な限り条件を一緒にしてあげることが大切です。
違う条件でやる場合、すっごくがんばって、いろいろな経済指標とかを組み合わせて、時間による変化を差っ引くような方法はなくはありません。
でもそれはあくまで予測です。しかも大変です。
簡単に現実の答えが分かる時はそれを調べること以上に信じれることはありません。

ちょっとここで知識の整理をします。
このように二つのページのCVRを比較する方法をA/Bテストと呼びます。その中に分類があります。
始めにデルピオさんがやった、期間を変えて二つのページを出しわける方法を逐次テスト(英: Sequential Testing)と呼びます。
また時期を統一して出しわける方法を並行テスト(英: Parallel Testing)と呼びます。
どっちが信じれるかで言えば、もちろん並行テストです。逐次テストでは日付、季節性等の影響をどうしても受けてしまいます。
ただし逐次テストは実装方法としては最も簡単ですので、時期の影響が少ない時に参考のために行う分には十分価値があります。

ストーリー：ホントにこっちでいいですか？

それぞれのページを2週間交互に表示した結果を見たデルピオさんはホッとしました。
それぞれのページが1000回ずつ表示されていて、そのうち元のページは50回、新しいページは70回、 魔法のご飯の取り寄せをしてくれていたからです。
だけども改善率が前より下がっていました。

なるほど、新ページでこの前100%も改善出来たのには時期の影響もあったんだなあ。
ただ時期の影響が無かったにしてもやっぱり40%も改善できてるぞ！これはこれで立派なものです。
意気揚々とこのことを上司に報告しました。しかし上司はやっぱり鋭い。
“1000回中の50回と70回ってそんなにちがうものかねぇ？？もう一度同じことをしたら次は順位が入れ替わったりしないかな？”と。
うぅむ、今回ばかりはデルピオさんも少しどうしたらいいかわかりません。
そこでいっつも統計のことをやっている後輩のリンダに質問をしてみました。

リンダによると、実際に測ってみたコンバージョン率は、本当の値から少しばらつくことがあるそうです。
ただし表示数(PV)をどんどん増やしていくと、本当の値からのばらつきがだんだんと小さくなってくそうです。
なるほどね、確かにサイコロを10回振る時よりも100回振る時の方が1が出る確率は1/6に近いからね。それと同じだね。
でもいったいどれくらいPVを増やすとどれくらいばらつきが小さくなるんだろう？するとリンダが

ばらつき=√{CVR(1-CVR)/PV}

となることを教えてくれました。
また次のことを覚えておくと便利だと教えてくれました。
“テストで出た値が本当の値である確率が一番高いです。そしてそこから離れていくほど、その値が本当の値である確率は低くなります。どれくらい低くなるかと言うと本当の値が測定した値±ばらつきに入る確率が大体68%、測定した値±(2×ばらつき)に入る確率は95%になります。ちなみにこれは正規分布と言われ・・”
あぁあ、ちょっと待って！一度整理しよう！”
後半少しヒートアップして早口になりかけたリンダをデルピオさんが制しました。

“ということは新ページの場合、CVRは7%で1000回表示してるから、そのばらつきは7かけぇ、あ、ちがうちがう、7%を0.07にするんだよねきっと、
そうするとぉ、0.07×(1-0.07)/1000のルートをとればいいのか♪お、ばらつきは0.8%になるんだな♪”

デルピオさんはぱっと電卓を取り出しささっと
計算をしました。リンダは感心しています。おんなじように、旧ページはCVRが5%でばらつきは0.7%になります。

“仮に、新ページのCVRが本当はばらつき分小さかったとしても7-0.8で6.2%、旧ページのCVRが本当はばらつき分大きかったとしても5+0.7で5.7%かあ。どっちにしても新ページが勝っているし、やっぱり新ページの方がよさそうだね。”とデルピオさん。
デルピオさんの飲み込みが早く満足そうなリンダ。デルピオさんはどんどん話を進めていきます。

“今最終的に知りたいのは新ページがちゃんと旧ページに勝ってることなのね。測った値だけ見ると二つのCVRは2%離れてるでしょ？ただ両方がばらついてて、ばらつくものからばらつくものを引いたらもっとばらつくよね？”とデルピオさん。
うなずくリンダ。
“じゃあ、二つのページのCVRの差のばらつきは新ページのばらつきと旧ページのばらつきでいいのかな？”とデルピオさん。
ニヤリとしてリンダが言います。“とってもおしいんですがちょっと違います。実際にはちょっとそれより小さい値になって

CVR差のばらつき=√(新ページのばらつき2＋旧ページのばらつき2)

になります”。
ぱぱっと電卓を出すデルピオさん、“じゃあ差のばらつきは0.0082+0.0072のルートをとって大体0.01だね。CVRの差が2%で、そのばらつきが1%かぁ。ということは新ページと旧ページのCVRの差が2±1%、つまり1%～3%の間にある確率が68%で、2±2%、つまり0%～4%の間にある確率が95%なんだね。
よし、少なくとも勝ってると言えそうだね！ありがとう！”

バシッと親指をたて走り去るデルピオさん。ニコニコするリンダ。

解説：ホントにこっちでいいですか？

このストーリーは少しややこしかったですね。でも大丈夫。
このお話の中で一番難しいのはここですから。ここさえ分かれば後はするりと理解できます。

難しい話の前に簡単な話で大切な話から。
デルピオさん、またしても隠れたグッジョブな点がありました。それは誤差の計算がざっくりしていることです。
え、それはむしろ悪いことじゃないかって？？確かに実際に人様にお見せするレポートでは、計算結果が大体では困ります。でも自分でどんどん進んでいくときにはこのざっくりと計算する感覚は非常に大事です。
これを何回も繰り返しているうちに見た瞬間大体必要な値が頭に浮かぶようになります。

“大体こんな感じ”が早く出来るようになると頭の中がとってもすっきりします。数字に振り回されず自分の知りたいことが分かるようになります。
これこそが数学が本当に実践に結びついている状態だと言えると思います。

さて、次はばらつきの話です。LPOではばらつきの話はとっても重要です。
ばらつきの計算はややこしいです。ややこしいことを分かることは大事だよって話をしたいんではありません。LPOではいつもどうしてもばらついてしまうんです。だから大切なんです。

どうしてばらついてしまうんでしょうか？これはテストする対象が限りある貴重なお客様だというLPOの特徴によります。ちゃんと結果を知りたいだけならばPVをいっぱいにしてテストをすれば良いのです。
でも限りあるPVをいっぱいに貯めるのには時間がかかります。また貴重なPVをあまり良くないページにずっと充てるわけにもいきません(これは次のお話し)。
そうするとどうしてもPVが少ない時にがんばらなくてはいけなくなります。

つまりばらついてるときに正しいことを分からなくてはいけなくなります。
だからばらつきのお話はとっても重要なんです。でもね、安心してください。基本的にはデルピオさんがやっている範囲のことでほとんど方が付きます。
デルピオさんが使った道具は電卓だけです。それで大体わかります。
ぜひぜひデルピオさんの考え方を何度も辿ってマスターしてください。

それでは最後にちょこっとだけ用語の解説をしておきます。ここは読み飛ばしてしまってもかまいません。
これまで「ばらつき」と呼んできたものは、実は統計では標準偏差と呼ばれます。どうして標準偏差が√{CVR(1-CVR)/PV}になるかはごちゃごちゃしてしまうのでここでは話しません。“ベルヌーイ試行 AND 標準偏差”で調べるといろいろ詳しい説明が出てきます。
それと標準偏差を2乗した値を分散と呼びます。なんでわざわざ二乗した量を使うかというと、分散は足し算・引き算に対して分かりやすくふるまってくれるからです。
ある測った量AとBがあるとします。そしてA、Bの分散をσ(A) 2、σ(B)2と書くします。AとBがそれぞればらばらな値をとるときには、A+B、もしくはA-Bの分散は両方ともσ(A) 2+σ(B)2になります。
なのでまとめて書くとσ(A±B)2=σ(A) 2+σ(B) 2になります。ちょっと書きかえるとσ(A±B)2=√{σ(A) 2+σ(B) 2}となります。
ストーリーでCVRの差のばらつきを計算していますが、それはこの分散の足し算が成り立つことを使っていました。

これまでは二つのページだけを比較してきました。
もっとページを増やした場合はどうすればいいでしょうか？やっぱり全部調べるんでしょうか？
さあ、またデルピオさんのお話の始まりです。

ストーリー：まずはいっぱい作ってみたよ

着々とLPOの腕を上げるデルピオさん。
これまでのことで、やっぱりかわいい絵を入れた方がいいことに自信があるデルピオさん。
これまではネコを出していましたが、他にどんな絵だったらいいのかな？

デルピオさんはネコの他にクマとイヌを入れてみることにしました。少し変わり種として、ヤモリも入れてみました。
これまでの成功で少し大胆になっているデルピオさん。はたして結果はどうなるのでしょうか？

デルピオさんはこれまでのことで学んだように4週間かけて4つのページを1000回ずつ交互に表示しました。
その結果ネコは70回、クマは90回、イヌは70回、ヤモリは10回取り寄せの請求がきました。
この前作ったネコよりもっといいものを見つけることが出来ました。クマをこれから表示し続ければ、今後の取り寄せ請求も増えるはずです。

喜んで上司のところに行きました。すると“ネコよりもっといいページが作れたのは成功だね。でもヤモリは流石にやりすぎだったかもね。”と上司。
“すみません、ちょっと冒険しすぎました”とデルピオさん。
すると“いやいや、社内でも結構人気があったし、始めから負けると分かってたわけじゃないからしょうがないよ。むしろ良いチャレンジだったと思おう。でももうちょっと早い段階から配信を止めちゃっても良かったかもね。”と上司。
すると“でもそうするとばらつきが大きくなって本当に悪いかどうかが・・”とデルピオさん。
すると“あぁ、なるほど、でも別に悪いものは全部きちんと順位とかまで分からなくていいんじゃないかな？？例えば一位じゃないことが分かっただけではずしちゃうとか。”と上司にかぶせてデルピオさん”あっ！！”。

解説：まずはいっぱい作ってみたよ

A/Bテストはもともとは二つのページを比べる方法ですが、現在では複数のページを比べるときにもその呼び名が使われています。
二つを比べるA/BテストのときはきちんとAとBを比べたら良いと思います。では4つを比べるテストのときは4つを全部比べる必要はあるでしょうか？

私も上司と同様に、一番のものだけ分かればいいんじゃないかと考えています。
今回デルピオさんが行ったテストでは4つのページでPVが一緒だったので、全体のCVRは全ページのCVRの平均で5.8%でした。この4週間で言えばもともと選んでいたネコよりも悪くなってしまいます。

それではいったいどれくらい早いタイミングでヤモリの配信を止める意思決定をすることが出来たでしょうか？
一週間たって全体に1000PVたまった段階で一度調べてみるとします。

それぞれのページには250PVずつあります。ネコ、クマ、イヌ、ヤモリのCV数はそれぞれ18、22、17、3でした。うん、それぞれのCVRの誤差を計算するまでもなく、ヤモリは外した方が良さそうです。

それでも練習のためにきちんと調べてみましょう。
まず、クマが一番CVが多いので暫定的に一位にします。
前回の方法でばらつきまで出すと、CVRが8.8%でばらつきが1.8%です。PVが少ないのでばらつきが大きいですね。
次にヤモリです。同様の方法でCVRが1.2%でばらつきが0.7%です。二つのCVRの差が6.6%、差のばらつきが1.9%です。
なのでクマがヤモリに負けるなんてことはまずないとこの時点で分かります。

それでは1週間目でヤモリを外した場合、4週間ではどうなるでしょうか？
まず一週目のCVRは変わらず5.8%です。一方2～4週目はネコ、クマ、イヌの平均なので7.7%になります。
1週目と2～4週目のPVが1:3なので、全体のCVRは(1/4)×5.8%+(3/4)×7.7%=7.1%になります。
なので、1週間目できちんとヤモリの配信を止めていれば、4週間全体で始めのネコより高いCVRを保ってテスト出来ていたのです。

ストーリー：ちぎっては投げ

舞台はさっきのデルピオさんと上司の会話の続き。
上司がデルピオさんに向かって“まぁまぁ、今回の件はクマを出すからいいとして、それとは別に今度新しいキャンペーンページを作ろうと思うんだ。
魔法のご飯のCMと合わせて、「魔法のご飯：こんなにおいしくてコメっちゃうな」のページをつくろうと思うんだ。ただしもうすでにほぼページは出来ている。後は20個のキャッチフレーズの中から一番いいものを探したいんだ。
半月後にはもう全国でいろいろな宣伝を行うからそれまでになるべくいいキャッチフレーズを選んでほしいんだ。やってくれるかな？
ちなみに魔法のお粥チームも同じタイミングでキャンペーンをやるからライバルだね！”と一息でここまでを話しました。
若干息が上がってる上司に“分かりました、やってみます”とデルピオさん。

新しいキャンペーンページも1週間当たりの表示数は1000件です。どんどん切っていかなくてはとてもじゃないですがテストは終わりません。
そこで一番良い物と比較して、勝てる確率が5%未満のページは次々とはずしていくことにしました。

するとどうでしょう、1日目で8個、一週間でもう6個減らすことが出来ました。ここまでテスト全体のCVRは8%でした。2週間でもう3個減らすことが出来ました。
結局のこった3つはどれがいいということができませんでしたが、それらのCVRはどれも大体10.5%でした。始めの1週間のCVRが8%だったのに比べるとかなり良い物が選ばれたんだと思います。

取り寄せ数について魔法のお粥チームと比較してみましょう。どうやら魔法のお粥チームはテストをせずに一つのキャンペーンページにしていたようです。
初日のCV数は魔法のご飯チームと魔法のお粥チームで10と11でした。CV数の比は0.91倍で魔法のお粥チームが勝っていました。
一週間たった段階では85:80=1.06倍でご飯チームが少し逆転していました。
2週間たった時には184:160=1.15倍、1カ月後には424:341=1.24倍と明らかに魔法のご飯チームが勝っていました。

デルピオさん、前回の反省をしっかり活かし、大事なものだけどんどん表示するようにしてしっかり魔法のお粥チームに勝つことが出来ました。
それにしても毎日悪いページを切っていくことでこんなに効果がでるんですね！

解説：ちぎっては投げ

ここで言いたいことは、一番じゃないと分かったものから急いでどんどん配信を止めたら良いですよ。ということです。そのことを深く納得してもらえるんであればここで解説はおしまいです。
でもこう思う方も多いと思うのです。“いやいや、上のお話で出てきた数字、証拠が全然ないじゃない。”
おっしゃる通りです。でも適当な数字ではないので安心してください。
実はこれはシミュレーションの結果だったのです。

シミュレーションの原理はちょっと複雑なりますのでここでは詳細にはお話ししません。「モンテカルロ法」で調べていただくといろいろ出ています。
概要だけ話しますと、まず20個のキャッチフレーズのCVRを決めます。そしてそれをバーチャルにユーザーに表示して取り寄せをしてくれるか試します。
一番になれる確率が5%を切ったものから毎日はずしていきました。

実は魔法のご飯の方では本当のCVRは一番悪い物で3%、一番良い物が11%。残りの18個はその間を均等に埋めるようにしていました。
一方魔法のお粥チームの方は7.8%にしてました。
魔法のご飯チームの平均のCVRは7%なので、全てを均等に出して一番良い物を調べていたら、テスト中は魔法のお粥チームに勝つことができませんでした。
今回魔法のお粥チームに勝つことが出来たのはどんどん切っていく方法の賜です。

それとこのことを強調させてください、悪い物は早い段階でどんどん分かるということです。
だから少し時間をかけてからよっこらしょとはずすんではなく、悪いと分かったタイミングでどんどん外していくのが良いと思います。

さてさて、これまでのことでLPOを迅速に回せるようなってきたデルピオさん。それでも少し気になっていることがありました。
ある日上司が言っていた言葉です。“魔法のご飯のページさぁ、クマにすることで確かに良くなったんだよね。でももっと細かい点でいろいろ直せそうなんだよなぁ。”
さぁ、物語も終盤です。

ストーリー：まずは区切ってみようちぎっては投げ

そこでまずデルピオさんはページの中でまだ変えられそうなところを書きだしてみました。その時にあまり細かくしすぎずCVRに影響が出そうなところだけ書きだしてみました。
メインの絵、魔法のご飯の説明の文体、ボタンの形がまずは重要だろうと考えました。

そのあと、書きだしたとこを囲ってみました。その囲いをエリアと呼ぶことにしました。
デルピオさん、またしてもピンときました。
そうかそうか、エリアごとにコンテンツを追加してテストをすればいいんだな♪
メインの絵ではこれまでで一番良かったクマに魚と鳥を加えました。
文体は現在は「である調」ですがそれに「です調」、「だよ調」を追加しました。またボタンは今は三角形です。おにぎりへのオマージュです。
そこに丸型、四角型を追加しました。

解説：まずは区切ってみよう

一つのページをいくつかに区切ることでより細かくそれぞれを直していけるようになりましたね。
実はこの手法はLPOでは多変量テスト(英: Multivariate Testing)と呼ばれていたりします。
今まで変えるものがイラストだけだったり、キャッチフレーズだけだったりと一つだったのに対して、多くの物を変えるようにしたので多変量ですね。

この方法、細かく調整して本当に良い物が見つかる点ではとても良いのですが、一度に考えなきゃいけないことがたくさんになってしまう難点もあります。
以下どのようにひとつひとつきちんと考えていくかをデルピオさんと一緒に考えていきましょう。

おっとその前にデルピオさんの隠れたグッジョブについて。今回は特徴の洗い出し方についてです。
ページの特徴は細かく書こうと思えばいくらでも細かく書いていくことが出来ます。でもその中でもCVRに影響を大きく与える場所とそうでもない場所があります。
たとえば今回挙げたメインの絵はかなり大きく影響を与えていると思います。一方今回は挙がってませんが、ページの一番下のコピーライトの書き方はきっとほとんど影響を与えないと思います。
切り出したエリアの分のWebのコンテンツを作ることも、またそれぞれのエリアの効果を分析することにも時間がかかります。
なるべく効果の大きいところに目星を付けてどんどんテストをしていくことが重要です。

ストーリー：個別に測ってみよう

実際には組み合わせは3×3×3で27個あります。全部のパターンを測ってそれぞれを比較するのも手なんですが、これまでの経験上大体27週間かかってしまいます。
ちょっとつらいです。それじゃあ前回のように弱い物からどんどん切っていってしまうのがいいでしょうか？
今度はそれだと後から分析しづらくなりそうです。
そう、せっかく細かく分けたのだからエリアがCVRにどんな影響を与えるかを一度は分析したいとデルピオさんは考えたのです。
それはきっと今後新しいコンテンツを追加する上での指針になります。

そこでデルピオさんはまず27通りのパターンを全て作ってこれまで同様交互に配信してみました。大体一つあたりが100回表示されるように。
読者のみなさん、この数って少ないと思いませんでしたか？だって今まで一つあたり1000回表示させてたじゃないですか。
実はデルピオさんには考えがあったんです。個別のパターンのCVRが詳しく分からなくても、他のエリアは気にせずメインエリアをクマにした場合で集計して考えてやれば、メインがクマなときのCVRを求めるために900PV使うことが出来ます。
同様にメインが魚、鳥のときのCVR、文体が「である調」、「です調」、「だよ調」のときのCVR、ボタンが丸、四角、三角のときのCVRが求められます。 こういったCVRを条件付きCVRと呼ぶことにしましょう。

実際に測ってみたところメインがクマ、文体が「だよ調」、ボタンは丸が一番良いことが分かりました。
そこでそれぞれが一番良い組み合わせを作って、CVRを測定してみることにしました。
ただ、その前にデルピオさんは一つ仮説をたてました。

“それぞれのエリアが個別にCVRに与える影響を足していったら、これから実際に測るCVRをおよそ予想できないかなぁ？”
そこでデルピオさんは、メインがクマ、文体が「だよ調」、ボタンは丸のときの条件付きCVRから、全体の平均のCVRをそれぞれ引いた値を計算してみました。
“多分これが主に効いてくる効果だからメインエフェクトって呼ぼう”と考えるデルピオさん。全体のCVRが7%、クマ、「だよ調」、ボタンのメインエフェクトがそれぞれ2%、1%、1%でした。なので実際に測ったら7+2+1+1=11%じゃないかな？

解説：個別に測ってみよう

デルピオさんの今回のグッジョブは、全組み合わせのCVRを求めようとせずエリアごとに考えようとした点です。
こうすることでエリア別のコンテンツ毎のCVRを少ないPVで調べることが出来ます。

そう、それと今回デルピオさんがもう一点グッジョブだったのは、条件付きCVRと全体の平均のCVRの差をとったことです。
実はこの差を平均に積み重ねていけばCVRが予測できるというのはとっても正しい考え方なんです。
複数のエリアが独立にCVRに影響を与えてる場合には、積み重ねて求まったCVRはぴったり測定値に一致します。

ちょっと言葉の整理をします。図らずもデルピオさんは主に効いてくる効果だからメインエフェクトと呼んでいますが、このメインエフェクトもしくは主効果という呼び方は多変量解析のときの正しい用語です。
この主効果は実際の組み合わせCVRを予測する上でのパラメーターとなります。
パラメーターを使ってCVRを調べることをパラメトリックなアプローチと呼ぶこともあります。

ストーリー：実際に測ってみよう

デルピオさんは自分の予測値がどれくらい当たるかわくわくしながらCVRを測定してみました。
1000回表示したところ130回取り寄せ依頼が来ていました。
おやまぁ、11%より高いです。1000回表示してるのでだいたいばらつきが1%弱になるはずです。
そうすると、11%と出た予測値と13%と出た実測値の間には意味のある差があると言えそうです。

これはどういうことだろう。デルピオさんは考えました。
あ、そうか、それぞれ別々に考えてるときには気にしてないインタラクションのような物があるのかな？
クマのかわいらしさと「だよ調」のかわいらしさに関係があって、クマの丸みとボタンの丸みに関係があって。
後者はあやしいけど、前者はホントっぽいぞ。
いずれにしてもメインエフェクトの積み重ねは、あたりを付けるときには効果的だけど、実際の組み合わせの値をキチンと測らないと分からないこともやっぱりあるんだな。

解説：実際に測ってみよう

主効果の積み重ねだけで考えた場合と実際に測った値がずれてしまうというのは良くあることです。
これは測定がきちんと出来ていないということではありません。
“個別に測ってみよう”の解説にもある通り、主効果だけで説明する主効果モデルは、エリアのコンテンツが個別にCVRに影響を与えるときにしか使えません。
けれども実際のページでは複数のエリアが密接に影響しあうことが良くあります。
たとえば赤いボタンは黄色いボタンよりも目立ちやすいので、一般的には赤いボタンの主効果の方が黄色いボタンの主効果より高いと言えます。
でも裏地がピンクだったりするときは赤いボタンよりも黄色いボタンの方が目立つし見栄えもよいためCVRが高くなることが多いです。

これは主効果だけでは考えられない、エリア間の交互作用(英: Interaction)と呼ばれます。
交互作用が大きいかどうかはページのビジュアルからある程度あたりを付けることも出来ますが、やはり測ってみないと分からないことが多いので、デルピオさんがしたようにきちんと測り直すことが重要です。
交互作用の影響で逆転が起きるかもしれませんので、主効果が近い物がある時は改めてパターンを作って測り直した方が本当に良いページが見つかりやすくなります。

今回の例ですとクマと鳥はそれほど離れていないので“クマ-だよ-丸”、“鳥-だよ-丸”で勝負しなおすというのも考えられます。今回の様にパラメーターの予測値ではなく、実際に測定して比較することをノンパラメトリックなアプローチと呼ばれています。

それでは最後にA/Bテストから多変量解析までの黄金の流れの説明をします。
A/Bテストと多変量テストでどちらが良いということはありません。目的が異なります。

ページの全体的なイメージがまだ固まっていないときはまずA/Bテストをして大枠を決めてしまいます。
その後一番良いページをエリアに区切っていきます。そしてコンテンツの全組み合わせに対してまんべんなくPVが行くようにしながら、パラメトリックに攻めてあたりを付けます。
最後にノンパラメトリックに詰めていきます。
私がLPOをするとき、テスト方法はいっつもこれです。
でもテスト方法が確立して、方法に振り回されることが無ければ、あとはどれだけ良いコンテンツを作れるかに集中出来ます。偉大なるマンネリです。

どんどんページが良くなっています。デルピオさんはとっても満足です。
そんな中またしてもいつもの上司がぼそっと言います。
“いやぁ、CVRあがったねぇ、めでたいめでたい。ところでさあ、話を元に戻してしまって悪いんだけど、
始めにデルピオ君のページより元のページがいいって言っていた人たちも、今なら気に入ってくれるのかなぁ？
それとも全然好みが違う人たちなのかな？？”

ストーリー：私のハートに話しかけて

そうかぁ、人それぞれ好みってやっぱあるよなぁ。と思いながらLPOツールをいじっているデルピオさん。
するとセグメント分析という項目を見つけました。
このセグメント分析は、ユーザーの特徴ごとにセグメントを作って個別にCVRを見ることが出来る機能です。

試しにいくつかのセグメントで見ていくと不思議なことに気が付きました。
魔法のご飯のサイトには各地域から偏りなく人が集まってきています。
一方、実際に取り寄せをしているのは関東の人たちが半分を占めています。
その時デルピオさんはピンときました。
“もっとハートに刺さる言葉で話しかけなきゃ！！”と。
そこでこれまで「ごはんだよ♪」だった大見出しをそれぞれの地域の言葉に変えてみました。

するとデルピオさんの作戦は大成功。
これまで13%だったCVRは15%に改善されました。振り返ってみると始めは5%だったCVRが15%です。
デルピオさんの行動一つ一つがユーザーさんの心に働きかけ購買率をこんなにも変えていたのです。

解説：私のハートに話しかけて

これまでユーザーは単一な特徴を持つ人たちだと扱ってきました。でも実際に一人一人のユーザーは違う好みを持っています。
そうは言ってもどのユーザーがどんな好みかわからなければ対応がなかなかできません。ところがウェブのページはそれが出来るのです。

たとえばユーザーがどの地域からアクセスしてきているのかが県レベルならかなり正確に分かります。
またどんな企業に勤めているのかもおおよそ判定が出来ます。
これらはユーザーの文化的側面をたっぷり反映しています。また、どんな検索エンジン・ブラウザ・OS・回線を使っているかもわかります。
これはユーザーのパソコンに関する知識を反映しています。
さらに、検索キーワード、これまでサイトの内外でどんなページを見てきたかまで分かります。
これらはよりダイレクトにユーザーの嗜好を反映しています。

これだけのことが分かっていればユーザーに合わせてコンテンツを出しわけることがかなり出来そうです。
なお、こういったユーザーごとに最も良い物を出すことをターゲティングやパーソナライゼーションと呼んだりしています。

どんな人たちにどんなコンテンツを見せればいいか分かっているときにはそのコンテンツを見せるのが一番うまくいきます。
でも分からないときはまずテストをすることをお勧めします。そのあとに、ユーザーのセグメント毎に見ていけばいいんです。
そうすると、あるところでは全体で一位だったコンテンツがあまり刺さっていなかったりすることがあります。そういったときは、その人たち向けのコンテンツを改めて追加してあげることでさらにCVがアップすることが期待出来ます。

社内ではすっかりLPOの達人となっているデルピオさん。
デルピオさんに診てもらったページは吸い込むようにお客さんを誘導するってみんなの引っ張りだこです。毎日データを見ながら弱いページを切って、ユーザーの特徴ごとに配信するコンテンツを決めて、これまでの問題点を踏まえて新しいページを追加しています。

毎日毎日やってるうちにデルピオさんはあることに気付きました。
それはいつの間にか仕事がルーチンになっていたこと。これってちょっと工夫したらシステム化できないかなぁ？？
あ、もしかしたらもうそういうものがあるのかも。そう思ってデルピオさんはピロッセオのところに行きました。
“ねぇねぇ、これこれこういう理由なんだけど、そんなツールないかな？”とデルピオさん。
“あ、デルピオさんが使ってるツールにその機能ついてるみたいですよ。”とピロッセオ。あ、そうだったの。

“そしたらあれだね、僕たちはどんなコンテンツを作ればいいかだけに集中できるね。そりゃあそうだよね、システムの方が得意なことはシステムがやって、人の方が得意なことは人がやったらいいよね。
でもこれまでのことをいっぱいやってきたからこそシステムが出すアウトプットの意味がわかるんだろうなぁ。
なんだか感慨深いね”とデルピオさん。
どこかから聞こえる“ふふふ”。

どうでしょう？”なんだ、これなら自分だって世界の色を変えられる！”そう思ってもらえたでしょうか？
LPOは科学です。だからどういうときにはどうすればいいということがきちんとあります。でもね、

そうなんです。それを知らない人から見たら、それは魔法です。
どうしてあなたのサイトにばかり魔法のように人が誘導されるんだろう？そう思う人がきっとこれからどんどん増えるでしょう。
そういうときはちょっとだけ魔法で驚かせた後に優しく種を教えてあげてくださいね。
え？自分だけ魔法を独り占めしたい？
大丈夫♪もっととっておきの魔法がありますから今度ゆっくり聞きに来てください。

さあさあ、次はいよいよまじかるLPOをやってみるときですね！
それにしてもデルピオのやつ成長したなぁ。次はどんな報告書を持ってくるんだろう。 楽しみ楽しみ、ふふふ♪