A/Bテストの際によく見られる8個のもったいない過ち

公開日: : 最終更新日:2014/08/06 コラム

Google Analyticsを筆頭に、OptimizelyなどA/Bテストをするためのツールが色々出てきていることもあり、比較的誰でも簡単にA/Bテストを行うことができるようになってきています。その一方で、A/Bテストをするにあたってよく見られる間違いがありますので、それをご紹介します。

 

1.テストをすぐにやめてしまう

AパターンとBパターンのテストをしていて、50%の信頼度でどちらかが勝つということが分かった段階でテストをやめてしまった場合、そのテストに意味はあるでしょうか?もちろん答えは「No」です。ではそれが90%となっていったらどうでしょうか?それでもまだその段階ではテストを終了すべきでは無いと言えます。一般的には最低でも信頼度が95%ぐらいになるまではテストをやめるべきでは無いと考えられます。
特にこの時に注意しなければならないのは、テスト対象となったサンプルサイズがどの程度かということです。100や200といった程度のサンプルサイズしかない状態での結果は、サンプルサイズが10倍ぐらいになった場合に簡単に逆転したりすることがあります。

ではどれぐらいのサンプルサイズがあれば良いのか?

ある程度信頼度の高いデータを得ようとするのであれば、最低でもそれぞれのパターンにおいて100コンバージョンぐらいは合ったほうが良いと言われています。トラフィック自体が多い場合は各250コンバージョンぐらいあるのが理想です。
現状のCVRや、求める信頼度の高さから、どのぐらいのトラフィックがあると良いかを教えてくれるツールもありますので、是非活用してみてください。
http://www.testsignificance.com/
そもそも十分な量のトラフィックやコンバージョンが無い場合は、A/Bテストをすること自体が時間の無駄になる可能性が高いので、そういう場合は思い切ってテスト無しにサイトをがらっと変えてしまう、という方がオススメです。それにより問合せや売上が増えたか、減ったかというのがすぐに実感できるからです。
トラフィックが少ないからといってA/Bテスト自体に何ヶ月もかけるのはナンセンスです。「時は金なり」なので、そういう場合は思い切った方法を試してみるのも一案です。

トラフィックやコンバージョンが十分にあって、信頼度が95%以上にならない場合は?

この場合は基本的にいずれのパターンでも差がほぼ無いと言えます。こういう時は、セグメントをいくつか切って深堀りしてみると、また違ったデータが出てくる可能性もあります。それらを参考に仮説を再構築し、新しいテストを開始することをオススメします。

2.テストを1週間継続せずにやめてしまう

前項に書いた通り、仮にトラフィックやコンバージョン数も十分で、信頼度99%のデータが3日で判明した場合、その時点でテストを終わらせても良いでしょうか?これも答えは「No」です。
業種業態にもよるとは思いますが、一般的にどのようなサイトでも曜日やシーズナリティの影響を受けることが多いです。実際に現状のサイトのCVRを曜日別に出してみると、最低と最高で倍以上の差があるなんてことはよくあることです。
 曜日別EC
(参考までに、上記はとあるECサイトの1ヶ月間の曜日別CVRデータです。これを見ると、土曜日の0.40%に対し、月曜日は1.34%とかなり乖離があります)
したがって、仮にテストを月曜に始めたのであれば、日曜日まではテストを継続する必要があります。そしてもし7日間で有意な結果が得られなかった場合は、更にもう7日間テストを継続します。最終的に有意な結果が得られるまでこれを繰り返していきます。
このルールを唯一破っても良いとしたら、過去のデータから絶対にどの曜日でもCVRが均一だと言い切れる場合のみです。

外部的な要因に気をつける

年末年始やゴールデンウィーク、クリスマスなど特殊な期間にテストを実施している場合は、同様のテストをその時期をはずして更にやるべきです。あるいはTVCMを大量投下していたり、大規模なキャンペーンを展開している時なども注意すべきです。こういった外的な要因はテストの結果を狂わせることが多いので、必ず検証のテストをするようにしましょう。

3.仮説に基づかずにテストをする

A/Bテストは必ず仮説ありきです。なんとなく思いついたアイディアだけで適当にテストをするのは非常に無駄です。仮に何の仮説もなくテストをしてAパターンが勝ったとしても、そこから得られるものは何もありません。
A/Bテストを始める前にやるべき2つのことでも書きましたが、ユーザー行動を把握し、どこがボトルネックになっているのか、それを解消するにはどうすれば良いのか、というのを事前に考えることが重要です。

4.1回のテストで諦めてしまう

まず最初に意気込んでテストをしてみたものの、オリジナルの方がテストパターンより成果が良かった場合、その段階でもうテストを辞めてしまうというケースが多く見受けられます。オリジナルの方が勝った場合にもそのテストから得られる知見は絶対にあるはずです。そこから学び、更にテストを継続していくことで最終的により良いものが得られます。

5.誤判定があることを把握していない

せっかちな人ほど2パターンで行うA/Bテストではなく、3つ以上の複数パターンで行う多変量テストをやりたがりがちですが、あまりオススメできません。なぜならテストの対象のバリエーションが増えれば増えるほど、誤判定の可能性も上がるからです。
以前Googleが41パターンもの色のテストをしたことがあるそうですが、仮に41パターンのテストにおいて95%の信頼度があったとしても、88%の確率で誤判定が起こっている可能性があるそうです。
多変量テストが悪いというわけではないですが、シンプルなA/Bテストの方がより早く結果が分かり、より早く学習できるので、より早く次の仮説を構築することができます。

6.何も考えずに複数ページでのテストを並列で走らせる

例えばECサイトを運営しているとして、トップページ、商品ページ、カートページでそれぞれ異なるパターンでテストをするとします。一見時間の短縮で効率が良いように見えますが、これまた歪んだ結果が出る可能性があります。この時に注意しなければならない点としては、ユーザの振り分け配分です。例えば商品ページのA/Bパターン、カートページのC/Dパターンにおいてテストをする場合、商品ページからカートページに遷移するユーザーをそれぞれCとDに半々に振り分けなければなりません。

7.小さな数値を無視する

例えばパターンAがオリジナルのCVRを3%上回った場合、「たった3%か・・・少なすぎる!このテストは意味無かったな。」なんて言う人が結構います。しかし実際のところ、ある程度完成されているサイトにおいてはそうそう大幅な数値の上昇が見られることはありません。しかし、その3%の上昇がビジネスには大きなインパクトを与えます。A/Bテストは繰り返し続けていくものなので、1ヶ月で見たら3%かもしれませんが、それを1年間同じ数値で上昇し続けると、1.03の12乗で、約40%もの上昇になるのです。これが毎月5%だったら約80%です。
したがって、1回で得られる数値の上昇が小さいからと言ってそれを無視するのは非常に勿体無いと言えます。

8.正確性が脅かされる要因について把握していない

どれだけ十分なサンプルサイズや信頼度、テスト期間があったとしても、それでもまだその結果の妥当性を揺るがすいくつかの要因があることを忘れてはいけません。

ツールによる影響

これが一番起こりやすいことですが、Google AnalyticsやOptimizelyなどのツールを使用する際に、間違ったコードを挿入してしまったりして、データが歪むことがあります。これはテスト期間中にきちんと監視をして、データの欠損が無いかをきちんと確認する必要があります。

外部的な影響

前述の「外部的な要因に気をつける」にも書きましたが、例えば自社の業界で何か不祥事があったとか、あるいは母の日といったようなシーズナリティなどの自社以外の外的な要因によってデータが歪むことがあります。
今世の中ではどういうことが起こっているのか、というところをきちんと把握しておく必要があります。

選択における影響

これは、ある一部のトラフィックが全てのトラフィックと同等だと思い込んでいる場合に起きます。
例えば、自社のメルマガ会員からのトラフィックでA/Bテストをした場合、そもそもそれらのユーザーはメルマガ購読をしている時点で他のユーザーに比べて好感を持っている可能性が高いです。したがって、それらのユーザーを基に行ったテストの結果が全てのユーザーにとっても有用だとは限りません。

これらの過ちを把握しつつ、効果的なA/Bテストを行っていけるようにしましょう。

  •    
  • このエントリーをはてなブックマークに追加

関連記事

no image

A/Bテストを自社で行うか外注するかの3つの選択肢

A/Bテストを行う場合、Optimizelyなどのツールだけではなく、テストの裏にある戦略を立案し、

記事を読む

app-68002_640

[寄稿]モバイルアプリのA/BテストにおけるABC

当記事はシリコンバレーを拠点にモバイルアプリ向けのA/Bテストソリューションを提供するApptimi

記事を読む

no image

リスティング広告とA/Bテスト

検索連動やコンテンツ連動で広告を出すリスティング広告ですが、ここでもA/Bテストは活用出来ます。

記事を読む

no image

A/Bテストと多変量テスト

多変量テストとは A/Bテストはその名の通りAかBの2パターンをテストしてより良い方を決めるという

記事を読む

A/Bテストが世界を変える

A/Bテストは2つのバージョン(もしくはさらに多くのバージョン)のページ"A"と"B"をテストする場

記事を読む

Message

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

PAGE TOP ↑