2013/2/23 HDIfes

A/Bテストノススメ株式会社VOYAGE GROUP / UIO戦略室　榎本　徹

自己紹介

✤ 榎本　徹（えのもと　とおる）

✤ １９７６年生まれ　３６歳

✤ いまの仕事

✤ ポイントサイト「ECナビ」の企画運営。

✤ ウェブサイト最適化の手技法を全社に浸透させる。

お話する内容

✤ WebサイトのA/Bテストは、誰でも簡単に行うことができます。これまでの経験から、実施にあたってのポイントを紹介します。

1. A/Bテストとは？

2.何がいいの？

3. A/Bテストツールとは？

4.誰がどのようなときに使うのがよい？

5.どうすすめる？

6.まとめ

1. A/Bテストとは？

+93.9%A オリジナル

B　テストパターン１

C　テストパターン２

どっち？　アンケートサイトの会員募集バナー

A　オリジナル

B　テスト　　　パターン

こっち！　アンケートサイトの会員登録バナー

B　テスト　　　パターン

40.0%

どっち？

A　オリジナル

B　テスト　　　パターン

こっち！

A　オリジナル

14.2%

勝ち負けを決める

✤ どのクリエイティブが良い結果を生み出すか？仮説を検証する方法。

スプリット・ランで行う

✤ 時間の影響をうけない

✤ 季節・曜日

✤ イベント

✤ プロモーション

✤ 経験の影響をうけない（割り振られたパターンだけ見える）

前後テスト

スプリット・ラン テスト

2. なにがいいの？

オバマ大統領はA/Bテストで選挙に勝った？

http://www.flickr.com/photos/barackobamadotcom/8156768393/in/set-72157631931822826/

結果

✤ 登録者　２８８万人　UP

✤ 献金額　５４億円　UP

✤ ボランティア　２８万人　UP

http://www.flickr.com/photos/barackobamadotcom/8167784426/in/photostream

3. A/Bテストツールとは？

ツールがしてくれること

1.実装

2.集計

3.判定

Optimizelyの例

4. どのようなときに使うのがよい？

Pros & Cons

A/Bテスト ラボテスト

事実を知りたい 「なぜ」を知りたい

微細な差を知りたい 全体像を知りたい

低コスト・多頻度・大規模 短時間で大きな学び

数値根拠で人を動かす リアリティで人を動かす

5. どのようにすすめる？

LIVESENSEでの事例

LIVESENSEでの事例

A/Bテストの何が成功？何が失敗？

✤ 成功：A/Bで差が出ること　しかも早く＝仮説が検証（Yes/No）できること

✤ 失敗：差が出るテストができないこと精神的にもつらい。

✤ テストパターンが負けるのは失敗ではない！「なぜ？」の包囲網が狭まっているはず

なぜいいテストができないの？

✤ 仮説の精度が低いから。

✤ なぜ仮説の精度が低い？　→　調査不足ね。

調べよう

✤ アクセスログから

✤ 前後にどんなページを見ている？

✤ 検索キーワードは？（サイト内検索／流入キーワード）

✤ どんな人？（はじめて／リピーター、地域、デバイス、OS、画面サイズ・・・）

✤ ユーザーテスト／インタビュー

✤ どこでエラー？

✤ 心理モデル？（よく使うウェブサイトは？　使っている言葉？・・・）

6. まとめ

A/Bテストをやってみよう

✤ ツールが充実。楽チン。やるなら今。

✤ ツール紹介

✤ Optimizelyhttps://www.optimizely.com

✤ Google Analytics (ウェブテスト機能）http://www.google.co.jp/intl/ja/analytics/

✤ 情報源

✤ Which Test Won?http://whichtestwon.com

✤ UIO戦略室ブログhttp://uio.voyagegroup.com

Thank You!