データから導くABテスト手法

＠haegwankim

テスト 超重要

なんで？

リリースはスタート。エンドではないです。

（最後のは実話）

ユーザー数が思ったように増えない

広告からの流入が、なかなか購入に結びつかない

お客さんから「CVR*を50%上げて！」とか言われた

*コンバージョン

テスト*するための３つの要素

Object Metric Method

*お気づきかもしれませんが、話すのは機能テストではなく、改善テスト

Object

PricingInterface

CommunicationShipping and Payment

Metric

Visits thorough XConversion Rate

Abandonment RateRecommendation Rate

Method

vs the current with small / proven dataRandomization - 50:50SaaS - e.g. OptimizelyAgency

課題は 優先順位

売上アップ or

コスト削減

トライ中フロー

2. アトリビューション探索：回帰分析

1. データ集積 : GA, Logなどから

3. モデル調整：はずれ値、stepwise、 AIC

4. テスト導入（80:20 / random select）

0. テスト対象決定：ビジネス要件から

トライ中フロー

2. アトリビューション探索：回帰分析

1. データ集積 : GA, Logなどから

3. モデル調整：はずれ値、stepwise、 AIC

4. テスト導入（80:20 / random select）

0. テスト対象決定：ビジネス要件から

トライ中フロー

2. アトリビューション探索：回帰分析

1. データ集積 : GA, Logなどから

3. モデル調整：はずれ値、stepwise、 AIC

4. テスト導入（80:20 / random select）

0. テスト対象決定：ビジネス要件から

トライ中フロー

2. アトリビューション探索：回帰分析

1. データ集積 : GA, Logなどから

3. モデル調整：はずれ値、stepwise、 AIC

4. テスト導入（80:20 / random select）

0. テスト対象決定：ビジネス要件から

トライ中フロー

2. アトリビューション探索：回帰分析

1. データ集積 : GA, Logなどから

3. モデル調整：はずれ値、stepwise、 AIC

4. テスト導入（80:20 / random select）

0. テスト対象決定：ビジネス要件から

まとめ

実際のテストと同じくらい

プロセス（データを使った上司、同僚、クライ

アントの説得）が重要。

サービスの改善に欠かせない

ABテストについて話しましょう！