first step of ux monitoring 〜uxモニタリングこと始め〜
TRANSCRIPT
UX モニタリングことはじめ
株式会社リクルートジョブズIT戦略室
デジタルマーケティング部 R&DグループITマネジメント部 ITマネジメントグループ
吉岡 太郎
2015/9/30
私について
• 吉岡 太郎 – 出身
• 東京 国立生まれ
– どんな仕事• Netyear で 6 年半 IA として活動。• その後 GREE で SNS の開発ディレク
ターを 2 年担当。• 2013 年からリクルートジョブズで開発
側のプランナーとして、開発フローの改善やツール導入推進など行っている。
2
本日お伝えしたいこと
UX 改善施策の効果を持続的に測る 「 UX モニタリング」の手法について
3
UX 改善施策とは
• ターゲットユーザーをビジネスゴールにつなぐためのシナリオを考え、コンテンツに落としこむこと
4情報アーキテクチャ構成(ピーター・モービル)
ユーザーニーズビジネスゴール
シナリオ
ペルソナ体験設計UXフロー ストラクチャー
ワイヤーフレーム UIデザイン
UX モニタリングとは
• 定量データから持続的に UX メトリクスを行うこと。 UX メトリクスの一つの手段
5
UXモニタリングと UXメトリクスの関係性
UXモニタリング(継続的に測る)
UXスポット調査(非連続に測る)
UXメトリクス
「 UX モニタリング」について考えるようになったキッカケ
6
とあるケース1
• 「 UX 改善を仮説検証して設計・実装したにも係わらず、 KPI にあまり変化が見られなかった。」– セッションごとの PV 、訪問数、離脱率
• アンケート ( スポット調査 ) で効果を確認
7
UXデザインし、リニューアルしてユーザビリティも向上したのになぜ数値が変わらないのだろう?
UXディレクター・デザイナー
得られた示唆
1. ユーザー行動について改善施策を打っても、セッションベースのアクセス解析では、その効果を追うことが難しい
2. 「 UX 改善施策」の効果がサイト全体の UU やPV といったマクロな KPI にすぐ影響するかというと、そうではないことが多い
8
とあるケース2
• 「 KPI を上げるために、導線を多く追加した結果迷いやすい UX になったが数字は上がった」
• 時系列でユーザー個別にアクセスログを見て、サイト内の振る舞いを観察し、導線修正した。
9
UXをモニタリングできたらその施策はやってはいけないということを数字で語ることができるのに
UXディレクター・デザイナー
得られた示唆
1. 「即効性の有る KPI 増施策」≠「 UX 改善施策」ということが多い
2. サイト内行動を観察することで、定量データから定性的な情報を推定することはできそう
10
• 明らかに UX 的な課題があっても、結果の出やすい KPI に繋がる施策のほうが優先される
• UX 改善活動を定着させるにはどうすればいいのだろう?
11
とはいえの課題感
とは言え数字だから…
誰のためのコンテンツなんですか?
UX施策が KPIに対する効果が有ることを示せれば、 UXドリブン開発が定着するはず
プランナー・プロダクトマネージャー UXディレクター・デザイナー
UXディレクター・デザイナー
UX モニタリング Project
12
そこで!
UX モニタリング Project の目的
• 目的: UX 改善施策を測る指標をみつけ、定常的にモニタリングできるようにする
• UX 施策と主要 KPI の相関を見つけ、効果を示し継続的な UX 改善を行える土壌を整える
13
リクルートジョブズR&Dグループ
リクルートテクノロジーズBigDataグループ
方法
ペルソナ・クラスタリング– ユーザー行動別にクラスタリングしたユーザー群で
セグメントする– クラスタごとのアクション比率と、クラスタ全体の比率の変化を捉える
– 定量データで UX 改善施策における「ユーザーの態度変容」を常時モニタリングする
14
UX モニタリングから KPI 効果を導くステップ
Step1 Step2 Step3
ペルソナクラスタリング セグメント別UX モニタリング UX 改善を定着
基礎分析やクラスタリングにより
ペルソナを明確化
ユーザーのセグメント分解し
モニタリングしていく環境を整える
各ユーザーセグメントの施策反応をモニタリング
しつづけることで、KPIへの効果を見える化する
中長期的な KPI 戦略に基づいた
UX 改善施策をHCD サイクルで回していく
------------------
観察( UXモニタリング)
理解(グルイン他)
設計実装( Scrum)
評価( UXモニタリング)
ペルソナ・クラスタリング概要
16
UX モニタリング指標
• リテンションでロイヤリティを測る( Useful 、 credible )↑今回の取り組み
• ある行動にかかる時間を測る (findable 、 accessible 、usable )
• あるアクション同士を比較する( desirable )
17
ペルソナ・クラスタリング
• クラスタリングによるセグメント分解– 行動データを軸に置いたセグメント分解により、コ
ンテンツ利用の「質」の違いを明確にする
18
PV 数
初日アクティブ層
初日ややアクティ
ブ層
検索中な層
訪問日数
超アクティブ利用層
適度に利用層
アクティブ層
コンバージョンは高いけど、利用しすぎている
⇒ 結果に繋がらず、利用を続けてしまっている可能性が高い
適度に利用をしていて、Convertion にも繋がっ
ている
適度に利用をしていて、コンバージョンにも繋
がっている
PVと訪問日数でクラスタリングしたユーザー群のイメージ
まず、リテンションからしきい値を割り出す
19
初回訪問時から次回訪問までにかかった日数別ユーザー数
訪問日数1日ユーザーをクラスタリング分析
20
• 訪問日数1日のユーザーに対し、 k-means 法により3クラスターに分類
• クラスター1のユーザーは約 90%ほど構成している
• 活動的なクラスター2は 1%未満である
訪問日数1日ユーザーをクラスタリング分析
21PV 数
詳細 P
アクティブ層ピンポイント層
1日直帰層
検索層閲覧あり
閲覧なし
• クラスターを目的変数として、決定木 (CART法 )で条件を決定• 閾値は決定木で算出された値を利用
• 説明変数はユーザー毎の PV数、詳細 P数、一覧 P数、キープ数、滞在時間• よりユーザーの行動特性が別れるような閾値を設定し、ペルソナ
に近づけていく
訪問1日ユーザーのペルソナクラスタ
ペルソナクラスタ分類の条件
•訪問日数2日以上のクラスターも同様に分類した全体像
22
ペルソナクラスタ構成比率の推移
23
日別 クラスター構成推移
•クラスタ構成比率の推移をモニタリングすることで、ユーザー態度変容の推移が見える化できるようになった。
↓ペルソナクラスタの増減⇒態度変容の見える化
UX モニタリングツール「ユーモ」を構築
24
UX 施策のモニタリング
25
•ある UX 改善施策を行った際の数字の変化も見える化できるようになった。
1 日直帰層検索層ピンポイント層アクティブ層
適度利用層こだわり層仕事決まらない層広間隔層再直帰層
1 日訪問
2 日以上訪問
今後の取組
• 現状のダッシュボードをベースに– ある特定行動における閲覧時間⇒ Findable,Usable– 有る特定行動におけるアクション比較⇒ Desirable
26
終わりに
27
UX 改善に興味のある方募集しております。
• 中途募集してます!
http://www.recruitjobs-saiyou.jp/engineer/index.html28