リクルート式自然言語処理技術の適応事例紹介

リクルート式自然言語処理技術の適応事例紹介

株式会社リクルートテクノロジーズITソリューション統括部ビッグデータ部

池田裕一

2Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.

趣味etc

学歴

略歴

所属

氏名

自己紹介

RTC ITソリューション統括部ビッグデータ部

池田裕一

東京大学大学院工学系研究科精密機械工学専攻

社会人6年目。某大手メーカー系SIerで３年間、Java・C++を使った位置情報サービスの開発やAndroidアプリの開発に従事。2014年4月からリクルートテクノロジーズ入社。レコメンド施策開発のディレクション、自然言語処理やグラフ解析の技術開発に従事。

テニス旅行クラフトビール起業


本日覚えて帰って頂きたい事

word2vecのレコメンドへの活用

doc2vecの文書要約への活用


1

2

3

4

word2vecを使ったレコメンドシステム

doc2vecを使った文書要約

リクルートについて

最近のデータ活用状況紹介

アジェンダ

5 まとめ


リクルートについて


リクルートのビジネスモデル

Matching Business

HR

Bridal

GroupBuying

UsedCars

TravelReal

Estate

Beauty Gourmet

Social Games

E-Commerce

Ad Network

New Business

Consumers Enterprise


リクルートの事業領域

「選択」をサポートするような情報サービスを展開

Life event area Lifestyle Area

Travel

IT/ TrendLifestyle

Health & Beauty

Job Hunt

Marriage

Job Change

Home Purchase

Car Purchase

Child Birth

Education


リクルートテクノロジーズの立ち位置

InfrastructureLarge project promotions

UI design/SEOBig Data

Department

Technology R&D

IT Promotion

Recruit Holdings

Recruit Career

Recruit Sumai Company

Recruit Lifestyle

Recruit Jobs

Recruit Staffing

Recruit Marketing Partners

Staff service Holdings

Recruit Technologies

Recruit Administration

Recruit Communications

Operation

Service


最近のデータ活用状況紹介


Server Database

数値で見るデータ解析環境

エコシステム

本番165台／開発24台 1342.2TB


数値で見るHadoopの使われ方

28,344

1038万

1日あたりの全JOBの数

1日あたりの全Hbaseクエリの数


数値で見るデータ解析案件状況

約200 データ解析案件数（年間）

ビッグデータ部の案件従事人数 240


word2vecを使ったレコメンドシステム


word2vecとは

各単語を表現するベクトルを学習

単語から文書中でその単語の前後に現れる単語を予測できるような表現を学習

単語を表す1-of-ｋ表現のベクトルを入力とし、その単語の前後にある単語の出現確率を出力とするニューラルネットを学習させ、その中間層の値を単語を表現するベクトルとして用いる

w(t)

w(t-1)

w(t+1)

w(t+2)

w(t-2)

INPUT PROJECTION OUTPUT

INPUT:単語の1-of-k表現

PROJECTION:単語

線形変換階層的

soft-max

OUTPUT: 前後の単語の出現確率

𝑝(𝑤(𝑡+𝑖)|𝑤(𝑡))

目的関数


word2vecとは


word2vecとは

While expanding its channel for distribution information from paper publication to the net and mobile, the company has been pushing for a shift of their revenue from … … …

文書データ


word2vecとは


文書データ

word2vec


word2vecとは


while(0.1, 0.4, 0.3, 0.7, …)

expanding(0.2, 0.5, 0.7, 0.7, …)

its(0.1, 0.1, 0.9, 0.6, …)

channel(0.6, 0.4, 0.9, 0.5, …)

for(0.5, 0.8, 0.2, 0.1, …)

distribution(0.8, 0.4, 0.1, 0.2, …)

information(0.3, 0.7, 0.3, 0.6, …)

…

…

…

…

文書データベクトルデータ

word2vec


word2vecとは


while(0.1, 0.4, 0.3, 0.7, …)

expanding(0.2, 0.5, 0.7, 0.7, …)

its(0.1, 0.1, 0.9, 0.6, …)

channel(0.6, 0.4, 0.9, 0.5, …)

for(0.5, 0.8, 0.2, 0.1, …)

distribution(0.8, 0.4, 0.1, 0.2, …)

information(0.3, 0.7, 0.3, 0.6, …)

…

…

…

…

文書データベクトルデータ

word2vec

文書データを元に単語毎のベクトルデータを生成する


仮説〜 word2vecをレコメンドに使う着眼点



ベクトル

レコメンドしたいアイテムをベクトル化して、類似度を求められるのでは？



精度

単語間の文脈の純度を高めれば、類似度の精度が高まるのでは？

ベクトル




アイテムベクトルの近さがアイテムの類似度として見なせるのではないか？

精度

単語間の文脈の純度を高めれば、類似度の精度が高まるのでは？

ベクトル



レコメンドに適したword2vecのインプットデータとは



wikipediaなどの

テキストデータ



wikipediaなどの


ノイズが混じる

必要なアイテム全てを網羅できない



サービスユーザーの

アクションログデータ



user1 time1 ~~~~~~user2 time2 ~~~~~~user3 time3 ~~~~~~… … …

wikipediaなどの









アイテムの関係性を内包する

必要なアイテム全てを網羅できる

wikipediaなどの




インプットデータとしてユーザーアクションログを使用する






アイテムの関係性を内包する

必要なアイテム全てを網羅できる

wikipediaなどの



文章と単語の作り方



I am a cat. As yet I have no name.




文章文章




文章文章

単語


アクションログを使った時の文章と単語の作り方



ユーザー毎のアイテムに対するアクションログ



User-1 :

User-2 :

User-3 :

item-A item-B item-C item-D item-E …

item-V item-W item-X item-Y item-Z …

item-O item-P item-Q item-R item-S …


…



User-1 :

User-2 :

User-3 :

時系列

item-A item-B item-C item-D item-E

item-V item-W item-X item-Y item-Z

item-O item-P item-Q item-R item-S


…

…

…

…



User-1 :

User-2 :

User-3 :

時系列





…

文章

…

…

…



User-1 :

User-2 :

User-3 :

時系列





…

文章単語

…

…

…



１ユーザーのアクション履歴を１文章、アイテムを単語、と置き換える

User-1 :

User-2 :

User-3 :

時系列





…

…

…

…


word2vecのアウトプットデータ



アクション

ログデータ

word2vec

user1 item-A item-B item-C…

user2 item-D item-E item-F…

user3 item-G item-Q item-X…

user4 item-L item-K item-V…

… … …



アクション

ログデータ

word2vec

itemベクトル

データ





… … …

item-A (0.1, 0.9, 0.6, 0.4, ……)

item-B (0.2, 0.5, 0.1, 0.8, ……)

item-C (0.7, 0.3, 0.3, 0.4, ……)

item-D (0.5, 0.9, 0.8, 0.2, ……)

… … …



アクション

ログデータ

word2vec

itemベクトル

データ

cos類似度





… … …

item-A (0.1, 0.9, 0.6, 0.4, ……)

item-B (0.2, 0.5, 0.1, 0.8, ……)

item-C (0.7, 0.3, 0.3, 0.4, ……)

item-D (0.5, 0.9, 0.8, 0.2, ……)

… … …



アクション

ログデータ

word2vec

itemベクトル

データ

item類似度

データ

cos類似度





… … …

item-A (0.1, 0.9, 0.6, 0.4, ……)

item-B (0.2, 0.5, 0.1, 0.8, ……)

item-C (0.7, 0.3, 0.3, 0.4, ……)

item-D (0.5, 0.9, 0.8, 0.2, ……)

… … …

item-A, item-B, 0.976

item-A, item-C, 0.329

item-A, item-D, 0.743

item-A, item-E, 0.552

… … …



word2vecで出来上がったベクトルデータでアイテム間のcos類似度を算出

アクション

ログデータ

word2vec

itemベクトル

データ

item類似度

データ

cos類似度





… … …

item-A (0.1, 0.9, 0.6, 0.4, ……)

item-B (0.2, 0.5, 0.1, 0.8, ……)

item-C (0.7, 0.3, 0.3, 0.4, ……)

item-D (0.5, 0.9, 0.8, 0.2, ……)

… … …





… … …



アクション

ログデータ

word2vec

itemベクトル

データ

item類似度

データ

cos類似度





… … …

item-A (0.1, 0.9, 0.6, 0.4, ……)

item-B (0.2, 0.5, 0.1, 0.8, ……)

item-C (0.7, 0.3, 0.3, 0.4, ……)

item-D (0.5, 0.9, 0.8, 0.2, ……)

… … …





… … …

アイテム間の類似度の計算は億オーダの回数必要になるため、分散処理している

word2vecで出来上がったベクトルデータでアイテム間のcos類似度を算出


レコメンドリストの作成〜実サービスへの適用



ユーザー



ユーザー


時系列

①

ユーザーが最直近でアクションしたアイテムを10件抽出



ユーザー


時系列

① ②


それぞれのアイテムに対して、cos類似度の高いアイテムを抽出

item-Q item-I item-O item-P item-L

item-X item-T item-U item-S item-M

item-R item-G item-F item-W item-Z



ユーザー


時系列

① ② ③



リストを作成

（重複したアイテムを除く）


item-X item-T item-U item-S item-Mレコメンド




word2vecを元に作られたベクトルデータを使ってレコメンドリストを作成

ユーザー


時系列

① ② ③



リストを作成

（重複したアイテムを除く）


item-X item-T item-U item-S item-Mレコメンド



実証実験① 〜オフラインテスト



概要

過去のユーザログデータを用いてバックミラー分析を行い、従来ロジックとword2vecロジックのレコメンド精度の比較を行う



概要


0

0.5

1

1.5

2

2.5

従来ロジックとword2vecによるKPIの比較

（従来ロジックを1とした時の比較）

従来ロジック

word2vec



従来のレコメンドエンジンと比較して、効果が約1.6倍高い事が分かった

0

0.5

1

1.5

2

2.5

従来ロジックとword2vecによるKPIの比較

（従来ロジックを1とした時の比較）

従来ロジック

word2vec

概要



実証実験② 〜 ABテスト



概要

オンラインで、ユーザーを２つのグループに分け、従来ロジックとword2vecロジックのレコメンドリストを提示し、CVRの違いを調査する



サービスY

CVRが 156％改善

3.57% ⇒ 9.15％

サービスX

CVRが 31％改善

46.59%⇒ 61.13％

概要




サービスY

CVRが 156％改善

3.57% ⇒ 9.15％

サービスX

CVRが 31％改善

46.59%⇒ 61.13％

概要


オンラインでもword2vecロジックによるレコメンドの方が効果が高い


レコメンドエンジンの更なる進化〜仮説



ベクトル

ベクトルを足し合わせると、ユーザーの志向を捉える事が出来るのではないか？



ベクトル


item-A

item-B

User-Vec

item-D

item-C



ベクトルを足し合わせれば、志向ベクトルを作れる！？

ベクトル


item-A

item-B

User-Vec

item-D

item-C


レコメンドエンジンの更なる進化〜ベクトル足し算



ユーザー



ユーザー


時系列

①ユーザーが最直近でアクションしたアイテムを10件抽出



ユーザー


時系列

① ②ユーザーが最直近でアクションしたアイテムを10件抽出

それぞれのアイテムのベクトルを足し、合成ベクトルを作成

Int-Vec



ユーザー


時系列

① ②ユーザーが最直近でアクションしたアイテムを10件抽出


item-Q

item-I

item-O

Int-Vec

③

合成ベクトルと類似度の高いアイテムを抽出



ユーザー


時系列

① ② ④ユーザーが最直近でアクションしたアイテムを10件抽出


リストを作成

item-Q

item-I

item-O

レコメンド

Int-Vec

③




ユーザーがアクションしたアイテムの合成ベクトルを志向ベクトルと見なす

ユーザー


時系列

① ② ④ユーザーが最直近でアクションしたアイテムを10件抽出


リストを作成

item-Q

item-I

item-O

レコメンド

Int-Vec

③



レコメンドエンジンの更なる進化〜効果検証



概要

オンラインで、ユーザーを２つのグループに分け、word2vecロジックとword2vec足し合わせロジックでのレコメンドリストを提示し、CVRの違いを調査する



サービスZ

CVRが 27％改善

21.56% ⇒ 27.29％

概要




ベクトルを足し合わせる事によってユーザーの志向を捉える事が出来た

サービスZ

CVRが 27％改善

21.56% ⇒ 27.29％

概要



レコメンドエンジンへの実装〜 Hadoop活用

Hadoop

レコメンド生成バッチ

ユーザー行動ログ

集計バッチユーザー情報

行動ログ

ユーザー毎のレコメンド

ユーザー毎のパーソナライズレコメンドを日次で実施（主にHive）


ユーザー

Web

HBase

レコメンドテーブルの参照API

Hadoop

行動ログ集計バッチ

検索API

APIリクエスト

検索行動

レコメンド取得

レコメンド

バルクロード

テーブル参照

リアルタイムレコメンドへの実装〜 HBase活用

ユーザーの志向をリアルタイムで捉え、リアルタイムにレコメンドを実施


ここまでのまとめ

• ユーザーのアクションログをword2vecのインプットに使用し、アイテムをベクトル化している

→文章を１ユーザーのログ、単語をアイテムと見なす

• ベクトル同士のcos類似度を計算することで、レコメンドエンジンに活用している

• 類似度計算ではHadoopを使って分散処理を行い高速化している

• ベクトルを足し合わせることでユーザーの志向を捉える事ができる


doc2vecを使った文書要約


doc2vecとは

文章をベクトル化する

1. I am a cat. 2. As yet I have no name.3. ……

1. I am a cat. (0.2, 0.4, 0.9, …) 2. As yet I have no name. (0.5, 0.7, 0.8, …) 3. ……

doc2vec


仮説〜 doc2vecを文書要約に使う着眼点



ベクトル領域

複数の文章ベクトルによって作られた領域は、その中に入るベクトルを意味的に内包するのではないか？



一番大きな領域を作る文章ベクトルを取れば、文書のまとめが作れる！？

ベクトル領域

複数の文章ベクトルによって作られた領域は、その中に入るベクトルを意味的に内包するのではないか？


文書要約のイメージ



文章1

文章2

文章10

文書

…

文章3



文章1

文章2

文章10

文書

…

文章3

文章をベクトル化して

プロットする



文章1

文章2

文章10

文書

…

文章3


プロットする



文章1

文章2

文章10

文書

…

文章3


プロットする文章1

文章10

文章7

文章6

文章3

文章2

文章9 文章5

文章4

文章8



文章1

文章2

文章10

文書

…

文章3



文章10

文章7

文章6

文章3

文章2

文章9 文章5

文章4

文章8

【参考論文】

http://www.cs.cmu.edu/~dyogatam/papers/yogatama+liu+smith.emnlp2015.pdf



文章1

文章2

文章10

文書

…

文章3



文章10

文章7

文章6

文章3

文章2

文章9 文章5

文章4

文章8

【参考論文】

http://www.cs.cmu.edu/~dyogatam/papers/yogatama+liu+smith.emnlp2015.pdf

文書1,3,6,7,10は

文書2,4,5,8,9を意味的に内包するのではないか？


実証実験〜プレミア12に関する投稿をまとめてみる



実験手順

記事の内容の把握、及びクレンジング

プレミア12準々決勝日本vsプエルトリコの試合のニュース記事に関するコメント（計１６１件）

投稿のベクトル化、及びまとめに使用する投稿の抽出

今回は5つのコメントを抽出して要約を試みる



ちなみに試合の内容は…

・４番の中村選手が欠場

・先発の前田投手が好投（７回無失点）

・打線は１３安打９得点

・坂本選手が16打席ぶりのヒットを含む２安打３打点

・９回にプエルトリコが３ランホームラン

etc…

実験手順

記事の内容の把握、及びクレンジング

プレミア12準々決勝日本vsプエルトリコの試合のニュース記事に関するコメント（計１６１件）

投稿のベクトル化、及びまとめに使用する投稿の抽出

今回は5つのコメントを抽出して要約を試みる



結果

前田健太はもう決勝投げないだろうな今日7回まで行かしたってことはそういうことだな。

来季メジャーもあるし無理はさせない。

先発は大谷と菅野か武田中継ぎは山崎・則本・牧田

炎上組松井・増井・西・小川微妙組大野・澤村

なんか炎上組は使いたくないし大野と澤村も内容悪いし

やっぱ中継ぎ全然足りてないわ

CS見てない人にはわからないかもしれんが、大谷は間隔が空きすぎるとダメになる。

ましてや東京ドームが苦手。初戦でボコられた韓国サイドは研究に

研究を重ねてリベンジして来ると考えると炎上して大敗するのが妥当。

よって戦犯大谷ということになる。まあ、野手が頑張って打撃戦に持ち込

めば話は別だが、相手の先発は何があっても負けないイデウンだから無理でしょう。

仮に大谷が炎上して負けても大谷一人のせいにしないで欲しいです(涙)。

調整登板させなかった首脳陣にも問題があるんだから(震え声)

ツイッター上のハムファン全員が増井燃えると予言してて草生えたわｗ

やはり増井はセーブかホールド機会で投げさせないとアカンな

平田三塁打→松田犠牲フライで実質試合終了なものだろ

ここで一番温い試合してしまったのは問題あるわ

増井に不安がある以上マッスルミュージカルは覚悟しとかないとな

マエケンは7回90球、中4日で決勝先発は十分ありうる

中村外して中村入れる打線は悪くはないんだが中田が案の定6番外れたら内容が悪くなった

どうすりゃいいんかね？

今まできつい試合ばかりだったからね、こんな試合もたまにはいいでしょ。でも、気は弛めないで！



特定の偏ったコメントではなく、満遍なくコメントが拾う事が可能

結果

前田健太はもう決勝投げないだろうな今日7回まで行かしたってことはそういうことだな。

来季メジャーもあるし無理はさせない。

先発は大谷と菅野か武田中継ぎは山崎・則本・牧田

炎上組松井・増井・西・小川微妙組大野・澤村

なんか炎上組は使いたくないし大野と澤村も内容悪いし

やっぱ中継ぎ全然足りてないわ

CS見てない人にはわからないかもしれんが、大谷は間隔が空きすぎるとダメになる。

ましてや東京ドームが苦手。初戦でボコられた韓国サイドは研究に

研究を重ねてリベンジして来ると考えると炎上して大敗するのが妥当。

よって戦犯大谷ということになる。まあ、野手が頑張って打撃戦に持ち込

めば話は別だが、相手の先発は何があっても負けないイデウンだから無理でしょう。

仮に大谷が炎上して負けても大谷一人のせいにしないで欲しいです(涙)。

調整登板させなかった首脳陣にも問題があるんだから(震え声)

ツイッター上のハムファン全員が増井燃えると予言してて草生えたわｗ

やはり増井はセーブかホールド機会で投げさせないとアカンな

平田三塁打→松田犠牲フライで実質試合終了なものだろ

ここで一番温い試合してしまったのは問題あるわ

増井に不安がある以上マッスルミュージカルは覚悟しとかないとな

マエケンは7回90球、中4日で決勝先発は十分ありうる

中村外して中村入れる打線は悪くはないんだが中田が案の定6番外れたら内容が悪くなった

どうすりゃいいんかね？

今まできつい試合ばかりだったからね、こんな試合もたまにはいいでしょ。でも、気は弛めないで！


実サービスへの展望〜口コミのまとめ



MROC(Marketing Research Online Community)

ある特定の商品やテーマなど共通の興味を持った人々をメンバー限定のコミュニティに招待し、自由にディスカッションしてもらいながら、消費者のニーズを探る調査手法





一つのテーマにつき、数百のコメントが付く





どのような事が話されているかを整理する事が非常に大変

一つのテーマにつき、数百のコメントが付く



アットホームな式にしたい

リゾート挙式がしたい

極力シンプルにしたい

沢山のゲストに来て欲しい



アットホームな式にしたい

リゾート挙式がしたい

極力シンプルにしたい

沢山のゲストに来て欲しい

テーマに対してどのようなコメントが来ているのかをまとめる


実サービスへの展望〜新規コメントの抽出



①既存の口コミで領域を作成



① ②既存の口コミで領域を作成

新規の口コミをプロット



① ② ③既存の口コミで領域を作成

新規の口コミをプロット領域に含まれるか否かを判定



新規の口コミが「新しい内容を含むかどうか」の判別を行う

① ② ③既存の口コミで領域を作成

新規の口コミをプロット領域に含まれるか否かを判定


まとめ


本日のまとめ

• ユーザーのアクションログをword2vecのインプットに使用し、アイテムをベクトル化している

• ベクトル同士のcos類似度を計算することで、レコメンドエンジンに活用している

• ベクトルを足し合わせることでユーザーの志向を捉える事ができる

• 文書要約にdoc2vecを活用している

• 定性的に見て、doc2vecを使った文書要約が有用であることが分かった

• doc2vecを口コミの整理や、新たなコメントの内容が新規であるかどうかの判断ロジックとして活用を検討


今後の展望

リアルタイムでのユー

ザー志向分析

グラフ分析及び

グラフDBの導入

AB

C

D

E

w(t)

w(t+1)

w(t+5)

・・・

w(t-1)

w(t-5)・・・


ビジネスを踏まえて泥臭くかつアグレッシブに分析・エンジニアリングができる方。

ご連絡ください。

戦友をさがしています。

Yes, We Are Hiring!池田裕一

ご清聴ありがとうございました

リクルート式 自然言語処理技術の適応事例紹介

Technology

リクルート式自然言語処理技術の適応事例紹介