20130109 検索cross yasuda

検索Cross

Amebaの事例紹介

株式会社サイバーエージェント アメーバ事業本部 Ameba Technology Laboratory 安田 征弘

2 株式会社サイバーエージェント

自己紹介

・ 安田 征弘

・ Software Engineer

・ Ameba Technology Lab

・ 検索、レコメンデーション、スパムフィルタ

ワードサジェスト、トレンドランキング

シソーラス、年齡詐称抽出

3 株式会社サイバーエージェント

・ 2011/4 秋葉原に開設

・ 約20名 ( 2013年1月 )

Ameba Technology Laboratory

4 株式会社サイバーエージェント

推薦 フィルタリング

データマイニング 検索

ともだち

ニュース ブログ 技術領域

大規模 分散処理

(ログ解析基盤)

コミュニティ

ピグ その他多数

スマホ ゲーム

メッセージ つぶやき ブログ ともだち アプリ

Ameba全般

ブログ

5 株式会社サイバーエージェント

・ 課題

本日の内容

・ 現状(事例紹介)

6 株式会社サイバーエージェント

本日の内容

・ 現状(事例紹介)

・ 課題

7 株式会社サイバーエージェント

Service Recommendation

Trend Ranking

Word Completion

Thesaurus

Log Data

Search API

Spam Filtering

…

Small Scale -> SolrCloud

Mid/Large Scale -> Solr(master-slave)

Query response times: 1~100ms

Queries per day: 12~13M

現状

8 株式会社サイバーエージェント

現状 Service Recommendation

Trend Ranking

Word Completion

Thesaurus

Log Data

Search API

Spam Filtering

…

Small Scale -> SolrCloud

Mid/Large Scale -> Solr(master-slave)

Query response times: 1~100ms

Queries per day: 12~13M

9 株式会社サイバーエージェント

・ 課題

本日の内容

・ 現状(事例紹介)

10 株式会社サイバーエージェント

課題(進めていること)

• 共通解析ライブラリ(独自)の整備 • リアルタイム性 - データ転送 - アルゴリズムの改良 - システム連携・設計の見直し • 検索精度の向上 - 辞書拡張、スペル訂正、コミュニティ分析 etc. • 監視体制、ツール、アノテータ

11 株式会社サイバーエージェント

課題(進めていること)

• 共通解析ライブラリ(独自)の整備 • リアルタイム性 - データ転送 - アルゴリズムの改良 - システム連携・設計の見直し • 検索精度の向上 - 辞書拡張、スペル訂正、コミュニティ分析 etc. • 監視体制、ツール、アノテータ

大規模分散処理

システム設計・構築

プログラミング

統計

検証

機械学習

必要なスキル

12 株式会社サイバーエージェント

Personalized Search

Recommendation Search API

Distributed Search

(Solr×Recommendation)

shard3

shard1

shard2

default recommend

shard3

shard1

shard2

default (検索条件に応じたクエリ)id age rankA 20 1B 30 2

recommend (検索条件に応じたクエリ+recommend:ログインID)id age rank recommendA 20 2 BB 30 4 C,D

13 株式会社サイバーエージェント

SolrCloud

Talent Search Blog Search

News Search Community Search

(従来)

Talent, Blog, News, Community Search

(今後)

SolrCloud

Cluster

ネットワーク設定、サーバー構築

リソース管理の効率化

14 株式会社サイバーエージェント

Flume Service Recommendation

Trend Ranking

Word Completion

Thesaurus

Spam Filtering

…

Activity Log

Collector

Realtime analytics

Realtime updates

Bulk update

共通解析ライブラリの利用

15 株式会社サイバーエージェント

ご清聴ありがとうございました！