Download - 20160512
検索 G で取り組んでいる画像処理について
2
アジェンダ
• 自己紹介
• 検索 G について
• 画像処理背景
• ROI 抽出 色認識 エンジン
• デモンストレーション
• 今後の予定
3
自己紹介
4
自己紹介
氏名:大川 真吾
所属:サービス事業本部 Syn. 事業部 検索サービス部
職種:バックエンドエンジニア
担当:クエリパーサー実装
BOT 判定器実装
テキストストリームフィルタ
画像処理
5
検索 G について
6
検索 G について
全文検索エンジン?
7
検索 G について
全文検索エンジン?
8
検索 G について
全文検索エンジン!情報
高速文字列解析
高性能計算
自然言語処理 全文検索
統計モデル
データ解析
形式言語処理UI / UX
デザイン
機械学習信号処理分散処理
9
検索 G について
全文検索エンジン!情報
高速文字列解析
高性能計算
自然言語処理 全文検索
統計モデル
データ解析
形式言語処理UI / UX
デザイン
機械学習信号処理分散処理
10
検索 G について
全文検索エンジン!情報
高速文字列解析
GPU
自然言語処理 色インデックス
統計モデル
クラスタリング
形式言語処理UI / UX
デザイン
機械学習画像処理分散処理
11
画像処理背景
12
画像処理背景
知っていますか?
13
画像処理背景
【WWWコンテンツ統計調査報告書】 総務省 情報通信政策研究所 平成19年3月
14
画像処理背景
【WWWコンテンツ統計調査報告書】 総務省 情報通信政策研究所 平成19年3月
15
画像処理背景
利用していますか?
画像は参考にしますか?
16
画像処理背景
17
画像処理背景
• EC サイトなど画像が重要な要素になりうる
• 検索サービスの外販化に向けた多様化
• 視覚情報は個人の社会的属性になりうる
• 様々な媒体で情報が顕在
• 視覚障害者の支援
18
ROI 抽出 色認識 エンジン
19
ROI 抽出 色認識 エンジン
20
ROI 抽出 色認識 エンジン
色空間 (RGB) のヒストグラム?
21
ROI 抽出 色認識 エンジン
COUNT
RGB
22
ROI 抽出 色認識 エンジン
RGB
COUNT
23
ROI 抽出 色認識 エンジン
• 単純なヒストグラムでは特徴を捉えられない
• 背景と ROI ( 関心領域 ) を分離する必要がある
• 色空間の座標データは扱いにくい
• RGB が人の視覚に近いとは限らない
24
ROI 抽出 色認識 エンジン
• 単純なヒストグラムでは特徴を捉えられない
• 背景と ROI ( 関心領域 ) を分離する必要性
• 色空間の座標データは扱いにくい
• RGB が人の視覚に近いとは限らない
Mean Shift クラスタリングによる特徴抽出
Level Set 法 による ROI 抽出
色空間変換による人の感覚のシミュレート
Octree インデックスによる色空間近接検索
25
CPU
GPU
OpenCL C++ (CUDA)
ROI 抽出 色認識 エンジン
CPU
GPU
Flask Python
MEAN SHIFTSEGMENTOR
PYTHONAPIs
RESPONSE
LEVEL SETROI
DETECTOR
OCTREECOLORINDEXR
EQUEST
OPENCLHOST
OPENCLDEVICE
OPENCLKERNEL
OPENCLDEVICE
OPENCLDEVICE
OPENCLDEVICE
26
ROI 抽出 色認識 エンジン
Mean Shift クラスタリング
27
ROI 抽出 色認識 エンジン
COUNT
RGB
28
ROI 抽出 色認識 エンジン
RGB
COUNT
29
ROI 抽出 色認識 エンジン
30
ROI 抽出 色認識 エンジン
Level Set ROI 抽出
31
ROI 抽出 色認識 エンジン
32
ROI 抽出 色認識 エンジン
33
ROI 抽出 色認識 エンジン
Octree インデックスによるラベル
34
ROI 抽出 色認識 エンジン
30 pale_red_violet rgb 219 112 147 hex #DB7093 hsv 340 49 86 . . .
31 pale_violet_red rgb 219 112 147 hex #DB7093 hsv 340 49 86 . . .
32 violet_red_pale rgb 219 112 147 hex #DB7093 hsv 340 49 86 . . .
33 fandango_pink rgb 222 82 133 hex #DE5285 hsv 338 63 87 . . .
35
デモンストレーション
36
デモンストレーション
Flask Python による REST API 化
37
デモンストレーション
クロップ有り クロップ無し
38
今後の予定
39
今後の予定
• 機械学習アルゴリズムによる認識器
• 汎用的な前処理 / 後処理モジュール
• 画像品質評価エンジン
• GPU ベースアーキテクチャの策定
• その他諸々