20160913 gpu deep-learningcomminity-morpho_20160912-公開用rev2

Copyright © 2016 Morpho,Inc. All Rights Reserved.

モルフォにおけるDeep Learning 事業の取組み

2016年9月13日株式会社モルフォネットワークサービス事業部

湯浅隆史


モルフォ

2

ComputationalPhotography

Deep Learning

（画像処理技術）（画像認識技術）

新たなイメージング・テクノロジーを創造する


Deep Learning に関する取組み

3

DENSO モルフォ

世界にインパクトを与える R & D


Deep Learning に関する取組み

4

NTTコミュニケーションズ

富士フイルム前田建設工業モルフォ

既存の Deep Learning 技術を使いこなす！

・・・


事業取り組み事例のご紹介

現在は画像分類（classification）技術に注力中（事業部）

– 充分なノウハウ蓄積済み

– 学習・評価データ収集についてもっともハードルが低い

» 特殊な画像の場合、顧客しかデータを持っていないケース多数

実績を最優先

問い合わせ・取組の分野は多岐

– 一般画像だけでなく、特殊用途も多数

– 応用先により要件は多種多様

本日のトピック

5

例内容

一般画像分類スマホやデジカメで撮影した通常写真の、いわゆる「タグ付け」

Web サイト分類画像を利用した Web サイト分類

外観検査（装置）製造業における「良品」「不良品」の判定

外観検査（目視）人が目視で外観から診断・判断

公表できない内容が多いため本日は抽象度をかなり上げて・・・


Deep Learning 関連事業推進体制

6

R&D 部門

事業部

■新規技術の調査・検討・組込

■ネットワークモデルデザイン

■ライブラリ開発

■顧客課題ヒアリング

■顧客向けカスタマイズ

■学習・認識評価（顧客データ）

■ライブラリ製品化・システム開発

コア技術

応用

■各種サポート

GPU搭載サーバ20台以上

エンジニア10名超

モルフォ社内


Deep Learning 関連製品

7

画像認識ライブラリDeep Learning学習システム

画像管理システム

・フルスクラッチ開発の C ライブラリ・高速動作（GPU、マルチスレッド、SSE/NEON等）

・ウェブブラウザ UI の学習システム・独自デザインのネットワークモデルをプリセット・主な想定

‐ データを社外に持ち出せない‐ 継続的な性能改善に取り組みたい‐ 非 IT 系分野

・高効率な画像タグ付け＆管理システム・シームレスに学習用画像へ

自分たちで開発し自社内で運用必要な機能の抽出・実装、スピード感のある開発を実現


案件の流れ

8

1. 問い合わせ 2. 初期検討 3. 有効性評価 4. ライセンス

毎月新規問い合わせ多数

取組実績

取り扱ったデータセット：約20種（数十枚～数千万枚）

開発したモデル：約30種（10層～50層程度）

画像認識エンジン学習システム

展示会への出展により特に検査系のお問合せ多数・「マシンビジョンテクノロジー展」・「画像センシング展」


初期ヒアリング

– 画像が対象か？

– 人（専門家でも可）が見て画像だけから判断できるか？

» 違う作業者が見ても同じ判断になるか？同じ人が違う日に見ても同じ判断になるか？

– ソフトウェアの置換え or 人の作業の置換え or まったく新しい取組み？

» ソフトウェアの置換え ⇒ 各種要件のリファレンス

» 人の作業の置換え・新しい取組み ⇒ 問い合わせ時点では性能要件・判断基準が不明確なことも多い

– 学習／評価用画像はどれくらいあるか？社外に持ち出し可能か？

– 認識を実行させる環境は？

1. 問い合わせ

9

いま取り組んで、スピーディに顧客に満足頂けるレベルに達し得るか？

（Deep Learning で）○○はできないか？


顧客に Deep Learning を実感してもらう

– データ受領と確認

» 一般画像分類以外の特殊画像を対象にするケースが多い

» 受領データが100%正しいとは限らない

－多量の画像を人手で分けているとミスもある、既存ソフトの結果であればミスもある

– トライする内容の検討

» データ数、データの精度、人の目で見たときの難しさ等を勘案。担当者の勘によるところは大きい。

– 学習の実行

» 顧客（アプリケーション）ごとの性能要件をどの程度満たす結果となるか、具体的な数値は結果が出るまでエンジニアにも不明

» 概ね、良好な結果が出て満足頂けることが多い

2. 初期検討

10

「やってみる」

次のステップに進めるかどうかの強力な顧客判断材料に


【学習実行】・自社学習システム

・caffe, etc.

多様な要件に応える

– 目標と期間を定めて学習の PDCA

3. 有効性評価

11

適用したい問題に本当に有効か？

【結果の確認】・学習の収束

・認識の傾向（正認識／誤認識）

【学習に影響する因子の検討】

・学習／評価データの精査

・ネットワークモデル

・認識カテゴリの検討－分け方／定義

・ハイパーパラメータ－ランダムサーチ

・アプリケーション固有の対策

P D

CA

要件を満たすためのアプローチを探索


4. ライセンス

12

システム／アプリケーションへの組み込み

製品のライセンス

– サポートは継続

» 製品のバージョンアップ

» Deep Learning 学習システムのライセンスでは学習アプローチの相談等も


「ブラックボックスにしたくない」

ある意味、Deep Learning の対極。検査系等で多い。

要件例（１）

13

非専門家にもわかりやすい可視化

犬

猫

・・・

convolution pooling convolution pooling fully connected

特徴量抽出全結合層

「犬」カテゴリの反応エリア

「猫」カテゴリの反応エリア

フィルタや特徴マップの可視化は伝わりづらい


認識の実行環境／処理速度

サーバ

– CPU 動作

スマートフォン（非クラウド）

– 組込 CPU 動作

PC

– ex.「10,000個/分のスループット、1個あたりのレイテンシは20msec、CPU のみで」・・・

要件例（２）

14

モデルデザインを極める

高速化

・10層～50層程度、精度と速度のトレードオフ・GoogleNet, VGG, ResNet, SqueezeNet, SegNet などを参考に独自ネットワーク構築

・GPU 以外に CPU 処理のアプローチ。マルチスレッド、SSE / NEON、16bit 固定小数点など。・モデルもあわせて検討


認識精度／カテゴリ

高精度

– ex. 「不良品」100%、「良品」99% （を CPU 数十ミリ秒で）（外観検査）

間違えたくないパタン

– ex.「ペット」写真を「食べ物」に分類（一般画像認識）

– ex.「通常画像」を「有害画像」に分類（Web フィルタリング）

判断が難しいカテゴリ

要件例（３）

15

ex.「屋内」「屋外」分類

屋内から屋外を撮った写真？？

ex.「食べ物」分類

食べ物食べ物にしたくない

ex.「不適切画像」分類

no image

女性の上半身裸 ⇒ 不適切画像男性の上半身裸 ⇒ 通常画像

データ精査、カテゴリ定義・カスタマイズ


既存システム

最大の競争相手は「既存のシステム（ワークフロー）」。Deep Learning 技術導入には様々なハードルがある。どうすれば Deep Learning を取り入れてもらえるか？

データ

データ量が少ない

– 「データの量と質が重要」と繰り返し説く ⇒ なんとかして集めてくれるもの

– Fine tuning による対応

正解が途中で変わる

– 人の見落とし、既存ソフトウェアの精度、等

– 増加・減少・カテゴリ移動

問合せ件数

常にエンジニア不足気味。これまでの実績重視を基に今後は事業のスケールに注力。

共通課題

16


まとめ

17

Deep Learning 実用化に向け解決すべき課題は多数データ・対象・精度・処理時間・既存システム etc. …

選択と集中

研究開発カスタマイズ

・画像に特化

・モデルデザイン・ライブラリ開発・ツール・システム開発・アプリケーションごとの対応

20160913 gpu deep-learningcomminity-morpho_20160912-公開用rev2

Presentations & Public Speaking