機械学習を実際のビジネスに適用する - amazon s3通常のcrowdflowerの例...

機械学習を実際のビジネスに適用する Lukas Biewald

Proprietary and Confiden6al - Do Not Distribute

FEBRUARY 8, 2017

CrowdFlower

最初の仕事 (2004)


ガートナーのハイプ・サイクル

機械学習

ベンチャーキャピタル投資


データ科学投資

大きな勝利


自律走行車

9

機械学習プラットフォーム


機械学習を活用するCrowdFlower顧客


オンラインショッピング検索の関連性


顧客サポートチケット


ソーシャル　メディア　リスニング


コンピュータビジョン


機械学習はアルゴリズムだけではありません


AI = TD + ML + HITL Training Data トレーニングデータ

Human-in-the-loop 人間参加型アルゴリズム

アルゴリズムは人よりスマートではありません…

アルゴリズムは人よりも忍耐強い

Facebookのトレーニングデータ


グーグル翻訳のトレーニングデータ


オンラインショッピング検索のトレーニングデータ


自律走行車のトレーニングデータ


機械学習にはトレーニングデータが必要


0%

2%

4%

6%

8%

10%

12%

14%

N 2N 4N

Erro

r Rat

e

アルゴリズムはまだ間違う...?


0%

2%

4%

6%

8%

10%

12%

14%

N 2N 4N

Erro

r Rat

e

時には99％の精度は素晴らしいです…


時には99％の精度は致命的です…


時にはアルゴリズムを改善するのは簡単

27

0%

10%

20%

30%

40%

50%

60%

70%

Baseline 12-May 13-May 14-May 15-May

Acc

urac

y アルゴリズムの精度

時にはアルゴリズムを改善するのは難しい

28

0%

10%

20%

30%

40%

50%

60%

70%

80% 12

-May

14-M

ay

16-M

ay

18-M

ay

20-M

ay

22-M

ay

24-M

ay

26-M

ay

28-M

ay

30-M

ay

1-Ju

n

3-Ju

n

5-Ju

n

7-Ju

n

9-Ju

n

11-J

un

13-J

un

15-J

un

17-J

un

19-J

un

21-J

un

23-J

un

25-J

un

27-J

un

29-J

un

1-Ju

l

3-Ju

l

5-Ju

l

Acc

urac

y アルゴリズムの精度

人間参加型

アルゴリズム

アウトプット

信頼度が高い

人間参加型

信頼度が高いアルゴリズム

人間

アウトプット

人間参加型

信頼度アルゴリズム

人間

学習

アウトプット

通常のCrowdFlowerの例


トレーニングデータ人間参加型機械学習

MicrosoO Azure ML

初期400,000件のサポートチケット

毎日200,000件の新規

サポートチケット

40%は自動化 60%は人が参加

米国の郵便局 (1982)

ありがとうございました!!

Lukas Biewald @L2K


機械学習を実際のビジネスに適用する - amazon s3通常のcrowdflowerの例...

Documents