intra-martのai基盤「im-ai」新登場! · copyright © 2017 ntt data intramart corporation...
TRANSCRIPT
Copyright © 2017 NTT DATA INTRAMART CORPORATION
NTTデータイントラマート
デジタルビジネス事業推進室
高松 大輔
既存アプリを気軽にインテリジェント化。
intra-martのAI基盤「IM-AI」新登場!
IM-AI基盤のご紹介
Copyright © 2017 NTT DATA INTRAMART CORPORATION
アジェンダ
2
intra-martのAI基盤ご紹介
KNIMEについて
活用例のご紹介
今後の取り組み
まとめ
2
345
1
Copyright © 2017 NTT DATA INTRAMART CORPORATION
intra-martのAI基盤(IM-AI基盤)について
4
Accel
Platform-システム共通
基盤-
Accel-Mart-クラウドサー
ビス-
IM-BPM-業務プロセス(BPM)-
業務システム
Accel Applications-アプリケーション
シリーズ-
パートナーソリューション
IM-AI基盤
Copyright © 2017 NTT DATA INTRAMART CORPORATION
DMP(データ・マネジメント・プラットフォーム)構想
5
パブリック版
IM-DMP
各顧客様に対してパーミッションを取得して個人情報以外のデータを集約する。
A社 B社 C社 D社 E社 F社
プライベート版
IM-DMP
プライベート版
IM-DMP
プライベート版
IM-DMP
プライベート版
IM-DMP
プライベート版
IM-DMP
プライベート版
IM-DMP
データ提供者に、パブリックデータを用いたデータモデルをフィードバック
Accel-Martを想定
Copyright © 2017 NTT DATA INTRAMART CORPORATION
IM-AI基盤の位置付け
6
(GUI開発機能)
IM-
DMP
データソース
機械学習処理フロー
学習モデル
他の機械学習ツール IM-IoT基盤
IM-LogicDesigner
intra-martアプリ
IM-AI基盤
hadoop
Elasticsearch
Copyright © 2017 NTT DATA INTRAMART CORPORATION
KNIMEについて(1/7)
8
KNIMEとは
KNIMEはドイツの Konstanz大のバイオ系の部門が開発したOSSプラットフォームです。EclipseベースでJavaで作られており、拡張プラグインでWeka、R、Python などを呼び出して利用できます。GUIベースでデータ読込みから、デプロイ、レポーティングまでEnd-To-Endな分析が可能になります。
Copyright © 2017 NTT DATA INTRAMART CORPORATION
KNIMEについて(2/7)
9
KNIMEの豊富な機能群
KNIMEでは、1000種を超えるノード群と豊富な分析アルゴリズムが提供されており、まさに分析者にとって最適な統合環境となります。
他にも多種のノードが使用できます。
ファイル読み込み等 データ操作
分析アルゴリズム
Copyright © 2017 NTT DATA INTRAMART CORPORATION
KNIMEについて(3/7)
10
KNIMEの豊富なサンプル・アクティブなコミュニティ
KNIMEを使った分析を円滑に進めるための豊富なサンプル、ユーザー・開発者向けのフォーラムなど充実しています。
豊富なサンプル フォーラム(カテゴリも多数)
Copyright © 2017 NTT DATA INTRAMART CORPORATION
KNIMEについて(4/7)
11
KNIMEの拡張機能により、独自のプラグイン開発、大規模データの分析が可能※
KNIME Analytics Platformを中心にスケーラビリティ・オプションとコラボレーションツールなどの提供も行っています。さらに独自の拡張機能を追加できるようなプラグインを作成することができます。
生産性
コラボレーションスケーラビリティ
独自拡張機能
※一部有償提供となります。
Copyright © 2017 NTT DATA INTRAMART CORPORATION
KNIMEについて(5/7)
12
intra-mart謹製のKNIMEプラグインElasticSearchへの読み書きを行う拡張機能
その他ロジックデザイナー連携部品や各種ユーティリティをintra-martプラグインとして追加しております。
Copyright © 2017 NTT DATA INTRAMART CORPORATION
(付録)一般的な機械学習の流れ
14
1.データ収集
分析対象となるデータを収集します。教師あり学習を行う場合は教師データも必要となります。
5.チューニング
モデルの評価を行います。分析結果とモデルから指標値を算出することで、そのモデルの妥当性を定量的に評価し次の分析時のパラメータ設定などの参考とします。
2.データ整形
収集したデータを扱いやすい形に加工します。「データクレンジング」と呼ばれる作業もこのフェーズで行われます。
4.機械学習
機械学習を行って分析を行います。基本的には学習データを用いて機械学習モデルを作成し、そのモデルを用いて予測や分類など行うことになります。
3.特徴抽出
データを機械学習で扱うことが可能な特徴ベクトルという形式に変換します。(様々な手法が存在します。)
Copyright © 2017 NTT DATA INTRAMART CORPORATION
KNIME × intra-mart
16
連携パターン 詳細 活用例
IM-LogicDesigner→KNIME呼び出し
IM-LogicDesignerからKNIMEのフローを呼び出す
アドホックな機械学習
KNIME
→IM-LogicDesigner呼び出し
KNIMEのフローからIm-LogicDesignerを呼び出す
学習時の例外を通知
学習モデルの移送 KNIMEで作成した学習モデルをIM-IoT基盤上で実行。(Spark上でモデル利用)
高トラフィック環境での予測・異常検知
IM-IoT連携プラグイン IM-IoT基盤と簡単に接続可能なKNIMEノードを追加
IoTとの連携
Copyright © 2017 NTT DATA INTRAMART CORPORATION
IM-IoT基盤との関連
17
IM-AI基盤は大きく2種類のプラットフォームより構成されています。
KNIME:GUIでフロー作成、学習、予測を行うツール単体で利用できる。
IM-IoT基盤:大規模データ、ストリーミングデータに対する処理で利用できる
プラットフォーム・コンポーネントは共存可能で、それぞれ利用でき
るコンポーネントは以下の通りとなっています。
KNIME IM-IoT基盤
KNIME-Executor MLExecutor
MLExecutor+Spark
SparkMLlib
KNIME-SparkExecutor
Copyright © 2017 NTT DATA INTRAMART CORPORATION
機械学習の適用領域
18
回帰
線形
非線形
ノンパラメト
リック
分類
決定木
アンサンブル
SVM
クラスタリング
k-Means
ウォード法
DBSCAN
………
教師あり 教師なし
Copyright © 2017 NTT DATA INTRAMART CORPORATION
活用例① オペレーションの効率化(1/2)
20
日常業務ログを自動収集し、使うほど精度の高いサジェストを提供する。
Copyright © 2017 NTT DATA INTRAMART CORPORATION
活用例① 作り方
21
データ収集
BPMで入力修正された項目を収集
特徴抽出
入力項目の修正率をユーザ毎に計算、One-To-Manyによる特徴ベクトル作成
アルゴリズム
コサイン類似度をユーザー間の類似度とみなして類似ユーザを決定、類似ユーザの入力
修正した項目を推薦
コサイン類似度の計算によって
類似するユーザを抽出するKNIMEワークフロー
Copyright © 2017 NTT DATA INTRAMART CORPORATION
活用例② スケジュール自動設定機能
22
質問に答えるだけで、面倒な日程候補作成を自動可するツール日程自動調整機能と連動し、自動的に他メンバーを調整することもできる。
参加者は?候補期間は?会議室利用は?確保時間は?曜日指定は?
日時 会議室 制約 選択
4/24(月)
13:00-14:00
A会議室(10名)
田中さんが出席できません
4/26(水)
11:00-12:00
B会議室(12名)
なし
5/8(月)
15:00-16:00
C会議室(8名)
会議室が少し狭いです。
…
(仮)調整中
(仮)スケジュール
Xxxさんが調整中のスケジュールです。調整メール用テンプレート以下の日程候補でいかがでしょうか。1.4/26(水) 11:00~12:00 弊社(B会議室)
2.5/8(月) 15:00~16:00 弊社(C会議室)
レ
レ
候補を選択すると、日程候補を自動設定、メールテンプレを作成
Copyright © 2017 NTT DATA INTRAMART CORPORATION
活用例② 作り方
23
スケジュール重要度判断機能、キーマン判断機能
データ収集
intra-mart Accel Collaboration スケジュール情報
(スケジュールコード、タイトル、参加者)
特徴抽出
データ変換(One-To-Many、Min-Max)
アルゴリズム
K-Means法(クラスタリング)
K-Means法によって
クラスタリング数を決定する
KNIMEワークフロー
Copyright © 2017 NTT DATA INTRAMART CORPORATION
AIエージェントの紹介
24
機械学習結果のサジェストに利用
プラグインで任意の画面に追加できる。
アイコンは差し替え可能。
AIの分析結果をユーザに伝える「AIエージェント」
Copyright © 2017 NTT DATA INTRAMART CORPORATION
今後の進め方
26
IM-AI基盤上で動作するアプリの拡充
プロセスの自動作成
パーソナルサジェスト
年内はPoCを中心に実施
機械学習を活用した予測・兆候分析
データマイニング
トレンド分析
マーケティング分析
Copyright © 2017 NTT DATA INTRAMART CORPORATION
まとめ
28
IM-AI基盤が利用可能になりました
KNIMEを利用して簡単に機械学習を作成し、
intra-martで活用可能です。
PoCのご相談おまちしております
ポイント1
ポイント2
ポイント3