salesforce einstein - saas企業のai戦略とテクノロジ -
TRANSCRIPT
Salesforce Einstein- SaaS企業のAI戦略とテクノロジー -
Mitsuhiro Okamoto@mitsuhiro
Statement under the Private Securities Litigation Reform Act of 1995:
This presentation may contain forward-looking statements that involve risks, uncertainties, and assumptions. If any such uncertainties materialize or if any of the assumptions proves incorrect, the results of salesforce.com, inc. could differ materially from the results expressed or implied by the forward-looking statements we make. All statements other than statements of historical fact could be deemed forward-looking, including any projections of product or service availability, subscriber growth, earnings, revenues, or other financial items and any statements regarding strategies or plans of management for future operations, statements of belief, any statements concerning new, planned, or upgraded services or technology developments and customer contracts or use of our services.
The risks and uncertainties referred to above include – but are not limited to – risks associated with developing and delivering new functionality for our service, new products and services, our new business model, our past operating losses, possible fluctuations in our operating results and rate of growth, interruptions or delays in our Web hosting, breach of our security measures, the outcome of any litigation, risks associated with completed and any possible mergers and acquisitions, the immature market in which we operate, our relatively limited operating history, our ability to expand, retain, and motivate our employees and manage our growth, new releases of our service and successful customer deployment, our limited history reselling non-salesforce.com products, and utilization and selling to larger enterprise customers. Further information on potential factors that could affect the financial results of salesforce.com, inc. is included in our annual report on Form 10-K for the most recent fiscal year and in our quarterly report on Form 10-Q for the most recent fiscal quarter. These documents and others containing important disclosures are available on the SEC Filings section of the Investor Information section of our Web site.
Any unreleased services or features referenced in this or other presentations, press releases or public statements are not currently available and may not be delivered on time or at all. Customers who purchase our services should make the purchase decisions based upon features that are currently available. Salesforce.com, inc. assumes no obligation and does not intend to update these forward-looking statements.
Forward-Looking Statement
Agenda
§ Salesforce.com とEinstein
§ マルチテナントMLサービスを提供するための課題
§ Salesforce の場合の解決策
SalesforceとEinstein(AI)
§ マルチテナントクラウドサービス§ CRMを中心としたSaaSを提供
– 営業支援– マーケティング– サポート– 分析
§ Platform機能もあり– Force.com– Heroku
AppExchange Force.comHeroku
アプリアナリティクス
コミュニティマーケティング
サービスセールス
マルチテナントクラウドインフラストラクチャ
Salesforceとは
L i g h t n i n g
Salesforceとは
Salesforceとは
Salesforceとは
トレンドの移り変わり
メインフレーム/ターミナル
クライアント/ サーバ
10万メインフレーム
1000万PC
AI
IoTMobile
Social
Cloud
モバイル60億 750億
スーマトXX
AI はすでに生活に深く浸透
つながり・類似点の抽出深層学習(Deep Learning)
1-to-1のコネクション機械学習(Machine Learning)
直感的につながる自然言語処理(Natural Language Processing)
Apple Amazon Facebook
Marc Benioff
Parker Harris
ビジネスの場合、AI は非常に複雑
データ準備 & スケーラブルにインテグレーション
モデリング & データサイエンス
インフラストラクチャ
ビジネスコンテキスト
隠された複雑性
ビジネス上に求められる成果
AI
Relationship Intelligence
Predictive Scheduling
DataDiscovery
Machine Learning
Deep Learning
MinHash
Search Intelligence
Sales Intelligence
Data Management
Platform
Infrastructure Intelligence
2015 2016
Analytics
LeadingAI Experts
AIを実現するための投資
AI in the Salesforce Platform
Salesforce Einstein
Machine Learning • Deep Learning • Predictive Analytics • NLP • Smart Data Discovery
世界で最も賢いCRM
セールス, サービス, マーケティング & ITにパワーを
誰でもAIのパワーを使ったアプリを素早く作れる
世界で最も賢いCRMのために
Sales Cloud Einstein予測リードスコアリング商談インサイト自動活動キャプチャ
Service Cloud EinsteinCase分類レコメンデーションレスポンスレコメンデーション予測クローズ時間
Commerce Cloud Einstein商品レコメンデーション予測ソートコマースインサイト
App Cloud EinsteinHeroku + PredictionIOビジョンサービス感情分析サービス
Analytics Cloud Einstein予測Waveアプリスマートデータディスカバリ自動分析および抽出
IoT Cloud Einstein予測デバイススコアリングベストネクストアクションレコメンデーション自動IoTルール最適化
Community Cloud Einsteinエキスパート、記事 & トピックレコメンデーション自動サービスエスカレーションニュースフィードインサイト
Marketing Cloud Einstein予測スコアリング予測オーディエンス自動送信時間最適化
AppExchange Force.comHeroku
アプリアナリティクス
コミュニティマーケティング
サービスセールス
マルチテナントクラウドインフラストラクチャ
Einsteinを既存のPlatformの中に組み込む
L i g h t n i n g
Einsteinを既存のPlatformの中に組み込む
E i n s t e i n
L i g h t n i n gForce.com
HerokuAppExchange
Thunde r
セールス サービス マーケティング 分析コミュニティ アプリ コマース IoT
予測分析 機械学習& 深層学習
自然言語処理& 音声処理
マルチテナントインフラ
開発プラットフォーム
AIサービス
Eメール, カレンダー& ソーシャルデータ
CRM データIoT イベント
データサービス
アプリケーション
LeadIQ : モデルからのインサイト
LeadIQ : 見込み客のスコアリング
マルチテナント機械学習サービスを提供するための課題
AI 用語集
応答 (Response) : 予測したいものの結果例 : どの見込み客をコンバートすべきか？
特徴 (Features) : より正確な予測の応答をを得るための要素例 : 業界、郵便番号など
モデル (Model) : 特徴から応答を導き出すためのアルゴリズム例 : (x, y) = x1, x2, x3…、 xk, y）, p(G | E) = p(G) p(E | G) / p(E)
MLアプリを作るための標準的なメソトロジーデータマイニングのための業種横断の標準手法 (CRISP-DM)
一般的なMLアプリケーションの開発§ 1つのビジネスプロセスにフォーカス
– 似たようなユーザ体験• 同じ方法でユーザは製品を使う
– 固定化した特徴セット• データポイントおよびスキーマ
はあらかじめ定義済み– KPIおよびメトリクスは
あらかじめ定義済み– モデルの調整をデータ
サイエンティストが行う
どのように企業はMLアプリ(機能)を複数開発するか?App #1
+データサイエンティストApp #2
+データサイエンティスト
3つめのアプリを開発する場合
App #1+データサイエンティスト
App #2+データサイエンティスト
App #3+データサイエンティスト
Salesforceでこの方法を採用して開発した場合
x 数十万社の顧客
Lead Opportunity Case Lead Opportunity Case Lead Opportunity Case
Social App X App X
AppX App X App X
Social App X App X
AppX App X App X
Social App X App X
AppX App X App X
世界中のデータサイエンティストを雇い入れる?
機械学習の機能の数 x 顧客数
Sales Cloud Einstein予測リードスコアリング商談インサイト自動活動キャプチャ
Service Cloud EinsteinCase分類レコメンデーションレスポンスレコメンデーション予測クローズ時間
Commerce Cloud Einstein商品レコメンデーション予測ソートコマースインサイト
App Cloud EinsteinHeroku + PredictionIOビジョンサービス感情分析サービス
Analytics Cloud Einstein予測Waveアプリスマートデータディスカバリ自動分析および抽出
IoT Cloud Einstein予測デバイススコアリングベストネクストアクションレコメンデーション自動IoTルール最適化
Community Cloud Einsteinエキスパート、記事 & トピックレコメンデーション自動サービスエスカレーションニュースフィードインサイト
Marketing Cloud Einstein予測スコアリング予測オーディエンス自動送信時間最適化
MLのコアはほんの一部分にすぎない
機械学習サービスの提供に必要なもの
http://alexott.blogspot.com/2016/06/notes-on-practical-machine-learning.html
課題リスト
1. インフラストラクチャーとテクノロジー2. 信頼性とプライバシー3. 特殊なビジネスユースケース4. プラットフォームカスタマイゼーション5. 予測成功の基準6. 測定とモニタリング
課題 #1 : インフラストラクチャーとテクノロジー
§ どのツールを使うか？– データI/O– スケジューラ– プロセスエンジン– モデル管理– 監視– などなど・・・
課題 #2 : 信頼性とプライバシー
§ 信頼性– データは常にセキュアに保つ
必要がある
§ プライバシー– それぞれの顧客のデータは
分離してハンドリングする必要がある
“Nothing is more important to our company than the privacy of our data”- Parker Haris, CTO Salesforce
課題 #3 : 特殊なビジネスユースケース
§ 数百数千もの企業のデータをハンドリングする– ビジネスユースケースが
それぞれ違う• カスタマイズして使っている• B2B vs B2C• 小売、ホテル、SaaSプロバイダ
などなど…
– 利用サービスがそれぞれ違う• それぞれの企業が必要なサービスを利用
§ 特徴エンジニアリングは良いモデル生成の鍵– Salesforceカスタムオブジェクト
• ユーザ自身が必要に応じて追加可能
– 高次元• 特徴セットのコントロールが困難
– 特徴の相関係数• 任意のタイミングにユーザが
特徴を追加可能
課題 #4 :カスタマイゼーション : 豊富な機能
課題 #5 :予測成功の基準
§ 顧客ごとにスコア分布が異なる– 柔軟にランク付けをする必要がある
§ 90% - 10% 問題– モデルが多くの場合良く機能したとしても
少量の例外はある
§ 顧客に提供して実際に機能するか
課題 #6 : 測定とモニタリング
§ データの量の格差– 顧客ごとにデータのサイズは違う– 特徴が異なる
§ データ収集の方法§ アラート§ ログ
– デバッグ
再掲 : 課題リスト
1. インフラストラクチャーとテクノロジー2. 信頼性とプライバシー3. 特殊なビジネスユースケース4. プラットフォームカスタマイゼーション5. 指標となる成功の定義6. 測定とモニタリング
どうやってSalesforceはこの問題を解決したか？
“Metadata Science”
o AI を Platform 化する
o 自動化、そして自動化
o コンピュータにデータサイエンスを教える
o 日々サイエンティストが行っている作業
をマシンが行う
新たにEinstein専用レイヤーを用意し既存サービスに連携
解決 #1 : インフラストラクチャーとテクノロジー
Sales Cloud
Marketing Cloudなどなど
モデリング
スコアリング
データ処理
Einstein Platform
モデル管理
車輪の再発明にコストをかけない
解決 #1 : インフラストラクチャーとテクノロジー
• AWSベース• マイクロサービス• アーキテクチャ• データI/Oおよびプロ
セシングに Spark & Akka
• スケジューラおよびワークフローマネージャーにChronos
• マルチテナント・マルチモデル
CLI Web UI 診断ツール モニタリングツール
プロビジョニングサービス
管理・認証サービス
Executor
データ収集 データ準備
データ送信モデリング
/スコアリング
データストアサービス
S3
Control System
スケジューラ モデル管理
補助サービス
モニタリングサービス
CIサービス
EMR
データソース
Einstein Platform
§ データサイズに応じてリソースを準備§ モデルのリソース利用状況
– 基本的な企業の規模 (大 中 小)– 以前のパフォーマンスに基づいて
動的にアロケーション§ セルフヒーリングプロセス
– リソースの増加– レポーティング
§ Bots for DevOps– Slack Botを使ってオペレーションを円滑化
インフラのデプロイおよびチューニングを自動化
解決 #1 : インフラストラクチャーとテクノロジー
Einsteinは顧客のアプリごとにそれぞれモデルを生成する
解決 #2 & #3 :信頼性 , プライバシー , ユースケース
Einstein Platform
Model1 for Uber
Model2 for Uber
ModelN for Uber
Best Model for Uber = Model8
Model1 for AXA
Model2 for AXA
ModelN for AXA
Best Model for AXA = Model3
Model1 for Timberland
Model2 for Timberland
ModelN for Timberland
Best Model for Timberland = Model2
個別の組織 モデルのマッチング モデルの選択
§ 特徴選択– 特徴の教師あり学習
§ 特徴抽出の自動化– 欠損値の処理– スマートビニング– 特徴の正規化– 特徴の相関
特徴エンジニアリングの自動化
解決 #4 : プラットフォームカスタマイゼーション
val age = new NumericFeatureBuilder[Titanic].setFeatureName(“age”).setExtractMethod(record => record.age)
val pclass = new CategoricalFeatureBuilder[Titanic].setFeatureName(“pclass”).setExtractMethod(record => record.pclass).build()
val survived = new BinaryFeatureBuilder[Titanic].setFeatureName(“survived”).setExtractMethod(record => record.survived).asResponse.build()
§ 過剰適合の防止– 特徴相関の除去
• leakageを分析
– バリデーション方法• CV スコア• テスト統計
#5.1 サニティチェックの自動化
解決 #5 :予測成功の基準
§ 企業によってコンバージョン率は違う
§ 企業サイズが違うとデータセットのサイズも違う
§ モデルの精度はトレーニングセットのサイズに依存する
5.2 アンバランスなトレーニングデータの自動再バランシング
解決 #5 :予測成功の基準
val (trainingSet,testSet) =TrainingSetGenerator.generate(
reader = TitanicReader,predictiors = allPredictors,response = survived,positiveResponseRatio = Array(0.1, 0.25, 0.5),testToTrainRatio = 0.1,sanityCheck = true
)
§ ハイパーパラーメータのチューニングは(うまくいけば)モデルに大きな改善を与える
§ 方法:– グリッドサーチ– ランダムサーチ– ベイズ最適化– 転移学習
5.3 ハイパーパラメータのチューニングと最適化
解決 #5 :予測成功の基準
val modelsToTry = Seq(LogisticRegression(maxlter = 20, regParam = Array(0.01, 0.1),
elasticNetParam = Array(0.05, 0.5)),RandamForest(impurity = Array(“gini”),
maxDepth = Array(3, 6),minInstancesPerNode = Array(10, 20),numTrees = Array(10, 20))
)
§ 異なるモデルを複数使用– ランダムフォレスト– ニューラルネットワーク– 線形判別分析– ロジスティクス回帰– などなど…
§ 課題の解決:– 分類問題、回帰問題– 画像認識– 感情分析
5.2 モデル選択の自動化
解決 #5 :予測成功の基準
val bestModel =SparkMLPredictiveModelSelector.tryModels(trainingData = trainingSet,testDate = testSet,models = modelsToTry,evaluationMetric = Metrics.auROC,numFolds = 10,
)
§ 予測スコアの自動調整§ スコアのビジュアライゼーション§ 複数のパフォーマンスメトリクス
– 正確性、精度、利益曲線§ アラートシステム
– モデルの失敗– モデルの精度の低下– ETLプロセスの失敗
評価の自動化
解決 #6 : 測定とモニタリング
Take a Look
§ AIを Platform 化§ Spark上にScalaを使って実装§ データ準備とETLを自動化§ 特徴エンジニアリングを自動化§ モデルの選択を自動化§ 学習およびデプロイを自動化
“Metadata Science”
Einstein マルチテナント ML 実現の鍵
機械学習を製品に組み込むことは非常に多くの課題を解決する必要がある
まとめ
http://alexott.blogspot.com/2016/06/notes-on-practical-machine-learning.html
§ 機械学習は大変§ 通常の開発と同様、アプリを注意深く設計・実装する
– ML Coreだけではサービスにはならない§ 再利用可能なデザインと転移学習§ 可能な限り自動化§ 多くの成熟したテクノロジーをうまく利用する
– 例 : Spark や Scala など§ 実際のビジネスユースケースから何が必要かを知る
機械学習を製品に組み込むことは非常に多くの課題を解決する必要がある
まとめ
§ Einsteinを利用する– Force.comをサインアップ (来年2月, Spring ‘17リリース予定)– すでに有償でご利用の場合は担当営業へ
§ Einsteinの要素技術を使う– PredictionIO on Heroku
• Heroku上ですぐに展開可能なビルドパックを提供– Metamind.io
• Vision API• Sentiment Analytics
Salesforce Einsteinを利用するには？
追加のリソース
Thank You