oracle autonomous data warehouse の機械学習を活用した分析 … · •...

1

Oracle Autonomous Data Warehouseの機械学習を活用した分析でワンランク上のインサイトを手に入れる

MS Engineering、MBA、Charlie BergerSr. Director Product Management、機械学習、AI、認知分析[email protected] www.twitter.com/CharlieDataMine

Copyright © 2018, Oracle and/or its affiliates.All rights reserved. |

免責条項

下記事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。マテリアルやコード、機能の提供をコミットメント（確約）するものではなく、購買を決定する際の判断材料になさらないで下さい。オラクルの製品に関して記載されている機能の開発、リリース、および時期については、弊社の裁量により決定されます。

2

Autonomous Data Warehouse Cloud

• 容易–完全管理、事前構成済み、DWワークロード向けに最適化済み

–データをロードして実行するだけ

• 索引の定義やパーティションの作成などは一切不要

• 高速– Exadataテクノロジーが基盤

• 自在–コンピュートとストレージを停止時間なしで瞬時にスケーリング

• 強力：機械学習を搭載

–完全に並列化されたSQL関数としてMLアルゴリズムのライブラリを実装


ADW + Oracle Machine Learning Notebook

データウェアハウス・サービス

Autonomous Data Warehouse

サービス・コンソール

Oracle Machine Learning

（EDW、DW、部門のデータ・マート、サンドボックス）

サービス管理組込みアクセス・ツール

自律型データベース

Oracle SQL Developer

開発者ツール

Oracle Object Storage Cloudフラット・ファイルとステージング

データ統合サービス

Oracle Data Integration

Platform Cloud

Oracle Cloud Compute上のサードパーティ製DI

オンプレミスのサードパーティ製DI

4

Oracle Analytics Cloud

分析



SQL分析を使用して値を抽出 MLを使ったインサイト取得と予測

5

強力なデータベース内機械学習と分析

分類/予測回帰異常検出属性の重要度

相関ルール/マーケット・バスケット分析

クラスタ化特徴の

抽出/選択時系列/予測

認知テキスト分析

アンサンブル・モデル

予測問合せ

テキスト・マイニング

階層分析要約と記述統計

SQLウィンドウ

関数

統計上の相関関係の

テスト

近似分析パターン・マッチング

SQLモデル

高度な集計

ランキングピボッティングユーザー定義のPTF

テキスト分析

1 2

大量のデータを自動的に選り分け、隠れたパターンを見つけ出し、新しいインサイトを発見し、予測を立てること

機械学習とは

• もっとも重要な要因を特定する（属性の重要度）

• 顧客の行動を予測する（分類）

• 値を予測/推定する（回帰）

• ターゲットとする人や品目のプロファイルを検索する（ディシジョン・ツリー）

• 人口をセグメント化する（クラスタ化）

• 不正や“まれな出来事”を見つける（異常検出）

• “バスケット”内で同時発生している品目を判定する（関連付け）

A1 A2 A3 A4 A5 A6 A7


分類

– ナイーブ・ベイズ– ロジスティック回帰（GLM）– ディシジョン・ツリー– ランダム・フォレスト– ニューラル・ネットワーク– サポート・ベクター・マシン

– 明示的セマンティック分析

クラスタ化

– 階層型k平均法– 階層型O-Cluster– 期待値最大化（EM）

異常検出

– One-Class SVM

時系列

– ホルト・ウィンタース、規則&不規則、

長期変動&季節変動あり/なし

– シングル/ダブル指数平滑法

回帰

– 線形モデル– 一般化線形モデル– サポート・ベクター・マシン（SVM）– ステップワイズ線形回帰

– ニューラル・ネットワーク

属性の重要度

– 最小記述長

– 主成分分析（PCA）– 教師なしペアワイズKLダイバージェンス

相関ルール

– アプリオリ/マーケット・バスケット

予測問合せ

– 予測、クラスタ、検出、特徴

SQL分析

– SQLウィンドウ、SQLパターン、SQL集計

•OAAにはパーティション化モデル、トランザクション、データなどのサポートが含まれます

ADWCの機械学習アルゴリズム

特徴抽出

– 主成分分析（PCA）– Non-negative Matrix Factorization– 特異値分解（SVD）– 明示的セマンティック分析（ESA）

統計関数

– 基本統計：最小、最大、中央値、標準偏差、t検定、F検定、ピアソンのカイ二乗検定、分散分析、その他

A1 A2 A3 A4 A5 A6 A7



オラクルのデータ管理と機械学習

– “スマート・スキャン”によるMLモデルのスコアリング時の“プッシュ・ダウン”; OLTP環境およびATPC環境のサポート

• Oracle Machine LearningとOracle Advanced Analyticsは他のOracleデータ管理機能と同等

– セキュリティ、バックアップ、暗号化、スケーラビリティ、“ビッグ・データ”エコシステム、BDA、Big Data SQL、クラウド、Spark、その他

– MLと分析の開発およびデプロイに最適なプラットフォーム

8

アーキテクチャ戦略

• 機械学習アルゴリズムをデータベース内に独自実装• データベースの強みを活かし、新しいML技術を追加

– カウント、条件付き確率、ソート、順位付け、パーティション、グループ化、収集、その他

– パラレル実行、ビットマップ索引、パーティション化、集計、パラレル・インフラストラクチャ内での再帰、IEEE浮動小数点、頻出アイテム集合、自動データ準備（ADP）、テキスト処理、その他

• インテリジェントMLデフォルト、簡素化、自動化に焦点を絞ったアプリケーションの有効化

– ADP、xforms、ビニング、欠落値、Prediction_Details、Predictive_Queries、Model_views• 機械学習モデルをPL/SQLスクリプトで構築し、SQL関数でスコアリング（第一級DBオブジェクト）

select cust_id from customers where region = ‘US’and prediction_probability(churnmod, ‘Y’ using *) > 0.8;

真のパワーが明らかになるのは、このようにSQL関数を使用してモデルをスコアリングした場合

データベース内とHadoopにデータが保持される

モデルの構築とスコアリングがデータベース内で行われる

データ並列呼出しでRパッケージを使用

Oracle ITへの投資の活用

データの重複排除

独立した分析サーバーの排除

全社規模のアプリケーションの提供

GUIによるML/予測分析やコード生成

データベースをHPCエンジンとして活用するRインタフェース

主なメリット

Oracle Machine Learning & Advanced Analytics

従来の機械学習

数時間、数日、または数週間

データ抽出

データの準備と変換

データ・マイニング・モデルの

構築

データ・マイニング・モデルの"スコ

アリング"

データの準備と変換

データ・インポート

削減幅

モデルの"スコアリング"組込みデータ準備

データの準備

モデルの構築

オラクルのDB内機械学習

数秒、数分、または数時間

企業規模の予測分析を最短期間で実現する方法


複数のデータ・サイエンティスト・ユーザー・ロールのサポートOracle Machine Learning/Advanced Analytics

アプリケーション開発者DBA新規!

その他の関連データと“エンジニアド機能”

センサー・データ、テキスト、非構造化データ、トランザクション・データ、空間データ、その

他

過去データ整理された過去データ

予測のために“スコアリング”が必要な過去または現在のデータ

予測とインサイト

Oracle Database 12c

R、Pythonユーザー、データ・サイエンティスト


データ・アナリスト、市民データ・サイエンティスト

OML Notebookユーザー

OAAモデルの構築とリアルタイムのSQL Apply予測

begindbms_data_mining.create_model('BUY_INSUR1', 'CLASSIFICATION',

'CUST_INSUR_LTV', 'CUST_ID', 'BUY_INSURANCE', CUST_INSUR_LTV_SET');end;/

シンプルなSQL構文

MLモデルの構築（PL/SQL）

モデルの適用（SQL問合せ）Select prediction_probability(BUY_INSUR1, 'Yes'

USING 3500 as bank_funds, 825 as checking_amount, 400 as credit_balance, 22 as age, 'Married' as marital_status, 93 as MONEY_MONTLY_OVERDRAWN, 1 as house_ownership)

from dual;


不正予測のデモ自動化されたDB内分析手法

月次“適用”の自動化!以下を追加するだけ：CreateView CLAIMS2_30AsSelect * from CLAIMS2Where mydate > SYSDATE – 30

測定タイミング：set timing on;

drop table CLAIMS_SET;exec dbms_data_mining.drop_model('CLAIMSMODEL');create table CLAIMS_SET (setting_name varchar2(30), setting_value varchar2(4000)); insert into CLAIMS_SET values ('ALGO_NAME','ALGO_SUPPORT_VECTOR_MACHINES');insert into CLAIMS_SET values ('PREP_AUTO','ON');commit;begindbms_data_mining.create_model('CLAIMSMODEL', 'CLASSIFICATION', 'CLAIMS', 'POLICYNUMBER', null, 'CLAIMS_SET');

end;/

-- Top 5 most suspicious fraud policy holder claims select * from(select POLICYNUMBER, round(prob_fraud*100,2) percent_fraud,

rank() over (order by prob_fraud desc) rnk from(select POLICYNUMBER, prediction_probability(CLAIMSMODEL, '0' using *) prob_fraud from CLAIMSwhere PASTNUMBEROFCLAIMS in ('2to4', 'morethan4')))where rnk <= 5order by percent_fraud desc;


リアルタイム・スコアリング用MLモデルのデプロイリアルタイム・スコアリング、予測、リコメンデーション

• 新しいデータを使ってその場で単一レコードを適用（例：コール・センターから）

コール・センター

Web モバイル

アドバイスの取得ブランチ・

オフィス

ソーシャル・メディア

電子メール

R

Select prediction_probability(CLAS_DT_1_15, 'Yes'USING 7800 as bank_funds, 125 as checking_amount, 20 as credit_balance, 55 as age, 'Married' as marital_status,250 as MONEY_MONTLY_OVERDRAWN, 1 as house_ownership)

from dual;

Likelihood to respond:

Oracle Cloud


Big Data SQL/R

Object Store

“エンジニアド機能”

–ドメイン知識を反映した誘導属性—ベスト・モデルへの鍵例：

• カウント• 合計• 経時的変化

SQL / R

データ・レイクを要約

所有するすべてのデータの管理と分析

データ・サイエンティスト、Rユーザー、市民データ・サイエンティスト

多数のオプション

と柔軟性を備えた

アーキテクチャ

Copyright © 2018, Oracle and/or its affiliates.All rights reserved. | 14

オラクルのデータ管理と機械学習

市場を取り巻く状況：

• 機械学習、予測分析、“AI”は今や装備不可欠な要件

• データ管理とデータ・サイエンスが分離していてはうまくいかない

• インサイトと予測を一番早く抽出できるデータ・サイエンス・チームを擁する企業

が勝利する

の結論：

• MLによるインサイトと予測を企業全体で“運用可能”にする必要がある

• 多言語による機械学習： SQL、R、Python、ワークフローUI、Notebooks、アプリケーション組込みML

• データ管理と機械学習が結合された、本質的にデータの管理と"考察"が可能な

環境への進化

Copyright © 2018, Oracle and/or its affiliates.All rights reserved. | 15

製品のご紹介：Oracle Machine Learning SQL Notebooks


Oracle Machine LearningAutonomous Data Warehouse Cloudに対応したMachine Learning Notebook

おもな特徴

• 共同作業に適したデータ・サイエンティスト向けUI– Autonomous Data Warehouseに付属

– 共有されたノートブック、テンプレート、権限、スケジューラなどへのアクセスが簡単

• ADW内でのML手法の開発をサポート– SQL MLアルゴリズムAPI– 予測、チャーン、クロスセル、不正、関連付け、統計、相関関係、フォーキャスティング、クラスタ識別、その他


Oracle Machine Learningの簡易デモ


Oracle MLの顧客事例


イギリス国民保険サービス（NHS）医療不正の撲滅

目標

新しいインサイトを活用してコスト削減ポイントを特定し、目標を達成する

医療不正と受給資格判定ミスの特定と防止によりコストを削減する

既存データを活用して業務を変革し生産性を上げる

ソリューション

不正受給と給付ミスの削減により最大1億ポンド（1.56億ドル）のコスト削減の可能性を特定

異常検出を使用して不正なアクティビティを発見（一連の治療工程を複数に分割し、複数の治療として申請していた歯科医が一部にいた）

数十億件のレコードを一括分析し、治療工程をより長期に渡り評価し、医薬品の処方パターンを分析することで医療を改善

「Oracle Advanced Analyticsのデータ・マイニング機能とOracle Exalyticsのパ

フォーマンスのすごさを実感しました。ソリューション全体が非常に高速で、投資してすぐに価値を得られるようになりました。現在はデータをさらに有効活用し、NHS全体の大幅なコスト削減を実現しています」

– NHS Business Services Authority、情報サービス担当責任者、Nina Monckton氏

Oracle Exadata Database Machine

Oracle Advanced Analytics

Oracle Exalytics In-Memory Machine

Oracle Endeca Information Discovery

Oracle Business Intelligence EE

最新情報： 3億ポンド分の不正を確認

さらに7億ポンド分の可能性を特定

10億ポンドのコスト削減

…クラウドへの移行


DX Marketingクラウドベースの予測分析/データベース・マーケティング

目標


「4～6週間かかっていた運用開始までの期間が1週間未満へと大幅

に短縮され、新しいクライアントをより短期間で稼働させられるようになりました。おかげで、オラクルのDBCSを使用し始めて半年で収益が25 %増加しました」

– DX Marketing

クラウドベースのソリューション

収益の増加

運用開始までの期間の短縮

Oracle Cloud

Oracle Advanced Analytics

DX Marketing Expands Customer Acquisition with Oracle Cloud –YouTubeビデオ


https://www.youtube.com/watch?v=W0rag-uXyio

Zagrebačka Bank（クロアチア最大の銀行）デプロイから18か月以内で現金貸付けを15 %増やす

オラクルの顧客ZabaBankの事例をOTNで確認する

目標高度な分析プロセス全体の高速化が必要。データの準備に3日、

モデルの構築に24時間かかっていた

信用リスク・モデリングとターゲットを絞った顧客キャンペーンに必要となる“実用的な分析結果”が出るまでの時間を短縮する


SASからOracle Advanced Analyticsプラットフォームに移行して統計モデリングと予測分析を実施

Oracle Databaseのセキュリティ、信頼性、パフォーマンス、スケーラビリティとOracle Advanced Analyticsの予測分析機能を活用。

データの準備、変換、モデルの構築、モデルのスコアリングがデータベース内で行われることから、予測のパフォーマンスが向上。

「数千もの属性の演算処理をOracle Advanced Analyticsでパラレル実行しています。これはオープン・ソースのRでは不可能です。データを移動することなくOracle Database内で分析ができるので、業務がますます機敏になりました。Oracle Advanced Analyticsのおかげで質の高い判断を適時に下せるようになり、現金貸付け事業が15 %成長しました」

– Zagrebačka Bank、BI部門責任者、Jadranka Novoselovic氏

「当行がOracleを選んだ理由は、データ・モデリング・プロセス全体を、パ

フォーマンスも統合レベルも最高の同じマシンで実行できることにあります。Oracle Databaseの場合は、Oracle Advanced Analyticsオプションを有効にするだけでよく、新しいツールは何も必要ありませんでした」

– BI部門のICTコーディネータ、Sinisa Behin氏Zagrebačka Bank


http://www.oracle.com/us/corporate/customers/customersearch/zagreb-bank-1-adv-analytics-3014721.html


2 TBのExadata Storageを3,300時間、Oracle Cloudで無料トライアル*

42

*CPUの使用時間が3,300時間に達するか、期間が30日に達した時点で、トライアルは期限切れとなります。

cloud.oracle.com/try-autonomous-database

https://go.oracle.com/Autonomous-DW

Analytics and Data SummitAll Analytics. All Data.No Nonsense.

2019年3月12日～14日

BIWA SummitとSpatial and Graph Summitとして開催していたイベントの名称を変更これまでと同じ素晴らしい技術コンテンツを新しい名称でお届けします!

www.AnalyticsandDataSummit.org

oracle autonomous data warehouse の 機械学習を活用した分析 … · •...

Documents

oracle autonomous data warehouse の機械学習を活用した分析 … · •...