retkowsky gallois - 14h00 - atelier industrialisez ... · l’industrialisation de ... −...

© 2016 IBM Corporation1

Entrez dans l’ère cognitive !

IBM BusinessConnect 2016Entrez dans l’ère cognitive !

Atelier « Industrialisez facilement un modèle d’analyse prédictive »

Serge Retkowsky – Consultant Business Analytics - IBMPascal Gallois – Architecte Business Analytics - IBM

#IBMBizCo@SRetkowsky



IBM

� Pascal [email protected]

� Serge [email protected]://twitter.com/SRetkowsky



Agenda

� IBM® SPSS® Modeler pour le machine learning

� Comment intégrer du R & Python ?

� Intégration avec les services Cognitifs Watson

� Intégration avec Hadoop, Spark

� Comment industrialiser les analyses ?

� Comment déployer les modèles SPSS sur le Cloud ?

� Questions & Réponses



L’analytique avec les logiciels IBM SPSS

IBM® SPSS® Statistics•Pour l’analyse statistique de vos données

IBM® SPSS® Modeler•Pour les analyses prédictives sur données structurées comme non structurées

IBM® AnalyticalDecision Management•Pour les analyses prédictives et règles métiers

IBM® SPSS® AnalyticServer•Pour les analyses prédictives Big Data

•Hadoop / SparkIBM® SPSS® Collaboration and Deployment Services•Pour le travail collaboratif, l’automatisation et l’industrialisation de vos analyses



IBM® SPSS® Modeler

� Interface graphique simple d’utilisation

� Fonctions de préparation et de transformation des données

� Accès aux algorithmes avancés SPSS, R et Python

� Text Analytics

� Industrialisation des analyses



Le logiciel IBM® SPSS® Modeler

� Une solution complète pour analyser et modéliser les données

− Accès aux données− Préparation et exploration des données− Modélisation des données− Déploiement des modèles

� Utilisation simple et intuitive

− Interface graphique conviviale− Une seule interface pour tout le processus d’analyse



Les fonctions IBM® SPSS® Modeler

� Accès à tout type de données

− Fichiers plats, Excel, SPSS, SAS, XML− Bases de données IBM : DB2, Netezza, DashDB− Autres : Oracle, SQL Server, Teradata, Amazon RedShift, SAP Hana, Sybase IQ,

Accumulo, Cassandra, Hbase, HCatalog, Hive, MongoDB, Oracle NoSQL, Parquet...− Données spatiales ESRI− Cognos BI, Cognos TM1

� Transformation des données

− Fusion de données issues de sources différentes− Correction des données manquantes et aberrantes− Echantillonnage− Transpositions, comptages et agrégations− Gestion des données spatiales− Intégration avec les fonctions R

� Exploration graphique des données

− Graphiques interactifs− Assistants de création intuitifs− Graphique spécialisés (diagrammes relationnels, tracé horaires…)



Les fonctions IBM® SPSS® Modeler

� Modélisation assistée

− Le logiciel évalue différents modèles automatiquement et sélectionne celui qui a la meilleure capacité de prédiction

� Modélisation en mode expert

− Vaste choix d’algorithmes pour • La classification (scoring)• Les associations (analyses des ventes croisées)• La segmentation (regroupement de clients)• Prévisions de séries temporelles

− Options de configuration avancées− Assistants de comparaison des différents modèles

� Text Analytics (IBM® SPSS® Modeler Premium)

� Intégration avec R et Python

� Déploiement des résultats

− Export des scores et des segments vers les bases de données opérationnelles− Automatisation de l’exécution des modèles



IBM® SPSS® Modeler Points de repères

Espace de travail

Flux, sorties, modèles

Accès aux nœuds



Performances avec IBM® SPSS® ModelerCaractéristiques

� Interface graphique utilisateur

− Pas de programmation− Mais un langage de scripting est disponible (Python)− Et on peut coder en R et en Python

� SQL Pushback

− Scalable− Optimisation des traitements− Génération automatique du SQL

� In-Database Mining

− Utilisation des algorithmes intégrés à la base de données SQL (DB2, Oracle, Microsoft, Netezza)

� SPSS Scoring Adapters

− Permet l’utilisation des algorithmes SPSS en fonction de base de données− Équivalent au In-database mining – uniquement pour le run (scoring) des modèles



Performances avec IBM® SPSS® ModelerIndustrialisation et déploiement

� Industrialisation des modèles

− Export SQL− Export PMML− UDF− SPSS Modeler Batch− IBM® SPSS® Collaboration and Deployment Services− Temps réel avec IBM® SPSS® Collaboration and Deployment Services Real Time Scoring− Infosphere Streams pour du streaming− BlueMix pour le déploiement via le cloud− Intégration avec Data Science Experience : à venir !



Performances avec IBM® SPSS® ModelerSQL Pushback

Flux IBM® SPSS® Modeler :

Code SQL généré automatiquement :

Génération automatique

de code SQL pour davantage

de performance

s



Performances avec IBM® SPSS® ModelerIn-database Mining

� Utilisation des algorithmes disponibles dans certaines technologies de bases de données relationnelles :

− Microsoft− Oracle− Netezza− DB2



IBM® SPSS® Modeler réarrangera automatiquement les nœuds pour optimiser les performancesIBM® SPSS® Modeler peut stocker des données temporaires en « cache » pour optimiser les performances

Performances avec IBM® SPSS® ModelerOptimisation des traitements



Roadmap SPSS



Présentation IBM® SPSS® Modeler



Agenda










� Programme en R� Réalisation de nœuds personnalisés dans SPSS avec l’interface Custom Dialog Builder de IBM®

SPSS® Modeler� Partage des nœuds développés avec les autres utilisateurs SPSS

Producteur Custom Dialog Builder

Producteur



Consommateur

Consommateur

� Utilise SPSS� Utilisation des nœuds SPSS personnalisés développés� Pas besoin de connaitre R� Les restitutions se réalisent direction dans l’interface SPSS



Intégration code R dans IBM® SPSS® Modeler



De nombreuses extensions pour IBM® SPSS® Modeler et IBM® SPSS® Statistics

Langages supportés :

GitHub



1. IBM : Nous développons les nœuds2. Communauté : Les utilisateurs de la communauté SPSS collaborent et développent de nouvelles

extensions2. Business Partners : Les BPs peuvent également développer des extensions

ESRIZementis

Qui développe ces extensions ?



Accès aux extensions depuis le logiciel SPSS



Intégration R



Agenda










Analyse prédictive avec Bluemix – Utiliser les services Watson

https://console.ng.bluemix.net/catalog/



IBM Personality Insights pour la détermination de caractéristiques psychographiques

https://personality-insights-livedemo.mybluemix.net/



Intégration avec IBM® SPSS® Modeler

Client IBM® SPSS® Modeler Bluemix Front-End Watson Back-End

Requête

Résultats

Flux IBM® SPSS® Modeler :Connexion au composant

Watson Personality Insights :



Données structurées + Personality Insights � analyse prédictive

� Utilisation de données du site Ramdon Acts for pizza - Reddit community(http://www.reddit.com/r/Random_Acts_Of_Pizza/ ) avec le résultat associé (successful/unsuccessful).

� Objectif : réaliser un modèle prédictif avec uniquement les résultats Personality Insights comme variables explicatives.

Flux IBM® SPSS® Modeler Courbes de performances du modèle



Données structurées + Personality Insights � analyse prédictive



Agenda










IBM® SPSS® Modeler et IBM® SPSS® Analytic Server

Les analystes ont accès via IBM® SPSS® Modeler aux environnements

Hadoop et peuvent ainsi bâtir des projets afin de conduire des analyses,

des modèles et faire du scoring sur de très gros volumes de données

structurées et non structurées.



Nouveautés IBM® SPSS® Analytic Server

� De nouveaux algorithmes dans IBM SPSS pour le BigData :− RandomTrees− LinearSupport VectorMachines (LSVM)− GeneralizedLinearEngine(GLE)− Linear-AS− Tree-AS

� Intégration à Spark :− Meilleure performance et mise à l’échelle (scalability)− Accès aux algorithmes de SparkMLlib

� Alignement avec les plateformes Open Data :− Support BigInsights 4.1 et Hortonworks 2.3− Installation simplifiée via Apache Ambari

� Supporte IBM Power Linux littleendian



IBM® SPSS® Modeler et Spark

IBM SPSS Modeler Server

IBM SPSS Modeler Client

IBM SPSS Analytic Server

MetadataHCatalog

Resource ManagementYARN / Platform Symphony

Distributed File SystemHDFS / GPFS

Ope

ratio

nsA

mba

ri

SQLHive

OnlineHBase

Accumulo

BatchMap/Reduce

In-MemorySpark

Analytic Workbench

Hadoop Cluster

Access & Merge Analytic RDBMS

• DB2 • MySQL• Greenplum • Oracle• HP Vertica • SAP HANA• Netezza • Salesforce• Informix • Sybase IQ• SQL Server • Teradata

NoSQL

• Accumulo• Cassandra• HBase• Hive / HCatalog• MongoDB



IBM® SPSS® Modeler et SparkAccès aux algorithmes MLlib depuis IBM® SPSS® Modeler

� Développement de boites de dialogiques IBM® SPSS® Modeler spécifiques via Python

� Accès aux algorithmes MLlib depuis IBM® SPSS® Modeler

� Accès aux librairies Python : Numpy, Scipy, Scikit-learn, Pandas



Les nœuds SPSS compatibles avec Spark

Model Building Record Operations

Field Operations

Graph

Output

Model Scoring



� Même un simple modèle est plus rapide avec Spark

SPSS & Spark



� Intégration avec MLlib Collaborative Filtering

� Le flux entier fonctionne sous Spark

SPSS & Spark



InstallationExemplehttps://github.com/IBMPredictiveAnalytics/MLlib_CF



Agenda










IBM® SPSS® Collaboration and Deployment Services

� IBM® SPSS® Collaboration and Deployment Services complète l’environnement d’analyse de IBM® SPSS® Modeler et IBM® SPSS® Statistics en offrant les trois grandes fonctionnalités suivantes :

− La collaboration : partage, archivage, gestion des versions, gestion des autorisations, suivi des modifications.

− L’automatisation : via des jobs, l’exécution à la demande ou en fonction d’un calendrier, l’exécution par des applications tierces, le monitoring de la bonne exécution.

− Le scoring : la mise à disposition des scores, des appels en temps réel, la combinaison avec des données historiques et contextuelles, le suivi des appels de scores et du temps de traitements.



IBM® SPSS® Collaboration and Deployment Services

Les 5 grandes utilisations de IBM® SPSS® Collaboration and Deployment Services :1. Répertoire collaboratif2. Automatisation et processus3. Scoring4. Gestion du cycle de vie et de la promotion des actifs5. Gestion des modèles



1) Répertoire collaboratif

� IBM® SPSS® Collaboration and Deployment Services offre un référentiel centralisé où plusieurs analystes peuvent partager de façon sécurisée des actifs prédictifs (flux, modèles…).

� Le répertoire collaboratif de IBM® SPSS® Collaboration and Deployment Services permet de :− Partager des actifs entre analystes.− Sauvegarder et partager des versions spécifiques de modèles.− Ranger et stocker de manière sécurisée le travail effectué.− Restreindre à certains usagers ou groupes d’usagers l’accès à des actifs et analyses.



2) Gestion de processus et automatisation

� Pour tirer le maximum de valeur des analyses faites, celles-ci doivent être opérationnalisées de façon rapide, fiable et précise. Sans quoi tout le travail prédictif développé ne prend pas sa pleine valeur.

� Les capacités de jobs vous permettent de gérer cet aspect de l’analyse prédictive en :− Opérationnalisant les flux sur de plus puissants serveurs.− Exécutant les flux selon un calendrier défini, à l’heure voulue ou lorsqu’un évènement a lieu.− Utilisant le serveur C&DS RemoteProcess comme un agent qui permet de gérer des opérations personnalisées sur

un serveur à distance.− Stockant les objets dans le répertoire collaboratif et communiquant les résultats aux usagers qui le doivent via un

service de notification.



3) Scoring

� Utiliser un modèle prédictif comprenant une donnée en temps-réel afin de calculer une prédiction.

� IBM® SPSS® Collaboration and Deployment Services permet le scoring que ce soit en « data at rest » ou en « data in motion », voir une combinaison des deux.

� Scoring en temps réel avec exposition des modèles via des web services.



4) Gestion du cycle de vie et de la promotion des actifs

� Communément, le déploiement de l’analyse prédictive implique les étapes suivantes :

1. Développement de nouveaux modèles2. Test des nouveaux modèles3. Déploiement des modèles en production

� C&DS supporte ce scénario de Dev�Test�Production que ce soit via 1 ou plusieurs répertoires.

� La promotion d’objets dans C&DS inclut :1. La définition possible de logiques d’affaires concernant la promotion d’actifs.2. Un processus de notification interne possible à chaque changement d’étape

pour un actif ou un flux.3. La limitation possible à une version d’un fichier et de ses dépendances lors

d’une promotion.4. Un contrôle de promotion sécurisé et se faisant via un privilège associable à

seulement à certains usagers ou groupes d’usagers.5. Le support des promotions immédiates ou programmées.



5) Gestion des modèles

� Dans le temps, la précision des modèles ainsi que leur performance vont diminuer, en lien avec les changements des comportements des consommateurs, des procédés d’entreprise, de l’offre des concurrents, l’économie etc.

� Dans le but gérer cela, C&DS propose des fonctionnalités qui permettent d’évaluer la performance des modèles et de les recalibrer.

� Ces fonctionnalités autour de la précision des modèles sont :− Le rafraîchissement− L’évaluation− Le mode Champion Challenger

� L’évaluation et la comparaison des modèles peut se baser sur : − L’exactitude – % de prédictions correctes de la cible− Les gains – qui compare les résultats d'un modèle aux résultats obtenus sans utiliser le modèle.− L’accréditation – examine la similitude entre les nouvelles données et les données d'apprentissage

sur lesquelles le modèle est basé.



Architecture fonctionnelle



L’architecture de IBM® SPSS® Collaboration and Deployment Services

� C&DS Server : serveur de C&DS fonctionnant comme un serveur d’application (Websphere, WebLogic ou Jboss).

� C&DS Repository : la composante base de données de C&DS. Utilisée pour stocker les actifs.

� C&DS DeploymentManager : application client utilisée par l’administrateur C&DS pour les tâches d’administration et de configuration.

� C&DS DeploymentPortal : application Web utilisée pour réaliser un partie des tâches de configuration.

� Autres composants : RemoteScoringServer, RemoteProcessServer, Solution Publisher, BIRTReporting.



53

Architecture

1Analytical Data

2

4

5

1. Modeler clients connect to Modeler and Analytic Server

2. Modeler server accesses various types of data sources

3. Analytic Server accesses Hadoop data sources.

4. Modeler clients check in models into the C&DS Repository

5. Administrator uses C&DS to manage analytical assets

Modeler

Server

Analytic

Server

Clients

Modeler

Analysts

Administrator

C&DS

3

C&DS

1



54

Architecture: Batch scoring & Model RefreshClient

s C&DS

1

Production Data

2 3Administrator

4

1. Administrator schedules batch jobs in C&DS

2. Jobs are executed on the Modeler, Statistics or Analytic Server

3. Modeler, Statistics and Analytic servers access data during batch scoring

4. Business users view batch job results in business applications or dashboards

C&DS

Business Users

Businessapplication

Dashboards

Modeler

Server

Analytic

Server 3



55

Architecture: On-demand real time scoringClient

s

C&DS1

Production Data

23

Administrator

C&DS

Line of Businessapplication

1. Administrator configures models for real time scoring

2. A Line of Business application invokes real time scoring (Web services)

3. Optionally, C&DS Scoring Service retrieves additional data for scoring

SOAP or REST



Agenda










Analyse prédictive avec Bluemix

https://developer.ibm.com/Bluemix/



Comment exécuter le modèle SPSS dans le cloud ?



La réponse : IBM Bluemix !

http://Bluemix.net



IBM BluemixService Predictive Analytics



IBM BluemixOn copie le flux SPSS

Définir l’identifiant du modèle



Démonstration

http://spss-demo.mybluemix.net



Liens utiles IBM® SPSS® Modeler

� Les solutions logicielles IBM SPSS :http://www.ibm.com/software/analytics/spss/

� Documentations IBM® SPSS® Modeler :https://developer.ibm.com/predictiveanalytics/2016/03/15/announcing-ibm-spss-modeler-18/

� Centre d’information IBM® SPSS® Modeler :https://www.ibm.com/support/knowledgecenter/SS3RA7_18.0.0/clementine/knowledge_center/product_landing.dita

� Prérequis IBM® SPSS® Modeler :http://www-01.ibm.com/software/analytics/spss/products/modeler/requirements.html



Communauté IBM Predictive Analyticshttps://developer.ibm.com/predictiveanalytics/



Mooc SPSShttps://bigdatauniversity.com/courses/predictive-modeling-fundamentals/



Version d’évaluation IBM® SPSS® Modeler

www.ibm.com/tryspss



Agenda










Questions & réponses

retkowsky gallois - 14h00 - atelier industrialisez ... · l’industrialisation de ... −...

Documents