© 2016 IBM Corporation1
Entrez dans l’ère cognitive !
IBM BusinessConnect 2016Entrez dans l’ère cognitive !
Atelier « Industrialisez facilement un modèle d’analyse prédictive »
Serge Retkowsky – Consultant Business Analytics - IBMPascal Gallois – Architecte Business Analytics - IBM
#IBMBizCo@SRetkowsky
© 2016 IBM Corporation2
Entrez dans l’ère cognitive !
IBM
� Pascal [email protected]
� Serge [email protected]://twitter.com/SRetkowsky
© 2016 IBM Corporation3
Entrez dans l’ère cognitive !
Agenda
� IBM® SPSS® Modeler pour le machine learning
� Comment intégrer du R & Python ?
� Intégration avec les services Cognitifs Watson
� Intégration avec Hadoop, Spark
� Comment industrialiser les analyses ?
� Comment déployer les modèles SPSS sur le Cloud ?
� Questions & Réponses
© 2016 IBM Corporation4
Entrez dans l’ère cognitive !
L’analytique avec les logiciels IBM SPSS
IBM® SPSS® Statistics•Pour l’analyse statistique de vos données
IBM® SPSS® Modeler•Pour les analyses prédictives sur données structurées comme non structurées
IBM® AnalyticalDecision Management•Pour les analyses prédictives et règles métiers
IBM® SPSS® AnalyticServer•Pour les analyses prédictives Big Data
•Hadoop / SparkIBM® SPSS® Collaboration and Deployment Services•Pour le travail collaboratif, l’automatisation et l’industrialisation de vos analyses
© 2016 IBM Corporation5
Entrez dans l’ère cognitive !
IBM® SPSS® Modeler
� Interface graphique simple d’utilisation
� Fonctions de préparation et de transformation des données
� Accès aux algorithmes avancés SPSS, R et Python
� Text Analytics
� Industrialisation des analyses
© 2016 IBM Corporation6
Entrez dans l’ère cognitive !
Le logiciel IBM® SPSS® Modeler
� Une solution complète pour analyser et modéliser les données
− Accès aux données− Préparation et exploration des données− Modélisation des données− Déploiement des modèles
� Utilisation simple et intuitive
− Interface graphique conviviale− Une seule interface pour tout le processus d’analyse
© 2016 IBM Corporation7
Entrez dans l’ère cognitive !
Les fonctions IBM® SPSS® Modeler
� Accès à tout type de données
− Fichiers plats, Excel, SPSS, SAS, XML− Bases de données IBM : DB2, Netezza, DashDB− Autres : Oracle, SQL Server, Teradata, Amazon RedShift, SAP Hana, Sybase IQ,
Accumulo, Cassandra, Hbase, HCatalog, Hive, MongoDB, Oracle NoSQL, Parquet...− Données spatiales ESRI− Cognos BI, Cognos TM1
� Transformation des données
− Fusion de données issues de sources différentes− Correction des données manquantes et aberrantes− Echantillonnage− Transpositions, comptages et agrégations− Gestion des données spatiales− Intégration avec les fonctions R
� Exploration graphique des données
− Graphiques interactifs− Assistants de création intuitifs− Graphique spécialisés (diagrammes relationnels, tracé horaires…)
© 2016 IBM Corporation8
Entrez dans l’ère cognitive !
Les fonctions IBM® SPSS® Modeler
� Modélisation assistée
− Le logiciel évalue différents modèles automatiquement et sélectionne celui qui a la meilleure capacité de prédiction
� Modélisation en mode expert
− Vaste choix d’algorithmes pour • La classification (scoring)• Les associations (analyses des ventes croisées)• La segmentation (regroupement de clients)• Prévisions de séries temporelles
− Options de configuration avancées− Assistants de comparaison des différents modèles
� Text Analytics (IBM® SPSS® Modeler Premium)
� Intégration avec R et Python
� Déploiement des résultats
− Export des scores et des segments vers les bases de données opérationnelles− Automatisation de l’exécution des modèles
© 2016 IBM Corporation9
Entrez dans l’ère cognitive !
IBM® SPSS® Modeler Points de repères
Espace de travail
Flux, sorties, modèles
Accès aux nœuds
© 2016 IBM Corporation10
Entrez dans l’ère cognitive !
Performances avec IBM® SPSS® ModelerCaractéristiques
� Interface graphique utilisateur
− Pas de programmation− Mais un langage de scripting est disponible (Python)− Et on peut coder en R et en Python
� SQL Pushback
− Scalable− Optimisation des traitements− Génération automatique du SQL
� In-Database Mining
− Utilisation des algorithmes intégrés à la base de données SQL (DB2, Oracle, Microsoft, Netezza)
� SPSS Scoring Adapters
− Permet l’utilisation des algorithmes SPSS en fonction de base de données− Équivalent au In-database mining – uniquement pour le run (scoring) des modèles
© 2016 IBM Corporation11
Entrez dans l’ère cognitive !
Performances avec IBM® SPSS® ModelerIndustrialisation et déploiement
� Industrialisation des modèles
− Export SQL− Export PMML− UDF− SPSS Modeler Batch− IBM® SPSS® Collaboration and Deployment Services− Temps réel avec IBM® SPSS® Collaboration and Deployment Services Real Time Scoring− Infosphere Streams pour du streaming− BlueMix pour le déploiement via le cloud− Intégration avec Data Science Experience : à venir !
© 2016 IBM Corporation12
Entrez dans l’ère cognitive !
Performances avec IBM® SPSS® ModelerSQL Pushback
Flux IBM® SPSS® Modeler :
Code SQL généré automatiquement :
Génération automatique
de code SQL pour davantage
de performance
s
© 2016 IBM Corporation13
Entrez dans l’ère cognitive !
Performances avec IBM® SPSS® ModelerIn-database Mining
� Utilisation des algorithmes disponibles dans certaines technologies de bases de données relationnelles :
− Microsoft− Oracle− Netezza− DB2
© 2016 IBM Corporation14
Entrez dans l’ère cognitive !
IBM® SPSS® Modeler réarrangera automatiquement les nœuds pour optimiser les performancesIBM® SPSS® Modeler peut stocker des données temporaires en « cache » pour optimiser les performances
Performances avec IBM® SPSS® ModelerOptimisation des traitements
© 2016 IBM Corporation18
Entrez dans l’ère cognitive !
Agenda
� IBM® SPSS® Modeler pour le machine learning
� Comment intégrer du R & Python ?
� Intégration avec les services Cognitifs Watson
� Intégration avec Hadoop, Spark
� Comment industrialiser les analyses ?
� Comment déployer les modèles SPSS sur le Cloud ?
� Questions & Réponses
© 2016 IBM Corporation19
Entrez dans l’ère cognitive !
� Programme en R� Réalisation de nœuds personnalisés dans SPSS avec l’interface Custom Dialog Builder de IBM®
SPSS® Modeler� Partage des nœuds développés avec les autres utilisateurs SPSS
Producteur Custom Dialog Builder
Producteur
© 2016 IBM Corporation20
Entrez dans l’ère cognitive !
Consommateur
Consommateur
� Utilise SPSS� Utilisation des nœuds SPSS personnalisés développés� Pas besoin de connaitre R� Les restitutions se réalisent direction dans l’interface SPSS
© 2016 IBM Corporation22
Entrez dans l’ère cognitive !
De nombreuses extensions pour IBM® SPSS® Modeler et IBM® SPSS® Statistics
Langages supportés :
GitHub
© 2016 IBM Corporation23
Entrez dans l’ère cognitive !
1. IBM : Nous développons les nœuds2. Communauté : Les utilisateurs de la communauté SPSS collaborent et développent de nouvelles
extensions2. Business Partners : Les BPs peuvent également développer des extensions
ESRIZementis
Qui développe ces extensions ?
© 2016 IBM Corporation26
Entrez dans l’ère cognitive !
Agenda
� IBM® SPSS® Modeler pour le machine learning
� Comment intégrer du R & Python ?
� Intégration avec les services Cognitifs Watson
� Intégration avec Hadoop, Spark
� Comment industrialiser les analyses ?
� Comment déployer les modèles SPSS sur le Cloud ?
� Questions & Réponses
© 2016 IBM Corporation27
Entrez dans l’ère cognitive !
Analyse prédictive avec Bluemix – Utiliser les services Watson
https://console.ng.bluemix.net/catalog/
© 2016 IBM Corporation28
Entrez dans l’ère cognitive !
IBM Personality Insights pour la détermination de caractéristiques psychographiques
https://personality-insights-livedemo.mybluemix.net/
© 2016 IBM Corporation29
Entrez dans l’ère cognitive !
Intégration avec IBM® SPSS® Modeler
Client IBM® SPSS® Modeler Bluemix Front-End Watson Back-End
Requête
Résultats
Flux IBM® SPSS® Modeler :Connexion au composant
Watson Personality Insights :
© 2016 IBM Corporation30
Entrez dans l’ère cognitive !
Données structurées + Personality Insights � analyse prédictive
� Utilisation de données du site Ramdon Acts for pizza - Reddit community(http://www.reddit.com/r/Random_Acts_Of_Pizza/ ) avec le résultat associé (successful/unsuccessful).
� Objectif : réaliser un modèle prédictif avec uniquement les résultats Personality Insights comme variables explicatives.
Flux IBM® SPSS® Modeler Courbes de performances du modèle
© 2016 IBM Corporation31
Entrez dans l’ère cognitive !
Données structurées + Personality Insights � analyse prédictive
© 2016 IBM Corporation32
Entrez dans l’ère cognitive !
Agenda
� IBM® SPSS® Modeler pour le machine learning
� Comment intégrer du R & Python ?
� Intégration avec les services Cognitifs Watson
� Intégration avec Hadoop, Spark
� Comment industrialiser les analyses ?
� Comment déployer les modèles SPSS sur le Cloud ?
� Questions & Réponses
© 2016 IBM Corporation33
Entrez dans l’ère cognitive !
L’analytique avec les logiciels IBM SPSS
IBM® SPSS® Statistics•Pour l’analyse statistique de vos données
IBM® SPSS® Modeler•Pour les analyses prédictives sur données structurées comme non structurées
IBM® AnalyticalDecision Management•Pour les analyses prédictives et règles métiers
IBM® SPSS® AnalyticServer•Pour les analyses prédictives Big Data
•Hadoop / SparkIBM® SPSS® Collaboration and Deployment Services•Pour le travail collaboratif, l’automatisation et l’industrialisation de vos analyses
© 2016 IBM Corporation34
Entrez dans l’ère cognitive !
IBM® SPSS® Modeler et IBM® SPSS® Analytic Server
Les analystes ont accès via IBM® SPSS® Modeler aux environnements
Hadoop et peuvent ainsi bâtir des projets afin de conduire des analyses,
des modèles et faire du scoring sur de très gros volumes de données
structurées et non structurées.
© 2016 IBM Corporation35
Entrez dans l’ère cognitive !
Nouveautés IBM® SPSS® Analytic Server
� De nouveaux algorithmes dans IBM SPSS pour le BigData :− RandomTrees− LinearSupport VectorMachines (LSVM)− GeneralizedLinearEngine(GLE)− Linear-AS− Tree-AS
� Intégration à Spark :− Meilleure performance et mise à l’échelle (scalability)− Accès aux algorithmes de SparkMLlib
� Alignement avec les plateformes Open Data :− Support BigInsights 4.1 et Hortonworks 2.3− Installation simplifiée via Apache Ambari
� Supporte IBM Power Linux littleendian
© 2016 IBM Corporation36
Entrez dans l’ère cognitive !
IBM® SPSS® Modeler et Spark
IBM SPSS Modeler Server
IBM SPSS Modeler Client
IBM SPSS Analytic Server
MetadataHCatalog
Resource ManagementYARN / Platform Symphony
Distributed File SystemHDFS / GPFS
Ope
ratio
nsA
mba
ri
SQLHive
OnlineHBase
Accumulo
BatchMap/Reduce
In-MemorySpark
Analytic Workbench
Hadoop Cluster
Access & Merge Analytic RDBMS
• DB2 • MySQL• Greenplum • Oracle• HP Vertica • SAP HANA• Netezza • Salesforce• Informix • Sybase IQ• SQL Server • Teradata
NoSQL
• Accumulo• Cassandra• HBase• Hive / HCatalog• MongoDB
© 2016 IBM Corporation37
Entrez dans l’ère cognitive !
IBM® SPSS® Modeler et SparkAccès aux algorithmes MLlib depuis IBM® SPSS® Modeler
� Développement de boites de dialogiques IBM® SPSS® Modeler spécifiques via Python
� Accès aux algorithmes MLlib depuis IBM® SPSS® Modeler
� Accès aux librairies Python : Numpy, Scipy, Scikit-learn, Pandas
© 2016 IBM Corporation38
Entrez dans l’ère cognitive !
Les nœuds SPSS compatibles avec Spark
Model Building Record Operations
Field Operations
Graph
Output
Model Scoring
© 2016 IBM Corporation39
Entrez dans l’ère cognitive !
� Même un simple modèle est plus rapide avec Spark
SPSS & Spark
© 2016 IBM Corporation40
Entrez dans l’ère cognitive !
� Intégration avec MLlib Collaborative Filtering
� Le flux entier fonctionne sous Spark
SPSS & Spark
© 2016 IBM Corporation41
Entrez dans l’ère cognitive !
InstallationExemplehttps://github.com/IBMPredictiveAnalytics/MLlib_CF
© 2016 IBM Corporation42
Entrez dans l’ère cognitive !
Agenda
� IBM® SPSS® Modeler pour le machine learning
� Comment intégrer du R & Python ?
� Intégration avec les services Cognitifs Watson
� Intégration avec Hadoop, Spark
� Comment industrialiser les analyses ?
� Comment déployer les modèles SPSS sur le Cloud ?
� Questions & Réponses
© 2016 IBM Corporation43
Entrez dans l’ère cognitive !
L’analytique avec les logiciels IBM SPSS
IBM® SPSS® Statistics•Pour l’analyse statistique de vos données
IBM® SPSS® Modeler•Pour les analyses prédictives sur données structurées comme non structurées
IBM® AnalyticalDecision Management•Pour les analyses prédictives et règles métiers
IBM® SPSS® AnalyticServer•Pour les analyses prédictives Big Data
•Hadoop / SparkIBM® SPSS® Collaboration and Deployment Services•Pour le travail collaboratif, l’automatisation et l’industrialisation de vos analyses
© 2016 IBM Corporation44
Entrez dans l’ère cognitive !
IBM® SPSS® Collaboration and Deployment Services
� IBM® SPSS® Collaboration and Deployment Services complète l’environnement d’analyse de IBM® SPSS® Modeler et IBM® SPSS® Statistics en offrant les trois grandes fonctionnalités suivantes :
− La collaboration : partage, archivage, gestion des versions, gestion des autorisations, suivi des modifications.
− L’automatisation : via des jobs, l’exécution à la demande ou en fonction d’un calendrier, l’exécution par des applications tierces, le monitoring de la bonne exécution.
− Le scoring : la mise à disposition des scores, des appels en temps réel, la combinaison avec des données historiques et contextuelles, le suivi des appels de scores et du temps de traitements.
© 2016 IBM Corporation45
Entrez dans l’ère cognitive !
IBM® SPSS® Collaboration and Deployment Services
Les 5 grandes utilisations de IBM® SPSS® Collaboration and Deployment Services :1. Répertoire collaboratif2. Automatisation et processus3. Scoring4. Gestion du cycle de vie et de la promotion des actifs5. Gestion des modèles
© 2016 IBM Corporation46
Entrez dans l’ère cognitive !
1) Répertoire collaboratif
� IBM® SPSS® Collaboration and Deployment Services offre un référentiel centralisé où plusieurs analystes peuvent partager de façon sécurisée des actifs prédictifs (flux, modèles…).
� Le répertoire collaboratif de IBM® SPSS® Collaboration and Deployment Services permet de :− Partager des actifs entre analystes.− Sauvegarder et partager des versions spécifiques de modèles.− Ranger et stocker de manière sécurisée le travail effectué.− Restreindre à certains usagers ou groupes d’usagers l’accès à des actifs et analyses.
© 2016 IBM Corporation47
Entrez dans l’ère cognitive !
2) Gestion de processus et automatisation
� Pour tirer le maximum de valeur des analyses faites, celles-ci doivent être opérationnalisées de façon rapide, fiable et précise. Sans quoi tout le travail prédictif développé ne prend pas sa pleine valeur.
� Les capacités de jobs vous permettent de gérer cet aspect de l’analyse prédictive en :− Opérationnalisant les flux sur de plus puissants serveurs.− Exécutant les flux selon un calendrier défini, à l’heure voulue ou lorsqu’un évènement a lieu.− Utilisant le serveur C&DS RemoteProcess comme un agent qui permet de gérer des opérations personnalisées sur
un serveur à distance.− Stockant les objets dans le répertoire collaboratif et communiquant les résultats aux usagers qui le doivent via un
service de notification.
© 2016 IBM Corporation48
Entrez dans l’ère cognitive !
3) Scoring
� Utiliser un modèle prédictif comprenant une donnée en temps-réel afin de calculer une prédiction.
� IBM® SPSS® Collaboration and Deployment Services permet le scoring que ce soit en « data at rest » ou en « data in motion », voir une combinaison des deux.
� Scoring en temps réel avec exposition des modèles via des web services.
© 2016 IBM Corporation49
Entrez dans l’ère cognitive !
4) Gestion du cycle de vie et de la promotion des actifs
� Communément, le déploiement de l’analyse prédictive implique les étapes suivantes :
1. Développement de nouveaux modèles2. Test des nouveaux modèles3. Déploiement des modèles en production
� C&DS supporte ce scénario de Dev�Test�Production que ce soit via 1 ou plusieurs répertoires.
� La promotion d’objets dans C&DS inclut :1. La définition possible de logiques d’affaires concernant la promotion d’actifs.2. Un processus de notification interne possible à chaque changement d’étape
pour un actif ou un flux.3. La limitation possible à une version d’un fichier et de ses dépendances lors
d’une promotion.4. Un contrôle de promotion sécurisé et se faisant via un privilège associable à
seulement à certains usagers ou groupes d’usagers.5. Le support des promotions immédiates ou programmées.
© 2016 IBM Corporation50
Entrez dans l’ère cognitive !
5) Gestion des modèles
� Dans le temps, la précision des modèles ainsi que leur performance vont diminuer, en lien avec les changements des comportements des consommateurs, des procédés d’entreprise, de l’offre des concurrents, l’économie etc.
� Dans le but gérer cela, C&DS propose des fonctionnalités qui permettent d’évaluer la performance des modèles et de les recalibrer.
� Ces fonctionnalités autour de la précision des modèles sont :− Le rafraîchissement− L’évaluation− Le mode Champion Challenger
� L’évaluation et la comparaison des modèles peut se baser sur : − L’exactitude – % de prédictions correctes de la cible− Les gains – qui compare les résultats d'un modèle aux résultats obtenus sans utiliser le modèle.− L’accréditation – examine la similitude entre les nouvelles données et les données d'apprentissage
sur lesquelles le modèle est basé.
© 2016 IBM Corporation52
Entrez dans l’ère cognitive !
L’architecture de IBM® SPSS® Collaboration and Deployment Services
� C&DS Server : serveur de C&DS fonctionnant comme un serveur d’application (Websphere, WebLogic ou Jboss).
� C&DS Repository : la composante base de données de C&DS. Utilisée pour stocker les actifs.
� C&DS DeploymentManager : application client utilisée par l’administrateur C&DS pour les tâches d’administration et de configuration.
� C&DS DeploymentPortal : application Web utilisée pour réaliser un partie des tâches de configuration.
� Autres composants : RemoteScoringServer, RemoteProcessServer, Solution Publisher, BIRTReporting.
© 2016 IBM Corporation53
Entrez dans l’ère cognitive !
53
Architecture
1Analytical Data
2
4
5
1. Modeler clients connect to Modeler and Analytic Server
2. Modeler server accesses various types of data sources
3. Analytic Server accesses Hadoop data sources.
4. Modeler clients check in models into the C&DS Repository
5. Administrator uses C&DS to manage analytical assets
Modeler
Server
Analytic
Server
Clients
Modeler
Analysts
Administrator
C&DS
3
C&DS
1
© 2016 IBM Corporation54
Entrez dans l’ère cognitive !
54
Architecture: Batch scoring & Model RefreshClient
s C&DS
1
Production Data
2 3Administrator
4
1. Administrator schedules batch jobs in C&DS
2. Jobs are executed on the Modeler, Statistics or Analytic Server
3. Modeler, Statistics and Analytic servers access data during batch scoring
4. Business users view batch job results in business applications or dashboards
C&DS
Business Users
Businessapplication
Dashboards
Modeler
Server
Analytic
Server 3
© 2016 IBM Corporation55
Entrez dans l’ère cognitive !
55
Architecture: On-demand real time scoringClient
s
C&DS1
Production Data
23
Administrator
C&DS
Line of Businessapplication
1. Administrator configures models for real time scoring
2. A Line of Business application invokes real time scoring (Web services)
3. Optionally, C&DS Scoring Service retrieves additional data for scoring
SOAP or REST
© 2016 IBM Corporation56
Entrez dans l’ère cognitive !
Agenda
� IBM® SPSS® Modeler pour le machine learning
� Comment intégrer du R & Python ?
� Intégration avec les services Cognitifs Watson
� Intégration avec Hadoop, Spark
� Comment industrialiser les analyses ?
� Comment déployer les modèles SPSS sur le Cloud ?
� Questions & Réponses
© 2016 IBM Corporation57
Entrez dans l’ère cognitive !
Analyse prédictive avec Bluemix
https://developer.ibm.com/Bluemix/
© 2016 IBM Corporation58
Entrez dans l’ère cognitive !
Comment exécuter le modèle SPSS dans le cloud ?
© 2016 IBM Corporation59
Entrez dans l’ère cognitive !
La réponse : IBM Bluemix !
http://Bluemix.net
© 2016 IBM Corporation61
Entrez dans l’ère cognitive !
IBM BluemixOn copie le flux SPSS
Définir l’identifiant du modèle
© 2016 IBM Corporation63
Entrez dans l’ère cognitive !
Liens utiles IBM® SPSS® Modeler
� Les solutions logicielles IBM SPSS :http://www.ibm.com/software/analytics/spss/
� Documentations IBM® SPSS® Modeler :https://developer.ibm.com/predictiveanalytics/2016/03/15/announcing-ibm-spss-modeler-18/
� Centre d’information IBM® SPSS® Modeler :https://www.ibm.com/support/knowledgecenter/SS3RA7_18.0.0/clementine/knowledge_center/product_landing.dita
� Prérequis IBM® SPSS® Modeler :http://www-01.ibm.com/software/analytics/spss/products/modeler/requirements.html
© 2016 IBM Corporation64
Entrez dans l’ère cognitive !
Communauté IBM Predictive Analyticshttps://developer.ibm.com/predictiveanalytics/
© 2016 IBM Corporation65
Entrez dans l’ère cognitive !
Mooc SPSShttps://bigdatauniversity.com/courses/predictive-modeling-fundamentals/
© 2016 IBM Corporation66
Entrez dans l’ère cognitive !
Version d’évaluation IBM® SPSS® Modeler
www.ibm.com/tryspss
© 2016 IBM Corporation67
Entrez dans l’ère cognitive !
Agenda
� IBM® SPSS® Modeler pour le machine learning
� Comment intégrer du R & Python ?
� Intégration avec les services Cognitifs Watson
� Intégration avec Hadoop, Spark
� Comment industrialiser les analyses ?
� Comment déployer les modèles SPSS sur le Cloud ?
� Questions & Réponses