![Page 1: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,](https://reader033.vdocuments.net/reader033/viewer/2022042913/5f4c3c3430506601a7163d79/html5/thumbnails/1.jpg)
D E S I G N T H E D A T A D R I V E N D I S R U P T I O N
![Page 2: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,](https://reader033.vdocuments.net/reader033/viewer/2022042913/5f4c3c3430506601a7163d79/html5/thumbnails/2.jpg)
www.jems-group.com
Lundi 11 mars – 16:40 17:00
Pascal Dury
Vice PrésidentData Management
GDPR as a service : accélérez votre mise en
conformité
QUELLE PLACE POUR LES OUTILS
MDM DANS LES
ENVIRONNEMENTS BIGDATA
AUJOURD'HUI
![Page 3: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,](https://reader033.vdocuments.net/reader033/viewer/2022042913/5f4c3c3430506601a7163d79/html5/thumbnails/3.jpg)
AGENDA
1. INTRODUCTION
2. LE MDM AU CŒUR DE LA STRATÉGIE DATA
3. CE QUE LE DATALAKE CHANGE
4. POUR ALLER PLUS LOIN ?
![Page 4: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,](https://reader033.vdocuments.net/reader033/viewer/2022042913/5f4c3c3430506601a7163d79/html5/thumbnails/4.jpg)
QUI SOMMES NOUS ?
ISO 27001
+50
RSE
BPI
Certification en 2017
Clients grand compte
Signataire Global Compactde l’ONU
BPI Excellence depuis 2010
2002
50M€
550
Création de JEMS
Chiffre d’affaires (2019)
Collaborateurs (2019)
Paris – Londres – New York
![Page 5: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,](https://reader033.vdocuments.net/reader033/viewer/2022042913/5f4c3c3430506601a7163d79/html5/thumbnails/5.jpg)
AGENDA
1. INTRODUCTION
2. LE MDM AU CŒUR DE LA STRATÉGIE DATA
3. CE QUE LE DATALAKE CHANGE
4. ALLER PLUS LOIN ?
![Page 6: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,](https://reader033.vdocuments.net/reader033/viewer/2022042913/5f4c3c3430506601a7163d79/html5/thumbnails/6.jpg)
LE MDM
Pointsd’utilisation
Vision 360°
Analytics
Reporting
Legacy
CRM, ERP, Finance
Points deCapture
Operational Systems
CRM
ERP
Finance
Legacy
€
€
Qualité de la donnée
Cohérence
Administration
Création d’un point de vérité
![Page 7: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,](https://reader033.vdocuments.net/reader033/viewer/2022042913/5f4c3c3430506601a7163d79/html5/thumbnails/7.jpg)
LE MDM AU CŒUR DE LA STRATÉGIE DATA
Reuters®
MDM
Ingestion
Data Stewardship
Meta données Diffusion
Qualité
Stockage ethistorisation
CRM
ERP
Finance
Legacy
€
D-U-N-S®
Applications
Datawarehouses
BI
Donnéesexternes
![Page 8: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,](https://reader033.vdocuments.net/reader033/viewer/2022042913/5f4c3c3430506601a7163d79/html5/thumbnails/8.jpg)
• Workflow d’acquisition• Workflows de gouvernance• IHM de saisie/correction• Administration
• Validation des données• Mise en qualité• Gestion des identifiants• Dé doublonnage• Transcodifications
• Audit• Indicateurs• Tableau de bord
• Versatilité du modèle de données
• Capacité de gestion du modèle
• Versioning• Traces• Archivage
• Consultation• Profils / Habilitations• Exports de données• Gestion des évènements
• Administration • Gestion des droits• Monitoring• Gestion des IHM
PILOTAGEACQUISITION ET PROCESSUS
ADMINISTRATION
ACCÈS ET DIFFUSION
PRINCIPALES FONCTIONS DES OUTILS MDM
MODÉLISATION ET GESTION DES META DONNÉES
STOCKAGE ET JOURNALISATION
QUALITÉ DES DONNÉES
![Page 9: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,](https://reader033.vdocuments.net/reader033/viewer/2022042913/5f4c3c3430506601a7163d79/html5/thumbnails/9.jpg)
AGENDA
1. INTRODUCTION
2. LE MDM AU CŒUR DE LA STRATÉGIE DATA
3. CE QUE LE DATALAKE CHANGE
4. ALLER PLUS LOIN ?
![Page 10: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,](https://reader033.vdocuments.net/reader033/viewer/2022042913/5f4c3c3430506601a7163d79/html5/thumbnails/10.jpg)
UN MONDE OU LA DÉNORMALISATION EST CLÉ
LE DATALAKE
Internal / External
Data SourcesUsages
RAW DATA DATA TABLES DATA VIEWS
• DONNÉE BRUTE
• Stockage à l’identique
• Historisation et traçabilité de
l’Information
• FORMAT SOURCE : Pas de modification de
structure
• Donnée enrichie et / ou nettoyée
• Vision fonctionnelle / source de la donnée
• VUE CAS D’USAGE : Données
spécialement préparée pour
répondre à un cas d’usage
• Donnée préparée et modélisée
pour répondre au cas d’usage.
• Les cas d’usage peuvent être
orientés Data science,
Visualisation
STREAMING DATA
Online Data
offline
Sensors
Logs
REAL TIME VIEWS
SE
RV
ICE
LA
YE
RA
PI
Rest
Data
Science
Agile Data
Intelligence
Engines
Data
Hub
Batc
h
Données Référentielles
![Page 11: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,](https://reader033.vdocuments.net/reader033/viewer/2022042913/5f4c3c3430506601a7163d79/html5/thumbnails/11.jpg)
MODÉLISER AU PLUS TARD DANS CHAINE DE TRAITEMENT
ORGANISATION DU DATALAKE EN COUCHES
DATA VIEWS : Données orientés usage. Les données sontpréparées pour répondre à une question métier
DATA TABLES : Données nettoyées et normalisées / enrichiesgardent leur structure d’origine
RAW DATA : Stockage et historisaiton des données
Amener la donnée au calcul et non le calcul à la donnée
SERVICE LAYER : Interface d’échange avec le SI. Donne accès aux différentes vues du datalake
injection des MASTER DATA sur les differentes vues
![Page 12: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,](https://reader033.vdocuments.net/reader033/viewer/2022042913/5f4c3c3430506601a7163d79/html5/thumbnails/12.jpg)
LES PAIN POINTS DE L’ARCHITECTURE CLASSIQUE
GÉRER LA RELATION ENTRE LES MASTER DATA ET LE DATALAKE
DATA LAKE
Internal & External
Data Sources
€
Master data
providers
Ra
w D
ata
Da
ta t
ab
les
Da
ta V
iew
s
Se
rvic
e L
ay
er
MDM
Ing
est
ion
Stewardship
Master data
Processing
Diffu
sion
End Users
(internal & external)
Internal/external
sources
L’injection des Master Data dans le datalake nécessite une nouvelle réconciliation avec les données présentes
Le Datalake vient enrichir les Master Data en apportant de nouvelles sources
Une rétropropagation et alignement des ID entre Datalake et MDM est indispensable pour maintenir la cohérence
![Page 13: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,](https://reader033.vdocuments.net/reader033/viewer/2022042913/5f4c3c3430506601a7163d79/html5/thumbnails/13.jpg)
AGENDA
1. INTRODUCTION
2. LE MDM AU CŒUR DE LA STRATÉGIE DATA
3. CE QUE LE DATALAKE CHANGE
4. ALLER PLUS LOIN ?
![Page 14: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,](https://reader033.vdocuments.net/reader033/viewer/2022042913/5f4c3c3430506601a7163d79/html5/thumbnails/14.jpg)
DIFFUSER LA MASTER DATA DANS LE DATA LAKE POUR CERTIFIER LES DONNÉES
CERTIFIER LA DONNER DU DATALAKE
View
View
View
View
View
Master data
Enhanced data
Raw Data
Merge / enrich Certified Data
![Page 15: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,](https://reader033.vdocuments.net/reader033/viewer/2022042913/5f4c3c3430506601a7163d79/html5/thumbnails/15.jpg)
LE MASTER DATA MANAGEMENT INTÉGRÉ AU DATALAKE
LE DATALAKE GOUVERNÉ
Les master data sont diffusées dans les tables du datalake
Les data views sont construites avec des données dont le niveau de qualité est garanti
des Data views sont dédiées au traitement des Master Data pour servir les usages de datastewardship
Le service Layer assure la diffusion des Master Data
DATA LAKEInternal & External
Data Sources
Ra
w D
ata
Certified
data
Da
ta V
iew
s
Se
rv
ice
La
ye
r
Usages
Master data
Processing
Legacy &
data sources
Stewardship
![Page 16: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,](https://reader033.vdocuments.net/reader033/viewer/2022042913/5f4c3c3430506601a7163d79/html5/thumbnails/16.jpg)
DATA TABLES
LE DATALAKE GOUVERNÉ
STREAMING DATA
RAW DATA
ENHANCED DATA
MASTER DATA
CERTIFIED DATA
DATA VIEWS
SER
VIC
ELA
YER
Usages
Data
Science
Agile Data
Intelligence
Engines
Data
Hub
AP
I
• SOURCE
VISION
• Original Data
• Information
Traceability
Batc
h
Sources internes/
externes
Online Data
offline
Sensors
Logs Legacy
systems
REAL TIME VIEWS
• Standardized data based
• Cleansed or / and
Enriched data
• FUNCTIONAL VISION
• MASTER DATA
• Cleansed and normalized data
• USAGE ORIENTED
• Data especially prepared to
answer business questions
• Uses cases can be Data Science
or Data Visualisation
• SINGLE TRUTH of
information → Certified
and unified vision of
functional entity
RT MESSAGES
StewardshipData Governance Lineage
![Page 17: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,](https://reader033.vdocuments.net/reader033/viewer/2022042913/5f4c3c3430506601a7163d79/html5/thumbnails/17.jpg)
POUR UN CONTRÔLE COMPLET SUR LE DATA LAKE
LE DATALAKE GOUVERNÉ
Traçabilité & journalisation
Qualité des données Gouvernance Performance
• Rationalisation des ressources
• Une plateforme unique pour toutesles données
• Unifier les flux d’integration
• Intégration du ML pour l’amélioration de la Qualité des données et la déduplication
• Performance
• Linéage de bout en bout au sein du datalake
• Limitation sur les workflows de gestion complexe
• IHM de datastewardhip à developer
Avantages & inconvénients
![Page 18: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,](https://reader033.vdocuments.net/reader033/viewer/2022042913/5f4c3c3430506601a7163d79/html5/thumbnails/18.jpg)
LEQUEL PRIVILÉGIER, COMMENT CHOISIR ?
OUTIL MDM OU MDM INTÉGRÉ AU DATALAKE
Critères MDM Intégré au Datalake Outil MDM
Volumétrie Plusieurs dizaines de millions master data Jusqu’à plusieurs millions de master data
Vitesse de traitementBesoin d’addresser la donnée sur des temps très courts
-
Variété des sources Sources structurées & non structurées fear of internal changes
Datalake Datalake en construction ou déjà existant Pas de Datalake
Référentiel cible Client (vision 360), Produits, Personnes Tous les référentiels
![Page 19: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,](https://reader033.vdocuments.net/reader033/viewer/2022042913/5f4c3c3430506601a7163d79/html5/thumbnails/19.jpg)
QUESTIONS
RÉPONSES
![Page 20: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,](https://reader033.vdocuments.net/reader033/viewer/2022042913/5f4c3c3430506601a7163d79/html5/thumbnails/20.jpg)
![Page 21: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,](https://reader033.vdocuments.net/reader033/viewer/2022042913/5f4c3c3430506601a7163d79/html5/thumbnails/21.jpg)
BUSINEES INTELLIGENCE
BIG DATA
DATA LAKE
GOVERNANCE
SMALL DATA
DIGITAL
ANALYTICS
INNOVATION DISRUPTIVE
DATA VISUALISATION
DATA CENTRIC
SECURITY
CLOUDFAST DATA
DATA SCIENCESMART DATA
CONVERGENCEIoT
Security Operation Center
Design Thinking
Industry 4.0
![Page 22: OUTILS MDM et BIG DATA - Porte de Versailles · 2019-03-25 · QUELLE PLACE POUR LES OUTILS MDM DANS LES ENVIRONNEMENTS BIGDATA AUJOURD'HUI . AGENDA 1. ... orientés Data science,](https://reader033.vdocuments.net/reader033/viewer/2022042913/5f4c3c3430506601a7163d79/html5/thumbnails/22.jpg)
Vous avez les données, nous avonsle savoir faire