urba ea topo-puits-v4extrait
TRANSCRIPT
1
LES PUITS DE DONNÉES
Exposé au 6 ième Symposium C2P-Club Urba-EA
René Mandel Vice-Président Club Urba-EAEmeline Marcoux Urbaniste SIHM
4/6/15
Valoriser les données
Paul Signac
Femmes au puits 1892
2
Les « données de référence» au cœur du SI. Statiques vs Dynamiques Positionnement des « puits »
Objectifs des Puits Mettre en cohérence les flux et échanges Synchroniser, qualifier Migrer
Principes Modélisation Effet « Janus » Migration, Qualité, Analytics
Sommaire
© Club Urba-EA
3
Données Statiques vs Dynamiques
Au cœur du SI Statiques
• Identification des personnes, produits, structures,
Dynamiques• Flux opérationnels : parcours client, cycles
productifs, administratifs, …
Pourquoi ce distinguo ? Processus de mise à jour :
• MDM : réingénierie• Puits : identiques
Subsidiarité :• MDM : par le modèle d’architecture• Puits : par granularité
Exemple des contacts commerciaux :Des événements de parcours à tracer sur
tous canaux, et à synchroniser
Abonnement
Connexion
Connexion Demande
document
Devis
Précision
Prospect
Appel
Prise rendez-
vousRendez-
vous
EchéancierInvitation
Démonstration
Engagement
Visit
e en
bo
utiqu
ePr
emie
r ac
hat
Insc
riptio
n
Cam
pagn
eRé
pons
e
Fidé
lisati
on
Acha
ts
récu
rren
ts
Client
Adresses
Réseau
Agent
Comment orchestrer ce ballet ?
© Club Urba-EA
5
Extranet Entités
SI EntitésSI Entités SI Entités
Réfé
rentie
ls Strtu
cture
s Org
anisa
tion
Réfé
rentie
l Pro
duits S
erv
ices
Réfé
rentie
l Perso
nnes
Puit Evénements commerciaux
Puit Prestations
Visions 360° (moteur de recherche, corbeille, GED…)
Configura
teursORCHESTRATEUR DES ECHANGES & REPARTITEUR DE FLUX
(interopérabilité)
Puit Equipement
Autres puits…
SI GRCSI
GestionAutre
SI
Extranets Mobiquité
Réfé
rentie
l Nom
encla
ture
s
Les piliers du SI
Middle
Back
FrontSI GRC
Positionnement des Puits
© Club Urba-EA
6
Objectifs des Puits
Simplifier le SI Lutter contre la complexification des échanges Décloisonner les silos, converger (généricité du
modèle) Mettre en cohérence (identités, localisations, dates) Synchroniser
Faciliter la migration Mixer ancien patrimoine SI et nouveaux composants Orientation « service » (Daas)
Capitaliser sur les données Mettre en qualité Hybrider (Big Data, NoSQL…)
Gouvernance « Light »
6
© Club Urba-EA
7
Simplifier
N X P fluxN X P conversions de format
Besoin de simplification et de flexibilité
• Effet « spaghetti »
• Multiplication des modalités d’échange
• Les « formats pivots » ne règlent pasla complexité des latences
• Complexification « au fil de l’eau »
On aboutit à …
© Club Urba-EA
9
Simplifier
N X P fluxN X P conversions de format
Référentiel
Source GRC
Source gestion
Source externe
Vision 360
Décisionnel
Partenaire
PuitsPuitsConversions de format
Moteur de
recherche
Besoin de simplification et de flexibilité
• Effet « spaghetti »
• Multiplication des modalités d’échange
• Les « formats pivots » ne règlent pasla complexité des latences
• Complexification « au fil de l’eau »
© Club Urba-EA
10
Les principes
Des données …U
n «
gra
in »
ato
miq
ue t
ri-d
até
Partagées 360°Cohérentes, subsidiaires
Pures, filtrées,Transparentes, canoniques
Fraîches, Synchronisées,Historisées , tracées
© Club Urba-EA
11
Modéliser le grain
Modéliser le grain le plus fin pertinent• Attaché à un « fait »• Identifié : occurrence de l’objet, de la personne, …• Localisé : géo-localisé, positionné• 3 dates (fait, vision, technique)• « Etats » de ses cycles de vie
Exemples• Accident, sinistre,• Activité d’une ressource• Cycle de vie d’une Personne, d’un produit, …• Trajet, circulation,• Production d’une unité d’œuvre,• Parcours client
© Club Urba-EA
12
Le modèle tri-daté
est daté
Date du fait
Le Fait
observé
Date de vision
La Vision
instrument
Date technique
L’outil
Cycle de vie de l’objet
Parcours de vision
Cycle technique
© Club Urba-EA
13
Le modèle tridaté
Le fait est daté : date du fait, → cycle de vie de l’objet
La vision est datée : vision en anticipation (le fait prévu), vision
sur le fait (le fait réel), vision en recul (retour sur le fait : retour d’expérience, enrichissement), → parcours de vision
L’instrument d’observation est daté : date technique (date de saisie, date
d’acquisition, date du fichier, …), codification des sources (canaux), des états → cycle des mises à jour (mise en qualité, précisions,…),
© Club Urba-EA
14
Modèle type d’un grain
Lieu
Où Quand
Dates
Evénement
QuoiEtat-cana
l
Identité QuiObje
t
Référencement
InformationsActeur
s
Typag
e
© Club Urba-EA
15
Eliminer la complexité due aux dialectes
Les mêmes données s’échangent dans différentes logiques (flux, stock, lots,…) et latences (synchrone, asynchrones) : Stock à date (fichier, téléchargement, …) Variation de stock entre dates (différentiel) Messages au fil de l’eau désynchronisés
(messagerie) Messages synchrones, invocation de services
En s’appuyant sur divers protocoles et standards (FTP, REST, XML, CSV…), et architectures (ESB,…)
© Club Urba-EA
16
Eliminer la complexité due aux dialectes
Tour de Babel
des dialectes,
protocoles et
latences
Stock, Delta, Flux
Asynchrone, SynchroneSy
ntax
es, f
orm
ats
Protocole
s
Serv
ices
Can
aux
© Club Urba-EA
17
Eliminer la complexité due aux dialectes
Tour de Babel
des dialectes,
protocoles et
latences
Stock, Delta, Flux
Asynchrone, SynchroneSy
ntax
es, f
orm
ats
Protocole
s
Serv
ices
Can
aux
XML
Connecteur
Fichier
Message
Services Web
EDI
Admin-istration
Gestion des
Contrats
Accès MDMGestion
cohérence
Gestion des Ser-vices
Gestion Sécurité
Cœur du puitsGrain
tri-daté
© Club Urba-EA
18
Puits de données
Web
Gestion contrat Comptabilité ODS
Web
CRM
Référentiels de
données
Interopérabilité
Orchestration
des échanges
Répartiteur
De flux
Puits de
données
Interopérabilité multi-mondes
18 Synchroniser
© Club Urba-EA
19
Migrer : effet « Janus »
Avec l’existant :• Non intrusif• Interposition
dans les échanges (leurre)
• Intégration « lâche »
Avec les projets :
• Catalogue de services de données disponibles
• En avance de phase
Historisation interne pour tout tracer et restituer toutes les latencesUtilisation de routines d’intégration de données du marché
© Club Urba-EA
20
Puits : pivot de la migration
Pivot applicatif : Nécrose : dé commissionnement progressif Couveuse : nouveau composant
Hybridation des mondes : Données modélisées classiques Données monde open source
Pivot d’architectures Le fonctionnement en Daas cache les choix et
évolutions d’architecture : données (SQL, NoSQL, …), plateformes (MBaaS,…)
Ouverture au-delà de l’espace « souverain » Avec l’Écosystème Open Data
© Club Urba-EA
21
Qualité, analytics
Puits et point de vérité (données Golden) Le puits gère le cycle de mise en qualité, et
mémorise les différents états Il trace le point de vérité L’alignement des silos source peut être
progressif (mise en cohérence par évolutions applicatives)
Puits et ODS, Data Lake Assainit l’amont opérationnel Engage le rapprochement Big Data, Synergie Data Lake (données immuables)
© Club Urba-EA
22
Data Lake divisionniste (micro-services)
Paul Signac1906
MERCI
Pour plus d’information,contactez
23
Mandel René[email protected]
Emeline [email protected]
4/6/15