polytechgrenoble – ricm 3 ème année vendredi 21 novembre 2008 etude dapprofondissement réseau...
TRANSCRIPT
![Page 1: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/1.jpg)
LE STOCKAGE DISTRIBUÉ
Polytech’Grenoble – RICM 3ème Année
Vendredi 21 Novembre 2008
Etude d’Approfondissement Réseau
Robin Favre
Fabien Touvat
![Page 2: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/2.jpg)
I. Systèmes distribuésA. Définition
B. Exemples
II. Stockage distribuéA. Le stockage et les réseaux
B. Les Systèmes de fichiers distribués
C. Système P2P
III. Oceanstore projectA. Historique
B. Fonctionnement
C. Critiques et limites
Plan
![Page 3: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/3.jpg)
“A distributed system is a collection of independent computers that appear to the users of the system as a single computer”
Distributed Operating System. A. Tanenbaum, Prentice Hall, 1994
I Systèmes DistribuésA) Définition
![Page 4: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/4.jpg)
Petite échelle Grande échelle
Application SupercalculateurHPC (parallélisme)Scientifiques/Industriels
P2P via Internet :•Calcul•Stockage
Avantages Nombre limité de machinesécurité,synchronisation,« simplicité »
RessourcesMises à l’échelleFaible coût
Inconvénients Ressources LimitéesCoût élevé
Sécuritésynchronisation
I Systèmes DistribuésA) Définition
![Page 5: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/5.jpg)
I Systèmes DistribuésB) Exemples
Projets P2P « Hybride » : Client/Serveur et utilisation P2P sur Internet.
SETI@HOME Napster
![Page 6: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/6.jpg)
II Stockage distribuéLe réseau et le stockage
Pourquoi stocker l’information ?ArchivageDisponibilitéTraitement
Critères de stockages
![Page 7: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/7.jpg)
II Stockage distribuéA) Le réseau et le stockage
Les SAN (Stockages Area Network)Très utilisé pour les data-center et HPCLiens à très haut débit
○ iSCSI, Fiber Channel, AoEUtilisation de système de fichier distribué
Les NAS (Network Attached Storage)Utilisé pour la sauvegardeDébit moyen
![Page 8: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/8.jpg)
/ /etc
/mnt
/dev
/home
/home_remote
mount nfs
Exemple de NFS : Network file system
II Stockage distribuéA) Le réseau et le stockage
![Page 9: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/9.jpg)
Présentation générale
II Stockage distribuéB) Les systèmes de fichiers distribués
![Page 10: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/10.jpg)
Difficultés Temps d’accès et performance R/W Cohérence des données
II Stockage distribuéB) Les systèmes de fichiers distribués
![Page 11: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/11.jpg)
Bien pour les réseaux locaux Non applicable aux réseaux étendus
II Stockage distribuéB) Les systèmes de fichiers distribués
![Page 12: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/12.jpg)
Pour réseau LAN et WANAFS (OpenAFS…)DFS (évolution de NFS)CodaFS
Pour cluster :GFSGPFSLustre
II Stockage distribuéB) Les systèmes de fichiers distribués
![Page 13: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/13.jpg)
II Stockage distribuéC) Stockage sur P2P
P2P de partage de données :une ressource est sur une seule machine lecture seule
P2P de partage d’espace de stockage :lecture / écriture sur plusieurs machines distantes
![Page 14: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/14.jpg)
Avantages
Fonctionnement à large échelle Faible coût Haute disponibilité Tolérance aux fautes
II Stockage distribuéC) Stockage sur P2P
![Page 15: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/15.jpg)
Inconvénients
Performance des réseaux Gestion de la cohérence Dynamicité du réseau Sécurité
II Stockage distribuéC) Stockage sur P2P
![Page 16: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/16.jpg)
Plusieurs problématiques :Nommage, Localisation
○ Routage tolérant aux pannesDisponibilité & Pérennité
○ RedondanceSécurité & Confidentialité
○ Cryptographie & AuthentificationPartage des ressources
○ Equité et Cohérence des donnéesPerformance
○ Placement, migration
II Stockage distribuéC) Stockage sur P2P
![Page 17: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/17.jpg)
Localisation
1ère génération : index centralisé
II Stockage distribuéC) Stockage sur P2P
![Page 18: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/18.jpg)
Localisation
2ème génération : inondation
II Stockage distribuéC) Stockage sur P2P
![Page 19: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/19.jpg)
3ème génération : DHT Structure du DHT Partitionnement des clés Structure du réseau Maintenance de la structure
Localisation
II Stockage distribuéC) Stockage sur P2P
![Page 20: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/20.jpg)
Localisation
CHORD CAN KADEMLIA PASTRY TAPESTRY
II Stockage distribuéC) Stockage sur P2P
![Page 21: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/21.jpg)
Données persistante redondance des données
Insertion et départ Exemple avec Chord
N32
N10
N5
N20
N110
N99
N80
N60
K19
K19
Disponibilité et pérennité
II Stockage distribuéC) Stockage sur P2P
K19
![Page 22: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/22.jpg)
Il faut assurer que les données soient cohérente
Plusieurs modèles ayant une cohérence plus ou moins fortesCohérence forteCohérence faible
Cohérence et équité
II Stockage distribuéC) Stockage sur P2P
![Page 23: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/23.jpg)
Données mise en cache Déplacement de données proactive
Equilibrage de charge Introspection
Optimisation
II Stockage distribuéC) Stockage sur P2P
![Page 24: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/24.jpg)
II Stockage distribuéC) Stockage sur P2P
Plusieurs projets actuel : OceanStore (Berkeley) CFS (MIT) PAST (Rice) PASTA (Microsoft) Farsite (Microsoft) InterMemory (NEC)
Ivy (MIT) PlanetP (Rutger U.) Mnemosyne (sprintlab) Clique (HP) Mammoth (BC U) Ficus (UCLA) Tornado (Tsing Hua U.)
![Page 25: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/25.jpg)
III Ocean Store ProjectA) Historique
John Kubiatowicz 1999 University of California, Berkeley 30 personnes
14 étudiants15 profs et externes
Open Source, Licence BSD (Pond) But du projet
![Page 26: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/26.jpg)
III Ocean Store ProjectB) Fonctionnement
Hypothèses Localisation par DHT Disponibilité Modèle de cohérence Sécurité
« OceanStore is a global-scale persistent data store.
A consistent, highly-available, and durable storage »
![Page 27: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/27.jpg)
Infrastructure « untrusted » Bande passante conséquente L’utilisation poussée du cache Résolution de conflit au niveau applicatif
III Ocean Store ProjectB) Fonctionnement
Hypothèses
![Page 28: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/28.jpg)
Système développé à Berkeley pour les besoin d’Oceanstore.
Espace de clé est grand (2^160) Clé en hexadécimal : « 3ABB »
III Ocean Store ProjectB) Fonctionnement
Tapestry
![Page 29: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/29.jpg)
Chaque noeud connait au moins un noeud de chaque niveau
III Ocean Store ProjectB) Fonctionnement
Tapestry : table des voisins
![Page 30: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/30.jpg)
Exemple : 7642 6531
III Ocean Store ProjectB) Fonctionnement
Tapestry : Routage
![Page 31: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/31.jpg)
Chaque objet est associé à un nœud racine
Le nœud racine est le nœud où on a noeudID = GUID
III Ocean Store ProjectB) Fonctionnement
Tapestry : Localisation/publication
![Page 32: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/32.jpg)
III Ocean Store ProjectB) Fonctionnement
Tapestry : Localisation/publication
![Page 33: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/33.jpg)
III Ocean Store ProjectB) Fonctionnement
Tapestry : Localisation/publication
![Page 34: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/34.jpg)
III Ocean Store ProjectB) Fonctionnement
Tapestry : Localisation/publication
![Page 35: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/35.jpg)
III Ocean Store ProjectB) Fonctionnement
Tapestry : Localisation/publication
![Page 36: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/36.jpg)
Redondance :Deep Archival StorageReplica float Fragment code
Système de Gestion des Versions (SVN)
III Ocean Store ProjectB) Fonctionnement
Disponibilité
![Page 37: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/37.jpg)
III Ocean Store ProjectB) Fonctionnement
Disponibilité
![Page 38: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/38.jpg)
III Ocean Store ProjectB) Fonctionnement
Mise à jour :
Modèle de cohérence
![Page 39: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/39.jpg)
Cryptage avec RSA Lecteurs possèdent la clé Auteurs authentifiés Fichiers et opérations cryptés
III Ocean Store ProjectB) Fonctionnement
Sécurité
![Page 40: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/40.jpg)
III Ocean Store ProjectC) Critiques et limites
Critiques :Utilisation de Tapestry
Limites :Partie centraliséeHypothèses
![Page 41: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/41.jpg)
Références
Bibliographie Olivier SOYEZ, 2002, La RIA, Système de Stockage Pair à Pair Sébastien VARETTE, 2005, Introduction aux Systèmes distribués Jean-François Deverge, 2003, IRISA, Systèmes distribués de partage de
données S. Rhea, P. Eaton, D. Geels, H. Weatherspoon, B. Zhao, and J.
Kubiatowicz. 2003, Pond: the OceanStore Prototype Franck CAPELLO, 2005, INRIA, P2P : Développement récents et
Perspectives Arvind Krishnamurthy, 2003, Fall, Tapestry Wrapup
Webographie http://fr.wikipedia.org/ et http://en.wikipedia.org http://oceanstore.cs.berkeley.edu/ http://schuler.developpez.com/articles/p2p/
![Page 42: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/42.jpg)
MERCI POUR VOTRE ATTENTION
Avez-vous des questions ?
![Page 43: PolytechGrenoble – RICM 3 ème Année Vendredi 21 Novembre 2008 Etude dApprofondissement Réseau Robin Favre Fabien Touvat](https://reader035.vdocuments.net/reader035/viewer/2022070309/551d9da5497959293b8d6bbc/html5/thumbnails/43.jpg)
Annexes Architecture Centralisée vers Décentralisée
Technologie RessourcesRecherche de
ressourcesRecherche de
pairsMulti-source
Architecture client-serveur
centralisé centralisé centralisé non
Napster (1999) décentralisé centralisé centralisé non
Direct Connect (?)
décentralisé décentralisé centralisé non
eDonkey (2003) décentralisé semi-centralisé semi-centralisé oui
Kademlia (?) décentralisé décentralisé décentralisé oui