parallélisme et grappes d’ordinateurs olivier aumage lip, ens lyon
TRANSCRIPT
![Page 1: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/1.jpg)
Parallélisme etgrappesd’ordinateurs
Olivier Aumage
LIP, ENS Lyon
![Page 2: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/2.jpg)
Introduction
Calcul haute performanceParallélisme
![Page 3: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/3.jpg)
Une forte demande en puissance de calcul
simulation et modélisation météo, climatologie chimie
traitement des signaux images sons
analyse de données génomes fouille de données
en puissance de traitement bases de données serveurs multimédia Internet
![Page 4: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/4.jpg)
Une forte demande en puissance de calcul
simulation et modélisation météo, climatologie chimie
traitement des signaux images sons
analyse de données génomes fouille de données
en puissance de traitement bases de données serveurs multimédia Internet
![Page 5: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/5.jpg)
Une forte demande en puissance de calcul
simulation et modélisation météo, climatologie chimie
traitement des signaux images sons
analyse de données génomes fouille de données
en puissance de traitement bases de données serveurs multimédia Internet
![Page 6: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/6.jpg)
Le parallélisme une tentative de réponse
« l’union fait la force »
> gauss> gauss
![Page 7: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/7.jpg)
Le parallélisme une tentative de réponse
« l’union fait la force »
> gauss> gauss
![Page 8: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/8.jpg)
Plusieurs niveaux machines
architectures distribuées
![Page 9: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/9.jpg)
Plusieurs niveaux machines
architectures distribuées
processeurs machines multi-processeurs
![Page 10: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/10.jpg)
Plusieurs niveaux machines
architectures distribuées
processeurs machines multi-processeurs
Pentium IV
![Page 11: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/11.jpg)
Plusieurs niveaux machines
architectures distribuées
processeurs machines multi-processeurs
unités de calcul processeurs superscalaires
![Page 12: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/12.jpg)
Plusieurs niveaux machines
architectures distribuées
processeurs machines multi-processeurs
unités de calcul processeurs superscalaires
processus multi-programmation temps partagé
![Page 13: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/13.jpg)
Plusieurs niveaux machines
architectures distribuées
processeurs machines multi-processeurs
unités de calcul processeurs superscalaires
processus multi-programmation temps partagé
threads multi-programmation à grain fin
![Page 14: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/14.jpg)
Plusieurs approches machines à mémoire
partagée
> gauss
![Page 15: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/15.jpg)
Plusieurs approches machines à mémoire distribuée
> gauss
![Page 16: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/16.jpg)
Plusieurs approches machines hybrides : Non-Uniform Memory Access
(NUMA)
> gauss
![Page 17: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/17.jpg)
Contexte
HistoriqueÉvolutions récentes
![Page 18: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/18.jpg)
1950-1980
Matériel
Début des recherches en parallélisme
Machines peu fiables Coût extrêmes
Logiciel
Peu de chercheurs ont accès aux premiers supercalculateurs
Peu de recherche
Illiac-IV
![Page 19: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/19.jpg)
1980-1990 Matériel
Production commerciale de supercalculateurs
Cray-1 (1976) Cray X-MP (1982)
Recherche très active Calcultateurs massivements parallèles Hypercubes
Utilisation de microprocesseurs
Logiciel Les problèmes apparaissent La programmation parallèle
est trop difficile
Cray X-MP
![Page 20: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/20.jpg)
Évolutions récentes Matériel
Fort retrait des supercalculateurs entre 1990 et 1995 Nombreuses faillites Rachat de sociétés Disparition des architectures originales
Micro-informatique Micro-processeurs rapides Réseaux haut débit/faible latence
de plus en plus répandus Configurations PC/stations puissantes
Logiciel Nécessité d’outils
Compilateurs paralléliseurs Débogueurs Bibliothèques
Essentiel des efforts de recherche
![Page 21: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/21.jpg)
Pourquoi un tel déclin ? Peut-être un manque de réalisme
Faible demande en supercalculateurs Coût d’achat et d’exploitation trop élevés Obsolescence rapide
Viabilité des solutions pas toujours très étudiée Difficultés de mise au point Solutions dépassées dès leur disponibilité
Une utilisation peu pratique Systèmes d’exploitation propriétaires
Difficulté d’apprentissage
Manque ou absence d’outils Difficulté d’exploitation
![Page 22: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/22.jpg)
Objectifs
Cahier des charges pour une machine
parallèle
![Page 23: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/23.jpg)
Objectifs économiques
Acquisition
Coût limité par rapport aux supercalculateurs Rapport puissance/coût élevé
Exploitation
Ergonomie Fiabilité Facilité de maintenance Scalabilité Evolutivité
![Page 24: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/24.jpg)
Objectifs techniques
Solutions non-propriétaires
Nœuds à base d’ordinateurs personnels Systèmes d’exploitation classiques
Linux, systèmes BSD, Solaris Windows NT
Composants non-propriétaires
Processeurs Intel / AMD (x86), DEC (Alpha), Motorola (PPC)
Réseaux Ethernet, Myrinet, SCI, Giganet
![Page 25: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/25.jpg)
Grappes d’ordinateurs
Concepts et idées
![Page 26: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/26.jpg)
Principes générauxStructure d’une grappe
Grappe
![Page 27: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/27.jpg)
Principes générauxStructure d’une grappe
Un ensemble de machines Des PC du commerce
Grappe
Dell PowerEdge 2550
![Page 28: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/28.jpg)
Principes générauxStructure d’une grappe
Un ensemble de machines Des PC du commerce
Un réseau classique Lent Réservé à l’administrationRéseau lent Grappe
![Page 29: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/29.jpg)
Principes générauxStructure d’une grappe
Un ensemble de machines Des PC du commerce
Un réseau classique Lent Réservé à l’administration
Un réseau rapide Temps de transfert réduit Débit élevé Réservé aux applications
Réseau rapide
Réseau lent Grappe
![Page 30: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/30.jpg)
Machines Quantité
Grappes classiques 8, 16, 32 machines
Grandes grappes Plusieurs centaines
Processeur Nombre
1 ou 2 Type
Pentium III/IV Athlon Autres : Alpha, Sparc
Fréquence 1 GHz = 1.000.000.000 Hertz
Mémoire Taille
1 Go = 1.073.741.824 octets Icluster (grappe de 100 pc, Grenoble)
![Page 31: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/31.jpg)
Communications Réseaux rapides
Grande fiabilité
Faible latence Quelques µs Réactivité
Haut débit 100 ~ 1000 Mbit/s Gros volumes
Carte de communication MyricomFibre optique
![Page 32: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/32.jpg)
Grappe Icluster par rapport au Cray T3E-900Calculs sur des tableaux
100
1000
10000
1 2 4 8 16 32 64
Nombre d'ordinateurs
Mil
lio
n d
'op
érat
ion
s p
ar s
eco
nd
es
Icluster
T3E-900
Grappe Icluster par rapport au Cray T3E-900Calculs sur des tableaux
100
1000
10000
1 2 4 8 16 32 64
Nombre d'ordinateurs
Mil
lio
n d
'op
érat
ion
s p
ar s
eco
nd
es
Icluster
T3E-900
Comparatif
Cray T3ECray T3E
![Page 33: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/33.jpg)
Conclusion
Et alors ?
![Page 34: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/34.jpg)
Conclusion L’informatique du parallélisme évolue vers plus de pragmatisme
La programmation parallèle est difficile Il est inutile de compliquer la situation avec des machines complexes
Utilisation de matériels simples et fiables (grappes)
Il est en revanche important d’encadrer le programmeur Développement d’outils Développement de techniques
Un thème de recherche actif à tous les niveaux Architecture Système Informatique théorique
![Page 35: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/35.jpg)
Évolution et perspectives
Et maintenant ?
![Page 36: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/36.jpg)
De nouvelles approches Grappes de grappes
L’étape suivante
Métacomputing Parallélisme à grande échelle
Global-computing Projets de type SETI-at-home Exploitation des ressources inutilisées
![Page 37: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/37.jpg)
A vous de jouer Where do you want to go today ???
![Page 38: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/38.jpg)
![Page 39: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/39.jpg)
Plusieurs niveaux machines
architectures distribuées
processeurs machines multi-processeurs
unités de calcul processeurs superscalaires
processus multi-programmation temps partagé
threads multi-programmation à grain fin
![Page 40: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/40.jpg)
Communications Réseaux rapides
Grande fiabilité Faible latence quelques µs
réactivité Haut débit 100 ~ 1000 Mbit/s
gros volumes
Interfaces et bibliothèques de communication adaptées Fonctionnalités minimales Contrôle direct en mode utilisateur Transferts zéro-copie
![Page 41: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/41.jpg)
Plusieurs approches parallélisme de contrôle
multi-programmation pipelines architectures superscalaires
parallélisme de données parallélisme massif, machines de type PRAM processeurs vectoriels langages data-parallèles
![Page 42: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/42.jpg)
(Fast|Giga)-Ethernet Interconnexion
Hub ou switch Câblage
Cuivre ou fibre optique Latence
~20 µs Débit
100 Mb/s et 1Gb/s Note
Compatibilité avec l’Ethernet classique
Hub
Switch
![Page 43: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/43.jpg)
Myrinet Société Myricom Interconnexion
Switch Câblage
Nappes courtes Cartes équipées d’un processeur Latence
1~2 µs Débit
1 Gb/s Note
Durée de vie limitée des messages (50 ms)
LANai
![Page 44: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/44.jpg)
SCI Scalable Coherent Interface
Norme IEEE (1993) Société Dolphin
Fonctionnement par accès mémoire distants Projections d’espaces d’adressage
Machine A Machine B
Réseau SCI
Mémoire
MémoireBus PCI Bus PCI
![Page 45: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/45.jpg)
Interfaces Initialisation
Réservée au système Uniquement en début
de session
Transferts Directs depuis l’espace
utilisateur Pas d’appels systèmes Pas de transitions Transmissions zéro-
copie
Interface
Programme
Réseau
Système
Espace utilisateur
TransfertsInitialisation
![Page 46: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/46.jpg)
BIP Basic Interface for Parallelism
L. Prylli et B. Tourancheau
Dédiée aux réseaux Myrinet
Caractéristiques Transmission asynchrone Pas de contrôle de flux Pas de détection d’erreur
![Page 47: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/47.jpg)
VIA Virtual Interface Architecture
Tentative de standardisation Beaucoup d’industriels impliqués
Caractéristiques Principe d’interfaces virtuelles Zones de transmission protégées Lectures/Ecritures distantes
![Page 48: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/48.jpg)
Bibliothèques Paradigme passage de message
Les nœuds se synchronisent et communiquent par messages
Deux instructions de base Send émission d’un message Receive réception d’un message
Points forts Simple à mettre en oeuvre Permet d’émuler les autres paradigmes
![Page 49: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/49.jpg)
PVM Parallel Virtual Machine
Laboratoire National d’Oak Ridge (Tennessee) 1989
Caractéristiques Notion de machine virtuelle
Ensemble de machines physiques Construction préalable au lancement de la session
Disponibilité très large Réseaux
UDP + protocole de réémission Support de l’hétérogénéité
XDR
![Page 50: Parallélisme et grappes d’ordinateurs Olivier Aumage LIP, ENS Lyon](https://reader036.vdocuments.net/reader036/viewer/2022062512/551d9dd4497959293b8e5d0f/html5/thumbnails/50.jpg)
MPI Message Passing Interface
MPI-Forum v1.0 1994 v2.0 1997
Caractéristiques Un standard, pas une bibliothèque Diverses implémentations
MPI-CH LAM-MPI …
Supplante PVM Version 2.0 encore peu implémentée