course syllabus department: computer science …enseirb-matmeca.bordeaux-inp.fr/syllabus/pdf/... ·...

Course SyllabusDepartment:

Computer ScienceSemester 9PRCD

Parallélisme,Régulation et Calcul

Distribué

23/05/2016 - 04:50:26 123/05/2016 - 04:50:26 1

http://www.enseirb-matmeca.fr

Course Syllabus

Computer ScienceSemester 9PRCD - Parallélisme, Régulation et Calcul Distribué

MODULE UE INTITULÉ INTERVENANTS COEF./ECTS

I9-A Culture de l'ingénieur É. ASTIEN (Resp.) 5.00

CE302 Professionel project : level 3 E. DUPUY 0.00 p. 4CE320 Soutenance de projet professionnel É. ASTIEN (Resp.) 0.00 p. 5CE321 Business simulation É. ASTIEN 2.50 p. 6LC301 English S9 K. BEIRNE

P. CROCKERJ. FAUCHER (Resp.)P. FLOQUET (Resp.)S. MÉDINA (Resp.)L. STEVENS-LARRE

2.50 p. 17

I9PRCD-A Langages et supports d'exécution A. DENIS (Resp.) 5.00

PG305 Langages du parallélisme O. AUMAGEO. COULAUD (Resp.)

2.50 p. 18

PG306 Distributed Application Programming A. DENIS (Resp.) 2.50 p. 20

I9PRCD-B Architectures, systèmes et communications D. BARTHOU (Resp.) 5.00

IF306 Communication et routage O. BEAUMONTL. EYRAUD-DUBOISN. HANUSSER. KLASING (Resp.)A. KOSOWSKIH. LARCHEVEQUEC. TRAVERS

1.75 p. 10

IT336 Architecture of parallel and distributed systems D. BARTHOU (Resp.) 1.75 p. 14IT338 Supports de communication hautes

performancesO. AUMAGE (Resp.) 1.50 p. 15

I9PRCD-C Algorithmique et ordonnancement J. ROMAN (Resp.) 5.00

IF304 Algorithmique parallèle G. PICHONJ. ROMAN (Resp.)

2.50 p. 8

IF305 Equilibrage et régulation de charge E. AGULLOG. PICHONP. RAMET (Resp.)

2.50 p. 9

I9PRCD-D Algorithmique et applications J. ROMAN (Resp.) 5.00

IS309 Algèbre linéaire creuse E. AGULLOL. GIRAUDJ. ROMAN (Resp.)

3.50 p. 11

IS310 Algorithmique pour méthodes hiérarchiques O. COULAUD (Resp.) 1.50 p. 13

I9PRCD-E Personnalisation H. BEAUGENDRE (Resp.) 5.00

EX324 Free module for PRCD 2.50 p. 7 AN304 Parallel programming H. BEAUGENDRE (Resp.) p. 3

IT341 Computational Accelerators F. RUE (Resp.) 2.50 p. 16

23/05/2016 - 04:50:26 2



Course Syllabus

AN304 : Parallel programmingShared by choice module(s) :

EX319 Optional unit O92a p. 0EX324 Free module for PRCD p. 7EX334 Optional unit O92a p. 0

Crédits ECTS :

2.50

Évaluation :

S1: CC; S2: ET(2h,E,sd,sc)

Number of hours :Lecture : 24.00Individual work : 24.00

Teacher(s) :BEAUGENDRE Héloïse

Title :Parallel programming

Abstract :The aim of this formation is to study the main methodologies of parallel computing. First a brief overview andsome concepts and terminology associated with parallel computing models are explored. This is followed by adiscussion on a number of issues related to designing parallel programs using graph partitioning (METIS andSCOTCH).

Prerequisite :Module AN202

23/05/2016 - 04:50:26 3



Course Syllabus

CE302 : Professionel project : level 3Shared by UV(s) :

C9SRT-F English and Management p. 0C9TM-F English and Management p. 0E9AM2AS-FEnglish and Management p. 0

E9CSI-F English and Management p. 0E9CSR-F English and Management p. 0E9SE-F English and Management p. 0E9TS-F English and Management p. 0M9-C Languages and Management for Engineers p. 0T9GLR-C English and Management p. 0T9ISN-C English and management p. 0T9RSC-C English and Management p. 0

Évaluation :

S1: -- x0

Number of hours :Combined lecture and tutorial classes : 5.20

Teacher(s) :DUPUY Eric

Title :Professionel project : level 3

Abstract :Finalisation du projet professionnel/Préparation à la soutenance de projet professionnel

Plan :en cours d'élaboration

23/05/2016 - 04:50:26 4



Course Syllabus

CE320 : Soutenance de projet professionnelShared by UV(s) :



Évaluation :

S1: Proj(Sout) x1; S2: rep(S1) x1

Number of hours :Tutorial classes : 4.00Individual work : 10.00

Teacher(s) :ASTIEN Éric

Title :Soutenance de projet professionnel

Abstract :Soutenance de 30 minutes devant un jury composé de professionnels et d'enseignants. Il s'agit pour l'élève"ingénieur" de présenter à partir d'une simulation de recrutement l'orientation qu'il a donné à son projetprofessionnel (métier, secteur...)

23/05/2016 - 04:50:26 5



Course Syllabus

CE321 : Business simulationShared by UV(s) :



Crédits ECTS :

2.50

Évaluation :

S1: CC(Rap,PA) x1; S2: rep(S1) x1

Number of hours :Lecture : 24.00

Teacher(s) :ASTIEN Éric

Title :Business simulation

Abstract :This formation develops students understanding of the complexity of global business operations in a dynamiccompetitive environment. It integrate a range of concepts from various management-related disciplines, includingeconomic, political, financial, accounting....

Plan :This formation develops students understanding of the complexity of global business operations in a dynamiccompetitive environment. It integrate a range of concepts from various management-related disciplines, includingeconomic, political, financial, accounting....

23/05/2016 - 04:50:26 6



Course Syllabus

EX324 : Free module for PRCDShared by UV(s) :

I9PRCD-E Personnalisation p. 2

To choose from :AN304 Parallel programming p. 3

Crédits ECTS :

2.50

Title :Free module for PRCD

23/05/2016 - 04:50:26 7



Course Syllabus

IF304 : Algorithmique parallèleShared by UV(s) :

I9PRCD-C Algorithmique et ordonnancement p. 2

Crédits ECTS :

2.50

Évaluation :

S1: ET(2h,E,da,ca) x2.5

Number of hours :Lecture : 21.33Tutorial classes : 8.00Individual work : 20.00

Teacher(s) :PICHON GrégoireROMAN Jean

Title :Algorithmique parallèle

Abstract :Le but de ce cours est l'apprentissage des concepts fondamentaux de l'algorithmique parallèle. Ces conceptsseront illustrés par des études de cas algorithmiques relatives à des problèmes classiques issus des domainesnumériques et non numériques.

Plan :1. Modèles du calcul parallèle, modèles en mémoire partagée et en mémoire distribuée.2. Analyse et complexité des algorithmes parallèles : accélération, coût, efficacité, iso-efficacité, granularité.3. Etude d'algorithmes parallèles fondamentaux : fusion, tri, sélection, recherche, calcul matriciel, résolutiond'équations, FFT, algorithmes de graphes.

Document(s) :Tous documents autorisés.

Keyword(s) :Algorithmique parallèle, complexité.

Online course :Introduction to Parallel ComputingA. Grama, A. Gupta, G. Karypis et V. KumarAddison-Wesley, Deuxième édition, 2003, ISBN 0 201 64865 2.

23/05/2016 - 04:50:26 8



Course Syllabus

IF305 : Equilibrage et régulation de chargeShared by UV(s) :

I9PRCD-C Algorithmique et ordonnancement p. 2

Crédits ECTS :

2.50

Évaluation :

S1: ET(1h30,E,da,ca) x2.5


Teacher(s) :AGULLO EmmanuelPICHON GrégoireRAMET Pierre

Title :Equilibrage et régulation de charge

Abstract :L'objectif de ce cours est d'apporter les connaissances nécessaires à la conception d'algorithmes parallèlesperformants. On s'intéresse plus particulèrement aux aspects de placement et d'ordonnancement. On utilise lesapplications d'algèbre linéaire dense comme exemples pour illustrer les techniques mises en oeuvre.

Plan :1. Structure des architectures et placement des calculs et des données.2. Conception des algorithmes parallèles, problème du ratio calcul/communication.3. Placement statique, partitionnement de graphes.4. Parallélisation automatique: placement et alignement de données pour des problèmes réguliers.5. Ordonnancement et placement sur architectures hétérogènes, prise en compte de l'irrégularité des problèmes.

Prerequisite :Connaissances en algorithmique parallèle et en algèbre linéaire classique.


Keyword(s) :placement, alignement, ordonnancement, algèbre linéaire dense

Online course :Algorithmique parallèleA. Legrand et Y. RobertDunod, 2003, ISBN 2 10 006531 9.

23/05/2016 - 04:50:26 9



Course Syllabus

IF306 : Communication et routageShared by UV(s) :

I9PRCD-B Architectures, systèmes et communications p. 2

Crédits ECTS :

1.75

Évaluation :

S1: ET(30m,LA,da,ca) x1.75


Teacher(s) :BEAUMONT OlivierEYRAUD-DUBOIS LionelHANUSSE NicolasKLASING RalfKOSOWSKI AdrianLARCHEVEQUE HubertTRAVERS Corentin

Title :Communication et routage

Abstract :Ce module a pour objectif d'étudier l'ensemble des aspects algorithmiques concernant la communication et leroutage d'informations dans les architectures parallèles.

Plan :- Chapitre 1:

Modélisation des communications (modèles de TCP, architectured'Internet, systèmes de coordonnées réseaux (GNP, Sequoia, Vivaldi)):Lionel Eyraud-Dubois, Hubert Larchevêque

- Chapitre 2:Communications collectives en filaires et sans fils, ad-hoc(complexité des problèmes point à point et des communicationscollectives, problématique de conservation de l'énergie):Ralf Klasing, Adrian Kosowski

- Chapitre 3:Routage dans les réseaux, recherche d'information dans les basesde données distribuées (DHTs, gossip), distribution de contenus(Bittorrent, streaming): Nicolas Hanusse, Olivier Beaumont

- Chapitre 4:Influence de l'asynchronisme: Corentin Travers

Prerequisite :Bonne connaissances en algorithmique.

Keyword(s) :Architecture parallèle, Communication et routage dans les réseaux.

23/05/2016 - 04:50:26 10



Course Syllabus

IS309 : Algèbre linéaire creuseShared by UV(s) :

I9PRCD-D Algorithmique et applications p. 2

Crédits ECTS :

3.50

Évaluation :

S1: ET(3h,E,da,ca) x3.5

Number of hours :Combined lecture and tutorial classes : 16.00Tutorial classes : 8.00Individual work : 15.00

Teacher(s) :AGULLO EmmanuelGIRAUD LucROMAN Jean

Title :Algèbre linéaire creuse

Abstract :La résolution de grands systèmes linéaires est un des outils les plus utilisés et les plus consommateurs de calculdans lesapplications scientifiques actuelles. Le but de ce cours est de faire une étude approfondie des algoritmesparallèles de résolution degrands systèmes d'équations linéaires creux par méthodes directes et par méthodes itératives.

La première partie sera dédié aux problèmes algorithmiques rencontrés lors de la mise en oeuvre efficace d'unsolveur direct haute performance en utilisant le modèle de graphe sous-jacent.

L'objectif de la deuxième partie de ce cours sera de présenter les algorithmes parallèles pour les méthodesitératives, et un certain nombre de méthodes de préconditionnement génériques les plus utilisées en pratique.

Les TDs/TPs consisteront en une mise en oeuvre effective de la parallélisation d'un algorithme de gradientconjugué préconditionné pour des matrices creuses au format CSR.

Plan :1.Première partie: Parallélisation des méthodes directes

- Modèle de graphe associé à l'élimination de Gauss, remplissage, niveaux de parallélisme- Renumérotation par dissections emboîtées- Solveur par blocs- Distribution des blocs sur architectures distribuées- Etudes de cas.

2.Deuxième partie: Parallélisation des méthodes itératives

- Introduction+ Rappel de notions élémentaires d'algèbre linéaire: norme de matrice, conditionnement...

23/05/2016 - 04:50:26 11



Course Syllabus

+ Introduction générale sur les méthodes itératives: avantages et inconvénients par rapport auxméthodes directes.

-Méthodes itératives de base+ Jacobi et Gauss-Seidel+ Algorithmes de Jacobi et de Gauss-Seidel par blocs en parallèle.

- Format de stockage des matrices creuses- Méthodes itératives à base de projection

+ Espaces de Krylov+ Méthodes de Krylov+ Parallélisation d'une méthode de Krylov.

- Méthodes de préconditionnement générique+ Principe du préconditionnement+ Factorisation ILU(0)+ Factorisation ILU(k)+ Factorisation ILUtp(tol,p).

Prerequisite :Connaissances en algèbre linéaire et en algorithmique parallèle (modules IS104 et IS106).


Keyword(s) :Algèbre linéaire creuse, méthodes directes et itératives, calcul parallèle haute performance.

23/05/2016 - 04:50:26 12



Course Syllabus

IS310 : Algorithmique pour méthodes hiérarchiquesShared by UV(s) :

I9PRCD-D Algorithmique et applications p. 2

Crédits ECTS :

1.50

Évaluation :

S1: ET(30m,LA,da,ca) x1.5


Teacher(s) :COULAUD Olivier

Title :Algorithmique pour méthodes hiérarchiques

Abstract :Le calcul des interactions entre particules, par exemple coulombiennes ou gravitationnelles, est une partieimportante d'un grand nombre de simulations physiques. On peut citer les domaines d'application suivants :mécanique céleste, physique des plasmas, mécanique des fluides (méthode des vortex), dynamique moléculairemais aussi le domaine des équations intégrales. Les méthodes classiques conduisent à des algorithmes avec unecomplexité quadratique. L'objectif de ce cours est d'introduire des algorithmes hiérarchiques basés sur des arbres(quadtree ou octree) pour atteindre une complexité linéaire.

Plan :Le cours sera divisé en trois parties.Dans la première, nous étudierons les méthodes hiérarchiques de Barnes-Hut ainsi que la méthode desmultipôles rapides. Ensuite, nous détaillerons dans une deuxième partie les structures de données et les outilspour obtenir des méthodes efficaces. Nous terminerons enfin par les différentes solutions pour paralléliser cesméthodes dans une troisième partie.

Prerequisite :Connaissances de base du calcul parallèle et distribué.

Keyword(s) :Calcul parallèle et distribué haute performance, algorithmique et structures de données arborescentes,applications multi-physiques et multi-échelles.

23/05/2016 - 04:50:26 13



Course Syllabus

IT336 : Architecture of parallel and distributed systemsShared by UV(s) :


Crédits ECTS :

1.75

Évaluation :

S1: ET(30m,O,sd,sc) x1


Teacher(s) :BARTHOU Denis

Title :Architecture of parallel and distributed systems

Abstract :The purpose of this class is to view many techniques used within high performance processors and parallelarchitectures, in order to take advantage of them at their best when writing programs making an intensive use ofmemory and processing power.

Prerequisite :Knowledge in imperative programming and in computer architecture

Document(s) :Class booklet, also available on-line

Keyword(s) :Parallelism, Parallel computing, SIMD, MIMD, processor, performance, CISC, RISC, pipe-line, VLIW, LIW, EPIC,memory, hierarchy, register, cache, consistency, RAID, system

23/05/2016 - 04:50:26 14



Course Syllabus

IT338 : Supports de communication hautes performancesShared by UV(s) :


Crédits ECTS :

1.50

Évaluation :

S1: ET(1h20,E,da,ca) x1.5


Teacher(s) :AUMAGE Olivier

Title :Supports de communication hautes performances

Abstract :L'objectif de ce module est d'apporter les connaissances nécessaires pour une utilisation efficace des différentesarchitectures utilisées dans les plates-formes parallèles actuelles en tenant compte en particulier de la granularitédans les applications.

Plan :1. Introduction au problème du recouvrement calcul/communication2. Faisabilité du recouvrement calcul/communication :aspects matériels, expression dans MPI et applications3. Le cas des applications régulières4. Le cas des architectures hétérogènes5. Techniques de programmation "Out-of-Core"

Prerequisite :Introduction aux architectures des plates-formes parallèles

Document(s) :Photocopies des transparents utilisés en cours

Keyword(s) :Recouvrement calcul/communication, Out-of-Core

23/05/2016 - 04:50:26 15



Course Syllabus

IT341 : Computational AcceleratorsShared by UV(s) :

I9PRCD-E Personnalisation p. 2

Crédits ECTS :

2.50

Évaluation :

S1: ET(30m,D,Sout,da,ca) x2.5


Teacher(s) :RUE François

Title :Computational Accelerators

Abstract :Ce cours propose de découvrir et/ou de comprendre les raisons du succès des accélérateurs de calcul dans lemonde du calcul haute performance (HPC). Depuis plusieurs années maintenant les constructeurs espéraientproposer des architectures matérielles simples et puissantes permettant de dépasser les limites atteintes par lesCPU. La technologie de GPGPU (« general purpose processing on graphics processing unit ») s'est imposée aumilieu d'autres technologies existantes pour des raisons d'architecture matérielle mais aussi logicielle. L'objectifdouble de ce cours est de présenter ces éléments d'architecture ainsi que l'adéquation avec les problématiquesactuelles des thématiques, gourmandes en puissance de calcul, du monde du HPC.

Les TDs/TPs permettront aux élèves de se familiariser avec l'un des langages (CUDA et/ou OpenCL) utilisésdans ce cadre et également de s'habituer aux contraintes des plate-formes de calcul mutualisées.

Plan :1. Introduction et historique général des accélérateurs.2. GPU : architecture matérielle physique.3. CUDA : architecture logique et modèle de programmation.4. Les outils haut niveau et la démarche d'abstraction.5. Optimisations et contraintes : le transfert mémoire et l'avenir de l'intégration du coeur graphique dans leprocesseur.

Keyword(s) :CUDA, OpenCL, HMPP, StarPU, PGI accelerator.

23/05/2016 - 04:50:26 16



Course Syllabus

LC301 : English S9Shared by UV(s) :



Crédits ECTS :

2.50

Évaluation :

S1: CC x0.67 + Proj(Sout) x0.33; S2: Sta(Rap) x0.33

Number of hours :Tutorial classes : 24.00Individual work : 15.00

Teacher(s) :BEIRNE KennethCROCKER PaulFAUCHER JillFLOQUET PierreMÉDINA SusanSTEVENS-LARRE LeAnn

Title :English S9

Abstract :Developing professional communication skills

Plan :-Issues in the global workplace-Practising communication skills for work: formal presentations, meetings, negotiations, interviews

Document(s) :-Extracts from TV documentaries and film-Video and audio material, the press

Keyword(s) :Professional communication skills - Active participation

23/05/2016 - 04:50:26 17



Course Syllabus

PG305 : Langages du parallélismeShared by UV(s) :

I9PRCD-A Langages et supports d'exécution p. 2

Crédits ECTS :

2.50

Évaluation :

S1: ET(E,da,ca) x2.5

Number of hours :Lecture : 4.00Combined lecture and tutorial classes : 16.00Tutorial classes : 16.00Individual work : 20.00

Teacher(s) :AUMAGE OlivierCOULAUD Olivier

Title :Langages du parallélisme

Abstract :L'objectif de ce cours est de présenter les principales approches de la programmation des machines parallèles etde présenter les langages ou bibliothèques représentatifs de cette approche : approche basée sur une expressionexplicite du parallélisme et de la communication et interface de bibliothèque standard MPI, approche basée sur leparallélisme de données, approche de la programmation parallèle pour mémoire partagée et OpenMP, approche"multi-thread".

Plan :1.Introduction

- Nécessité du parallélisme- Nécessité des modèles de programmation parallèle- Sources de parallélisme :

Parallélisme de données,Parallélisme de contrôle

- Machines parallèles :Machines MIMD à mémoire distribuée, machines MIMD à mémoire partagée, machines à base de noeuds SMP2. Programmation des machines parallèles

- Programmation parallèle à passages de messages- Programmation "data-parallèle" (à parallélisme de données)- Programmation parallèle à mémoire partagée- Programmation "multi-thread"

3. MPI (Message-Passing Interface)- Programme MPI, processus MPI- Communicateurs, groupes, contextes de communication- Communications point à point : modes de communication, types de blocage, non déterminisme deréception- Communications collectives : barrière de synchronisation, mouvements de données (diffusion,distribution, rassemblement, etc.), calculs globaux- Topologies virtuelles de processus- Types dérivés- Communications unilatérales

4. OpenMP

23/05/2016 - 04:50:26 18



Course Syllabus

- Région parallèle, partage du travail, parallélisme de boucles, partage des données, synchronisation- Code OpenMP SPMD- Programmation hybride MPI/OpenMP

5. Multi-threading- Généralités :

Processus, threads noyaux / utilisateurs (threads POSIX);contextes;ordonnancement, quantum de temps;recouvrement, réentrance.

Document(s) :Tout documents autorisés.

Keyword(s) :Programmation parallèle, programmation par processus communicant par transmission de messages,parallélisme de données, programmation pour mémoire partagée, programmation multi-thread, code SPMD,localité des données, équilibrage de charge, MPI, OpenMP

Online course :Documents et références relatifs au cours

23/05/2016 - 04:50:26 19



Course Syllabus

PG306 : Distributed Application ProgrammingShared by UV(s) :

I9RSR-B Distributed objects and systems p. 0

Crédits ECTS :

2.50

Évaluation :

S1: Proj(Sout) x1

Number of hours :Combined lecture and tutorial classes : 28.00Individual work : 20.00

Teacher(s) :DENIS Alexandre

Title :Distributed Application Programming

Abstract :The purpose of this module is to present the basic concepts of distributed systems: remote procedure call,distributed object, naming, heterogeneity, interoperability, ... This course relies on concrete examples oftechnology that will be systematically implemented in practice.

Plan :* Introduction to distributed systems* RPC* Java RMI* CORBA

Prerequisite :Good knowledge in C/Java/C++. Basic knowledge of system & network.

Keyword(s) :Distributed systems, distributed object, middleware, RPC, RMI, CORBA

Online course :http://www.labri.fr/perso/esnard/Teaching/SysRep

23/05/2016 - 04:50:26 20


http://www.labri.fr/perso/esnard/Teaching/SysRep


http://www.labri.fr/perso/esnard/Teaching/SysRep

Course Syllabus

Index

AN304 : Parallel programming ................................................................................................................................................................................................................... 3

CE302 : Professionel project : level 3 ......................................................................................................................................................................................................... 4

CE320 : Soutenance de projet professionnel............................................................................................................................................................................................... 5

CE321 : Business simulation....................................................................................................................................................................................................................... 6

EX324 : Free module for PRCD ................................................................................................................................................................................................................. 7

I9-A : Culture de l'ingénieur........................................................................................................................................................................................................................ 2

I9PRCD-A : Langages et supports d'exécution ........................................................................................................................................................................................... 2

I9PRCD-B : Architectures, systèmes et communications ........................................................................................................................................................................... 2

I9PRCD-C : Algorithmique et ordonnancement ......................................................................................................................................................................................... 2

I9PRCD-D : Algorithmique et applications ................................................................................................................................................................................................ 2

I9PRCD-E : Personnalisation ...................................................................................................................................................................................................................... 2

IF304 : Algorithmique parallèle .................................................................................................................................................................................................................. 8

IF305 : Equilibrage et régulation de charge ................................................................................................................................................................................................ 9

IF306 : Communication et routage............................................................................................................................................................................................................ 10

IS309 : Algèbre linéaire creuse ................................................................................................................................................................................................................. 11

IS310 : Algorithmique pour méthodes hiérarchiques................................................................................................................................................................................ 13

IT336 : Architecture of parallel and distributed systems .......................................................................................................................................................................... 14

IT338 : Supports de communication hautes performances ....................................................................................................................................................................... 15

IT341 : Computational Accelerators ......................................................................................................................................................................................................... 16

LC301 : English S9 ................................................................................................................................................................................................................................... 17

PG305 : Langages du parallélisme ............................................................................................................................................................................................................ 18

PG306 : Distributed Application Programming ........................................................................................................................................................................................ 20
