proseminar: parallele algorithmenalgo2.iti.kit.edu/img/content/presentation.pdf · proseminar:...

25
INSTITUT F ¨ UR THEORETISCHE INFORMATIK Proseminar: Parallele Algorithmen Von Theorie zu Praxis Peter Sanders, Jochen Speck, Daniel Funke | 19. April 2016 KIT – University of the State of Baden-Wuerttemberg and National Research Centre of the Helmholtz Association www.kit.edu

Upload: others

Post on 14-Aug-2020

7 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Proseminar: Parallele Algorithmenalgo2.iti.kit.edu/img/content/presentation.pdf · Proseminar: Parallele Algorithmen Von Theorie zu Praxis Peter Sanders, Jochen Speck, Daniel Funke

INSTITUT FUR THEORETISCHE INFORMATIK

Proseminar: Parallele AlgorithmenVon Theorie zu Praxis

Peter Sanders, Jochen Speck, Daniel Funke | 19. April 2016

KIT – University of the State of Baden-Wuerttemberg and

National Research Centre of the Helmholtz Association

www.kit.edu

Page 2: Proseminar: Parallele Algorithmenalgo2.iti.kit.edu/img/content/presentation.pdf · Proseminar: Parallele Algorithmen Von Theorie zu Praxis Peter Sanders, Jochen Speck, Daniel Funke

Organisatorisches

Peter Sanders, Jochen Speck, Daniel Funke – Proseminar: Parallele Algorithmen 19. April 2016 2/23

Page 3: Proseminar: Parallele Algorithmenalgo2.iti.kit.edu/img/content/presentation.pdf · Proseminar: Parallele Algorithmen Von Theorie zu Praxis Peter Sanders, Jochen Speck, Daniel Funke

Zeitplan

Datum Dauer Ereignis

19.04.2016 Auftaktveranstaltungxx.xx.2016 TBD Referat: Wissenschaftliches Arbeiten

5 WochenLiteraturarbeit & Schreiben der AusarbeitungKonsultation mit Betreuer

24.05.2016 Abgabe: Gliederung der Ausarbeitung2 Wochen Fertigstellen der Ausarbeitung

07.06.2016 Abgabe: Draft der Ausarbeitung2 Woche Peer Review von zwei Ausarbeitungen

21.06.2016 Abgabe: Peer Rewiew1 Woche Verbesserung der Ausarbeitung

28.06.2016 Abgabe: Finale Ausarbeitung2 Wochen Anfertigen der Folien

12.07.2016 Abgabe: Vortragsfolien1 Woche Feedback durch Betreuer

19.07.2016 TBD Prasentationen

Peter Sanders, Jochen Speck, Daniel Funke – Proseminar: Parallele Algorithmen 19. April 2016 3/23

Page 4: Proseminar: Parallele Algorithmenalgo2.iti.kit.edu/img/content/presentation.pdf · Proseminar: Parallele Algorithmen Von Theorie zu Praxis Peter Sanders, Jochen Speck, Daniel Funke

Lernziele

1. LernzielWie nutze ich wissenschaftliche Artikel fur meine eigene Arbeit?

2. LernzielWie stelle ich wissenschaftliche Ergebnisse dar?

Peter Sanders, Jochen Speck, Daniel Funke – Proseminar: Parallele Algorithmen 19. April 2016 4/23

Page 5: Proseminar: Parallele Algorithmenalgo2.iti.kit.edu/img/content/presentation.pdf · Proseminar: Parallele Algorithmen Von Theorie zu Praxis Peter Sanders, Jochen Speck, Daniel Funke

Ausarbeitung

Inhalt:

Darstellung des Algorithmus/Modells

Einordnung in angewendeten Kontext

Probleme/Schwierigkeiten des Modells/Algorithmus in der Praxis

Beispiele

Formalien:

8-10 Seiten + Referenzen

in LATEX geschrieben⇒ wir stellen eine Vorlage

Deutsch oder Englisch

Peter Sanders, Jochen Speck, Daniel Funke – Proseminar: Parallele Algorithmen 19. April 2016 5/23

Page 6: Proseminar: Parallele Algorithmenalgo2.iti.kit.edu/img/content/presentation.pdf · Proseminar: Parallele Algorithmen Von Theorie zu Praxis Peter Sanders, Jochen Speck, Daniel Funke

Vortrag

Inhalt:

Aspekte der Ausarbeitung

Fokus auf Verstandlichkeit/Nachvollziehbarkeit

Formalien:

Dauer: 15 Minuten Vortrag + 5 Minuten fur Fragen

Folien in LATEX Beamer, Ipe, . . .

Abgabe der Folien eine Woche vor Prasentation⇒ wir geben euch Feedback

Peter Sanders, Jochen Speck, Daniel Funke – Proseminar: Parallele Algorithmen 19. April 2016 6/23

Page 7: Proseminar: Parallele Algorithmenalgo2.iti.kit.edu/img/content/presentation.pdf · Proseminar: Parallele Algorithmen Von Theorie zu Praxis Peter Sanders, Jochen Speck, Daniel Funke

Benotung

Gewichtung Kriterium

45 % Ausarbeitung45 % Vortrag10 % Peer Review

Ausarbeitung:Inhalt

Auswahl relevanter Aspekte der geg. LiteraturSinnvolle Darstellung des ThemenkernsVerbindung zu Einordnung/Anwendung/Beispielen

FormSprachliche Korrektheit/StilAnschauliche AbbildungenKorrekte Zitierweise

Peter Sanders, Jochen Speck, Daniel Funke – Proseminar: Parallele Algorithmen 19. April 2016 7/23

Page 8: Proseminar: Parallele Algorithmenalgo2.iti.kit.edu/img/content/presentation.pdf · Proseminar: Parallele Algorithmen Von Theorie zu Praxis Peter Sanders, Jochen Speck, Daniel Funke

Benotung

Gewichtung Kriterium

45 % Ausarbeitung45 % Vortrag10 % Peer Review

VortragFolien

Inhalt, Korrektheit, UbersichtlichkeitPassend zum Vortrag

VortragsformAngemessene inhaltliche DarstellungVortragsstilBeantwortung von Fragen

Peter Sanders, Jochen Speck, Daniel Funke – Proseminar: Parallele Algorithmen 19. April 2016 7/23

Page 9: Proseminar: Parallele Algorithmenalgo2.iti.kit.edu/img/content/presentation.pdf · Proseminar: Parallele Algorithmen Von Theorie zu Praxis Peter Sanders, Jochen Speck, Daniel Funke

Benotung

Gewichtung Kriterium

45 % Ausarbeitung45 % Vortrag10 % Peer Review

Peer review

Inhaltliche Korrektheit der Arbeit

Keine Paraphrase der geg. Literatur

Sinnvolle und angemessene Kritik

Wir geben euch ein Hinweisblatt mit Review-Kriterien an die Hand

Peter Sanders, Jochen Speck, Daniel Funke – Proseminar: Parallele Algorithmen 19. April 2016 7/23

Page 10: Proseminar: Parallele Algorithmenalgo2.iti.kit.edu/img/content/presentation.pdf · Proseminar: Parallele Algorithmen Von Theorie zu Praxis Peter Sanders, Jochen Speck, Daniel Funke

EasyChair

EasyChair: www.easychair.org

EasyChair is a free web-based conference managementsoftware system used, among other tasks, to organisepaper submission and review. EasyChair is widely usedin the scientific community, with reportedly more thanone million users in 2014. [Wikipedia]

Peter Sanders, Jochen Speck, Daniel Funke – Proseminar: Parallele Algorithmen 19. April 2016 8/23

Page 11: Proseminar: Parallele Algorithmenalgo2.iti.kit.edu/img/content/presentation.pdf · Proseminar: Parallele Algorithmen Von Theorie zu Praxis Peter Sanders, Jochen Speck, Daniel Funke

EasyChair

EasyChair Konferenz ProSemParaAlg2016

Jeder Teilnehmer braucht EasyChair Account (kostenlos)EasyChair hat mehrere Rollen

Authors reichen Paper einProgram Committee Members erstellen ReviewsChairs fuhren Administration durch

Teilnehmer sowohl Autoren als auch PCM

Nach der Submission: ”bidding“ um Reviews

Wir als Chairs fuhren endgultige Verteilung der Reviews durch

Peter Sanders, Jochen Speck, Daniel Funke – Proseminar: Parallele Algorithmen 19. April 2016 9/23

Page 12: Proseminar: Parallele Algorithmenalgo2.iti.kit.edu/img/content/presentation.pdf · Proseminar: Parallele Algorithmen Von Theorie zu Praxis Peter Sanders, Jochen Speck, Daniel Funke

Themen

Peter Sanders, Jochen Speck, Daniel Funke – Proseminar: Parallele Algorithmen 19. April 2016 10/23

Page 13: Proseminar: Parallele Algorithmenalgo2.iti.kit.edu/img/content/presentation.pdf · Proseminar: Parallele Algorithmen Von Theorie zu Praxis Peter Sanders, Jochen Speck, Daniel Funke

1. Modelle der Parallelverarbeitung

Literatur:Jaja, J., Introduction to Parallel Algorithms, Kapitel 1Greenlaw R. et al., Limits to Parallel Computation, Kapitel 2

Maschinenmodelle – PRAM, Boolean Circuit

Speichermodelle – shared, distributed

Netzwerkmodelle – ring, hypercube

Performance-Metriken – speedup, efficiency

Peter Sanders, Jochen Speck, Daniel Funke – Proseminar: Parallele Algorithmen 19. April 2016 11/23

Page 14: Proseminar: Parallele Algorithmenalgo2.iti.kit.edu/img/content/presentation.pdf · Proseminar: Parallele Algorithmen Von Theorie zu Praxis Peter Sanders, Jochen Speck, Daniel Funke

2. P-completeness

Literatur:Greenlaw R. et al., Limits to Parallel Computation, Kapitel 3-5,8

Komplexitatsklassen P, NC

Reduktionen

P-completeness und NC ⊆ P

Beispielprobleme und -algorithmen

Peter Sanders, Jochen Speck, Daniel Funke – Proseminar: Parallele Algorithmen 19. April 2016 12/23

Page 15: Proseminar: Parallele Algorithmenalgo2.iti.kit.edu/img/content/presentation.pdf · Proseminar: Parallele Algorithmen Von Theorie zu Praxis Peter Sanders, Jochen Speck, Daniel Funke

3. Parallelisierung

”Inharent“ Sequentieller Algorithmen

Literatur:Shun, J. et al., Reducing contention through priority updatesid., Sequential random permutation, list contraction and tree contractionare highly parallel

Abhanigkeitsgraph seq. Algorithmen

Beispielalgorithmen

Parallele Operationen in shared memory

Peter Sanders, Jochen Speck, Daniel Funke – Proseminar: Parallele Algorithmen 19. April 2016 13/23

Page 16: Proseminar: Parallele Algorithmenalgo2.iti.kit.edu/img/content/presentation.pdf · Proseminar: Parallele Algorithmen Von Theorie zu Praxis Peter Sanders, Jochen Speck, Daniel Funke

4. Paralleles Branch-and-Bound

Literatur:Talbi, E.-G., Parallel Combinatorial Optimization, Kapitel 1

Sequentielles Branch-and-Bound

Parallelisierungsstrategien

Beispiele

Peter Sanders, Jochen Speck, Daniel Funke – Proseminar: Parallele Algorithmen 19. April 2016 14/23

Page 17: Proseminar: Parallele Algorithmenalgo2.iti.kit.edu/img/content/presentation.pdf · Proseminar: Parallele Algorithmen Von Theorie zu Praxis Peter Sanders, Jochen Speck, Daniel Funke

5. Paralleles Dynamic Programming

Literatur:Talbi, E.-G., Parallel Combinatorial Optimization, Kapitel 2Lee, J. et al., A Hypercube Algorithm for the 0/1 Knapsack Problem

Parallelisierungsstrategien fur Dynamic Programming

Beispiel: Knapsack Problem

Einfluss des Kommunikationsmodells

Peter Sanders, Jochen Speck, Daniel Funke – Proseminar: Parallele Algorithmen 19. April 2016 15/23

Page 18: Proseminar: Parallele Algorithmenalgo2.iti.kit.edu/img/content/presentation.pdf · Proseminar: Parallele Algorithmen Von Theorie zu Praxis Peter Sanders, Jochen Speck, Daniel Funke

6. Parallele Geometrische Algorithmen

Literatur:Aggarwal, A. et al., Parallel Computational GeometryMiller, R. und Stout Q.F., Efficient Parallel Convex Hull Algorithms

Sequentielle konvexe Hulle

Parallelisierung des Algorithmus

Einfluss des Kommunikationsmodells

Peter Sanders, Jochen Speck, Daniel Funke – Proseminar: Parallele Algorithmen 19. April 2016 16/23

Page 19: Proseminar: Parallele Algorithmenalgo2.iti.kit.edu/img/content/presentation.pdf · Proseminar: Parallele Algorithmen Von Theorie zu Praxis Peter Sanders, Jochen Speck, Daniel Funke

7. Matrix Multiplikation Theorie

Literatur:Dror Irony et al., Communication lower bounds for distributed-memorymatrix multiplication

Parallele Multiplikation großer Matrizen

Kommunikation notwendig

Es gibt untere Schranken abhangig vom Parallelitatsgrad undverfugbaren Speicher

Peter Sanders, Jochen Speck, Daniel Funke – Proseminar: Parallele Algorithmen 19. April 2016 17/23

Page 20: Proseminar: Parallele Algorithmenalgo2.iti.kit.edu/img/content/presentation.pdf · Proseminar: Parallele Algorithmen Von Theorie zu Praxis Peter Sanders, Jochen Speck, Daniel Funke

8. Matrix Multiplikation Praxis

Literatur:Edgar Solomonik et al., Communication-Optimal Parallel 2.5D MatrixMultiplication and LU Factorization AlgorithmsVipin Kumar, Introduction to parallel computing : design and analysis ofalgorithms

Parallele Multiplikation großer Matrizen

Speicher/Kommunikationsaufwand Tradeoff

Praktische Implementierung mit Experimenten

Peter Sanders, Jochen Speck, Daniel Funke – Proseminar: Parallele Algorithmen 19. April 2016 18/23

Page 21: Proseminar: Parallele Algorithmenalgo2.iti.kit.edu/img/content/presentation.pdf · Proseminar: Parallele Algorithmen Von Theorie zu Praxis Peter Sanders, Jochen Speck, Daniel Funke

9. Sortieren: Sortiernetzwerke

Literatur:K. E. Batcher, Sorting networks and their applications

Sortieren durch spezielle Netzwerke

Hauptsachlich von theoretischem Interesse

Peter Sanders, Jochen Speck, Daniel Funke – Proseminar: Parallele Algorithmen 19. April 2016 19/23

Page 22: Proseminar: Parallele Algorithmenalgo2.iti.kit.edu/img/content/presentation.pdf · Proseminar: Parallele Algorithmen Von Theorie zu Praxis Peter Sanders, Jochen Speck, Daniel Funke

10. Sortieren: Verteiltes Sortieren

Literatur:Guy E. Blelloch et al., A Comparison of Sorting Algorithms for theConnection Machine CM-2

Sortieren auf Cluster-Computern

Aufteilung der Arbeit zwischen den einzelnen Rechnern

Fur wirklich große Datenmengen

Peter Sanders, Jochen Speck, Daniel Funke – Proseminar: Parallele Algorithmen 19. April 2016 20/23

Page 23: Proseminar: Parallele Algorithmenalgo2.iti.kit.edu/img/content/presentation.pdf · Proseminar: Parallele Algorithmen Von Theorie zu Praxis Peter Sanders, Jochen Speck, Daniel Funke

11. Sortieren: Massenanwendung

Literatur:Johannes Singler et al., MCSTL: The Multi-Core Standard TemplateLibrary

Sortieren auf Mehrkernrechnern (Standard)

Hochste praktische Relevanz

Wie bringt man parallele Algorithmen ”unters Volk“

Peter Sanders, Jochen Speck, Daniel Funke – Proseminar: Parallele Algorithmen 19. April 2016 21/23

Page 24: Proseminar: Parallele Algorithmenalgo2.iti.kit.edu/img/content/presentation.pdf · Proseminar: Parallele Algorithmen Von Theorie zu Praxis Peter Sanders, Jochen Speck, Daniel Funke

12. ParallelesOptimieren per Metaheuristik

Literatur:Byung-Il Koh et al., Parallel asynchronous particle swarm optimization

Beispiel einer Metaheuristik

Synchrone/Asynchrone Parallelisierung

Experimentelle Untersuchung

Peter Sanders, Jochen Speck, Daniel Funke – Proseminar: Parallele Algorithmen 19. April 2016 22/23

Page 25: Proseminar: Parallele Algorithmenalgo2.iti.kit.edu/img/content/presentation.pdf · Proseminar: Parallele Algorithmen Von Theorie zu Praxis Peter Sanders, Jochen Speck, Daniel Funke

Fragen?

Peter Sanders, Jochen Speck, Daniel Funke – Proseminar: Parallele Algorithmen 19. April 2016 23/23