Download - DA Abschlußpräsentation 2006
![Page 1: DA Abschlußpräsentation 2006](https://reader036.vdocuments.net/reader036/viewer/2022062617/54bf63904a79591d2c8b45ad/html5/thumbnails/1.jpg)
PlanetenWachHundNetzPlanetenWachHundNetz
Instrumenting Infrastructure for PlanetLab
Instrumenting Infrastructure for PlanetLab
![Page 2: DA Abschlußpräsentation 2006](https://reader036.vdocuments.net/reader036/viewer/2022062617/54bf63904a79591d2c8b45ad/html5/thumbnails/2.jpg)
2
OutlineOutline
◊ Motivation◊ Hindernisse◊ Bekannte Ansätze◊ Unsere Lösung◊ Evaluation◊ Zusammenfassung
◊ Motivation◊ Hindernisse◊ Bekannte Ansätze◊ Unsere Lösung◊ Evaluation◊ Zusammenfassung
![Page 3: DA Abschlußpräsentation 2006](https://reader036.vdocuments.net/reader036/viewer/2022062617/54bf63904a79591d2c8b45ad/html5/thumbnails/3.jpg)
3
MotivationMotivation
◊ Context: Verteilte Anwendung• P2P (File-sharing), PlanetLab, SETI ...
◊ Monitoring• Statistics• Log collection
◊ Context: Verteilte Anwendung• P2P (File-sharing), PlanetLab, SETI ...
◊ Monitoring• Statistics• Log collection
![Page 4: DA Abschlußpräsentation 2006](https://reader036.vdocuments.net/reader036/viewer/2022062617/54bf63904a79591d2c8b45ad/html5/thumbnails/4.jpg)
4
Probleme und AuswegeProbleme und Auswege
◊ “Central warehousing” nicht scalierbar• “Push”: logs alle 5 min werden an
zentralen Server geschickt• “Pull”: nur auf Anfrage
Daten müssen “en-route” reduziert werden• Reduction-tree• Distributed parallel prefix (MapReduce)
◊ “Central warehousing” nicht scalierbar• “Push”: logs alle 5 min werden an
zentralen Server geschickt• “Pull”: nur auf Anfrage
Daten müssen “en-route” reduziert werden• Reduction-tree• Distributed parallel prefix (MapReduce)
![Page 5: DA Abschlußpräsentation 2006](https://reader036.vdocuments.net/reader036/viewer/2022062617/54bf63904a79591d2c8b45ad/html5/thumbnails/5.jpg)
5
Andere LösungenAndere Lösungen
◊ Reduction-Trees auf P2P◊ Basieren auf “structured overlays”1) Finger-table based Tree (FTT)
• Unregelmäßig
2) Key-based Tree (KBT)• Nur ein globaler Tree
Beide nicht locality-aware
◊ Reduction-Trees auf P2P◊ Basieren auf “structured overlays”1) Finger-table based Tree (FTT)
• Unregelmäßig
2) Key-based Tree (KBT)• Nur ein globaler Tree
Beide nicht locality-aware
![Page 6: DA Abschlußpräsentation 2006](https://reader036.vdocuments.net/reader036/viewer/2022062617/54bf63904a79591d2c8b45ad/html5/thumbnails/6.jpg)
6
Structured Overlay (DHT)Structured Overlay (DHT)
◊ Key-based routing (KBR)• Vergebe lange bit strings (keys/IDs)• Nodes teilen key-space unter sich auf• Garantiertes routing zum “Besitzer” in
log(n)◊ Durch Route zu “näherer” Node
◊ Distributed Hashtable (DHT)• Put, Get (Hashtable Semantik)• Bucket beim Besitzer des Hash
◊ Key-based routing (KBR)• Vergebe lange bit strings (keys/IDs)• Nodes teilen key-space unter sich auf• Garantiertes routing zum “Besitzer” in
log(n)◊ Durch Route zu “näherer” Node
◊ Distributed Hashtable (DHT)• Put, Get (Hashtable Semantik)• Bucket beim Besitzer des Hash
![Page 7: DA Abschlußpräsentation 2006](https://reader036.vdocuments.net/reader036/viewer/2022062617/54bf63904a79591d2c8b45ad/html5/thumbnails/7.jpg)
7
DHT Beispiel: ChordDHT Beispiel: Chord
◊ 160 bit Ids, representiert in einem Kreis
◊ Fingertables speichern Zeiger
◊ 160 bit Ids, representiert in einem Kreis
◊ Fingertables speichern Zeiger
![Page 8: DA Abschlußpräsentation 2006](https://reader036.vdocuments.net/reader036/viewer/2022062617/54bf63904a79591d2c8b45ad/html5/thumbnails/8.jpg)
8
Chord: LookupChord: Lookup
◊ Benutze fingertable um zur nahsten bekannten node zu springen
◊ Benutze fingertable um zur nahsten bekannten node zu springen
![Page 9: DA Abschlußpräsentation 2006](https://reader036.vdocuments.net/reader036/viewer/2022062617/54bf63904a79591d2c8b45ad/html5/thumbnails/9.jpg)
9
Finger-table based Tree (FTT)Finger-table based Tree (FTT)◊ Vereinigung aller
Wege zu einer bestimmten ID• Abhängig von allen
Fingertables Braucht
Benachrichtigung in jedem Hop
◊ Vereinigung aller Wege zu einer bestimmten ID• Abhängig von allen
Fingertables Braucht
Benachrichtigung in jedem Hop
![Page 10: DA Abschlußpräsentation 2006](https://reader036.vdocuments.net/reader036/viewer/2022062617/54bf63904a79591d2c8b45ad/html5/thumbnails/10.jpg)
10
Key-based Tree (KBT)Key-based Tree (KBT)
◊ Tree auf Key-space gemappt• “virtuelle” interne Nodes
representieren prefixes• “physikalische” nodes
sind Blätter• Subtree enthält alle
Teilnehmer, die prefix entsprechen
• Algorithmus entscheidet, wer Vater wird
◊ Tree auf Key-space gemappt• “virtuelle” interne Nodes
representieren prefixes• “physikalische” nodes
sind Blätter• Subtree enthält alle
Teilnehmer, die prefix entsprechen
• Algorithmus entscheidet, wer Vater wird
![Page 11: DA Abschlußpräsentation 2006](https://reader036.vdocuments.net/reader036/viewer/2022062617/54bf63904a79591d2c8b45ad/html5/thumbnails/11.jpg)
11
Unser AnsatzUnser Ansatz
◊ Hybrid zwischen FTT und KBT KBT mit “root” node
o Ein Tree pro queryo Stochastisch balancierto Root-ID legt Tree eindeutig fest
• Coral für Ortsinformationo Bildet “cluster”
◊ Hybrid zwischen FTT und KBT KBT mit “root” node
o Ein Tree pro queryo Stochastisch balancierto Root-ID legt Tree eindeutig fest
• Coral für Ortsinformationo Bildet “cluster”
![Page 12: DA Abschlußpräsentation 2006](https://reader036.vdocuments.net/reader036/viewer/2022062617/54bf63904a79591d2c8b45ad/html5/thumbnails/12.jpg)
12
Key-based MapReduce (KMR)Key-based MapReduce (KMR)
◊ Phys. Root node◊ In jedem level
genaues Bit des root negiert
◊ Phys. Root node◊ In jedem level
genaues Bit des root negiert
![Page 13: DA Abschlußpräsentation 2006](https://reader036.vdocuments.net/reader036/viewer/2022062617/54bf63904a79591d2c8b45ad/html5/thumbnails/13.jpg)
13
KMR: AnwendungKMR: Anwendung
◊ “Down”: Interne nodes senden eine Nachricht an jeden Bruder
◊ “Up”: Nur eine Nachricht an Vater
◊ Nachricht landet bei “nahster” node
◊ “Down”: Interne nodes senden eine Nachricht an jeden Bruder
◊ “Up”: Nur eine Nachricht an Vater
◊ Nachricht landet bei “nahster” node
![Page 14: DA Abschlußpräsentation 2006](https://reader036.vdocuments.net/reader036/viewer/2022062617/54bf63904a79591d2c8b45ad/html5/thumbnails/14.jpg)
14
EvaluationEvaluation
◊ PlanetenWachHundNetz (PWHN)• Application-level monitoring software• Service für PlanetLab• Testet KMR und FFT• auf Coral und (Free-) Pastry
• Reduzierung durch 3 Executables von User :• Eingabe (Init)• Reduzieren (Update)• Ausgabe (Eval)
◊ PlanetenWachHundNetz (PWHN)• Application-level monitoring software• Service für PlanetLab• Testet KMR und FFT• auf Coral und (Free-) Pastry
• Reduzierung durch 3 Executables von User :• Eingabe (Init)• Reduzieren (Update)• Ausgabe (Eval)
![Page 15: DA Abschlußpräsentation 2006](https://reader036.vdocuments.net/reader036/viewer/2022062617/54bf63904a79591d2c8b45ad/html5/thumbnails/15.jpg)
15
ZusammenfassungZusammenfassung
◊ Context: Verteilte Anwendung◊ Motivation: Logging, monitoring◊ Problem: Hot-spots, dynamisches p2p◊ FTT/KBT: Lösungen auf DHTs nicht
scalierbar◊ KMR: Hybrid zwischen FTT und KBT◊ PWHN: Evaluation auf PlanetLab
◊ Context: Verteilte Anwendung◊ Motivation: Logging, monitoring◊ Problem: Hot-spots, dynamisches p2p◊ FTT/KBT: Lösungen auf DHTs nicht
scalierbar◊ KMR: Hybrid zwischen FTT und KBT◊ PWHN: Evaluation auf PlanetLab
![Page 16: DA Abschlußpräsentation 2006](https://reader036.vdocuments.net/reader036/viewer/2022062617/54bf63904a79591d2c8b45ad/html5/thumbnails/16.jpg)
Fragen ?Fragen ?