![Page 1: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/1.jpg)
Decentraliseer –en Beheers?
Dick Epema
![Page 2: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/2.jpg)
De NWO wetenschapsquiz 2011
Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben.
Hebben mensen op Facebook gemiddeld net zoveel vrienden als hún vrienden?
a. Ja
b. Nee, gemiddeld hebben hun vrienden meer vrienden dan zij
c. Nee, gemiddeld hebben hun vrienden minder vrienden dan zij
![Page 3: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/3.jpg)
Vrienden van vrienden: netwerk 1
aantal vrienden van iedereen: 2
aantal vrienden van iedere vriend: 2 dus het juiste antwoord op de quizvraag is hier “a. Ja”
gedecentraliseerd netwerk
![Page 4: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/4.jpg)
Vrienden van vrienden: netwerk 2
gemiddelde aantal vrienden:
8 x 1 + 1 x 88 + 1
= 1,8
gemiddelde aantal vriendenvan vrienden:
8 x 1 x 8 + 1 x 8 x 18 x 1 + 1 x 8
dus: “b. Nee, gemiddeld hebben
hun vrienden meer vrienden dan zij”
= 4,5
gecentraliseerdnetwerk
= 4,5
![Page 5: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/5.jpg)
Netwerken en datacenters
Facebook datacenter, Oregon, VS
?leden-
netwerk
![Page 6: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/6.jpg)
Het vervolg
1. Peer-to-Peer-systemen en Online Social Networks
2. Intermezzo: decentralisatie
3. Scheduling in grootschalige systemen
4. Intermezzo: experimentele informatica
5. Clouds
![Page 7: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/7.jpg)
Online Social Networks
?
![Page 8: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/8.jpg)
Peer-to-Peer-systemen
![Page 9: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/9.jpg)
Snelheid internetconnecties
1988 2012
1200 bit/seconde
40 dagen
8 Megabit/seconde
10 minuten
500 MByte
![Page 10: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/10.jpg)
Het BitTorrent Peer-to-Peer systeem
voor wat hoort wat
![Page 11: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/11.jpg)
Videodiensten op het internet
samenstelling verkeerinternet backbone VS
18,8%
49,2%
2009 2010 2011
+
![Page 12: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/12.jpg)
Reputaties in Peer-to-Peer-systemen
BAverzoek om data
OK als de reputatie van B bij A hoog genoeg is
Gebruik van reputaties:
1
0
-1
reputatie
![Page 13: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/13.jpg)
Berekening reputaties
A B
C
D
200400
150 225
250
voltooide data-overdrachten
in MB
Capaciteit van A naar B: 250
Capaciteit van B naar A: • 200 via C
• 150 via D• 350 totaal
Dus heeft B een goede reputatie bij A
![Page 14: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/14.jpg)
Betere berekening reputaties
B
A
bereken reputatiesop dezelfde manier t.o.v. de meest centrale peer
betweenness centrality van een knoop in een netwerk: aantal kortste wegen via hem
![Page 15: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/15.jpg)
Is Peer-to-Peer gedecentraliseerd?
Internet Service
Providers
![Page 16: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/16.jpg)
Intermezzo 1: Decentralisatie
Een gedistribueerd systeem wordt gekenmerkt door:
− autonomie (distributie van autoriteit)
− samenwerking (distributie van functionaliteit)
− communicatie (distributie van informatie)
![Page 17: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/17.jpg)
Decentralisatie in het openbaar bestuur
Onderkende vormen van decentralisatie:
− fiscaal
− bestuurlijk
− politiek
![Page 18: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/18.jpg)
Mate van decentralisatie
Mate van decentralisatieFiscaal Bestuurlijk Politiek
Denemarken 0,71 0,53 0,87
Nederland 0,45 0,20 0,44
Duitsland 0,66 0,64 0,88
Frankrijk 0,29 0,63 0,80
Canada 0,96 0,67 0,82
VS 0,80 0,56 0,84
0,0: volledig gecentraliseerd
1,0: volledig gedecentraliseerd
![Page 19: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/19.jpg)
“Stille decentralisatie”
• Onbedoelde verandering in de mate van decentralisatie, b.v. door het beschikbaar komen van resources:
− het vinden van grondstoffen
− de vestiging van een multinational
• In informatica:
− grotere capaciteit van internetverbindingen door ADSL
![Page 20: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/20.jpg)
Scheduling in grootschalige systemen
4 processoren in een cluster
tijd
1 processor
clusterrekenen
communiceren
eerder klaar, maarbij elkaar opgeteldmeer tijd nodig
![Page 21: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/21.jpg)
Gebruik van meerdere clusters
clusterschedulers
![Page 22: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/22.jpg)
Processor-coallocatie: voordeel
cluster 1 cluster 2 cluster 3
applicatie
cluster-grootte
applicatie-grootte
in gebruikdoor andere applicaties
vrij
geplaatste applicatie
snellere beschikbaarheid van meer processoren
![Page 23: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/23.jpg)
Processor-coallocatie: nadeel
4 processoren in 1 cluster 2x2 processoren in 2 clusters
rekenen
communicerenextra verlies aan efficiëntie doortrage wide-area communicatie
tijd
![Page 24: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/24.jpg)
Invloed van wide-area communicatie
1 2 3 4aantal gebruikte clusters
verwerkingstijdvan drieapplicaties(in seconden)
in totaal32 processoren
Appl 1Appl 2Appl 3
![Page 25: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/25.jpg)
De Distributed ASCI Supercomputer
Multicluster systeem voor informatica-onderzoek
• 6 clusters • 400 processoren (2.4 GHz)• 180 TeraByte opslagcapaciteit• 10 Gigabit/seconde optisch
netwerk tussen de clusters
![Page 26: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/26.jpg)
De KOALA multicluster scheduler
![Page 27: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/27.jpg)
Processor-coallocatie: loont het?
4 processoren in 1 cluster 2x2 processoren in 2 clusters
rekenen
communiceren
tijd
maximaal 20%
![Page 28: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/28.jpg)
Intermezzo 2: Experimentele informatica
?
??? ms
![Page 29: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/29.jpg)
Soorten experimenten I
nagebootst multicluster systeem:één cluster gesplitst in 6 delen
2. Emulaties
1. In-situ experimenten
0,05 ms
1
2
3 45
6
1 2 3
4 5 61,15 ms
echtmulticluster systeem
echteapplicatie
![Page 30: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/30.jpg)
Soorten experimenten II
3. Benchmarking
4. Simulaties
computermodel
computermodel
rekenintensieve deelvan een applicatie
echt systeem
![Page 31: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/31.jpg)
Problemen bij experimenten
1. Financieel
2. Geldigheidsbereik resultaten
3. Afmeting systemen
4. Experimentele methoden
Plaats
Land Leverancier
Naam Aantal cores
1 VS Cray Titan 560.640
2 VS IBM Sequoia 1.572.864
3 Japan Fujitsu K computer 705.024
102 VS zelfgemaakt
Amazon EC2
17.024
500 Japan IBM - 13.560
- Nederland
Clustervision
DAS-4 1.584
Afmetingen systemen
De Top-500
![Page 32: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/32.jpg)
Experimentele methoden
• Reproduceerbaarheid
• Vergelijkbaarheid
• Analyse en verklaring resultaten
![Page 33: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/33.jpg)
Clouds
data centers homogeniteit
geoptimaliseerd netwerkcloud provider
elasticiteitenergiegebruik
Anything-as-a-Service (AaaS)web-, database-, en
opslagapplicatiestegen betaling
grote betrokkenheid industrie ---------------------------------------- +
clouds
allerlei systemenheterogeniteit
meerdere eigenaars
wetenschappelijke applicaties“gratis”geringe betrokkenheid----------------------- + grids
Grids
![Page 34: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/34.jpg)
Lage bezettingsgraad
20% 80%
![Page 35: Decentraliseer – en Beheers? Dick Epema. De NWO wetenschapsquiz 2011 Je kunt bij Facebook heel goed zien hoeveel vrienden jouw vrienden hebben. Hebben](https://reader035.vdocuments.net/reader035/viewer/2022070315/5551a0f14979591f3c8bc0ea/html5/thumbnails/35.jpg)
Decentraliseer –en Beheers?