![Page 1: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/1.jpg)
Grid rendszerek forgalmi stratégiájának vizsgálata
Készítette: Purger Norbert
![Page 2: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/2.jpg)
Mi az a Grid?
• Nem központosított erőforrások koordinálása
• Standard, nyílt, általános-célú protokollok és interfészek segítségével
• nem triviális minőségi szolgáltatásokért
Heterogén, elosztott, intézményeken átívelő hálózatok – Virtual Organizations
![Page 3: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/3.jpg)
GGF - OGSA
• Infrastruktúra, Adatkezelés, Számítások, Architektúra, Alkalmazások, Menedzsment, Biztonság
• Open Grid Services Architecture– Webszolgáltatások: XML,SOAP,WSDL– PKI,Kerberos,LDAP,…
![Page 4: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/4.jpg)
Kommunikációs igények• CERN:
– adatcsomagok ~100GB, adatbázis elérés ~GB
• Csillagászat: – ~TB adatbázisok, Webszolgáltatások széles köre
• HPC:– MPI, ~100 μs késleltetés, >1Gbps (Myrinet,…)
• Vizualizációk:– „on-the-fly”, >1Gbps, jitter, rendelkezésre állás
• Infrastruktúra…– QoS, erőf.foglalás, DiffServ+VLAN+P2P
vezérlése
![Page 5: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/5.jpg)
Összefoglalva:
Nagy átvitel >1Gbps, TByte átvitel
Nagy teljesítmény és QoS
QoS, jitter, MPI: 100μs
Erőforrás foglalás Hálózati erőforrás és igénylés
Hálózati szolgáltatások hozzáférhetősége
L3-diffserv, L2-VLAN, L1-P2P elérése Grid middleware-ből
Biztonság VPN elérés, IPSec
![Page 6: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/6.jpg)
Nagy átvitelKövetelmény: nagy átlagos átvitel, QoS, lehetőségek
a végpontokon
Problémák: Alacsony átlagos átvitel , socket puffer <-> TCP lehetőségek
Okok: Végponti bottleneck, félre-konfigurálás/elégtelen protokoll, cong.control+error recov. keverése, TCP blokkolás <-> aszinkron, windows scale API
Megoldások: Több TCP session/streamNagyobb MTU, Explicit Cong. Notification
Alternatívák: TCP alt., hardveres protokoll off-loading,Overlay hálózatok, optikai hálózat végpontok között.
![Page 7: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/7.jpg)
Problémák …
• Socket használata TCP-hez– Aszinkron/blokkoló műveletek, OS a socket
méretből window scale paramétert, setsockopt()• RPC hívások, SOAP over HTTP
– TCP-vel 9 üzenet és 2 RTT késleltetés!– Transactional TCP problémás, de 3 üzenet, 1 RTT– Grid Service/G.S. Factory -> mindig új
kapcsolatok• MTU:
– Általában LAN 1500 byte, Path MTU Discovery
![Page 8: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/8.jpg)
Rendszer optimalizáció• OS opciók hiánya/elérése:
– Puffer méret, alapért. ablak méret – késleltetett / SACK, MTU Path Discovery
• Protokoll „Hardver”:– OS bypass: alkalmazás (virtualizált hálókártya)– TCP Offload Engines: mai szuper NIC-ek, pl.
checksum, szegmentálás; nincs standard API– Újabb réteg: jelölt alkalmazás adat (10Gb/s!) –
metadatok a protokollban: RDDP/RDMA– Újfata eszközök: Wavelength Disk Drive,
OptiPuter
![Page 9: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/9.jpg)
GridFTP, Replikáció, RFT• GridFTP:
– GSI, 3. fél küldés, részleges fájl elérés, megbízhatóság, adatcsatorna újrahasz.
– TCP puffer szabályozás, Párhuzamos küldés
BDP[byte]=sávszélesség[KB/s]*késleltetés [msec]100ms: 100Mbps~1MB; 1Gbps~10MB
Puffer méret: jelenleg manuális, de több ötlet isnaplózásból, kapcsolat közben is, ….
Párhuzamos szálak + striping!
![Page 10: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/10.jpg)
Párhuzamos szálak
• Nagy<-> kisebb fájlok• Szálak száma <-> TCP puffer
(memória• Striping – különböző útvonalak
![Page 11: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/11.jpg)
MEM-MEM / Disk-Disk
• Mem-Mem: 90%@30Gbps, 32 nodes
• Disk-Disk: 17.5Gbps, 64 nodes (SAN…)
![Page 12: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/12.jpg)
BANDWIDTH Vs STRIPING
0
2000
4000
6000
8000
10000
12000
14000
16000
18000
20000
0 10 20 30 40 50 60 70
Degree of Striping
Ban
dw
idth
(M
bp
s)
# Stream = 1 # Stream = 2 # Stream = 4 # Stream = 8 # Stream = 16 # Stream = 32
Disk BW vs. Striping
![Page 13: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/13.jpg)
Average Bandwidth Gained per Stripe added (8 streams, Disk to Disk)
0
100
200
300
400
500
600
700
800
900
0 10 20 30 40 50 60 70
Number of Stripes
Av
g B
W g
ain
ed
pe
r s
trip
e (
Mb
s)
![Page 14: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/14.jpg)
Memory BANDWIDTH Vs STRIPING
0
5000
10000
15000
20000
25000
30000
0 10 20 30 40 50 60 70
Degree of Striping
Ba
nd
wid
th (
Mb
ps
)
# Stream = 1 # Stream = 2 # Stream = 4 # Stream = 8 # Stream = 16 # Stream = 32
![Page 15: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/15.jpg)
Bandwidth Gained per Stripe added (8 streams, Mem 2 Mem)
y = -9.0731x + 954.29
R2 = 0.3575
0
200
400
600
800
1000
1200
0 5 10 15 20 25 30 35
x
y
![Page 16: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/16.jpg)
Stabilitás: 270TB Japánba
![Page 17: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/17.jpg)
Overlay hálózatok
![Page 18: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/18.jpg)
Hálózati protokollok
• TCP: – Slow Start, Cong. Control, Hibák
(10Gbps!)
• Nagy távolság, nagy sávszélesség• Fairness, stabilitás, ACK forgalom
vissza
![Page 19: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/19.jpg)
TCP variánsok
![Page 20: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/20.jpg)
TCP Variánsok II.• HSTCP-LP: Less than Best Effort feladatok
• Bic-TCP: általában jó, többinél stabilitás/fairness problémák …
• S-TCP: túl agresszív
• Fast TCP: nagy vissza-forgalom (20 vs 260Mbps!)
![Page 21: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/21.jpg)
10GbE tesztek
• 9000 byte MTU• >10 MByte TCP puffer• Szgép. Architektúra korlátai (5-6
Gbps)• 4.3 Gbps volt a maximum
![Page 22: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/22.jpg)
UDP variánsok• SABUL:
– UDP adat, vissza TCP kontroll üzenetek– 1 „szálon” ~950Mbps (100ms)– 2db 3 gépes klaszter: 2.8Gbps– UDP ~ fairness/friendly, de sokszor
veszteség
• UDT:– Tisztán UDP, MTU méretű adatcsomagok– Pozitív SACK, és NACK (kis % szab. csomag)
![Page 23: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/23.jpg)
UDT teljesítmény
![Page 24: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/24.jpg)
UDT teljesítmény
Iperf: 12.5 Gbps effektív sávszélesség – 94%
![Page 25: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/25.jpg)
Szimulációk
• Grid szimuláció összetett feladat:– Alkalmazások, Middleware,
erőforrások és a hálózat dinamikus együttműködése!
– Egyensúly: virtualizáció, teljesítmény…
– Egyre nagyobb hálózatfüggés, nagy egymásra-hatás: P2P,MyDoom, Teraflows…
![Page 26: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/26.jpg)
MicroGrid
• Információk:– Hálózat topológia és protokollok– Node-ok hálózati beállításai (puffer, window)– Számítókapacitások és elhelyezkedésük
• Virtuális gépek valódi alkalmazásokkal
![Page 27: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/27.jpg)
Hálózati forg. szimuláció: MaSSF
![Page 28: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/28.jpg)
![Page 29: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/29.jpg)
Alkalmazások• ScaLAPACK • FASTA (protein/szekvencia hasonlóság)• Jacobi (párhuzamos egy.rendsz.
megoldó)• Fish (sok részecskés Van der Waals erők)• Game of Life (sejt automata)• Problémák:
– HTTP háttér forgalom– Load-balancing, network mapping
![Page 30: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/30.jpg)
Lambda-Grid
• Számító- és tárolókapacitások sűrűn összekapcsolva DWDM optikai utakon.
• OptIPuter, CANARIE– Kevesebb végpont (1000 vs 10^8)– Dedikált nagysebességű vonalak (>1Gbps)– Nem belső, hanem végponti torlódás!
![Page 31: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/31.jpg)
Group Transport Protocol
Exponential Increment and Loss Propotional Decrement
![Page 32: Grid rendszerek forgalmi stratégiájának vizsgálata](https://reader036.vdocuments.net/reader036/viewer/2022062518/56814499550346895db14150/html5/thumbnails/32.jpg)
GTP II.
Pont-pont kapcsolat @ 1Gbps, 58ms RTT
Multipont-Pont kapcsolat
Párhuzamos szálak