grid rendszerek forgalmi stratégiájának vizsgálata
DESCRIPTION
Grid rendszerek forgalmi stratégiájának vizsgálata. Készítette: Purger Norbert. Mi az a Grid?. Nem központosított erőforrások koordinálása Standard, nyílt, általános-célú protokollok és interfészek segítségével nem triviális minőségi szolgáltatásokért - PowerPoint PPT PresentationTRANSCRIPT
Grid rendszerek forgalmi stratégiájának vizsgálata
Készítette: Purger Norbert
Mi az a Grid?
• Nem központosított erőforrások koordinálása
• Standard, nyílt, általános-célú protokollok és interfészek segítségével
• nem triviális minőségi szolgáltatásokért
Heterogén, elosztott, intézményeken átívelő hálózatok – Virtual Organizations
GGF - OGSA
• Infrastruktúra, Adatkezelés, Számítások, Architektúra, Alkalmazások, Menedzsment, Biztonság
• Open Grid Services Architecture– Webszolgáltatások: XML,SOAP,WSDL– PKI,Kerberos,LDAP,…
Kommunikációs igények• CERN:
– adatcsomagok ~100GB, adatbázis elérés ~GB
• Csillagászat: – ~TB adatbázisok, Webszolgáltatások széles köre
• HPC:– MPI, ~100 μs késleltetés, >1Gbps (Myrinet,…)
• Vizualizációk:– „on-the-fly”, >1Gbps, jitter, rendelkezésre állás
• Infrastruktúra…– QoS, erőf.foglalás, DiffServ+VLAN+P2P
vezérlése
Összefoglalva:
Nagy átvitel >1Gbps, TByte átvitel
Nagy teljesítmény és QoS
QoS, jitter, MPI: 100μs
Erőforrás foglalás Hálózati erőforrás és igénylés
Hálózati szolgáltatások hozzáférhetősége
L3-diffserv, L2-VLAN, L1-P2P elérése Grid middleware-ből
Biztonság VPN elérés, IPSec
Nagy átvitelKövetelmény: nagy átlagos átvitel, QoS, lehetőségek
a végpontokon
Problémák: Alacsony átlagos átvitel , socket puffer <-> TCP lehetőségek
Okok: Végponti bottleneck, félre-konfigurálás/elégtelen protokoll, cong.control+error recov. keverése, TCP blokkolás <-> aszinkron, windows scale API
Megoldások: Több TCP session/streamNagyobb MTU, Explicit Cong. Notification
Alternatívák: TCP alt., hardveres protokoll off-loading,Overlay hálózatok, optikai hálózat végpontok között.
Problémák …
• Socket használata TCP-hez– Aszinkron/blokkoló műveletek, OS a socket
méretből window scale paramétert, setsockopt()• RPC hívások, SOAP over HTTP
– TCP-vel 9 üzenet és 2 RTT késleltetés!– Transactional TCP problémás, de 3 üzenet, 1 RTT– Grid Service/G.S. Factory -> mindig új
kapcsolatok• MTU:
– Általában LAN 1500 byte, Path MTU Discovery
Rendszer optimalizáció• OS opciók hiánya/elérése:
– Puffer méret, alapért. ablak méret – késleltetett / SACK, MTU Path Discovery
• Protokoll „Hardver”:– OS bypass: alkalmazás (virtualizált hálókártya)– TCP Offload Engines: mai szuper NIC-ek, pl.
checksum, szegmentálás; nincs standard API– Újabb réteg: jelölt alkalmazás adat (10Gb/s!) –
metadatok a protokollban: RDDP/RDMA– Újfata eszközök: Wavelength Disk Drive,
OptiPuter
GridFTP, Replikáció, RFT• GridFTP:
– GSI, 3. fél küldés, részleges fájl elérés, megbízhatóság, adatcsatorna újrahasz.
– TCP puffer szabályozás, Párhuzamos küldés
BDP[byte]=sávszélesség[KB/s]*késleltetés [msec]100ms: 100Mbps~1MB; 1Gbps~10MB
Puffer méret: jelenleg manuális, de több ötlet isnaplózásból, kapcsolat közben is, ….
Párhuzamos szálak + striping!
Párhuzamos szálak
• Nagy<-> kisebb fájlok• Szálak száma <-> TCP puffer
(memória• Striping – különböző útvonalak
MEM-MEM / Disk-Disk
• Mem-Mem: 90%@30Gbps, 32 nodes
• Disk-Disk: 17.5Gbps, 64 nodes (SAN…)
BANDWIDTH Vs STRIPING
0
2000
4000
6000
8000
10000
12000
14000
16000
18000
20000
0 10 20 30 40 50 60 70
Degree of Striping
Ban
dw
idth
(M
bp
s)
# Stream = 1 # Stream = 2 # Stream = 4 # Stream = 8 # Stream = 16 # Stream = 32
Disk BW vs. Striping
Average Bandwidth Gained per Stripe added (8 streams, Disk to Disk)
0
100
200
300
400
500
600
700
800
900
0 10 20 30 40 50 60 70
Number of Stripes
Av
g B
W g
ain
ed
pe
r s
trip
e (
Mb
s)
Memory BANDWIDTH Vs STRIPING
0
5000
10000
15000
20000
25000
30000
0 10 20 30 40 50 60 70
Degree of Striping
Ba
nd
wid
th (
Mb
ps
)
# Stream = 1 # Stream = 2 # Stream = 4 # Stream = 8 # Stream = 16 # Stream = 32
Bandwidth Gained per Stripe added (8 streams, Mem 2 Mem)
y = -9.0731x + 954.29
R2 = 0.3575
0
200
400
600
800
1000
1200
0 5 10 15 20 25 30 35
x
y
Stabilitás: 270TB Japánba
Overlay hálózatok
Hálózati protokollok
• TCP: – Slow Start, Cong. Control, Hibák
(10Gbps!)
• Nagy távolság, nagy sávszélesség• Fairness, stabilitás, ACK forgalom
vissza
TCP variánsok
TCP Variánsok II.• HSTCP-LP: Less than Best Effort feladatok
• Bic-TCP: általában jó, többinél stabilitás/fairness problémák …
• S-TCP: túl agresszív
• Fast TCP: nagy vissza-forgalom (20 vs 260Mbps!)
10GbE tesztek
• 9000 byte MTU• >10 MByte TCP puffer• Szgép. Architektúra korlátai (5-6
Gbps)• 4.3 Gbps volt a maximum
UDP variánsok• SABUL:
– UDP adat, vissza TCP kontroll üzenetek– 1 „szálon” ~950Mbps (100ms)– 2db 3 gépes klaszter: 2.8Gbps– UDP ~ fairness/friendly, de sokszor
veszteség
• UDT:– Tisztán UDP, MTU méretű adatcsomagok– Pozitív SACK, és NACK (kis % szab. csomag)
UDT teljesítmény
UDT teljesítmény
Iperf: 12.5 Gbps effektív sávszélesség – 94%
Szimulációk
• Grid szimuláció összetett feladat:– Alkalmazások, Middleware,
erőforrások és a hálózat dinamikus együttműködése!
– Egyensúly: virtualizáció, teljesítmény…
– Egyre nagyobb hálózatfüggés, nagy egymásra-hatás: P2P,MyDoom, Teraflows…
MicroGrid
• Információk:– Hálózat topológia és protokollok– Node-ok hálózati beállításai (puffer, window)– Számítókapacitások és elhelyezkedésük
• Virtuális gépek valódi alkalmazásokkal
Hálózati forg. szimuláció: MaSSF
Alkalmazások• ScaLAPACK • FASTA (protein/szekvencia hasonlóság)• Jacobi (párhuzamos egy.rendsz.
megoldó)• Fish (sok részecskés Van der Waals erők)• Game of Life (sejt automata)• Problémák:
– HTTP háttér forgalom– Load-balancing, network mapping
Lambda-Grid
• Számító- és tárolókapacitások sűrűn összekapcsolva DWDM optikai utakon.
• OptIPuter, CANARIE– Kevesebb végpont (1000 vs 10^8)– Dedikált nagysebességű vonalak (>1Gbps)– Nem belső, hanem végponti torlódás!
Group Transport Protocol
Exponential Increment and Loss Propotional Decrement
GTP II.
Pont-pont kapcsolat @ 1Gbps, 58ms RTT
Multipont-Pont kapcsolat
Párhuzamos szálak