Računalni klaster i GRIDRačunalni klaster i GRIDtehnologije u Srcutehnologije u Srcu
Damir ŽagarDamir ŽagarSveučilište u Zagrebu
Sveučilišni računski centar - [email protected]
Dan Srca, 29.04.2004.
Računalni klaster i GRID tehnologije u Srcu Dan Srca, 29.4.2004.
SadržajSadržaj
KlasterGRIDCentar za klaster i grid tehnologijeKlasteri u SrcuSrce i projekt CRO-GRID
Računalni klaster i GRID tehnologije u Srcu Dan Srca, 29.4.2004.
SuperSuper--računalaračunalavišeprocesorska SMP arhitekturadijeljena (shared) memorijaspecifičan OSvisoka cijena
200.000 $/gigaFLOPodržavanje i programska podrška
ograničeno skaliranje – vertikalno
Računalni klaster i GRID tehnologije u Srcu Dan Srca, 29.4.2004.
Beowulf klasterBeowulf klasternordijski heroj koji je savladao zmaja
zmaj = skup i nedostupan mainframe ili super-računalo
koncept HPC klasterarazvijen u NASA Goddard Space Flight centru 1994. godine16 komercijalno dobavljivih računala (100 MHz Intel 486 CPU)dvostruki 10 Mbps Ethernet LAN LinuxPVM
Računalni klaster i GRID tehnologije u Srcu Dan Srca, 29.4.2004.
Računalni klasterRačunalni klasterstandardno sklopovlje - skup nezavisnih, komercijalno dobavljivih (PC) računalabrza lokalna mreža (LAN)
povezuje računalaEthernet, Myrinet, Quadratics, InfiniBand, SCI
programska podrška (clusterware)koordinira izvršavanje aplikacija na klasteru i omogućava komunikaciju među programima koji se istovremeno izvršavajuomogućava koordinirani zajednički rad i istovremeno zajedničko rješavanje jednog ili više problema
neograničeno (horizontalno) skaliranje - lako proširiv da bi zadovoljio potrebe korisnikaniska cijena – 2.000 $/gigaFLOP
Računalni klaster i GRID tehnologije u Srcu Dan Srca, 29.4.2004.
Vrste klasteraVrste klasteraHTC (High Throughput Computing)
ista aplikacija istovremeno na različitim računalima obrađuje različite setove podataka
HPC (High Performance Computing)ista aplikacija istovremeno na različitim računalima obrađuje isti set podataka (paralelno procesiranje)
HAC (High Availability Computing)ista aplikacija u jednom trenutku na samo jednom računalu, u slučaju ispada ili pogreške izvršavanje preuzima drugo računalo u klasteru
Računalni klaster i GRID tehnologije u Srcu Dan Srca, 29.4.2004.
Klaster Klaster –– programska podrškaprogramska podrškaInstalacija i konfiguracijaJMS (Job Management System)
queueing –scheduling –monitoring –resource management –accounting and reporting –
Računalni klaster i GRID tehnologije u Srcu Dan Srca, 29.4.2004.
Centar za klaster i GRIDCentar za klaster i GRIDispitivanje i razvoj klaster i grid tehnologijaponuda prikupljenih znanja i vještina te pripremljenihračunarskih resursa znanstvenoj zajednicikorisnici su hrvatski znanstvenici i informatičari koji radena istraživanju klaster i grid tehnologija ili imaju potrebeza paralelnim računanjemaktivnosti
održavanje računalnih klasteraanaliza klaster tehnologijaanaliza GRID tehnologijapovezivanje u svjetske GRID sustave
Računalni klaster i GRID tehnologije u Srcu Dan Srca, 29.4.2004.
Klasteri u Srcu Klasteri u Srcu -- DgridDgridDataGrid inicijativu pokrenuo je CERN s ciljem osnivanja računarske i data-intenzivne mreže resursa za analizu i obradu velike količine podataka dobivenih od znanstvenih istraživanjaod siječnja do svibnja 2002. – prvi klaster sa 1+8 jednoprocesorskih čvorova – Dgrid – izgrađen za potrebe projekta MZT-a DataGrid(priključivanje Hrvatske CERN-ovim eksperimentima)u jesen 2002. Dgrid s novom klasterskom distribucijom Mosix služi ispitivanjima CERN-ovog projekta ALICEpočetkom 2004. – Dgrid razdvojen na Dgrid-AliEn i Dgrid-EDG(priključen CERN-ovom projektu Euro DataGRID)uspostavom DataGrid centra, koji je rezultat zajedničkog projektaMinistarstva znanosti i tehnologije i Srca, Hrvatska je postalapunopravni član Europskog DataGrid projekta
Računalni klaster i GRID tehnologije u Srcu Dan Srca, 29.4.2004.
Klasteri u SrcuKlasteri u Srcu -- IsabellaIsabellaod ljeta 2002. čvorovi pojekta Dgrid tvore klaster pod imenom “Isabella” na raspolaganju akademskoj zajedniciračunalni klaster "Isabella" osnovan je kako bi omogućio hrvatskim stručnjacima sudjelovanje u vrhunskim znanstvenim projektima, ali i potaknuo ih na razvoj klastering tehnologijazajednički resurs svih znanstvenika u Hrvatskoj – omogućava korištenje značajnih računalnih resursa pri zahtjevnim obradama podataka u sklopu znanstveno-istraživačkih projekatau jesen 2002. novih 8 čvorova (dvoprocesorski Intel Pentium-III) financiranih od MZT-a – klaster Isabella postaje odvojen produkcijski klaster namjenjen samo akademskoj zajednicipočetkom 2004. godine sredstvima Srca nabavljena nova 24 dvoprocesorska servera
Računalni klaster i GRID tehnologije u Srcu Dan Srca, 29.4.2004.
Isabella danasIsabella danasprodukcijski klaster
50 znanstvenika20 projekata
32 računalna nodaAcer ATOS G500 i HP ProLiant BL20p G2 blade serveri64 (32 x 2) procesora (48 × Xeon + 16 × Pentium III)56 GB RAM memorije2 TB diskovnog prostora200 GB diskovnog prostora na središnjem diskovnom prostoru Srca (SAN)
redundantni mrežni preklopnici i napajanjeRocks 3.1.0
Računalni klaster i GRID tehnologije u Srcu Dan Srca, 29.4.2004.
GRIDGRID“Računalni grid je skup sklopovske i programske infrastrukture kojaomogućava pristup do vrhunskih računalnih performansi na univerzalan, pouzdan, konzistentan i jeftin način” - I. Foster; C. Kesselman - "The Grid: Blueprint for a New Computing Infrastructure", Morgan Kaufmann, San Fransisco, 1999.ako je Web servis za razmjenu podataka na Internetu, GRID jeservis koji omogućava razmjenu računalne snage i prostora zapohranu podatakaGRID je sinergija računalne i mrežne (komunikacijske) infrastrukturecilj – stvoriti od globalne mreže računala jedan zajednički računalni resurs
Računalni klaster i GRID tehnologije u Srcu Dan Srca, 29.4.2004.
GRID GRID –– Zašto?Zašto?potrebe znanstvenika za računalnim resursima rastubrže nego što raste snaga pojedinih računala
računalna snaga procesora – svakih 18 mjeseciperformanse mreže (kapaciteti/brzina) – svakih 9 mjesecigustoća pohrane podataka – svakih 12 mjeseci
količina podatakafizika čestica velikih energija (High Energy Physics) - 10 PBgodišnjeslike sa satelita - 100 GB dnevno
Računalni klaster i GRID tehnologije u Srcu Dan Srca, 29.4.2004.
GRID GRID –– CiljeviCiljevigotovo neograničena računalna snagagotovo neograničen prostor za pohranu podatakatrenutna pristupačnost u trenutku pojavljivanja potrebesustav koji će omogućiti:
efikasnu i sigurnu suradnjurazmjenu resursa, podataka, procedura i rezultata
Računalni klaster i GRID tehnologije u Srcu Dan Srca, 29.4.2004.
GRID GRID –– Kako?Kako?umrežavanjem računala i računalnih klastera„gridware”
norme u razvojuGlobal Grid Forum (GGF)
• vodi i koordinira globalnu standardizaciju GRID-a• Open Grid Services Architecture (OGSA)
– standardna i otvorena arhitektura za izgradnju grid aplikacija– definira i zasnovana na Grid Servisima
• Open Grid Services Infrastructure (OGSI)– formalna i tehnička specifikacija Grid servisa– proširenje Web Servisa (XML, SOAP, ...)– Globus Alliance –Globus Toolkit – implementacija OGSI specifikacija
• Web Services Resouce Framework (WSRF)– evolucija OGSI prema Web Servisima
Računalni klaster i GRID tehnologije u Srcu Dan Srca, 29.4.2004.
CROCRO--GRIDGRIDCRO-GRID je poliprojekt MZOiŠ-a, vođen od upravljačke grupe na čelu s prof. dr. sc. Budinom, sastavljen od STIRP-ova:
CRO-GRID Infrastruktura – vodi SrceCRO-GRID Posrednički sustavi – vodi FERCRO-GRID Aplikacije – vodi IRB
“proof-of-concept” i testbedCRO-GRID Infrastruktura (http://www.srce.hr/crogrid/)
resursi:• 13 istraživača, 3 mlada istraživača, 8 tehničara• 980.320 kn za opremu: 25 servera za 5 testnih klastera, diskovni elementi
suradne ustanove:• ETF-OS, FESB-ST, GRAD-RI/TEH-RI, IRB, SRCE
Računalni klaster i GRID tehnologije u Srcu Dan Srca, 29.4.2004.
CROCRO--GRID InfrastrukturaGRID Infrastrukturaispitati i odrediti najpogodnije tehnologije povezivanja računalnih resursa u “grozdove” (cluster)izgraditi grozdove u znanstvenim i akademskim centrima, u skladusa sagledivim realnim potrebama projektapovezati grozdove u jedinstveni, unutar akademske zajednice standardni GRID-sustavodržavati računalni GRID, na način da je na raspolaganjuznanstvenoj i akademskoj zajedniciosigurati adekvatno obrazovanjeekspertnim znanjima podupirati inicijative i projekte koji podrazumijevaju uporabu grozdova i GRID-apovezati se sa sličnim međunarodnim inicijativama
Računalni klaster i GRID tehnologije u Srcu Dan Srca, 29.4.2004.
CROCRO--GRID Infrastruktura GRID Infrastruktura ––šestomjesečni planšestomjesečni plan
Nabava računalne opreme – 1. do 4. mjesec 2004.Srce: analiza potreba i tržišta, provođenje javnog nadmetanja
Analiza i određivanje najpogodnijih klasterskih tehnologija, mrežnih resursa i sigurnosnih komponenata – 1. do 6. mjesec 2004.
Srce: instaliranje, konfiguriranje, generička analiza mogućnosti klastera, mrežno ispitivanje, sigurnosna analizaIRB: aplikacijska analiza mogućnosti klastera
Odluka o standardnoj klasterskoj tehnologiji/ama unutar projekta –30. 6. 2004.zahvaljujući dobroj konkretnoj suradnji Srca s CERN-om na klasterima Dgrid-AliEn i Dgrid-EDG, pokušati se uključiti u projekt EGEE – Enabling Grids for E-science in Europe