slovensko omrežje grid - adp · kaj je grid? • vmesna programska oprema za mrežno...
TRANSCRIPT
![Page 1: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/1.jpg)
Jan Jona Javoršek, IJS
Slovensko omrežje gridSlovenska infrastruktura in omrežja ERA
![Page 2: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/2.jpg)
•VSEBINA
• Grid in mrežno računalništvo
• Slovenska iniciativa za nacionalni grid
• Razvoj slovenskega omrežja
• Razpršeni in odprti podatki
• Kako naprej?
![Page 3: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/3.jpg)
•Grid in mrežno računalništvo
• Od kod mrežno računalništvo
• Kaj je grid/HPC/cloud/HTC/...
• Kdaj je primeren
• Kako uporabiti in vzpostaviti
![Page 4: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/4.jpg)
Od kod mrežno računalništvo?
• Računalniško omrežje:izmenjava podatkov
• Od interneta in spleta:podatki so na strežnikih
• Omrežno računalništvo:vse poteka na strežnikihuporabnik + grafični terminal
• Gonilo: napredek omrežja+ vse močnejše priročne naprave
![Page 5: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/5.jpg)
Mrežno računalništvo in znanost
• Veliki projekti – velike potrebe
• Manjši projekti: boljši in hitrejši rezultati
• Mednarodno sodelovanjena evropski, na svetovni ravni
• Evropska infrastruktura: ERA
• Arnes = dostop
+
![Page 6: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/6.jpg)
Mrežno računalništvo zame?
• Svetovni splet: sprva metatekstza visoko znanost
• Superračunalniki: razervirani za izjemne projekte
• Grid: individualno delo + sodelovanje
• Repozitoriji: oddaljeni podatki
![Page 7: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/7.jpg)
Kaj je mrežno računalništvo?
?
![Page 8: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/8.jpg)
Različni pristopi
• ad-hoc omrežja delovnih postaj:tipično raziskovalni in univerzitetni centri,vozlišča ethernet
• superračunalniški centri:od superračunalnikov do gruč HPC s hitrimi povezavami, vozlišča Infiniband
• oblak: virtualizirani strežniki/diski: tipično iz komericalnega okolja gostovanjaspletnih strežnikov in podpore, virtualizacija, zamenljivost centrov
![Page 9: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/9.jpg)
Podobni rezultati
• Postavitev:namenski podatkovni centri, omare (1U ali blade)
• Omrežna povezava:hitre zunanje linije, SAN do diskovnih kapacitet, hitre notranje povezave (eth 1-10 GB/s ali Infiniband)
• Diskovna polja:namenska polja, scratch disk na enotah ali namenska + razpršena polja
![Page 10: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/10.jpg)
Različnost konfiguracij
• Vozlišča:jedra/vozlišče: HPC/NUMA, prepustnost omrežja
• Podatkovna prepustnost:potrebe/velikost nalog, lokalni/zunanji podatki, trajanje hrambe podatkov, metapodatki
• Naloge, skupine nalog in način dela:virtualne organizacije, vmesniki zaupravljanje, avtomatizacija nalog,potrebe paralelizacije
![Page 11: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/11.jpg)
Kaj je grid?
• Vmesna programska oprema za mrežno računalništvo
• Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo vmesno programsko opremo grid
• Ekosistem soopravilnih mrežnih tehnologij (gruče, uporabniki, naloge, knjižnice, podatkovni sistemi, nadzor dostopa, delovanja uporabe in porabe ipd.)
![Page 12: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/12.jpg)
Kdaj grid?
● Ko imamo opravkaz veliko količino podatkov,
● ko izvrševanje nalog zahtevaveliko procesorsko moč,
● ko gre za velikoštevilo nalog.
![Page 13: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/13.jpg)
Zakaj grid?
• Lažja uporaba mrežnih računalniških kapacitetenotni, standarziirani vmesniki, samodejna izbira gruče, upravljanje z nalogami in podatki
• Omogačnje uporabe novih tehnologijhigh througput computing, nameščanje programske opreme, virtualizacija na različnih stopnjah ipd.
• Lažje znanstveno-raziskovalno sodelovanje: virtual research communities
![Page 14: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/14.jpg)
Kako deluje?
• Vmesna programska oprema grid je nameščena na opremi računalniških centrov (gruč)
• Gruča dostopna lokalno in preko grida
• Preko grida sistemi/podatki enako dostopni uporabnikom po svetu
• Infrastruktura: varnost,informacije, nadzorni
![Page 15: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/15.jpg)
Organizacija grida
● Uporabniki in projekti organiziraniv virtualne organizacije
● Dogovor o uporabi: VO in gruča● Gruče organizirane v
nacionalne/regionalne iniciative● Evropsko, azijsko, ameriško omrežje:
skupna varnost, razvoj, poročanje
![Page 16: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/16.jpg)
Virtualna organizacija
● Člani: uporabniki in projekti ● Identifikacija: certifikat● Člani in podpisniki dogovora o članstvu● Vsaka gruča podpira različne VO +
lokalne uporabnike● VO zgotavlja programsko opremo in
dostop
![Page 17: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/17.jpg)
Področja uporabe
● fizika,● astrofizika,● biokemija,● nanotehnologija,
● medicina,● meteorologija,● farmakologija,● bioinformatika ...
![Page 18: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/18.jpg)
Hramba podatkov
● Repozitoriji, digitalni arhivi● Standardni odprti formati● Razvoj metapodatkovnih standardov● Področja:
● živi podatki (obdelave)● digitalno kulturno izročilo (online arhivi)● ohranjanje znanstvenih podatkov (offline arhivi)
● Sodelovanje različnih infrastruktur
![Page 19: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/19.jpg)
In moji podatki?
● Dostopna shramba in replikacija ● Metapodatkovni katalogi● Digitalni arhivi za znanost in
humanistiko, metapodatkovni arhivi● Virtualna diskovna polja + big data● Projekti sodelovanja DCH-RP
digital cultural heritage preservation– infrastruktura za prezervacijo 1. prioriteta
![Page 20: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/20.jpg)
Podatki: odprti + dostopni?
● Velike količine podatkov: SRMStorage Resource Management: dCache
● Metapodatkovni katalogi - domenskigrid zaostaja za digitalno humanistiko
● Časovni zamik: Razkorak med časovno zamaknjeno obdelavo in takojšnjim dostopom
● Upešni primeri:Italija (INFN + ICCU),Poljska (PSCN), Madžarska (NIIFI),Švedska, Beligja in Estonija (lokalni NGI)
![Page 21: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/21.jpg)
•SLING
● Slovenska iniciativa za nacionalni grid
● Slovensko omrežje
● Mednarodno sodelovanje
![Page 22: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/22.jpg)
Slovenska iniciativa za nacionalni grid
EGI/NGI: European/National Grid Initiative
● Razlogi:● vzpostavitev stalne nacionalne infrastrukture● vključitev v mednarodno infrastrukturo EGI
● Predhodnik:sodelovanje v EGEE in NorduGrid
● Vodilna vloga: Arnesa● upravlja slovenske osrednje servise● testna gruča in splošna VO: gen.vo.sling.si
![Page 23: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/23.jpg)
InfrastrukturaSlovenskega omrežja grid● informacijski servisi
● nadzorni sistem
● sistem za popis porabe
● nacionalni izdajatelj potrdil
● podpora za nacionalne VO
● tehnična podpora, dokumentacija idr.
● podpora za NorduGrid Arc in gLite
![Page 24: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/24.jpg)
Trenutno stanje: http://www.sling.si/
● 5 gruč, <5000 jeder● 1 PB diskovja● 10.000 nalog na dan● Arnes: ~2000, >800 TB● VO:
- Gen VO SLING- Atlas, Belle, Belle II- Pierre Auger
![Page 25: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/25.jpg)
Sodelovanje v EU
● (DataGrid) 2002-2004
● EGEE I – III 2004-2010
● ustanovitev EGI 2009-2010● zagon EGI: maj 2010
![Page 26: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/26.jpg)
EGI.eu
● Evropska iniciativa za grid.● Koordinacija evropske infrastrukture
za grid + sorodni projekti● 50 partnerjev: 37 NGI, CERN in EMBL,
9 partnerjev iz Azije● 223 VO, 20706 aktivnih uporabnikov● Uporaba omrežja GÉANT (EU prednost)
![Page 27: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/27.jpg)
SLING: grid v Sloveniji
● Tehnologijo že uporabljajo na različnih področjih
● Zagotoviti pogoje za razvoj kompetitivne znanosti.
● Vzpostavitev in koordinacija slovenskega omrežja grid (dinamično omrežje z razpršenimi viri in vsemi tipi servisov – HPC in virtualizacija).
● Zagotoviti tehnično podporo pri vzpostavitvi gruče in podporo končnim uporabnikom.
● Predstavljati interese nacionalne skupnosti uporabnikov mrežnega računalništva v Sloveniji in Evropi.
![Page 28: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/28.jpg)
SLING: uporabniki in partnerji
● Posamezniki● študentje in profesorji● raziskovalci akademskih ter industrijskih
razvojnih in raziskovalnih centrov● samostojni raziskovalci, doktorski študentje ipd.
● Organizacije● javne izobraževalne in raziskovalne organizacije● industrijski raziskovalni in razvojni centri
![Page 29: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/29.jpg)
•Kako do grida
● Kot uporabnik
● Kot organizacija
![Page 30: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/30.jpg)
Kako do uporabe grida?● Članstvo v VO
(področje, projekt, testna)
● Za članstvo potreben certifikat(navodila na http://www.sling.si/).
● VO poda navodila glede dela (kako prilagoditi programsko opremo ipd.)
● Podpora VO na sl. gručah(lahko tudi uporaba tujih gruč)
![Page 31: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/31.jpg)
Kako do uporabe grida?● Navodila za uporabnike
gen.vo.sling.si: nacionalna testna VOhttp://www.sling.si/users.html
● Programska oprema:samostojni paket NorduGrid ARC
● Prilagoditev lastnih programov in oblikovanje nalog, hramba podatkov
● Podpora SLING:poštni seznam: [email protected]
![Page 32: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/32.jpg)
Uporaba grida
hellogrid.sh
#!/bin/sh
echo “Hello Grid!”
● arcsub
● arcstat
● arccat
● arcget
hellogrid.xrsl
&(executable=hellogrid.sh)
(jobname=hellogrid
(stdout=hello.out
(stderr=hello.err)
(gmlog=gridlog)
(architecture=i686)
(cputime=10)
(memory=32)
(disk=1)
![Page 33: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/33.jpg)
Kako priključiti gručo v grid?
● Kontakt [email protected] ali [email protected] ● Tehnične zahteve:
strežniki za upravljanje gruče, omrežna povezava (vsaj1Gb, HPC več + infiniband)
● Podpis SLA (varnostno-tehnični pogoji)
● Certifikati(administrator, strežniki, servisi)
![Page 34: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/34.jpg)
•Kako naprej?
● Tehnologija se razvija
● Uporabniku vse bolj prijazno
● Slovensko omrežje se širi
● Vse več projektov predpostavlja dostop
● Integracija virtualizacijein diskovnih polj
![Page 35: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/35.jpg)
Kontakt
● Splošne informacije:[email protected]
● Tehnična podpora:[email protected]
● Upravitelji centrov:[email protected]
● Administratorji centrov:[email protected]
● Uporabniki:[email protected]
![Page 36: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/36.jpg)
Razvoj EGI
● EGI skrbi za dolgoročno delovanje evropskega omrežja grid
● mednarodno sodelovanje nacionalnih omrežij● uporabo standardov● osrednje servise
● EGI sodeluje z drugimi projekti:● za razvoj programske opreme in standadov● za razvoj evropskih razpršenih računskih
infrastruktur (DCI), PRACE za HTC, CLARINE, DARIAH ipd.
![Page 37: Slovensko omrežje grid - ADP · Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo](https://reader030.vdocuments.net/reader030/viewer/2022040815/5e5ce3151cc45f1e46458b7b/html5/thumbnails/37.jpg)
Prihodnost evropskega grida
● Prednost: high throughput computing(GÉANT + boljša vmesna prog. oprema)
● Cilj: integracija različnih modelovv eno infrastrukturo(isti osrednji informacijski, varnostni,podatkovni servisi)
● paralelizacija● HPC● virtualizacija (oblak)● podatkovni arhivi
+