![Page 1: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/1.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
LAB-TOUR 2014Casaccia 18 giugno 2014
UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA
http://www.utict.enea.ithttp://www.eneagrid.enea.ithttp://www.cresco.enea.it
![Page 2: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/2.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
Contenuto
• Il calcolo scientifico ad alte prestazioni (HPC)
• ENEAGRID ospita le risorse HPC di ENEA– L'architettura,le interfacce utente e i laboratori virtuali– L'utenza e le applicazioni
• Le risorse di calcolo– Il progetto CRESCO 2008: Portici– I cluster CRESCO– I progetti PON 2007-2013• I sistemi più recenti CRESCO3, CRESCO4
• Conclusioni
![Page 3: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/3.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
Il calcolo scientifico HPC in ENEA
Negli ultimi 50 anni l'evoluzione esponenziale delle tecnologie informatiche ha messo a disposizione sistemi di calcolo sempre più potenti e complessi, largamente paralleli.
Un sistema HPC si caratterizza per la disponibilità di una interconnesione tra i nodi di calcolo allo stato dell'arte della tecnologia (40-56 Gbps) e di risorse adeguate di storage.
Nel mondo il sistema più potente è una macchina cinese Tianhe-2, ~34 Pflops (10^15), in Italia Cineca 1.8 Pflops, in ENEA il cluster maggiore 85 Tflops e ~300 nodi di calcolo,di taglia significativa a livello nazionale.
Il laboratorio UTICT-HPC sviluppa e gestisce le risorse HPC di ENEA con una ventina di persone, di 6 laureati assunti negli ultimi anni e ha in Portici il sito più importante.
![Page 4: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/4.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
ENE
Le risorse di calcolo offerte all'utenza sono attualmente i sistemi Linux x86_64 (i cluster CRESCO ~10000 cores) e sistemi speciali dedicati (ad es. GPU). Storage AFS e GPFS. Le risorse sono distribuite su 6 Centri di Ricerca ENEA.
ENEAGRID: risorse di calcolo e storage
GARRUTICT-RETE
![Page 5: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/5.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
ENE
Componenti strutturali “maturi” per garanzia di affidabilità e semplicità di gestione, interfacce Web sviluppate/customizzate per un ambiente utente amichevole:–Autenticazione Kerberos 5– File systems: • AFS/OpenAFS: file system geografico• GPFS: file system parallelo, anche su WAN
–Gestore delle risorse: LSF Multicluster– Interfacce grafiche Web per l'utente:• NX/FARO• Jobrama: Stato dei job & Accounting
–Sistema di monitoring: Zabbix–Gestione Web utenze e progetti: WARC
Architettura di ENEAGRID
![Page 6: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/6.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
FARO - Fast Access to Remote Objects
Accesso WEB a dati,applicazioni,macchine virtuali realizzato con una integrazione di NX e applicazioni java
![Page 7: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/7.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
FARO e Laboratori Virtuali
Portali tematici che integrano l'accesso ai dati e alle applicazioni specifici del settore
![Page 8: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/8.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
Laboratori Virtuali
http://utict.enea.it/it/laboratori-virtuali/virtual-labs
![Page 9: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/9.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
Laboratori Virtuali
http://utict.enea.it/it/laboratori-virtuali/virtual-labs
![Page 10: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/10.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
Total displacemen
t (mm)
Post
Processor
Total displacemen
t (mm)
Total displacemen
t (mm)
Post
Processor
Post
Processor
FARO: la visualizzazione 3D
Rendering 3D Remoto
![Page 11: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/11.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
ENE
~200 utenti che sottomettono job seriali o a parallelismo contenuto e ~50 utenti che sottomettono job HPC altamente paralleli.
Gli ambiti applicativi a cui afferiscono i principali utenti sono: – fluidodinamica della combustione– chimica computazionale– simulazioni climatiche– analisi della diffusione degli inquinanti nell'atmosfera– tecnologie nucleari– fluidodinamica per l'aerospazio– fisica della fusione nucleare– bioinformatica– sistemi complessi– ….
L'utenza e le applicazioni
![Page 12: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/12.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
ENE
Utilizzo CRESCO 2012 : ~2200 year*core
z
Ripartizione per Aree Applicative
![Page 13: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/13.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
ENE
Utilizzo CRESCO 2012 : ~2200 year*core
Ripartizione per Applicazioni
![Page 14: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/14.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
ENE
Utilizzo CRESCO 2012 : ~2200 year*core
Ripartizione per Unità Tecniche ENEA
![Page 15: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/15.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
ENE
Utilizzo CRESCO 2012 : ~2200 year*core
Utenze esterne ad ENEA impegnate in collaborazioni & progetti:648 year*core (29.4%)
![Page 16: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/16.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
ENE
ENEAGRID: CRESCO a Portici
CR ENEA Porticiedifici progettati da Vittorio Gregotti,1982/86
![Page 17: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/17.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
ENE
I cluster CRESCO pre 2013
I cluster CRESCO x86_64 in produzione realizzati nell'ambito di PON 2000-2006 (Portici,Brindisi) o con risorse interne negli anni 2011-2012 (Casaccia,Frascati)
> Portici CRESCO1 (672 cores) CRESCO2 (2720 cores)IB CISCO 70xx, DDR Intel Clovertown,Tigerton,Nehalem,Westmere> Casaccia CRESCOC (192 cores, twin 1U)IB Qlogic Silverstorm DDR, AMD 2427 Istanbul> Frascati CRESCOF (480 cores twin square 2U, GPFS)IB Qlogic 12300 QDR, AMD 6172 Magnycours> Brindisi CRESCOB (96 cores, 4 U, GPFS)GEthernet, Intel Tigerton
Attualmente i nodi di CRESCO1 e CRESCO2 sono parte in dismissione e riuso per i servizi ICT di base
![Page 18: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/18.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
Le risorse di calcolo e i progetti
Le risorse di calcolo sono state acquisite nell'ambito dei finanziamenti MIUR PON, le più recenti nel PON 2007-2013.
• PON/3 Infrastrutture DDR MIUR 254/Ric 18/5/2011– TEDAT - Centro di eccellenza per le Tecnologie e la diagnostica
avanzata nel settore dei trasporti (2200 k€)
• PON/1 Ricerca Industriale DDR MIUR 01/Ric 18/1/2010– IT@CHA - Tecnologie Italiane per applicazioni avanzate nei Beni
Culturali (~300 k€)– LAMRECOR - Logistica avanzata per la Mobilità di persone e merci
(~550 k€)
L'attività di UTICT-PRA nella ideazione e gestione delle attività progettuali è la base per l'acquisizione delle risorse.Contributi alle infrastrutture provengono anche da risorse di altre Unità e da collaborazioni esterne.
![Page 19: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/19.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
ENE
Dai progetti LAMRECOR e IT@CHA:
CRESCO3 : in produzione estate 2013
84 nodi dualCPU AMD Interlagos 62342.4 GHz64 GB RAM24 coresTotale:2016 cores20 TFlopsStorage: DDN S2A9900 600 TB
![Page 20: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/20.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
ENE
CRESCO4
Le risorse del progetto TEDAT sono le più rilevanti e hanno permesso di acquisire il cluster CRESCO4, 100 Tflops
– 5 Rack di nodi di calcolo per un totale di 304 nodi (4864 cores Intel) 1 rack di servizio per switch IB
– Processore Intel E5-2670, 2.6 GHz, 8 cores– 64 GB RAM/nodo 4 GB RAM/Core– Nodi di tipo Fat Twin (Chassis 4U con 8 nodi)– Storage: DDN S2A9900 ~600 TB condiviso con CRESCO3– Infiniband QDR QLogic/Intel 12800-180 (432 porte)– Nuova sala CED; UPS, nuove batterie – Sistema di condizionamento con free-cooling – ~100KW potenza elettrica assorbita a pieno carico (HPL)
![Page 21: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/21.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
Rete infiniband CRESCO3/CRESCO4
4xDDR 20 Gbps
4xQDR40 Gbps
![Page 22: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/22.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
ENE
Locali CRESCO e CRESCO4
CED CRESCO dal 2008
CED nuovo CRESCO42013/2014
![Page 23: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/23.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
ENE
CED CRESCO
![Page 24: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/24.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
ENE
CED CRESCO : in primo piano CRESCO2
![Page 25: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/25.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
ENE
Locale CRESCO4 primavera 2013
![Page 26: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/26.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
ENE
Progetto dell'installazione
![Page 27: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/27.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
ENE
CRESCO4 collaudato ottobre 2013
![Page 28: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/28.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
ENE
CRESCO4 : in produzione dal 20/1/2014
Utenza CRESCO4: le applicazioni di area TEDAT (scienza dei materiali/CFD) e progetti numerici concordati con alcune unità ENEA: UTTEI, UTMEA, UTFUS, METR, UTVALAMB
Ore di calcolo erogate daENEAGRID dal 20/1/2014 al31/5/2014
2350 anni*core in ~4.3 mesi
riportati all'anno~6500 anni*core
![Page 29: G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014 LAB-TOUR 2014 Casaccia 18 giugno 2014 UTICT-HPC : Calcolo scientifico ad alte prestazioni IN ENEA G.Bracco](https://reader036.vdocuments.net/reader036/viewer/2022081515/5542eb74497959361e8dd683/html5/thumbnails/29.jpg)
G. Bracco – LAB-TOUR 2014 - Casaccia 18 Giugno 2014
Conclusioni
ENEA ha risorse di calcolo scientifico significative nell'ambito nazionale.L'accesso è aperto a tutti i ricercatori e tecnologi dell'agenzia e ai loro collaboratori esterniUTICT cura le relazioni con le altre unità in modo da garantire la qualità dell'utilizzo delle risorse e le prospettive del loro aggiornamento nel tempo.
www.eneagrid.enea.it: l'infrastruttura www.cresco.enea.it: il portale
Richiesta di account Istruzioni per l'utilizzo Accesso web ai sistemi
www.utict.enea.it/it/hpc: il laboratorio HPC