resp.: almerico murli componenti tb: giuliano laccetti alberto machì mario rosario guarracino pisa,...

56
Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di Rimodulazione Workpackage 9 Grid-enabled Scientific Libraries

Upload: michele-casali

Post on 01-May-2015

216 views

Category:

Documents


2 download

TRANSCRIPT

Page 1: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

Resp.: Almerico Murli

Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino

Pisa, 27-28 maggio 2003

Progetto FIRB Grid.itWorkshop di Rimodulazione

Workpackage 9

Grid-enabled Scientific Libraries

Workpackage 9

Grid-enabled Scientific Libraries

Page 2: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

2

"... to be leader in new technologies areas that stand at the critical interface between scientific and engineering disciplines and high end computing ..."

VocazioneVocazioneAmbizioneAmbizione

Page 3: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

3

Problematiche nello sviluppo di librerie scientifiche (1)

• efficienza

• accuratezza

• affidabilità

• modularità

• portabilità

• API standard

• estendibilità

• facilità di (ri)uso

• integrazione ed interoperabilità

• …

Precedenti esperienze: - Progetto Finalizzato Informatica (1) Sottoprogetto Software Matematico - Progetto Niltpack - …Pubblicazioni

Page 4: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

4

Problematiche nello sviluppo di librerie scientifiche (2)

le precedenti +

• grado di parallelismo

• località dei dati

• scalabilità

• bilanciamento del carico

• minimizzazione sincronizz./comunicaz.

• …

Supercomputer

Precedenti esperienze: - Progetto Finalizzato Sistemi Informatici e Calcolo Parallelo - Progetto europeo PINEAPL

- Parallel Naples Airshed Model (PNAM) - PSBLAS - …

Pubblicazioni

Page 5: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

5

Problematiche nello sviluppo di librerie scientifiche (3)

le precedenti +

• eterogeneità

• scheduling richieste utente

• I/O su rete

• visualizzazione su rete

• ….

Supercomputer

Supercomputer

Database

DatabaseDatabase

Precedenti esperienze: - SPMIAC (Sistema Sw per Previsione e Monitoraggio Inquinamento Atmosferico in Campania)

- …Pubblicazioni

Page 6: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

6

Problematiche nello sviluppo di librerie scientifiche (4)

le precedenti +

• dinamicità

• coordinazione

• sicurezza

• latenza elevata e variabile

• guasti

• …

Progetto FIRB Grid.itProgetto FIRB Grid.it

Supercomputer

Database

SPECT

Precedenti esperienze: Agenzia 2000, MedIGrid

Pubblicazioni

Page 7: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

7

Grid-flow applications

Supercomputer

Supercomputer

Database

DatabaseDatabase

Le risorse sono allocate staticamente e i task sono eseguiti sui nodi della griglia computazionale secondo uno schema data-flow

Le risorse sono allocate dinamicamente; l’applicazione controlla lo stato della griglia e si riconfigura automaticamente

Grid-aware applications

Page 8: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

8

… Huge problems can now be computed over Grid Computing Environments (like Globus or Avaki, …). Because most of current applications are numerical, the use of libraries like BLAS, LAPACK, ScaLAPACK or PETSc is mandatory. …… Moreover, the computational power and memory needs of such applications may of course not be available on just one platform. Thus, Grid Computing seems to be a good candidate to build Problem Solving Environments …

Dalla presentazione del Progetto LAMMPS (Large Scale Atomic Molecular Massively Parallel Simulator)

Page 9: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

9

Obiettivi generali del WP9

• studio delle problematiche relative alla realizzazione di una libreria di software scientifico efficiente, affidabile e scalabile in ambienti computazionali di tipo griglia.

• individuazione ed analisi di problemi connessi alla progettazione ed all’implementazione di algoritmi per architetture ad alte prestazioni ed alla loro integrazione in un'architettura software grid-oriented.

Page 10: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

10

Obiettivi specifici del WP9

• definizione di strutture dati e sviluppo di routine numeriche promettenti per applicazioni su griglie computazionali

• studio e realizzazione di moduli di libreria scientifica efficacemente utilizzabili su griglie computazionali in contesti applicativi interdisciplinari e multidisciplinari

• valutazione e validazione del software sviluppato mediante l’integrazione in opportuni ambienti test

Page 11: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

11

Griglie Computazionali e Applicazioni

Ambiente per lo sviluppo di applicazioni ad alte prestazioni …Integrazione librerie scientifiche

nell’ambiente di programmazione

Grid Computing: tecnologie abilitanti e applicazioni

per eScience

WP1.1 Dispiegamento della Griglia WP2.1 Ambienti di ProgrammazioneWP3.1 Applicazioni – EOSWP3.2 Applicazioni Scientifiche

MIUR 5% 1999 (Laforenza)

MIUR 5% 1999 (Laforenza)

ASI-PQE2000 (Vanneschi)

ASI-PQE2000 (Vanneschi)

AGENZIA 2000 (Vanneschi)

AGENZIA 2000 (Vanneschi)

Piattaforma distribuitaad alte prestazioni

MIUR 5% 2000 (Vanneschi)

MIUR 5% 2000 (Vanneschi)

•Dispiegamento della griglia •Applicazioni medico-nucleari

AGENZIA 2000(Murli)

AGENZIA 2000(Murli)

FIRBFIRB

Piattaforme abilitanti per Griglie Computazionali ad

alte prestazioni …

• WP8 Ambienti di programmazione…• WP9 Sviluppo librerie scientifiche Grid-

enabled• WP11 Applicaz. EOS: previs. e monitor.

inquinam.

Ampliamento dell’ambiente di programmazione con componenti

numeriche per applicazioni scientifiche

…altri progetti…altri progettiSviluppo di Applicazioni di

Osservazione della Terra mediante Sistemi e Strumenti di Calcolo ad

Alte Prestazioni

Integrazione librerie scientifiche nell’ambiente di programmazione

Contesto nazionale

Page 12: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

12

Contesto internazionale

NetSolve http://icl.cs.utk.edu/netsolve

http://www-neos.mcs.anl.gov

http://hipersoft.cs.rice.edu/grads

PARVOXPARVOXhttp://ess.gsfc.nasa.gov/annual.reports/

ess99/parvox.html

…………

Page 13: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

13

Esperienze in GrADS: ScaLAPACK demo

• implementazione su Griglia di una versione di ScaLAPACK usare le risorse a disposizione dell’utente fornire la soluzione nel minor tempo possibile automatizzare alcune fasi dell’esecuzione: scelta di

macchine/processori coinvolti nel calcolo, distribuzione dei dati e collezione dei risultati, lancio della libreria su ogni macchina, …

• modifiche minime al software di libreria

• si assume che il middleware per Griglia sia già disponibile (Globus MDS, Network Weather Sevice, Autopilot Manager/Contract Monitor)

J. Dongarra et al., Numerical Libraries and the Grid, Intl. J. High Performance Applications and SuperComputing, 15(4), 2001

Page 14: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

14

ScaLAPACK demo (cont.)

userlibr. routine

+wrapper resource

selector

performance modeler

contract developer

Esecuzione applicazione

Quale sw/hw ho a disposizione?

Quanta potenza di calcolo

è necessaria?

Voglio usare

la griglia…

Voglio risolvere un sistema

lineare di 10k equazioni

in 10 minuti!

Finisco in 10 minuti?

Page 15: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

15

Verso una maggiore dinamicità…

• i nuclei computazionali non sono in grado di sfruttare appieno le potenzialità della griglia

necessità di un ambiente computazionale dinamico in cui i componenti di libreria più “efficaci” rispetto alle

caratteristiche del problema e dei dati ed allo stato della griglia sia automaticamente selezionati

Self-Adaptive Numerical Software (SANS)

J. Dongarra, V. Eijkhout, Self-Adapting Numerical Software for Next Generation Applications, LAPACK WN 157, 2002

Page 16: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

16

Progetto di un sistema di tipo SANS

LIBRERIE

ApplicazioniSaNS assert(A,spd) Solve(A,x,b)

/* interactive mode */

SaNS (solve,A,x,b,cg)

/* scripting language call */

HistoryDatabase

IntelligentComponent

SystemComponent

SANS AGENTRisolvi Ax=B, con A SPD Seleziona

automaticamente l’algoritmo dalle

caratteristiche del problema

Gestisci l’accesso alla griglia

Utilizza le informazioni

sulle prestazioni di esecuzioni precedenti

SPDSimmetrica Definita Positiva

Page 17: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

17

Librerie scientifiche Grid-aware

Challenges:

• librerie che supportino una scelta adattativa degli algoritmi rispetto al problema (a run-time)

• librerie che si adattino dinamicamente alla configurazione di Griglia per ottimizzare le performance

• nuovi algoritmi latency-, fault-, I/O-tolerant

• nuovi algoritmi scalabili

• meccanismi per l’interazione delle librerie con il middleware

• architettura delle librerie tale da favorire interfacciamento con differenti linguaggi

• …

Page 18: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

18

WP9: descrizione attività di ricerca

approccio metodologico:

definizione ed implementazione di algoritmi comuni ad applicazioni di rilevante interesse scientifico e tecnologico, per ambienti distribuiti e paralleli dinamici, fault-prone e con latenze elevate e variabili, con l’obiettivo di ottenere

prestazioni elevate, scalabilità e portabilità

• Task 1: studio ed analisi dei requisiti

• Task 2: realizzazione della libreria scientifica

• Task 3: validazione e testing

Page 19: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

19

Task 1: individuazione ed analisi dei requisiti

obiettivo: individuazione ed analisi dei requisiti della libreria scientifica, nonché delle metodologie e degli strumenti necessari alla sua realizzazione

articolazione:

1.1 individuazione dei nuclei computazionali comuni alle applicazioni scientifiche di interesse

1.2 determinazione di algoritmi efficienti, scalabili e portabili su griglie computazionali

1.3 identificazione delle strutture dati/oggetti da supportare, dei pattern di interazione e delle metodologie implementabili in elementi di software

Page 20: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

20

Subtask 1.1: individuazione nuclei computazionali

esigenze WP applicativi

competenze & esperienze

ricercatori WP9

aree applicative di interesse

• elaborazione, ricostruzione e riconoscimento di immagini in medicina nucleare e per il restauro digitale di filmati (ICAR-NA, ICAR-PA)

• simulazione di interazioni fluido-struttura (sospensione di ponti) (UNIRM2)

• problemi di decisione ottima, con riferimento al settore economico-finanziario (UNICAL)

• previsione e monitoraggio del rischio ambientale, con particolare riferimento all’inquinamento atmosferico (sinergia con WP11) (ICAR-NA)

• gestione ed elaborazione dati EOS (sinergia con WP11) (ICAR-NA)

Page 21: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

21

Subtask 1.1 (cont.)

“classi” di algoritmi di interesse

livello 0:• algoritmi per la risoluzione di sistemi lineari e non lineari• algoritmi basati sulla FFT

livello 1: • algoritmi per la risoluzione di problemi di ottimizzazione

non lineare e non vincolata• algoritmi per la risoluzione di PDE• algoritmi per elaborazione e riconoscimento di immagini

livello 2: • integrazione nuclei di livello (0 e ) 1 in polialgoritmi per la

risoluzione di problemi applicativi

Page 22: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

22

Subtask 1.2: determinazione algoritmi

dinamicità, eterogeneità, latenze elevate e variabili delle griglie computazionali

realizzazione di algoritmi

• asincroni, che operino efficientemente nonostante l’eterogeneità di processori, tempi di comunicazione e di latenza, etc.

• opportunistici, cioè che tengano conto che le risorse variano dinamicamente;

• I/O tolerant, cioè in grado di eseguire calcoli in presenza di input parziali e di rilasciare i risultati on the fly

• …

PDE

Page 23: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

23

Esempio: fattorizzazione LU a blocchi

A11 A12 A13

A21 A22 A23

A31 A32 A33

L11

L21 L22

L31 L32 L33

U11 U12 U13

U22 U23

U33

= *

A11 = L11U11

A21 = L21U11

A31 = L31U11

A12 = L11U12

A22 = L21U12 + L22U22

A32 = L31U12 + L32U22

A13 = L11U13

A23 = L21U13 + L22U23

A33 = L31U13 + L32U23 + L33U33

Page 24: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

24

A11 A12 A13

A21 A22 A23

A31 A32 A33

distribuzione matrice: ciclica a blocchi

Su architetture parallele MIMD a memoria distribuita …

versione right-looking

L11

U11

L21

L31

U12 U13

)1(22A

)1(23A

)1(32A

)1(33A

L22

U22

L32

U23

)2(33A

)2(33AL33

U33

fattorizzazione LU

GETRS(risoluz. sist. triang.)

GEMM(mat x mat)

fattorizzazione LU

GETRS(risoluz. sist. triang.)

GEMM(mat x mat)

fattorizzazione LU

passo 1

passo 2

passo 3

Page 25: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

25

LU right-looking

ad ogni passo, calcola definitivamente un blocco di righe ed un blocco di colonne, e li usa per aggiornare la rimanente parte della sottomatrice attiva

miglior compromesso tra minimizzazione della comunicazione e bilanciamento del carico computazionale

MA

è necessario avere a disposizione l’intera matrice all’inizio dell’algoritmo

accesso ai dati che si trovano “a destra”

Page 26: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

26

A11 A12 A13

A21 A22 A23

A31 A32 A33

distribuzione matrice: ciclica a blocchi

Un’alternativa: versione left-looking

L11

U11

L21

L31)1(

32A

)1(22AL22

U22

L32

U12 U13

)1(33A

)1(23AU23

)2(33A

)2(33AL33

U33

fattorizzazione LU

risoluz. sist. triang.

mat x mat

fattorizzazione LU

risoluz. sist. triang.

mat x mat

fattorizzazione LU

passo 2

passo 3

passo 1

risoluz. sist. triang.

mat x mat

Page 27: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

27

LU left-looking

ad ogni passo, aggiorna definitivamente un sol blocco di colonne, utilizzando le colonne precedentemente calcolate

non è necessario avere a disposizione l’intera matrice per iniziare la fattorizzazione

algoritmo I/O-tolerantalgoritmo I/O-tolerant

accesso ai dati che si trovano “a sinistra”

Page 28: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

28

LU left looking (cont.)

fattore critico per la performance:dimensione del pannello verticale

dipendenza da:

• dimensione del problema

• insieme dei processori utilizzati per il calcolo

• caratteristiche della rete (bandwidth, latenza, traffico, …)

• …

Page 29: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

29

Subtask 1.3: identificazione metodologie e strutture dati/oggetti

algoritmi opportunistici, asincroni, I/O tolerant

estensione alla griglia di metodologie di

• checkpointing, per far ripartire il calcolo nel caso in cui un nodo della griglia non è più disponibile

• caching, per consentire un riuso efficiente dei dati

• locality, per minimizzare gli scambi di dati

• load balancing, per sfruttare esplicitamente l’eterogeneità delle risorse della griglia

Page 30: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

30

Task 2: realizzazione libreria scientifica

obiettivo: implementazione degli algoritmi selezionati in moduli di libreria scientifica per ambienti di griglia computazionale, con le metodologie e gli strumenti individuati nel Task 1

articolazione:

2.1 definizione delle API (anche in relazione alle specifiche del linguaggio di coordinamento atteso dal WP8), per l’accesso uniforme ai moduli

2.2 implementazione delle routine di libreria scientifica

2.3 valutazione dell’impatto degli strumenti sviluppati in altri WP nell’integrazione di moduli della libreria nelle applicazioni demo

Page 31: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

31

Subtask 2.1: definizione API

obiettivi:

• fornire all’utente funzionalità adeguate, eventualmente con differenti livelli di dettaglio

• nascondere dettagli implementativi “inutili”

• conservare o estendere “in maniera naturale” le API utilizzate in ambiente sequenziale e parallelo

Page 32: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

32

Subtask 2.2: implementazione routine di libreria

obiettivi e metodologia:

• prima implementazione con tecnologie e strumenti “consolidati” e disponibili (Globus toolkit 2.x, MPICH-G2, …)

• successiva integrazione su piattaforme che fanno uso di middleware studiato e/o sviluppato da altri WP

• uso di building block consolidati (BLAS, PBLAS, LAPACK, ScaLAPACK, PETSc, …)

Page 33: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

33

Subtask 2.3: strumenti sviluppati in altri WP

obiettivi e metodologia:

• individuazione dei benefici risultanti dall’integrazione della libreria scientifica con metodologie e strumenti software sviluppati in altri WP.

• valutazione dell’integrazione di tali strumenti nell’architettura software per la valutazione/validazione della libreria

Page 34: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

34

Task 3: validazione e testing

obiettivo:

validazione e valutazione delle prestazioni dei moduli di libreria implementati

articolazione:

3.1 integrazione delle routine in ambienti volti alla risoluzione di problemi applicativi di interesse (laboratori virtuali - PSE)

3.2 validazione e testing della libreria sviluppata per la risoluzione di problemi applicativi di interesse

Page 35: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

35

Subtask 3.1: integrazione in laboratori virtuali - PSE

• impatto sulla definizione di protocolli e servizi standard per la registrazione, attivazione e composizione dei moduli di libreria

• impatto su algoritmi, API ed implementazioni dei moduli di libreria

Subtask 3.2: validazione e testing per la risoluzione di problemi applicativi

• eventuale tuning e revisione/modifica di algoritmi, API ed implementazioni dei moduli di libreria

Page 36: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

36

Sinergie con altri WP

Applications and Demonstrators

(WP10, WP11, WP12, WP13, WP14)

CNRINFNASI

e-science Components (WP9)

Component-based Programming Environment (WP8),

Knowledge Services (WP6), Grid Portals (WP7),

Security (WP4)CNR

Photonic, high-bandwidth networks

(WP1, WP2)

CNIT

Basic Grid Infrastructure

and Data Core Services

(WP3, WP5)

INFN

Page 37: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

37

Naturale interazione WP9 – WP8

• individuazione e definizione di meccanismi per l’integrazione di sw numerico nell’ambiente del progetto impatto sullo sviluppo del supporto

dell’ambiente

• definizione di interfacce per moduli di sw numerico ad alte prestazioni impatto sulla definizione degli algoritmi (e dei

polialgoritmi) implementati nei componenti sw

Pubblicazioni

Page 38: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

38

Pianificazione temporale

Primo anno

1. individuazione dei nuclei computazionali comuni alle applicazioni scientifiche di interesse

ICAR-NA, ICAR-PA, UNICAL, UNIRM2

2. determinazione di algoritmi efficienti, scalabili e portabili per griglie computazionali

ICAR-NA, ICAR-PA, UNICAL, UNIRM2

3. identificazione delle strutture dati/oggetti da supportare e delle metodologie implementabili in elementi di software

ICAR-NA, ICAR-PA, UNIRM2

Page 39: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

39

Pianificazione temporale (cont.)

Secondo anno

4. completamento determinazione algoritmi per griglie computazionali

ICAR-NA, ICAR-PA, UNICAL, UNIRM2

5. completamento identificazione strutture dati/oggetti e metodologie

ICAR-NA, ICAR-PA, UNIRM2

6. definizione delle API ICAR-NA, ICAR-PA, UNIRM2

7. sviluppo delle routine di libreria scientifica ICAR-NA, ICAR-PA, UNICAL, UNIRM2

8. valutazione impatto strumenti sviluppati da altri WP

ICAR-NA, ICAR-PA

Page 40: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

40

Pianificazione temporale (cont.)

Terzo anno

9. completamento sviluppo libreria ICAR-NA, ICAR-PA, UNICAL, UNIRM2

10. completamento valutazione impatto strumenti sviluppati in altri WP

ICAR-NA, ICAR-PA

11. integrazione routine in ambienti per lo sviluppo di problemi applicativi (laboratori virtuali – PSE)

ICAR-NA, ICAR-PA

12. validazione e testing della libreria su problemi applicativi di interesse

ICAR-NA, ICAR-PA, UNICAL, UNIRM2

Page 41: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

41

Coinvolgimento gruppi nei task

ICAR NA ICAR PA UNIRM2 UNICAL

Task 1.1

Task 1.2

Task 1.3

Task 2.1

Task 2.2

Task 2.3

Task 3.1

Task 3.2

Page 42: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

42

Allocazione risorse ai gruppi

  ICAR NA ICAR PA UNIRM2 UNICAL

Totale keuro

338 69 74 90

1 anno 113 23 24 30

2 anno 113 23 25 30

3 anno 112 23 25 30

         

Page 43: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

43

Personale

Assegni di ricerca

Tipo contratto No Unità Durata Stato primo anno

Giovani ricercatori

1 ICAR-PA 3 anni 3 m.u. 02.05.03

1 ICAR-NA 3 anni 7 m.u. 03.03.03

1 UNIRM2 3 anni 7 m.u. da definire

  2 UNICAL 3 anni 6 m.u. Bando da definire

6 m.u. Bando da definire

Co.co.co 2 ICAR-NA 3 anni 7 m.u. 01.04.03 7 m.u. 14.03.03 

Totale: 12 anni uomo(4 anni/uomo x 3 anni)

Page 44: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

44

Partecipanti alla ricerca

• Napoli ICAR: Carracciuolo, Corsaro, D’Ambra, Guarracino,

Maddalena, Oliva, Petrosino UNINA: D’Amore, Di Serafino, Laccetti, Lapegna

• Palermo ICAR: Machì, Nicotra

• Roma UNIRM2: Bisegna, Filippone, Maceri, Vairo

• Cosenza UNICS: Grandinetti, Musmanno, Guerriero, Belardi

Page 45: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

45

Ipse dixit

• …Grid come naturale evoluzione del calcolo ad alte prestazioni…

• …i problemi da risolvere sono fondamentalmente quelli del calcolo parallelo, anche se più difficili e complessi…

Page 46: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

46

As soon as grid computing exists, it will necessarily guide the future course of science.Whenever any result is sought by its aid, the question will raise – By what means of calculation can these results be arrived at by this technology in the shortest time?

Page 47: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

47

As soon as analytic engine exists, it will necessarily guide the future course of science.Whenever any result is sought by its aid, the question will raise – By what means of calculation can these results be arrived at by this machine in the shortest time?

Charles Babbage, 1864

Page 48: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

48

Fine presentazione

Page 49: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

49

Alcune pubblicazioni

• Luisa D'Amore, Giuliano Laccetti, Almerico Murli, An Implementation of a Fourier Series Method for the Numerical Inversion of the Laplace Transform, ACM TOMS, Vol. 25 · N. 3, 1999

• Luisa D'Amore, Giuliano Laccetti, Almerico Murli, Algorithm 796: A Fortran Software Package for the Numerical Inversion of the Laplace Transform Based on a Fourier Series Method, ACM TOMS, Vol. 25 · N. 3, 1999

• M. Rizzardi, A Modification of Talbot's Method for the Simultaneous Approximation of Several Values of the Inverse Laplace Transform, ACM TOMS, Vol. 21 · N. 4, 1995

• A. Murli, M. Rizzardi, Algorithm 682: Talbot's Method for the Laplace Inversion Problem, ACM TOMS, Vol. 16 · N. 2, 1990

• B. S. Garbow, G. Giunta, J. N. Lyness, A. Murli, Software for an Implementation of Weeks' Method for the Inverse Laplace Transform, ACM TOMS, Vol. 14 · N. 2, 1988

• B. S. Garbow, G. Giunta, J. N. Lyness, A. Murli, Algorithm 662: A FORTRAN Software Package for the Numerical Inversion of the Laplace Transform Based on Weeks' Method, ACM TOMS, Vol. 14 · N. 2, 1988

• G. Giunta, A. Murli, Algorithm 649: A Package for Computing Trigonometric Fourier Coefficients Based on Lyness's Algorithm, ACM TOMS, Vol. 13 N. 1, 1987.

• P.C. Messina, A. Murli eds., Problems and Methodologies in Mathematical Software Production, Springer-Verlag, 1982.

• G. Giunta, G. Laccetti, A. Murli, Il Problema della Valutazione del Software Matematico, Rivista di Informatica, XII, 1982.

Page 50: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

50

Alcune pubblicazioni (1/4)

• L. Antonelli, L.Carracciuolo, M.Ceccarelli, L.D’Amore,A.Murli – Total Variation rergularization for Edge Preserving 3D SPECT Imaging in High Performance Computing Environment, Lecture Notes on Computer Science, 2330, springer, 2002.

• S. Filippone, P.D’Ambra, M.Colajanni – Using a Parallel Library of Sparse Linear Algebra in a Flyuid Dynamics Application Code on Linux Clusters, in Parallel Computing, Advances and Current Issues, G.Joubert, A.Murli, F.Peters, M.Vanneschi, eds., Imperial College Press, 2002, pp. 441-448

• L. Arnone, P. D'Ambra, S. Filippone, A Parallel Version of KIVA-3 based on General-Purpose Numerical Software and its Use in Two-stroke Engine Applications, International Journal of Computer Research, Special Issue on Industrial Applications of Parallel Computing, M. Paprzycki, L. Tarricone, T. Yang eds., vol.10, N.4, 2001, pp. 31-46.

• P. D'Ambra, S. Filippone, L. Arnone, Using General-Purpose Numerical Software in the Parallelization of Fluid Dynamics Codes: KIVA-3, a Code for Engine Simulations, in Practical Parallel Computing, M. Paprzycki, L. Tarricone, T. Yang eds., NOVA Science Pub., New York, Chap. 3, 2001, pp. 37-55.

• G. Barone, P. D'Ambra, D. di Serafino, G. Giunta, A. Murli, A. Riccio, Application of a Parallel Photochemical Air Quality Model to the Campania Region (Southern Italy), Environmental Modelling & Software, vol. 15, n. 6-7, 2000, pp. 503-511.

• S. Filippone, M.Colajanni, PSBLAS: a Library for Parallel Linear Algebra on Sparse Matrices, ACM TOMS, 26, 4, 2000

• P.Beraldi, L. Grandinetti, R. Musmanno, C. Triki, Parallel Algorithms to Solve Stochastic Linear Programs with Robustness Constraints, Parallel Computing, 26, 2000, pp. 1889-1908.

Page 51: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

51

Alcune pubblicazioni (2/4)• A.Murli, P.D’Ambra, L.D’Amore, Parallel Computation and Problem Solving Methodologies: A View

from Some Experiences, in Recent Trends in Numerical Analysis, D.Trigiante ed., NOVA Science Publ., Advances in Computation: Theory and Practice Series, vol. 3, 2000, pp. 249-268.

• G. Laccetti, M. Lapegna, M. Marino, A. Murli, F. Perla - Parallel Multidimensional Quadrature: an Effective Tool for Finance Problems - International Journal on Applied Mathematics, vol. 2, 2000, pp.441-457.

• G. Barone, P. D'Ambra, D. di Serafino, G. Giunta, A. Murli, A. Riccio, PNAM: Parallel Software for Air Quality Simulations in the Naples Area, Environmental Management and Health, MCB University Press UK, vol. 10, n. 4, 1999, pp. 209-215. 

• G. Laccetti e M. Lapegna - PAMIHR. A Parallel Fortran Proram for Multidimensional Quadrature on Distributed Memory Architectures - Proc. of Euro-Par 99, P. Amestoy et al. eds., Lecture Notes in Computer Science No. 1685, Springer, 1999, pp. 1144-1148.

• G. Barone, P. D'Ambra, D. di Serafino, G. Giunta, A. Murli, A. Riccio, Parallel Numerical Simulation of Air Pollution in Southern Italy, in "Large-Scale Computations in Air Pollution Modelling", Z. Zlatev et al. eds., Kluwer, 1999, pp. 39-52.

• M.Ceccarelli, L.D’Amore,V.De Simone,A.Murli – Numerical Methods for Total Variation-based Deblurring: a Comparison in a Parallel Environment, Notes on Numerical Fluid Mechanics, 73, 1999, pp. 257-264.

• I. de Bono, D. di Serafino, E. Ducloux, Using a General-Purpose Numerical Library to Parallelize an Industrial Application: Design of High-Performance Lasers, in ``Euro-Par'98, Parallel Processing'', D. Pritchard, J. Reeve eds., Lecture Notes in Computer Science, vol. 1470, Springer, 1998, pp. 812-820.

• D. di Serafino, L.Maddalena, P.Messina, A.Murli – Some Perspectives on High Performance Mathematical Software, in High Performance Algorithms and Software for Nonlinear Optimization, R.De Leone, A.Murli, G.Toraldo, eds., Kluver Ac. Publ., 1998, pp. 1-23.

• S.Corsaro, L.D’Amore,A.Murli – On the parallel implementation of the Fast Wavelet Packet Transform on MIMD Distributed Memory Environments, Lecture Notes on Computer Science, 1557, Springer, 1998.

Page 52: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

52

Alcune pubblicazioni (3/4)

• L.Carracciuolo, L.D’Amore,A.Murli – Fast Wavelet Packet Transform based Algorithm for Image Restoration Problems in a Parallel Environment, Proc. of 43rd SPIE Annual Meeting, 1998.

• M. D'Apuzzo, M. Lapegna e A. Murli - Scalability and Load Balancing in Adaptive Algorithms for Multidimensional Integration - Parallel Computing, vol. 33, 1997, pp. 1199-1210.

• P. D'Ambra, D. di Serafino, G. Giunta, A. Riccio, Parallel Numerical Simulation of Reacting Flows in Air Quality Models, in "Parallel Computational Fluid Dynamics. Algorithms and Results Using Advanced Computers", P. Schiano, A. Ecer, J. Periaux, N. Satofuka eds., Elsevier, 1997, pp. 116-123.

• D. di Serafino, L. Maddalena, A. Murli, PINEAPL: A European Project to Develop a Parallel Numerical Library for Industrial Applications, in Euro-Par'97, Parallel Processing, C. Lengauer, M. Griebl and S. Gorlatch eds., Lecture Notes in Computer Science, vol. 1300, Springer, 1997, pp. 1333-1339.

• M. D’Apuzzo, L. Maddalena – A Parallel Algorithm for Parametric Cubic B_Spline Curves Interpolation, in Neural, Parallel and Scientific Computing, Dynamic Publ. Inc., 5, 1997, pp. 201-220.

• M. D’Apuzzo, L. Maddalena – Parallelization Strategies for B-Spline Curve Interpolation Problem, in Curves and Surfaces with Application in CAGD, A.Le Méhauté, C.Rabut, L.L.Schumaker, eds., Vanderbilt Univ. Press, 1997, pp. 1-8.

• D. di Serafino, A Parallel Implementation of a Multigrid Multiblock Euler Solver on Distributed Memory Machines, Parallel Computing, vol. 23, 1997, pp. 2095-2113.

• P. D’Ambra, G.Giunta , Concurrent Banded Cholesky Factorization on Workstation Networks Using PVM, Parallel Computing, 21, 3, 1995, pp.487-494.

• M. D'Apuzzo e M. Lapegna - A Parallel Row Projection Solver for Large Sparse Linear system - Proc. of Euromicro Workshop on Parallel and Distributed Processing, Valero e Gonzalez eds., IEEE Computer Society Press, 1995

Page 53: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

53

Alcune pubblicazioni (4/4)

• A. d'Alessio e M. Lapegna - A Scalable Parallel Algorithm for the Multidimensional Quadrature - Proceedings of VI SIAM Conference on Parallel Processing for Scientific Computing, Vol. II, Sincovec et al. eds., SIAM Press, 1993.

• D. di Serafino, A. Murli, F. Perla, Fast Poisson Solvers Algorithms based on Generalized Marching for Distributed Memory Multiprocessors, in Parallel and Distributed Computing in Engineering Systems, P. Borne and L. Grandinetti eds., Elsevier, 1992, pp. 297-302.

• D. di Serafino, A. Murli, F. Perla, A Fast Poisson Solver for Distributed Memory Multiprocessors, Concurrency: Practice & Experience, vol. 4, n. 7, 1992, pp. 499-508.

• D. di Serafino, A. Murli, F. Perla, Fast Poisson Solvers: an FFT-based Generalized Marching Algorithm on Distributed Memory Multiprocessors, in Parallel Computing: Problems, Methods and Applications, P. Messina and A. Murli eds., Elsevier, 1992, pp. 161-171.

• M. Lapegna - Global Adaptive Quadrature for the Approximate Computation of Multidimensional Integrals on Parallel Computers - Concurrency: Practice and Experiences, vol. 4, 1992, pp. 413-426.

• G.Giunta, G.Laccetti, A.Murli – Software Matematico e Nuove Architettrure, Rivista di Informatica, XXI, 2, 1991, pp. 129-144.

Page 54: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

54

Alcune pubblicazioni

• R. Montella, A. Riccio, Implementazione di una banca dati delle emissioni veicolari nella regione Campania, Ingegneria Ambientale, 2003.

• G. Barone, P. D'Ambra, D. di Serafino, G. Giunta, R. Montella, A. Murli, A. Riccio, An Operational Mesoscale Air Quality Model for the Campania Region, Annals of University Naval Institute, Special Issue on "Global and Regional Atmospheric Modelling", G. Barone, P. Builtjes, G. Giunta eds., 2000.

Page 55: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

55

• L. D'Amore, A. Formiconi, M.R. Guarracino, A. Murli, G. Oliva - A Grid application for medical imaging, SIMAI, 2002.

• M. Bertero, P. Bonetto, L. Carracciuolo, L. D'Amore, A. Formiconi, M. R. Guarracino, G. Laccetti, A. Murli and G. Oliva - MedIGrid: a Medical Imaging application for computational Grids – IEEE publication, IPDPS, 2003.

• P. Bonetto, G. Comis, A. R. Formiconi, M. R. Guarracino A new approach to brain imaging, based on an open and distributed environment - IEEE publication, EMBS Special Topic Conference on Neural Engineering, 2003.

• M. Bertero, P. Bonetto, L. Carracciuolo, L. D'Amore, A. Formiconi, M. R. Guarracino, G. Laccetti, A. Murli and G. Oliva – A Grid-Based RPC System for Medical Imaging - to appear, 2003

Alcune pubblicazioni

Page 56: Resp.: Almerico Murli Componenti TB: Giuliano Laccetti Alberto Machì Mario Rosario Guarracino Pisa, 27-28 maggio 2003 Progetto FIRB Grid.it Workshop di

56

• P.D’Ambra, M.Danelutto, D. di Serafino, M.Lapegna – Integrating MPI-based numerical software into an advanced parallel computing environment – Proc. of the 11th EUROMICRO Conf. on Parallel, Distributed and Netwok-based Processing, IEEE Publ., 2003, pp.283-291.

• P.D’Ambra, M.Danelutto,D.di Serafino, M.Lapegna – Advanced Environments for Parallel and Distributed Applications: a View of Current Status – Parallel Computing, 28, 2002, pp. 1637-1662.

• P.D’Ambra, D.di Serafino, M.Lapegna – Embedding Parallel Quadrature Software into a HPC Environment - in Parallel Numerics 02. Theory and Applications, R.Trobec et al. eds., 2002, pp. 15-27.

Alcune pubblicazioni