hpc omp legos 01072013 gcambon

HPC@OMP

Gildas CambonSerena Illig

HPC@OMP

Gildas CambonSerena Illig

1

Modélisation océanique et atmosphérique

2

ECOLA Symphonie

(MPI &

OpenMP) &

SEQUOIA

1 DR,

1 CR,

1 Thésard

�Cluster-

POC-LA

�CALMIP

• Modélisation océanique dans le Golfe de

Gascogne et Assimilation

T-UGOm

(OpenMP)

1 DR,

1 Thésard,

1 Ingénieur

Cluster-

POC-LA

•Marée, surcôte, dyn. Estuarienne et couplage

houle-courant

ROMS_AGRIF

(MPI &

OpenMP)

3 DR,

2 CR,

2 Thésards,

1 Post-doc,

1 Ingénieur

CALMIP • Dynamique des upwellings de Bord Est

(Pérou-Chili)

• Dynamique de l’upwelling de Nha Trang en

Mer de Chine du Sud

• Méthode numérique code ROMS_AGRIF

WRF (MPI et

OpenMP)

IDRIS •Cordex Amérique latine

ROMS_AGRIF

/WRF/OASIS

CALMIP • Activité cyclonique dans le Pacifique Sud-

Ouest

• Couplage océan-atmosphère Pérou-Chili

DynBIO ROMS_AGRIF

(BioEBUS)

1 Prof., 1

Post-Doc, 1

Thésard

CALMIP •Couplage physique/biogéochimie (Upwellings

Pérou-Chili/Benguela )

Symphonie et SEQUOIA N. Ayoub, P. De Mey, P. Marsaleix, F. Lyard (LEGOS/POC)

3

Objectifs : circulation océanique côtière aux échelles de temps journalières àsaisonnières à partir de simulations numériques dans des configurations réalistes

Code : modèle de circulation SYMPHONIE (Marsaleix et al.); Fortran 90 , MPI etOpenMPVolet 1 : Etudes basées sur la modélisation stochastique avec génération d'ensemblede simulations :- Sensibilité de la circulation de surface aux incertitudes du forçage atmosphérique- Assimilation de données satellite de température et du niveau de la mer

�Erreurs en SST (°C) du modèle dues aux incertitudes sur le forçage en vent

Jusqu'à présent :Cluster POC/LA – Ensembles de 55 membres possibles

En cours :�Portage sur Hypérion pour tests sur des ensembles de ~ 100 membres�Les membres de l'ensemble doivent tourner simultanément (1 membre par cœur)�Besoins en RAM importants (5 cœurs par nœud utilisables sur le cluster du POC/LA)� Stockage nécessaire : actuellement disque dédié de ~20To pour l'ensemble des travaux monté sur le cluster du POC/LA

Symphonie N. Ayoub, P. De Mey, P. Marsaleix, F. Lyard (LEGOS/POC)

4

Volet 2 : Circulation sur le plateau et sur la pente, observabilité par les données altimétriques actuelles et futures (SWOT)

Configuration avec une grille polaire, centrée sur l'estuaire de la Gironde avec une résolution variable (250m - 1km)

�Premiers runs tests réalisés surHypérion�Code parallèle (MPI)

Ordre de grandeur des coûts de calcul :216h walltime sur 16 procs pour 1 mois de simulation, soit 3500 h CPU

T-UGOm : modèle océan 2D/3D; éléments finis, C / C++

5

Objectifs : modélisation réaliste et assimilation (SpEnOI) de la dynamique à hautefréquence de l’océan

Code : non-structuré (triangles et quadrangles), MPI et OpenMP, mode semi-impliciteet explicite, time-stepping et frequency-domain, sub-cycling

Applications: recherche, valorisation (Noveltis, CLS) et semi-opérationnel (CTOH,AVISO, mission gravimétrique GRACE)

FES2012, M2 tide hydrodynamic, comparison with altimetryDoF > 1 500 000 complex, double precision

Seine River estuary modeling, SWOT mission

Echelles de modélisation:• du global au proche littoral• résolution de (10 km) à O(10m)

T-UGOm : modèle océan 2D/3D; éléments finis, C / C++

6

Mode séquentiel (time-stepping):• Semi-implicite: adapté aux stations de travail, optimisation parallèle limitée• Explicite: adapté aux calculateurs massifs, optimisation parallèle excellente

Mode spectral (frequency-domain) :• Modélisation de la marée océanique, barotrope/barocline• Triangle et quadrangles (utilisable par MARS, Symphonie, ROMS, NEMO etc…)• Semi-implicite• Solveurs directs (UMFPACK, PASTIX,…) : adapté aux stations de travail,

optimisation parallèle limitée• Solveurs itératifs (GMRES, …) : adapté aux calculateurs, optimisation parallèle

excellente• 3D limité par la mémoire partagée (DoF 3D : DoF 2D x #Niveaux):

• Plateformes spécifiques?• Parallèlisation MPI

-ROMS_AGRIF (modèle océan ) : http://www.romsagrif.org (hébergé à l’OMP)

- WRF (modèle atmosphère, NCAR, USA) : http://www.wrf.org

7

Codes Fortran 90, parallélisés OpenMP et MPI

1. Méthode numérique pour les codes d'océan (ANR COM ODO) => ROMS_AGRIF

2. Dynamique océanique du système d'upwelling Pérou- Chili => ROMS_AGRIF

3.3.3.3. Atmospheric regional circulation over the oceanic region off Peru/Atmospheric regional circulation over the oceanic region off Peru/Atmospheric regional circulation over the oceanic region off Peru/Atmospheric regional circulation over the oceanic region off Peru/ChiliChiliChiliChili => => => => WRFWRFWRFWRF

4.4.4.4. CORDEX (a CORDEX (a CORDEX (a CORDEX (a COordinatedCOordinatedCOordinatedCOordinated Regional climate Downscaling Experiment) => Regional climate Downscaling Experiment) => Regional climate Downscaling Experiment) => Regional climate Downscaling Experiment) => WRFWRFWRFWRF

5. Couplage physique/ biogéochimie dans les upwellin gs de Bords-Est =>

ROMS_AGRIF (+ modèle BioEBUS)

6. Modélisation Mer de Chine => ROMS_AGRIF

7. Impact du couplage océan-atmosphère sur la dynami que de Humboldt =>

ROMS_AGRIF / WRF / coupleur OASIS-MCT

8. Etude du couplage air-mer dans les cyclones tropi caux => ROMS_AGRIF /

WRF et coupleur "custom"

Méthodes numériques (ANR COMODO; ROMS)

�COMODO : Communauté Française de modélisation

regroupée sur 7 tâches (OMP impliqué dans chacune des

tâches dont 5 PI )

�Améliorer les méthodes numériques dans les modèles d’océan

existants

�LEGOS impliqué sur plusieurs tâches

Méthodes numériques (ANR Comodo, ROMS)

9

Tâche 1 : Résolution effective Cas test : Jet Barocline

Améliorer la cascade directe de turbulence à sous méso-échelle

Bilan des spectres d'Energie Cinétique :

Identifier les caractéristiques de la turbulencedans les différents termes de l'équation dumoment (horizontale et verticale,advection/diffusion, schémas temporels etc.)

Set-up


Turbulence constamment forcée par un rappel à l'état initialDimension 2000 Km x 500 Km, profondeur 4000mConditions limites périodiques

Resolution (20, 10, 5, 2 et 1 Km) 30 niveaux sigma20km ->2500*30 points2Km->250000*30 points

Simulations (2 ans) faites sur hyperion

�Basse résolution (20, 10 et 5 km) :� 32 procs (~6h pour le 5Km).� Espace Disque<100Gb

�Haute résolution (2 Km et 1 Km à venir) ,

� 160 procs et plus.

� Espace Disque >400Gb� 2Km demande plus de soins

� parallel I/O� restart procedure, � decomposition de domaine particulière � …


Y. Soufflet, PostdocLEGOS

Dynamique océanique du système d'Upwelling Pérou-Chili (ROMS)

12

� Assessing the impact of downscaled winds on a regional ocean model simulation of the Humboldt system (Ocean Modelling, Cambon et al, 2013)

Mean geostrophic EKE (cm².s-²)

HPC: �Resolution : 1/6°�Jeu de 6 simulations de 8 ans 1992-2000 (+3 ans de spin-up)� 181x355x32 (vert.) = 2056160 cells� Parallelisation MPI sur 32 procs.� 11 ans de simulation : 85 Gbits(400 Mbits/month)� 4 minutes de calcul / mois simulé sur 32 procs soit 8.8 heures de calcul sur 32 procs par experience.


13

Alongshore averaged meridional current section during El Nino peak phase (Dec 97-Feb 98).

Chile <30 – 35 °S >

�Assessing the impact onoceanic circulation of thestatistical dowscaled schemeproposed by Goubanova et al,applied on the NCEP2 renalysiswind.

�Reduction of the the major biaisobserved in the oceanicresponse to NCEP2 wind forcingdue to unrealistic coastal dropoff and wind stress curl patternand also unrealistic intra andinterannual variability

� Its impact on the oceanicregional circulation is significanteither on both mean oceaniccirculation and the oceanicinterannual and intraseasonalvariability

First EOF of meridional flow intraseasonal anomalies (in cm.s-1)off Central Chile (alongshore-averaged between 30°S and 35°S


�Change in El Nino flavours over 1958–2008 : Implications for the long-termtrend of the upwelling off Peru (Deep Sea Research, Dewitte et al, 2012)

- Résolution: 1/12°- 64 procs MPI- 1958 -2008

- Forcing : NCEP2 withdowscalling stat & SODA 5j


�Intraseasonal SST variability off Peru in 2000-2008: local versus remoteforcings Submitted to J. Geophys. Res.-Oceans)

181x355x32 pts sur 32 proc (MPI)

Forçages : � OBC : SODA 5jours jours + � Winds: QuikSCAT�Heat Fluxes: ECMWF (bulk)

Bathy: GEBCO 08.

Outputs (2000-2008): Moyennes journalières + mixed layer budget

=> 300 Go pour 1 run


Obs.

Model


Forçage équatorial =23% de la variabilité

Intra-saisonnièredans le Pérou Central

On-going work: : : : sensitivity studies (phys. parameterizations, domain, resolution etc)

Objective: identify an appropriated WRF configuration for the coupled Objective: identify an appropriated WRF configuration for the coupled Objective: identify an appropriated WRF configuration for the coupled Objective: identify an appropriated WRF configuration for the coupled simulations simulations simulations simulations

HPC : HPC : HPC : HPC : ---- many 2many 2many 2many 2----months simulations (Septmonths simulations (Septmonths simulations (Septmonths simulations (Sept----Oct 2008) Oct 2008) Oct 2008) Oct 2008)

QuikSCAT WRF’-ROMS WRF’ WRF’’ WRF’’Nudg

example: testing the role of coupling / nudging /phys. parametrisation for 10m wind

Resolution : 30km, 199 x 93 x 35 vert.level

Running at CALMIP on 32 processors~ 9 h by test (2month simulation)~10 Gbit

Atmospheric regional circulation over the oceanic region off Atmospheric regional circulation over the oceanic region off Atmospheric regional circulation over the oceanic region off Atmospheric regional circulation over the oceanic region off Peru/Peru/Peru/Peru/ChiliChiliChiliChili

K. Goubanova, Postdoc LEGOS

-WCRP project aimed at improving coordination of international efforts in regional climate downscaling - Providing a quality-controlled data set of RCM-based information for the recent historical past

(ERA-Interim) and 21st century projections (CMIP5) over the majority of land regions on the globe

South America region (collaboration with the CORDEX-IP SL group)

Domain: 22.3°N-59.7°S, 114°W-16°W Resolution : 50 km (196 x 210 x 35 vert.level)Forcing: ERA-Interim (1989-2009)

CMIP5 (1980-2100) IDRIS• ERA-Interim 21-yrs simulation

-> done on Vargas - IBM computer cluster IBM Power6

- 60000h CPU (252 processors)- 20 Tbit

• CMIP5 (IPSLCM5) future projection long simulation

-> running on ADA – IBM Computer cluster Intel ES 4600

CORDEX (a COordinated Regional climate Downscaling Experiment)

K. Goubanova

Couplage physique/biogéochimie dans les upwellings de Bords-Est

(ROMS)

Etude de la productivité et des cycles de l'azote, d u carbone et de l'oxygène (Zone de Minimum d'Oxygène)

� ROMS_AGRIF + Modèle biogéochimique "BioEBUS" (Gutknecht et al, BG, 2013a, b) : 14 variables d'états biogéochimiques supp.

The Benguela upwelling System:Present versus Future (IPSL

forcing) (MEECE, FP7 project)

• Use of atmospheric statisticaldowscalling (Goubanova et al, 2011)

• Present scenario (1980-2000) LU20C2• Future scenario (2080-2089) A1B

• HPC: Large storage needed : 6->8 Tb by run …

1/12°

Zoom AGRIF

1/4°

Couplage physique/ biogéochimie dans les upwellings de Bords-Est

(ROMS)

SST (°C) Minimum O 2 (mmolO 2/m3) Integrated Primary Production (mgC/m 2/d)

Potential drivers over a warmer scenario:

Trade winds (1%), SST (+1.36°C), O2min: (-20-30 mmolO2/m3)

Potential impacts on the ecosystem of the Benguela:primary production: (∼ -148 mgC/m2/d), phytoplankton & zooplankton biomass

(~ -3 gC/m2 ) , acidification (∼ -0.24)Unexpected ecological niche with increasing net primary production and plankton

biomasses in the Northern Benguela and in a narrow band along the coast.

Modélisation Mer de Chine (ROMS)

Questions scientifiques:•Fonctionnement et la variabilité de la circulation en Mer de Chine Méridionale ?

•Evolution de la circulation face aux perturbations anthropiques et climatiques ?

•Etude des processus clefs (upwelling de Nha Trang)

•Influence sur les écosystèmes ?

Outils: ROMS_AGRIF•Simulations décennales au 1/12° (1999-2000),

•Taille domaine : 317 x 385 x 40, dt = 600 s

•Forçages :réanalyse atmosphérique CFSR ½°réanalyse océanonique ORCA025-G70 ¼°rivières (Mékong, Fleuve Rouge, Pearl River)

•A venir : couplage physique-biogéochimie.

SSS and surface currents on 10/08/1999

Modélisation Mer de Chine (ROMS)

23

Impact du couplage océan-atmosphère sur la dynamique de

Humboldt

24

2013 : �Implémentation du couplage synchrone ROMS_AGRIF/WRF via OASIS-MCT (Cerfacs) dans ROMS_AGRIF

� Portage sur hyperion/CALMIP

� Avril 2013 : Première simulation couplée ROMS/WRF/OASIS-

MCT

AirAirAirAir----sea interaction in the Perusea interaction in the Perusea interaction in the Perusea interaction in the Peru----Chile upwelling systemChile upwelling systemChile upwelling systemChile upwelling systemObjective: identify regional coupled modes and understand response of

the regional coupled system to the large-scale forcing

HPC plans: two 20HPC plans: two 20HPC plans: two 20HPC plans: two 20----yr simulations (yr simulations (yr simulations (yr simulations (climatologicalclimatologicalclimatologicalclimatological + + + + interannualinterannualinterannualinterannual) ) ) )

Impact du couplage océan-atmosphère sur la dynamique de

Humboldt

Domaine : Peru/Chile 40°S-12°N, 88°W-62°W Resolution : - WRF: 30km 199 x 93 x 35-ROMS: 1/12° 670 x 228 x 37

Forcing : NCEP_FNL /SODA (2000-2006)

64 proc (32/32 for WRF/ROMS)~ 5h (Walltime) for 1-monthsimulation

-> 2,5day for 1yr = 50 days for 20yr~ 5.5/6 Gbit for WRF/ROMS by month

-> 144Gbit for 1yr =2.88Tbits for 20yr

Domaine « Pérou/Chile » du modèle couplé

Cyclone Tropical :1200km de diamètre

3D

Rétroaction océan-atmosphère

Réponse océanique

3D

Etude du couplage air-mer dans les cyclones tropicaux

(thèse S. Jullien 2010-2013)

Simulation haute-résolution 3D avec nesting 105-35km sur le Pacifique Sud :

158*72*30 = 341 280 pts pour la grille 1 atm190*100*30 = 570 000 pts pour la grille 2 atm190*100*50 = 950 000 pts pour la grille océan

Simulation de 20 ans en mode couplé océan-atmosphère (fréq. de couplage : 3h) - 2 mois 1/2 de calcul sur 16 proc.- 8To de données en sortie

=> problème d'archivage- 2920 pas de temps x20 ans en sortie

x3


S. Jullien, Thèse LEGOS

Traces des 164 cyclones simulés en 20 dans dans la grille fine


Forte activité méso-échelle : de nombreux vortex simulés dont certains deviennent des cyclones.

Animation

Impact d'un cyclone sur la température de surface océanique


Initiative calcul avec des GPU :

Le problème inverse de l’altimétrie (F. Nino)

• Méthode par lancer des rayons• Initialisation

• Topographie = socle + végétation + eau

• Propriétés physiques de la région

• Itération jusqu’à convergence• Calcul du problème direct• Calcul divergence solution

obtenue avec données• Modification topographie

Initiative calcul avec des GPU :

Méthodes essayées

• CUDA v4

• Bien, mais trop bas niveau pour la maintenance d’un code

scientifique

• Cible mouvante (3.2 -> 4.0 -> 4.1 -> ..-> 5.5)

• PyCuda / PyOpenCL (python)

• Très intéressant, mais pas très stable à l’époque de test (2011)

• Effort unipersonnel Andreas Klöckner, postdoc NYU

• Thrust: équivalent de STL pour C++

• thrust::device_vector<int> X(10);

• // initialize X to 0,1,2,3, ....

• thrust::sequence(X.begin(), X.end()); pour C++

• OptiX – Librairie nvidia pour lancer des rayons – bon compromis

32

Merci

hpc omp legos 01072013 gcambon

Documents