documentation arpège-climat + environnement informatique

Documentation Arpège-climat

+ Environnement informatique

A.Braun

Cours Arpège-Climat 16-17 septembre 2008

Plan

Site web– (1) Mode d’emploi Arpège-climat– (2) Documentation algorithmique– (3) Documentation informatique– (4) Validation climatique

Environnement informatique Météo-France– Pour nouvel arrivant => qq règles de bonne conduite– Présentation de tori

• + Mtool• + Relance automatique

– Présentation de cougar– Présentation de sxclimat

Site Web : Page d’accueil

Site Web : Généralités

Site web internet Arpège-climat créé sous la page GMGEC– http://www.cnrm.meteo.fr/gmgec/

+ suivre Modéles Numériques + ARPEGE-ClimatMême division de la doc en 4 parties que les docs précédentes mais sans support papier + des docs auxi

Public concerné : en interne et usagers externes Site en anglais Site re-créé pour chaque nouvelle version du modèle (5.2, etc.)

http://www.cnrm.meteo.fr/gmgec/









(1) Mode d’emploi du modèle

2 versions : html / pdf téléchargeable (pdf : configurer son navigateur pour consultation directe)

Version html du mode d’emploi– Organisation par chapitres, avec tables des matières cliquables– Liens entre chapitres et notes de bas de page conservés

+ quelques docs associées– Formulaires (pour extérieurs) (fr sauf 1 fr / en)

– Outil d’interpolation

– Mtool (fr)– Nec (fr + en mais old)– Full pos (25t1) (en)– Relance automatique (à ajouter)

(1) - Formulaires pour les extérieurs

Formulaires sur le site ftp anonyme de la DSI: – ftp://thebe1/PUB/Securite/Formulaires

(1) Demande d’autorisation de connexion– Notion de correspondant informatique– Ident de la personne extérieure + 1 machine d’accès– Validité pour 1 an maxi (à renouveler spontanément)– Signature d’un chef de service + tampon– Envoi du document par fax et lettre au correspondant informatique– Attention au délai d’autorisation (2 semaines / 1 mois)

Rmq. (1x) Un formulaire auxi accompagne ce formulaire pour validation (nature du travail, équipe de rattachement, etc.), signé scvh

(2) Engagement d’utilisation des ressources informatiques de MF (3) + Un formulaire spécifique (CNRM) d’utilisation du code Arpège-

climat

(2) Documentation algorithmique

Document disponible uniquement en pdf, pour le document entier ou par chapitres

Deux jeux de documentations annexes sont fournis :– Physique pronostique (Pascal Marquet)

• Shallow convection• Precipitation

• Deep convection• Clouds and turbulence• Radiation

(2) Documentation algorithmique (suite 1)

– Documents additionnels (Karim Yessad)• Basics about ARPEGE/IFS, ALADIN and AROME in the cycle 32 of ARPEGE/IFS• Integration of the model equations, and eulerian dynamics, in the cycle 32 of ARPEGE/IFS• Spectral transforms in the cycle 32 of ARPEGE/IFS• Semi-lagrangian computations in the cycle 32 of ARPEGE/IFS• Semi-implicit spectral computations and predictor-corrector schemes in the cycle 32 of ARPEGE/IFS• Horizontal diffusion computations in the cycle 32 of ARPEGE/IFS• Full-pos in the cycle 32 of ARPEGE/IFS• CFU (cumulated fluxes) and XFU (instantaneous fluxes) in the cycle 32 of ARPEGE/IFS• Distributed memory features in the cycle 32 of ARPEGE/IFS• IO in the cycle 32 of ARPEGE/IFS• User's guide to add new GFL variables or new GFL attributes in ARPEGE/IFS, ALADIN, AROME:

cycle 32• User's guide to add new surface variables or new surface attributes in ARPEGE/IFS, ALADIN,

AROME: cycle 32• Configuration 801 in the cycle 32 of ARPEGE/IFS• Organigramme of configuration 923 in the cycle 32 of ARPEGE/IFS• Sphere to sphere transforms in spectral space in the cycle 32 of ARPEGE/IFS: configurations 911

and 912, trageo• Trajectory management in the cycle 32 of ARPEGE/IFS• Minimizations in the cycle 32 of ARPEGE/IFS• Digital filtering initialisation in the cycle 32 of ARPEGE/IFS

(3) Documentation informatique

La partie la plus nouvelle de la doc. Uniquement en html. Consultation du code source du modèle offerte, à partir de trois

entrées– Un arbre dynamique des appels (noms cliquables)– Un dictionnaire des noms de subroutines (et .h)– Un moteur de recherches dans le code

Les outils offerts ont de petites limitations mais sont faciles de mise en œuvre– L’ordre des appels de s/p dans l’arbre n’est pas garanti (usage de Dr

Hook). Voir le source en cas de doute.– Le générateur de pages html (for2html modifié) est un petit outil qui ne

reconnaît pas la structure fortran en tant que telle. (Des liens parasites ont été détectés.)

– Le moteur de recherches est un simple script perl. (Délai d’affichage du résultat car 3900 fichiers consultés.)

(3) Documentation informatique (suite 1)

Conseils de navigation : Arbre

– recherche d’un s/p particulier, sous firefox, par CTRL-F nom, puis CTRL-G pour aller au nom suivant. (/ peut remplacer CTRL-F)

– Clic sur un nom (nom non terminé par ‘-’) => accès au code dans une fenêtre annexe. L’arbre reste affiché.

– Cliquer sur le – de MASTER pour réduire toute l’arborescence.– Réafficher la page pour repartir d’un arbre complètement développé.

Code source– Distinguer les zones commentaires en couleur– Des liens sont offerts vers les s/p présents seulement– Voir la partie ‘Caller list of …’ en bas de page. Les renvois vont vers les

lignes citées.– Les liens suivis s’affichent dans la page courante avec clic-G. Avec clic-

M, un nouvel onglet (ou fenêtre) est ouvert.

(4)Validation climatique

Climatologie du modèle vs observations, sur une base saisonnière DJF / MAM /JJA /SON + des moyennes globales, pour la période 1979-2001

3 clims présentes en pdf (18 Mo chaque)– Run standard

• aussi détaillé en html via une table des pages

– Run physique pronostique– Run couplé

Documentation

Petit parcours de la documentation en ligne !

Environnement informatique

Préambule– Pour accompagner le mode d’emploi d’Arpège-climat– Point de vue de l’utilisateur– Photographie– Connaissances unix supposées + fortran (f90)– Attention aux ressources utilisées (temps UC, espace de stockage, etc.)

interférence avec l’opérationnel / les quotas du groupe– Particularités pour les extérieurs

Interlocuteurs– CNRM/GMGEC/EAC (Eric Brun/Serge Planton/Michel Déqué)– CNRM/SC/CTI (/D Serge Legouis)– DT/DSI/CC (en particulier Marion Pithon/Serge Stamatiou/Hervé Le Bras)– [email protected]

Divers– Assistance EAC ponctuelle. Pour des interventions importantes sur le code ou

les scripts, demander un avis.

Environnement informatique – Les machines

CNRM– sxclimat : serveur linux géré par EAC

• Voir docs + exemples de scripts, etc./eac9/deque/V5.1/ documentation/ + postprocessing/ +preprocessing/

• Machine de base pour les extérieurs

DSI– tori : supercalculateur vectoriel

• Voir exemples de scripts, bibliothèques, etc./cnrm/gc/mrga/mrga561/ namelist/ + V5.1/ + restart/ + bcond/ + compil/*/

– cougar : machine de stockage (accès ftp)– parme : garde-barrière pour les extérieurs

Les machines : tori (1)

Supercalculateur tori– 16 nœuds vectoriels SX-6R (1 nœud = 8 proc)

• Réservés au calcul (accès ftp interdits)

– Frontale scalaire TX7 (linux)• Interactif (assez bonnes conditions)• Soumission de travaux• Transferts de fichiers avec cougar / autres machines

– File-systems• HOMEDIR (perm, 6 To) + WORKDIR (s/perm, 4 To)• TMPDIR (temp, 9 To), FTDIR (temp, 9,5 To), TMP_LOC (temp)

– NQSII• qsub [options] myjob …. Voir MTOOL• man qsub pour les options• Exemple :• qsub -q vector -b 2 –l cputim_job=1200,cpunum_job=4,• elapstim_req=600,memsz_job=12gb -j o ./myjob• Autres commandes :• qstat, qdel, qcat• ja, uacct (comptablité du job, de l’account ou du groupe)


Classes– Sur Tx : ft, compile, nocpu– Sur SX: vector vers les autres queues selon les resources demandées

• 1proc, mono, express, multi, test

MTOOL (outil GMAP)– Résout le problème du multistep dans un même job

• 1. ftget + qsub –q vector• 2. Calculs + qsub –q ft• 3. Ftput + Ajout d’un qsub –q ft• 4. Réunion des 3 listings en 1.

– Préalables• Créer $HOME/tmp• Dans $HOME/.profile

– export PWD=$(pwd)– export MTOOL_ROOT=~mrpm631/public/mtool– PATH=…:$MTOOL_ROOT:…– export PATH

– Script lancé• Ajouter des directives #MTOOL … voir exemples + doc GMAP• Lancement par mtool_filter.pl my_job• Retour du listing dans répertoire courant

via /utmp/ftdir/mrga562/mtool/submit/mstep_000n/*ce répertoire à consulter si abort sur erreur intermédiaire


Accès à cougar (ftpserv)– ftserv : ftmotpasse, ftget, ftput

• Mémorisation du pw dans ~/.ftuas :ftmotpasse –u user-cougar –h cougar-tori

• ftget remote1 [local1] (piège du défaut)ftput local1 [remote1]

• Ou

• Code retour existe => abort si fic inexistant• Pour 1 ftput/ftget : appel de tous les fichiers en //• Ne pas demander plus d’une quarantaine de fichiers (sur bandes) par job en principe

• Pas de commande ftp cougar protégée pour accès ftp classique, depuis tori => créer des répertoires par session ftp classique.

• Attente infinie des ftget lorsque cougar n’est pas visible. TB• Régulation par la DSI des flux in/out par canaux dédiés (Priorité à l’opérationnel)

ftput <<EOF

local1 [remote1]

…

EOF

ftget <<EOF

remote1 [local1]

…

EOF


Relance automatique– Pour intégration longue nécessitant un découpage en runs élémentaires (notion

d’expérience)– Préalables :

• PATH=…:~mrga562/relances/procs/procs.v2.2c dans ~/.profile• Créer un fichier histoire (+répertoire) : ~/relances/expid/expid_his

– Contient des options d’exécution– Et des lignes d’info sur les exécutions déjà réalisées

Lignes préfixées par un code en 4 caractères :MSGEEXPE commentairesMNMO mnémoniqueNBPA nb-de-passagesPACT numéro-du-passage-courantPAFC numéro-du-passage-fini-courantPROO script-a-executerVARI ND_NPASS=2INFAINFD

• Attention à limiter l’édition du fichier histoire (ne pas interférer avec l’exécution)

Les machines : tori (5) Relance automatique (suite)

– Script de lancement particularisé (_auto dans les exemples de Michel)• Pré-processing réalisé de [] et quelques variables $qqch disponibles• En principe crée un fichier $JOB et le soumet par mtool_filter.pl $JOB• Doit contenir set –e• Finir par lrelan [MNEMO] [NPASS]• Penser à nettoyer les listings intermédiaires

– Lancement par :• relan expid• Si question « JOB retour cray non recu (en cours de renvoi ?????) »

Répondre O/o => relance courante à refaire, autre : pas d’action.

– Exemple minimum de script, sans MTOOL• JOB=$WORK/[MNEMO]R[NPASS]• cat >> $JOB <<EOF• #PBS -N [MNEMO]R[NPASS] # Nom de la requête NQSII• #PBS -q ft # classe NQS• #PBS -l cputim_job=00:16:00 # Temps cpu maximum• #PBS -l memsz_job=500mb # Taille mémoire max par noeud• #PBS -l elapstim_req=00:10:00 # temps elapsed (= temps réel)• #PBS -j o # stdout et stderr sur le même• # fichier de nom NOM_DU_JOB.nqsout• NPASS=[NPASS]• … travail en utilisant $NPASS --• lrelan [MNEMO] [NPASS]'• EOF• qsub $JOB


Relance automatique : petits bonus (suite)– Fonctions (pour ksh)

• cdr $expid : cd vers un répertoire de relances• cdrl : cd vers le répertoire de relance le plus récent• cdml : cd vers le répertoire MTOOL le plus récent• Dans le .profile :

export FPATH=…:~mrga562/relances/procs/procs.v2.2c:…

– Commandes• lrel : liste des relances triées par date• cal_durmoy : calcul de la durée moyenne des passages d’une expé• hisr $expid : nettoyage du fichier histoire des lignes INFA/INFD + RAZ de

PACT et PAFC


Divers– Docs :

• Guide de l’utilisateur NEC de la DSI (téléchargeable sur notre site) • guides en ligne de la société NEC (via /intradsi/ + SC/CC +docs)

– Mot de passe : à changer toutes les 12 semaines– Maintenance tori en principe les mardis (annoncée)– Les HOMEDIR sont sauvegardés par tina chaque jour (voir restaur)– Interactif tori-tx :

• ksh par défaut en interactif• Ajouter :set mouse=a dans ~/.vimrc, pour usage de la souris sous vim• Ajouter [ $(tty) ] && eval resize dans ~/.profile si fenêtre retaillée (ré-

exécuter le .profile si nécessaire : . ~/.profile)


Script de lancement du modèle, avec relance auto– tori:/cnrm/gc/mrga/mrga561/V5.1/mccV5.1.tl63l31r_auto

Les machines : cougar (1)

Machine de stockage– Attention aux quotas des équipes / groupes

• Taille des fichiers : qq Mo à < 500 Mo

– Accès telnet par jeu_reduit :• Changement de mot de passe (pas de limite de durée de validité)• Localisation de fichiers / éléments de comptabilité /…• aide ou help => liste des commandes• Terminer par quit• Beaucoup de commandes sont sans arguments et demande d’options en

interactif

– Accès ftp (cas le plus général) :• Commandes ftp classiques• dir –ltr => liste triée par dates, les dernières à la fin• dir " " "| grep xx" <=> dir *xx* sur un très gros répertoire • Se rappeler des limitations du nombre de ftget simultanés (sur bande)

Les machines : cougar (2)

Particularités :– Notion de cache-disque :

• ftput : le fichier arrive dans un (énorme) cache-disque, avant d’être migré sur bande

• ftget : si le fichier est en cache, le get est immédiat, sinon attente +- longue à prévoir pour la migration bande=> disque

• La rétention des fichiers est assez longue pour les petits fichiers. Elle dépend du renouvellement des fichiers.

• Le CNRM a des cache-disque dédiés : les ftput de gros fichiers pénalisent les collègues directs.

• Possibilité de forcer la migration bande=>disque, en telnet (jeu_reduit) d’un groupe de fichiers :

– cd repert– dmget *xx*