lego episode iii lego: simulations climatiques avec diet e.maisonnave, v.pichon
TRANSCRIPT
LEGO EPISODE III
LEGO: simulations climatiques avec DIET
E.Maisonnave, V.Pichon
LEGO EPISODE III
Gestion d'une simulation d'ensemblePerformancesValidationRestrictions
LEGO EPISODE III
DIET Lancer plusieurs simulations de climat en parallèle sur Grid'5000 Ordonnancer les différents services
Développements réalisés (ENS Lyon/Cerfacs) Implémentation du serveur Ecriture du client Interfaçage avec l'application (service)
Réalisation d'un ensemble de 12 simulations de climat (1800 mois)
LEGO EPISODE III
Simulation coupléeOcéan-Atmosphère
(main)n processeurs
PostprocessingConversions/Check(post)1 processeur
LEGO EPISODE III
Exemple d'ordonnancement standard avec 6 ressources:Le post-processing est fait en fin de tâche principale6-1=5 processeurs inutilisés durant le temps de postpro
mois n mois n+1 mois n+2
post n post n+1 post n+2
LEGO EPISODE III
Avec DIET, chaque mois et chaque post-processing est un client. DIET ordonne les services en fonction des ressources disponibles
mois n
mois n+1
post n
post n+1
Serveur DIET
LEGO EPISODE III
Demande de service pour la simulation du mois n du mois n +1 et les postprocessing n et n+1
mois n
mois n+1
post n
post n+1
Serveur DIET
LEGO EPISODE III
Test des ressourcesdisponibles
mois n
mois n+1
post n
post n+1
Serveur DIET
LEGO EPISODE III
Execution du mois n
mois n
mois n+1
post n
post n+1
Serveur DIET
LEGO EPISODE III
mois n+1
post n
post n+1
Serveur DIET
Puis du mois n+1
LEGO EPISODE III
post n
post n+1
Serveur DIET
Enfin des post-processingn et n+1
LEGO EPISODE III
Ordonnancement DIET: Le post processing est fait sur toutes les ressourcesPas ou peu de processeurs inutilisés
...mois n mois n+1 mois n+6
nn+1
n+6
LEGO EPISODE III
Possibilité de lancer un ensemble de simulations
...mois n
mois m
mois m+1
mois n+1
mois n+6
LEGO EPISODE III
Performances théoriques
gain CPU /elapsed = 6 heures à 10 jours (temps total simulation: 35 jours à 70 jours)
LEGO EPISODE III
Avancement des simulations
Lyon, Rennes: 2x2 simulations de contrôle de 150 ans(gaz à effet de serre constants)
Nancy, Lille, Sophia, Bordeaux: 4x2 simulations scénario A1B
1950 2100
LyonRennesNancyLille
SophiaBordeaux
LEGO EPISODE III
Le modèlene reproduitle réchauffementclimatiqueque lorsqueles concentrationsobservées dede gaz à effetde serrelui sontimposées
Validation
Réchauffement global (K)
LEGO EPISODE III
Restrictions
Impossibilité d'organiser l'ensemble des simulations de la grille avec un seul Master Agent DIET (simulation complète trop longue)
Pas de gestion des pannes par DIET (l'arrêt d'une simulation entraîne l'arrêt de toutes les autres)
Synchronisation obligatoire des simulations d'un même site en fin de job
Pas de possibilité d'ajout de ressources en cours de simulation(obligation de terminer avec des ressources réduites)
LEGO EPISODE III
Restrictions
Grid'5000: Problèmes de place disque, d'arrêts machine, de portage,de changement d'environnement en cours de simulation, de nondéploiement de l'environnement
Trouver le rapport optimal de services par ressources n'est pasaisé et différent d'un site à l'autre(problème de place disque en cas d'accumulation de postprocessing,impossibilité de faire tourner deux OpenMPI – pour deux simulations-sur un même noeud)