EXPÉRIENCE HNAS AVEC UN CLUSTER DE CALCUL

Dr Tru HUYNH

Responsable Informatique – DBSC/BIS

INSTITUT PASTEUR

RETOUR D’EXPÉRIENCE HNAS

SOLUTION POUR UN CLUSTER DE CALCUL DANS L’UNITÉ DE

BIO-INFORMATIQUE STRUCTURALE À L'INSTITUT PASTEUR

Institut Pasteur

‒ Son Identité, les chiffres, ses missions, …

Contexte et Acteurs du projet

‒ Environnement IT

Le Projet et l’Architecture

‒ Expression du besoin

‒ Gestion au quotidien

‒ Axes d’amélioration

Accompagnement par FPS

‒ Partenaire-Intégrateur de solutions HDS

INSTITUT PASTEUR

CARTE D’IDENTITÉ

Naissance le 14 novembre 1881

Souscription internationale à l’initiative

de Louis Pasteur

Au cœur d’un réseau international de

32 instituts sur les cinq continents

Vietnam: 1891

…

Laos:2012

STATUS ET MISSIONS DE L’INSTITUT PASTEUR

« Notre institut sera à la fois

un dispensaire pour le

traitement de la rage, un

centre de recherche pour les

maladies infectieuses et un

centre d’enseignement. »

Louis Pasteur

L’Institut Pasteur est une fondation

privée à but non lucratif, reconnue

d’utilité publique.

QUI SOMMES NOUS ?

5 Intervenant • Titre de la présentation jj/mm/aaaa

L’INSTITUT PASTEUR À PARIS

Un campus de 5,5 hectares

(Paris 15ème)

Environ 2400 collaborateurs

‒ 1 877 salariés (IP)

‒ 464 salariés d’organismes extérieurs

‒ 60 nationalités

‒ 63 stagiaires

Structure de financement

SANTÉ PUBLIQUE

15 Centres nationaux de référence (sur 47 en France)

A la fois des unités de recherche et des observatoires

microbiologiques pour la surveillance des maladies infectieuses

(grippe, salmonelles, méningites, papillomavirus, rage…) pour le

compte du Ministère de la Santé.

Centre médical

un centre de vaccinations internationales (80 600 actes)

un centre de consultations médicales spécialisées:

allergies, médecine tropicale, maladies du voyage…

(21 000 consultations)

un centre antirabique (2 129 consultations)

ENSEIGNEMENT ET FORMATION

500 élèves

plus de 60 nationalité

220 doctorants

L’Institut Pasteur a toujours été

précurseur dans l’enseignement de

nouvelles disciplines scientifiques.

1889 : premier cours de

« microbie technique » au

monde

2002 : analyse du génome

2003 : École Pasteurienne

d’Infectiologie

2007 : École de santé publique

Pasteur/CNAM

INSTITUT PASTEUR: LA RECHERCHE

10 prix Nobel

14 plates-formes technologiques

10 départements de recherche

(130 entités de recherche)

‒ département de Biologie cellulaire et infection

‒ département de Biologie du développement et cellules souches

‒ département de Biologie structurale et chimie

‒ département de Microbiologie

‒ département de Parasitologie et mycologie

‒ département de Virologie

‒ département Génomes et génétique

‒ département Immunologie et des responsables

‒ département Infection et épidémiologie

‒ département Neuroscience

DÉPARTEMENT DE BIOLOGIE STRUCTURALE ET CHIMIE

Comprendre

les détails atomiques des processus fondamentaux de la vie (p.e. transport moléculaire)

les mécanismes des maladies (hôte-pathogène, interactions, régulation et métabolisme, désordre génétiques, cancer,…)

l’organisation des machineries moléculaires

en relation avec le contexte cellulaire

Déduire

agents thérapeutiques: design et synthèse de vaccins

outils de diagnostique moléculaires

Michael Levitt, Prix Nobel chimie 2013:

“Molecules work because of their structure. And cells work because of where

things are placed inside. The only way to interfere is to first learn their three-

dimensional structure. If you wanted to change a city, but had no idea of where

the buildings are, you would have no idea where to start”

DÉPARTEMENT DE BIOLOGIE STRUCTURALE ET CHIMIE

En quelques chiffres

5 plateformes technologiques

8 unités de recherche

2 groupes «à 5 ans »

140 personnes (39 scientifiques permanents, 20 thésards, 22 post-docs, 26 ingénieurs, 3 CAT, 22 techniciens et 4 agents de laboratoire)

Particularité: une informatique dédiée et non centralisée/campus servie par des ressources (matérielles, humaines) internes au département/unités.

BISKIT http://biskit.pasteur.fr

ARIA http://aria.pasteur.fr

UNITÉ DE BIOINFORMATIQUE STRUCTURALE 1/2

Thèmes de recherche:

Comprendre les relations Structure-dynamique-fonction

des molécules biologiques

Développer des méthodes en bio informatique

structurale (détermination de structures, drug design)

UNITÉ DE BIOINFORMATIQUE STRUCTURALE 2/2

Chiffres:

7 chercheurs permanents

5 post docs, 4 thésards

1 ingénieur, 1 secrétaire et 1 CAT

Moyens informatiques

1 poste à temp plein (matériel/logiciel)

Cluster de calcul dédié: 600 cœurs

$HOME avec snapshots et réplication

QUI SUIS-JE

Ingénieur Chimiste ESPCI 1995

Docteur « Chimie informatique et Théorique » 2000

UPMC/ Financement CEA/Saclay.

Ingénieur système et réseaux depuis le début du labo

CentOS

Adepte du « Do It Yourself »

NAS linux XFS puis Solaris10 ZFS/ snapshots et

réplication 10s TO

Cluster de calcul: 600 coeurs

Limites du DIY -> comparaison HNAS et solutions

locales

LE PROJET BAYCELLS

BESOINS:

Démarrage en mars 2012

Cadre Infrastructure :

‒ NFSv3, liens 10GbE et Snapshot+Réplication quotidienne

‒ Disaster Recovery

‒ Cluster initial de 40 serveurs, 640 coeurs

Organisation spécifique

‒ 2 Système de Fichiers et 2 Politiques de performances

‒ Snapshot

‒ Evolutivité sur 1 client

‒ Performance verrouillage des fichiers/accès simultanés

LES CHOIX

DBSC - DÉPARTEMENT DE BIOLOGIE STRUCTURALE ET CHIMIE

Intégrateur FPS www.fps.fr

‒ Intégrateur spécialisé

‒ Partenaire Hitachi

Solution HNAS

‒ Mise en production en Juin 2013

‒ HNAS 3090-G2

‒ HUS 130 et HUS 110

Hitachi NAS

3080

Pa

rta

ge

PRESENTATION DE FPS FRANCE

ELEMENTS CLES DE PRESENTATION DE FPS FRANCE

Fondée en 1992

Intégrateur de solutions de stockage et de

sauvegarde depuis 1995

Une équipe de 27 personnes à forte connotation

technique

CA 2013 > 12 M€ (croissance continue depuis la

création)

0

2

4

6

8

10

12

14

93 94 95 96 97 98 99 00 01 02 03 04 05 06 07 08 09 10 11 12 13

ST CA M€

MONTPENSIER

Finance

Paris

PLUS de 250 références privées et publiques

PRESENTATION DE FPS FRANCE

DOMAINES DE COMPETENCES

FPS France est intégrateur de:

De solutions de stockage (NAS/SAN),

De virtualisation de stockage

D’infrastructure de production (serveurs/stockage/réseau)

De virtualisation de serveurs et postes de travail

De solutions de sauvegarde et d’archivage,

D’architecture de PRA /PCA / PCI

Les valeurs de FPS France:

Pertinence technologique (le meilleur

produit au bon moment)

Compétence technique ( expérience,

formation, passion) et moyens associés

Rigueur intellectuelle et respect des

engagements

UTILISATION AU QUOTIDIEN

BIS: UNITÉ DE BIOINFORMATIQUE STRUCTURALE

HNAS 3090-G2 (FC 4 Gbps) sur HUS130 (FC 8 Gbps)

‒ Volumétrie

‒ Quota

‒ Réplication

‒ Mode CLI - SSH

‒ Rapport

‒ Meilleures performances 1 client (Linux spew 200Go)

‒ RTR: 2 829 671.23 KiB/s. IOPS: 1381.68

‒ WTR: 2 279 577.32 KiB/s. IOPS: 1113.07

‒ Exemple autre information - fs_home

‒ Max file count: 6443098112

PERFORMANCES 1 CLIENT NFS/SPEW

spew -P -b 2m --write 200g /baycells/scratch/tru/2014-200g.spew

WTR: 1053282.10 KiB/s Transfer time: 00:03:19 IOPS: 514.30

spew -P -b 2m --read 200g /baycells/scratch/tru/2014-200g.spew

WTR: 322130.34 KiB/s Transfer time: 00:10:51 IOPS: 157.29

CLI: HNAS

ssh pour l'admin et clef ssh: pas de mot de passe à taper

EVSAdmin:$ help ssh-register-public-key Command: ssh-register-public-key

Description: Add SSH public key for user

User level: Supervisor

Needs: Admin Service

Native to:

Syntax: ssh-register-public-key [-u <user-name>] -f <file-name>

CLI: HNAS

EVSAdmin:$ df

ID Label Size Used Snapshots Avail FS Type

---- ---------- ------- ------------- ------------ ------------- --------------------

1024 fs_scratch 48.0 TB 23.8 TB (49%) 210 GB (0%) 24.3 TB (51%) 32 KB,WFS-2,128 DSBs

1025 fs_home 24.0 TB 788 GB (3%) 9.29 GB (0%) 23.2 TB (97%) 4 KB,WFS-2,128 DSBs

EVSAdmin:$ fs-user-quotas-visible

User quotas visible: On

EVSAdmin:$ snapshot-list --file-system fs_home

Date/Time Created Preserved Space Name

------------------------- ------- ---- ----------------------------------- ------

2014-01-09 20:30:01+01:00 By Rule 2.50 MB 2014-01-09_2030+0100.Horaire_home Usable

2014-01-09 19:30:00+01:00 By Rule 3.26 MB 2014-01-09_1930+0100.Horaire_home Usable

EVSAdmin:$ snapshot-create --file-system fs_home toto

EVSAdmin:$ snapshot-list --file-system fs_home toto Date/Time Created Preserved Space Name Status

------------------------- -------- -------------- ---- -------

2014-02-04 01:18:48+01:00 Manually 0B toto Usable

EVSAdmin:$ snapshot-delete --file-system fs_home toto

CLI: HNAS (CAS REEL)

To: tru@pasteur.fr

Subject:EVSAdmin,2013-12-30 22:53:28+01:00: Quota critical

…

Hardware version: NAS Platform (M2SEKW1243092)

MAC ID: 0B-DD-72-38-62-71

…

Quota critical threshold was reached. Usage=90

GB(limit=100 GB).

Volume : fs_home

Target : User: root

HNAS CLI: MODIFICATION DE QUOTA EN CLI 1/2

[tru@sillage ~]$ ssh hnas

Linux EVSAdmin 2.6.32-bpo.5-amd64 #1 SMP Mon May 2 11:40:03 UTC 2011 x86_64

Last login: Fri May 31 09:19:25 2013 from sillage.bis.pasteur.fr

HDS NAS OS Console

MAC ID : 0B-DD-72-38-62-71

EVSAdmin:$ evssel 1

EVSAdmin:$ quota get --user root fs_home

Usage : 97.6 GB

Limit : 100 GB (Hard)

…

Critical : 90% (90 GB)

HNAS CLI: MODIFICATION DE QUOTA EN CLI 2/2

EVSAdmin:$ quota mod --user root \

--usage-limit 0T fs_home

EVSAdmin:$ quota get --user root fs_home

…

Usage : 97.6 GB

Limit : Unset

…

Critical : 90% (90 GB)

…

CLI: HNAS

ssh pour l'admin et clef ssh

gestion facile/scriptables des quotas et snapshots

debian inside

pas grand chose à faire :D (mise à jour java?)

EVSAdmin:$ uptime

Uptime: 249 days 9 hours 42 minutes

CONCLUSION ET EVOLUTIONS

Demain

‒ Cluster FS

‒ File Tiering

‒ Plus de performance en lecture

‒ HNAS NFS Read Caching

‒ Metadata Tier File System

Axes d’améliorations

‒ Monitoring

‒ Hitachi Command Suite

‒ Statistique par Client

‒ Tuning Manager

‒ Réplication HUS

‒ …

Aujourd’hui: une solution qui fonctionne et que l'on oublie

[X] quota et NFS (+quota visible via df pour utilisateur)

[X] snapshots

[X] réplication

MERCI