ue bases de donnees oceanographiques

Co

urs

UB

O 2

00

8

UE BASES DE DONNEES OCEANOGRAPHIQUES

V. Tosello (IDM/SISMER)

http://www.ifremer.fr/[email protected]

Introduction à la gestion de données océanographiques

Co

urs

UB

O 2

00

8

OBJECTIFS DE L’UE

Cours 1 : V. Tosello Connaissances générales en gestion de données pour faciliter la recherche et l’utilisation des données

Cours 2 : M. FichautLes bases de données d’océanographie physique Ifremer

Cours 3 : V. Tosello + M. FichautLes bases de données de géologie et géophysique IfremerL’accès aux données par le portail Web Nautilus du SISMER

Cours 4 : Visite de l’IFREMER

Cours 5 : G. Maudire + M-C. FabriLes bases de données d’environnement IfremerLes Systèmes d’Information GéographiqueLa gestion de données en biodiversité marine

Co

urs

UB

O 2

00

8 SISMER (Systèmes d’Informations Scientifiques pour la MER)

Désigné Centre National de Données Océanographiques par le programme international d’échange d’informations et de données océanographiques (IODE) de la Commission Océanographique Intergouvernementale de l’UNESCO.

Missions: Développer et exploiter des systèmes d’informations et des bases de données marinesEtablir des normes de qualité à respecter pour l’archivage et la gestion des données marinesMaintenir un inventaire des données marines en France, leurs responsables et leurs conditions d’accèsReprésenter l’IFREMER au sein des organisations nationales et internationales impliquées dans la gestion de données marines

Collaboration avec le service d’ingénierie informatique de l’IFREMER

Co

urs

UB

O 2

00

8

Activités:Opérer la banque nationale océanographique Mettre à disposition de la communauté les produits de données d’intérêt général publiés par divers organismesParticiper aux structures de gestion de données des programmes de l’IFREMER qui incluent plusieurs projets nationaux et internationaux

Thématiques:Information et cataloguesGéophysique et Géologie MarinePhysique et bio-chimie marineDonnées temps réel de l’océanographie opérationnelleDonnées de référence géographiques

SISMER (Systèmes d’Informations Scientifiques pour la MER)

Co

urs

UB

O 2

00

8 SISMER (Systèmes d’Informations Scientifiques pour la MER)

http://www.ifremer.fr/sismer

Co

urs

UB

O 2

00

8

ATTENTES DE LA SOCIETE

Surveillance, usage et gestion de la zone côtièresanté publique : qualité des eauxenvironnement : qualité des biotopes côtiers

Surveillance et exploitation des ressources aquacoles Exploitation durable des ressources halieutiquesExploration et exploitation des fonds océaniques Étude de la variabilité climatique : Océanographie Opérationnelle

Co

urs

UB

O 2

00

8

Besoin:Demande croissante de données de tout type, cohérentes, validées, normalisées, intégrées, accessibles sans délai

Enjeu: assurer la sécurité, la qualité et l’accessibilité des données

Éviter la perte ou l’altération des donnéesAssurer une certaine cohérence et comptabilité aux jeux de donnéesAvoir un accès facile aux données de différentes sourcesPréparer des jeux de données intégrées et des produits de synthèse

BESOINS ET ENJEUX

Co

urs

UB

O 2

00

8

DEFINITIONS

Co

urs

UB

O 2

00

8

DONNEE OCEANOGRAPHIQUE

Mesure ou description d’un échantillon ou d’un phénomène prélevé ou observé dans le milieu marin :

colonne d’eau : physique, chimiefond de la mer et de son sous-sol : géophysique, géologiemonde vivant : biologie

localisée dans l’espace (position géographique X,Y, Z) et, le cas échéant, dans le temps (T)

Co

urs

UB

O 2

00

8

METADONNEES

« Données décrivant des données »Il s’agit de toute l’information permettant de décrire les caractéristiques d’un jeu de données à l’exclusion du contenu même de ces données:

Informations d’identification (intitulé, description, généalogie…)Informations techniques (codification, qualité, mode de production, période de validité, emprise géographique)Informations administratives (conditions d’accès et de diffusion)Informations complémentaires (point de contact…)

Co

urs

UB

O 2

00

8

Revient à se poser les questions suivantes sur les données:

QUOI ? OU? QUAND?QUI?COMMENT?

METADONNEES

Co

urs

UB

O 2

00

8

METADONNEES

Intérêts:

Fournir à l’utilisateur du jeu de données toute l’information utile à son bon usage.Garder la mémoire des informations utiles sur les données, à des fins d’utilisation ultérieure.Aider à la recherche de données

Co

urs

UB

O 2

00

8

QUELQUELS METADONNEES INDISPENSABLES

Co

urs

UB

O 2

00

8

SYSTEMES DE COORDONNEES

Définition: Il s’agit d’un référentiel dans lequel on peut représenter des éléments dans l’espace. Il permet de se positionner sur l’ensemble du globe terrestre grâce à des coordonnées.

• ANGULAIRES (coordonnées géographiques)Latitude, Longitude / repère géodésique

• METRIQUES (coordonnées projetées ou planes)X,Y (projection)Ex: Projections Lambert, Mercator, etc…

Co

urs

UB

O 2

00

8

Représentation de la forme de la Terre: Sphère: trop impréciseGéoïde: trop complexeEllipsoïde: la plus adaptée

SYSTEMES GEODESIQUES

Sphère Géoïde Ellipsoïde

Co

urs

UB

O 2

00

8


Un système géodésique peut être défini par:

Un centre et trois axes orthonormés Ox, Oy, Oz définis par leur orientation. Ox et Oy se trouvent dans le plan équatorial terrestre et Oz est orienté suivant l’axe de rotation terrestre.

-> Coordonnées cartésiennes: X, Y, Z

Un ellipsoïde de révolution choisi de manière à approcher au mieux le géoïde (centre, demi-grand axe, aplatissement).

-> Coordonnées géographiques: latitude, longitude

Co

urs

UB

O 2

00

8


Systèmes locaux – France MétropolitaineNTF (Nouvelle Triangulation de la France)

Cartes IGNTopographie et hydrographie

Système Européen Compensé 1950 (ED50)Cartes marines SHOM

RGF (Réseau Géodésique Français) équivalent au WGS84

Systèmes mondiauxWGS (World Geodetic System)

« 1984 » Global Positioning System (GPS)

Co

urs

UB

O 2

00

8

Parallèles et MéridiensUn méridien est un cercle imaginaire tracé sur le globe terrestre passant par les pôles.Un parallèle est un cercle imaginaire tracé sur le globe terrestre parallèle à l’équateur et perpendiculaire aux méridiens.

SYSTEMES DE COORDONNEES GEOGRAPHIQUES

Co

urs

UB

O 2

00

8

Latitude: valeur angulaire exprimant le positionnement nord-sud d’un point sur la Terre par rapport au plan équatorial. Mesurée le long du méridien de la verticale du lieu au plan équatorial.

Positive vers le Nord, Négative vers le Sud.Valeur entre -90° et +90°.

Longitude: valeur angulaire exprimant le positionnement est-ouest d’un point sur la Terre par rapport à un méridien origine. Mesurée le long d’un parallèle, de la verticale du lieu au plan méridien d’origine.

Positive vers l’est, négative vers l’ouest.Valeur entre -180° et 180°.

SYSTEMES DE COORDONNEES GEOGRAPHIQUES

Co

urs

UB

O 2

00

8


Systèmes géodésiques et ellipsoïdes associés

Exemple: coordonnées d’un même point dans différents référentiels géodésiques

Système géodésique Ellipsoïde associée

NTF Clarke 1880 IGN

ED50 Hayford 1909

WGS84 IAG GRS 1980

Système géodésique Longitude Latitude

NTF Greenwich 7° 44’ 14’’ 48°36’ 00’’

ED50 Greenwich 7° 44’ 16.4’’ 48° 36’ 03’’

WGS84 Greenwich 7° 44’ 12.2’’ 48° 35’ 59’’

Co

urs

UB

O 2

00

8

Différents types de projectionProjection cylindrique (ex: Mercator)

Projection conique (ex: Lambert)

Projection azimutale

SYSTEMES DE COORDONNEES PROJETEES

Co

urs

UB

O 2

00

8NIVEAUX DE REFERENCE VERTICALEIl existe de nombreuses références Zéro IGN Zéro hydrographique (niveau des plus basses mers) Altitude (hauteur par rapport au géoïde) Hauteur ellipsoïdale (hauteur par rapport à l’ellipsoïde)

Zéro Hydro

Co

urs

UB

O 2

00

8COORDONNEE TEMPORELLE

Le Temps Universel (TU) est une mesure du temps basée sur la rotation de la Terre. Peut être défini (avec quelques imprécisions) comme le temps Local de Greenwich, UK, au meridien zéro.

Le Temps Local est déterminée à partir du TU et est fonction de la localisation.

France : hiver TU + 1, été TU + 2

Le Temps Universel Coordonnée (UTC) est l’échelle de temps adoptée comme base du temps civil international. C’est la référence employée sur les navires Ifremer/Genavir.

Co

urs

UB

O 2

00

8

BASES DE DONNEES

Une base de données est un ensemble structuré et organisé permettant le stockage de grandes quantités d’informations afin d’en faciliter l’exploitation (ajout, mise à jour, recherche). Une BD se traduit physiquement par un ensemble de fichiers sur disque.

La gestion et l’accès à une base de données sont assurés par une ensemble de programme qui constituent le système de gestion de base de données.

Ex: Oracle, Microsoft Access, MySQL, SQL Server, etc.

Co

urs

UB

O 2

00

8

BASES DE DONNEES

Base de données hiérarchique: base de données dont les enregistrements sont stockés dans une structure arborescence où chaque enregistrement n’a qu’un seul possesseur. (obsolète)

Base de données relationnelle : base de données dont les données sont stockées dans des tables que l’on peut mettre en relation.

Bases de données spécifiques:Base de données géographiques

Co

urs

UB

O 2

00

8

Interrogation et manipulation d’une base de données :

langage informatiqueEx: SQL Structured Query Language

Select nom from client where entreprise=‘IFREMER’;

interfaces Ex: Microsoft Access, ArcMap (SIG)

BASES DE DONNEES

Co

urs

UB

O 2

00

8

SYSTEME D’INFORMATIONS

Ensemble des éléments/moyens (organisations, acteurs, procédures, systèmes informatiques) participant à la gestion, au stockage, au traitement, au transport et à la diffusion de l’information. Le système reçoit et centralise des informations provenant de différentes sources. Il les traite, les transforme, les stocke, les redistribue en fonction des besoins des utilisateurs.

Co

urs

UB

O 2

00

8

DE L’ACQUISITION A L’EXPLOITATION

Temps Réel

T. Différé

Co

urs

UB

O 2

00

8

CONTRÔLE QUALITE

Co

urs

UB

O 2

00

8

CONTRÔLE QUALITE

ObjectifsDocumenter les données et formats pour qu’ils soient utilisablesTrouver d’éventuelles anomalies bloquant les traitements ultérieursRendre les données de différentes sources cohérentes et comparables

MéthodologieContrôles qualité automatiques et visuels assistés par des systèmes experts: métadonnées et données

RésultatUn indicateur de qualité (‘flag’) est attaché à chaque valeur numérique

En cas d’anomalieLe fournisseur de données est contacté pour correction ou intervention sur les capteurs éventuelles ou élimination de la donnée

Co

urs

UB

O 2

00

8

CONTRÔLE QUALITE

Étapes du contrôle qualité:Contrôles automatiques

Bornes de valeurs (valeur impossible)Statistiques (valeur improbable)

– Danger d’exclure un phénomène inattendu Recherche de doublons

Contrôles manuels: ExpertsApport ‘humain’ (connaissance du sujet)Impliquent souvent la création de graphiques

Utilisations de flagsIl ne faut jamais effacer une donnée, il se peut que ce soit notre interprétation de la réalité qui soit fausse…

Complétude des données, cohérence des données, détection des erreurs et des biais, vérification des références spatiales et temporelles

Co

urs

UB

O 2

00

8

TRAITEMENTS

Co

urs

UB

O 2

00

8

NIVEAUX DE TRAITEMENT

Niveau instrumental, niveau physique

Ce sont en général les niveaux de production des « données brutes », en sortie des systèmes d’acquisition

mesure instrumentale (niveau < 1) mesure physique (niveau < 2)

Ex : mesure de la profondeur1/ Temps de propagation A/Rd’une onde émise par un sondeur et qui se réfléchit sur le fond 2/ Hauteur d’eau H = V x T/2 V = vitesse du son dans l’eau

H

Co

urs

UB

O 2

00

8


Niveau « géophysique » (>=2)

La mesure physique est corrigée des variations :liées à la plateforme de mesure et à ses mouvements (pilonnement du bateau par exemple : dH1)liées au milieu naturel (la marée par ex. : dH2)

H = V x T/2

Profondeur = H – dH1

Sonde = Profondeur – dH2Sonde

0 mdH2 Profondeur

dH1

Co

urs

UB

O 2

00

8


Niveau « produit » (>=3) Données interprétées : modèle maillé , cartes, isolignes …

2720

Sélection des sondes SX,Y

Affectation des sondes aux nœuds (i,j) du modèle

SX,Y

2775

2756

2750

2734

2745

2730

2745

2725

2767

Si,j

Si,j = f (SX,Y)

Ex :Modèle numérique de terrain (MNT)

Co

urs

UB

O 2

00

8


Niveau « produit »

2750 m

Isobathes

Co

urs

UB

O 2

00

8

STOCKAGE DES DONNEES

Co

urs

UB

O 2

00

8

STOCKAGE DES DONNEES

Une fois que les données ont été qualifiées et traitées elles vont enfin pouvoir être archivées.

Différentes méthodes en fonction du volume des données et du type des données:

Archivage dans une base de données Archivage sous forme de fichiers sur disque

Dans ce cas, les méta-données sont archivées dans une base de données

– Notamment le nom et l’adresse des fichiers– La description des données archivées

• Date, heure, position, responsable, campagne de collecte …..

Co

urs

UB

O 2

00

8

SUPPORTS INFORMATIQUES

Co

urs

UB

O 2

00

8Quelques exemples de tailles de fichiers

Un livre de poche

100 caractères/ligne * 100 lignes * 200 pages= environ 2Mo

une photo numérique (non compressée TIFF) 6 millions de pixels = environ 18Mo

une photo numérique (compressée JPEG) 6 millions de pixels = environ 200 Ko

Campagne SISMANTILLES sur l’ATALANTE en 2007 (durée 1 mois):

200 Mo de données d’ADCP (courantomètres)500 Go de données de sismiques

Rappel: 1 Go = 1000 Mo = 1 000 000 Ko = 10^9 octets

Co

urs

UB

O 2

00

8


Disques dursEnregistrement permanent (sauf panne, nécessité de sauvegarde)Informations organisées en fichiers et répertoires Accès direct à l’informationTailles courantes de 40Go à 260Go (jusqu’à 1024Go sur disques haut de gamme « serveur »)

Co

urs

UB

O 2

00

8

Supports « bandes magnétiques » (Robot d’archivage)

Grandes capacitésSupports souvent utilisés pour de l’archivage de longue duréeSupports également utilisés pour les sauvegardes des disques dursPas d’accès direct: il faut dérouler la bande pour atteindre les informationsActuellement Super DLT (160Go), LTO-4 (800Go)


Co

urs

UB

O 2

00

8

Autres supportsCD/ROM, DVD/ROM

comparable à un disque dur (organisation)Tailles de 700Mo (CD) à 9Go (DVD)

Clé USBCartes mémoiresDisquettes, cassettes Exabyte (obsolètes)


Co

urs

UB

O 2

00

8

FORMATS DE FICHIERS

Co

urs

UB

O 2

00

8

FORMATS DE FICHIERS

On distingue deux types de fichiers:Les fichiers Texte

Définition: fichier dont le contenu représente uniquement une suite de caractères informatiques. ex.: .txtS’ouvre avec un simple éditeur de texte (bloc-notes…). Il existe des fichiers textes formatés (.csv, .html).

Les fichiers BinairesDéfinition: fichier informatique qui n’est pas assimilable à un fichier texte. Pas directement lisible par un être humain, nécessité d’utiliser un logiciel spécifique. Exemples: fichiers images (jpeg), fichiers de musique (mp3).

Co

urs

UB

O 2

00

8

Avantages des fichiers binaires:Très compacts pour des données très volumineusesRapides pour les calculs et les écritures sur disque

Désavantages des fichiers binaires:Pas directement lisible par un être humain (logiciel spécifique)

FORMATS DE FICHIERS

Co

urs

UB

O 2

00

8

Formats auto-descriptifs (texte ou binaire)

En-tête décrivant le contenu du fichier et listant quelques métadonnées pouvant servir à l’utilisation du fichier.

Exemples:MEDATLAS (ASCII auto-descriptif) utilisé pour les données de profils verticaux (paramètre de référence : Pression) ou de séries temporelles (paramètre de référence : Date/Heure)

NETCDF – Network Common Data Form (Binaire auto-descriptif)

FORMATS DE FICHIERS

Co

urs

UB

O 2

00

8

DIFFUSION DES DONNEES

Co

urs

UB

O 2

00

8

REGLES DE DIFFUSION

Accord formel entre les partenaires qui échangent leurs données

Décrire les droits et les obligationsDu fournisseur (limite d’utilisation, validité)Du bénéficiaire des données (citation, reconnaissance)

Considérations à prendre en compteDonnées du domaine public ou privéRespect de la confidentialité

Co

urs

UB

O 2

00

8

NORMALISATION - STANDARDISATION

Normes pour les métadonnéesDonnées d’observations de la terre

Norme ISO 19115

Description d’objets géographiquesNorme OpenGIS GML

ISO (International standard Organization)

Standardisation des procédures de contrôles qualité, des formats de données, etc…

Point Line Polygon

Co

urs

UB

O 2

00

8

CATALOGUES EXISTANTS

Co

urs

UB

O 2

00

8

CATALOGUES

Point important dans la diffusion ou l’accès aux données: l’information sur les données disponibles.

Moyen possible: CATALOGUE.

Un catalogue doit permettre de savoir quelles sont les données disponibles, d’en apprécier la teneur et les usages possibles.

Description suffisante des données et de leurs usages potentiels, de leur qualité, de leurs couvertures géographiques, de leurs conditions de diffusion.Accès aux données

Co

urs

UB

O 2

00

8

Le catalogue des campagnes françaises

Campagnes qui se sont déroulées sur les navires français ou en coopération sur des navires étrangers.

Contient actuellement plus de 6 700 campagnes et s'enrichit chaque année.

Organismes français impliqués dans la gestion des navires français (maîtres d'œuvre) : l'Ifremer, l'IRD, le CNRS/INSU, l'IPEV.

QUELQUES CATALOGUES EXISTANTS - FRANCE

Co

urs

UB

O 2

00

8QUELQUES CATALOGUES EXISTANTS - FRANCE

Co

urs

UB

O 2

00

8

Co

urs

UB

O 2

00

8

Le catalogue des jeux de données français

Descriptifs des données collectées par les laboratoires de la communauté scientifique française.

350 jeux de données marines collectées par 78 laboratoires de la communauté scientifique française ou d'intérêt général.

Tous les domaines de l'océanographie y sont représentés : biologie, physique, géologie, géophysique et chimie marines.

QUELQUES CATALOGUES EXISTANTS - FRANCE

Co

urs

UB

O 2

00

8 QUELQUES CATALOGUES EXISTANTS - FRANCE

Co

urs

UB

O 2

00

8QUELQUES CATALOGUES EXISTANTS - FRANCE

Co

urs

UB

O 2

00

8

Co

urs

UB

O 2

00

8

QUELQUES CATALOGUES EXISTANTS - EUROPE

Initiatives européennesCatalogue CSR (Cruise Summary Report)

= Catalogue des campagnes européennes

Catalogue EDMED (European Directory pf Marine Environmental Data)

= Catalogue des jeux de données européens

Catalogue CDI (Common Data Index)= Catalogue des données européennes

Projets Sea-Search et SeaDataNetwww.sea-search.net et www.seadatanet.org

Projet EUROSEISMIChttp://www.eu-seased.net/welcome_flash.html

Autres projets, autres catalogues…

Co

urs

UB

O 2

00

8

EUROSEISMIC : catalogue européen de données de sismique sur les marges des Mers d'Europe

http://www.eu-seased.net/welcome_flash.html

QUELQUES CATALOGUES EXISTANTS - EUROPE

Co

urs

UB

O 2

00

8QUELQUES CATALOGUES EXISTANTS - EUROPE

Co

urs

UB

O 2

00

8

PRODUCTEURS DE DONNEES

Co

urs

UB

O 2

00

8

PRODUCTEURS NATIONAUX

PRODUCTEURS INSTITUTIONNELS

BRGM : géologie CETMEF : houle, vagues, courrentsIFREMER

Recueil des campagnes océanographiques françaises : physique, chimie, géophysique, géologie (SISMER), biologie, photo et vidéo sous-marines ; réseaux de surveillance de l’ environnement, Syst. Information Halieutique, Océanographie Spatiale (CERSAT)

IPG : géophysique IRSN : physique, chimieIGN : géographie physique (relief, trait de côte)METEO France, MINISTERE DE L’EQUIPEMENT : bathymétrie, physique, chimieMNHN : physique, chimie, géologie, biologie SHOM : bathymétrie, géophysique, physique, données de référence

Co

urs

UB

O 2

00

8


RECHERCHE PUBLIQUE

CEA, IRD, CNRS, ENS ET UNIVERSITES :SCIENCES et TECHNOLOGIES DE LILLE 1AIX-MARSEILLE 3BORDEAUX IUBOMEDITERRANNEE (U2)MONTPELLIER IINICE SOPHIA ANTIPOLISPARIS VIPARIS VIIPERPIGNANUNIVERSITE LOUIS PASTEUR STRASBOURG I

Co

urs

UB

O 2

00

8


AUTRES STATUTS

BGI Bureau Gravimétrique International (CNRS)CENTRE DE RECHERCHE MAMMIFERES MARINSINSTITUT OCEANOGRAPHIQUE, FONDATION ALBERT 1ER, P. DE MONACOCENTRE SCIENTIFIQUE DE MONACOUNIVERSITE INTERNATIONALE DE LA MER

Co

urs

UB

O 2

00

8

QUESTIONS?

ue bases de donnees oceanographiques

Documents