processus stochastiques et traitement statistique de ... 756 cours_annonce.pdf · classification...

UNIVERSITÉ DE

SHERBROOKE20-sept.-12 D Gingras - UdeS - GEI 7561

Processus stochastiques et traitement statistique de signaux aléatoires

Bloc 1 : Introduction et description du cours

GEI 756

Professeur Denis Gingras, Dr Ing.Département GEGI

UNIVERSITÉ DE


Place du traitement des signaux dans le domaine de la science en général

Les applications des sciences et de l’ingénierie sont généralement regroupées en trois domaines principaux, d'ailleurs largement interdépendants :

les sciences et les techniques des matériaux les sciences et les techniques de l'énergie; les sciences et les techniques de l'information.

La théorie et le traitement des signaux est une discipline appartenant au troisième domaine, auquel elle apporte à la fois des bases théoriques fondamentales et des techniques particulières.

NB: Son influence déborde toutefois aussi sur les deux autres domaines, dans la mesure où l'on y rencontre de nombreux phénomènes (fluctuations de charge d'un réseau électrique, vibrations d'une machine tournante, caractérisation spectrale d’un matériau, etc.) qui peuvent être étudiés avec les mêmes outils de traitement de données que ceux utilisés pour les signaux informationnels.

Introduction au TSS

UNIVERSITÉ DE


Les circuits de télécommunications acheminent le signal électrique ainsi créé vers son destinataire. L'informatique, grâce à son énorme puissance de calcul, permet d'effectuer des tâches complexes de manipulations et d'interprétation de l'information véhiculée par le signal (traitement numérique).

L'universalité du traitement des signaux est attestée par la diversité des secteurs d'application : industriels, scientifiques, biomédicaux, militaires, spatiaux, etc. Ce que nous apprenons du monde qui nous entoure et de nous-mêmes provient de signaux qui sont traités.

La métrologie fournit les capteurs qui traduisent pratiquement n'importe quel phénomène physique en une grandeur électrique facilement amplifiée, filtrée, conditionnée, codée, etc., par des dispositifs électroniques appropriés.

Introduction au TSS

UNIVERSITÉ DE


Que signifie signal ? - Toute entité véhiculant une informationC’est une représentation obtenue à partir des variations d’une grandeur physique dans le temps ou dans l’espace.

Exemples : Grandeur physique Information

Onde acoustique musique, parole…

Courant électrique mesure physique…

Traitement du signal :

Extraire l’information utile des données bruitées(filtrage, détection, estimation, analyse spectrale...)Mettre en forme le signal (modulation, échantillonnage….)

-> forme adaptée à la transmission, au stockage ou à la visualisationAnalyser l’information: convertir en connaissances

-> classification, reconnaissance de formes, inférence

Introduction au TSS

UNIVERSITÉ DE


Extraire l’information utile d’un signal (passer du non-contextuel au contextuel, passer des données brutes et imparfaites à la connaissance)

Traitement en vue d’une meilleure utilisation/visualisation des données imparfaites

Il s’agit souvent d’un problème inverse où il faut valider une hypothèse (inférentielle) pour obtenir de nouvelles connaissances sur le phénomène étudié.

Qu’est-ce que l’information : Une définition statistique de Brillouin donne l’information comme le rapport entre le nombre de réponses possibles d’une recherche avant et après l’observation. Si aucune information sur le problème n’était disponible, alors le problème a un espace de solution non-borné (infini). Si toute l’information sur le phénomène était disponible, alors il n’y aurait qu’une seule réponse possible (un point) dans l’espace des solutions.

Le but du traitement est donc de réduire au maximum cet espace de solutions possibles (après observation) visant, pour des raisons pratiques et applicatives, à un seul point dans l’espace de solutions (solution unique).

Introduction au TSS

UNIVERSITÉ DE


Quel est le but du traitement statistique des signaux ?

Extraire les composantes déterministes (des structures) des signaux aléatoires

Malgré leur nature aléatoire et imprévisible, en obtenir des propriétésdéterministes afin de faire les opérations et tâches requises pour extraire l’information

Caractériser les composants aléatoires indésirables (incertitudes) qui masquent (ou déforment) l’information contenue dans un signal.

À l’ère des ordinateurs, de la numérisation et de la miniaturisation, nous vivons dans un monde d’information. Partout, on retrouve des capteurs et des systèmes de mesures miniaturisés, intégrés et bon marchés qui génèrent de grandes quantités de données. Ces données sont la plupart du temps entachées de bruit ou dégradées par différents phénomènes parasites.

Le traitement statistique des signaux joue un rôle primordial pour l’extraction de l’information utile et la génération de connaissances à partir de données brutes. Les techniques de traitement statistiques des signaux constituent des outils de base que tout ingénieur devrait maîtriser.

Introduction au TSS

UNIVERSITÉ DE


Introduction au TSS

La représentation mathématique des signaux

But: effectuer des opérations sur les signaux (en vue de les traiter)

Moyen: représenter un signal (une information) sous une forme mathématique (opérations = +,-,x,…)

Les mathématiques offrent plusieurs familles de modèles : fonctions d’une variable fonctions de plusieurs variables familles de fonctions fonctions continues fonctions discrètes ...

UNIVERSITÉ DE


Les signaux déterministes (non-aléatoire):

On peut parfaitement prédire le signal;

Peut s’exprimer mathématiquement et parfaitement par des lois simples

Information seulement contenue dans ces lois; les nouvelles observations

ne contiennent aucune information

Quand on connaît le passé, la probabilité d’apparition d’une valeur donnée

à l’instant t est soit nulle, soit certaine (p = 1).

Les signaux déterministes continus peuvent être facilement extrapolés.

On distingue 2 classes de signaux suivant leur évolution temporelle :

Introduction au TSS

UNIVERSITÉ DE


Les signaux aléatoires :

Ils sont imprévisibles, on ne peut pas les extrapoler

Impossible de les reproduire identique à eux-mêmes.

L’information contenue dans le signal est liée au degré d’incertitude,

d’aléatoire.

Ne peuvent pas être parfaitement décrits par des lois simples

Ce sont des paramètres statistiques qui définissent les possibilités

d’évolution du signal

Bruit: signaux indésirables. Le bruit est un signal perturbateur qui dégrade les

observations d’un signal désiré ou recherché (contextuel).

Introduction au TSS

UNIVERSITÉ DE


Signal aléatoire BruitIntroduction au TSS

Exemple: Transmettre la parole sur des cables d’alimentation du secteur 60 Hz.

Le signal important (utile) est la parole, c’est un signal aléatoire

Le bruit gênant est déterministe, c’est une sinusoïde à 60 Hz

UNIVERSITÉ DE


Signaux aléatoires: signaux dont on ne peut connaitre les valeurs avant des les avoir observés : imprévisibles.

TSS: modèles probabiliste et techniques permettant d‘évaluer des propriétés statistiques (i.e. moyennes) d’un signal pour en avoir une meilleure connaissance quantitative.Exemples:

Le bruit de fond additif b(t),

Le signal

transmis par un système de communication. La suite est aléatoire.

Question typique relative aux notions qui vont être introduites dans ce cours :

Quelle bande passante réserver a priori à la transmission du signal x(t) ?

Définir un concept de bande passante moyenne pour un signal aléatoire.

Introduction au TSS

( ) ( )nn

x t a g t nT

n na

( ) ( ) ( )y t x t b t

UNIVERSITÉ DE


Les données sont entachées de diverses sources d’incertitude:

Nature inconnue du processus Données incomplètes ou partielles Données distortionnées Données bruitées Données corrompues ou mélangées à des interférences Données vagues ou floues (arrondies)

Le traitement statistique est un cadre mathématique pour permettre de tenir compte des diverses sources d’incertitude et de les mitiger. NB: Il y en a d’autres (ex. la logique floue).

Introduction au TSS

UNIVERSITÉ DE


les vibrations sismiques, les images satellite, les signaux biomédicaux la parole les sons musicaux les signaux radar les signaux optiques

Le traitement d’image est une extension du traitement du signal (TS) qui traite de signaux à deux dimensions: les images.

Le domaine d’application du TS est universel : - les télécommunications,

- le traitement audio(parole et musique),

- le radar,le sonar et la sismologie,

- l’imagerie (médicale ou spatiale),

- l’automobile, l’instrumentation, la domotique …

Introduction au TSS La théorie et le traitement des signaux intéressent tous les secteurs techniques et scientifiques dans lesquels l'information est perçue par l'intermédiaire d'observations expérimentales de grandeurs mesurables.

UNIVERSITÉ DE


- La Théorie des probabilités permet de représenter et d’extraire les

caractéristiques statistiques (aussi appelé moments) d’un signal aléatoire (sa

valeur moyenne, sa variance, son autocorrélation, …)

- Parmi les signaux aléatoires, on distingue :

- Les signaux stationnaires : (les statistiques (moments) sont indépendantes du temps) ergodiques (une seule réalisation du signal permet d’estimer les statistiques)

non ergodiques

- Les signaux non stationnaires

- Ce cours sur les signaux aléatoires mettra l’accent sur les signaux

unidimensionnels gaussiens et stationnaires.

Introduction au TSS

UNIVERSITÉ DE


Classification des signauxSignaux

Signaux transitoires

Signaux ergodiques

Signaux déterministes Signaux aléatoires

Signauxpseudo-périodiques

Signaux périodiquesSignaux non périodiques

Signaux non stationnairesSignaux stationnaires

Signaux nonergodiques

Signaux chaotiques

Introduction au TSS

UNIVERSITÉ DE


Exemple d’un problème générique: l’accent est mis sur l’extraction d’information utile à partir d’observations bruitées Y(t).

On veut caractériser le processus générateur inconnu X(t)

Signaux, données numériques bruitées, audio, images

Canaux: cables torsadés, optique, sans fil, satellite, mémoire d’ordinateur, circuits électroniques, biologique etc.

Le canal est modélisé soit comme un système déterministe/stochastique, linéaire/nonlinéaire, invariant ou non dans le temps, etc.

Y tCanal bruité

Système detraitement

X̂ t X t

Introduction au TSS

ProcessusGénérateur

Signalobservé

UNIVERSITÉ DE


Traitement et analyse de signaux

aléatoires

Statistiques

Théorie de l’information

Probabilités

Processus stochastiques

Physique statistique

AutresGéométrie, analyse,

algèbre etc.

Le traitement et l’analyse de signaux aléatoires sont fortement basés sur les mathématiques appliquées et … les connaissances contextuelles !

Introduction au TSS

+ Info contextuellede l’application

UNIVERSITÉ DE


Processus physique Modèles stochastiques

Caractéristiques?

Algorithmes de traitement

Informationdésirée

Critères(optimisation)

Introduction au TSS

Observations bruitées

Info a priori

Structures ?

UNIVERSITÉ DE


On comprend donc les problèmes posés au TSS :

- Comment extraire l’information utile d’un signal ?

- Comment transmettre l’information sans la dégrader ?

- Comment transformer cette information pour la préserver ?

- Comment détecter le signal utile noyé dans le bruit ?

- Comment filtrer le signal pour l’extraire du bruit ?

Introduction au TSS

UNIVERSITÉ DE


Exemples de tâches en traitement statistique du signal détection, filtrage, classification, caractérisation, analyse, rehaussement, prédiction, compression, identification.

3 cas typiques :signal connu noyé dans du bruitsignal déterministe à paramètres inconnus noyé dans du

bruitsignal aléatoire noyé dans du bruit

Introduction au TSS

UNIVERSITÉ DE


Objectif du cours

L’objectif de ce cours est de présenter les outils de description, de traitement et d’analyse statistiques du signal en s’appuyant sur le concept de processus aléatoire.

Ce cours s’inscrit dans le prolongement d’un cours de base sur les signaux déterministes et les systèmes linéaires.

En effet, alors qu’au niveau du baccalauréat, l’enseignement du traitement numérique du signal se fonde principalement sur des signaux déterministes, dans le monde réel, les principaux signaux sont de nature aléatoire. Donc, dans les applications réelles, impliquant du bruit et des incertitudes entachant les signaux et les données, les théories présentées dans ce cours s’avèrent essentielles.

UNIVERSITÉ DE


Fournir à l’étudiant une vue d’ensemble et une maîtrise de base des outils de traitement et d’analyse de signaux aléatoires

Prendre une approche « Top-down » : principe du coffre à outil Mettre l’accent principalement sur le cas linéaire, discret,

gaussien et stationnaire Mettre l’accent sur la résolution de problèmes plutôt que sur la

démonstration de théorèmes Adopter l’approche d’une participation active de l’étudiant. Mettre l’accent sur la compréhension plutôt que sur la

mémorisation.

Objectif du cours Approche préconisée

UNIVERSITÉ DE


Objectifs d'apprentissage et compétences visées

L’étudiant se familiarise avec les signaux et les systèmes aléatoires

L’étudiant comprend et peut appliquer les différentes méthodes pour la modélisation et la représentation de signaux aléatoires.

L’étudiant comprend et peut appliquer différentes méthodes de traitement statistique du signal pour résoudre un problème donné.

L’étudiant devient autonome dans le domaine et peut approfondir par lui-même ses connaissances acquises dans ce cours.

L’étudiant est capable d’analyser un problème de TSS, de déterminer une procédure de traitement et de sélectionner les algorithmes les plus approprié pour l’application concernée.

Objectif du cours

UNIVERSITÉ DE


Bloc 1 : introduction, mise en contexte et description du cours (1 semaine) Bloc 2 : notions de base (4 semaines) Bloc 3 : traitement et analyse de

signaux aléatoires (8 semaines) Bloc 4 : Conclusion (2 semaine)

Plan du cours

UNIVERSITÉ DE


Pré-requisUne bonne base est importante dans les domaines suivants: Signaux déterministes Systèmes linéaires analogiques et numériques Transformées de Fourier, de Laplace et en Z Théorie des ensembles Quelques notions de probabilités Algèbre linéaire Analyse fonctionnelle Notions de base de Matlab

UNIVERSITÉ DE


Semaine no. 1: introduction et mise en contexte

Plan du cours

Introduction au TSS (traitement statistique du signal) Objectifs du cours Plan du cours Méthodologie Évaluation Horaire du cours Planification des travaux Ressources bibliographiques Révision des pré-requis

UNIVERSITÉ DE


Semaine no. 2: introduction aux notions de statistiques et de probabilités

Plan du cours

Quelques rappels de la théorie des ensembles Diverses définitions de la probabilité Propriétés d’une fonction de probabilité Distributions et densités de probabilité Probabilité conditionnelle Règles de Bayes Expérience répétées, méthodes de comptage Inégalités Concepts de convergence et loi des grands nombres Variables aléatoires et leurs propriétés Transformation linéaire d’une variable aléatoire Moments statistiques et fonctions caractéristiques Diagonalisation des matrices de corrélation et covariance

UNIVERSITÉ DE


Semaine no. 3: introduction aux processus stochastiquesPlan du cours

Définition d’un processus stochastique Propriétés

Indépendance Orthogonalité Corrélation Stationarité Ergodisme

Analyse des moments statistiques Corrélation et covariance: cas gaussien simple Théorème de Einstein-Wiener-Khinchin Densité spectrale de puissance et décomposition de Wold Échantillonnage d’un processus stochastique Bruit « blanc » et processus à bande passante Transformée de Karhunen-Loève Processus composé ou processus stochastique double Processus périodiques et quasi-périodiques

UNIVERSITÉ DE


Semaine no. 4: types de processus stochastiques: partie I

Plan du cours

Familles de processus Introduction Processus de Bernouilli Marche aléatoire Processus de Wiener Mouvement brownien Processus gaussien Processus gaussien généralisé Martingales

UNIVERSITÉ DE


Semaine no. 5: types de processus stochastiques: partie II

Plan du cours

Indépendance en probabilité conditionnelle Processus de renouvellement Probabilité Chaîne de Markov Modèle de Markov caché Algorithme « Forward », « Backward » et

de Viterbi Processus de comptage Processus de Poisson simple et composé Bruit de grenaille

UNIVERSITÉ DE


Semaine no. 6: transformations d’un processus stochastique

Introduction, taxinomie des systèmes Transformation sans mémoire Théorème de Price Coup d’œil sur le cas nonlinéaire : transformation

quadratique Transformations linéaires et systèmes linéaires invariants Effets d’une transformation linéaire sur les moments

statistiques Transformation avec mémoire : systèmes récursifs Représentations spectrales et factorisation spectrale Condition de Paley-Wiener Exemple final: analyseur spectral analogique

Plan du cours

UNIVERSITÉ DE


Semaine no. 7: notions d’optimisation

Rappel sur les types de problème Optimisation: définition et principe Fonctions objectifs: cas linéaire et nonlinéaire Convexité Optimisation: cas complexe et multi-variable Stabilité Fonctions objectif: formulation et exemples Optimisation avec contraintes: multiplicateur de Lagrange Normes et critères l1, moindres-carrés, MinMax, ML, MAP Méthodes numériques: introduction Survol des algorithmes d’optimisation locale Survol des algorithmes d’optimisation globale

Plan du cours

UNIVERSITÉ DE


Semaine no. 8: théorie de décision et détection Introduction à la théorie de décision et à l’inférence

statistique Éléments de la théorie de détection Détection d’un signal par corrélation croisée Détecteur bayésien Statistique suffisante Détecteur à vraisemblance maximale Détecteur Minimax Détecteur MAP Détecteur de Neyman Pearson Test d’hypothèses composées Caractéristique opérationnelle du détecteur (courbe ROC) Détection séquentielle

Plan du cours

UNIVERSITÉ DE


Semaine no. 9: classification linéaire

Introduction à la classification ? Espace de signaux et notions de distance Extraction de caractéristiques Techniques bayésienne: test d’hypothèses multiples Classification linéaire (fonctions discriminantes) Classification par moindres-carrés Critère discriminant de Fisher Fonctions de discrimination quadratique

Plan du cours

UNIVERSITÉ DE


Semaine no. 10: théorie d’estimation partie I

Introduction Estimation paramétrique vs non-paramétrique Estimation d’une densité de probabilité Quelques propriétés d’un estimateur Estimateur à vraisemblance maximale (ML- cas déterministe) Estimateur bayésien (cas aléatoire) Estimateur en moyenne quadratique (MS) Estimateur en moyenne valeur absolue (ABS) Estimateur MAP Estimation linéaire en moyenne quadratique (LMS) Estimation de moments statistiques Estimation de plusieurs paramètres: cas vectoriel Algorithme EM

Plan du cours

UNIVERSITÉ DE


Semaine no. 11: filtrage optimal

Introduction Filtrage adapté pour la détection Principe d’orthogonalité Filtrage optimal FIR pour l’estimation linéaire Prédiction linéaire Équations de Wiener-Hopf Filtrage optimal IIR pour l’estimation linéaire Filtrage IIR causal Filtrage IIR non-causal Filtrage récursif scalaire (filtrage séquentiel) Prédiction séquentielle (cas linéaire) Filtrage récursif vectoriel (filtre de Kalman) Décomposition de Wold

Plan du cours

UNIVERSITÉ DE


Semaine no. 12: modélisation et théorie d’estimation II

Modélisation introduction Observabilité d’un processus Identifiabilité d’un modèle Modèles physiques vs modèles empiriques Modèles incrémentaux – ordre d’un modèle Modèles linéaires rationnels (AR, MA, ARMA) Estimation de l’ordre d’un modèle Borne de Cramer-Rao Matrice d’information de Fisher Intervalles de confiance La technique de « bootstrap » Notions de base de la théorie de l’information

Plan du cours

UNIVERSITÉ DE


Semaine no. 13: estimation et analyse spectraleIntroductionDéfinition de la DSPTypes d’estimateurs spectrauxEstimation non-paramétrique

Périodogramme Périodogramme moyenné: estimateur de Bartlett Estimateur de Blackman-Tuckey (Corrélogramme) Périodogramme moyenné avec recouvrement: estimateur de Welch Les fenêtres d’apodisation Estimateur spectral à variance minimale

Estimation Paramétrique Modèles rationels AR, MA, ARMA, ARMAX Maximisation de l’entropie Méthode de Prony Prony étendue Méthode de Pisarenko Méthode de Music Esprit

Analyse spectrale analogique

Plan du cours

UNIVERSITÉ DE


Semaine no. 14 : Applications

Télécommunications et parole Imagerie Traitement d’antennes : radar, sonar, radio-astronomie Télématique et géomatique Instrumentation Biomédical Commande et contrôle de procédés Économétrie et finance Autres

NB: Les sujets abordés seront fonctions des projets de recherche (MSc et PhD) des étudiants inscrits au cours.

Plan du cours

UNIVERSITÉ DE


Semaine no. 15 : examen final

Plan du cours

processus stochastiques et traitement statistique de ... 756 cours_annonce.pdf · classification...

Documents