État de l'art dans la segmentation d'images
TRANSCRIPT
État de l'art dans la segmentation d'images
couleur
(en 1999)
P lan
I - Introduction
II - Approche Globale
III - Approche Région et Frontière
IV - Approche Lumière et Couleur
V - Bilan
I n t roduct ion
● Déf : opération de traitement d'images qui a pour but de rassembler des pixels entre eux suivant des critères pré-définis
I- Introduction
II- Approche Globale
III – Approche Région / Frontière
IV – Approche Lumière / Couleur
V - B ilan
Approche G loba le
● Hypothèse : un objet se distingue par sa couleur
● Méthodes déduites : – Regrouper les pixels en clusters de
couleur– Construire des histogrammes selon
les caractéristiques couleur des pixels.
I- Introduction
II- Approche Globale
III – Approche Région / Frontière
IV – Approche Lumière / Couleur
V - B ilan
Approche G loba le
● Classification non-supervisée :– Fluzzy C-means.– K-means.
I- Introduction
II- Approche Globale
1- Clus tering2- His togram
III – Approche Région / Frontière
IV – Approche Lumière / Couleur
V - B ilan
Approche G loba le
● Fluzzy c-means :– Classification non supervisée floue– 1 point appartient à 1 cluster avec
un certain degrés– Min (dist intra classe) & Max(dist
inter classes)– Algo :
● Fixation arbitraire d'une matrice d'appartenance
● Calcul des centres des classes● Réajustement de la matrice● Calcul du critère de minimisation
I- Introduction
II- Approche Globale
1- Clus tering2- His togram
III – Approche Région / Frontière
IV – Approche Lumière / Couleur
V - B ilan
Approche G loba le
● k-means :– Connu et utilisé car simple– Min (dist intra classe) & Max(dist
inter classes)– Position init. des centres influe le
résultat final.– Choisir le bon nombre de clusters.
I- Introduction
II- Approche Globale
1- Clus tering2- His togram
III – Approche Région / Frontière
IV – Approche Lumière / Couleur
V - B ilan
Approche G loba le
● k-means :– Algo (PhL) :Initialiser 1; K
● Répeter– affectation de chaque point à son cluster le
plus proche
– C(xi) = min_g d(xi; g)– recalculer le centre mu de chaque cluster
– mug = (1/Ng )* Sum_i2Cg (xi)● Tant que abs(mu_k)>epsilon
– Complexité : O(KnI) (I : itérations)
I- Introduction
II- Approche Globale
1- Clus tering2- His togram
III – Approche Région / Frontière
IV – Approche Lumière / Couleur
V - B ilan
Approche G loba le
● Comparaison des 2 méthodes:
–
–
–
–
–
–
–
– FCM : tâche sous le « d »
– K-means : reconnu comme « studv »
I- Introduction
II- Approche Globale
1- Clus tering2- His togram
III – Approche Région / Frontière
IV – Approche Lumière / Couleur
V - B ilan
Approche G loba le
● Comparaison des 2 méthodes:
– K-means à k clusters :
I- Introduction
II- Approche Globale
1- Clus tering2- His togram
III – Approche Région / Frontière
IV – Approche Lumière / Couleur
V - B ilan
Approche G loba le
● Comparaison des 2 méthodes:
–
–
–
–
–
–
–
– FCM : moins pertinent
– K-means : mieux mais pas reconnu non plus
I- Introduction
II- Approche Globale
1- Clus tering2- His togram
III – Approche Région / Frontière
IV – Approche Lumière / Couleur
V - B ilan
Approche G loba le
● Comparaison des 2 méthodes:
–
–
–
–
–
–
–
–
– Bons résultats
– FCM + rapide
I- Introduction
II- Approche Globale
1- Clus tering2- His togram
III – Approche Région / Frontière
IV – Approche Lumière / Couleur
V - B ilan
Approche G loba le
● Comparaison des 2 méthodes:
–
–
–
–
–
–
–
–
– Bons résultats
– FCM + rapide
I- Introduction
II- Approche Globale
1- Clus tering2- His togram
III – Approche Région / Frontière
IV – Approche Lumière / Couleur
V - B ilan
Approche G loba le
● Problématique :– N&B: très utilisé et fiable.– En couleur : combiner pics et
vallées de 3 histo– Bruit => ambiguités
I- Introduction
II- Approche Globale
1- Clus tering2- His togram
III – Approche Région / Frontière
IV – Approche Lumière / Couleur
V - B ilan
Approche G loba le
I- Introduction
II- Approche Globale
1- Clus tering2- His togram
III – Approche Région / Frontière
IV – Approche Lumière / Couleur
V - B ilan
Histogramme en Rouge Histogramme en Vert Histogramme en Bleu
Approche G loba le
● Un exemple de méthode :– Segmentation de chaque plan de
couleur indépendamment à partir des histogrammes.
– Les palettes de segmentation obtenues sont fusionnées.
– Résultat : une palette de pixels avec labels.
I- Introduction
II- Approche Globale
1- Clus tering2- His togram
III – Approche Région / Frontière
IV – Approche Lumière / Couleur
V - B ilan
Approche G loba le
● Un exemple de méthode :I- Introduction
II- Approche Globale
1- Clus tering2- His togram
III – Approche Région / Frontière
IV – Approche Lumière / Couleur
V - B ilan
Approche G loba le
● Un exemple de résultats :I- Introduction
II- Approche Globale
1- Clus tering2- His togram
III – Approche Région / Frontière
IV – Approche Lumière / Couleur
V - B ilan
Approche G loba le
● Un exemple de résultats :I- Introduction
II- Approche Globale
1- Clus tering2- His togram
III – Approche Région / Frontière
IV – Approche Lumière / Couleur
V - B ilan
Approche Rég ion /F ront iè re
● Compacité spatial et homogénéité : 2 critères importants
● Impossibilité de connaître la localisation des pixels par les techniques précédentes
● Deux familles de techniques:– Split & merge
– Region growing
I- Introduction
II- Approche Globale
III – Approche Région / Frontière
1)S plit & Merge2)Region growing3)Detection de contours
IV – Approche Lumière / Couleur
V - B ilan
Approche Rég ion /F ront iè re
● Split & Merge
– Split : On divise jusqu’à ce que la propriété soit vraie dans la sous image
– Merge : On regroupe les régions adjacente dont l’union vérifie la propriété
I- Introduction
II- Approche Globale
III – Approche Région / Frontière
1)S plit & Merge2)Region growing3)Détection de contour
IV – Approche Lumière / Couleur
V - B ilan
Approche Rég ion /F ront iè re
● Split & Merge– Split
● L’image est stockée dans un arbre.
● Initialement, arbre racine = image complète
● Récursivement, chaque feuille F est subdivisée en quatre si elle n’est pas assez homogène, et les quatre sous images sont ajoutée en tant que feuilles de F.
● L’algorithme poursuit tant qu’il reste des feuilles non homogènes à diviser.
I- Introduction
II- Approche Globale
III – Approche Région / Frontière
1)S plit & Merge2)Region growing3)Détection de contour
IV – Approche Lumière / Couleur
V - B ilan
Approche Rég ion /F ront iè re
I- Introduction
II- Approche Globale
III – Approche Région / Frontière
1)S plit & Merge2)Region growing3)Détection de contours
IV – Approche Lumière / Couleur
V - B ilan
Approche Rég ion /F ront iè re
● Construction du RAG (Region Adjacancy Graph)
I- Introduction
II- Approche Globale
III – Approche Région / Frontière
1)S plit & Merge2)Region growing3)Détection de contours
IV – Approche Lumière / Couleur
V - B ilan
RAG
• Connecte les régions adjacentes
• Arrêtes = mesures de différence d’homogénéité
Approche Rég ion /F ront iè re
● Split & Merge– Merge
● Chaque nœud du Region Adjacency Graph est examiné.● Si un des voisins de ce nœud est à une distance inférieure
à un seuil de regroupement, les deux nœuds fusionnent dans le RAG.
● Lorsque plus aucun nœud ne peut fusionner avec l’un de ses voisins, STOP.
I- Introduction
II- Approche Globale
III – Approche Région / Frontière
1)S plit & Merge2)Region growing3)Détection de contours
IV – Approche Lumière / Couleur
V - B ilan
Approche Rég ion /F ront iè re
I- Introduction
II- Approche Globale
III – Approche Région / Frontière
1)S plit & Merge2)Region growing3)Détection de contours
IV – Approche Lumière / Couleur
V - B ilan
Image originale Image après traitement
Avantage :
-Méthode qui contourne le problème du gradiant posé dans l'algorithme du « region growing »
Inconvénient :
-Méthode assez complexe un peu « carré », dû à la topologie des quadtreeses quadtrees
Approche Rég ion /F ront iè re
● Region growing– On part d’un point amorce (seed) et l’on
l’étend en ajoutant les points de la frontières qui satisfont le critère d’homogénéité
I- Introduction
II- Approche Globale
III – Approche Région / Frontière
1)S plit & Merge2)Region growing3)Détection de contours
IV – Approche Lumière / Couleur
V - B ilan
Image originale
Amorce Croissance Région finale
Approche Rég ion /F ront iè re
● Region growing– Deux méthodes:
● Le point amorce peut être choisi soit par un humain, soit de manière automatique en évitant les zones de fort contraste (gradient important) => méthode par amorce.
● Si le critère d’homogénéité est local (comparaison de la valeur du pixel candidat et du pixel de la frontière) => méthode linéaire.
I- Introduction
II- Approche Globale
III – Approche Région / Frontière
1)S plit & Merge2)Region growing3)Détection de contours
IV – Approche Lumière / Couleur
V - B ilan
Approche Rég ion /F ront iè re
– Méthode par amorce● On définit une zone R qui contient la
région à extraire.● Initialement, R contient l’amorce.● On utilise une file FIFO (First In, First Out)
S qui contient les points frontière● Initialement, S contient le
voisinage de l’amorce.
On retire p dans Ssi p est homogènehomogène avec R,
on ajoute p à R et on ajoute à S les points du voisinage de p qui ne sont pas dans R et qui ne sont pas incompatibles.
sinon, on marque p comme incompatible.
On recommence tant que S n’est pas vide.
I- Introduction
II- Approche Globale
III – Approche Région / Frontière
1)S plit & Merge2)Region growing3)Détection de contours
IV – Approche Lumière / Couleur
V - B ilan
Approche Rég ion /F ront iè re
– Méthode linéaire
● Pour chaque pixel on regarde si sa valeur est égale à la valeur de la région
● Si c'est le cas le pixel est intégré à la région
● Sinon il fait parti de la frontière
I- Introduction
II- Approche Globale
III – Approche Région / Frontière
1)S plit & Merge2)Region growing3)Détection de contours
IV – Approche Lumière / Couleur
V - B ilan
Approche Rég ion /F ront iè re
● Region growing– Avantages
● Méthode rapide● Conceptuellement très simple
– Inconvénients● Méthode locale: aucune vision globale du problème. En pratique, il y a presque toujours un chemin continu de points connexes de couleur proche qui relie deux points d’une image…Problème du gradient
● Tenir compte de l’homogénéité globale donne un algorithme sensible à l’ordre de parcours des points (méthode par amorce)
● Algorithme très sensible au bruit, peu stable.
I- Introduction
II- Approche Globale
III – Approche Région / Frontière
1)S plit & Merge2)Region growing3)Détection de contours
IV – Approche Lumière / Couleur
V - B ilan
Approche Rég ion /F ront iè re
● Détection de contours
– Plusieurs techniques sont utilisées.– Les plus connues :
● Détection de contours grâce au laplacien
● Détection par contour actifs ou snakes
I- Introduction
II- Approche Globale
III – Approche Région / Frontière
1)S plit & Merge2)Region growing3)Détection de contours
IV – Approche Lumière / Couleur
V - B ilan
Approche Rég ion /F ront iè re
● Détection de contour– Grâce au laplacien
– On trouve les contours lorsque le laplacien est nulle.
I- Introduction
II- Approche Globale
III – Approche Région / Frontière
1)S plit & Merge2)Region growing3)Détection de contours
IV – Approche Lumière / Couleur
V - B ilan
2
2
2
22
yf
xff
∂∂+
∂∂=∇
Approche Rég ion /F ront iè re
● Détection de contours– Les contours actifs ou snakes
● Utiliser des courbes déformables qui sont « attirées » par les formes recherchées dans l’image.
● Analogie avec la physique: fonction d’énergie à minimiser.
I- Introduction
II- Approche Globale
III – Approche Région / Frontière
1)S plit & Merge2)Region growing3)Détection de contours
IV – Approche Lumière / Couleur
V - B ilan
Approche Rég ion /F ront iè re
● Détection de contours– Détection de contours actif
● consiste à placer aux alentours de la forme à détecter une ligne initiale de contour. Cette ligne va se déformer progressivement selon l'action de plusieurs forces qui vont la tirer ou la pousser vers la forme.
● Les forces impliquées vont dériver de trois énergies associées au snake:
– L'énergie interne● E int = (a(s)).||(Vs(s)|| + b(s)).||(Vss(s)||)
– L'énergie potentielle liée a l'image● E image= -gradient(i).
– L'énergie de "contrainte"● E cont=E cont(s)
I- Introduction
II- Approche Globale
III – Approche Région / Frontière
1)S plit & Merge2)Region growing3)Détection de contours
IV – Approche Lumière / Couleur
V - B ilan
Approche Rég ion /F ront iè re
● Détection de contours– Détection par contour actifs
● On somme toutes les énergiesE totale(Vi-1, Vi, Vi+1) = somme (Ei int(Vi-1, Vi, Vi+1) +
Ei image(Vi) + Ei cont(Vi))
● Il faut ensuite trouver la position du contour qui va minimiser cette énergie. On se ramène donc à un problème d'optimisation d'une fonction numérique de plusieurs variables
I- Introduction
II- Approche Globale
III – Approche Région / Frontière
1)S plit & Merge2)Region growing3)Détection de contours
IV – Approche Lumière / Couleur
V - B ilan
Approche Lumière /Cou leur
● Méthodes abordées : erreurs à cause de saturation et ombres.
● => analyser l 'interaction entre la lumière et les matières colorées :– Non homogène– Homogène– Métallique
I- Introduction
II- Approche Globale
III – Approche Région / Frontière
IV – Approche Lumière / Couleur
V - B ilan
B i lan
● Existe-t-il une technique de segmentation meilleure qu'une autre?
– Non tout dépend du contexte et de l'application
● Existe-t-il une « super » technique encore inconnu qui aurait de meilleur résultat que les autres?
– Non cela semble peut probable● Pourquoi le cerveau obtient-il de
meilleurs résultat alors?
– Réponse difficile... (50 ans de recherche)
I- Introduction
II- Approche Globale
III – Approche Région / Frontière
IV – Approche Lumière / Couleur
V - B ilan