appariement de deux images paire dimages (640 x 480 pixels)
TRANSCRIPT
Appariement de deux images
Paire d’images (640 x 480 pixels)
Appariement de deux images
Points d’intérêt extraits avec Harris (approx. 500 points)
Appariement de deux images
Appariement initial (188 couples)
Appariement de deux images
Estimation robuste de la matrice fondamentale
99 inliers 89 outliers
Appariement de deux images
Appariement guidé (157 couples)il reste qq. faux appariements
Appariement de trois images
Triplet d’images (640 x 480 pixels)
Appariement de trois images
Points d’intérêt extraits avec Harris (approx. 500 points)
Appariement de trois images
106 app. initial 88 inliers 18 outliers
Appariement de trois images
Appariement guidé (95 couples)pas de faux appariements
Problèmes
• Transformations image– rotation image– changement affine d’illumination– changement d’échelle
• Invariants– géométrique : peu discriminant– photométrique : discriminant, mais l’invariance est plus difficile
• dérivées
• moments
• filtres de Gabors
Invariants photométriques
• Basés sur des dérivées calculées en un point (x,y)
)(*),(
)(*),(
)(*),(
)(*),(
)(),(
)(),(
),(
yy
xy
xx
y
x
GyxI
GyxI
GyxI
GyxI
GyxI
GyxI
yxv
Invariants photométriques
• Basés sur des dérivées calculées en un point (x,y)
• Invariance aux– translations
– changements de luminosité sous la forme
)(*),(
)(*),(
)(*),(
)(*),(
)(),(
)(),(
),(
yy
xy
xx
y
x
GyxI
GyxI
GyxI
GyxI
GyxI
GyxI
yxv
bII )()( 21 xx
Calcul des dérivées
• Calcul stable par convolution avec dérivées Gaussiennes
)2
exp(2
1),),(( 2
22
2 yx
yxG t
dudvvuIvyuxGGyxI xx ),(),()(),(
Interpretation
( )descripteur local
• Approximation locale d’une fonction par la série de Taylor
• Décrit le voisinage d’un point
détermine la taille du voisinage
Invariance à la rotation
Invariants différentiels [Koen87]
2
2
yyyyxyxyxxxx
yyxx
yyyyyxxyxxxx
yyxx
IIIIII
II
IIIIIIII
IIII
Invariance à l’illumination
Dans le cas d’une transformation affine
baII )()( 21 xx
yyxx
yyyyxyxyxxxx
yyxx
yyxx
yyxx
yyyyyxxyxxxx
IIII
IIIIII
IIII
II
IIII
IIIIIIIII
2
)(
)(
2
2/1
2/3
Invariance aux changements d’échelle
)()( 21 xx sII Dans le cas d’un changement d’échelle
Invariance aux changements d’échelle
)()( 21 xx sII Dans le cas d’un changement d’échelle
Les dérivées sont liées par )()()()(11 21 sGsIsGI
nn iin
ii xx
Points d’intérêt - détecteur de Harris
• Manque de robustesse des points d’intérêt en présence d’un changement d’échelle
Solution développée
• Points d’intérêt invariants aux changements d’échelle
– adaptation des points d’intérêt (Harris) aux changement d’échelle• localisation spatiale stable
• invariance aux rotations et aux changements affines de luminosité
– extraction multi-échelle des points d’intérêt
– sélection de l’échelle caractéristique dans l’espace multi-échelle• localisation invariante dans l’espace d’échelle
Points d’intérêt - adaptation à l’échelle
• Détecteur de Harris – deux valeurs propres importantes de la matrice d’auto-correlation
• Adaptation de la matrice au changement d’échelle
)()(
)()()~( 2
2
yyx
yxx
III
IIIG2s s
s
s
s
s
)~(G
yx II ,
fenêtre Gaussienne d’intégration
dérivées premières
Points d’intérêt - résultats de l’adaptation
Sélection de l’échelle - principe
Laplacien
échelle caractéristique : maximum dans l’espace d’échelle [Lindeberg 98]
Sélection de l’échelle - principe
Laplacien
invariance de l’échelle caractéristique
Points d’intérêt invariant à l’échelle
• Sélection de l’échelle caractéristique dans l’espace d’échelle – l’échelle caractéristique existe en général pour des points d’intérêt – le Laplacien permet de trouver le plus de maxima (résultat
experimental)
• Sélection des points à l’échelle caractéristique
points invariants + échelle associée
Résultat de l’appariement
213 / 190 points d’intérêt détectés
Résultat de l’appariement
58 points sont appariés initialement
Résultat de l’appariement
32 points sont appariés après vérification - tous corrects
Résultat de l’appariement
100% d’appariements corrects (33)
Mesure de similarité
( ) ( )=?
Différentes distances
• distance Euclidienne– ne tient pas compte des différentes incertitudes
i
ii qpqpdist 2)(),(
Différentes distances
• distance Euclidienne– ne tient pas compte des différentes incertitudes
• distance ponderée– ne tient pas compte des corrélations
i
ii qpqpdist 2)(),(
i
iii qpwqpdist 2)(),(
Différentes distances
• distance Euclidienne– ne tient pas compte des différentes incertitudes
• distance ponderée– ne tient pas compte des corrélations
• distance de Mahalanobis
i
ii qpqpdist 2)(),(
i
iii qpwqpdist 2)(),(
)()(),( 1 qpqpqpdist T