Puntos de interésLección 04.1

Dr. Pablo Alvarado Moya

MP6127 Visión por ComputadoraPrograma de Maestŕıa en Electrónica

Énfasis en Procesamiento Digital de SeñalesEscuela de Ingenieŕıa Electrónica

Tecnológico de Costa Rica

II Cuatrimestre 2019

P. Alvarado Puntos de interés 1 / 1

Contenido

P. Alvarado Puntos de interés 2 / 1

Introducción

Varias áreas de la Visión por Computador requieren detecciónde “puntos de referencia” o “puntos de interés”

Preámbulo a busqueda de correspondencias

Uso en reconocimiento de objetos, panoramas,reconstrucción. . .

Los puntos de interés deben ser invariantes ante variacionescomo

RotaciónEscalaTraslaciónCambio de perspectivaCambio de iluminaciónDeterioro de objetosEnvejecimiento de personas. . .

P. Alvarado Puntos de interés 3 / 1

MétodosEncontrar puntos de interés y correspondiencias

Dos métodos principales para encontrar correspondencias

1 Rastreo de puntos en secuencias de imágenes (flujo óptico)

2 Búsqueda independiente con posterior emparejamiento(match)

P. Alvarado Puntos de interés 4 / 1

Pasos con métodos de detección y emparejamiento

Tres pasos:

1 Detección de puntos de interés estables

2 Generación de descriptores invariantes

3 Emparejamiento de descriptores

Últimos pasos pueden reemplazarse por

rastreo de los puntos de interés.

P. Alvarado Puntos de interés 5 / 1

Puntos de interés (1)¿Qué propiedades son deseables?

Szelisky, 2011

P. Alvarado Puntos de interés 6 / 1

Puntos de interés (2)¿Qué propiedades son deseables?

Obsérvese que:

Si no hay bordes, incertidumbre es total

Si hay un borde, incertidumbre es en dirección del borde

Si hay una esquina, incertidumbre es baja

Necesaria estructura que describa distribución de direcciones debordes en una región

P. Alvarado Puntos de interés 7 / 1

Recordando el gradiente

En PDI gradiente se usa como detector de bordicidad:

∇I (x ,y) =

[∂∂x I (x ,y)∂∂y I (x ,y)

]=

[Ix(x ,y)Iy (x ,y)

]

I (x,y) | Sobel[I (x,y ]| ≈ |∇I (x,y)|

Aproximaciones: variaciones de diferencias finitas centradas

∂

∂xI (x ,y) ≈ I (x + 1,y)− I (x − 1,y)

2

Varios tipos: Sobel, Roberts, Prewitt, Ando, DoG, etc.

P. Alvarado Puntos de interés 8 / 1

ACP de gradientes

Idea: realizar en una pequeña región análisis de componentesprincipales de los gradientes

Datos son:

X =

Ix(x −∆x1,y −∆y1) Iy (x −∆x1,y −∆y1)Ix(x −∆x2,y −∆y2) Iy (x −∆x2,y −∆y2)Ix(x −∆x3,y −∆y3) Iy (x −∆x3,y −∆y3)

......

Ix(x −∆xn,y −∆yn) Iy (x −∆xn,y −∆yn)

T

donde los desplazamientos (∆xi ,∆yi ) recorren con i = 1 . . . nla región alrededor de (x ,y).

P. Alvarado Puntos de interés 9 / 1

Tensor de estructuraCovarianza de gradientes

Covarianza dada por

ΣX(x ,y) =1

nXXT =

[ 〈I 2x (x ,y)

〉〈Ix(x ,y)Iy (x ,y)〉

〈Ix(x ,y)Iy (x ,y)〉〈I 2y (x ,y)

〉 ]donde

〈F (x ,y)〉 = 1n

n∑i=1

F (x + ∆xi ,y + ∆yi )

ΣX(x ,y) es el tensor de estructura

La covarianza contiene información de la distribución de losgradientes en la ventana.

P. Alvarado Puntos de interés 10 / 1

Tensor de estructura

Sean λ1 y λ2 los eigenvalores de ΣX(x ,y)

Sean e1 y e1 los eigenvectores correspondientes

Asúmase λ1 ≥ λ2e1 es la dirección dominante

λi indica la varianza de los gradientes proyectados a ei .

Si I (x ,y)=cte ⇒ Ix(x ,y)= Iy (x ,y)=0 ∧ λ1 =λ2 =0Si hay borde lineal, todos los gradientes o son cero (fuera delborde) o están alineados en la dirección e1, lo que implicaλ2 = 0

Si hay esquina, hay varias direcciones y λ1 6= 0 ∧ λ2 6= 0

Los eigenvalores indican qué tan confiable es (x ,y) como punto deinterés

P. Alvarado Puntos de interés 11 / 1

Complejidad computacional

Matriz ΣX(x ,y) es siempre 2× 2 y simétricaExiste forma cerrada de calcular λ1 y λ2

Algunos métodos usan e1, otros no.

P. Alvarado Puntos de interés 12 / 1

Invarianza a la rotación

Ventana cuadrada: si se rota imagen, cambia ΣX(x ,y)

Solución, redefinir 〈F (x ,y)〉Usual: usar una ventana gaussiana

Puntos al centro tienen más peso que en borde

P. Alvarado Puntos de interés 13 / 1

Métricas de interés

Shi y Tomasi (1994): ¿Qué tan lejos está λ2 de cero?Máximos de

√λ2 indican menor incertidumbre

Harris y Stephens (1988), con α = 0,06

det (ΣX(x ,y))− α tr2 (ΣX(x ,y)) =〈I 2x〉 〈

I 2y〉− 〈Ix Iy 〉2 − α

(〈I 2x〉

+〈I 2y〉)2

= λ1λ2 − α(λ0 + λ1)2

que no requiere resolver el eigensistema ni ráıces cuadradas.

Brown, Szeliski y Winder (2005):

det ΣX(x ,y)

tr ΣX(x ,y)=

λ0λ1λ0 + λ1

P. Alvarado Puntos de interés 14 / 1

Detector Hessiano

Matriz Hessiana: alternativa a ΣX(x ,y)

H(x ,y ;σ) =

[Lxx(x ,y ;σ) Lxy (x ,y ;σ)Lxy (x ,y ;σ) Lyy (x ,y ;σ)

]con Lντ (x ,y ;σ) = Gντ (x ,y ;σ) ∗ I (x ,y) y

Gντ (x ,y ;σ) =∂2

∂ν∂τG (x ,y ;σ)

y

G (x ,y ;σ) =1

2πσ2e−(x

2+y2)/σ2

σ determina tamaño de ventana

Grado de interés se mide con det [H(x ,y ;σ)]

P. Alvarado Puntos de interés 15 / 1

Atribuntos de un punto de interés

Lo anterior permite encontrar posición de puntos de interés

Invarianza a escala: requiere además radio

Invarianza a rotación: requiere orientación

Invarianza af́ın: requiere aspecto

P. Alvarado Puntos de interés 16 / 1

Laplaciano de gaussianos

Mikolajczyk (2002) demostró empiricamente que método másestable busca máximos y ḿınimos del laplaciano de gaussianosnormalizado en escala:

σ2∇2G (x ,y ;σ) = σ2∇ · ∇G (x ,y ;σ)

= σ2[∂2

∂x2G (x ,y ;σ) +

∂2

∂y2G (x ,y ;σ)

]σ2∇2G (x ,y ;σ) ∗ I (x ,y) = σ2 tr [H(x ,y ;σ)]

P. Alvarado Puntos de interés 17 / 1

¿Cómo alcanzar la invarianza en escala?

Si imagen se escala pero ventana es constante ⇒ ΣX(x ,y) oH(x ,y ;σ) vaŕıan

La idea básica: detectar máximos de mediciones de interés nosolo en I (x ,y), sino en L(x ,y ;σ) donde

L(x ,y ;σ) = G (x ,y ;σ) ∗ I (x ,y)

P. Alvarado Puntos de interés 18 / 1

¿Cómo alcanzar la invarianza en escala?

Si imagen se escala pero ventana es constante ⇒ ΣX(x ,y) oH(x ,y ;σ) vaŕıan

La idea básica: detectar máximos de mediciones de interés nosolo en I (x ,y), sino en L(x ,y ;σ) donde

L(x ,y ;σ) = G (x ,y ;σ) ∗ I (x ,y)

Carlos Moya, 2004

P. Alvarado Puntos de interés 18 / 1

¿Cómo alcanzar la invarianza en escala?

Si imagen se escala pero ventana es constante ⇒ ΣX(x ,y) oH(x ,y ;σ) vaŕıan

La idea básica: detectar máximos de mediciones de interés nosolo en I (x ,y), sino en L(x ,y ;σ) donde

L(x ,y ;σ) = G (x ,y ;σ) ∗ I (x ,y)

Carlos Moya, 2004

P. Alvarado Puntos de interés 18 / 1

Espacio de escalas

Lindeberg

P. Alvarado Puntos de interés 19 / 1

Método de Lowe y BrownDiferencias de Gaussianas

Método aproxima laplaciano de gaussianos normalizado enescala con diferencias de gaussianas

D(x ,y ;σ) = (G (x ,y ; kσ)− G (x ,y ;σ)) ∗ I (x ,y)= L(x ,y ; kσ)− L(x ,y ;σ)

P. Alvarado Puntos de interés 20 / 1

Espacio de escalas de Lowe y Brown

Scale

(first

octave)

Scale

(next

octave)

Gaussian

Differenceof

Gaussian(DOG)

...

Lowe, 2004

P. Alvarado Puntos de interés 21 / 1

Escala y orientación

La escala la determina el σ del nivel con el máximo

La orientación se puede determinar con eigenvectores

Lowe utiliza histograma de direcciones y selecciona máximocon interpolación

Lowe también replica puntos de interés si hay varios máximos(el segundo mayor a 80 % del máximo)

P. Alvarado Puntos de interés 22 / 1

Invarianza af́ın

Transformaciones proyectivas se aproximan con afines

Necesaria cuando hay cambios de perspectiva en 3D

Opción: usar ambos eigenvectores del tensor de estructura ode matriz Hessiana

MSER

P. Alvarado Puntos de interés 23 / 1

MSER (1)Maximally Stable Extremal Regions

Imagen: I mapeo I : D ∈ IN2 → SS es ordenado, y existe predicado de adyacencia A (4-vecinos,p.ej.)

Región: Q ⊂ DBorde externo de region ∂Q

∂Q = {q ∈ D \ Q : ∃p ∈ Q : A(p,q)}

Región extrema: Q ∈ D region que para todo p ∈ Q:q ∈ ∂Q : I (p) > I (q) (región de intensidad máxima), oq ∈ ∂Q : I (p) < I (q) (región de intensidad ḿınima)

P. Alvarado Puntos de interés 24 / 1

MSER (2)Maximally Stable Extremal Regions

Región extrema de máxima estabilidad (MSER):

Sea Q1, . . .Qi−1,Qi . . . una sucesión de regiones extremasanidadas (Qi ⊂ Qi+1).Qi∗ es de máxima estabilidad sii q(i) = |Qi+∆ \ Qi−∆|/|Qi |tiene un ḿınimo local en i∗.

| · | denota cardinalidad.∆ ∈ S es un parámetro del método.

Existen algoritmos muy eficientes para su cálculo (quasiO(n)), similares al algoritmo de divisorias (watersheds)

P. Alvarado Puntos de interés 25 / 1

MSER (3)Maximally Stable Extremal Regions

Matas et al., 2004

P. Alvarado Puntos de interés 26 / 1

Descriptores

¿Cómo describir las regiones alrededor del punto de interés?

Imagen: sensible a iluminación: intensidad, sombras,distorsiones perspectivas, etc.

Bordes deseables

Muchas propuestas: MOPS, SIFT, PCA-SIFT, SURF, GLOH,etc.

P. Alvarado Puntos de interés 27 / 1

SIFT (1)

SIFT: Scale Invariant Feature Transform

Proposed by Lowe, 1999 (U British Columbia)

Image gradients Keypointdescriptor

Histogramas de orientación, con entradas proporcionales a|∇I |Ejemplo: descriptor 2× 2 a partir de 8× 8 muestrasLowe: descriptor 4× 4 a partir de 16× 16 muestras con 8 binspor histograma (128 dimensiones)

P. Alvarado Puntos de interés 28 / 1

SURF

SURF: Speeded Up Robust Features

Propuesto por Bay, Tuytelaars, Van Gool, 2006 (ETHZ, KULeuven)

Interés principal: aceleración del cálculo

Descriptor se basa en wavelets de Haar

Se describen subregiones con sumas de componentes de latransformada de Haar en las direcciones x y y :

v = (∑

dx ,∑

dy ,∑|dx |,

∑|dy |)

P. Alvarado Puntos de interés 29 / 1

Búsqueda de correspondencias

Objetivo: encontrar descriptores más cercanos en otra imagen

Suposición: distancia entre descriptores inversamenteproporcional a similitud

Métodos: dependen de la aplicación

Panoramas: buscar en regiones cercanas (se supone traslape)

Reconocimiento: estructuras de datos (kd-tree)

P. Alvarado Puntos de interés 30 / 1

Resumen

P. Alvarado Puntos de interés 31 / 1

Tarea 4

1 Revisar art́ıculo de Lowe sobre SIFT

2 Trabajar en el proyecto

P. Alvarado Puntos de interés 32 / 1

Este documento ha sido elaborado con software libre incluyendo LATEX, Beamer, GNUPlot, GNU/Octave, XFig,Inkscape, LTI-Lib-2, GNU-Make, Kazam, Xournal y Subversion en GNU/Linux

Este trabajo se encuentra bajo una Licencia Creative Commons Atribución-NoComercial-LicenciarIgual 3.0 Unpor-ted. Para ver una copia de esta Licencia, visite http://creativecommons.org/licenses/by-nc-sa/3.0/ o env́ıeuna carta a Creative Commons, 444 Castro Street, Suite 900, Mountain View, California, 94041, USA.

© 2017 Pablo Alvarado-Moya Escuela de Ingenieŕıa Electrónica Instituto Tecnológico de Costa Rica

P. Alvarado Puntos de interés 33 / 1

http://creativecommons.org/licenses/by-nc-sa/3.0/