“técnicas recientes de procesado geométrico de imágenes y ... · técnicas de poda 4....
TRANSCRIPT
“Técnicas recientes de procesado geométrico de imágenes y de secuencias de vídeo”
Philippe Salembier
JORNADA CIENTÍFICA RSMETELECOMUNICACIONES Y MATEMÁTICAS
Junio 2005
Estructura de la Presentación
1. Introducción1. Necesidad del filtrado basado en regiones2. Representación de señales y procesado geométrico 3. Estrategias clásicas de filtrado4. Operadores conexos
2. Operadores conexos basados en procesos de reconstrucción1. Reconstrucción anti-extensiva2. Reconstrucción auto-dual
3. Operadores conexos basados en técnicas de poda de árboles1. Representación mediante árboles2. Técnicas de poda
4. Conclusión
Introducción
Reconstrucción ConclusionesPoda de árboles
• Necesidad del filtrado basado en regiones• Representación de señales y procesado geométrico • Estrategias clásicas de filtrado• Operadores conexos
Introducción
Necesidad del filtrado basado en regiones
• Representaciones clásicas:– Imagen : conjunto de píxeles o
combinación lineal de componentes frecuenciales– Vídeo : conjunto de imágenes
• Aplicaciones multimedia:– Compresión: noción de objetos, codificación selectiva,
interactividad con el contenido– Indexación: descripción semántica del contenido,
creación de tablas de contenido e índice– Una parte importante de la percepción es “geométrica”
• Las regiones (espacial, temporal, espacio-temporal)juegan un papel central
Reconstrucción ConclusionesPoda de árbolesIntroducción
Modelo de imagen Procesado
Conjunto de píxeles Procesado individual de los píxelesHistograma, Contraste, Color
Espacio-frecuencial Filtros linealesTransformadas de Fourier, DCT, Wavelet
Geométrico: regiones Morfología matemáticaDifusión EDPOperadores conexos
Objetos: Segmentación, modelo contorno/textura
Representación de señales y procesado geométrico
Reconstrucción ConclusionesPoda de árbolesIntroducción
Señal o Imagen = apilamiento de sus conjuntos de niveles
Representación de señales y procesado geométrico
Introducción
( )f t
{ }/ ( )X t f tλ λ= ≥
Reconstrucción ConclusionesPoda de árboles
Representación de señales y procesado geométrico
Introducción Reconstrucción ConclusionesPoda de árboles
C Nt
x xt
β
β
∂=
∂⇓
∂= ∇
∂
{ }
[ ] [ ] ( [ ] [ ])
p Xb B
k
X B p b
x n b n x k b n k
∈∈
∞
=−∞
⊕ = +
⇓
⊕ = + −∨
∪
Morfología matemática:(1960)
• Retículo• Dilatación / erosión de
conjuntos binarios• Dilatación / erosión de
funciones a nivel de gris• Apertura, cierre, etc.
Difusión mediante EDP:(1980)
• Geometría diferencial• EDP para transformar
las líneas de niveles • Difusión anisotrópica,
filtros de choque. • Dilatación = Flujo normal
de velocidad constante
Estrategias clásicas de filtrado
Uso de señales externas (respuesta impulsional, ventana o elemento estructurante) o desplazamiento de los contornos:⇒ Distorsión⇒ Estructuras no presentes en la señal original
Reconstrucción ConclusionesPoda de árbolesIntroducción
Original
Promedio
Apertura
Cierre Difusión anisotrópica
Mediana
Operadores conexos
Reconstrucción ConclusionesPoda de árbolesIntroducción
• Noción de zona plana:– Zonas donde la señal es constante– Crea una partición del espacio
• Definición intuitiva de los operadores conexos:– Operador que actúa por fusión de las zonas planas – No puede introducir o desplazar los contornos
• Definición formal:– Un operador ψ es conexo si la partición de zonas planas de su
entrada f es siempre “más fina” que la partición de zonas planas de su salida:
– Una partición A es “más fina” que una partición B si∀ x,y ∈ RA ⇒ x,y ∈ RB
)(ff ψΡ⊆Ρ
Ejemplo 1: filtrar / preservar (binario)
Apertura por reconstrucción binaria (Klein 76)
Reconstrucción ConclusionesPoda de árbolesIntroducción
Original
Erosión
Salida
Iterar,)()(
XYYXY
kCk
B∩1
0
−==δε
XY0 Yk
Ejemplo 2: filtrar / preservar (nivel de gris)Apertura por reconstrucción de erosión (Serra 88)
Reconstrucción ConclusionesPoda de árbolesIntroducción
Iterar,)()(
fggfg
kCk
h∧=
=
−1
0
δε
Original
Erosión
Salida
Iterar,)()(
XYYXY
kCk
B∩1
0
−==δε
Operadores conexos basados en procesos de reconstrucción
Reconstrucción ConclusionesPoda de árboles
• Reconstrucción anti-extensiva• Reconstrucción auto-dual
Introducción
Proceso de reconstrucción
• Definición:Anti-extensivo (ψ(f) ≤ f), Extensivo (f ≤ ψ(f))
• Filtrado con reconstrucción:
Reconstrucción ConclusionesPoda de árbolesIntroducción
kk
kCk
kk
kCk
gfg
fgg
gfg
fgg
∞→↑
−
∞→↓
−
=
∨=
=
∧=
lim)(
)(
lim)(
)(
ρ
ε
ρ
δ 11
))(()(),)(()( ffffff αρψαρψ ↑↓ ==
f
g
f
go g1
f
g gk
Ejemplo 1: filtros de tamaño
Reconstrucción ConclusionesPoda de árbolesIntroducción
))(()( fff hερψ ↓=
150
200
100
50
00 20 40 60 80
Original
Erosión
Reconstrucción
Niv
el d
e gr
is
Muestra
Reconstrucción de erosión
200
150
100
50
00 20 40 60 80
Niv
el d
e gr
is
Muestra
Salida
Marcador
Original
Reconstrucción del marcador
)()(caso otro ,
)())(( si ,
fmf
ffffm hh
↓
↓
=
==
ρψ
εερ0
Ejemplo 1: filtros de tamaño
Reconstrucción de erosión
Reconstrucción del marcador
Reconstrucción ConclusionesPoda de árbolesIntroducción
Erosión
Marcador
Ejemplo 2: filtros de contraste
Reconstrucción ConclusionesPoda de árbolesIntroducción
Reconstrucción de f-c
0
50
100
150
200
0 20 40 60 80
OriginalReconstrucción
Niv
el d
e gr
is
Muestra
Original - c
)()( fcff −= ↓ρψ
)()(caso otro ,
)( si ,
fmf
cffcffm
↓
↓
=
−=−=
ρψ
ρ0
Reconstrucción de f-c
Reconstrucción del marcador
Tamaño versus contraste
Reconstrucción ConclusionesPoda de árbolesIntroducción
Filtrado de tamaño Filtrado de contraste
Reconstrucción auto-dual
• Definición (Meyer 98):
• Filtrado:
Reconstrucción ConclusionesPoda de árbolesIntroducción
[ ][ ]
kk
kCkC
kCkCk
gfg
fggfggg
∞→
−−
−−
=
∧∨=∨∧=
lim)(
)()()()(
ρ
δεεδ
11
11
))(()( fff αρψ =
200
150
100
50
00 20 40 60 80
Original
MarcadorN
ivel
de
gris
Muestra
Reconstrucción
Filtros con reconstrucción auto-dual
Reconstrucción ConclusionesPoda de árbolesIntroducción
Reconstrucción de Apertura CierreApertura Cierre
Reconstrucción del filtro de mediana
Filtro de mediana
¡Proporciona una versión conexa de cualquier filtro!
Operadores conexos basados en procesos de reconstrucción
• Trabaja directamente sobre una representación muestreada de la señal
• Implementación “simple” (Implementaciones eficientes a base de colas de tipo FIFO)
• Procesado en dos pasos:– Simplificación (casi con cualquier operador)– Reconstrucción
• Pueden proporcionar una versión conexa de cualquier filtro
• Pero imponen restricciones en el criterio de simplificación
Reconstrucción ConclusionesPoda de árbolesIntroducción
Operadores conexos basados en técnicas de poda de árboles
Reconstrucción ConclusionesPoda de árboles
• Representación mediante árboles• Técnicas de poda
Introducción
Estrategia de procesado
• Creación de una representación jerárquica de regiones (árbol)• Simplificar el árbol por poda• Restituir la imagen filtrada a partir del árbol podado
Creaciónárbol Poda
Restituciónimagen
Max-treeMin-treeÁrbol binario de partición
Imagen Imagen
Reconstrucción ConclusionesPoda de árbolesIntroducción
Max-tree, Min-tree
• Representación orientada a los máximos o mínimos (Árbol(f) ≠ Árbol(-f))
• Nodos: zonas planas; Jerarquía: relación de inclusión• Existen algoritmos eficientes
Reconstrucción ConclusionesPoda de árbolesIntroducción
Max-tree Min-tree
Árbol binario de partición
• Representación auto-dual (Árbol(f) = Árbol(-f))• Secuencia de fusión de pares de regiones• Flexibilidad en el proceso de fusión
Reconstrucción ConclusionesPoda de árbolesIntroducción
1 2
5
6
3
7
4
1 2
5
6
3
1 2
5
Fusión nº1 Fusión nº2 Fusión nº3
Imagen original
1
3
3
2
5 67
4
4 4
Árbol binario de partición con criterios de color y de movimiento
Reconstrucción ConclusionesPoda de árbolesIntroducción
E
Fusión con criterio de colorFusión con criterio de color
Fusión con criterio de movimientoFusión con criterio de movimiento
Comparación
Reconstrucción ConclusionesPoda de árbolesIntroducción
Señal original
Árbol binario de partición
0
50
100
150
200
Min-Tree
Max-Tree
Nivelde gris
24
3540
42
43
45
4848
48
49
52 52
58
6262
63
66
70
70
75
79
86
87
8990
95
95
96 102
102
104
108
108
109
111
111
114
114
115
117
124
127
127
129
130
141
142142
156
142142
141
130
129
127
127 124
115
115
114114
111 111
109
108 108
104
102
96 95
95
90
8987 86
79
75
7070
6663
62
62
58
52
49
48
45
43
42
40
35
24
24
156
102
117
Filtrado: Poda
Criterio no crecienteCriterio creciente
)()( Si 2121 RCRCRR ≤⇒⊆
Creaciónárbol Poda
Restituciónimagen
Imagen Imagen
Reconstrucción ConclusionesPoda de árbolesIntroducción
Criterio no creciente: modificaciones de las decisiones
Reconstrucción ConclusionesPoda de árbolesIntroducción
N4 N5
N2 N3
N1
Estructura para el algoritmode Viterbi
N2 N3
N1
N4 N5
Eliminar Mantener
Eliminar
Mantener MantenerEliminar
Mantener MantenerEliminar
Mantener
Árbol original(Max-Tree, Min-Tree orÁrbol bin. de partición)
coste:0coste:1
coste:1 coste:0
coste:0coste:1
coste:1coste:0coste:1coste:0
• Modificar el número mínimo de decisiones para definir una poda• Problema de programación dinámica (algoritmo de Viterbi)
N4 N5
N2 N3
N1
Estructura para el algoritmode Viterbi
Ejemplo de optimización
N2 N3
N1
N4 N5
Remove Preserve
Remove
Preserve PreserveRemove
Preserve PreserveRemove
Remove
Árbol original(Max-Tree, Min-Tree oÁrbol bin. de partición)
cost:0cost:1
cost:1 cost:0
cost:0cost:1
cost:1cost:0cost:1cost:0
C=1
Reconstrucción ConclusionesPoda de árbolesIntroducción
Ejemplos
Reconstrucción ConclusionesPoda de árbolesIntroducción
Original
Apertura de área(Max-tree)
Cierre de área(Min-tree)
Criterio creciente: Área
Ejemplos
Reconstrucción ConclusionesPoda de árbolesIntroducción
Original Simplificación de movimiento
Dual Diferencia
Criterio no-creciente: DFD
Optimización con restricción
• Minimización de un criterio C(.) con restricción K(.)(C y K: aditivos)
( ) ( )
( ) ( ) ( ) KN
iN N
ii
KN
iN
i
TNKNKNCMin
TNKNCMin
ii i
ii
≤
+⇔
≤
∑∑ ∑
∑∑
que tal con ,
con ,
** λλ
N0
N1 N3N2
( ) ( ) ( ) ( )
{ } 321
00
,,
**
i
=⇒
+<+ ∑ ∑
ii
N Nii
NPodar
NKNCNKNCSi i
λλ
Reconstrucción ConclusionesPoda de árbolesIntroducción
Ejemplo:
• Criterio: Número de zonas planasC(Ni) = 1
• Restricción: PSNR > 31 dB
• Criterio: Perímetro de las zonas planas: C(Ni) = Perímetro de Ni
• Restricción: PSNR > 31 dB
( )∑ ∑∈
−ψ=i iN Nx
2)x(f)x)(f(SE
Zonas planas: 219
Perímetro: 3684
Zonas planas: 87
Perímetro: 4491
Original: zonas planas: > 10 000Perímetro: > 30 000
Reconstrucción ConclusionesPoda de árbolesIntroducción
Otras aplicacionesOptimización con restricción (aplicación a la codificación)
Reconstrucción ConclusionesPoda de árbolesIntroducción
Propagación y Segmentación
Detección de objetos (caras)
F. Marqués, V. Vilaplana
Operadores conexos basados en técnicas de poda de árboles
• Trabaja sobre una representación estructurada de la señal
• Procesado en tres pasos:– Creación del árbol– Simplificación mediante poda– Restitución de la imagen
• Flexibilidad:– Criterios de creación del árbol (color, movimiento, etc.)– Criterios de poda:
• Filtrado: área, contraste, características geométricas, textura, movimiento, etc.
• Propagación y segmentación automática o interactiva• Optimización con restricción (ejemplo de aplicación: codificación)• Detección de objetos
Reconstrucción ConclusionesPoda de árbolesIntroducción
Conclusión• Filtrado basado en regiones ⇒ Operador conexo
• Representación “píxel” ⇒ Reconstrucción– Cualquier filtro ⇒ Versión “conexa”
• Representación “región” ⇒ Árbol: Max-tree, ABP,...– Filtrado ⇒ Poda– Flexibilidad ⇒ Creación y poda– Criterio creciente ⇒ Poda directa – Criterio no creciente ⇒ Programación dinámica
(Viterbi)– Optimización con restricción ⇒ Optimización con técnicas
de Lagrange• Otras aplicaciones
– Segmentación– Detección de objetos (cara)
Reconstrucción ConclusionesPoda de árbolesIntroducción
Extensiones• Aspectos teóricos
– Estudio de la propiedades teóricas de los filtros: Creciente, extensivo, idempotente, reglas de composición, etc. (importante para crear nuevos filtros)
• Combinar con técnicas alternativas– Operadores conexos fusionan zonas planas sin desformarlas– Morfología matemática y técnicas de procesado mediante
Ecuaciones en Derivadas Parciales: deformación de las zonas planas
– Combinación de las dos técnicas alternativas
• Aplicaciones– Extender los criterios de los filtros– Estudiar el interés de la versión conexa de los filtros clásicos– Análisis multiescala
Reconstrucción ConclusionesPoda de árbolesIntroducción