extracción de imágenes y secuencias de vídeo de alta
TRANSCRIPT
![Page 1: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/1.jpg)
Extracción de imágenes ysecuencias de vídeo de alta
resolución a partir desecuencias de vídeocomprimidas de baja
resoluciónRafael Molina
Depto. Ciencias de la Computación e I. A.Universidad de Granada
![Page 2: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/2.jpg)
Índice
❧ Definición del problema● Extracción de imágenes de alta resolución a partir
de imágenes de baja resolución● Extracción de imágenes de alta resolución a partir
de secuencias de vídeo● Extracción de imágenes y secuencias de video de
alta resolución a partir de secuencias de vídeocomprimidas de baja resolución
❧ Bases para la compresión de vídeo❧ Formulación matemática del problema
![Page 3: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/3.jpg)
Índice (contd)
❧ Estimación de la imagen y movimiento. ModeloBayesiano.
❧ Cálculo de la moda de la distribución a posteriori.❧ Ejemplos de reconstrucción de imágenes❧ Procesamiento multi-fotograma❧ Ejemplos de reconstrucción de secuencias
![Page 4: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/4.jpg)
Desplazando las cámarasCCD a nivel de subpíxelpuedo aumentar la resoluciónde una imagen.
El efecto podría pensarse tansimple como calcular lasincógnitas de un sistema decuatro ecuaciones con cuatroincógnitas.
I. Definición del problema.I.1 Extracción de imágenes de altaresolución a partir de imágenes de bajaresolución
![Page 5: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/5.jpg)
Algunos autores llaman a este problema reconstrucciónde imágenes de alta resolución. Cuando sólo se tienenalgunas de las imágenes de baja resolución lo llamansuper-resolución. Esta no es la terminología queusamos nosotros.
N. Bose y K. Boo, (1998), High-Resolution Reconstructionwith Multisensors, International Journal of Imaging Systemsand Technology, 9, 294-304.
R.H. Chan, T.F. Chan, L. Shen, Z. Shen, Wavelet Algorithmsfor High-Resolution Image Reconstruction,http://www.math.cuhk.edu.hk/~rchan/.
![Page 6: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/6.jpg)
I.2 Extracción de imágenes de altaresolución a partir de imágenes de bajaresolución
El desplazamiento a nivel subpíxel también nospuede permitir aumentar la resolución
![Page 7: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/7.jpg)
•M. Irani y S. Peleg, (1993), “Motion Analysis for ImageEnhancement Resolution, Occlusion, and Transparency”, J. on VisualCommunications and Image Representation, vol. 4, 4, pp. 324-335
•M. Irani, B. Rousso y S. Peleg, (1994), “Computing Occluding andTransparent Motions”. Int. J. Computer Vision, vol. 12, 1, pp. 5-16.
•R.R. Schultz y R.L. Stevenson, (1996), “Extraction of High-resolution Frames from Video Sequences”, IEEE Trans. on ImageProcessing, vol. 5, 16, pp. 997-1011.
•R. Hardie, K.J. Barnad y E.E. Armstrong, (1997), “Join MapRegistration and High-Resolution Image Estimation using a Sequenceof Undersampled Images”, IEEE Trans. on Image Processing, vol. 6,12, 1621-1633.
![Page 8: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/8.jpg)
• M. Elad y A. Feuer, (1997), “Restoration of a single SuperresolutionImage from Several Blurred, Noisy, and Undersampled MeasuredImages”, IEEE Trans. on Image Processing, vol. 6, 12, pp. 1646-1657.
•J.M. Schuler y D. A. Scribner, (1999), “Increasing SpatialResolution through Temporal Super-Sampling of Digital Video”,Optical Engineering, vol. 38, 5, pp. 801-805.
•T.R. Tuinstra y R.C. Hardie, (1999), “High-resolution imagereconstruction from digital video by exploitation of nonglobalmotion”, Optical Engineering, vol. 38, 5, pp. 806-814.
•B.C. Tom y A.K. Katsaggelos, (2001), “Resolution Enhancement ofMonochrome and Color Video Using Motion Compensation”, IEEETrans. on Image Processing, vol. 10, 2 , pp. 278 -287.
![Page 9: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/9.jpg)
I.3 Extracción de imágenes y secuenciasde video de alta resolución a partir desecuencias de vídeo comprimidas de bajaresolución
![Page 10: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/10.jpg)
CodificadorMPEG
Informaciónsobre cuantificación
tipo de macrobloques
DecodificadorMPEG
![Page 11: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/11.jpg)
Objetivogk-M1 … gk … gk+M2
fk
Informaciónsobre cuantificación
tipo de macrobloques
dek,k-M1 … de
k,k+M2
dk,k-M1 … dk,k+M2
![Page 12: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/12.jpg)
•J. Mateos, A. K. Katsaggelos y R. Molina, 2000, ResolutionEnhancement of Compressed Low Resolution Video,(ICASSP'2000), vol. 4, 1919-1922.
•J. Mateos, A. K. Katsaggelos y R. Molina, 2000, High-Resolution Color Image Reconstruction from Compressed VideoSequences, (EUSIPCO'2000) (edición en CD), tomo IV,FriAmPO3.
•J. Mateos, A. K. Katsaggelos y R. Molina, 2000, SimultaneousMotion Estimation and Resolution Enhancement of CompressedLow Resolution Video, (ICIP'2000) (edición en CD), trabajo1629.
•C.A. Segall, R. Molina, A.K. Katsaggelos y J. Mateos, 2000,Bayesian High-Resolution Reconstruction of low resolutioncompressed video, ICIP2001, por aparecer.
![Page 13: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/13.jpg)
•C. A. Segall, Aggelos K. Katsaggelos, Rafael Molina y JavierMateos, 200?, Super-Resolution from Compressed Video, en Super-Resolution Imaging, Subhasis Chaudhuri, editor, capítulo 9, pp.211-242, Kluwer Academic Publishers, por aparecer.
Estos trabajos pueden obtenerse de la página del proyectoCICYT, Obtención de imágenes y vídeo de altaresolución a partir de secuencias de vídeo comprimidasde baja resolución, temporalmente enhttp://decsai.ugr.es/~jmd/proyecto/. Ver http://decsai.ugr.es/~rms/para ubicación definitiva.
![Page 14: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/14.jpg)
II. Bases para la compresión de vídeo
u imagen original de tamaño (MN)×1
][TuQv =v imagen que contiene coeficientes transformados ycuantificados de tamaño (MN)×1. T es una transformacióny Q es el opereador de cuantificación
][1 vTû −=
uuQ ≠][
û es el estimador de la imagen original, T-1 latransformación inversa.
Codificación intraframe
![Page 15: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/15.jpg)
)]([ MCûuTQv −=
Codificación interframe
I frame
B frame
P frame
u imagen original de tamaño (MN)×1, vimagen que contiene coeficientestransformados y cuantificados de tamaño(MN)×1, ûMC es el estimador porcompensación de movimiento de u que seobtiene basándonos en datos previamentedecodificados. û imagen decodificada.
MCûvTû += − ][1
![Page 16: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/16.jpg)
III. Formulación del problema
fk imagenoriginal de
altaresolución
dk-M1,k...dk+M2,kvectores originalesde alta resoluciónpara compensarcon relación al
frame k
gk-M1 … gk …gk+M2
imágenescomprimidas
de bajaresolución
dek-M1,k … de
k+M2,kvectores de bajaresolución para
compensar con relaciónal frame k de baja
resolución
![Page 17: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/17.jpg)
1−kf kf2−kf 1+kf
2−ky 1−ky ky1+ky
AH AH AH AH
Relación entrealta y bajaresolución
,..1,,1..,H
+−==
kkklll fAy
H emborronamientoA submuestreo
No dispondremosde los vectores y
![Page 18: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/18.jpg)
1−kf kf2−kf 1+kf 2+kf
( )kk ,2−d ( )kk ,2+d( )kk ,1+d( )kk ,1−d
Compensación de movimientoen alta resolución kkll fdCf )( ,=
![Page 19: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/19.jpg)
( ) MCl
MClll AHTQT yyfg +−= − )(1
,..1,,1..,H
+−==
kkklll fAy
,..1,,1..,)( ,
+−==
kkklkkll fdCf
( ) MCl
MClll TQT yyyg +−= − )(1
( ) MCl
MClkkll AHTQT yyfdCg +−= − ))(( ,
1
![Page 20: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/20.jpg)
),|(),|()()(
),|,(),(),|,(
DfDDfGDf DfDGDfDGDf
enc
encenc
kkk
kkk
ppppppp
=
∝
( ){ }),|,(),(arg
),|,(arg,
,
,
DfDGDfmax
DGDfmaxDf
enc
df
enc
df
kk
kk
pp
p
k
k
=
=
IV. Estimación de la imagen y el movimiento.Modelo bayesiano.
D y Denc van a denotar, respectivamente, todos los vectores dealta resolución y todos los de baja resolución. G denotarátodas las imágenes comprimidas de baja resolución.
Usando algunas hipótesis razonables
![Page 21: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/21.jpg)
Modelo a priori para la imagen
>−≤
=
+−∝ ∑∑
×
=
×
=
ααα
ρ
ρλρλ
α
αα
||||2||
)(
)])([()])([(21exp)(
2
122
111 21
xxxx
x
iipPMPN
ik
PMPN
ikk fQfQf
Dos posibles modelos a estudiar:DentroEntre
( )
+−∝ 2
222
1121exp)( kkkp fQfQf λλ
Mide lasuavidad dentrode los bloques
Mide la suavidadentre bloques
![Page 22: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/22.jpg)
Modelo a priori para los vector de movimiento dealta resolución
ctep ∝)(D
Aquí es posible, y deseable, utilizar modelosmás interesantes como por ejemplo suavidaden los vectores de movimiento.
![Page 23: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/23.jpg)
Modelo de observación (tiene dos partes)
−−∝ ∑
−=−−−
1
2
2, ))((
21exp),|(
M
Miikki,kkkikk Wp gfdCHADfG β
Wk-i,k debe tener las siguientes características:Tener en cuenta la distancia entre el fotograma k y elfotograma k-iTener en cuenta la calidad de la estimación de losvectores de movimiento
[ ]( ) MCl
MClkkll TQT ggfdCAHg +−= − )( ,
1
Modelo de observación para las imágenes
![Page 24: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/24.jpg)
Observación para los vectores de movimiento
−−∝ ∑
−=
1
2
2
21exp),|(
M
Mikp DDDfD encenc γ
Esta ecuación tiene muchos problemas ya que losvectores de movimiento del codificador pueden noreferirse a los mismos frames que los que correspondena fk. Además unos son de alta y otros de bajaresolución.
![Page 25: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/25.jpg)
{ }),(arg,,
^DfDf
Dfk kLmink
=
∑
∑
−=
−=−−−
−++
+−=
1
2
2222
211
1
2
2, ))((),(
M
Mik
k
M
Miikki,kkkikk WL
DDfQ
fQgfdCHADf
encγλ
λβ
V. Cálculo de la moda de la distribución aposteriori
( )[ ] ( )[ ]}{ :^
MCkk
MCkkk TQAHTQ yyyfffk −=−∈
Incluimos restricción sobre coeficientes cuantificados
![Page 26: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/26.jpg)
Procedimiento iterativo
−+−= ∑
−=−−−
21
2
2,
^))((arg enc
DDDgfdCHAWminD γβ
M
Miikki,kkkik
Suponiendo que la imagen de alta resolución es conocida
La búsqueda de los vectores de movimiento puede hacerse,por ejemplo, mediante block-matching.
Método de gradiente descendente cíclico
![Page 27: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/27.jpg)
[
gfdCHAWWAHdC
fQQfQQff
}]{
1
2,,,,
2221111
))(()(∑−=
−−−−−
+
−+
+−=M
Miikkkikkik
tkik
ttkik
t
lk
tlk
tlk
lk P
β
λλε
Baja resolución
Alta resolución
Si ahora suponemos que conocemos los vectores dedesplazamiento
P denota proyección con relación a la restricción sobre loscoeficientes de cuantificación.El método iterativo alterna entre estimación de movimientodada reconstrucción y reconstrucción dada estimación demovimiento
![Page 28: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/28.jpg)
Interpolación bilinealPSN
R = 22.31dB
Duplicación de píxelesPSN
R = 14.33dB
Método propuesto
VM de im
ágenes originalesPSN
R = 27.85dB
Método propuesto
VM de im
ágenes originalesPSN
R = 24.62dB
VI. Ejemplos de reconstrucción de imágenes
![Page 29: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/29.jpg)
Método propuesto MV de imágenes origs
Reconstrucción III
Duplicación de píxeles
Reconstrucción I
Interpolación Bilineal
Reconstrucción II
![Page 30: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/30.jpg)
original cif(and_cif_mobile.tif)
qcif con interpolaciónbilineal
(and_qcif_mobile_bl.tif)
Método propuestocon 9 frames
(and_cif_mobile_est_9frames.tif)
![Page 31: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/31.jpg)
Procesar simultáneamente todos los fotogramas entre dosfotogramas del tipo I
Para cada fotograma, k, calcular sólo dk,k-1 y dk,k+1(aproximación que se usa en los ejemplos)
Se debería intentar un procesamiento en tiempo real.
VII. Procesamiento multi-fotograma
![Page 32: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/32.jpg)
VIII. Ejemplos de reconstrucción desecuencias
Secuencia original cif(cif_original.avi)
Secuencia qcif comprimida(qcif_compressed.avi)
Estimación por replicaciónsecuencia cif (cif_zoh.avi)
Estimación propuesta secuenciacif (cif_estim_initmv.avi)
Estimación secuencia cif con los vectores demovimiento calculados a partir secuencia
inicial (cif_estim_origmv.avi)
Estimación bilinealsecuencia cif (cif_bilin.avi)
Secuencia original qcif(qcif_noncompressed.avi)
![Page 33: Extracción de imágenes y secuencias de vídeo de alta](https://reader035.vdocuments.net/reader035/viewer/2022071601/62d077e4eb19293b940d84fc/html5/thumbnails/33.jpg)
VIII. Ejemplos de reconstrucción desecuencias (contd)
Secuencia original(and_hires.avi)
Estimación inicial(and_est_init_hires.avi)
Estimación propuesta secuencia(and_hires.avi)