Segmentación de secuencias de video en tiempo real utilizando

una WebCam

V Taller de Procesamiento de Imágenes (PI 2008)

Presenta: Francisco Javier Hernández López

Asesor: Dr. Mariano José Juan Rivera Meraz

CIMAT, Agosto/2008

Problema

• Dado una secuencia de imágenes de video, segmentar el Primer Plano (Foreground) del Fondo (Background).

Secuencia de Video Nuevo Fondo

Ilustramos nuestros resultados mediante la sustitución del fondo.

Problema

Espacio Caso I Caso II Caso III Caso IV

Primer

Plano

Móvil Móvil Estático Estático

Fondo Estático Móvil Móvil Estático

• Podemos observar que existen diferentes casos que se pueden presentar durante la secuencia de video:

Tabla 1. Casos del Problema

Utilización

• Videoconferencia

• Video vigilancia

Propuesta

WebCam

Tomamos N imágenes y calculamos μ(x)

Leemos la siguiente imagen IS(x)

Calculamos Verosimilitudde ser Fondo VB

Segmentamos con QMPFy sustituimos el Fondo.

Propuesta• Verosimilitud de ser Fondo xVB

2

2 )(2

1exp

)(2

1xxI

xxxV SB

Inicialmente probamos con una distribución gaussiana:

(1) 2exp xxIxV SB

Dado que el video es adquirido a través de un formato MPG4 (comprimido), la estimación de la varianza no es robusta, por lo que usamos simplemente:

Distribución Gaussiana Distribución Exponencial

Propuesta• Segmentación con el método QMPF.

,),()()()()(1)()(2

1)(

,

222

x yx

BF yxWyPxPxdxPxdxPxPU

. )()(

,

, )(log

, )(1log

2yIxI

yxW

xVxd

xVxd

SS

BB

BF

Siguiendo el método QMPF tenemos el siguiente funcional:

(2)

donde:

Resolviendo (2) para P(x) tenemos:

yxBF

yxB

yxWxdxd

yxWyPxd

xP

,

,

),()()(

),()()(

)(

Utilizando Gauss - SeidelCon )(1)(0 xVxP B

Propuesta• Sustitución del Fondo

• Si P(x)>Umbral entonces

• de lo contrario xIxI SSEG 2

xFNxI SEG

Donde: Umbral=0.5

• Al realizar los experimentos observamos los siguientes problemas:

Cambio de Intensidad en la escena.

Semejanza del color

Modificación de la Intensidad

Corrección de semejanzadel color

Propuesta

• Modificación de la intensidad

• restringida al área donde estamos seguros que es fondo, donde

xIxxDiv s/ UmbralxantP _

• Calculamos μRGB de los elementos de Div(x).

RGBSS xIxI •

• Finalmente calculamos la verosimilitud de ser fondo con la ecuación (1).

Propuesta

• Corrección de semejanza del color

• Calculamos el Flujo Óptico, obtenemos d(x).

• Si UmbralxVUmbralxdxantP B AND )(_

)(_12 xdxantPxVB

• de lo contrario

xVxV BB 2

• Finalmente

xVxV BB 2

Propuesta

Diagrama de Flujo Principal del Método

N imágenes I(x),FN(x),

IS2 (x) IS (x)

Ban ≤ C Ban Ban+1

Calculamos VB (x)

Segmentación con QMPF,Obtenemos P(x)

P_ant(x) P(x)

Cambiamos FondoISEG (x)

SiCon P_ant(x)

Calculamos Div(x)Calculamos µR GB IS (x) IS (x) µR GB

Calculamos VB (x)

Calculamos F.O.Calculamos VB2 (x)VB (x) VB2 (x)

Ban 0Calculamos µ(x)

Siguiente imagen IS (x)

No

1ra. Parte

2da. Parte

3ra. Parte

ExperimentosMétodo Propuesto

Método de Creative

Conclusión

Hemos presentado un método que sustituye automáticamente el fondo de una secuencia de video en tiempo real, y que además como vimos en los experimentos, es robusto a cambios de iluminación y semejanza entre el color del fondo y lo que se está moviendo.

Trabajo a Futuro

Como trabajo a futuro queremos resolver también los casos II y III (Tabla 1) del problema general, aquí necesitamos que el método tenga conocimiento de profundidad en la escena, para esto hemos pensado en colocar otra WebCam para formar un par stereo.

Preguntas …