face detection in color images using pca

8/14/2019 Face Detection in Color Images Using PCA

1/5

F A C E D E T E C T I O N I N C O L O R I M A G E S

U S I N G P R I N C I P A L C O M P O N E N T S A N A L Y S I S

B . M e n s e r a n d F . M u l l e r

A a c h e n U n i v e r s i t y o f T e c h n o l o g y ( R W T H ) , G e r m a n y

A B S T R A C T

I n t h i s p a p e r w e p r e s e n t a f a c e d e t e c t i o n a l g o -

r i t h m f o r c o l o r i m a g e s w i t h c o m p l e x b a c k g r o u n d .

W e i n c l u d e c o l o r i n f o r m a t i o n i n t o a f a c e d e t e c -

t i o n a p p r o a c h b a s e d o n p r i n c i p a l c o m p o n e n t s a n a l -

y s i s ( P C A ) . A s k i n c o l o r p r o b a b i l i t y i m a g e i s g e n -

e r a t e d b y d o i n g a c o l o r a n a l y s i s a n d t h e P C A i s

p e r f o r m e d o n t h i s n e w i m a g e i n s t e a d o f t h e l u m i -

n a n c e i m a g e . E x p e r i m e n t s s h o w t h a t c o l o r i n f o r m a -

t i o n i m p r o v e s t h e r o b u s t n e s s o f t h e d e t e c t i o n s i g n i f -

i c a n t l y .

I N T R O D U C T I O N

I n t h e r e c e n t p a s t t h e r e i s a g r o w i n g i n t e r e s t i n

i m a g e c o n t e n t a n a l y s i s , g i v e n a l a r g e n u m b e r o f

a p p l i c a t i o n s l i k e i m a g e r e t r i e v a l i n d a t a b a s e s , f a c e

r e c o g n i t i o n o r c o n t e n t - b a s e d i m a g e c o d i n g . T h e

a u t o m a t i c d e t e c t i o n o f h u m a n f a c e s i n i m a g e s w i t h

c o m p l e x b a c k g r o u n d i s a n i m p o r t a n t p r e l i m i n a r y

t a s k f o r t h e s e a p p l i c a t i o n s ( s e e f o r e x a m p l e C h e l l a p a

e t a l 1 ] ) .

A p r o b l e m c l o s e l y r e l a t e d t o f a c e d e t e c t i o n i s f a c e

r e c o g n i t i o n . O n e o f t h e b a s i c a p p r o a c h e s i n f a c e

r e c o g n i t i o n i s t h e e i g e n s p a c e d e c o m p o s i t i o n ( e . g . T u r k

a n d P e n t l a n d 8 ] ) . T h e i m a g e u n d e r c o n s i d e r a -

t i o n i s p r o j e c t e d i n t o a l o w d i m e n s i o n a l f e a t u r e s p a c e

t h a t i s s p a n n e d b y t h e e i g e n v e c t o r s o f a s e t o f t e s t

f a c e s . F o r t h e r e c o g n i t i o n t a s k , t h e r e s u l t i n g c o -

e c i e n t s ( p r i n c i p a l c o m p o n e n t s ) a r e c o m p a r e d t o

t h o s e o f i m a g e s i n t h e d a t a b a s e . P r i n c i p a l c o m p o -

n e n t s a n a l y s i s ( P C A ) c a n a l s o b e u s e d f o r t h e l o c a l -

i z a t i o n o f a f a c e r e g i o n . A n i m a g e p a t t e r n i s c l a s -

s i e d a s a f a c e i f i t s d i s t a n c e t o t h e f a c e s p a c e i s

s m a l l e r t h a n a c e r t a i n t h r e s h o l d . H o w e v e r , o u r e x -

p e r i m e n t s s h o w t h a t t h e b a c k g r o u n d l e a d s t o a s i g -

n i c a n t n u m b e r o f f a l s e c l a s s i c a t i o n s i f t h e f a c e r e -

g i o n i s r e l a t i v e l y s m a l l .

F o r t h e d e t e c t i o n o f f a c i a l r e g i o n s i n c o l o r i m a g e s ,

s e v e r a l t e c h n i q u e s h a v e b e e n p r o p o s e d s o f a r , u s i n g

t e x t u r e , s h a p e a n d c o l o r i n f o r m a t i o n , e . g . S o b o t t k a

a n d P i t a s 6 ] , S a b e r a n d T e k a l p 5 ] , W a n g a n d

C h a n g 9 ] . D u e t o t h e f a c t t h a t c o l o r i s t h e

m o s t d i s c r i m i n a t i n g f e a t u r e o f a f a c i a l r e g i o n , t h e

r s t s t e p o f m a n y f a c e d e t e c t i o n a l g o r i t h m s i s a

p i x e l - b a s e d c o l o r s e g m e n t a t i o n t o d e t e c t s k i n - c o l o r e d

r e g i o n s . T h e p e r f o r m a n c e o f s u c h a h i e r a r c h i c a l

s y s t e m i s h i g h l y d e p e n d e n t o n t h e r e s u l t s o f t h i s

i n i t i a l s e g m e n t a t i o n . T h e s u b s e q u e n t c l a s s i c a t i o n

b a s e d o n s h a p e m a y f a i l i f o n l y p a r t s o f t h e f a c e

a r e d e t e c t e d o r t h e f a c e r e g i o n i s m e r g e d w i t h s k i n -

c o l o r e d b a c k g r o u n d .

I n t h i s p a p e r w e i n c o r p o r a t e c o l o r i n f o r m a t i o n

i n t o a f a c e d e t e c t i o n s c h e m e b a s e d o n p r i n c i p a l

c o m p o n e n t s a n a l y s i s . I n s t e a d o f p e r f o r m i n g a

p i x e l - b a s e d c o l o r s e g m e n t a t i o n , w e c r e a t e a n e w

i m a g e w h i c h i n d i c a t e s t h e p r o b a b i l i t y o f e a c h i m a g e

p i x e l b e l o n g i n g t o a s k i n r e g i o n ( s k i n p r o b a b i l i t y

i m a g e ) . U s i n g t h e f a c t t h a t t h e o r i g i n a l l u m i n a n c e

i m a g e a n d t h e p r o b a b i l i t y i m a g e h a v e s i m i l a r g r e y -

l e v e l d i s t r i b u t i o n s i n f a c i a l r e g i o n s , w e e m p l o y a

p r i n c i p a l c o m p o n e n t s a n a l y s i s t o d e t e c t f a c i a l r e g i o n s

i n t h e p r o b a b i l i t y i m a g e . T h e u t i l i z a t i o n o f c o l o r

i n f o r m a t i o n i n a P C A f r a m e w o r k r e s u l t s i n a r o b u s t

f a c e d e t e c t i o n e v e n i n t h e p r e s e n c e o f c o m p l e x a n d

s k i n c o l o r e d b a c k g r o u n d . O u r d e t e c t i o n a l g o r i t h m

n d s f r o n t a l v i e w s o f h u m a n f a c e s i n c o l o r i m a g e s

o v e r a r a n g e o f s c a l e s .

C O L O R A N A L Y S I S

T h e c o l o r o f h u m a n s k i n i s d i s t i n c t i v e f r o m t h e

c o l o r o f m a n y o t h e r n a t u r a l o b j e c t s , h e n c e c o l o r i s

a v e r y i m p o r t a n t f e a t u r e t h a t c a n b e u s e d f o r f a c e

d e t e c t i o n . A n a l y z i n g t h e s k i n - t o n e c o l o r s t a t i s t i c s ,

o n e o b s e r v e s t h a t s k i n c o l o r s a r e d i s t r i b u t e d o v e r a

s m a l l a r e a i n t h e c h r o m i n a n c e p l a n e a n d t h e m a j o r

d i e r e n c e b e t w e e n s k i n t o n e s i s i n t e n s i t y . T h u s , t h e

i m a g e i s r s t c o n v e r t e d i n t o a c o l o r s p a c e w h i c h

p r o v i d e s a s e p a r a t i o n i n t o a l u m i n a n c e c h a n n e l a n d

t w o c h r o m i n a n c e c o m p o n e n t s l i k e t h e Y C b C r c o l o r

s p a c e .

L e t w

i j

d e n o t e t h e v e c t o r w h i c h i s f o r m e d b y

t h e c h r o m i n a n c e c o m p o n e n t s o f t h e p i x e l a t s i t e

( i j ) . T h e c o n d i t i o n a l p r o b a b i l i t y f u n c t i o n o f w

i j

b e l o n g i n g t o t h e s k i n c l a s s S i s m o d e l e d b y a t w o -

d i m e n s i o n a l G a u s s i a n

p ( w

i j

j S ) =

e x p ;

1

2

( w

i j

;

S

)

T

; 1

S

( w

i j

;

S

) ]

2 j

S

j

1

2

( 1 )

T h e m e a n

S

a n d t h e c o v a r i a n c e m a t r i x

S

o f t h e

d i s t r i b u t i o n a r e e s t i m a t e d f r o m a t r a i n i n g s e t . T h e

g a u s s i a n a p p r o a c h c a n b e v e r i e d b y a n o n p a r a m e t -

r i c d e n s i t y e s t i m a t i o n ( p a r z e n e s t i m a t e ) .

U s u a l l y , t h e c o n d i t i o n a l p d f i s u s e d f o r a c l a s s i c a -

t i o n o f t h e i m a g e p i x e l s . I n 5 ] a t h r e s h o l d i s s e -


2/5

F i g u r e 1 : L u m i n a c e i m a g e ( s a l e s m a n # 1 )

l e c t e d t o d e c i d e w h e t h e r a p i x e l b e l o n g s t o t h e s k i n

c l a s s o r n o t . I n 6 ] a n d 9 ] a p i x e l i s c l a s s i e d a s a

s k i n - t o n e p i x e l i f i t s c h r o m a t i c i t y f a l l s w i t h i n a p r e d e -

n e d r e g i o n o f t h e c o l o r s p a c e . T h e s u b s e q u e n t a n a l -

y s i s o f t h e f a c e c a n d i d a t e s i s r e g i o n - b a s e d a n d m a y

f a i l i f a f a c e i s n o t c o r r e c t l y e x t r a c t e d i n t o o n e s i n -

g l e r e g i o n .

I n s t e a d o f d o i n g a b i n a r y s e g m e n t a t i o n , w e p r e s e r v e

t h e c o n t i n u o u s i n f o r m a t i o n g i v e n b y p ( w

i j

j S ) . W e

c r e a t e a s o c a l l e d s k i n p r o b a b i l i t y i m a g e w h i c h i n -

d i c a t e s t h e p r o b a b i l i t y o f e a c h i m a g e p i x e l b e l o n g -

i n g t o t h e s k i n c l a s s S :

( i j ) p ( w

i j

j S ) ( 2 )

F i g . 1 a n d 2 s h o w s t h e l u m i n a n c e c o m p o n e n t o f t h e

i m a g e s a l e s m a n # 1 a n d t h e s k i n p r o b a b i l i t y i m a g e ,

r e s p e c t i v e l y .

T h e t e s t i m a g e h a s c o m p l e x b a c k g r o u n d w i t h o b j e c t s

c o l o r e d s i m i l a r t o h u m a n s k i n . T h e e x a m p l e s h o w s

t h a t i t i s d i c u l t t o n d a t h r e s h o l d s u c h t h a t t h e

w h o l e f a c e i s r e p r e s e n t e d b y a s i n g l e r e g i o n w h i c h i s

n o t c o n n e c t e d w i t h b a c k g r o u n d o b j e c t s .

A n i m p o r t a n t o b s e r v a t i o n i s t h a t t h e p r o b a b i l i t y

i m a g e r e s e m b l e s t h e o r i g i n a l l u m i n a n c e i m a g e i n

f a c i a l r e g i o n s . F o r e x a m p l e , p a r t s o f t h e f a c e w h i c h

d o n o t h a v e s k i n c o l o r l i k e t h e e y e s a p p e a r a s d a r k

h o l e s i n b o t h l u m i n a n c e i m a g e a n d s k i n p r o b a b i l i t y

i m a g e . O n t h e o t h e r h a n d , i m a g e r e g i o n s w i t h

d i e r e n t c o l o r ( b a c k g r o u n d ) a r e s u p p r e s s e d i n t h e

s k i n p r o b a b i l i t y i m a g e . G e n e r a l l y s p e a k i n g , t h e g r e y -

l e v e l d i s t r i b u t i o n o f a f a c e r e g i o n i s v e r y s i m i l a r i n

t h e o r i g i n a l l u m i n a n c e i m a g e a n d t h e s k i n p r o b a b i l i t y

i m a g e . S i n c e t h e i m p o r t a n t g l o b a l f e a t u r e s o f

a f a c e ( e . g . s h a p e , e y e s , m o u t h ) a r e p r e s e r v e d ,

w e s u g g e s t t o a p p l y a f a c e d e t e c t i o n a l g o r i t h m

b a s e d o n p r i n c i p a l c o m p o n e n t s a n a l y s i s t o t h e s k i n

p r o b a b i l i t y i m a g e i n s t e a d o f t h e l u m i n a n c e i m a g e .

T h e m a j o r b e n e t o f u s i n g t h e s k i n p r o b a b i l i t y i m a g e

i s t h a t a f a c i a l r e g i o n i s e n h a n c e d c o m p a r e d t o t h e

F i g u r e 2 : S k i n t o n e p r o b a b i l i t y i m a g e

b a c k g r o u n d . F u r t h e r m o r e , t h e i n u e n c e o f d i e r e n t

l i g h t i n g c o n d i t i o n s i s d r a s t i c a l l y r e d u c e d s i n c e t h e

s k i n p r o b a b i l i t y d e p e n d s n o t o n t h e l u m i n a n c e .

A s i m i l a r a p p r o a c h h a s b e e n p r e s e n t e d b y D a i a n d

N a k a n o 2 ] , w h e r e a f a c e t e x t u r e m o d e l o r i g i n a l l y

d e v e l o p e d f o r g r e y - l e v e l i m a g e s i s a p p l i e d t o t h e I -

c o m p o n e n t o f a n i m a g e i n t h e Y I Q c o l o r s p a c e .

P R I N C I P A L C O M P O N E N T A N A L Y S I S

M o s t f a c e d e t e c t i o n s c h e m e s c a n b e d i v i d e d i n t o t w o

d i e r e n t s t r a t e g i e s . T h e r s t m e t h o d i s b a s e d o n t h e

d e t e c t i o n o f f a c i a l f e a t u r e s ( e . g . Y o w a n d C i p p o l a

1 0 ] ) , w h e r e a s t h e s e c o n d a p p r o a c h t r i e s t o d e t e c t a

f a c e p a t t e r n a s a w h o l e u n i t ( e . g . S u n g a n d P o g g i o

7 ] , M o g h a d d a m a n d P e n t l a n d 4 ] ) . F o l l o w i n g t h e

s e c o n d a p p r o a c h , e a c h i m a g e p a t t e r n o f d i m e n s i o n

I b y J c a n b e c o n s i d e r e d a s a v e c t o r x i n a

N = I J d i m e n s i o n a l s p a c e . O b v i o u s l y , i m a g e s o f

f a c e s w i l l n o t b e r a n d o m l y d i s t r i b u t e d i n t h i s h i g h

d i m e n s i o n a l i m a g e s p a c e . A s u i t a b l e m e a n t o r e d u c e

t h e d i m e n s i o n a l i t y o f t h e d a t a s e t i s t h e p r i n c i p a l

c o m p o n e n t s a n a l y s i s ( P C A ) .

T h e c e n t r a l i d e a o f p r i n c i p a l c o m p o n e n t s a n a l y s i s

i s t o n d a l o w d i m e n s i o n a l s u b s p a c e ( t h e f e a t u r e

s p a c e ) w h i c h c a p t u r e s m o s t o f t h e v a r i a t i o n w i t h i n

t h e d a t a s e t a n d t h e r e f o r e a l l o w s t h e b e s t l e a s t -

s q u a r e a p p r o x i m a t i o n ( J o l l i e 3 ] ) . W h e n u s e d

f o r f a c e d e t e c t i o n a n d r e c o g n i t i o n , t h i s p r i n c i p a l

s u b s p a c e i s o f t e n c a l l e d t h e \ f a c e s p a c e " w h i c h i s

s p a n n e d b y t h e \ e i g e n f a c e s " 8 ] .

G i v e n a s e t o f t r a i n i n g v e c t o r s f x g ( f a c e s a m p l e s )

w i t h s a m p l e c o v a r i a n c e m a t r i x , t h e K L T b a s i s c a n

b e c o m p u t e d b y s o l v i n g t h e e i g e n v a l u e p r o b l e m

= P

T

P ( 3 )

w h e r e P i s t h e e i g e n v e c t o r m a t r i x o f a n d t h e

d i a g o n a l m a t r i x o f t h e e i g e n v a l u e s .


3/5

T h e o r t h o g o n a l p r o j e c t i o n m a t r i x P

M

i n t o t h e M -

d i m e n s i o n a l p r i n c i p a l s u b s p a c e ( M N ) i s g i v e n

b y t h e M e i g e n v e c t o r s c o r r e s p o n d i n g t o t h e l a r g e s t

e i g e n v a l u e s . T h e s e e i g e n v e c t o r s ( \ e i g e n f a c e s " ) f o r m

t h e c o l u m n s o f t h e p r o j e c t i o n m a t r i x P

M

T h e p r i n c i p a l c o m p o n e n t s v e c t o r y i s o b t a i n e d b y

p r o j e c t i n g t h e i m a g e x i n t o t h e f a c e s p a c e :

y = P

T

M

( x ;

x ) ( 4 )

w h e r e

x d e n o t e s t h e m e a n f a c e i m a g e .

T h e c l a s s i c a t i o n o f t h e i m a g e p a t t e r n c o n t a i n i n g N

p i x e l s a s \ f a c e " o r \ n o n - f a c e " i s o n l y b a s e d o n i t s M

p r i n c i p a l c o m p o n e n t s y

i

T h e a p p r o x i m a t i o n o f a f a c e u s i n g M \ e i g e n f a c e s " i s

g i v e n b y

x = P

M

y +

x . T h e r e s i d u a l r e c o n s t r u c t i o n

e r r o r

2

2

= j j ( x ;

x ) j j

2

= j j ( x ;

x ) ; P

M

y j j

2

= j j x ;

x j j

2

;

M

X

i = 1

y

2

i

( 5 )

i n d i c a t e s h o w w e l l t h e t e s t p a t t e r n c a n b e a p p r o x i -

m a t e d i n t h e f a c e s p a c e . T h u s , t h e \ d i s t a n c e f r o m

f a c e s p a c e " ( D F F S ) d e n e d b y e q u a t i o n ( 5 ) c a n

b e u s e d t o d e t e r m i n e i f t h e i m a g e p a t t e r n r e p r e -

s e n t s a f a c e 8 ] .

T h e d i s t a n c e b e t w e e n t h e p r o j e c t e d i m a g e a n d t h e

m e a n f a c e i m a g e i n t h e f e a t u r e s p a c e i s g i v e n b y t h e

n o r m o f t h e p r i n c i p a l c o m p o n e n t v e c t o r . S i n c e t h e

v a r i a n c e o f a p r i n c i p a l c o m p o n e n t y

i

i s g i v e n b y t h e

a s s o c i a t e d e i g e n v a l u e

i

, t h e s q u a r e d M a h a l a n o b i s

d i s t a n c e d

2

p r o v i d e s a s u i t a b l e m e a s u r e o f t h e

d i e r e n c e b e t w e e n t h e p r o j e c t i o n o f t h e t e s t i m a g e

a n d t h e m e a n f a c e :

d

2

= y

T

; 1

y =

M

X

i = 1

y

2

i

i

( 6 )

F o r t h e d e t e c t i o n t a s k , i t i s c u s t o m a r y t o u s e o n l y t h e

D F F S f o r t h e d e c i s i o n c r i t e r i o n 8 ] . A s s h o w n i n t h e

n e x t s e c t i o n , t h e i n c o r p o r a t i o n o f t h e \ d i s t a n c e i n

f a c e s p a c e " ( D I F S ) d e n e d b y e q u a t i o n ( 6 ) i m p r o v e s

t h e r o b u s t n e s s o f t h e d e t e c t i o n s i g n i c a n t l y i f t h e

d e t e c t i o n i s p e r f o r m e d o n t h e s k i n p r o b a b i l i t y i m a g e .

F A C E D E T E C T I O N U S I N G P C A

I n o u r e x p e r i m e n t s w e u s e a 1 0 - d i m e n s i o n a l p r i n -

c i p a l s u b s p a c e ( M = 1 0 ) . T h e p r o j e c t i o n m a -

t r i x P

M

i s c a l c u l a t e d b y a n e i g e n s p a c e d e c o m p o s i -

t i o n u s i n g a s e t o f l u m i n a n c e f a c e t e s t i m a g e s . T o l o -

c a l i z e a f a c i a l r e g i o n i n a n e w i m a g e , t h e e r r o r c r i -

t e r i o n m u s t b e c o m p u t e d f o r e a c h p i x e l p o s i t i o n , r e -

s u l t i n g i n a d i s t a n c e m a p . F o r t h e m o m e n t , w e u s e

a s i m p l e d e t e c t o r w h i c h i s b a s e d o n l y o n t h e \ d i s -

t a n c e f r o m f a c e s p a c e " ( D F F S ) . T h e g l o b a l m i n i -

m u m o f t h e d i s t a n c e m a p i s t h e n s e l e c t e d a s t h e b e s t

m a t c h . W h e n u s i n g M e i g e n v e c t o r s , t h e c o m p u t a -

t i o n o f t h e D F F S r e q u i r e s M + 1 c o r r e l a t i o n s ( w i t h

t h e M \ e i g e n f a c e s " a n d t h e m e a n i m a g e ) a n d a n a d -

d i t i o n a l e n e r g y c a l c u l a t i o n . T h e c o r r e l a t i o n s c a n b e

e c i e n t l y c o m p u t e d u s i n g t h e F F T .

F i r s t w e a n a l y z e t h e P C A - b a s e d f a c e d e t e c t i o n o n

g r e y l e v e l i m a g e s a n d p o i n t o u t t h e p r o b l e m s c a u s e d

b y t h e i m a g e b a c k g r o u n d .

F i g u r e 3 : D i s t a n c e m a p f o r t h e l u m i n a n c e c o m p o -

n e n t u s i n g D F F S ( s a l e s m a n # 1 )

F i g . 3 s h o w s t h e D F F S m a p f o r t h e l u m i n a n c e i m a g e

s a l e s m a n # 1 . T h e g l o b a l m i n i m u m i s m a r k e d b y

t h e w h i t e c i r c l e . T h o u g h t h e r e i s a l o c a l m i n i m u m

a t t h e t r u e f a c e p o s i t i o n , t h e b e s t m a t c h i s i n t h e

b a c k g r o u n d r e g i o n l e a d i n g t o a f a l s e d e t e c t i o n . T h e

D F F S i s h i g h f o r n o n - f a c i a l i m a g e r e g i o n s w i t h a

h i g h c h a n g i n g i n t h e i n t e n s i t y ( e . g . t h e a r e a t h a t

i n c l u d e s p a r t s o f t h e l i g h t - c o l o r e d s h i r t a n d t h e

d a r k b a c k g r o u n d ) . O n t h e o t h e r h a n d , t h e D F F S

b e c o m e s r e l a t i v e s m a l l i n n o n - f a c i a l r e g i o n s w i t h

l i t t l e v a r i a n c e i n t h e i n t e n s i t y l i k e p a r t s o f t h e

b a c k g r o u n d a t t h e r i g h t s i d e o f t h e t e s t i m a g e . T h i s

i s d u e t o t h e f a c t t h a t a n i m a g e p a t t e r n t h a t c a n b e

m o d e l e d b y n o i s e c a n b e b e t t e r r e p r e s e n t e d b y t h e

e i g e n f a c e s t h a n a n o n - f a c i a l i m a g e p a t t e r n c o n t a i n i n g

a s t r o n g e d g e . T h e r e f o r e , d e t e c t i o n b a s e d o n t h e

D F F S b e c o m e s d i c u l t e v e n i n i m a g e s w i t h a s i m p l e

b a c k g r o u n d i f t h e f a c e r e g i o n d o e s n o t c o v e r t h e m a i n

p a r t o f t h e t e s t i m a g e .

W e n o w a p p l y a p r i n c i p a l c o m p o n e n t a n a l y s i s t o t h e

s k i n p r o b a b i l i t y i m a g e d e n e d b y e q u a t i o n ( 2 ) u s i n g

t h e s a m e p r o j e c t i o n m a t r i x . T h e D F F S m a p f o r t h e

s k i n p r o b a b i l i t y i m a g e s h o w n i n g . 2 i s d i s p l a y e d

i n g . 4 a . T h e t r u e f a c e r e g i o n i s c h a r a c t e r i z e d b y

a l o c a l m i n i m u m . S i m i l a r t o t h e l u m i n a n c e c a s e ,

t h e e r r o r c r i t e r i o n i s a l s o l o w i n b a c k g r o u n d r e g i o n s

w i t h l i t t l e v a r i a n c e . T h e s e r e g i o n s r e p r e s e n t n o n -

s k i n - c o l o r e d b a c k g r o u n d , s o t h e p r o b a b i l i t y i m a g e i s

n e a r z e r o i n t h e s e a r e a s .

F i g . 4 b s h o w s t h e \ d i s t a n c e i n f a c e s p a c e " f o r e a c h


4/5

a ) D F F S

b ) D I F S

F i g u r e 4 : D i s t a n c e m a p s f o r t h e s k i n p r o b a b i l i t y

i m a g e ( s a l e s m a n # 1 )

s p a t i a l p o s i t i o n w h i c h i s d e n e d b y t h e w e i g h t e d

L S - n o r m o f t h e p r i n c i p a l c o m p o n e n t v e c t o r . T h e

p r o j e c t i o n o f a n i m a g e r e g i o n w i t h v a l u e s n e a r

z e r o i n t o t h e f a c e s p a c e r e s u l t s i n l a r g e p r i n c i p a l

c o m p o n e n t s . T h u s , t h e D I F S c a n b e e m p l o y e d

t o e l i m i n a t e t h e i n u e n c e o f t h e n o n - s k i n - c o l o r e d

b a c k g r o u n d . S i n c e n o a d d i t i o n a l c o r r e l a t i o n i s

n e c e s s a r y f o r t h e c a l c u l a t i o n o f t h e D I F S , t h e

c o m p u t a t i o n a l l o a d i n c r e a s e s o n l y s l i g h t l y . W e d e n e

a n e w e r r o r c r i t e r i o n w h i c h i s a w e i g h t e d s u m o f t h e

D F F S a n d t h e D I F S :

e = d

2

+ c

2

( 7 )

S i n c e t h e p r i n c i p a l c o m p o n e n t s a r e s c a l e d b y t h e

c o r r e s p o n d i n g e i g e n v a l u e s f o r t h e c a l c u l a t i o n o f t h e

D I F S , a s i m i l a r s c a l i n g i s n e c e s s a r y f o r t h e D F F S .

T h u s , w e s e t t h e s c a l i n g f a c t o r t o c =

1

k

M

w h e r e

M

d e n o t e s t h e s m a l l e s t c a l c u l a t e d e i g e n v a l u e a n d

k i s a s m a l l c o n s t a n t ( k = 1 5 ) d e t e r m i n e d b y

a ) C o m b i n e d e r r o r c r i t e r i o n

b ) D e t e c t e d f a c e r e g i o n

F i g u r e 5 : F a c e d e t e c t i o n u s i n g D F F S a n d D I F S

e x p e r i m e n t s .

I n 4 ] t h e e i g e n s p a c e d e c o m p o s i t i o n i s u s e d t o e s t i -

m a t e t h e c o m p l e t e p r o b a b i l i t y d e n s i t y f o r a c e r t a i n

o b j e c t c l a s s ( e . g . t h e f a c e c l a s s ) . A s s u m i n g a n o r m a l

d i s t r i b u t i o n , t h e e s t i m a t e f o r t h e M a h a l a n o b i s d i s -

t a n c e i s a l s o a w e i g h t e d s u m o f t h e D F F S a n d t h e

D I F S s i m i l a r t o e q u a t i o n ( 7 ) . A m a i n d i e r e n c e i s

t h a t o u r s c a l i n g f a c t o r c i s m u c h s m a l l e r t h a n t h e

o n e u s e d i n 4 ] b e c a u s e t h e D I F S p r o v i d e s m o r e i n -

f o r m a t i o n w h e n u s i n g t h e s k i n p r o b a b i l i t y i m a g e i n -

s t e a d o f t h e l u m i n a n c e i m a g e . T h e d i s t a n c e m a p u s -

i n g t h e c o m b i n e d e r r o r c r i t e r i o n i s s h o w n i n g . 5 a .

T h e g l o b a l m i n i m u m ( m a r k e d b y t h e w h i t e c i r c l e ) l i e s

i n t h e t r u e f a c e r e g i o n a n d t h e f a c e i s d e t e c t e d c o r -

r e c t l y . F i g . 5 b s h o w s t h e d e t e c t e d f a c e r e g i o n s u p e r -

i m p o s e d o n t h e l u m i n a n c e c o m p o n e n t .

T o d e t e c t f a c e s a t m u l t i p l e s c a l e s , t h e d e t e c t i o n

a l g o r i t h m i s p e r f o r m e d o n s e v e r a l s c a l e d v e r s i o n s o f

t h e s k i n p r o b a b i l i t y i m a g e a n d t h e g l o b a l m i n i m u m

o f t h e r e s u l t i n g m u l t i - s c a l e d i s t a n c e m a p s i s s e l e c t e d


5/5

F i g u r e 6 : M u l t i p l e s c a l e f a c e d e t e c t i o n

a s t h e f a c e p o s i t i o n . D e t e c t i o n r e s u l t s f o r s e v e r a l

i m a g e s o f M P E G t e s t s e q u e n c e s a r e s h o w n i n g . 6 .

T h e g l o b a l m i n i m u m d e t e c t i o n b a s e d o n t h e a s s u m p -

t i o n t h a t t h e i m a g e c o n t a i n s e x a c t l y o n e f a c e . T o d e -

t e c t s e v e r a l f a c e s a n d r e j e c t n o n - f a c i a l i m a g e s , a

t h r e s h o l d c a n b e i n t r o d u c e d w h i c h a l l o w s a t r a d e -

o b e t w e e n f a l s e d e t e c t i o n a n d f a l s e r e j e c t i o n . I f

t h e e r r o r c r i t e r i o n a t a c e r t a i n s p a t i a l p o s i t i o n i s

l e s s t h a n t h i s p r e d e n e d t h r e s h o l d , t h e s u b i m a g e l o -

c a t e d a t t h i s p o s i t i o n i s c l a s s i e d a s a f a c e . T o p r e -

v e n t o v e r l a p p i n g r e g i o n s , o n l y t h e g l o b a l m i n i m u m

i s s e l e c t e d i n t h e r s t s t e p . F o r t h e s e a r c h o f t h e s e c -

o n d ( l o c a l ) m i n i m u m , a l l s p a t i a l p o s i t i o n s w h i c h l e a d

t o o v e r l a p p i n g r e g i o n s a r e d i s c a r d e d . T h i s p r o c e -

d u r e i s r e p e a t e d u n t i l n o p o s i t i o n w i t h e r r o r l e s s t h a n

t h e t h r e s h o l d c a n b e f o u n d w h i c h i s n o t a l r e a d y c o v -

e r e d b y a n o t h e r d e t e c t e d r e g i o n . T h e r e s u l t o f a m u l -

t i p l e f a c e d e t e c t i o n i s g i v e n i n g . 7 .

F i g u r e 7 : D e t e c t i o n o f m o r e t h a n o n e f a c e

C O N C L U S I O N

T h e p r e s e n t e d f a c e d e t e c t i o n a l g o r i t h m c o m b i n e s

a s k i n c o l o r a n a l y s i s w i t h a n e i g e n s p a c e a p p r o a c h .

T h e i n c o r p o r a t i o n o f c o l o r i n f o r m a t i o n r e d u c e s t h e

i n u e n c e o f t h e i m a g e b a c k g r o u n d a n d i m p r o v e s t h e

d e t e c t i o n p e r f o r m a n c e e s p e c i a l l y i n i m a g e s w h e r e t h e

s i z e o f t h e f a c i a l a r e a i s r e l a t i v e l y s m a l l . O u r c u r r e n t

w o r k i s f o c u s e d o n t h e a d j u s t m e n t o f t h e e r r o r

c r i t e r i o n a n d t h e a u t o m a t i c a d a p t i o n o f t h e g l o b a l

d e t e c t i o n t h r e s h o l d . F u r t h e r m o r e , t h e a l g o r i t h m w i l l

b e e x t e n d e d t o f a c e t r a c k i n g i n i m a g e s e q u e n c e s .

R E F E R E N C E S

1 ] C h e l l a p a R . , W i l s o n C . L . a n d S i r o h e y S . , 1 9 9 5 ,

\ H u m a n a n d m a c h i n e r e c o g n i t i o n o f f a c e s : A

s u r v e y " , P r o c . I E E E , 8 3 ( 5 ) , 7 0 5 { 7 4 0

2 ] D a i Y . a n d N a k a n o Y . , 1 9 9 6 ,

\ F a c e - t e x t u r e m o d e l b a s e d o n S G L D a n d i t s

a p p l i c a t i o n i n f a c e d e t e c t i o n i n a c o l o r s c e n e " ,

P a t t e r n R e c o g n i t i o n , 2 9 ( 6 ) , 1 0 0 7 { 1 0 1 7

3 ] J o l l i e I . T . , 1 9 8 6 ,

\ P r i n c i p a l C o m p o n e n t A n a l y s i s " ,

S p r i n g e r , N e w Y o r k , B e r l i n , H e i d e l b e r g , T o k y o

4 ] M o g h a d d a m B . a n d P e n t l a n d A . , 1 9 9 7

\ P r o b a b i l i s t i c v i s u a l l e a r n i n g f o r o b j e c t r e p r e -

s e n t a t i o n " ,

I E E E T r a n s . P A M I , 1 9 ( 7 ) , 6 9 6 { 7 1 0

5 ] S a b e r A . a n d T e k a l p A . M . , 1 9 9 8 ,

\ F r o n t a l - v i e w f a c e d e t e c t i o n a n d f a c i a l f e a t u r e

e x t r a c t i o n u s i n g c o l o r , s h a p e a n d s y m m e t r y

b a s e d c o s t f u n c t i o n s " ,

P a t t e r n R e c o g n i t i o n L e t t e r s , 1 9 ( 8 ) , 6 6 9 { 6 8 0

6 ] S o b o t t k a K . a n d P i t a s I . , 1 9 9 8

\ A n o v e l m e t h o d f o r a u t o m a t i c f a c e s e g m e n t a -

t i o n , f a c i a l f e a t u r e e x t r a c t i o n a n d t r a c k i n g " ,

S i g n a l P r o c e s s i n g : I m a g e C o m . , 1 2 ( 3 ) , 2 6 3 { 2 8 1

7 ] S u n g K . K . a n d P o g g i o T . , 1 9 9 8 ,

\ E x a m p l e - b a s e d l e a r n i n g f o r v i e w - b a s e d h u m a n

f a c e d e t e c t i o n " ,

I E E E T r a n s . P A M I , 2 0 ( 1 ) , 3 9 { 5 1

8 ] T u r k M . a n d P e n t l a n d A . , 1 9 9 1 ,

\ E i g e n s p a c e s f o r r e c o g n i t i o n " ,

J o u r n a l o f C o g n i t i v e N e u r o s c i e n c e , 3 ( 1 ) , 7 1 { 8 6

9 ] W a n g H . a n d C h a n g S . F . , 1 9 9 7 ,

\ A h i g h l y e c i e n t s y s t e m f o r a u t o m a t i c f a c e

r e g i o n d e t e c t i o n i n M P E G v i d e o " ,

I E E E T r a n s . C i r c . S y s t . V i d e o T e c h . ,

7 ( 4 ) , 6 1 5 { 6 2 8

1 0 ] Y o w K . C . a n d C i p o l l a R . , 1 9 9 7 ,

\ F e a t u r e - b a s e d h u m a n f a c e d e t e c t i o n " ,

I m a g e a n d V i s i o n C o m p u t i n g , 1 5 ( 2 ) , 7 1 3 { 7 3 5

face detection in color images using pca

Documents