image classic at ion and querying using composite
TRANSCRIPT
-
8/3/2019 Image Classic at Ion and Querying Using Composite
1/36
I m a g e C l a s s i c a t i o n a n d Q u e r y i n g u s i n g C o m p o s i t e
R e g i o n T e m p l a t e s
J o h n R . S m i t h a n d C h u n g - S h e n g L i
I B M T . J . W a t s o n R e s e a r c h C e n t e r
3 0 S a w M i l l R i v e r R o a d
H a w t h o r n e , N Y 1 0 5 3 2
f j r s m i t h , c s l i g @ w a t s o n . i b m . c o m
T e l : 9 1 4 7 8 4 - 7 3 2 0
F a x : 9 1 4 7 8 4 - 6 0 7 9
T o a p p e a r i n J o u r n a l o f C o m p u t e r V i s i o n a n d I m a g e U n d e r s t a n d i n g s p e c i a l i s s u e o n C o n t e n t -
B a s e d A c c e s s o f I m a g e a n d V i d e o L i b r a r i e s
-
8/3/2019 Image Classic at Ion and Querying Using Composite
2/36
A b s t r a c t
T h e t r e m e n d o u s g r o w t h i n d i g i t a l i m a g e r y i s d r i v i n g t h e n e e d f o r m o r e s o -
p h i s t i c a t e d m e t h o d s f o r a u t o m a t i c i m a g e a n a l y s i s , c a t a l o g i n g , a n d s e a r c h i n g .
W e p r e s e n t a m e t h o d f o r c l a s s i f y i n g a n d q u e r y i n g i m a g e s b a s e d o n t h e s p a t i a l
o r d e r i n g s o f r e g i o n s o r o b j e c t s u s i n g c o m p o s i t e r e g i o n t e m p l a t e s C R T s . T h e
C R T s c a p t u r e t h e s p a t i a l i n f o r m a t i o n s t a t i s t i c a l l y a n d p r o v i d e a r o b u s t w a y t o
m e a s u r e s i m i l a r i t y i n t h e p r e s e n c e o f r e g i o n i n s e r t i o n s , d e l e t i o n s , s u b s t i t u t i o n s ,
r e p l i c a t i o n s a n d r e l o c a t i o n s . T h e C R T s c a n b e u s e d f o r c l a s s i f y i n g a n d a n n o -
t a t i n g i m a g e s b y a s s i g n i n g s y m b o l s t o t h e r e g i o n s o r o b j e c t s a n d b y e x t r a c t i n g
s y m b o l s t r i n g s f r o m s p a t i a l s c a n s o f t h e i m a g e s . T h e s y m b o l s t r i n g s c a n b e
d e c o d e d u s i n g a l i b r a r y o f a n n o t a t e d C R T s t o a u t o m a t i c a l l y l a b e l a n d c l a s s i f y
t h e i m a g e s . T h e C R T s c a n a l s o b e u s e d f o r s e a r c h i n g b y s k e t c h o r e x a m p l e b y
m e a s u r i n g i m a g e s i m i l a r i t y b a s e d o n r e l a t i v e c o u n t s o f t h e C R T s .
2
-
8/3/2019 Image Classic at Ion and Querying Using Composite
3/36
1 I n t r o d u c t i o n
T h e g r o w i n g p r o l i f e r a t i o n o f d i g i t a l p h o t o g r a p h s a n d v i d e o i s i n c r e a s i n g t h e n e e d f o r
m o r e s o p h i s t i c a t e d m e t h o d s f o r a u t o m a t i c a l l y a n a l y z i n g , c a t a l o g i n g , a n d s e a r c h i n g
f o r d i g i t a l i m a g e r y . E x a m p l e a p p l i c a t i o n s i n c l u d e s e a r c h i n g f o r v i s u a l i n f o r m a t i o n o n
t h e W o r l d - W i d e W e b 1 , 2 , 3 , d i g i t a l l i b r a r i e s 4 , 5 , 6 , a n d c o n t e n t a d a p t a t i o n 7 , 8 .
M a n y r e c e n t c o n t e n t - b a s e d q u e r y p r o j e c t s h a v e a d v a n c e d t h e c a p a b i l i t i e s f o r s e a r c h i n g
f o r i m a g e s a n d v i d e o b y c o l o r , t e x t u r e , s h a p e , m o t i o n a n d o t h e r f e a t u r e s s e e 9 , 1 0 ,
1 1 , 1 2 , 1 3 . T h e s e s y s t e m s a r e e e c t i v e i n a l l o w i n g s e a r c h i n g b y t h e s i m i l a r i t y o f
v i s u a l f e a t u r e s b u t a r e o f t e n l i m i t e d i n c a p a b i l i t y o f a u t o m a t i c a l l y d e r i v i n g h i g h e r
s e m a n t i c l e v e l u n d e r s t a n d i n g o f t h e i m a g e s . S e v e r a l p r o j e c t s h a v e s h o w n t h a t c o n t e n t -
b a s e d s y s t e m s c a n i m p r o v e s e a r c h i n g a n d a t t a i n b e t t e r u n d e r s t a n d i n g t h e c o n t e n t b y
c a p t u r i n g s p a t i a l i n f o r m a t i o n i n a d d i t i o n t o l o w - l e v e l f e a t u r e s 1 4 , 1 5 , 1 6 . H o w e v e r ,
e e c t i v e m e t h o d s a r e n e e d e d f o r e c i e n t l y d e s c r i b i n g a n d c o m p a r i n g s c e n e i n f o r m a t i o n
r e p r e s e n t e d b y t h e s p a t i a l c o m p o s i t i o n o f r e g i o n s , o b j e c t s a n d f e a t u r e s .
S i n c e h u m a n s p e r c e i v e i m a g e s b y b r e a k i n g t h e s c e n e s i n t o s u r f a c e s , r e g i o n s , a n d
o b j e c t s , t h e s p a t i a l , t e m p o r a l a n d f e a t u r e a t t r i b u t e s o f t h e o b j e c t s , a n d t h e i r r e l a t i o n -
s h i p s t o e a c h o t h e r , a r e i m p o r t a n t c h a r a c t e r i s t i c s o f v i s u a l i n f o r m a t i o n 1 7 . C o n t e n t -
b a s e d r e t r i e v a l s y s t e m s t h a t u s e g l o b a l d e s c r i p t o r s , s u c h a s c o l o r h i s t o g r a m s 1 1 , 9 ,
d o n o t s u c i e n t l y d e s c r i b e t h e i m p o r t a n t s p a t i a l i n f o r m a t i o n . I n l a r g e c o l l e c t i o n s o f
3
-
8/3/2019 Image Classic at Ion and Querying Using Composite
4/36
p h o t o g r a p h s , m a n y r e g i o n s r e c u r , s u c h a s t h o s e t h a t c o r r e s p o n d t o b l u e s k i e s , o c e a n s ,
g r a s s y r e g i o n s , o r a n g e h o r i z o n s , m o u n t a i n s , b u i l d i n g f a c a d e s , a n d s o f o r t h . F o r i m -
a g e s , t h e d e t e c t i o n a n d d e s c r i p t i o n o f t h e s e r e g i o n s a n d t h e i r s p a t i a l r e l a t i o n s h i p s i s
e s s e n t i a l i n t r u l y c h a r a c t e r i z i n g t h e i m a g e s f o r s e a r c h i n g , c l a s s i c a t i o n a n d l t e r i n g
p u r p o s e s 1 8 , 1 9 .
1 . 1 R e l a t e d W o r k
T h e r e a r e m a n y w a y s t o c a p t u r e t h e s p a t i a l a n d r e g i o n i n f o r m a t i o n i n i m a g e s . S o m e
r e c e n t a p p r o a c h e s i n c l u d e 2 - D s t r i n g s 2 0 , 2 1 , , R r e p r e s e n t a t i o n s 2 2 , l o c a l h i s -
t o g r a m s 2 3 , 2 4 , 2 5 , c o - o c c u r r e n c e m a t r i c e s , c o l o r c o r r e l o g r a m s 1 5 a n d r e g i o n t a b -
u l a t i o n s 9 , 1 6 . C o m p o s i t i o n d e s c r i p t o r s s u c h a s t h e 2 - D s t r i n g a n d i t s v a r i a n t s a r e
b r i t t l e i n t h e s e n s e t h a t m i n o r c h a n g e s i n r e g i o n l o c a t i o n s c a n g r e a t l y a e c t t h e c o m -
p a r i s o n o f t w o i m a g e s . D e s c r i p t o r s s u c h a s , R a n d c o - o c c u r r e n c e m a t r i c e s a r e n o t
w i d e l y a p p l i c a b l e d u e t o s e n s i t i v i t y t o s c a l e . T h i s c a n b e e x t r e m e l y p r o b l e m a t i c w h e n
c o m p a r i n g i m a g e s o f d i e r e n t r e s o l u t i o n s . S m i t h a n d C h a n g d e v e l o p e d a m e t h o d f o r
c o m p u t i n g i n t e g r a t e d s p a t i a l a n d f e a t u r e q u e r i e s b y d e c o m p o s i n g t h e s e t o f r e g i o n
q u e r i e s i n t o s e p a r a t e s u b - g o a l s 1 4 . H o w e v e r , t h e m e t h o d d o e s n o t p r o v i d e a g e n e r a l
w a y t o m e a s u r e t h e s i m i l a r i t y o f t w o i m a g e s u s i n g s p a t i a l a n d f e a t u r e i n f o r m a t i o n .
O t h e r r e c e n t m e t h o d s h a v e b e e n d e v e l o p e d f o r c l a s s i f y i n g i m a g e s f r o m l o w - l e v e l
4
-
8/3/2019 Image Classic at Ion and Querying Using Composite
5/36
f e a t u r e s s u c h a s c o l o r , t e x t u r e , a n d s h a p e . S z u m m e r a n d P i c a r d d e v e l o p e d a m e t h o d
f o r i n f e r r i n g h i g h - l e v e l s c e n e p r o p e r t i e s s u c h a s i n d o o r v s o u t d o o r b y c l a s s i f y i n g l o w -
l e v e l f e a t u r e s s u c h a s c o l o r a n d t e x t u r e 2 6 . H u a n g , e t a l . d e v e l o p e d a h i e r a r c h i c a l
i m a g e c l a s s i e r w h i c h u s e s b a n d e d c o l o r c o r r e l o g r a m s t o a s s i g n i m a g e s t o s e m a n t i c
c a t e g o r i e s . C a e l l i a n d R e y e d e v e l o p e d a s i n g l e s p a t i o - c h r o m a t i c f e a t u r e s p a c e f o r
c l a s s i f y i n g i m a g e s b a s e d o n c o l o r , t e x t u r e a n d s h a p e 2 7 . C a r s o n , e t a l , d e v e l o p e d a
c o l o r a n d t e x t u r e b l o b r e p r e s e n t a t i o n o f i m a g e s w h i c h i s u s e d t o c l a s s i f y i m a g e s u s i n g
a d e c i s i o n - t r e e 2 8 . F o r s y t h , e t a l , d e v e l o p e d a b o d y p l a n s a p p r o a c h f o r a n a l y z i n g a n d
c l a s s i f y i n g p h o t o g r a p h s b a s e d o n t h e s p a t i a l c o n g u r a t i o n o f r e g i o n s b e l o n g i n g t o t h e
m a i n o b j e c t 2 9 .
1 . 2 O v e r v i e w
I n t h i s p a p e r , w e d e s c r i b e a m e t h o d f o r c l a s s i f y i n g a n d q u e r y i n g i m a g e s b y s p a t i a l
o r d e r i n g s o f r e g i o n s . T h e c o m p o s i t e r e g i o n t e m p l a t e s C R T s d e s c r i p t o r f r a m e w o r k
p r o v i d e s s e v e r a l r e p r e s e n t a t i o n s f o r c h a r a c t e r i z i n g i m a g e s :
1 . a r e g i o n s t r i n g r e p r e s e n t a t i o n S f o r d e s c r i b i n g s p a t i a l o r d e r i n g s o f r e g i o n s ,
2 . a C R T d e s c r i p t o r T t h a t i n d i c a t e s t h e i n s t a n c e s o f r e g i o n p r e c e d e n c e i n s p a t i a l
s c a n s , a n d
5
-
8/3/2019 Image Classic at Ion and Querying Using Composite
6/36
3 . a C R T d e s c r i p t o r m a t r i x M t h a t e n a b l e s r o b u s t s e a r c h i n g a n d c l a s s i c a t i o n
b a s e d o n s p a t i a l i n f o r m a t i o n .
F o r o n e , t h e C R T d e s c r i p t o r s a l l o w i m a g e s t o b e s e a r c h e d b y c o m p a r i n g t h e c o u n t s
o f r e g i o n s w i t h d i e r e n t a t t r i b u t e s p r e c e d i n g e a c h o t h e r i n s c a n s o f t h e i m a g e s . T h e
C R T s a l l o w i m a g e s t o b e g r a p h i c a l l y q u e r i e d b y s k e t c h o r b y p r o v i d i n g a n e x a m p l e
i m a g e . T h e C R T s c a n a l s o b e u s e d t o d e s c r i b e t h e p r o t o t y p a l s p a t i a l o r d e r s o f r e g i o n s
t h a t r e c u r t h r o u g h o u t a d a t a b a s e . T h i s a l l o w s u n k n o w n i m a g e s t o b e a n n o t a t e d b y
m a t c h i n g s e q u e n c e s o f r e g i o n s t o t h e e n t r i e s i n a l i b r a r y o f p r o t o t y p a l C R T s .
1 . 3 O u t l i n e
T h e p a p e r i s o r g a n i z e d a s f o l l o w s : i n S e c t i o n 2 , w e d e s c r i b e t h e e x t r a c t i o n p r o c e s s e s
f o r g e n e r a t i n g t h e C R T d e s c r i p t o r s f r o m c o l o r p h o t o g r a p h s . I n S e c t i o n 3 , w e d e s c r i b e
t h e p r o c e s s e s f o r s e a r c h i n g f o r i m a g e s a n d c l a s s i f y i n g u n k n o w n i m a g e s b y d e c o d i n g
t h e r e g i o n s t r i n g s u s i n g t h e C R T l i b r a r y . I n S e c t i o n 4 , w e e v a l u a t e t h e p e r f o r m a n c e o f
t h e s y s t e m i n c l a s s i f y i n g i m a g e s f r o m t e n s e m a n t i c s c l a s s e s : b e a c h e s , b u i l d i n g s , c r a b s ,
d i v e r s , f a c e s , h o r s e s , n a t u r e , s i l h o u e t t e s , s u n s e t s , a n d t i g e r s . W e a l s o c o m p a r e t h e
r e t r i e v a l e e c t i v e n e s s o f t h e C R T m e t h o d t o m e t h o d s b a s e d o n c o l o r h i s t o g r a m s a n d
t e x t u r e i n r e t r i e v i n g i m a g e s f r o m a d a t a b a s e o f 8 9 3 c o l o r p h o t o g r a p h s .
6
-
8/3/2019 Image Classic at Ion and Querying Using Composite
7/36
2 C o m p o s i t e r e g i o n t e m p l a t e s
T h e C R T s a r e g e n e r a t e d b y c o u n t i n g t h e i n s t a n c e s o f r e l a t i v e r e g i o n p r e c e d e n c e
i n t h e r e g i o n s t r i n g s . I n g e n e r a l , m a n y f e a t u r e s o f t h e r e g i o n s s u c h a s s h a p e , t e x t u r e ,
e d g e s , a n d m o t i o n a r e i m p o r t a n t i n c h a r a c t e r i z i n g t h e r e g i o n s . T h e C R T s a r e g e n e r a l
i n t h a t t h e y h o l d s y m b o l s t h a t c a n r e p r e s e n t a n y t y p e o f m e t a - d a t a , a n n o t a t i o n s ,
d e s c r i p t o r o r f e a t u r e p r o t o t y p e s , o r t h e i n d e x v a l u e s o f e n t r i e s i n a v i s u a l f e a t u r e
l i b r a r y . I n p r a c t i c a l a p p l i c a t i o n s , t h e v i s u a l f e a t u r e s m a y b e d e r i v e d m a n u a l l y , o r
a u t o m a t i c a l l y , s u c h a s b y s a m p l i n g t h e i m a g e s a n d c l u s t e r i n g t h e e x t r a c t e d f e a t u r e s ,
a s i n 2 8 .
2 . 1 S p a t i a l a n d f e a t u r e s i m i l a r i t y
W e p r o p o s e a r e g i o n s t r i n g r e p r e s e n t a t i o n f o r d e s c r i b i n g t h e s p a t i a l o r d e r o f r e g i o n s
o b t a i n e d b y s c a n n i n g t h e i m a g e . C o n s i d e r a s e r i e s o f r e g i o n s , w h e r e e a c h r e g i o n i s
a s s i g n e d a s y m b o l v a l u e . E a c h s y m b o l v a l u e r e p r e s e n t s a n a t t r i b u t e o r d e s c r i p t o r o r
f e a t u r e o f t h e r e g i o n . I n o r d e r t o c o m p a r e t h e s p a t i a l i n f o r m a t i o n i n t h e i m a g e s , t h e
s y m b o l s t r i n g s n e e d t o b e c o m p a r e d . S e v e r a l p r o b l e m s e m e r g e , s u c h a s h o w t o d e a l
w i t h :
7
-
8/3/2019 Image Classic at Ion and Querying Using Composite
8/36
1 . i n s e r t i o n s , d e l e t i o n s , s u b s t i t u t i o n s , r e p l i c a t i o n s a n d r e l o c a t i o n s o f s y m b o l s
2 . c o m p a r i n g r e g i o n s t r i n g s o f d i e r e n t l e n g t h s ,
3 . p e r f o r m i n g p a r t i a l o r s u b s t r i n g m a t c h i n g , a n d
4 . r e p r e s e n t i n g a n d c o m p a r i n g c l a s s e s o f i m a g e s u s i n g r e g i o n s t r i n g s .
T h e C R T d e s c r i p t o r s p r o v i d e a w a y t o c o m p a r e t h e s y m b o l s e q u e n c e s i n a s t a t i s t i c a l
f a s h i o n . T h e C R T d e s c r i p t o r s a r e g e n e r a t e d b y m a p p i n g t h e r e g i o n s t r i n g s i n t o a C R T
d e s c r i p t o r m a t r i x , w h e r e e n t r y i ; j i n t h e C R T d e s c r i p t o r m a t r i x i n d i c a t e s t h e c o u n t
M i ; j o f t h e i n s t a n c e s i n w h i c h s y m b o l i p r e c e d e d s y m b o l j i n t h e s y m b o l s t r i n g .
2 . 2 I m a g e a n a l y s i s
W e d e v e l o p a m e t h o d f o r e x t r a c t i n g t h e C R T d e s c r i p t o r s f r o m t h e i m a g e s b y s e g m e n t -
i n g a n d s c a n n i n g t h e c o l o r r e g i o n s i n a s e t o f s p a t i a l s c a n s . T h e o v e r a l l i m a g e a n a l y s i s
a n d C R T g e n e r a t i o n p r o c e s s i s s u m m a r i z e d i n F i g u r e 1 . T h e s y s t e m s e g m e n t s t h e i m -
a g e s i n t o c o l o r r e g i o n s u s i n g c o l o r b a c k - p r o j e c t i o n . T h e n , t h e s y s t e m e x t r a c t s r e g i o n
s t r i n g s b y s c a n n i n g t h e s e g m e n t e d i m a g e s u s i n g a s e t o f s c a n s . F i n a l l y , t h e s y s t e m
c o n s o l i d a t e s t h e r e g i o n s t r i n g s i n t o t h e s e t o f c o m p o s i t e r e g i o n t e m p l a t e s C R T s . I n
o r d e r t o c l a s s i f y t h e i m a g e s , t h e s y s t e m p o o l s t o g e t h e r t h e C R T s f r o m t h e t r a i n i n g
i m a g e s f r o m e a c h s e m a n t i c c l a s s t o c o n s t r u c t a C R T l i b r a r y . T h e s y s t e m c l a s s i e s
8
-
8/3/2019 Image Classic at Ion and Querying Using Composite
9/36
u n k n o w n i m a g e s b y d e c o d i n g t h e i r r e g i o n s t r i n g s u s i n g t h e e n t r i e s i n t h e C R T l i b r a r y .
2 . 3 C o l o r r e g i o n s e g m e n t a t i o n
T h e s y s t e m s e g m e n t s t h e i m a g e s i n t o h o m o g e n e o u s c o l o r r e g i o n s u s i n g t h e m e t h o d o f
c o l o r b a c k - p r o j e c t i o n , a s i l l u s t r a t e d i n F i g u r e 2 . T h e p r o c e s s e x t r a c t s t h e p r o m i n e n t
c o l o r r e g i o n s a n d r e - c o m p o s i t e s t h e m t o g e n e r a t e a s e g m e n t e d i m a g e . S i n c e , u l t i m a t e l y ,
w e a s s i g n a c o l o r s y m b o l t o e a c h o f t h e r e g i o n s , w e a v o i d t h e c l u s t e r i n g o f c o l o r s , a s
i n 3 0 , a n d i n s t e a d u s e a q u a n t i z e d c o l o r s p a c e . T h e s e g m e n t a t i o n p r o c e s s g e n e r a t e s
a c o l o r b l o b - l i k e r e p r e s e n t a t i o n o f t h e i m a g e s , a s i l l u s t r a t e d i n F i g u r e 3 .
T h e s e g m e n t a t i o n p r o c e s s i n i t i a l l y p a l e t t i z e s e a c h i m a g e I
r g b
x ; y u s i n g a 1 6 6 - c o l o r
q u a n t i z e d H S V c o l o r s p a c e , g i v i n g I
v
x ; y , a n d c o m p u t e s a 1 6 6 - b i n c o l o r h i s t o g r a m
h n , a s d e s c r i b e d i n 9 . T h e c o l o r s k t h a t a r e r e p r e s e n t e d w i t h h k
c
, w h e r e
w e c h o o s e
c
= 0 0 2 5 , a r e s e l e c t e d f r o m t h e h i s t o g r a m i n o r d e r o f p r o m i n e n c e . E a c h
s e l e c t e d c o l o r k i s t h e n b a c k - p r o j e c t e d t o c r e a t e a b a c k - p r o j e c t e d i m a g e I
k
d
x ; y t h a t
i n d i c a t e s t h e p i x e l s i n t h e i m a g e t h a t h a v e t h e s e l e c t e d c o l o r k , a s f o l l o w s :
I
k
d
x ; y =
X
x 2 X
X
y 2 Y
8
:
1 i f I
v
x ; y = k
0 o t h e r w i s e .
1
E a c h b a c k - p r o j e c t e d i m a g e I
k
d
x ; y i s t h e n l t e r e d t o r e d u c e n o i s e a n d c o n n e c t n e a r b y
r e g i o n s . T h e r e s u l t i n g i m a g e i s t h e n i n t e n s i t y t h r e s h o l d e d u s i n g a t h r e s h o l d
s
= 0 9 t o
g e n e r a t e a b i n a r y i m a g e . T h e s u r v i v i n g r e g i o n s a r e t h e n l a b e l e d a n d s i z e t h r e s h o l d e d
9
-
8/3/2019 Image Classic at Ion and Querying Using Composite
10/36
-
8/3/2019 Image Classic at Ion and Querying Using Composite
11/36
A l t h o u g h w e c o n s i d e r o n l y c o l o r i n f o r m a t i o n h e r e , i n g e n e r a l , w e r e p r e s e n t t h e
a t t r i b u t e o f i n t e r e s t o f e a c h r e g i o n b y i t s e n t r y i n t h e v i s u a l f e a t u r e l i b r a r y , a s f o l l o w s :
w e d e n o t e b y a s y m b o l s
k
e a c h e n t r y k i n t h e v i s u a l f e a t u r e l i b r a r y . F o r e x a m p l e ,
c o n s i d e r i n g t h e v i s u a l f e a t u r e l i b r a r y : D = f r e d , b l u e , g r e e n , b l a c k , w h i t e g , w e h a v e
s
0
= r e d , s
1
= b l u e , s
2
= g r e e n , a n d s o f o r t h . W e d e n e t h e r e g i o n s t r i n g s , w h i c h
c o r r e s p o n d t o a s e r i e s o f t h e s y m b o l s , a s f o l l o w s :
D e n i t i o n 1 R e g i o n S t r i n g . A r e g i o n s t r i n g S d e n e s a s e r i e s o f N s y m b o l s S =
s 0 s 1 s 2 : : : s N , 1 t h a t g i v e s t h e o r d e r o f r e g i o n s i n a s c a n o f a n i m a g e , w h e r e s n
i s t h e s y m b o l v a l u e i . e . , c o l o r i n d e x v a l u e o f t h e n
h
s u c c e s s i v e r e g i o n i n t h e s p a t i a l
s c a n .
I n e a c h s c a n , t h e s y m b o l v a l u e o f e a c h s u c c e s s i v e r e g i o n i s c o n c a t e n a t e d o n t o t h e
s c a n ' s r e g i o n s t r i n g . F i g u r e 4 i l l u s t r a t e s t h e r e g i o n s t r i n g g e n e r a t i o n p r o c e s s f o r t w o
e x a m p l e n a t u r e i m a g e s . I n t h e s e e x a m p l e s , e a c h s y m b o l v a l u e i . e . , s y m b o l ` A ' i n
F i g u r e 4 b r e p r e s e n t s t h e c o l o r i n d e x v a l u e , k 2 f 0 1 6 5 g , o f t h e r e g i o n ' s c o l o r i n
t h e 1 6 6 - c o l o r H S V c o l o r s p a c e . T h e t o p - t o - b o t t o m s c a n s c a p t u r e t h e v e r t i c a l p o s i t i o n s
o f t h e r e g i o n s , a s i l l u s t r a t e d i n F i g u r e 4 c .
N o t i c e t h a t i n t h e i m a g e s i n F i g u r e 4 a , t h e r e g i o n s c o r r e s p o n d i n g t o s k i e s a n d
c l o u d s a p p e a r a b o v e t h e r e g i o n s c o r r e s p o n d i n g t o g r a s s a n d t r e e s . T h e s e o r d e r i n g s a r e
r e e c t e d i n t h e r e g i o n s t r i n g s i n F i g u r e 4 c : t h e s y m b o l s ` B , ' ` C , ' a n d ` D ' s k i e s a n d
1 1
-
8/3/2019 Image Classic at Ion and Querying Using Composite
12/36
c l o u d s p r e c e e d t h e s y m b o l s ` F , ' a n d ` G ' g r a s s a n d t r e e s i n t h e t o p - t o - b o t t o m s c a n s .
H o w e v e r , t h e r e g i o n s t r i n g s t h e m s e l v e s a r e d i c u l t t o u s e d i r e c t l y t o c o m p a r e i m a g e s
b e c a u s e o f t h e n e e d t o d e a l w i t h i n s e r t i o n s , s u b s t i t u t i o n s a n d d e l e t i o n s o f s y m b o l s .
2 . 5 C o m p o s i t e r e g i o n t e m p l a t e s C R T s
W e s i m p l i f y t h e p r o c e s s o f c o m p a r i n g t h e i m a g e s b y u s i n g c o m p o s i t e r e g i o n t e m p l a t e s
C R T s . T h e s y s t e m g e n e r a t e s t h e C R T s b y c o n s o l i d a t i n g t h e r e g i o n s t r i n g s , a s i l -
l u s t r a t e d i n F i g u r e 4 d . W h e r e a s t h e r e g i o n s t r i n g s d e s c r i b e a s e r i e s o f s u c c e s s i v e
s y m b o l s , t h e C R T s d e s c r i b e o n l y t h e r e l a t i v e o r d e r i n g o f s y m b o l s , a s f o l l o w s :
D e n i t i o n 2 C o m p o s i t e r e g i o n t e m p l a t e C R T . A c o m p o s i t e r e g i o n t e m p l a t e
C R T , T , d e n e s a r e l a t i v e o r d e r i n g o f L s y m b o l s , T = t 0 t 1 : : : t L , 1 , w h e r e T i
p r e c e d e s T i + j i n a s y m b o l s t r i n g S f o r j 0
T h e C R T s r e p r e s e n t i n s t a n c e s o f s y m b o l s p r e c e d i n g e a c h o t h e r i n a r e g i o n s t r i n g
o r s e t o f r e g i o n s t r i n g s . F o r e x a m p l e , t h e C R T , T = s
0
s
3
s
5
, i n d i c a t e s t h a t t h e r e i s a n
i n s t a n c e o f s
0
p r e c e d i n g s
3
p r e c e d i n g s
5
, s u c h a s i n s y m b o l s t r i n g S = s
0
s
2
s
1
s
3
s
6
s
5
T h e C R T s c a n b e u s e d t o d e s c r i b e t h e o v e r a l l c o l o r - s p a t i a l c o n t e n t o f t h e i m a g e s
s t a t i s t i c a l l y b y c o u n t i n g t h e f r e q u e n c i e s o f t h e C R T s i n t h e s e t o f r e g i o n s t r i n g s . F o r
e x a m p l e , g i v e n t h e v i s u a l f e a t u r e l i b r a r y D = f r e d , b l u e , g r e e n , b l a c k , w h i t e , y e l l o w g ,
1 2
-
8/3/2019 Image Classic at Ion and Querying Using Composite
13/36
t h e n T = s
2
s
1
c o r r e s p o n d s t o t h e t e m p l a t e f o r g r e e n p r e c e d i n g b l u e . W e c a n c o u n t
t h e i n s t a n c e I S ; T o f e a c h C R T , T , i n e a c h s y m b o l s t r i n g S . F o r e x a m p l e i n t h e
s y m b o l s t r i n g S = s
2
s
2
s
1
s
3
s
1
, w e h a v e I S ; T = 4 , w h i c h i n d i c a t e s t h a t t h e r e a r e
f o u r i n s t a n c e s o f s
2
p r e c e d i n g s
1
g r e e n p r e c e d i n g b l u e
I n t h e c a s e t h a t L = 2 , t h e t e s t f o r T = t
0
t
1
i n a l e n g t h N r e g i o n s t r i n g S i s g i v e n
b y t h e i n d i c a t o r f u n c t i o n I T ; S , w h e r e
I T ; S =
N , 1
X
n = 0
N , 1
X
m = n + 1
8
:
1 i f s n = t 0 a n d s m = t 1
0 o t h e r w i s e .
2
I n g e n e r a l , t h e C R T s c a n h a v e L 2 d i m e n s i o n s , i n w h i c h c a s e t h e t e s t f o r a n
L - d i m e n s i o n a l C R T , T , i n a l e n g t h N s y m b o l s t r i n g S i s g i v e n b y
I T ; S =
N , 1
X
m
0
= 0
N , 1
X
m
1
= m
0
+ 1
N , 1
X
m
N 1
= L
L 2
+ 1
8
:
1 i f s l
0
= t 0 ; s l
1
= t 1 ; : : : ;
s l
N , 1
= t L , 1
0 o t h e r w i s e .
3
2 . 6 C R T d e s c r i p t o r m a t r i c e s
T h e C R T t e s t f o r m s t h e b a s i s f o r g e n e r a t i n g a C R T d e s c r i p t o r m a t r i x w h i c h s u m m a -
r i z e s a l l o f t h e c o u n t s o f t h e C R T s T
i
i n t h e s y m b o l s t r i n g s S o r f S
k
g
D e n i t i o n 3 C o m p o s i t e r e g i o n t e m p l a t e C R T d e s c r i p t o r m a t r i x . A c o m -
p o s i t e r e g i o n t e m p l a t e C R T d e s c r i p t o r m a t r i x , M i ; j o f a s y m b o l s t r i n g S g i v e s t h e
c o u n t I S ; s
i
s
j
, o f e a c h L = 2 d i m e n s i o n a l C R T , T = s
i
s
j
i n S
1 3
-
8/3/2019 Image Classic at Ion and Querying Using Composite
14/36
-
8/3/2019 Image Classic at Ion and Querying Using Composite
15/36
2 . 8 C o m p o s i t e r e g i o n t e m p l a t e C R T l i b r a r y
G i v e n a s e t o f s e m a n t i c c l a s s e s o f i m a g e s , t h e s y s t e m c o n s t r u c t s a C R T l i b r a r y b y
p o o l i n g t o g e t h e r t h e C R T s i n e a c h s e m a n t i c c l a s s , w h e r e f o r e a c h c l a s s , t h e C R T
l i b r a r y g i v e s t h e l i k e l i h o o d t h a t e a c h C R T i s f o u n d i n t h a t c l a s s . T h e p o o l i n g p r o c e s s
i s c a r r i e d o u t b y c o m p u t i n g t h e f r e q u e n c y P T
i
o f e a c h C R T , T
i
, i n a s e t o f r e g i o n
s t r i n g s f S
j
g a s f o l l o w s :
P T
i
=
X
j
I T
i
; S
j
4
T h e f r e q u e n c y o f e a c h C R T , T
i
, i n t h e s e t o f r e g i o n s t r i n g s f S
j
g
k
f r o m s e m a n t i c c l a s s
C
k
i s g i v e n b y P T
i
C
k
, w h e r e
P T
i
C
k
=
X
8
j
S
j
2 C
k
I T
i
; S
j
5
T h e p o o l e d C R T s f o r m a C R T l i b r a r y t h a t h o l d s t h e P T
i
C
k
v a l u e s f o r e a c h c l a s s
k , a s f o l l o w s :
D e n i t i o n 4 C R T l i b r a r y . A c o m p o s i t e r e g i o n t e m p l a t e C R T l i b r a r y i s g i v e n b y
t h e s e t o f t u p l e s :
T
i
; P T
i
; P T
i
C
0
; P T
i
C
1
; : : : ; P T
i
C
K , 1
;
w h e r e K i s t h e n u m b e r o f s e m a n t i c c l a s s e s .
T h e P T
i
' s r e e c t t h e f r e q u e n c i e s o f t h e C R T s i n a l l c l a s s e s E q . 4 , P T
i
C
k
' s r e e c t
t h e f r e q u e n c i e s w i t h i n e a c h c l a s s k E q . 5 .
1 5
-
8/3/2019 Image Classic at Ion and Querying Using Composite
16/36
3 I m a g e c l a s s i c a t i o n a n d q u e r y
T h e s y s t e m u s e s t h e r e g i o n s t r i n g s a n d t h e C R T l i b r a r y f o r c l a s s i f y i n g a n d r e t r i e v i n g
t h e i m a g e s . I n a p p l i c a t i o n s i n v o l v i n g c l a s s i c a t i o n , t h e s y s t e m a s s i g n s e a c h i m a g e t o
t h e c l o s e s t s e m a n t i c c l a s s i n t h e C R T l i b r a r y , a s d e s c r i b e d b e l o w . I n i m a g e r e t r i e v a l
a p p l i c a t i o n s , t h e s y s t e m r e t r i e v e s t h e m o s t s i m i l a r i m a g e s t o t h e q u e r y i m a g e .
3 . 1 I m a g e c l a s s i c a t i o n
T h e s y s t e m a s s i g n s a n i m a g e t o c l a s s l b a s e d o n i t s f T
0
i
g ' s a s f o l l o w s :
1 . F o r e a c h T
0
i
f r o m t h e i m a g e , P C
k
T
0
i
i s c o m p u t e d f r o m t h e e n t r i e s i n t h e C R T
l i b r a r y f r o m :
P C
k
T
0
i
=
P T
0
i
C
k
P T
0
i
6
2 . T h e s y s t e m c l a s s i e s t h e i m a g e i n t o c l a s s l w h e n
8
l 6= k
;
X
i
P C
l
T
0
i
X
i
P C
k
T
0
i
7
T h a t i s , c l a s s C
l
b e s t e x p l a i n s t h e C R T s r e p r e s e n t e d i n t h e s p a t i a l o r d e r o f
r e g i o n s i n t h e u n k n o w n i m a g e .
1 6
-
8/3/2019 Image Classic at Ion and Querying Using Composite
17/36
3 . 2 I m a g e q u e r y
I n i m a g e s e a r c h a p p l i c a t i o n s , t h e i m a g e s a r e q u e r i e d b a s e d o n s p a t i a l s e q u e n c e s o f
c o l o r r e g i o n s . T h e s y s t e m r e t u r n s t h e t o p - r a n k e d i m a g e s t h a t a r e m o s t s i m i l a r t o
t h e q u e r y i m a g e . W e c o n s i d e r t h a t e a c h t a r g e t i m a g e h a s a r e g i o n s t r i n g S
t
, o r C R T
d e s c r i p t o r m a t r i x M
t
. T h e q u e r y c a n b e f o r m e d f r o m t h e q u e r y i m a g e b y e x t r a c t i n g
i t s s e t o f r e g i o n s t r i n g s f S
j
g
q
a n d c o m p u t i n g t h e d e s c r i p t o r m a t r i x M
q
, a s d e s c r i b e d
a b o v e . A l t e r n a t i v e l y , t h e u s e r c a n s k e t c h a q u e r y i m a g e b y p o s i t i o n i n g c o l o r r e g i o n s
o n a g r i d 9 . T h e s y s t e m c a n t h e n c o m p u t e M
q
b a s e d o n t h e r e g i o n l a y o u t .
I n o r d e r t o c o m p a r e t h e i m a g e s b a s e d o n s p a t i a l i n f o r m a t i o n , t h e s y s t e m c o m p u t e s
t h e s i m i l a r i t y o f M
q
t o t h o s e o f t h e t a r g e t i m a g e s M
t
a s f o l l o w s :
q t
=
X
i
1
M
q
i ; i M
t
i ; i
X
j
M
q
i ; j M
t
i ; j 8
T h e q u e r y s y s t e m r e t r i e v e s t h e i m a g e s w i t h h i g h e s t
q t
4 E v a l u a t i o n
W e e v a l u a t e t h e C R T m e t h o d b y e v a l u a t i n g i t s p e r f o r m a n c e i n c l a s s i f y i n g 2 6 6 u n k n o w n
i m a g e s f r o m t e n s e m a n t i c c l a s s e s a n d i n r e t r i e v i n g i m a g e s f r o m a c o l l e c t i o n o f 8 9 3
c o l o r p h o t o g r a p h s . W e a l s o d e m o n s t r a t e t h e C R T m e t h o d i n r e t r i e v i n g i m a g e s u s i n g
g r a p h i c a l q u e r y i n g .
1 7
-
8/3/2019 Image Classic at Ion and Querying Using Composite
18/36
-
8/3/2019 Image Classic at Ion and Querying Using Composite
19/36
t h e s i l h o u e t t e i m a g e s , t h e C R T s p e r f o r m e d w o r s e t h a n t h e c o l o r h i s t o g r a m s . I n t h i s
c a s e t h e d o m i n a n t p r o p e r t y o f t h e s i l h o u e t t e i m a g e s , a l a r g e b l a c k b a c k g r o u n d , w a s
n o t c a p t u r e d w e l l b y t h e C R T s .
T h e c o n f u s i o n m a t r i x f o r t h e s e m a n t i c s c l a s s i c a t i o n s y s t e m i s g i v e n i n T a b l e 2 . W e
c a n s e e t h a t w i t h t h e e x c e p t i o n o f t h e f a c e s a n d n a t u r e i m a g e s , f e w m i s c l a s s i c a t i o n s
r e s u l t e d . T h e f a c e s i m a g e s w e r e c l a s s i e d c o r r e c t l y o n l y 4 2 . 2 o f t h e t i m e a n d w e r e
m i s c l a s s i e d a s h o r s e s 2 4 . 4 o f t h e t i m e . T h e f a c e s c l a s s w a s t h e m o s t c h a l l e n g i n g
b e c a u s e t h e f a c e r e g i o n s w e r e o f t e n o n l y a s m a l l p a r t o f t h e i m a g e a n d o v e r a l l , t h e
i m a g e s h a d a l a r g e v a r i e t y o f b a c k g r o u n d s . T h e n a t u r e i m a g e s w e r e c o n f u s e d w i t h
b e a c h e s 1 9 . 4 o f t h e t i m e b e c a u s e o f t h e h i g h s i m i l a r i t y o f t h e s c e n e s .
4 . 3 R e t r i e v a l e e c t i v e n e s s r e s u l t s
W e u s e d t h e f u l l s e t o f 8 9 3 i m a g e s t o e v a l u a t e t h e r e t r i e v a l e e c t i v e n e s s o f t h e C R T
m e t h o d . W e a n a l y z e d t h r e e i m a g e q u e r i e s : s u n s e t i m a g e s , n a t u r e i m a g e s a n d d i v e r
i m a g e s . F o r e a c h b e n c h m a r k q u e r y , w e p r e - a s s i g n e d e a c h t a r g e t i m a g e n a s u b j e c t i v e
r e l e v a n c e V
n
2 f 0 ; 1 g t o t h e q u e r y a s f o l l o w s : t h e i m a g e s i n t h e s a m e c l a s s a s t h e q u e r y
i m a g e w e r e a s s i g n e d a r e l e v a n c e V
n
= 1 , a n d t h e r e m a i n i n g i m a g e s w e r e a s s i g n e d a
r e l e v a n c e V
n
= 0 . E a c h o f t h e r e l e v a n t i m a g e s w a s u s e d i n t u r n t o q u e r y t h e d a t a b a s e
o f N = 8 9 3 i m a g e s . E a c h q u e r y r e t r i e v e d t h e t a r g e t i m a g e s i n r a n k o r d e r t o t a l
1 9
-
8/3/2019 Image Classic at Ion and Querying Using Composite
20/36
-
8/3/2019 Image Classic at Ion and Querying Using Composite
21/36
-
8/3/2019 Image Classic at Ion and Querying Using Composite
22/36
n a t u r e q u e r i e s . O n a v e r a g e , a f t e r t h e r s t t w o r e t u r n e d i m a g e s , t h e C R T - m e t h o d g a v e
h i g h e r p r e c i s i o n t h a n c o l o r h i s t o g r a m a n d t e x t u r e - b a s e d m e t h o d s f o r t h e s a m e v a l u e
o f r e c a l l .
4 . 4 G r a p h i c a l q u e r y
T h e C R T m e t h o d a l l o w s f a s t m a t c h i n g o f i m a g e s i n g r a p h i c a l q u e r y i n g , a s i l l u s -
t r a t e d i n F i g u r e 6 . T h e u s e r p l a c e s t h e c o l o r r e g i o n s o n a g r i d t o c o n s t r u c t a c o a r s e
d e p i c t i o n o f t h e s c e n e s o f i n t e r e s t . T h e s e t o f q u e r y C R T s a r e o b t a i n e d b y s c a n n i n g
t h e q u e r y g r i d a n d g e n e r a t i n g a n d c o n s o l i d a t i n g t h e r e g i o n s t r i n g s f o r t h e q u e r y . T h e
m a t c h i n g i s t h e n p e r f o r m e d d i r e c t l y b e t w e e n t h e q u e r y C R T s a n d t h o s e f o r t h e t a r g e t
i m a g e s u s i n g E q . 8 .
F o r e x a m p l e , i n t h e r s t q u e r y i n F i g u r e 6 , t h e u s e r p l a c e s t w o r e g i o n s , o n e f o r
b l u e s k y , a n d a n o t h e r f o r g r e e n e l d o n t h e q u e r y g r i d . T h e r e t r i e v e d i m a g e s h a v e t h e
b e s t m a t c h t o t h e q u e r y i n t e r m s o f t h e c o m p o s i t i o n o f t h e c o l o r r e g i o n s . T h e b e s t s i x
m a t c h e s a r e i l l u s t r a t e d o n t h e r i g h t i n F i g u r e 6 . I n t h e n e x t e x a m p l e q u e r y , t h e u s e r
p l a c e s a p a l e b l u e r e g i o n a b o v e a b r o w n r e g i o n . T h e s c e n e s i n t h e r e t r i e v e d i m a g e s
m a t c h t h e q u e r y i n t e r m s o f c o l o r a n d l o c a t i o n o f t h e r e g i o n s . I n t h e l a s t e x a m p l e
q u e r y , t h e u s e r p l a c e s a b l u e r e g i o n a b o v e a t a n r e g i o n . T h e r s t v e r e t r i e v e d i m a g e s
2 2
-
8/3/2019 Image Classic at Ion and Querying Using Composite
23/36
-
8/3/2019 Image Classic at Ion and Querying Using Composite
24/36
3 V . A t h i t s o s , M . J . S w a i n , a n d C . F r a n k e l . D i s t i n g u i s h i n g p h o t o g r a p h s a n d g r a p h -
i c s o n t h e W o r l d - W i d e W e b . I n P r o c . I E E E W o r k s h o p o n C o n t e n t - b a s e d A c c e s s
o f I m a g e a n d V i d e o L i b r a r i e s , J u n e 1 9 9 7 .
4 S . - S . C h e n . C o n t e n t - b a s e d i n d e x i n g o f s p a t i a l o b j e c t s i n d i g i t a l l i b r a r i e s . J o u r n .
V i s u a l C o m m . a n d I m a g e R e p . , 7 1 : 1 6 2 7 , M a r c h 1 9 9 6 .
5 W . W o l f , Y . L i a n g , M . K o z u c h , H . Y u , M . P h i l l i p s , M . W e e k e s , a n d A . D e b r u y n e .
A d i g i t a l v i d e o l i b r a r y o n t h e W o r l d W i d e W e b . I n P r o c . A C M I n t e r n . C o n f .
M u l t i m e d i a A C M M M , p a g e s 4 3 3 4 3 4 , N o v e m b e r 1 9 9 6 .
6 J . R . S m i t h . D i g i t a l v i d e o l i b r a r i e s a n d t h e I n t e r n e t . I E E E C o m m u n i c a t i o n s M a g . ,
3 7 1 : 9 2 9 9 , J a n u a r y 1 9 9 9 . S p e c i a l i s s u e o n t h e N e x t G e n e r a t i o n I n t e r n e t .
7 J . R . S m i t h , R . M o h a n , a n d C . - S . L i . C o n t e n t - b a s e d t r a n s c o d i n g o f i m a g e s i n t h e
I n t e r n e t . I n I E E E P r o c . I n t . C o n f . I m a g e P r o c e s s i n g I C I P , C h i c a g o , I l , O c t o b e r
1 9 9 8 .
8 J . R . S m i t h , R . M o h a n , a n d C . - S . L i . T r a n s c o d i n g I n t e r n e t c o n t e n t f o r h e t e r o g e -
n o u s c l i e n t d e v i c e s . I n P r o c . I E E E I n t e r . S y m p . o n C i r c u i t s a n d S y s t . I S C A S ,
J u n e 1 9 9 8 . S p e c i a l s e s s i o n o n N e x t G e n e r a t i o n I n t e r n e t .
2 4
-
8/3/2019 Image Classic at Ion and Querying Using Composite
25/36
9 J . R . S m i t h a n d S . - F . C h a n g . V i s u a l S E E k : a f u l l y a u t o m a t e d c o n t e n t - b a s e d
i m a g e q u e r y s y s t e m . I n P r o c . A C M I n t e r n . C o n f . M u l t i m e d i a A C M M M , p a g e s
8 7 9 8 , B o s t o n , M A , N o v e m b e r 1 9 9 6 .
1 0 J . R . B a c h , C . F u l l e r , A . G u p t a , A . H a m p a p u r , B . H o r o w i t z , R . H u m p h r e y , R . C .
J a i n , a n d C . S h u . V i r a g e i m a g e s e a r c h e n g i n e : a n o p e n f r a m e w o r k f o r i m a g e
m a n a g e m e n t . I n S y m p o s i u m o n E l e c t r o n i c I m a g i n g : S c i e n c e a n d T e c h n o l o g y
S t o r a g e & R e t r i e v a l f o r I m a g e a n d V i d e o D a t a b a s e s I V , v o l u m e 2 6 7 0 , p a g e s 7 6
8 7 . I S & T S P I E , J a n u a r y 1 9 9 6 .
1 1 M . F l i c k n e r , H . S a w h n e y , W . N i b l a c k , J . A s h l e y , Q . H u a n g , B . D o m , M . G o r k a n i ,
J . H a f n e r , D . L e e , D . P e t k o v i c , D . S t e e l e , a n d P . Y a n k e r . Q u e r y b y i m a g e a n d
v i d e o c o n t e n t : T h e Q B I C s y s t e m . I E E E C o m p u t e r , 2 8 9 : 2 3 3 2 , S e p t e m b e r
1 9 9 5 .
1 2 V . E . O g l e a n d M . S t o n e b r a k e r . C h a b o t : R e t r i e v a l f r o m a r e l a t i o n a l d a t a b a s e o f
i m a g e s . I E E E C o m p u t e r , 2 8 9 : 4 0 4 8 , S e p t e m b e r 1 9 9 5 .
1 3 A . P e n t l a n d , R . W . P i c a r d , a n d S . S c l a r o . P h o t o b o o k : T o o l s f o r c o n t e n t - b a s e d
m a n i p u l a t i o n o f i m a g e d a t a b a s e s . I n I n S t o r a g e a n d R e t r i e v a l S t o r a g e & R e t r i e v a l
f o r S t i l l I m a g e a n d V i d e o D a t a b a s e s I I , v o l u m e P r o c . S P I E 2 1 8 5 . I S & T S P I E ,
F e b r u a r y 1 9 9 4 . A l s o M I T T R 2 5 5 .
2 5
-
8/3/2019 Image Classic at Ion and Querying Using Composite
26/36
1 4 J . R . S m i t h a n d S . - F . C h a n g . I n t e g r a t e d s p a t i a l a n d f e a t u r e i m a g e q u e r y . M u l t i -
m e d i a S y s t e m s , 7 2 : 1 2 9 1 4 0 , 1 9 9 9 .
1 5 J . H u a n g a n d R . Z a b i h . C o m b i n i n g c o l o r a n d s p a t i a l i n f o r m a t i o n f o r c o n t e n t -
b a s e d i m a g e r e t r i e v a l . I n E u r o p e a n C o n f . o n D i g i t a l L i b r a r i e s , S e p t e m b e r 1 9 9 8 .
1 6 A . D e l B i m b o a n d E . V i c a r i o . U s i n g w e i g h t e d s p a t i a l r e l a t i o n s h i p s i n r e t r i e v a l b y
v i s u a l c o n t e n t . I n P r o c . I E E E W o r k s h o p o n C o n t e n t - b a s e d A c c e s s o f I m a g e a n d
V i d e o L i b r a r i e s , J u n e 1 9 9 8 .
1 7 R . O . D u d a a n d P . E . H a r t . P a t t e r n c l a s s i c a t i o n a n d s c e n e a n a l y s i s . J o h n W i l e y
& S o n s , I n c . , 1 9 7 3 .
1 8 J . R . S m i t h a n d S . - F . C h a n g . L o c a l c o l o r a n d t e x t u r e e x t r a c t i o n a n d s p a t i a l
q u e r y . I n I E E E P r o c . I n t . C o n f . I m a g e P r o c e s s i n g I C I P , L a u s a n n e , S w i t z e r l a n d ,
S e p t e m b e r 1 9 9 6 .
1 9 J . R . S m i t h a n d C h u n g - S h e n g L i . D e c o d i n g i m a g e s e m a n t i c s u s i n g c o m p o s i t e
r e g i o n t e m p l a t e s . I n I E E E C V P R - 9 8 W o r k s h o p o n C o n t e n t - b a s e d A c c e s s t o I m a g e
a n d V i d e o D a t a b a s e s , J u n e 1 9 9 8 .
2 0 S . - K . C h a n g , Q . Y . S h i , a n d C . Y . Y a n . I c o n i c i n d e x i n g b y 2 - D s t r i n g s . I E E E
T r a n s . P a t t e r n A n a l . M a c h i n e I n t e l l . , 9 3 : 4 1 3 4 2 8 , M a y 1 9 8 7 .
2 6
-
8/3/2019 Image Classic at Ion and Querying Using Composite
27/36
-
8/3/2019 Image Classic at Ion and Querying Using Composite
28/36
-
8/3/2019 Image Classic at Ion and Querying Using Composite
29/36
o
v
e
r
a
l
l
b
e
a
c
h
b
u
i
l
d
i
n
g
s
c
r
a
b
s
d
i
v
e
r
s
f
a
c
e
s
h
o
r
s
e
s
n
a
t
u
r
e
s
i
l
h
o
u
e
t
t
e
s
s
u
n
s
e
t
s
t
i
g
e
r
s
t o t a l i m a g e s 3 5 7 1 4 5 6 9 3 3 5 5 2 6 4 6 4 1 4 6 3 1
t r a i n i n g i m a g e s 9 1 7 1 0 4 1 0 1 0 1 0 1 0 1 0 1 0 1 0
t e s t i m a g e s 2 6 6 7 4 6 5 2 3 4 5 1 6 3 6 3 1 3 6 2 1
c o r r e c t l y c l a s s i e d C R T s 1 8 8 6 3 0 5 2 3 1 9 1 4 2 0 2 0 3 1 2 1
c o r r e c t l y c l a s s i e d c o l o r h i s t 1 7 9 5 1 9 5 2 3 1 6 1 3 2 4 3 1 2 4 1 9
c o r r e c t l y c l a s s i e d C R T s 7 0 . 7 8 5 . 7 6 5 . 2 1 0 0 1 0 0 4 2 . 2 8 7 . 5 5 5 . 6 6 4 . 5 8 6 . 1 1 0 0
c o r r e c t l y c l a s s i e d c o l o r h i s t 6 7 . 3 7 1 . 4 4 1 . 3 1 0 0 1 0 0 3 5 . 5 8 1 . 3 6 6 . 7 1 0 0 6 6 . 7 9 0 . 5
T a b l e 1 : R e s u l t s o f t h e i m a g e s e m a n t i c s c l a s s i c a t i o n e x p e r i m e n t w i t h t e n s e m a n t i c
c l a s s e s u s i n g t h e C R T m e t h o d c o m p a r e d t o c o l o r h i s t o g r a m - b a s e d c l a s s i c a t i o n .
2 9
-
8/3/2019 Image Classic at Ion and Querying Using Composite
30/36
-
8/3/2019 Image Classic at Ion and Querying Using Composite
31/36
COLORREGION
SEGMENTATION
IMAGEREGION
SCANS
REGIONSTRING
CONSOLIDATAION
IMAGE CRTs
BA
C
ED E E E
A B BB
DDDD D
A
C
C C
C
C
C
C
C C
C
A B C D E
A
B
C
DE
0
0
3
00
2
3
10
00
0
0
2
00
2
1
6
30
2
3
5
00
F i g u r e 1 : O v e r v i e w o f t h e p r o c e s s f o r g e n e r a t i n g c o m p o s i t e r e g i o n t e m p l a t e s C R T s
f r o m t h e i m a g e s b y 1 e x t r a c t i n g c o l o r r e g i o n s , 2 s c a n n i n g t h e i m a g e r e g i o n s t o
g e n e r a t e r e g i o n s t r i n g s , a n d 3 c o n s o l i d a t i n g t h e r e g i o n s t r i n g s .
3 1
-
8/3/2019 Image Classic at Ion and Querying Using Composite
32/36
-
8/3/2019 Image Classic at Ion and Querying Using Composite
33/36
sunsets
beaches
horses
nature
faces
tigers
houses
crabs
divers
silhouettes
F i g u r e 3 : E x a m p l e s o f c o l o r r e g i o n s e g m e n t e d i m a g e s f r o m t e n s e m a n t i c c l a s s e s : s u n -
s e t s , b e a c h e s , h o r s e s , n a t u r e , f a c e s , t i g e r s , h o u s e s , c r a b s , d i v e r s a n d s i l h o u e t t e s .
3 3
-
8/3/2019 Image Classic at Ion and Querying Using Composite
34/36
(c)
ABC
D
FG
A
BC
D
F
G
H
BC
D
F
G
G
C
D
FG
G
C
D
F
G
B
B
FD
G
A
B
F
G
HHC
G
F
D
CB
DC
G
B
CDG
B
C
GD
F
BC
HG
I
F
F
II
GF
FI
G
A B C D E
A
B
C
DE
1
1
3
00
1
6
8
00
0
2
0
00
0
0
0
00
0
3
1
00
F G H I
F
G
H
I
2
9
10
90
2
10
13
100
0
3
1
10
0
4
5
50
0
0
0
0
0
0
0
0
0
0
2
0
0
1
2
0
0
0
0
0
1
8
4
2
8
4
5
2
0
0
0
0
3
4
3
0
I(a) (b)
(d)
t0t1
F i g u r e 4 : E x a m p l e o f r e g i o n s t r i n g e x t r a c t i o n a n d C R T c o n s o l i d a t i o n : a t w o n a t u r e
i m a g e s , b c o l o r s e g m e n t e d r e g i o n s , c r e g i o n s c a n s a n d e x t r a c t e d r e g i o n s t r i n g s f S
k
g ,
a n d d C R T d e s c r i p t o r m a t r i x M t h a t g i v e s t h e c o u n t o f e a c h C R T , T = t
0
t
1
, i n t h e
r e g i o n s t r i n g s .
3 4
-
8/3/2019 Image Classic at Ion and Querying Using Composite
35/36
0 0.05 0.1 0.15 0.2 0.250
0.2
0.4
0.6
0.8
1
Recall
Precision
Retrieval Effectiveness (Precision vs. Recall)
CRT
histograms
texture
F i g u r e 5 : A v e r a g e r e t r i e v a l e e c t i v e n e s s o f 4 6 q u e r i e s f o r n a t u r e i m a g e s u s i n g t h r e e
m e t h o d s C R T s , c o l o r h i s t o g r a m s a n d t e x t u r e . T h e p o i n t s m a r k e d b y o " g i v e t h e
a v e r a g e p r e c i s i o n P
k
a n d r e c a l l R
k
f o r t h e k
t h
m a t c h , w h e r e k = 2 0 .
3 5
-
8/3/2019 Image Classic at Ion and Querying Using Composite
36/36
QUERY RETRIEVED IMAGES
BLUE
DK GRN
PALE
BROWN
BLUE
TAN
1 2 3 4 5 6
1 2 3 4 5 6
1 2 3 4 5 6
F i g u r e 6 : E x a m p l e g r a p h i c a l i m a g e q u e r i e s i n w h i c h t h e C R T d e s c r i p t o r s a r e g e n e r a t e d
f r o m t h e c o l o r r e g i o n l a y o u t o b t a i n e d f r o m t h e c o l o r r e g i o n s p l a c e d o n a q u e r y g r i d .