8/10/2019 A00-2009

1/7

A S i m p l e A p p r o a c h t o B u i l d in g E n s e m b l e s o f N a i v e B a y e s ia n

C l a ss if ie r s f or W o r d S e n s e D i s a m b i g u a t i o n

T e d P e d e r s e n

D e p a r t m e n t o f C o m p u t e r S c i e n c e

U n i v e r s i t y o f M i n n e s o t a D u l u t h

D u l u t h , M N 5 5 8 1 2 U S A

t p e d e r s e d u m n . e d u

A b s t r a c t

T h i s p a p e r p r e s e n t s a c o r p u s - b a s e d a p p r o a c h t o

w o r d se n s e d i s a m b i g u a t i o n t h a t b u i ld s a n e n s e m b l e

o f N a i v e B a y e s i a n c l a ss i fi e rs , e a c h o f w h i c h i s b a s e d

o n l e x ic a l f e a t u r e s t h a t r e p r e s e n t c o - o c c u r r i n g w o r d s

i n v a r y i n g s i z e d w i n d o w s o f c o n t e x t . D e s p i t e th e

s i m p l i c i t y o f t h i s a p p r o a c h , e m p i r i c a l r e s u l t s d i s a m -

b i g u a t i n g t h e w i d e l y s t u d i e d n o u n s lin a n d int r st

s h o w t h a t s u c h a n e n s e m b l e a c h i e v e s a c c u r a c y r i v a l -

i n g th e b e s t p r e v i o u s l y p u b l i s h e d r e s u l t s .

1 I n t r o d u c t i o n

W o r d s e n s e d i s a m b i g u a t i o n i s o f t e n c a s t a s a p r o b -

l e m i n s u p e r v is e d l e a r n i n g , w h e r e a d i s a m b i g u a t o r i s

i n d u c e d f r o m a c o r p u s o f m a n u a l l y s e n s e - t a g g e d t e x t

u s in g m e t h o d s f r o m s t a t i s ti c s o r m a c h i n e l e a r n i n g .

T h e s e a p p r o a c h e s t y p i c a l l y re p r e s e n t t h e c o n t e x t i n

w h i c h e a ch s e n s e - t a g g e d i n s t a n c e o f a w o r d o c c u r s

w i t h a s e t o f l i n g u i s t i c a l l y m o t i v a t e d f e a t u r e s . A

l e a r n i n g a l g o r i t h m i n d u c e s a r e p r e s e n t a t i v e m o d e l

f r o m t h e s e f e a t u r e s w h i c h i s e m p l o y e d a s a c l a s s if i er

t o p e r f o r m d i s a m b i g u a t i o n .

T h i s p a p e r p r e s e n t s a c o r p u s - b a s e d a p p r o a c h t h a t

r e s u l t s i n h i g h a c c u r a c y b y c o m b i n i n g a n u m b e r o f

v e r y s i m p l e c l as s if i er s i n t o a n e n s e m b l e t h a t p e r -

f o r m s d i s a m b i g u a t i o n v i a a m a j o r i t y v o t e . T h i s i s

m o t i v a t e d b y t h e o b s e r v a t i o n t h a t e n h a n c i n g t h e f e a -

t u r e s e t o r l e a r n i n g a l g o r i t h m u s e d i n a c o r p u s - b a s e d

a p p r o a c h d o e s n o t u s u a l l y i m p r o v e d i s a m b i g u a t i o n

a c c u r a c y b e y o n d w h a t c a n b e a t t a i n e d w i t h sh a l lo w

l e x i c a l f e a t u r e s a n d a s im p l e s u p e r v i s e d l e a r n i n g a l -

g o r i t h m .

F o r e x a m p l e , a N a i v e B a y e s i a n c l a s s if i er ( D u d a

a n d H a r t , 1 9 73 ) is b a s e d o n a b l a n k e t a s s u m p t i o n

a b o u t t h e i n t e r a c t i o n s a m o n g f e a t u r e s i n a s e n s e -

t a g g e d c o r p u s a n d d o e s n o t l e a r n a r e p r e s e n t a t i v e

m o d e l . D e s p i t e m a k i n g s u c h a n a s s u m p t i o n , t h i s

p r o v e s t o b e a m o n g t h e m o s t a c c u r a t e t e c h n i q u e s

i n c o m p a r a t i v e s t u d i e s o f c o r p u s - b a s e d w o r d s e n se

d i s a m b i g u a t i o n m e t h o d o l o g i e s ( e . g ., ( L e a c o c k e t a l. ,

1993) , ( M ooney , 1996) , ( Ng and L ee , 1996) , ( P ea l e r -

s e n a n d B r u c e , 1 9 9 7 ) ) . T h e s e s t u d i e s r e p r e s e n t t h e

c o n t e x t i n w h i c h a n a m b i g u o u s w o r d o c c u r s w i t h a

w i d e v a r i e t y o f f e a t u r e s . H o w e v e r , w h e n t h e c o n -

t r i b u t i o n o f e a c h t y p e o f f e a t u r e t o o v e r a ll a c c u r a c y

i s a n a l y z e d ( e g . ( N g a n d L e e , 1 9 9 6 ) ) , s h a l lo w l e x i-

c a l f e a t u r e s s u c h a s c o - o c c u r r e n c e s a n d c o l l o c a ti o n s

p r o v e t o b e s t r o n g e r c o n t r i b u t o r s t o a c c u r a c y t h a n

d o d e e p e r , l i n g u i s t i c a l l y m o t i v a t e d f e a t u r e s s u c h a s

p a r t - o f - s p e e c h a n d v e r b - o b j e c t r e l a t i o n s h i p s .

I t h a s al so b e e n s h o w n t h a t t h e c o m b i n e d a c c u r a c y

of an ense mb l e o f mu l t i p l e c l a s s i fi e r s is o f t en s i gn i f i-

c a n t l y g r e a t e r t h a n t h a t o f a n y o f t h e i n d i v i d u a l c l a s-

s i f i e r s t h a t m a k e u p t h e e n s e m b l e ( e . g . , ( D i e t t e r i c h ,

1 9 9 7 ) ) . I n n a t u r a l l a n g u a g e p r o c e s s i n g , e n s e m b l e

t e c h n i q u e s h a v e b e e n s u c c e s s f u l ly a p p l ie d t o p a r t -

o f - s p e e c h t a g g i n g ( e . g . , (B r i l l a n d W u , 1 9 9 8 ) ) a n d

p a r s i n g ( e . g ., ( H e n d e r s o n a n d B r i l l, 1 9 9 9 ) ) . W h e n

c o m b i n e d w i t h a h i s t o r y o f d i s a m b i g u a t i o n s u c c e s s

u s i n g s h a l lo w l e x i c a l f e a t u r e s a n d N a i v e B a y e s i a n

c l a s s i f i e r s , t hese f i nd i ngs sugges t t ha t wor d sense d i s -

a m b i g u a t i o n m i g h t b e s t b e i m p r o v e d b y c o m b i n i n g

t h e o u t p u t o f a n u m b e r o f s u c h c l a ss i fi e rs in t o a n

e n s e m b l e .

T h i s p a p e r b e g i n s w i t h a n i n t r o d u c t i o n t o t h e

N a i v e B a y e s i a n c l a s s i f i e r . T h e f e a t u r e s u s e d t o r e p -

r e s e n t t h e c o n t e x t i n w h i c h a m b i g u o u s w o r d s o c c u r

a r e p r e s e n t e d , f o l lo w e d b y t h e m e t h o d f o r s e l ec t in g

t h e c l a s s if ie r s t o i n c l u d e i n t h e e n s e m b l e . T h e n , t h e

lin a n d int r st d a t a i s d e s c r ib e d . E x p e r i m e n t a l r e -

s u l t s d i s a m b i g u a t i n g t h e s e w o r d s w i t h a n e n s e m b l e

o f N a i v e B a y e s i a n c l a s s if i e rs a r e s h o w n t o r i v a l p re -

v i o u s l y p u b l i s h e d r e s u l t s . T h i s p a p e r c l o se s w i t h a

d i s c u s s io n o f th e c h o i c e s m a d e i n f o r m u l a t i n g t h i s

m e t h o d o l o g y a n d p l a n s f o r f u t u r e w o r k .

2 N a i v e B a y e s i a n C l a s s i f i e r s

A N a i v e B a y e s i a n c l a s s i f i e r a s s u m e s t h a t a l l t h e f e a -

t u r e v a r i a b le s r e p r e s e n t i n g a p r o b l e m a r e c o n d i t i o n -

a l l y i n d e p e n d e n t g i v e n t h e v a l u e o f a c l a s s if i c a ti o n

v a r i a b l e . I n w o r d s en s e d i s a m b i g u a t i o n , t h e c o n t e x t

i n w h i ch a n a m b i g u o u s w o r d o c c u r s i s r e p r e s e n t e d b y

t h e f e a t u r e v a r i a b l e s ( F 1, F 2 , . . . , F ~ ) a n d t h e s e n se

o f t h e a m b i g u o u s w o r d i s r e p r e s e n t e d b y t h e c l a s s i-

f i c a t i o n v a r i a b l e ( S ) . I n t h i s p a p e r , a l l f e a t u r e v a r i -

a b l e s F i a r e b i n a r y a n d r e p r e s e n t w h e t h e r o r n o t a

p a r t i c u l a r w o r d o c c u r s w i t h in s o m e n u m b e r o f w o r d s

t o t h e l e f t o r r i g h t o f a n a m b i g u o u s w o r d , i . e ., a w i n -

63

8/10/2019 A00-2009

2/7

d o w o f c o n t e x t . F o r a N a i v e B a y e s i a n c l a ss i fi e r, t h e

j o i n t p r o b a b i l i t y o f o b s e r v i n g a c e r t a i n c o m b i n a t i o n

o f c o n t e x t u a l f e a t u r e s w i t h a p a r t i c u l a r s e n s e i s e x -

pr es sed a s :

n

p(F~, F~ , . . . , Fn, S) = p(S) H p(Fi lS)

i = 1

T h e p a r a m e t e r s o f t h i s m o d e l a re p(S) a n d

p(Fi]S). T h e s u f f i c ie n t s t a t i s t i c s , i . e . , t h e s u m m a r i e s

o f t h e d a t a n e e d e d f o r p a r a m e t e r e s t i m a t i o n , a r e t h e

f r e q u e n c y c o u n t s o f t h e e v e n t s d e s c r i b e d b y t h e i n-

t e r d e p e n d e n t v a r i a b l e s

(Fi, S) .

I n t h i s p a p e r , t h e s e

c o u n t s a r e t h e n u m b e r o f s e n t e n c e s i n th e s e n s e -

t a g g e d t e x t w h e r e t h e w o r d r e p r e s e n t e d b y Fi oc-

c u r s w i t h i n s o m e s p e c i fi e d w i n d o w o f c o n t e x t o f t h e

a m b i g u o u s w o r d w h e n i t i s u s e d i n s e n s e S .

A n y p a r a m e t e r t h a t h a s a v a l u e o f z e r o i n d i c a t e s

t h a t t h e a s s o c i a t e d w o r d n e v e r o c c u r s w i t h t h e s p e c -

i f ie d s e n s e v a l u e . T h e s e z e r o v a l u e s a r e s m o o t h e d

b y a s s i g n in g t h e m a v e r y s m a l l d e f a u l t p r o b a b i l i t y .

O n c e a l l t h e p a r a m e t e r s h a v e b e e n e s t i m a t e d , t h e

m o d e l h a s b e e n t r a i n e d a n d c a n b e u s e d a s a c l a s -

s i f i e r t o p e r f o r m d i s a m b i g u a t i o n b y d e t e r m i n i n g t h e

m o s t p r o b a b l e s e n s e fo r a n a m b i g u o u s w o r d , g i v e n

t h e c o n t e x t i n w h i c h i t o c c u r s .

2 1 R e p r e s e n t a t i o n o f C o n t e x t

T h e c o n t e x t u a l f e a t u r e s u s e d i n t h is p a p e r a r e b i -

n a r y a n d i n d i c a t e i f a g i v e n w o r d o c c u r s w i t h i n s o m e

n u m b e r o f w o r d s t o t h e l e ft o r r i g h t o f t h e a m b i g u -

o u s w o r d . N o a d d i t i o n a l p o s i t io n a l i n f o r m a t i o n is

c o n t a i n e d i n t h e s e f e a t u r e s ; t h e y s i m p l y i n d i c a t e i f

t h e w o r d o c c u r s w i t h i n s o m e n u m b e r o f s u r r o u n d i n g

w o r d s .

P u n c t u a t i o n a n d c a p i t a l iz a t io n a r e r em o v e d f r o m

t h e w i n d o w s o f c o n t e x t . A l l o t h e r l e x i c a l i t e m s a r e

i n c l u d e d i n t h e i r o r i g i n a l f o r m ; n o s t e m m i n g i s p e r -

f o r m e d a n d n o n - c o n t e n t w o r d s r e m a i n .

T h i s r e p r e s e n t a t i o n o f c o n t e x t i s a v a r i a t i o n o n

t h e bag-of-words f e a t u r e s e t , w h e r e a s i n g l e w i n d o w

o f c o n t e x t i n c l u d e s w o r d s t h a t o c c u r t o b o t h t h e l e f t

a n d r i g h t o f t h e a m b i g u o u s w o r d . A n e a r l y u se o f

t h i s r e p r e s e n t a t i o n i s d e s c r i b e d i n ( G a l e e t a l ., 1 9 9 2 ) ,

w h e r e w o r d s e n s e d i s a m b i g u a t i o n i s p e r f o r m e d w i t h

a N a i v e B a y e s i a n c l a ss i fi e r. T h e w o r k i n th i s p a -

p e r d i f f e rs i n t h a t t h e r e a r e t w o w i n d o w s o f c o n t e x t ,

o n e r e p r e s e n t i n g w o r d s t h a t o c c u r t o t h e l e ft o f t h e

a m b i g u o u s w o r d a n d a n o t h e r f o r t h o s e t o t h e r i g h t .

2 .2 E n s e m b l e s o f N a i v e B a y e s i a n C l as s i fi e rs

T h e l e f t a n d r i g h t w i n d o w s o f c o n t e x t h a v e n i n e d i f-

f e r en t s i zes ; 0 , 1 , 2 , 3 , 4 , 5 , 10 , 25 , and 50 wor ds .

T h e f i r s t s t e p i n t h e e n s e m b l e a p p r o a c h i s t o t r a i n a

s e p a r a t e N a i v e B a y e s i a n c l a ss i fi e r f o r e a c h o f t h e 8 1

p o s s i b l e c o m b i n a t i o n o f l e f t a n d r i g h t w i n d o w s i z es .

Na i ve_Bayes ( 1 , r ) r ep r esen t s a c l a s s i f i e r wher e t he

m o d e l p a r a m e t e r s h a v e b e e n e s t i m a t e d b a s e d o n I re -

q u e n c y c o u n t s o f s h a l lo w l e x ic a l fe a t u r e s f r o m t w o

w i n d o w s o f c o n t e x t ; o n e i n c l u d i n g I w o r d s t o t h e l e f t

o f t h e a m b i g u o u s w o r d a n d t h e o t h e r i n c l u d i n g r

w o r d s t o th e r i g h t . N o t e t h a t N a i v e _ B a y e s ( 0 ,0 ) in -

c l u d e s n o w o r d s t o t h e l e f t o r r i g h t ; t h i s c l a s s if ie r a c t s

a s a m a j o r i t y c l a s s if i e r t h a t a s s i g n s e v e r y in s t a n c e o f

a n a m b i g u o u s w o r d t o t h e m o s t f r e q u e n t s e n s e i n

t h e t r a i n i n g d a t a . O n c e t h e i n d i v i d u a l c l a s s i f i e r s a r e

t r a i n e d t h e y a r e e v a l u a t e d u s i n g p r e v io u s l y h e l d - o u t

t e s t d a t a .

T h e c r u c i a l s t e p i n b u i l d i n g a n e n s e m b l e i s s e l e c t -

i n g t h e c l a s si f ie r s t o i n c l u d e a s m e m b e r s . T h e a p -

p r o a c h h e r e i s t o g r o u p t h e 8 1 N a i v e B a y e s i a n c l a s -

s i f i e r s i n t o g e n e r a l c a t e g o r i e s r e p r e s e n t i n g t h e s i z e s

o f t h e w i n d o w s o f c o n t e x t . T h e r e a r e t h r e e su c h

r a n g e s ; narrow c o r r e s p o n d s t o w i n d o w s 0 , 1 a n d 2

w o r d s w i d e , medium t o w i n d o w s 3 , 4 , a n d 5 w o r d s

w i d e , a n d wide t o w i n d o w s 1 0 , 2 5 , a n d 5 0 w o r d s

w i d e . T h e r e a r e n i n e p o s s i b l e r a n g e c a t e g o r i e s s i n c e

t h e r e a r e s e p a r a t e l e f t a n d r i g h t w i n d o w s . F o r e x a m -

p l e , N a i v e _ B a y e s ( 1 , 3 ) b e l o n g s t o t h e r a n g e c a t e g o r y

( n a r r o w , m e d i u m ) s i n c e i t i s b a s e d o n a o n e w o r d

w i n d o w t o t h e l e f t a n d a t h r e e w o r d w i n d o w t o t h e

r i g h t . T h e m o s t a c c u r a t e c l a s s i fi e r i n e a c h o f t h e

n i n e r a n g e c a t e g o r i e s i s s e l e c t e d f o r i n c l u s i o n i n t h e

e n s e m b l e . E a c h o f t h e n i n e m e m b e r c l a ss i fi e rs v o t e s

f o r t h e m o s t p r o b a b l e s e n s e g i v e n th e p a r t i c u l a r c o n -

t e x t r e p r e s e n t e d b y t h a t c l a s s i f i e r ; t h e e n s e m b l e d i s -

a m b i g u a t e s b y a s s i g n i n g t h e s e n s e t h a t r e c e i v e s a

m a j o r i t y o f th e v o t e s .

3 E x p e r i m e n t a l D a t a

T h e l ine d a t a w a s c r e a t e d b y ( L e a c o c k e t a l ., 1 9 9 3 )

b y t a g g i n g e v e r y o c c u r r e n c e o f line i n t h e A C L / D C I

W a l l S t r e e t J o u r n a l c o r p u s a n d t h e A m e r i c a n P r i n t -

i n g H o u s e f o r t h e B l i n d c o r p u s w i t h o n e o f s ix p o s -

s i b le W o r d N e t se n s e s. T h e s e s e n se s a n d t h e i r f r e -

q u e n c y d i s t r i b u t i o n a r e s h o w n i n T a b l e 1 . T h i s d a t a

h a s s i n c e b e e n u s e d i n s t u d i e s b y ( M o o n e y , 1 9 9 6 ) ,

( T o w e l l a n d V o o r h e e s , 1 9 9 8 ) , a n d ( L e a c o c k e t a l .,

1 9 9 8 ) . I n t h a t w o r k , a s w e l l a s in t h i s p a p e r , a s u b s e t

o f t h e c o r p u s i s u t i l i z e d s u c h t h a t e a c h s e n s e i s u n i -

f o r m l y d i s t r i b u t e d ; t h i s r e d u c e s t h e a c c u r a c y o f t h e

m a j o r i t y c la s si fi e r t o 1 7 . T h e u n i f o r m d i s t r i b u t i o n

i s c r e a t e d b y r a n d o m l y s a m p l i n g 3 4 9 s e n s e - t a g g e d

e x a m p l e s f r o m e a c h s e n s e , r e s u l t i n g i n a t r a i n i n g c o r -

p u s o f 2 0 94 s e n s e - t a g g e d s e n t e n c e s .

T h e interest d a t a w a s c r e a t e d b y ( B r u c e a n d

W i e b e , 1 9 9 4) b y t a g g i n g a l l o c c u r r e n c e s o f

interest

i n t h e A C L / D C I W a l l S tr e e t J o u r n a l c o r p u s w i th

s en s es f r o m t h e L o n g m a n D i c t i o n a r y o f C o n t e m p o -

r a r y E n g l i sh . T h i s d a t a s e t w a s s u b s e q u e n t l y u s e d

f o r w o r d s e n s e d i s a m b i g u a t i o n e x p e r i m e n t s b y ( N g

a n d L e e , 1 9 9 6 ) , ( P e d e r s e n e t a l . , 1 9 9 7 ) , a n d ( P e d e r -

s e n a n d B r u c e , 1 9 9 7 ) . T h e p r e v i o u s s t u d i e s a n d t h i s

p a p e r u s e t h e e n t i r e 2 , 3 6 8 s e n s e - t a g g e d s e n t e n c e c o r -

p u s i n t h e i r e x p e r i m e n t s . T h e s e n s e s a n d t h e i r i r e -

6 4

8/10/2019 A00-2009

3/7

s e n s e c o u n t

p r o d u c t 2 2 1 8

w r i t t e n o r s p o k e n t e x t 4 0 5

t e l e p h o n e c o n n e c t i o n 4 29

f o r m a t i o n o f p e o p l e o r t h i n g s ; q u e u e 3 4 9

a n a r t i f i c i a l d i v i s i o n ; b o u n d a r y 3 7 6

a t h i n , f l e x i b l e o b j e c t ; c o r d 3 7 1

t o t a l 4 1 4 8

T a b l e 1: D i s t r i b u t i o n o f s e n s e s f o r

l i n e -

t h e e x p e r -

i m e n t s i n t h i s p a p e r a n d p r e v i o u s w o r k u s e a u n i -

f o r m l y d i s t r i b u t e d s u b s e t o f t h is c o r p u s , w h e r e e a c h

s e n s e o c c u r s 3 4 9 t i m e s .

s e n s e c o u n t

m o n e y p a i d f o r t h e u s e o f m o n e y 1 25 2

a s h a r e i n a c o m p a n y o r b u s i n e s s 5 0 0

r e a d i n e s s t o g i v e a t t e n t i o n 3 6 1

a d v a n t a g e , a d v a n c e m e n t o r f a v o r 1 78

a c t i v i t y t h a t o n e g i v e s a t t e n t i o n t o 6 6

c a u s i n g a t t e n t i o n t o b e g i v e n t o 1 1

t o t a l 2 3 6 8

T a b l e 2 : D i s t r i b u t i o n o f s e n s es f o r i n t e r e s t - t h e e x -

p e r i m e n t s i n t h i s p a p e r a n d p r e v i o u s w o r k u s e t h e

e n t i r e c o r p u s , w h e r e e a c h s e n s e o c c u r s t h e n u m b e r

o f t i m e s s h o w n a b o v e .

q u e n c y d i s t r i b u t i o n a r e s h o w n i n T a b l e 2 . U n l i k e

l i n e , t h e s e n s e d i s t r i b u t i o n i s s k e w e d ; t h e m a j o r i t y

s e n s e o c c u r s i n 5 3 o f t h e s e n t e n c e s , w h i l e t h e s m a l l -

e s t m i n o r i t y s e n s e o c c u r s i n l e s s t h a n 1 .

4 E x p e r i m e n t a l R e s u l t s

E i g h t y - o n e N a i v e B a y e s i a n c l a s s i f i e r s w e r e t r a i n e d

a n d t e s t e d w i t h t h e l i n e a n d i n t e r e s t d a t a . F i v e -

f o ld c r o s s v a l i d a t i o n w a s e m p l o y e d ; a l l o f t h e s e n s e -

t a g g e d e x a m p l e s f o r a w o r d w e r e r a n d o m l y s h u f f l e d

a n d d i v i d e d i n t o f i ve e q u a l f o l d s . F o u r f o l d s w e r e

u s e d t o t r a i n t h e N a i v e B a y e s i a n c l a ss i fi e r w h il e t h e

r e m a i n i n g f o l d w a s r a n d o m l y d i v i d e d i n t o t w o e q u a l

s i ze d te s t s e t s . T h e f i r s t, d e v t e s t , w a s u se d t o e v a l -

u a t e t h e i n d i v i d u a l c l a s s i f ie r s f o r i n c l u s i o n i n t h e e n -

s e m b l e . T h e s e c o n d , t e s t , w a s u s e d to e v a l u a t e t h e

a c c u r a c y o f t h e e n s e m b l e . T h u s t h e t r a i n i n g d a t a

f o r e a c h w o r d c o n s i st s o f 8 0 o f t h e a v a i l a b l e s e n s e -

t a g g e d t e x t , w h i l e e a c h o f t h e t e s t s e t s c o n t a i n s 1 0 .

T h i s p r o c e s s i s r e p e a t e d f i ve t i m e s s o t h a t e a c h

f o ld se r v e s a s th e s o u r c e o f th e t e s t d a t a o n c e. T h e

a v e r a g e a c c u r a c y o f t h e i n d i v i d u a l N a i v e B a y e s i a n

c l a s s i fi e r s a c r o s s t h e f i v e f o l d s is r e p o r t e d i n T a b l e s

3 a n d 4 . T h e s t a n d a r d d e v i a t i o n s w e r e b e t w e e n . 01

a n d . 0 2 5 a n d a r e n o t s h o w n g i v e n t h e i r r e l a t i v e c o n -

s i s t e n c y .

6 5

E a c h c l a s s i f i e r i s b a s e d u p o n a d i s t i n c t r e p r e s e n t a -

t i o n o f c o n t e x t s i n c e e a c h e m p l o y s a d i f f e r en t c o m -

b i n a t i o n o f r i g h t a n d l e f t w i n d o w s i ze s . T h e s i z e

a n d r a n g e o f t h e l e f t w i n d o w o f c o n t e x t i s i n d i c a t e d

a l o n g t h e h o r i z o n t a l m a r g i n i n T a b l e s 3 a n d 4 w h i l e

t h e r i g h t w i n d o w s i z e a n d r a n g e i s s h o w n a l o n g t h e

v e r t i c a l m a r g i n . T h u s , t h e b o x e s t h a t s u b d i v i d e e a ch

t a b l e c o r r e s p o n d t o a p a r t i c u l a r r a n g e c a t e g o r y . T h e

c l a s s if i e r t h a t a c h i e v e s t h e h i g h e s t a c c u r a c y i n e a c h

r a n g e c a t e g o r y i s in c l u d e d a s a m e m b e r o f th e e n s e m -

b l e . I n c a s e o f a t i e , t h e c l a s s i f i e r w i t h t h e s m a l l e s t

t o t a l w i n d o w o f c o n t e x t i s i n c l u d e d i n t h e e n s e m b l e .

T h e m o s t a c c u r a t e s i n g l e c l a s s i f i e r f o r l i n e is

N a i v e _ B a y e s ( 4 ,2 5 ) , w h i c h a t t a i n s a c c u r a c y o f 8 4

T h e a c c u r a c y o f t h e e n s e m b l e c r e a t e d f r o m t h e m o s t

a c c u r a t e c l a s s i fi e r i n e a c h o f t h e r a n g e c a t e g o r i e s i s

8 8 . T h e s i n g l e m o s t a c c u r a t e c l a s s i f i e r f o r i n t e r e s t

i s N a i v e . _B a y e s ( 4 ,1 ) , w h i c h a t t a i n s a c c u r a c y o f 8 6

w h i l e t h e e n s e m b l e a p p r o a c h r e a c h e s 8 9 . T h e i n -

c r e a s e i n a c c u r a c y a c h i e v e d b y b o t h e n s e m b l e s o v e r

t h e b e s t i n d i v i d u a l c l a s s i f i e r i s s t a t i s t i c a l l y s i g n i f i-

c a n t , a s j u d g e d b y M c N e m a r ' s t e s t w i t h p = . 01 .

4 .1 C o m p a r i s o n t o P r e v i o u s R e s u l t s

T h e s e e x p e r i m e n t s u s e th e s a m e s e n s e - t a g g e d c or -

p o r a f o r i n t e r e s t a n d l i n e a s p r e v i o u s s t u d i e s. S u m -

m a r i e s o f p r e v i o u s r e s u l t s i n T a b l e s 5 a n d 6 s h o w

t h a t t h e a c c u r a c y o f t h e N a i v e B a y e s i a n e n s e m b l e

i s c o m p a r a b l e t o t h a t o f a n y o t h e r a p p r o a c h . H o w -

e v e r , d u e t o v a r i a t i o n s i n e x p e r i m e n t a l m e t h o d o l o -

g i e s , i t c a n n o t b e c o n c l u d e d t h a t t h e d i f f e r e n c e s

a m o n g t he m o s t a c c u r a t e m e t h o d s a r e s t a t is t i c a ll y

s i g n i f i c a n t . F o r e x a m p l e , i n t h i s w o r k f iv e - f o l d c r o s s

v a l i d a t i o n i s e m p l o y e d t o a s s e s s a c c u r a c y w h i l e ( N g

a n d L e e , 1 9 9 6) t r a i n a n d t e s t u s i n g 1 00 r a n d o m l y

s a m p l e d s e t s o f d a t a . S i m i l a r d i ff e r en c e s in t r a in -

i n g a n d t e s t in g m e t h o d o l o g y e x i st a m o n g t h e o t h e r

s t u d i e s . S t i l l, t h e r e s u l t s i n t h i s p a p e r a r e e n c o u r a g -

i n g d u e t o t h e s i m p l i c i t y o f t h e a p p r o a c h .

4 . 1 . 1 I n t e r e s t

T h e i n t e r e s t d a t a w a s f i rs t s t u d ie d b y ( B r u c e a n d

W i e b e , 1 9 9 4 ). T h e y e m p l o y a r e p r e s e n t a t i o n o f

c o n t e x t t h a t i n c l u de s t h e p a r t - o f - s p e e c h o f t h e t w o

w o r d s s u r r o u n d i n g i n t e r e s t , a m o r p h o l o g i c a l f e a t u re

i n d i c a t i n g w h e t h e r o r n o t

i n t e r e s t

i s s i n g u l a r o r p l u -

r a l , a n d t h e t h r e e m o s t s t a t i s t i c a l l y s i g n i f i c a n t c o -

o c c u r r i n g w o r d s i n t h e s e n t e n c e w i t h i n t e r e s t , a s de-

t e r m i n e d b y a t e s t o f i n d e p e n d e n c e . T h e s e f e a t u r e s

a r e a b b r e v i a t e d a s

p - o - s , m o r p h ,

a n d

c o - o c c u r

in

T a b l e 5 . A d e c o m p o s a b l e p r o b a b i l i s t i c m o d e l i s i n -

d u c e d f r o m t h e s e n s e - t a g g e d c o r p o r a u s in g a b a c k -

w a r d s e q u e n t i a l se a r c h w h e r e c a n d i d a t e m o d e l s a re

e v a l u a t e d w i t h t h e l o g - l i k e l i h o o d r a t i o t e s t. T h e s e -

l e c t e d m o d e l w a s u s e d a s a p r o b a b i l i s t i c c l a s s i f i e r o n

a h e l d - o u t s e t o f t e s t d a t a a n d a c h i e v e d a c c u r a c y o f

78 .

T h e i n t e r e s t d a t a w a s i n c l u d e d i n a s t u d y b y ( N g

8/10/2019 A00-2009

4/7

w i d e

m e d i u m

n a r r o w

50 .63

25 .63

10 .62

5 .61

4 .60

3 .58

2 .53

1 .42

0 .14

0

.73 .80

.74 .80

.75 .81

.75 .80

.73

. 80

.73 .79

.71 . 7 9

.68 .78

.58 .73

.82 .83

82 s4

.82 .83

.81 .82

.82 .82

.82 . 83

.81 .82

.79 .80

.77 .79

.83 .83

.83 .83

.83 .83

.82 .82

.82 .82

.83 .82

.82 .81

.79 .80

.79 .79

.83 .83

.83 .83

83 84

.82 . 83

.82 .82

.81 .82

.81 .81

.81 .81

.79 .80

1 2 3 4 5

10 25 50

n a r r o w m e d i u m w i d e

T a b l e 3 : A c c u r a c y o f N a i v e B a y e s i a n c l a s s if i er s fo r

l ine

e v a l u a t e d w i t h t h e d e v t e s t d a t a . T h e i ta l ic i ze d

a c c u r a c i e s a re a s s o c i a t e d w i t h t h e c l a s si f ie r s i n c l u d e d i n t h e e n s e m b l e , w h i c h a t t a i n e d a c c u r a c y o f 8 8 w h e n

e v a l u a t e d w i t h t h e t e s t d a t a .

w i d e

m e d i u m

n a r r o w

50 .74

25 .73

10 .75

5 .73

4 .72

3 .70

2 .66

1 .63

0 .53

0

.80 .82

.80 .82

82 84

.83 .85

.83 .85

.84 . 86

.83 .85

.82 . 8 5

.72 .77

1 2

n a r r o w

.83 .83 .83

.83 .83 .83

84 .84 8 4

.86 .85 .85

.85 .84 .84

. 86 .86 .85

.82 .80 .81

.81 .80 .80

. 8 2

.81 .81

.83 .81 .81

.83 .81 .8O

. 8 3 .81 .80

.86 .86 .84 . 8 3 .80 .80

.85 . 86 .85 .82 .81 .80

.78 .79 .77 .77 .76 .75

3 4 5 10 25 50

m e d i u m w i d e

T a b l e 4 : A c c u r a c y o f N a i v e B a y e s i a n c l a ss i fi e rs fo r i n t e res t e v a l u a t e d w i th th e d e v t e s t d a t a . T h e i ta l ic i z ed

a c c u r a c i e s a r e a s s o c i a t e d w i t h t h e c la s s if i er s i n c l u d e d i n t h e e n s e m b l e , w h i c h a t t a i n e d a c c u r a c y o f 8 9 w h e n

e v a l u a t e d w i t h t h e t e s t d a t a .

a n d L e e , 1 9 96 ) , w h o r e p r e s e n t t h e c o n t e x t o f a n

a m b i g u o u s w o r d w i t h t h e p a r t - o f - s p e e c h o f t h r e e

w o r d s t o t h e l e f t a n d r i g h t o f i n t e res t , a m o r p h o -

l o g ic a l f e a t u r e i n d i c a t i n g i f i n t e r e s t i s s i n g u l a r o r

p l u r a l , a n u n o r d e r e d s e t o f f r e q u e n t l y o c c u r r i n g

k e y w o r d s t h a t s u r r o u n d i n t e res t , l o c a l c o l l o c a t i o n s

t h a t i n c l u d e i n t e res t , a n d v e r b - o b j e c t s y n t a c t i c r e -

l a t i o n s h i p s . T h e s e f e a t u r e s a r e a b b r e v i a t e d p-o- s ,

morph , co -occur , co l l oca t es , a n d v e r b - o b j i n T a b l e

5 . A n e a r e s t - n e i g h b o r c l a s s if i er w a s e m p l o y e d a n d

a c h i e v e d a n a v e r a g e a c c u r a c y o f 8 7 o v e r r e p e a t e d

t r i a l s u s i n g r a n d o m l y d r a w n t r a i n i n g a n d t e s t s e t s .

( P e d e r s e n e t a l . , 1 9 9 7 ) a n d ( P e d e r s e n a n d B r u c e ,

1 9 9 7) p r e s e n t s t u d i e s t h a t u t i l i z e t h e o r i g i n a l B r u c e

a n d W i e b e f e a t u r e s e t a n d i n c l u d e t h e

i n t e res t

d a t a .

T h e f i r s t c o m p a r e s a r a n g e o f p r o b a b i l i s t i c m o d e l

s e l e c t i o n m e t h o d o l o g i e s a n d f i n d s t h a t n o n e o u t p e r -

f o r m t h e N a i v e B a y e s i a n c l a s si f ie r , w h i c h a t t a i n s a c -

c u r a c y o f 7 4 . T h e s e c o n d c o m p a r e s a r a n g e o f m a -

c h i n e l e a r n i n g a l g o r i t h m s a n d f i n d s t h a t a d e c i s i o n

t r e e l e a r n e r ( 7 8 ) a n d a N a i v e B a y e s i a n c l a s s if i e r

( 7 4 ) a r e m o s t a c c u r a t e .

6 6

4 . 1 . 2

L i n e

T h e l ine d a t a w a s f i rs t s t u d i e d b y ( L e a c o c k e t a l .

1 9 93 ) . T h e y e v a l u a t e t h e d i s a m b i g u a t i o n a c c u r a c y

o f a N a i v e B a y e s i a n c l a s s if i e r , a c o n t e n t v e c t o r , a n d

a n e u r a l ne t w o r k . T h e c o n t e x t o f a n a m b i g u o u s

w o r d is re p r e s e n t e d b y a b a g - o f - w o r d s w h e r e t h e

w i n d o w o f c o n t e x t i s tw o s e n t e n c e s w i d e . T h i s f e a -

t u r e s e t i s a b b r e v i a t e d a s 2 s e n t e n c e b - o - w i n T a b l e

6 . W h e n t h e N a i v e B a y e s i a n c l a s s if i er is e v a l u a t e d

w o r d s a r e n o t s t e m m e d a n d c a p i t a l i z a t i o n r e m a i n s .

H o w e v e r , w i t h t h e c o n t e n t v e c t o r a n d t h e n e u r a l n e t -

w o r k w o rd s a r e s t e m m e d a n d w o r d s f r o m a s t o p - l i s t

a r e r e m o v e d . T h e y r e p o r t n o s i g n i fi c a n t d if f e re n c e s

i n a c c u r a c y a m o n g th e t h r e e a p p r o a c h e s ; t h e N a i v e

B a y e s i a n c l a s s i fi e r a c h i e v e d 7 1 a c c u r a c y , t h e c o n -

t e n t v e c t o r 7 2 , a n d t h e n e u r a l n e t w o r k 7 6 .

T h e l ine d a t a w a s s t u d i e d a g a i n b y ( M o o n e y

1 9 9 6 ) , w h e r e s e v e n d i f f e r e n t m a c h i n e l e a r n i n g

m e t h o d o l o g i e s a r e c o m p a r e d . A l l l e a r n i n g a l g o-

r i t h m s r e p r e s e n t t h e c o n t e x t o f a n a m b i g u o u s w o r d

u s i n g t h e b a g - o f - w o r d s w i t h a t w o s e n t e n c e w i n d o w

o f c o n t e x t . I n t h e s e e x p e r i m e n t s w o r d s f r o m a s t o p -

8/10/2019 A00-2009

5/7

N a i v e B a y e s i a n E n s e m b l e

Ng ~ : L ee , 1996

B r u c e & W i e b e , 1 9 9 4

P e d e r s e n & B r u c e , 1 9 9 7

a c c u r a c y

89

87

78

78

7 4

m e t h o d

e n s e m b l e o f 9

n e a r e s t n e i g h b o r

m o d e l s e l e c t i o n

d e c i s i o n t r e e

n a i v e b a y e s

f e a t u r e s e t

v a r y i n g l e f t & r i g h t b - o - w

p - o - s , m o r p h , c o - o c c u r

c o l l o c a t e s , v e r b - o b j

p - o - s , m o r p h , c o - o c c u r

p - o - s , m o r p h , c o - o c c u r

T a b l e 5 : C o m p a r i s o n t o p r e v i o u s r e s u l ts f o r i n t e r e s t

N a i v e B a y e s i a n E n s e m b l e

T o w e l l & V o o r h e s s , 1 9 9 8

L e a c o c k , C h o d o r 0 w , & M i l l e r , 1 9 9 8

L e a c o c k , T o w e l l , V o o r h e e s , 1 9 93

M o o n e y , 1 9 9 6

a c c u r a c y

88

87

84

7 6

7 2

7 1

7 2

7 1

m e t h o d

e n s e m b l e o i~ 9

f e a t u r e s e t

v a r y i n g l e f t & r i g h t b S o - w

n e u r a l n e t l o c a l ~z t o p i c a l b - o -w , p - o - s

na i v e baye s l oca l & t op i ca l b - o - w , p .- o- s

n e u r a l n e t 2 s e n t e n c e b - o - w

c o n t e n t v e c t o r

n a i v e b a y e s

n a i v e b a y e s 2 s e n t e n c e b - o - w

p e r c e p t r o n

T a b l e 6 : C o m p a r i s o n t o p r e v i o u s r e su l t s fo r l i n e

l i s t a r e r e m o v e d , c a p i t a l i z a t i o n i s i g n o r e d , a n d w o r d s

a r e s t e m m e d . T h e t w o m o s t a c c u r a t e m e t h o d s in

t h i s s t u d y p r o v e d t o b e a N a i v e B a y e s i a n c l a s s i f i e r

( 7 2 ) a n d a p e r c e p t r o n ( 7 1 ) .

T h e

l i n e

d a t a w a s r e c e n t ly r e v i s it e d b y b o t h ( T o w -

e l l a n d V o o r h e e s , 1 9 9 8 ) a n d ( L e a c o c k e t a l . , 1 9 9 8 ) .

T h e f o r m e r ta k e a n e n s e m b l e a p p r o a c h w h e r e t h e

o u t p u t f r o m t w o n e u r a l n e t w o r k s i s c o m b i n e d ; o n e

n e t w o r k i s b a s e d o n a r e p r e s e n t a t i o n o f l o c a l c o n -

t e x t w h i l e t h e o t h e r r e p r e s e n t s t o p i c a l c o n t e x t . T h e

l a t t e r u t i l iz e a N a i v e B a y e s i a n c l a s si f ie r . I n b o t h

c a s e s c o n t e x t i s r e p r e s e n t e d b y a s e t o f t o p i c a l a n d

l o c a l f e a t u r e s. T h e t o p i c a l fe a t u r e s c o r r e s p o n d t o

t h e o p e n - c l a s s w o r d s t h a t o c c u r i n a tw o s e n t e n c e

w i n d o w o f c o n t e x t . T h e l o c a l fe a t u r e s o c c u r w i t h i n a

w i n d o w o f c o n t e x t t h r e e w o r d s t o t h e l e f t a n d r i g h t

o f t h e a m b i g u o u s w o r d a n d i n c l u d e c o - o c c u r r e n c e

f e a t u r e s a s w e ll a s th e p a r t - o f - s p e e c h o f w o r d s i n

t h i s w i n d o w . T h e s e f e a t u r e s a r e r e p r e s e n t e d a s lo-

ca l t o p i ca l b -o -w

a n d

p - o - s

i n T a b l e 6 . ( T o w e l l

a n d V o o r h e e s, 1 99 8 ) r e p o r t a c c u r a c y o f 8 7 w h i l e

( L e a c o c k e t a l. , 1 9 9 8) r e p o r t a c c u r a c y o f 8 4 .

5 D i s c u s s i o n

T h e w o r d s e n se d i s a m b i g u a t i o n e n s e m b l e s i n t h is p a -

p e r h a v e t h e f o l l o w i n g c h a r a c t e r i s t ic s :

T h e m e m b e r s o f t h e e n s e m b l e a r e N a i v e

Bayes i an c l a s s i f i e r s ,

t h e c o n t e x t i n w h i c h a n a m b i g u o u s w o r d o c -

c u r s is r e p r e s e n t e d b y c o - o c c u r r e n c e f e a t u r e s

A 7

e x t r a c t e d f r o m v a r y i n g s i ze d w i n d o w s o f su r -

r o u n d i n g w o r d s ,

m e m b e r c l a s si f ie r s a r e s e l e c t e d f o r t h e e n s e m b l e s

b a s e d o n t h e i r p e r f o r m a n c e r e l a t i v e t o o t h e r s

w i t h c o m p a r a b l e w i n d o w s i z e s , a n d

a m a j o r i t y v o t e o f t h e m e m b e r c l a s s if i er s d e t e r -

m i n e s t h e o u t c o m e o f t h e e n s e m b l e .

E a c h p o i n t i s d i s c u s s e d b e l o w .

5 1 N a i v e B a y e s i a n cl a ss i fi e rs

T h e N a i v e B a y e s i a n c l a s s i f i e r h a s e m e r g e d a s a c o n -

s i s t e n tl y s t r o n g p e r f o r m e r i n a w i d e r a n g e o f co m -

p a r a t i v e s t u d i e s o f m a c h i n e l e a r n i n g m e t h o d o l o g i e s .

A r e c e n t s u r v e y o f s u c h r e s u l t s , a s w e l l a s p o s -

s i b l e e x p l a n a t i o n s f o r i t s s u c c e s s , i s p r e s e n t e d i n

( D o m i n g o s a n d P a z z a n i , 1 9 9 7 ) . A s i m i l a r f i n d in g

h a s e m e r g e d i n w o r d s e n s e d i s a m b i g u a t i o n , w h e r e

a n u m b e r o f c o m p a r a t i v e s t u d i e s h a v e a l l r e p o r t e d

t h a t n o m e t h o d a c h i ev e s s i g n if i c an t l y g r e a t e r a c c u -

r a c y t h a n t h e N a i v e B a y e s i a n c l a s s i f i e r ( e . g . , ( L e a -

c o c k e t a l ., 1 9 9 3 ) , ( M o o n e y , 1 9 9 6 ) , ( N g a n d L e e ,

1 9 9 6 ) , ( P e d e r s e n a n d B r u c e , 1 9 9 7 ) ) .

I n m a n y e n s e m b l e a p p r o a c h e s t h e m e m b e r c l a s s i -

t i e r s a r e l e a r n e d w i t h d i f f e r e n t a l g o r i t h m s t h a t a r e

t r a i n e d w i t h t h e s a m e d a t a . F o r e x a m p l e , a n e n-

s e m b l e c o u l d c o n s i s t o f a d e c i s i o n t r e e , a n e u r a l n e t -

w o r k , a n d a n e a r e s t n e i g h b o r c l a s s if i er , a l l o f w h i ch

a r e l e a rn e d f r o m e x a c t l y t h e s a m e s e t o f t ra i n i n g

d a t a . T h i s p a p e r t a k e s a d i f fe r e n t a p p r o a c h , w h e r e

t h e l e a r n i n g a l g o r i t h m i s t h e s a m e f o r a l l c l a s s i f i e r s

67

8/10/2019 A00-2009

6/7

b u t t h e t r a i n i n g d a t a i s d i f fe r e n t. T h i s i s m o t i v a t e d

b y t h e b e l i e f t h a t t h e r e i s m o r e t o b e g a i n e d b y v a r y -

i n g th e r e p r e s e n t a t i o n o f c o n t e x t t h a n t h e r e i s f r o m

u s i n g m a n y d i f fe r e n t le a r n i n g a l g o r i t h m s o n t h e s a m e

d a t a . T h i s is e s p e c i a l l y t r u e in t h i s d o m a i n s i n c e t h e

N a i v e B a y e s i a n c l a s s i fi e r h a s a h i s t o r y o f su c c e s s a n d

s i n c e t h e r e i s n o g e n e r a l l y a g r e e d u p o n s e t o f f e a t u r e s

t h a t h a v e b e e n s h o w n t o b e o p t i m a l f o r w o r d s e n se

d i s a m b i g u a t i o n .

5 .2 C o - o c c u r r e n c e f e a t u r e s

S h a l lo w l e x i c a l f e a t u r e s s u c h a s c o - o c c u r r e n c e s a n d

c o l l o c a t i o n s a re r e c o g n i z e d a s p o t e n t s o u r c e s o f d i s -

a m b i g u a t i o n i n f o r m a ti o n . W h i l e m a n y o t h e r co n -

t e x t u a l f e a t u r e s a r e o f t e n e m p l o y e d , i t i s n ' t c l e a r

t h a t t h e y o ff e r s u b s t a n t i a l a d v a n t a g e s . F o r e x a m -

p l e , (N g a n d L e e , 1 9 9 6) r e p o r t t h a t l o c a l c o l l o c a t i o n s

a l o n e a c h i e v e 8 0 a c c u r a c y d i s a m b i g u a t i n g i n t e res t ,

w h i l e th e i r f u l l s e t o f f e a t u r e s r e s u l t i n 8 7 . P r e l i m -

i n a r y e x p e r i m e n t s f o r th i s p a p e r u s e d f e a t u r e s e ts

t h a t i n c l u d e d c o l l o c a t e s , c o - o c c u r r e n c e s , p a r t - o f -

s p e ec h a n d g r a m m a t i c a l i n f o r m a t i o n f o r s u r r o u n d i n g

w o r d s . H o w e v e r , it w a s c le a r t h a t n o c o m b i n a t i o n o f

f e a t u r e s r e s u l t e d i n d i s a m b i g u a t i o n a c c u r a c y s i g ni fi -

c a n t l y h i g h e r t h a n t h a t a c h i e v e d w i t h c o - o c c u r r e n c e

f e a t u r e s .

5 .3 S e l e c t i n g e n s e m b l e m e m b e r s

T h e m o s t a c c u r a t e c la s si fi er f r o m e a c h o f n i n e p o s -

s i b l e c a t e g o r y r a n g e s i s s e l e c t e d a s a m e m b e r o f

t h e e n s e m b l e . T h i s i s b a s e d o n p r e l i m i n a r y e x p e r i -

m e n t s t h a t s h o w e d t h a t m e m b e r c l a s si fi e rs w i t h s im -

i l a r si z e d w i n d o w s o f c o n t e x t o f t e n r e s u l t i n l i t t l e o r

n o o v e r a l l i m p r o v e m e n t i n d i s a m b i g u a t i o n a c c u r a c y .

T h i s w a s e x p e c t e d s i n c e s l i g h t d i f f e r e n c e s i n w i n d o w

s i z e s l e a d t o r o u g h l y e q u i v a l e n t r e p r e s e n t a t i o n s o f

c o n t e x t a n d c l a s s i f i e r s t h a t h a v e l i t t l e o p p o r t u n i t y

f o r c o ll e c ti v e i m p r o v e m e n t . F o r e x a m p l e , a n e n s e m -

b l e w a s c r e a t e d f o r

i n t e r e s t

us i ng t he n i ne c l a s s i f i e r s

i n t h e r a n g e c a t e g o r y ( m e d i u m , m e d i u m ) . T h e a c -

c u r a c y o f t h i s e n s e m b l e w a s 8 4 , s li g h t l y le s s t h a n

t h e m o s t a c c u r a t e i n d i v i d u a l c l a s s i f i e r s i n t h a t r a n g e

w h i c h a c h ie v e d a c c u r a c y o f 8 6 .

E a r l y e x p e r i m e n t s a l s o r e v e a l e d t h a t a n e n s e m b l e

b a s e d o n a m a j o r i t y v o t e o f a ll 81 c l a s s if i er s p e r -

f o r m e d r a t h e r p o o r l y . T h e a c c u r a c y f o r i n t e r e s t w a s

a p p r o x i m a t e l y 8 1 a n d l i n e w a s d i s a m b i g u a t e d w i t h

s l i g h t l y l e ss t h a n 8 0 a c c u r a c y . T h e l e s s o n t a k e n

f r o m t h e s e r e s u l ts w a s t h a t a n e n s e m b l e s h o u l d c o n -

s i s t o f cl a s si fi e r s t h a t r e p r e s e n t a s d i f f e r e n t l y s iz e d

w i n d o w s o f c o n t e x t a s p o s s i b l e ; t h i s r e d u c e s t h e i m -

p a c t o f r e d u n d a n t e r r o r s m a d e b y c l a ss if ie rs t h a t

r e p r e s e n t v e r y s i m i l a r l y si z e d w i n d o w s o f c o n t e x t .

T h e u l t i m a t e s u c ce s s o f a n e n s e m b l e d e p e n d s o n t h e

a b i l i t y t o s e l e c t c l a s s i f i e r s t h a t m a k e c o m p l e m e n t a r y

e r r o r s . T h i s i s d i s c u s s e d i n t h e c o n t e x t o f c o m b i n -

i n g p a r t - o f - s p e e c h t a g g e r s i n ( B r i l l a n d W u , 1 9 9 8 ) .

T h e y p r o v i d e a m e a s u r e f o r a s s e s s i n g t h e c o m p l e -

m e n t a r i t y o f e r r o r s b e tw e e n t w o t a g g e rs t h a t c o u l d

b e a d a p t e d f o r u se w i t h l a r g e r e n s e m b l e s s u ch a s t h e

o n e d i s c u s se d h e r e , w h i c h h a s n i n e m e m b e r s .

5 .4 D i s a m b i g u a t i o n b y m a j o r i t y v o t e

I n t h is p a p e r e n s e m b l e d i s a m b i g u a t i o n i s b a s e d o n a

s i m p l e m a j o r i t y v o t e o f t h e n i n e m e m b e r c la s si fi er s.

A n a l t e r n a t i v e s t r a t e g y i s t o w e i g h t e a c h v o t e b y

t h e e s t i m a t e d j o i n t p r o b a b i l i t y f o u n d b y t h e N a i v e

B a y e s i a n c l a ss i fi e r. H o w e v e r , a p r e l i m i n a r y s t u d y

f o u n d t h a t t h e a c c u r a c y o f a N a i v e B a y e s i a n e n se m -

b l e u s i n g a w e i g h t e d v o t e w a s p o o r . F o r

i n t e res t ,

i t r e s u l t e d in a c c u r a c y o f 8 3 w h i l e f o r l i n e i t was

8 2 . T h e s i m p l e m a j o r i t y v o t e r e s u l t e d in a c c u r a c y

o f 8 9 f o r i n t e r e s t a n d 8 8 f o r l ine .

6 Future Work

A n u m b e r o f i s s u es h a v e a r i s e n i n t h e c o u r s e o f t h i s

w o r k t h a t m e r i t f u r t h e r i n v e s t i g a t i o n .

T h e s i m p l i c i t y o f t h e c o n t e x t u a l r e p r e s e n t a t i o n

c a n l e a d t o la r g e n u m b e r s o f p a r a m e t e r s i n th e N a i v e

B a y e s i a n m o d e l w h e n u s i n g w i d e w i n d o w s o f c o n -

t e x t . S o m e c o m b i n a t i o n o f s t o p - li s t s a n d s t e m m i n g

c o u ld r e d u c e th e n u m b e r s o f p a r a m e t e r s a n d t h u s

i m p r o v e t h e o v e r a l l q u a l i t y o f t h e p a r a m e t e r e s ti -

m a t e s m a d e f r o m t h e t r a i n in g d a t a .

I n a d d i t i o n t o s i m p l e c o - o c c u r r e n c e f e a t u r e s , t h e

u s e o f c o l l o c a t i o n f e a t u r e s s e e m s p r o m i s i n g . T h e s e

a r e d is t i n c t f r o m c o - o c c u r r e n c e s in t h a t t h e y a r e

w o r d s t h a t o c c u r i n c lo s e p r o x i m i t y to t h e a m b i g u o u s

w o r d a n d d o s o t o a d e g r e e t h a t i s j u d g e d s t a t i s t i-

ca l l y s i gn i f i can t .

O n e l i m i t a t i o n o f th e m a j o r i t y v o t e in t h i s p a p e r

i s t h a t t h e r e i s n o m e c h a n i s m f o r d e a l i n g w i t h o u t -

c o m e s w h e r e n o s e n s e g e t s a m a j o r i t y o f t h e v o t e s .

T h i s d i d n o t a r i s e in t h i s s t u d y b u t w i ll c e r t a i n ly

o c c u r a s N a i v e B a y e s i a n e n s e m b l e s a r e a p p l i e d t o

l a r g e r s e t s o f d a t a .

F i n a l ly , f u r t h e r e x p e r i m e n t a t i o n w i t h t h e s iz e o f

t h e w i n d o w s o f c o n t e x t s e e m s w a r r a n t e d . T h e c u r -

r e n t f o r m u l a t i o n i s b a s e d o n a c o m b i n a t i o n o f in t u -

i t io n a n d e m p i r i c a l s t u d y . A n a l g o r i t h m t o d e t e r -

m i n e o p t i m a l w i n d o w s s i z e s i s c u r r e n t l y u n d e r d e -

v e l o p m e n t .

7

C o n c l u s i o n s

T h i s p a p e r s h o w s t h a t w o r d s e n s e d i s a m b i g u a t i o n

a c c u r a c y c a n b e i m p r o v e d b y c o m b i n i n g a n u m b e r

o f s i m p l e c l a s si f ie r s in t o a n e n s e m b l e . A m e t h o d o l -

o g y f o r f o r m u l a t i n g a n e n s e m b l e o f N a i v e B a y e s i a n

c l a ss i fi e rs i s p r e s e n t e d , w h e r e e a c h m e m b e r c l a ss i fi e r

is b a se d o n c o - o c c u r r e n c e f e a t u r e s e x t r a c t e d f r o m

a d i f fe r e n t s i ze d w i n d o w o f c o n t e x t . T h i s a p p r o a c h

w a s e v a l u a t e d u s i n g t h e w i d e l y s t u d i e d n o u n s l ine

a n d i n t e res t , w h i c h a r e d i s a m b i g u a t e d w i t h a c c u r a c y

o f 8 8 a n d 8 9 , w h i c h r i v a l s t h e b e s t p r e v i o u s l y

p u b l i s h e d r e s u l t s .

68

8/10/2019 A00-2009

7/7

8 A c k n o w l e d g m e n t s

This work extends ideas that began in collabora-

tion with Rebecca Bruce and Janyce Wiebe. Clau-

dia Leacock and Raymond Mooney provided valu-

able assistance with the

line

data. I am indebted to

an anonymous reviewer who pointed out the impor-

tance of separate t e st and dev te st data sets.

A preliminary version of this paper appears in

(Pedersen, 2000).

R e f e r e n c e s

E. Brill and J. Wu. 1998. Classifier combination for

improved lexical disambiguation. In

Proceedings

of the 36th An nual Mee ting o f the Associa t ion for

Comp uta t ional L inguis tics , Montreal.

R. Bruce and J. Wiebe. 1994. Word-sense disam-

biguation using decomposable models. In

Proceed-

ings of the 32nd An nua l Meeting of the Associ-

a t ion for Computa t ional L inguis t ics ,

pages 139-

146.

T. Dietterich. 199 7. Machine--learning research:

Four current directions. AI magazine, 18(4):97-

136.

P. Domingos and M. Pazzani. 1997. On the optimal -

ity of the simple Bayesian classifier under zero-one

loss.

Machine Learning,

29:103-130.

R. Duda and P. Hart. 1973. Pattern Classif ication

and Scene Analysis.

Wiley, New York, NY.

W. Gale, K. Church, and D. Yarowsky. 1992. A

method for disambiguating word senses in a large

corpus.

Computers and the Humani t ie s ,

26:415-

439.

J. Henderson and E. Brill. 1999. Exploiting diver-

sity in natu ral language processing: Combining

parsers. In

Proceedings o f the F ourth Conference

on Empirical Methods in Natural Language Pro-

cessing,

College Park, MD, June.

C. Leacock, G. Towell, and E. Voorhees. 1993.

Corpus-based statistical sense resolution. In

Pro-

ceedings o f the AR PA Workshop on Human Lan-

guage Technology,

pages 260-265, March.

C. Leacock, M. Chodorow, and G. Miller. 1998. Us-

ing corpus statistics and WordNet relations for

sense identification.

Computa t ional L inguis t ics ,

24(1):147-165, March.

R. Mooney. 1996. Comparative experiments on dis-

ambiguating word senses: An illustrati on of the

role of bias in machine learning. In

Proceedings of

the Conference on Emp irical Methods in Natu ral

Language Processing,

pages 82-91, May.

H.T. Ng and H.B. Lee. 1996. Integrating multiple

knowledge sources to d isambigua te word sense:

An exemplar-based approach. In

Proceedings of

the 34th An nu al M eeting of the Socie ty fo r Com -

putational Linguistics, pages 40-47.

T. Pedersen and R. Bruce. 1997. A new supervised

6 9

learning algori thm for word sense disambiguation.

In

Proceedings of the Fourteenth N ationa l Con-

ference on Artificial Intelligence,

pages 604-609,

Providence, RI, July.

T. Pedersen, R. Bruce, and J. Wiebe. 1997. Sequen-

tial model selection for word sense disambigua-

tion. In

Proceedings o f the F if th C onference on

Applied Natural Language Processing,

pages 388-

395, Washington, DC, April.

T. Pedersen. 20 00 . An ensemble approach to

corpus-based word sense disambiguation. In

Pro-

ceedings of the C onference on Intelligen t Text

Processing and Computational Linguistics,

pages

205-218, Mexico City, February.

G. Towell and E. Voorhees. 1998. Disambiguating

highly ambiguous words.

Computational Linguis-

tics,

24(1):125-146, March.