a game of prediction with expert advise

7/24/2019 A Game of Prediction With Expert Advise

1/50

A G a m e o f P r e d i c t i o n w i t h E x p e r t A d v i c e

V . V o v k

D e p a r t m e n t o f C o m p u t e r S c i e n c e ,

R o y a l H o l l o w a y , U n i v e r s i t y o f L o n d o n ,

E g h a m , S u r r e y T W 2 0 0 E X , U K

v o v k @ d c s . r h b n c . a c . u k

S e p t e m b e r 5 , 1 9 9 7

T h e r e s e a r c h d e s c r i b e d i n t h i s p a p e r w a s m a d e p o s s i b l e i n p a r t b y G r a n t

N o . M R S 3 0 0 f r o m t h e I n t e r n a t i o n a l S c i e n c e F o u n d a t i o n a n d t h e R u s s i a n

G o v e r n m e n t . I t w a s c o n t i n u e d w h i l e I w a s a F e l l o w a t t h e C e n t e r f o r A d -

v a n c e d S t u d y i n t h e B e h a v i o r a l S c i e n c e s ( S t a n f o r d , C A , U S A ) ; I a m g r a t e f u l

f o r n a n c i a l s u p p o r t p r o v i d e d b y t h e N a t i o n a l S c i e n c e F o u n d a t i o n ( # S E S -

9 0 2 2 1 9 2 ) . A s h o r t e r v e r s i o n o f t h i s p a p e r a p p e a r e d i n \ P r o c e e d i n g s , 8 t h

A n n u a l A C M C o n f e r e n c e o n C o m p u t a t i o n a l L e a r n i n g T h e o r y , " A s s o c . C o m -

p u t . M a c h . , N e w Y o r k , 1 9 9 5 . T h e p a p e r v e r y m u c h b e n e t t e d f r o m t w o

r e f e r e e s ' t h o u g h t f u l c o m m e n t s .

1


2/50

P R E D I C T I O N W I T H E X P E R T A D V I C E

V . V o v k

D e p a r t m e n t o f C o m p u t e r S c i e n c e

R o y a l H o l l o w a y , U n i v e r s i t y o f L o n d o n

E g h a m , S u r r e y T W 2 0 0 E X , U K

v o v k @ d c s . r h b n c . a c . u k

2


3/50

A b s t r a c t

W e c o n s i d e r t h e f o l l o w i n g p r o b l e m . A t e a c h p o i n t o f d i s c r e t e t i m e

t h e l e a r n e r m u s t m a k e a p r e d i c t i o n ; h e i s g i v e n t h e p r e d i c t i o n s m a d e

b y a p o o l o f e x p e r t s . E a c h p r e d i c t i o n a n d t h e o u t c o m e , w h i c h i s

d i s c l o s e d a f t e r t h e l e a r n e r h a s m a d e h i s p r e d i c t i o n , d e t e r m i n e t h e i n -

c u r r e d l o s s . I t i s k n o w n t h a t , u n d e r w e a k r e g u l a r i t y , t h e l e a r n e r c a n

e n s u r e t h a t h i s c u m u l a t i v e l o s s n e v e r e x c e e d s c L + a l n n , w h e r e c a n d

a a r e s o m e c o n s t a n t s , n i s t h e s i z e o f t h e p o o l , a n d L i s t h e c u m u l a t i v e

l o s s i n c u r r e d b y t h e b e s t e x p e r t i n t h e p o o l . W e n d t h e s e t o f t h o s e

p a i r s ( c ; a ) f o r w h i c h t h i s i s t r u e .

3


4/50

1 M A I N R E S U L T

O u r l e a r n i n g p r o t o c o l i s a s f o l l o w s . W e c o n s i d e r a l e a r n e r w h o a c t s i n t h e

f o l l o w i n g e n v i r o n m e n t . T h e r e a r e a p o o l o f n e x p e r t s a n d t h e n a t u r e , w h i c h

i n t e r a c t w i t h t h e l e a r n e r i n t h e f o l l o w i n g w a y . A t e a c h t r i a l t , t = 1 ; 2 ; : : : :

1 . E a c h e x p e r t i , i = 1 ; : : : ; n , m a k e s a p r e d i c t i o n

t

( i ) 2 ? , w h e r e ? i s a

x e d p r e d i c t i o n s p a c e

2 . T h e l e a r n e r , w h o i s a l l o w e d t o s e e a l l

t

( i ) , i = 1 ; : : : ; n , m a k e s h i s o w n

p r e d i c t i o n

t

2 ?

3 . T h e n a t u r e c h o o s e s s o m e o u t c o m e !

t

2 , w h e r e i s a x e d o u t c o m e

s p a c e

4 . E a c h e x p e r t i , i = 1 ; : : : ; n , i n c u r s l o s s ( !

t

;

t

( i ) ) a n d t h e l e a r n e r i n c u r s

l o s s ( !

t

;

t

) , w h e r e : ? ! 0 ; 1 ] i s a x e d l o s s f u n c t i o n

W e w i l l c a l l t h e t r i p l e ( ; ? ; ) o u r l o c a l g a m e . I n e s s e n c e , t h i s i s t h e f r a m e -

w o r k i n t r o d u c e d b y L i t t l e s t o n e a n d W a r m u t h 2 3 ] a n d a l s o s t u d i e d i n , e . g . ,

C e s a - B i a n c h i e t a l . 3 , 4 ] , F o s t e r 1 1 ] , F o s t e r a n d V o h r a 1 2 ] , F r e u n d a n d

S c h a p i r e 1 4 ] , H a u s s l e r , K i v i n e n , a n d W a r m u t h 1 5 ] , L i t t l e s t o n e a n d L o n g

2 1 ] , V o v k 3 1 ] , Y a m a n i s h i 3 7 ] . A d m i t t i n g t h e p o s s i b i l i t y o f ( ! ; ) = 1 i s

e s s e n t i a l f o r , s a y , t h e l o g a r i t h m i c g a m e ( s e e E x a m p l e 5 b e l o w ) .

O n e p o s s i b l e s t r a t e g y f o r t h e l e a r n e r , t h e A g g r e g a t i n g A l g o r i t h m , w a s

p r o p o s e d i n 3 1 ] . ( T h a t a l g o r i t h m i s d e s c r i b e d i n A p p e n d i x A b e l o w ; A p -

p e n d i x A i s v i r t u a l l y i n d e p e n d e n t o f t h e r e s t o f t h e p a p e r , a n d t h e r e a d e r

w h o i s m a i n l y i n t e r e s t e d i n t h e a l g o r i t h m i t s e l f , r a t h e r t h a n i t s p r o p e r t i e s ,

m i g h t w i s h t o g o d i r e c t l y t o i t . )

I f t h e l e a r n e r u s e s t h e A g g r e g a t i n g A l g o r i t h m , t h e n a t e a c h t i m e t h i s

c u m u l a t i v e l o s s i s b o u n d e d b y c L

t

+ a l n n , w h e r e c a n d a a r e c o n s t a n t s

t h a t d e p e n d o n l y o n t h e l o c a l g a m e ( ; ? ; ) a n d L

t

i s t h e c u m u l a t i v e l o s s

i n c u r r e d b y t h e b e s t , b y t i m e t , e x p e r t ( s e e 3 1 ] ) . T h i s m o t i v a t e s c o n s i d e r i n g

t h e f o l l o w i n g p e r f e c t - i n f o r m a t i o n g a m e G ( c ; a ) ( t h e g l o b a l g a m e ) b e t w e e n t w o

p l a y e r s , L ( t h e l e a r n e r ) a n d E ( t h e e n v i r o n m e n t ) .

E c h o o s e s n 1 f s i z e o f t h e p o o l g

F O R i = 1 ; : : : ; n

L

0

( i ) : = 0 f l o s s i n c u r r e d b y e x p e r t i g

4


5/50

E N D F O R

L

0

: = 0 f l o s s i n c u r r e d b y t h e l e a r n e r g

F O R t = 1 ; 2 ; : : :

F O R i = 1 ; : : : ; n

E c h o o s e s

t

( i ) 2 ? f e x p e r t i ' s p r e d i c t i o n g

E N D F O R

L c h o o s e s

t

2 ? f l e a r n e r ' s p r e d i c t i o n g

E c h o o s e s !

t

2 f o u t c o m e g

F O R i = 1 ; : : : ; n

L

t

( i ) : = L

t ? 1

( i ) + ( !

t

;

t

( i ) )

E N D F O R

L

t

: = L

t ? 1

+ ( !

t

;

t

)

E N D F O R .

P l a y e r L w i n s i f , f o r a l l t a n d i ,

L

t

c L

t

( i ) + a l n n ; ( 1 )

o t h e r w i s e , p l a y e r E w i n s .

I t i s p o s s i b l e t h a t L

t

( i ) = 1 i n ( 1 ) . O u r c o n v e n t i o n s f o r o p e r a t i o n s w i t h

i n n i t i e s a r e a s u s u a l ( s e e , e . g . , 1 ] , t h e f o o t n o t e i n S u b s e c t i o n 2 . 6 . 1 ) ; i n

p a r t i c u l a r , 0 1 = 0 . W e a r e i n t e r e s t e d i n t h e w o r s t - c a s e r e s u l t s , s o w e a l l o w

t h e e x p e r t s ' p r e d i c t i o n s a n d t h e o u t c o m e s t o b e c h o s e n b y a n a d v e r s a r y .

W e w i l l d e s c r i b e t h e s e t L o f t h o s e p o i n t s ( c ; a ) o f t h e q u a d r a n t 0 ; 1

2

o f

t h e ( c ; a ) - p l a n e f o r w h i c h p l a y e r L h a s a w i n n i n g s t r a t e g y i n t h e g l o b a l g a m e

G ( c ; a ) ( w e w i l l d e n o t e t h i s b y L G ( c ; a ) o r G ( c ; a ) L ; i f n o t e x p l i c i t l y

s t a t e d o t h e r w i s e , \ s t r a t e g y " m e a n s \ d e t e r m i n i s t i c s t r a t e g y " ) . L e t u s c a l l

t h e b o u n d a r y o f t h e s e t L 0 ; 1

2

t h e s e p a r a t i o n c u r v e . ( T h e r e a d e r c a n

i n t e r p r e t t h e w o r d \ c u r v e " a s s y n o n y m o u s w i t h \ s e t . " O u r u s e o f t h i s w o r d

i s j u s t i e d b y t h e o b s e r v a t i o n t h a t t h e s e p a r a t i o n c u r v e e i t h e r i s e m p t y o r

h a s t o p o l o g i c a l d i m e n s i o n 1 . )

N o w w e p a u s e t o f o r m u l a t e o u r a s s u m p t i o n s a b o u t l o c a l g a m e ( ; ? ; )

A s s u m p t i o n 1 ? i s a c o m p a c t t o p o l o g i c a l s p a c e .

A s s u m p t i o n 2 F o r e a c h ! , t h e f u n c t i o n ! ( ! ; ) i s c o n t i n u o u s .

A s s u m p t i o n 3 T h e r e e x i s t s s u c h t h a t , f o r a l l ! , ( ! ; )


6/50

A s s u m p t i o n 4 T h e r e e x i s t s n o s u c h t h a t , f o r a l l ! , ( ! ; ) = 0

T h e s e n a t u r a l a s s u m p t i o n s a r e s a t i s e d f o r a l l l o c a l g a m e s c o n s i d e r e d i n

E x a m p l e 2 . 1 o f H a u s s l e r , K i v i n e n , a n d W a r m u t h 1 5 ] a n d i n S e c t i o n 1

o f V o v k 3 1 ] . N o t i c e t h a t A s s u m p t i o n s 3 a n d 4 i m p l y t h a t a n d ? a r e

n o n e m p t y .

W e d e n e a s i m p l e p r o b a b i l i t y d i s t r i b u t i o n i n ? t o b e a f u n c t i o n P t h a t

a s s i g n s t o e a c h e l e m e n t o f i t s n i t e d o m a i n d o m P ? a p o s i t i v e w e i g h t

P ( ) s o t h a t

P

P ( ) = 1 ( r a n g i n g o v e r d o m P ) . L e t 2 0 ; 1 . W e d e n e

c ( ) : = i n f

(

c 8 P 9 2 ? 8 ! : ( ! ; ) c l o g

X

( ! )

P ( )

)

;

w i t h i n f ; : = 1 . T h e i n t u i t i o n b e h i n d t h i s d e n i t i o n i s a s f o l l o w s . T h e

q u a l i t y o f a p r e d i c t i o n 2 ? i s m e a s u r e d ( b e f o r e t h e t r u e o u t c o m e i s k n o w n )

b y t h e f u n c t i o n ! 2 ! ( ! ; ) ; a n d t h e f u n c t i o n

! 2 ! l o g

X

( ! )

P ( ) ( 2 )

c a n b e i n t e r p r e t e d a s t h e q u a l i t y o f a m i x t u r e o f s e v e r a l p r e d i c t i o n s . T h e

s m a l l n e s s o f c ( ) ( i . e . , i t s c l o s e n e s s t o 1 : w e w i l l l a t e r p r o v e t h a t , u n d e r

o u r a s s u m p t i o n s , c ( ) 1 ) m e a n s t h a t w e a r e a l l o w e d t o m i x p r e d i c t i o n s i n

a c c o r d a n c e w i t h ( 2 ) : e a c h s u c h m i x t u r e c a n b e r e p l a c e d b y a r e a l p r e d i c t i o n

w i t h o u t s i g n i c a n t i n c r e a s e o f l o s s , w h a t e v e r o u t c o m e ! m a y t u r n u p .

P u t a ( ) : = c ( ) = l n

1

; w e w i l l p r o v e t h a t t h e s e p a r a t i o n c u r v e c o n s i s t s

e s s e n t i a l l y o f t h e p o i n t s ( c ( ) ; a ( ) )

L e m m a 1 T h e r e e x i s t ( p o s s i b l y i n n i t e )

c ( 0 ) : = l i m

! 0

c ( ) ; c ( 1 ) : = l i m

! 1

c ( ) ;

a ( 0 ) : = l i m

! 0

a ( ) ; a ( 1 ) : = l i m

! 1

a ( )

T h i s l e m m a w i l l b e p r o v e n i n S e c t i o n 3 . N o w w e c a n f o r m u l a t e o u r m a i n

r e s u l t , w h i c h w i l l b e p r o v e n i n S e c t i o n s 4 a n d 6 .

T h e o r e m 1 T h e s e p a r a t i o n c u r v e i s e x a c t l y t h e s e t

f ( c ( ) ; a ( ) ) 2 0 ; 1 g \ 0 ; 1

2

6


7/50

W e c o n c l u d e t h i s s e c t i o n b y d i s c u s s i n g h o w t h i s t h e o r e m d e t e r m i n e s t h e w h o l e

s e t L . W e w i l l s e e t h a t L c o n s i s t s o f t h e p o i n t s o n t h e s e p a r a t i o n c u r v e a n d

t h e p o i n t s \ N o r t h e a s t o f " t h e s e p a r a t i o n c u r v e . ( L e m m a s 9 , 1 0 , a n d 1 1 i n

S e c t i o n 3 b e l o w m i g h t b e h e l p f u l i n v i s u a l i z i n g t h i s r e s u l t . )

T h e f o l l o w i n g l e m m a i s a s p e c i a l c a s e o f M a r t i n ' s t h e o r e m a s p r e s e n t e d

i n 2 4 ] , C o r o l l a r y 1 .

L e m m a 2 E a c h g a m e G ( c ; a ) i s d e t e r m i n e d : e i t h e r L o r E h a s a w i n n i n g

s t r a t e g y .

W e s a y t h a t a p o i n t ( c ; a ) i s N o r t h e a s t ( r e s p . S o u t h w e s t ) o f a s e t A 0 ; 1

2

i f s o m e p o i n t ( c

0

; a

0

) 2 A s a t i s e s c

0

c a n d a

0

a ( r e s p . c

0

c a n d a

0

a )

S u p p o s e t h e s e p a r a t i o n c u r v e i s n o n e m p t y . ( I t c a n b e e m p t y e v e n w h e n

= f 0 ; 1 g a n d ? i s c o u n t a b l e | s e e E x a m p l e 6 a n d L e m m a 9 b e l o w ; i n t h i s

p a p e r , h o w e v e r , w e a r e n o t i n t e r e s t e d i n t h i s c a s e . I n a l l e x a m p l e s c o n s i d e r e d

i n 1 5 ] a n d 3 1 ] t h e s e p a r a t i o n c u r v e i s n o n e m p t y . ) I t i s e a s y t o s e e t h a t t h e

p o i n t s ( c ; a ) s u c h t h a t G ( c ; a ) L ( r e s p . G ( c ; a ) E ) a r e N o r t h e a s t ( r e s p .

S o u t h w e s t ) o f t h e s e p a r a t i o n c u r v e . B e s i d e s , n o p o i n t o u t s i d e t h e s e p a r a t i o n

c u r v e c a n l i e b o t h N o r t h e a s t a n d S o u t h w e s t o f t h e s e p a r a t i o n c u r v e . T h e

f o l l o w i n g s i m p l e c o n s e q u e n c e o f A s s u m p t i o n s 1 a n d 2 c o m p l e t e s t h e p i c t u r e .

L e m m a 3 G ( c ; a ) L w h e n ( c ; a ) b e l o n g s t o t h e s e p a r a t i o n c u r v e .

P r o o f . N o t i c e t h a t L ' s s t r a t e g y t h a t b e a t s e v e r y o b l i v i o u s s t r a t e g y f o r E

w i l l b e a t e v e r y s t r a t e g y f o r E ( E ' s s t r a t e g y i s o b l i v i o u s i f i t d o e s n o t d e p e n d

o n t h e p r e d i c t i o n s m a d e b y t h e l e a r n e r ) ; t h e r e f o r e , w i t h o u t l o s s o f g e n e r a l i t y

w e c a n a s s u m e t h a t E f o l l o w s a n o b l i v i o u s s t r a t e g y . L e t ( c

k

; a

k

) , k = 1 ; 2 ; : : : ,

b e a s e q u e n c e o f p o i n t s i n L s u c h t h a t c

k

# c a n d a

k

# a a s k ! 1 . F o r e a c h

k x a w i n n i n g s t r a t e g y S

k

f o r L i n G ( c

k

; a

k

) . T h e l e a r n e r w i l l w i n G ( c ; a )

a c t i n g a s f o l l o w s : i f

k

i s t h e a c t i o n s u g g e s t e d b y S

k

, L c h o o s e s a n a c t i o n

t h a t i s a l i m i t p o i n t ( r e c a l l A s s u m p t i o n 1 ) o f t h e s e q u e n c e (

k

)

1

k = 1

. I n d e e d ,

A s s u m p t i o n 2 i m p l i e s t h a t , f o r a l l t , L

t

( t h e l e a r n e r ' s c u m u l a t i v e l o s s b y t h e

e n d o f t r i a l t ) w i l l b e a l i m i t p o i n t o f L

t

k ( S

k

' s c u m u l a t i v e l o s s b y t h e e n d

o f t r i a l t o n t h e a c t u a l o u t c o m e s ) ; t h e r e f o r e , L

t

c

k

L

t

+ a

k

l n n , 8 k , a n d ,

c o n s e q u e n t l y , L

t

c L

t

+ a l n n . T h i s a r g u m e n t d o e s n o t w o r k i n t h e c a s e

c = 0 a n d L

t

= 1 , b u t w e w i l l s o o n s e e ( L e m m a 5 b e l o w ) t h a t t h e s e p a r a t i o n

c u r v e d o e s n o t i n t e r s e c t t h e s t r i p c


8/50

L e m m a 4 F o r s o m e n i t e s e t , t h e r e e x i s t s n o s u c h t h a t , f o r a l l

! 2 , ( ! ; ) = 0

P r o o f . A s s u m p t i o n 4 w a s t h a t

8 2 ? 9 ! 2 : ( ! ; ) > 0 ; ( 3 )

a n d w e a r e r e q u i r e d t o p r o v e t h a t c a n b e r e p l a c e d b y i t s n i t e s u b s e t .

I t s u c e s t o n o t e t h a t ( 3 ) m e a n s t h a t t h e s e t s ? ( ! ) : = f ( ! ; ) > 0 g

c o n s t i t u t e a n o p e n c o v e r o f ? , w h i c h , b y A s s u m p t i o n 1 , h a s a n i t e s u b c o v e r .

L e m m a 5 E a c h g a m e G ( c ; a ) , c


9/50

2 E X A M P L E S

I n o u r r s t s e v e r a l e x a m p l e s w e w i l l h a v e : = f 0 ; 1 g . I n t h i s c a s e t h e r e

i s a c o n v e n i e n t r e p r e s e n t a t i o n f o r c ( ) ( 3 1 ] , S e c t i o n 1 ) . F o r e a c h s e t A

? 1 ; 1

2

a n d p o i n t u 2 I R

2

w e d e n e t h e s h i f t u + A o f A i n d i r e c t i o n u t o

b e f u + v v 2 A g . T h e A - c l o s u r e o f B ? 1 ; 1

2

i s

c l

A

B : =

\

u 2 I R

2

B u + A

u + A ? 1 ; 1

2

W e w r i t e c l f o r c l

A

a n d c l

f o r c l

A

, w h e r e

A : = f ( x ; y ) 2 ? 1 ; 1

2

x 0 o r y 0 g ;

A

: = f ( x ; y ) 2 ? 1 ; 1

2

x

+

y

1 g

F o r a n y s e t B 0 ; 1

2

p u t

o s c B : = s u p

e

s u p f z z e 2 B g

i n f f z z e 2 B g

;

w h e r e e r a n g e s o v e r t h e v e c t o r s i n I R

2

o f l e n g t h 1 , z r a n g e s o v e r 0 ; 1 ] , a n d

t h e c o n v e n t i o n s f o r t h e \ e x t r e m e c a s e s " a r e a s f o l l o w s : s u p ; : = 0 , i n f ; : = 1 ,

1

1

: = 1 . I t i s e a s y t o s h o w 3 1 ] t h a t

c ( ) = o s c ( c l

D n c l D ) ; 8 2 0 ; 1 ; ( 4 )

D b e i n g t h e g r a p h f ( ( 0 ; ) ; ( 1 ; ) ) 2 ? g 0 ; 1

2

o f o u r l o c a l g a m e .

( T h i s f o l l o w s f r o m t h e f a c t t h a t t h e o n l y i m a g e s o f s t r a i g h t l i n e s u n d e r t h e

m a p p i n g l o g

t h a t g o f r o m t h e N o r t h e a s t t o t h e S o u t h w e s t a r e s h i f t s o f t h e

c u r v e

x

+

y

= 1 . )

I n t h e e x a m p l e s g i v e n b e l o w w e w i l l u s e t h e f o l l o w i n g s i m p l e o b s e r v a t i o n :

t h e r e e x i s t s a s h i f t o f t h e c u r v e

x

+

y

= 1 c o n t a i n i n g p o i n t s ( x

1

; y

1

) a n d

( x

2

; y

2

) i f a n d o n l y i f ( y

1

? y

2

) ( x

2

? x

1

) > 0 ; i f t h i s c o n d i t i o n i s s a t i s e d , t h e r e

i s o n l y o n e s u c h s h i f t , n a m e l y

(

y

1

?

y

2

)

x

+ (

x

2

?

x

1

)

y

=

x

2

+ y

1

?

x

1

+ y

2

( 5 )

( T h i s c a n b e c h e c k e d b y d i r e c t s u b s t i t u t i o n o f ( x ; y ) : = ( x

1

; y

1

) a n d ( x ; y ) : =

( x

2

; y

2

) i n t o ( 5 ) . )

9


10/50

E x a m p l e 1 ( s i m p l e p r e d i c t i o n g a m e ; L i t t l e s t o n e a n d W a r m u t h 2 3 ] ) . H e r e

= ? = f 0 ; 1 g a n d

( ! ; ) =

(

0 ; i f ! = ;

1 ; o t h e r w i s e .

I t i s e a s y t o c h e c k ( u s i n g ( 4 ) a n d t h e o b s e r v a t i o n a b o v e ) t h a t

c ( ) =

l n

1

l n

2

1 +

E x a m p l e 2 ( J . C . T h o m p s o n ; D a w i d 8 ] ) . A g a i n = ? = f 0 ; 1 g I n

t h i s e x a m p l e ( a n d a l s o i n E x a m p l e 7 b e l o w ) w e w i l l s a y \ a c t i o n " i n s t e a d o f

\ p r e d i c t i o n . " T h e l e a r n e r i s a f r u i t f a r m e r w h o c a n t a k e p r o t e c t i v e m e a s u r e s

( a c t i o n = 1 ) t o g u a r d h e r p l a n t s a g a i n s t f r o s t ( o u t c o m e ! = 1 ) a t a c o s t

o f a > 0 ; i f s h e d o e s n o t p r o t e c t ( = 0 ) , s h e f a c e s a l o s s o f b > a i f t h e r e i s

f r o s t ( ! = 1 ) , a n d 0 i f n o t ( ! = 0 ) . T h e r e f o r e , t h e l o s s f u n c t i o n i s

( ! ; ) =

8

>

:

a ; i f = 1 ;

0 ; i f = 0 a n d ! = 0 ;

b ; i f = 0 a n d ! = 1

H e r e c ( ) i s t h e s o l u t i o n t o

a

?

b

a = c ( )

+ ( 1 ?

a

)

b = c ( )

=

a

?

a + b

F o r a = 1 a n d b = 2 , w e c a n s o l v e t h i s e q u a t i o n a n d o b t a i n

c ( ) =

l n

1

l n

2

p

4 + 5

2

?

E x a m p l e 3 ( a b s o l u t e l o s s g a m e ) . H e r e = f 0 ; 1 g , ? = 0 ; 1 ] , a n d ( ! ; ) =

! ? . A s c a n b e e a s i l y s e e n f r o m t h e r e s u l t o f E x a m p l e 1 , n o w

c ( ) =

l n

1

2 l n

2

1 +

A s p r o v e n i n H a u s s l e r , K i v i n e n , a n d W a r m u t h ( 1 5 ] , S e c t i o n 4 . 2 ) , c ( ) i s a l s o

g i v e n b y t h i s f o r m u l a w h e n = 0 ; 1

1 0


11/50

E x a m p l e 4 ( B r i e r g a m e ) . H e r e = f 0 ; 1 g , ? = 0 ; 1 ] , a n d ( ! ; ) = ( ! ?

)

2

. I n t h i s g a m e , c ( ) = 1 f o r e

? 2

3 1 , 1 5 ] . A s s h o w n b y H a u s s l e r ,

K i v i n e n , a n d W a r m u t h ( 1 5 ] , E x a m p l e 4 . 4 ) , t h i s i s a l s o t r u e w h e n = 0 ; 1

E x a m p l e 5 ( l o g a r i t h m i c g a m e ) . H e r e = f 0 ; 1 g , ? = 0 ; 1 ,

( ! ; ) = ! l n

!

+ ( 1 ? ! ) l n

1 ? !

1 ?

N o w c ( ) = 1 f o r e

? 1

( D e S a n t i s , M a r k o w s k y , W e g m a n 9 ] ) ; H a u s s l e r ,

K i v i n e n , a n d W a r m u t h ( 1 5 ] , E x a m p l e 4 . 3 ) p r o v e t h a t t h i s i s t r u e f o r =

0 ; 1 ] a s w e l l .

E x a m p l e 6 T h i s e x a m p l e i s r a t h e r a r t i c i a l ; i t d e m o n s t r a t e s t h a t i t i s p o s s i -

b l e t h a t c ( ) = 1 , f o r s o m e 2 0 ; 1 . L e t

1

;

2

; : : : b e a d e c r e a s i n g s e q u e n c e

o f p o s i t i v e n u m b e r s s u c h t h a t

k

! 0 v e r y f a s t ; e . g . , i t s u c e s t o t a k e

1

: =

1

2

;

k + 1

: =

k

k

; k 1

F i x a r b i t r a r y 2 0 ; 1 a n d p u t

: = f 0 ; 1 g ; ? : = f 1 ; 2 ; : : : ; 1 g ;

( 0 ; ) : =

; ( 1 ; ) : = m a x

l o g

; 0

; 8

( w i t h

1

i n t e r p r e t e d a s 0 ) . C h e c k i n g A s s u m p t i o n s 1 { 4 i s s t r a i g h t f o r w a r d .

N o w w e p r o v e t h a t c ( ) = 1 . L e t K b e a n a r b i t r a r i l y l a r g e n u m b e r ; w e

w i l l p r o v e t h a t c ( ) K . A s c a n b e e a s i l y s e e n f r o m r e p r e s e n t a t i o n ( 4 ) , i t

s u c e s t o p r o v e t h a t , f o r l a r g e k , t h e p o i n t

1

K

( ( 0 ; k ) ; ( 1 ; k + 1 ) ) o f t h e ( x ; y ) -

p l a n e l i e s N o r t h e a s t o f t h e s h i f t o f t h e c u r v e

x

+

y

= 1 t h a t g o e s t h r o u g h

t h e p o i n t s ( ( 0 ; k ) ; ( 1 ; k ) ) a n d ( ( 0 ; k + 1 ) ; ( 1 ; k + 1 ) ) c o r r e s p o n d i n g t o t h e

p r e d i c t i o n s k a n d k + 1 , r e s p e c t i v e l y . S i n c e t h i s s h i f t i s

( 1 k )

?

( 1 k + 1 )

x

+

( 0 k + 1 )

?

( 0 k )

y

=

( 0 k + 1 ) + ( 1 k )

?

( 0 k ) + ( 1 k + 1 )

( c f . ( 5 ) ) , w e a r e r e q u i r e d t o p r o v e t h a t

( 1 k )

?

( 1 k + 1 )

1

K

( 0 k )

+

( 0 k + 1 )

?

( 0 k )

1

K

( 1 k + 1 )

1 1


12/50

<

( 0 k + 1 ) + ( 1 k )

?

( 0 k ) + ( 1 k + 1 )

;

i . e . ,

(

k

?

k + 1

)

1

K

k

+ (

k + 1

?

k

)

1 = K

k + 1

<

k + 1

k

?

k

k + 1

S i n c e , a s ! 0 ,

= e

? n

1

= 1 ? l n

1

+ o ( ) ;

w e c a n r e w r i t e t h i s i n e q u a l i t y a s

(

k

?

k + 1

)

1 ?

k

K

l n

1

+ o (

k

)

!

+ (

k

?

k + 1

+ o (

k

) ) l n

1

1 = K

k + 1


13/50

=

1

: : :

K

m e a n s t h a t t h e g a m b l e r g i v e s f r a c t i o n

k

o f h i s m o n e y t o f r i e n d

k , k = 1 ; : : : ; K . T h e l o s s f u n c t i o n , m i x t u r e l o s s , i s g i v e n b y t h e d o t p r o d u c t :

( ! ; ) : = ! =

K

X

k = 1

k

!

k

F r e u n d a n d S c h a p i r e a r e i n t e r e s t e d i n t h e e x p e r t s w h o a r e a c t u a l l y t h e

s a m e p e r s o n s a s t h e f r i e n d s : e x p e r t k , k = 1 ; : : : ; K , r e c o m m e n d s g i v i n g a l l

m o n e y a t e v e r y t r i a l t o f r i e n d k . U n d e r t h i s a s s u m p t i o n , t h e y p r o v e ( 1 4 ] ,

T h e o r e m 2 ) t h a t t h e g a m b l e r c a n e n s u r e t h a t , f o r a l l t a n d k ,

L

t

l n

1

L

t

( k ) + l n K

1 ?

; ( 6 )

i n t h e n o t a t i o n o f ( 1 ) . O n t h e o t h e r h a n d , o u r T h e o r e m 1 i m p l i e s t h a t t h e

g a m b l e r c a n e n s u r e t h a t , f o r a l l t a n d k ,

L

t

c ( ) L

t

( k ) +

c ( )

l n

1

l n K ( 7 )

L e m m a s 6 a n d 7 b e l o w s h o w t h a t

c ( )


14/50

i . e . ,

! ?

1

K l n

K

K + ? 1

l n

X

!

P ( ) ( 8 )

F i r s t w e s h o w t h a t i t s u c e s t o p r o v e ( 8 ) f o r P c o n c e n t r a t e d o n t h e

e x t r e m e p o i n t s o f t h e s i m p l e x ? . T h i s s i m p l e x h a s K e x t r e m e p o i n t s , v i z . ,

k

=

k

1

: : :

k

K

, k = 1 ; : : : ; K , w h e r e

k

j

=

(

1 ; i f k = j ;

0 ; o t h e r w i s e .

T o p r o v e ( 8 ) , w e r e p r e s e n t e a c h 2 d o m P a s a w e i g h t e d a v e r a g e o f t h e

e x t r e m e p o i n t s o f ? :

=

K

X

k = 1

q

k

k

; 2 d o m P ;

q

k

2 0 ; 1 ] b e i n g t h e c o e c i e n t s o f t h e e x p a n s i o n s ,

P

k

q

k

= 1 . T h e c o n -

v e x i t y o f t h e f u n c t i o n 2 I R !

i m p l i e s

X

!

P ( ) =

X

(

P

k

q

k

k

)

!

P ( ) =

X

P

k

q

k

!

k

P ( )

X

X

k

!

k

q

k

P ( ) =

X

k

!

k

q

k

;

w h e r e q

k

=

P

q

k

P ( ) . T h e r e f o r e , i t s u c e s t o p r o v e t h a t , f o r a n y w e i g h t s

q

1

; : : : ; q

K

2 0 ; 1 ] f o r t h e f r i e n d s (

P

k

q

k

= 1 ) , t h e r e e x i s t s a n a c t i o n 2 ?

s u c h t h a t , f o r a l l ! 2 ,

! ?

1

K l n

K

K + ? 1

l n

K

X

k = 1

!

k

q

k

( 9 )

L e t u s p r o v e t h a t t h e f u n c t i o n

! 2 I R

K

! l n

K

X

k = 1

!

k

q

k

i s c o n v e x . F i x a n y ! ; a 2 I R

K

. W e m u s t o n l y p r o v e t h a t

2 I R ! l n

X

k

!

k

+ a

k

q

k

1 4


15/50

i s c o n v e x . W r i t i n g t h i s a s

2 I R ! l n

X

k

(

!

k

q

k

) e

( a

k

n )

;

w e c a n s e e t h a t i t i s s u c i e n t t o p r o v e t h a t

! l n

X

k

p

k

e

b

k

; ( 1 0 )

i s c o n v e x ; w i t h o u t l o s s o f g e n e r a l i t y w e a s s u m e

P

k

p

k

= 1 . T h e c o n v e x i t y o f

( 1 0 ) i s p r o v e n i n L e m m a 1 4 b e l o w .

S i n c e t h e r i g h t - h a n d s i d e o f ( 9 ) i s c o n c a v e , i t s u c e s t o p r o v e ( 9 ) o n l y f o r

! t h a t a r e e x t r e m e p o i n t s o f t h e c u b e 0 ; 1

K

. L e t t i n g I r u n o v e r t h e s u b s e t s

o f f 1 ; : : : ; K g , w e t r a n s f o r m ( 9 ) t o

X

k 2 I

k

?

1

K l n

K

K + ? 1

l n

0

@

X

k 2 I

q

k

+

X

k =2 I

q

k

1

A

;

i . e . ,

X

k 2 I

k

?

1

K l n

K

K + ? 1

l n

0

@

1 + ( ? 1 )

X

k 2 I

q

k

1

A

( 1 1 )

F o r I = ; , ( 1 1 ) i s o b v i o u s l y t r u e , s o w e a s s u m e I 6= ; . L e t u s s h o w t h a t i t

s u c e s t o e s t a b l i s h ( 1 1 ) o n l y i n t h e c a s e o f o n e - e l e m e n t I . T o d o s o , i t s u c e s

t o p r o v e t h a t ( 1 1 ) h o l d s f o r I = I

1

I

2

a s s o o n a s ( 1 1 ) h o l d s f o r I = I

1

a n d

I = I

2

, w h e r e I

1

a n d I

2

a r e d i s j o i n t n o n e m p t y s u b s e t s o f f 1 ; : : : ; K g . T h e

l a s t a s s e r t i o n f o l l o w s f r o m

? l n

0

@

1 + ( ? 1 )

X

k 2 I

1

q

k

1

A

? l n

0

@

1 + ( ? 1 )

X

k 2 I

2

q

k

1

A

? l n

0

@

1 + ( ? 1 )

X

k 2 I

1

I

2

q

k

1

A

;

w h i c h i s e s s e n t i a l l y a s p e c i a l c a s e o f

( 1 + x

1

) ( 1 + x

2

) 1 + ( x

1

+ x

2

) ;

w h e r e x

1

; x

2

0

1 5


16/50

S u b s t i t u t i n g I : = f k g i n ( 1 1 ) , w e g e t

k

?

1

K l n

K

K + ? 1

l n ( 1 + ( ? 1 ) q

k

)

T h e e x i s t e n c e o f s u c h w i l l f o l l o w f r o m

?

1

K l n

K

K + ? 1

K

X

k = 1

l n ( 1 + ( ? 1 ) q

k

) 1 ;

i . e . ,

K

X

k = 1

l n ( 1 + ( ? 1 ) q

k

) ? K l n

K

K + ? 1

;

K

Y

k = 1

( 1 + ( ? 1 ) q

k

)

K + ? 1

K

!

K

I t r e m a i n s t o n o t e t h a t

K

X

k = 1

( 1 + ( ? 1 ) q

k

) = K + ? 1

i s c o n s t a n t , a n d s o t h e p r o d u c t a t t a i n s i t s m a x i m u m w h e n a l l q

k

a r e e q u a l ,

q

k

= 1 = K , k = 1 ; : : : ; K

L e m m a 7 F o r 2 0 ; 1 ,

K l n

K

K + ? 1

> 1 ?

a n d , a s K ! 1 ,

K l n

K

K + ? 1

= 1 ? + O ( 1 = K )

P r o o f . B y T a y l o r ' s f o r m u l a , f o r s o m e 2 0 ; 1 ,

K l n

K

K + ? 1

= ? K l n

K + ? 1

K

= ? K l n

1 +

? 1

K

= ? K

? 1

K

?

1

2

? 1

K

2

1 +

? 1

K

2

= 1 ? +

1

2

( 1 ? )

2

1

K

1 +

? 1

K

2

1 6


17/50

3 F U N C T I O N S c ( ) A N D a ( )

I n t h i s s e c t i o n w e s t u d y t h e c u r v e f ( c ( ) ; a ( ) ) 2 0 ; 1 g , w h i c h w i l l b e

s h o w n t o c o i n c i d e w i t h t h e s e p a r a t i o n c u r v e i n s i d e 0 ; 1

2

L e m m a 8 c ( ) 1 , 8

P r o o f . I f c ( ) 0 ) ,

r a n g i n g o v e r ] 0 ; 1 ( t h o u g h i t i s p o s s i b l e t h a t c ( ) = 1 a n d a ( ) = 1 : s e e

E x a m p l e 6 a b o v e ) .

W e u s e t h e w o r d s \ i n c r e a s e " a n d \ d e c r e a s e " i n a w i d e s e n s e : s a y , a n

i n c r e a s i n g f u n c t i o n m a y b e c o n s t a n t o n s o m e p i e c e s o f i t s d o m a i n .

L e m m a 9 A s 2 0 ; 1 i n c r e a s e s , c ( ) d e c r e a s e s a n d a ( ) i n c r e a s e s .

P r o o f . T h e c a s e o f a ( ) i s s i m p l e :

a ( ) =

1

l n

1

i n f

(

c 8 P 9 8 ! : ( ! ; ) c l o g

X

( ! )

P ( )

)

= i n f

8


18/50

T h e r e f o r e , i t i s s u c i e n t t o p r o v e t h a t , a s i n c r e a s e s , ? l n

P

( ! )

P ( )

d e c r e a s e s ( P a n d ! a r e x e d ) ; t h i s r e d u c e s t o p r o v i n g t h a t , a s i n c r e a s e s ,

( ! )

i n c r e a s e s ; t h e l a s t a s s e r t i o n i s o b v i o u s .

A n a l o g o u s l y , i n t h e c a s e o f c ( ) i t i s s u c i e n t t o p r o v e , f o r e a c h P a n d

! , t h a t , a s i n c r e a s e s , l o g

P

( ! )

P ( ) a l s o i n c r e a s e s . F i x a n d s u c h

t h a t 0 < < < 1 . W e a r e r e q u i r e d t o p r o v e

l o g

E

l o g

E

; ( 1 4 )

w h e r e =

! P

i s a n e x t e n d e d r a n d o m v a r i a b l e ( i . e . , a r a n d o m v a r i a b l e t h a t

i s a l l o w e d t o t a k e v a l u e 1 ) t h a t t a k e s e a c h v a l u e ( ! ; ) w i t h p r o b a b i l i t y

P ( ) . L e t p > 1 b e s u c h t h a t =

p

. W e c a n r e w r i t e ( 1 4 ) a s

l o g

p

E

p

l o g

E

;

1

p

l n

E

p

l n

E

W e c o n t i n u e p u t t i n g : =

:

1

p

l n

E

p

l n

E

;

(

E

p

)

1 = p

E

T h e l a s t i n e q u a l i t y f o l l o w s f r o m t h e m o n o t o n i c i t y o f t h e L

p

n o r m s ( s e e , e . g . ,

W i l l i a m s 3 6 ] , S e c t i o n 6 . 7 ) .

T h i s l e m m a i m p l i e s L e m m a 1 . B e s i d e s , i t i m p l i e s t h a t w e h a v e o n l y t w o

p o s s i b i l i t i e s f o r e a c h l o c a l g a m e : e i t h e r c ( ) a n d a ( ) a r e i n n i t e f o r a l l

2 0 ; 1 ( i n v i e w o f T h e o r e m 1 , t h i s m e a n s t h a t t h e s e p a r a t i o n c u r v e i s

e m p t y ) o r e l s e c ( ) a n d a ( ) a r e n i t e f o r a l l 2 0 ; 1 . ( I f , s a y , c ( ) i s n i t e

f o r s o m e , t h e n : a ( ) i s n i t e f o r t h i s ; a ( ) a n d , h e n c e , c ( ) a r e n i t e f o r

< ; c ( ) a n d , h e n c e , a ( ) a r e n i t e f o r > . ) I n p a r t i c u l a r , w e h a v e

c ( ) = a ( ) = 1 , 8 2 0 ; 1 ] , f o r t h e l o c a l g a m e o f E x a m p l e 6 .

L e m m a 1 0 T h e f u n c t i o n s c ( ) a n d a ( ) a r e c o n t i n u o u s .

P r o o f . I t s u c e s t o c o n s i d e r o n l y t h e c a s e o f a ( ) ( s i n c e c ( ) = a ( ) l n

1

)

F i x a n y 2 0 ; 1 . S i n c e a ( ) i n c r e a s e s ( s e e L e m m a 9 ) , t h e v a l u e s

a ( ? ) : = l i m

"

a ( ) ; a ( + ) : = l i m

#

a ( )

1 8


19/50

e x i s t a n d a ( ? ) a ( ) a ( + ) . S i n c e c ( ) d e c r e a s e s , w e h a v e

a ( ? ) = l i m

"

c ( ) = l n

1

= c ( ? ) = l n

1

c ( ) = l n

1

= a ( ) ;

a ( + ) = l i m

#

c ( ) = l n

1

= c ( + ) = l n

1

c ( ) = l n

1

= a ( )

T h e r e f o r e , a ( ? ) = a ( ) = a ( + ) , w h i c h m e a n s t h a t a ( ) i s c o n t i n u o u s a t

L e m m a 1 1 S u p p o s e c ( )


20/50

L e m m a 1 2 F o r e a c h 2 0 ; 1 , t h e i n m u m i n t h e d e n i t i o n o f c ( ) i s

a t t a i n e d .

P r o o f . W e a r e r e q u i r e d t o p r o v e

8 P 9 8 ! : ( ! ; ) c ( ) l o g

X

( ! )

P ( ) ( 1 5 )

F i x a n y P ; l e t c

1

c

2

b e a d e c r e a s i n g s e q u e n c e s u c h t h a t c

k

! c ( ) a s

k ! 1 . B y t h e d e n i t i o n o f c ( ) , f o r e a c h k t h e r e e x i s t s

k

s u c h t h a t

8 ! : ( ! ;

k

) c

k

l o g

X

( ! )

P ( )

L e t b e a l i m i t p o i n t ( w h o s e e x i s t e n c e f o l l o w s f r o m A s s u m p t i o n 1 ) o f t h e

s e q u e n c e

1

2

. T h e n , f o r e a c h ! , ( ! ; ) i s a l i m i t p o i n t o f t h e s e q u e n c e

( ! ;

k

) ( b y A s s u m p t i o n 2 ) a n d , t h e r e f o r e ,

( ! ; ) c ( ) l o g

X

( ! )

P ( )

( r e c a l l t h a t , b y L e m m a 8 , c ( ) > 0 )

F i r s t w e m a k e t h e l e a r n e r ' s t a s k e a s i e r : h e i s a l l o w e d t o m a k e p r e d i c t i o n s

t h a t a r e f u n c t i o n s g : ! 0 ; 1 ] a n d i n c u r s l o s s g ( ! ) , w h e r e ! i s t h e

o u t c o m e c h o s e n b y t h e n a t u r e ; w e w i l l o n l y r e q u i r e t h a t g c a n b e r e p r e s e n t e d

a s m i x t u r e ( 2 ) . N o w t h e l e a r n e r c a n a c t s i m p l y b y c o m p u t i n g t h e w e i g h t e d

a v e r a g e o f t h e e x p e r t s ' s u g g e s t i o n s : a t t r i a l t + 1 , t = 0 ; 1 ; : : : , h i s p r e d i c t i o n

g

t + 1

i s d e n e d b y t h e e q u a l i t y

g

t + 1

( ! )

=

P

n

i = 1

( !

t + 1

( i ) )

L

t

( i )

P

n

i = 1

L

t

( i )

; 8 ! ( 1 6 )

W h e n L u s e s t h i s s t r a t e g y , w e h a v e

L

t

=

1

n

n

X

i = 1

L

t

( i )

; 8 t ( 1 7 )

I n d e e d , f o r t = 0 t h i s e q u a l i t y i s o b v i o u s , a n d a n e a s y i n d u c t i o n i n t g i v e s

L

t + 1

=

L

t

+ g

t + 1

( !

t + 1

)

=

L

t

g

t + 1

( !

t + 1

)

2 0


21/50

=

L

t

P

n

i = 1

( !

t + 1

t + 1

( i ) )

L

t

( i )

P

n

i = 1

L

t

( i )

=

1

n

n

X

i = 1

( !

t + 1

t + 1

( i ) ) + L

t

( i )

=

1

n

n

X

i = 1

L

t + 1

( i )

W e c a n s e e t h a t i f p l a y e r L w e r e a l l o w e d t o m a k e p r e d i c t i o n s g

t + 1

, h e

w o u l d b e a b l e t o e n s u r e ( s e e ( 1 7 ) )

L

t

1

n

L

t

( i )

, 8 i ; t , i . e . ,

L

t

1

l n

1

l n n + L

t

( i ) ; 8 i ; t : ( 1 8 )

B y L e m m a 1 2 , h o w e v e r , h e c a n m a k e p r e d i c t i o n s

t + 1

w i t h

( ! ;

t + 1

) c ( ) g

t + 1

( ! ) ; 8 ! ;

i n t h i s c a s e w e w i l l h a v e , i n s t e a d o f ( 1 8 ) ,

L

t

a ( ) l n n + c ( ) L

t

( i ) ; 8 i ; t :

S o f a r w e h a v e a s s u m e d t h a t t h e d e n o m i n a t o r o f t h e r a t i o i n ( 1 6 ) i s

p o s i t i v e ; i n t h e c a s e w h e r e i t i s z e r o , t h e l e a r n e r c a n c h o o s e

t + 1

a r b i t r a r i l y .

I t r e m a i n s t o c o n s i d e r t h e c a s e 2 f 0 ; 1 g I f = 1 , w e h a v e a ( ) = 1

( b y L e m m a 8 ) . T h e r e f o r e , w e a s s u m e = 0

L e m m a 1 3

c ( 0 ) = i n f

c 8 D 9 8 ! : ( ! ; ) c m i n

2 D

( ! ; )

; ( 1 9 )

D r a n g i n g o v e r t h e n i t e s u b s e t s o f ? ; t h i s i n m u m i s a t t a i n e d .

P r o o f . L e t c

s t a n d f o r t h e r i g h t - h a n d s i d e o f ( 1 9 ) . F o r a l l 2 0 ; 1 ,

w e h a v e c ( ) c

, w h i c h i m p l i e s , b y L e m m a 1 0 ( t h e c o n t i n u i t y o f c ( ) ) ,

c ( 0 ) c

L e t u s p r o v e c

c ( 0 ) . W e a s s u m e c ( 0 )


22/50

( s e e L e m m a s 1 2 a n d 9 ) ; t a k i n g P t o b e t h e u n i f o r m p r o b a b i l i t y d i s t r i b u t i o n

i n a n i t e s e t D ? , w e g e t

8 D 8 2 0 ; 1 9 =

D

( ) 8 ! : ( ! ; ) c ( 0 ) l o g

0

@

1

D

X

2 D

( ! )

1

A

( D , o r # D , s t a n d s f o r t h e n u m b e r o f e l e m e n t s i n a s e t D ) . L e t

1

2

b e

a d e c r e a s i n g s e q u e n c e o f n u m b e r s i n ] 0 ; 1 s u c h t h a t i n f

k

k

= 0 . F o r e a c h D

l e t

D

b e a l i m i t p o i n t o f t h e s e q u e n c e

D

(

k

) , k = 1 ; 2 ; : : : . T h e n , f o r e a c h

! , ( ! ;

D

) i s a l i m i t p o i n t o f ( ! ;

D

(

k

) ) , a n d w e g e t

8 D 9 =

D

8 ! :

( ! ; ) c ( 0 ) l i m

k ! 1

l o g

k

0

@

1

D

X

2 D

( ! )

k

1

A

= c ( 0 ) m i n

2 D

( ! ; )

R e c a l l i n g t h e d e n i t i o n o f c

, w e o b t a i n c

c ( 0 ) .

W e a r e o n l y r e q u i r e d t o c o n s i d e r t h e c a s e c ( 0 )


23/50

N o w w e c a n m o v e o n t o t h e m a i n t o p i c o f t h i s s e c t i o n , t h e t h e o r y o f l a r g e

d e v i a t i o n s . T h e m a t e r i a l o f t h i s s e c t i o n i s w e l l k n o w n ( c f . , e . g . , B o r o v k o v 2 ] ,

S e c t i o n 8 . 8 ) .

I n t h i s p a p e r w e u s u a l l y c o n s i d e r s i m p l e r a n d o m v a r i a b l e s , w h i c h t a k e

o n l y n i t e l y m a n y v a l u e s . T h e d i s t r i b u t i o n o f s u c h i s c o m p l e t e l y d e t e r m i n e d

b y t h e p r o b a b i l i t i e s p r o b f = y g , y 2 I R ( t h e s e p r o b a b i l i t i e s a r e d i e r e n t

f r o m 0 f o r o n l y n i t e l y m a n y y ) . W e w i l l i d e n t i f y s i m p l e r a n d o m v a r i a b l e s

a n d t h e c o r r e s p o n d i n g p r o b a b i l i t y d i s t r i b u t i o n s i n I R .

L e t b e a s i m p l e r a n d o m v a r i a b l e . F o r e a c h 2 I R w e p u t

( ) : =

X

y

e

y

p r o b f = y g ( 2 0 )

( t h i s i s t h e m o m e n t g e n e r a t i n g f u n c t i o n ) a n d d e n e a n e w s i m p l e r a n d o m

v a r i a b l e b y

p r o b f = y g =

1

( )

e

y

p r o b f = y g ; 8 y 2 I R ( 2 1 )

( s o m e t i m e s i s c a l l e d C r a m e r ' s t r a n s f o r m o f , b u t w e w i l l u s e t h i s t e r m i n

a d i e r e n t s e n s e ) . N o t e t h a t

E

( ) =

P

y

y

1

( )

e

y

p r o b f = y g =

( )

( )

( 2 2 )

a n d

v a r =

P

y

y

2

1

( )

e

y

p r o b f = y g ? (

E

)

2

=

( )

( )

?

( )

( )

2

= ( l n )

0 0

( )

( 2 3 )

S i n c e t h e v a r i a n c e i s a l w a y s n o n n e g a t i v e , w e o b t a i n

L e m m a 1 4 T h e f u n c t i o n l n i s c o n v e x .

P u t

S

N

: =

N

X

k = 1

k

; Z

N

: =

N

X

k = 1

k

; ( 2 4 )

w h e r e

k

( r e s p .

k

) a r e i n d e p e n d e n t r a n d o m v a r i a b l e s d i s t r i b u t e d a s ( r e s p .

)

L e m m a 1 5 F o r a l l N a n d z ,

p r o b f Z

N

= z g =

1

N

( )

e

z

p r o b f S

N

= z g

2 3


24/50

P r o o f . W e n d :

p r o b f Z

N

= z g =

X

p r o b f

1

= y

1

; : : : ;

N

= y

N

g

=

X

p r o b f

1

= y

1

g p r o b f

N

= y

N

g

=

X

1

( )

e

y

1

p r o b f

1

= y

1

g

1

( )

e

y

N

p r o b f

N

= y

N

g

=

X

1

N

( )

e

z

p r o b f

1

= y

1

; : : : ;

N

= y

N

g =

1

N

( )

e

z

p r o b f S

N

= z g ;

a l l s u m s b e i n g o v e r t h e N - t u p l e s y

1

: : : y

N

s u c h t h a t y

1

+ + y

N

= z

W e a r e i n t e r e s t e d i n t h e p r o b a b i l i t y p r o b f S

N

N g , b e i n g s o m e

c o n s t a n t . L e m m a 1 7 b e l o w g i v e s a l o w e r e s t i m a t e f o r t h i s p r o b a b i l i t y i n

t e r m s o f t h e Y o u n g | F e n c h e l t r a n s f o r m

( ) : = s u p

( ? l n ( ) ) ( 2 5 )

o f t h e c o n v e x f u n c t i o n l n ; w e w i l l s a y t h a t =

i s C r a m e r ' s t r a n s f o r m

o f t h e r a n d o m v a r i a b l e . F i r s t w e s t a t e s o m e b a s i c p r o p e r t i e s o f C r a m e r ' s

t r a n s f o r m ; t h e y a r e p r o v e n i n A p p e n d i x B .

L e m m a 1 6 F o r e a c h s i m p l e r a n d o m v a r i a b l e , =

s a t i s e s :

( ) 0 , i s a s m o o t h ( i . e . , i n n i t e l y

d i e r e n t i a b l e ) f u n c t i o n o n ] m i n ; m a x a n d

(

E

) =

0

(

E

) = 0 ;

0 0

(

E

) =

1

v a r

( 2 8 )

I f v a r = 0 ,

( ) =

(

0 ; i f =

E

;

1 ; o t h e r w i s e .

T h e f o l l o w i n g t w o l e m m a s a r e a l s o p r o v e n i n A p p e n d i x B ; t h e i d e a o f t h e i r

p r o o f i s t o e x p r e s s t h e p r o b a b i l i t y p r o b f S

N

N g t h r o u g h p r o b a b i l i t i e s

p r o b f Z

N

= z g ( s e e L e m m a 1 5 ) a n d a p p r o x i m a t e t h e l a t t e r b y a G a u s s i a n

d i s t r i b u t i o n .

2 4


25/50

L e m m a 1 7 L e t b e a s i m p l e r a n d o m v a r i a b l e a n d 2 I R . T h e r e i s a

c o n s t a n t C = C ( ; ) s u c h t h a t , f o r a l l N 0 ,

p r o b f S

N

N g

1

C

p

N + 1

e x p ( ? N

( ) ) ( 2 9 )

( w h e r e S

N

=

1

+ +

N

a n d

1

,

2

, . . . a r e i n d e p e n d e n t r a n d o m v a r i a b l e s

d i s t r i b u t e d a s )

W e w i l l a l s o c o n s i d e r e x t e n d e d s i m p l e r a n d o m v a r i a b l e s , w h i c h a r e a l l o w e d

t o t a k e v a l u e 1 ( b u t n o t ? 1 ) . T h e w e i g h t

w

( ) o f s u c h i s d e n e d t o

b e p r o b f 0 . T h e m o m e n t g e n e r a t i n g

f u n c t i o n o f i s d e n e d b y ( 2 0 ) ( w h i c h w e w i l l a l s o w r i t e a s ( ) : =

E

e

) ,

y r a n g i n g o v e r I R , a n d C r a m e r ' s t r a n s f o r m =

o f i s d e n e d b y ( 2 5 ) .

L e m m a 1 8 L e m m a 1 7 c o n t i n u e s t o h o l d w h e n i s a l l o w e d t o b e a n e x t e n d e d

s i m p l e r a n d o m v a r i a b l e .

6 S T R A T E G Y F O R

T H E E N V I R O N M E N T

T h e a i m o f t h i s s e c t i o n i s t o p r o v e t h e r e m a i n i n g h a l f o f T h e o r e m 1 . F i x

a p o i n t ( c ; a ) 2 0 ; 1

2

S o u t h w e s t o f a n d o u t s i d e t h e c u r v e ( c ( ) ; a ( ) ) ; w e

a r e r e q u i r e d t o p r o v e G ( c ; a ) E . ( I f c ( ) = 1 f o r 2 0 ; 1 , ( c ; a ) i s

a n a r b i t r a r y p o i n t o f 0 ; 1

2

; r e c a l l t h a t e i t h e r c ( ) = 1 , 8 2 0 ; 1 , o r

c ( )


26/50

F o r e a c h ! 2 d e n e ? ( ! ) t o b e t h e s e t o f a l l 2 ? t h a t s a t i s f y t h e

i n e q u a l i t y o f ( 3 1 ) ; ( 3 1 ) a s s e r t s t h a t t h e s e t s ? ( ! ) c o m p o s e a n o p e n c o v e r o f

? . B y A s s u m p t i o n 1 , t h e r e e x i s t s a n i t e s u b c o v e r f ? ( ! ) ! 2 g o f t h i s

c o v e r . T h e r e f o r e , w e c a n r e w r i t e ( 3 1 ) a s

8 2 ? 9 ! 2 : ( ! ; ) > c l o g

X

( ! )

P ( ) ( 3 2 )

W e s a y t h a t ! 2 i s t r i v i a l i f ( ! ; ) = 0 , f o r a l l 2 d o m P . L e t

b e t h e

s e t o f t r i v i a l ! 2 . L e t u s x a n y f u n c t i o n : ? ! s u c h t h a t , f o r e a c h

2 ? :

( ( ) ; ) > c l o g

P

( ( ) )

P ( ) ;

i f t h e r e e x i s t s a n o n t r i v i a l ! 2 f o r w h i c h t h e i n e q u a l i t y o f ( 3 2 ) h o l d s ,

t h e n ( ) i s n o n t r i v i a l ;

i f ( ) i s t r i v i a l , t h e n

( ) 2 a r g m a x

! 2

( ! ; )

F o r e a c h ! 2 , d e n e

!

t o b e t h e e x t e n d e d s i m p l e r a n d o m v a r i a b l e t h a t

t a k e s e a c h v a l u e ( ! ; ) , 2 d o m P , w i t h p r o b a b i l i t y P ( ) . ( W e a s s u m e ,

w i t h o u t l o s s o f g e n e r a l i t y , t h a t c o n t a i n s n o ! s u c h t h a t ( ! ; ) = 1 ,

8 2 d o m P ; t h e r e f o r e ,

w

(

!

) > 0 , f o r a l l ! 2 . ) L e t

!

b e C r a m e r ' s

t r a n s f o r m o f

!

L e m m a 1 9 T h e r e e x i s t c o n s t a n t s z

!

( ! 2 ) a n d > 0 s u c h t h a t , f o r a l l

! 2 ,

i n f

2

1

( ! )

( ! ; ) > c z

!

+ a (

!

( z

!

) + ) ; ( 3 3 )

0

!

( z

!

) c l o g

X

( ! )

P ( ) ( 3 5 )

2 6


27/50

= ?

c

l n

1

l n

X

( ! )

P ( )

= ?

c

l n

1

l n

E

!

( 3 6 )

=

c

l n

1

i n f

l n

1

+

!

( )

!

( 3 7 )

= c

0

@

z

!

+

1

l n

1

!

( z

!

)

1

A

( 3 8 )

c z

!

+ a

!

( z

!

) ( 3 9 )

I n e q u a l i t y ( 3 5 ) f o l l o w s f r o m t h e d e n i t i o n o f ( n o t i c e t h a t w e h a v e u s e d t h e

n o n - t r i v i a l i t y o f ! h e r e ) , a n d e q u a l i t y ( 3 6 ) f o l l o w s f r o m t h e d e n i t i o n o f

!

L e t u s p r o v e e q u a l i t y ( 3 7 ) . P u t

!

( ) : = l n

E

e

!

( t h e r e f o r e ,

!

=

!

;

r e c a l l t h a t t h e n o t a t i o n

E

i m p l i e s s u m m i n g o n l y o v e r t h e n i t e v a l u e s o f

!

)

B y t h e F e n c h e l | M o r e a u t h e o r e m w e c a n t r a n s f o r m t h e i n m u m i n ( 3 7 ) a s

f o l l o w s :

i n f

l n

1

+

!

( )

!

= ? s u p

? l n

1

?

!

( )

!

= ?

!

? l n

1

!

= ?

!

( l n ) = ? l n

E

e x p (

!

l n ) = ? l n

E

!

( t h e c o n d i t i o n s o f t h e F e n c h e l | M o r e a u t h e o r e m a r e s a t i s e d h e r e : t h e f u n c -

t i o n

!

, b e s i d e s b e i n g c o n v e x ( s e e L e m m a 1 4 ) , i s c o n t i n u o u s a n d , h e n c e ,

c l o s e d ) ; t h i s c o m p l e t e s t h e p r o o f o f e q u a l i t y ( 3 7 ) .

T h e i n m u m i n ( 3 7 ) i s a t t a i n e d b y L e m m a 1 6 . S e t t i n g z

!

t o a v a l u e

o f w h e r e t h e m i n i m u m i s a t t a i n e d , w e a r r i v e a t e x p r e s s i o n ( 3 8 ) . F i n a l l y ,

i n e q u a l i t y ( 3 9 ) f o l l o w s f r o m c = l n

1

a ( s e e ( 3 0 ) ) .

T o c o m p l e t e c o n s i d e r i n g t h e c a s e o f n o n t r i v i a l ! , i t r e m a i n s t o p r o v e ( 3 4 ) .

T h i s i s e a s y :

!

( z

!

) 0 ( 4 0 )

2 7


28/50

L e t ?

b e t h e s e t o f t h o s e 2 ? f o r w h i c h ( ) i s t r i v i a l . S i n c e ?

( b e i n g

a c l o s e d s u b s e t o f ? ) i s c o m p a c t a n d t h e f u n c t i o n ! m a x

! 2

( ! ; ) i s

c o n t i n u o u s a n d p o s i t i v e o n ?

, w e h a v e

i n f

2 ?

m a x

! 2

( ! ; ) > 0 ;

i . e . , i n f

2 ?

( ( ) ; ) > 0 , w h i c h i m p l i e s ( 4 0 ) .

F i x s u c h z

!

a n d

N o w w e c a n d e s c r i b e t h e p r o b a b i l i s t i c s t r a t e g y f o r E i n G ( c ; a ) :

t h e n u m b e r n o f e x p e r t s i s ( l a r g e a n d ) c h o s e n a s s p e c i e d b e l o w ;

t h e o u t c o m e c h o s e n b y E a l w a y s c o i n c i d e s w i t h ( ) , b e i n g t h e p r e -

d i c t i o n m a d e b y L ;

e a c h e x p e r t p r e d i c t s e a c h 2 d o m P w i t h c o n s t a n t p r o b a b i l i t y P ( )

L e t u s l o o k a t h o w t h i s s i m p l e s t r a t e g y h e l p s u s p r o v e t h a t L d o e s n o t

h a v e a w i n n i n g s t r a t e g y i n G ( c ; a ) . A s s u m e , o n t h e c o n t r a r y , t h a t L h a s a

w i n n i n g s t r a t e g y i n t h i s g a m e , a n d l e t t h i s w i n n i n g s t r a t e g y p l a y a g a i n s t E ' s

p r o b a b i l i s t i c s t r a t e g y j u s t d e s c r i b e d .

L e t

1

2

b e t h e r a n d o m s e q u e n c e o f L ' s p r e d i c t i o n s a n d !

1

!

2

b e t h e

r a n d o m s e q u e n c e o f o u t c o m e s d u r i n g t h i s p l a y . F o r e a c h T 1 a n d ! 2 ,

l e t m

!

( T ) 2 0 ; 1 ] b e t h e f r a c t i o n

# f t 2 f 1 ; : : : ; T g !

t

= ! g

T

o f ! ' s a m o n g t h e r s t T

o u t c o m e s !

1

: : : !

T

. D e n e s t o p p i n g t i m e b y

: = m i n

(

T T

l n n

P

! 2

m

!

( T )

!

( z

!

) +

)

( 4 1 )

N o t e t h a t

l n n

m a x

! 2

!

( z

!

) +

&

l n n

'

( 4 2 )

L e t T b e a n u m b e r f o r w h i c h t h e p r o b a b i l i t y o f = T i s t h e l a r g e s t ; t h i s

l a r g e s t p r o b a b i l i t y i s a t l e a s t

1

C

1

n n

( C

1

, C

2

, . . . s t a n d f o r p o s i t i v e c o n s t a n t s ) .

W e s a y t h a t a s e q u e n c e

1

: : :

T

2

T

i s s u i t a b l e i f

( !

1

=

1

; : : : ; !

T

=

T

) = ) = T

F i x a s u i t a b l e

1

: : :

T

w i t h t h e l a r g e s t p r o b a b i l i t y o f t h e e v e n t f !

1

=

1

; : : : ; !

T

=

T

g ; s i n c e t h e p r o b a b i l i t y t h a t !

1

: : : !

T

w i l l b e s u i t a b l e i s a t

2 8


29/50

l e a s t

1

C

1

n n

, t h i s l a r g e s t p r o b a b i l i t y i s a t l e a s t

1

C

1

n n

? T

. W e s a y t h a t t h e

r a n d o m s e q u e n c e

1

2

o f L ' s p r e d i c t i o n s a g r e e s w i t h

1

: : :

T

i f (

t

) =

t

,

t = 1 ; : : : ; T . I t i s o b v i o u s t h a t L h a s a s t r a t e g y i n G ( c ; a ) ( a s i m p l e m o d i -

c a t i o n o f h i s w i n n i n g s t r a t e g y ) s u c h t h a t h i s p r e d i c t i o n s

1

2

a l w a y s a g r e e

w i t h t h e s e q u e n c e

1

: : :

T

a n d , w i t h p r o b a b i l i t y a t l e a s t

1

C

1

n n

? T

,

L

T

c L

T

( i ) + a l n n ; 8 i ( 4 3 )

W e w i l l a r r i v e a t a c o n t r a d i c t i o n p r o v i n g t h a t o u r p r o b a b i l i s t i c s t r a t e g y f o r

E f a i l s c o n d i t i o n ( 4 3 ) w i t h p r o b a b i l i t y g r e a t e r t h a n 1 ?

1

C

1

n n

? T

w h e n

p l a y i n g a g a i n s t a n y s t r a t e g y f o r L t h a t e n s u r e s a g r e e m e n t w i t h

1

: : :

T

F o r e a c h ! 2 , l e t m

!

2 0 ; 1 ] b e t h e f r a c t i o n

# f t 2 f 1 ; : : : ; T g

t

= ! g

T

o f ! ' s i n

t h e s e q u e n c e

1

: : :

T

. B y t h e d e n i t i o n o f E ' s s t r a t e g y , t h e r s t T o u t c o m e s

w i l l b e !

t

=

t

, t = 1 ; : : : ; T . S o t h e s e q u e n c e !

1

: : : !

T

c o n t a i n s m

!

T ! ' s

a n d , t h e r e f o r e , L ' s c u m u l a t i v e l o s s d u r i n g t h e r s t T t r i a l s i s a t l e a s t

R : =

X

! 2

m

!

T i n f

2

1

( ! )

( ! ; ) ( 4 4 )

L e t A b e t h e e v e n t t h a t , f o r a t l e a s t o n e e x p e r t i , t h e c u m u l a t i v e l o s s

X

t 2 f 1 ; : : : ; T g !

t

= !

( !

t

;

t

( i ) )

o n t h e ! ' s o f !

1

: : : !

T

, f o r a l l ! 2 , i s a t m o s t T m

!

z

!

( a s i t w e r e , t h e

s p e c i c p e r ! l o s s i s a t m o s t z

!

) . O n e v e n t A , t h e c u m u l a t i v e l o s s o f t h e

b e s t e x p e r t ( d u r i n g t h e r s t T t r i a l s ) i s a t m o s t

: = T

X

! 2

m

!

z

!

( 4 5 )

L e t u s s h o w t h a t w e c a n c h o o s e t h e n u m b e r n o f e x p e r t s s o t h a t t h e

p r o b a b i l i t y o f A f a i l i n g i s l e s s t h a n

1

C

1

n n

? T

. L e m m a 1 8 s h o w s t h a t , f o r

e a c h e x p e r t a n d e a c h ! 2 , t h e l o s s i n c u r r e d b y h i m o n t h e ! ' s o f t h e

s e q u e n c e !

1

: : : !

T

i s a t m o s t T m

!

z

!

w i t h p r o b a b i l i t y a t l e a s t

1

C

2

p

T m

!

+ 1

e x p ( ? T m

!

!

( z

!

) )

1

T

e x p ( ? T m

!

!

( z

!

) )

( s i n c e n i s l a r g e , T i s l a r g e a s w e l l : s e e ( 4 2 ) ) . S i n c e f o r e a c h e x p e r t t h e s e

e v e n t s a r e i n d e p e n d e n t , t h e p r o b a b i l i t y o f t h e i r c o n j u n c t i o n i s a t l e a s t

1

T

e x p

? T

X

! 2

m

!

!

( z

!

)

!

2 9


30/50

T h e p r o b a b i l i t y t h a t A w i l l f a i l i s a t m o s t

1 ?

1

T

e x p

? T

X

! 2

m

!

!

( z

!

)

! !

n

;

s i n c e !

1

: : : !

T

i s s u i t a b l e , t h e n a t u r a l l o g a r i t h m o f t h i s e x p r e s s i o n i s

n l n

1 ?

1

T

e x p

? T

X

! 2

m

!

!

( z

!

)

! !


31/50

F i r s t w e p r o v e t h e e x i s t e n c e o f L ' s r e l e v a n t s t r a t e g i e s . I f c = 1 a n d

a = 1 , L ' s g o a l L

t

L

t

( i ) + 1 l n n i s e a s y t o a t t a i n : i f n > 1 , t h i s c o n d i t i o n

i s v a c u o u s , a n d i f n = 1 , i t s u c e s f o r L t o r e p e a t t h e p r e d i c t i o n s m a d e b y

t h e o n l y e x p e r t .

L e t c = 1 ; L ' s g o a l i s t o e n s u r e L

t

1 L

t

( i ) + a ( 0 ) l n n . I n o t h e r w o r d s ,

L m u s t e n s u r e L

t

a ( 0 ) l n n a s l o n g a s m i n

i

L

t

( i ) = 0 . F o r e a c h 2 0 ; 1 ,

d e n e g

t + 1

: ! 0 ; 1 b y

g

t + 1

( ! )

=

1

E

t

X

i 2 E

t

( !

t + 1

( i ) )

;

w h e r e E

t

: = f i L

t

( i ) = 0 g i s t h e s e t o f t h e p e r f e c t e x p e r t s b y t i m e t ( c f . ( 1 6 ) ) ,

a n d c h o o s e

t + 1

2 ? s u c h t h a t

( ! ;

t + 1

) c ( ) g

t + 1

( ! ) ; 8 !

L e t

t + 1

b e a l i m i t p o i n t o f a s e q u e n c e

k

t + 1

w i t h

k

# 0 . W e n d :

( ! ;

t + 1

) l i m

! 0

c ( ) l o g

0

@

1

E

t

X

i 2 E

t

( !

t + 1

( i ) )

1

A

= l i m

! 0

0

@

? a ( ) l n

0

@

1

E

t

X

i 2 E

t

( !

t + 1

( i ) )

1

A

1

A

= ? a ( 0 ) l n

F

t

E

t

p r o v i d e d F

t

6= ; , w h e r e F

t

: = f i 2 E

t

( ! ;

t + 1

( i ) ) = 0 g . T a k i n g a s ! t h e

o u t c o m e c h o s e n b y t h e n a t u r e , w e o b t a i n

( ! ;

t + 1

) a ( 0 ) l n

E

t

E

t + 1

;

t h e r e f o r e , L ' s t o t a l l o s s L

t

a t e a c h t r i a l t s u c h t h a t m i n

i

L

t

( i ) = 0 ( e q u i v a -

l e n t l y , s u c h t h a t E

t

6= ; ) i s a t m o s t

a ( 0 ) l n

E

0

E

1

+ + a ( 0 ) l n

E

t ? 1

E

t

= a ( 0 ) l n

E

0

E

t

a ( 0 ) l n n

I t r e m a i n s t o c o n s t r u c t t h e r e l e v a n t s t r a t e g i e s f o r p l a y e r E . F i r s t s u p p o s e

c


32/50

1 l n n . H e i s f o r c e d t o c h o o s e n = 1 . A f t e r t h a t i t s u c e s f o r h i m t o a p p l y

t h e s t r a t e g y o f L e m m a 5 .

N o w w e c o n s i d e r t h e r e m a i n i n g c a s e c = 1 , 0 a < a ( 0 ) . P l a y e r E ' s

g o a l i s t o e n s u r e L

t

> 1 L

t

( i ) + a l n n , f o r s o m e t a n d i . W e w i l l g i v e t w o

e x a m p l e s w i t h i d e n t i c a l s e p a r a t i o n c u r v e s a n d a ( 0 ) > 0 : i n t h e r s t , E w i l l

b e a b l e t o d o s o f o r a n y a < a ( 0 ) ; i n t h e s e c o n d , h e w i l l b e a b l e t o d o s o f o r

n o a < a ( 0 ) .

C o n s i d e r t h e s i m p l e p r e d i c t i o n g a m e ( s e e E x a m p l e 1 i n S e c t i o n 2 ) . H e r e

a ( 0 ) = 1 = l n 2 a n d c ( 0 ) = 1 . A w i n n i n g s t r a t e g y f o r E i s a s f o l l o w s : h e

t a k e s n = 2

k

w i t h a n y p o s i t i v e i n t e g e r k ; t h e o u t c o m e i s a l w a y s o p p o s i t e

t o L ' s p r e d i c t i o n ; a t t r i a l t , t = 1 ; : : : ; k , e x p e r t i 2 f 1 ; : : : ; 2

k

g p r e d i c t s

w i t h t h e t t h b i t i n t h e b i n a r y e x p a n s i o n o f i ? 1 ( w e a s s u m e t h a t t h e l e n g t h

o f t h i s b i n a r y e x p a n s i o n i s e x a c t l y k : i f n e c e s s a r y , w e a d d z e r o e s o n t h e

l e f t ) . A f t e r t h e k t h t r i a l w e w i l l h a v e L

t

= k , L

t

( i ) = 0 f o r s o m e i , a n d

a l n n < a ( 0 ) l n n = l o g

2

n = k

N o w c o n s i d e r t h e l o c a l g a m e ( ; ? ; ) w i t h : = f 0 ; 1 g f 1 ; 2 ; : : : g , ? : =

f 0 ; 1 g , a n d

( ( j ; i ) ; ) =

(

i

; i f j = ;

1 ; o t h e r w i s e ;

w h e r e

i

i s a d e c r e a s i n g s e q u e n c e o f n u m b e r s i n ] 0 ; 1 s u c h t h a t

i

! 0

( i ! 1 ) . A l l c ( ) a n d a ( ) a r e h e r e e x a c t l y t h e s a m e a s i n t h e c a s e o f

t h e s i m p l e p r e d i c t i o n g a m e . B u t n o w , f o r a l l t a n d i , L

t

( i ) > 0 ; t h e r e f o r e , E

c a n n o t w i n t h e g a m e .

I t r e m a i n s a n o p e n p r o b l e m t o g i v e a n e x p l i c i t f o r m u l a f o r t h e v a l u e

i n f f a G ( 1 ; a ) L g 2 0 ; a ( 0 ) ]

8 C O N N E C T I O N S W I T H L I T E R A T U R E

T h e A g g r e g a t i n g A l g o r i t h m w a s p r o p o s e d i n 3 1 ] a s a c o m m o n g e n e r a l i z a t i o n

o f t h e B a y e s i a n m e r g i n g s c h e m e ( D a w i d 7 ] , S e c t i o n 4 ; D e S a n t i s e t a l . 9 ] ) a n d

t h e W e i g h t e d M a j o r i t y A l g o r i t h m ( V o v k 3 2 ] , T h e o r e m 5 , a n d L i t t l e s t o n e a n d

W a r m u t h 2 3 ] ; I a m u s i n g t h e n a m e c o i n e d b y L i t t l e s t o n e a n d W a r m u t h ) .

E a r l i e r , a l g o r i t h m s w i t h s i m i l a r p r o p e r t i e s w e r e p r o p o s e d b y F o s t e r 1 1 ] ( f o r

t h e c a s e o f t h e B r i e r l o s s f u n c t i o n ; s e e E x a m p l e 4 a b o v e ) a n d F o s t e r a n d

V o h r a 1 2 ] ( f o r a w i d e c l a s s o f l o s s f u n c t i o n s ) . T h e e n v i r o n m e n t ' s s t r a t e g y

3 2


33/50

d e s c r i b e d i n S e c t i o n 6 r e s u l t e d f r o m a s e r i e s o f s m a l l s t e p s : c f . T h e o r e m 6

o f 3 2 ] , T h e o r e m 2 o f 3 1 ] , a n d 3 3 ] ; t h e k e y i d e a i s f r o m C o h e n 5 ] . ( I n

S e c t i o n 6 w e d i d n o t u s e t h e p o w e r f u l t e c h n i q u e s o f C e s a - B i a n c h i e t a l . 4

a n d H a u s s l e r , K i v i n e n , a n d W a r m u t h 1 5 ] ; t h e s e t e c h n i q u e s m a y b e u s e f u l i n

s t r e n g t h e n i n g o u r r e s u l t . ) T h e i d e a o f c o n s i d e r i n g t h e v a l u e = 0 i s d u e t o

L i t t l e s t o n e a n d L o n g 2 1 ] .

T h e m a i n c o n t r i b u t i o n o f t h i s p a p e r i s t h e p r o o f t h a t t h e A g g r e g a t i n g

A l g o r i t h m a n d b o u n d ( 1 ) w i t h c = c ( ) , a = a ( ) a r e i n s o m e s e n s e o p t i m a l .

I f w e u n d e r s t a n d \ o p t i m a l " i n a s t r o n g e r s e n s e , h o w e v e r , t h e b o u n d a n d

e v e n t h e a l g o r i t h m i n s o m e s i t u a t i o n s c a n b e i m p r o v e d . C e s a - B i a n c h i e t a l .

4 ] g i v e a s i m p l e e x a m p l e c o n c e r n i n g t h e b o u n d . L e t u s c o n s i d e r t h e g a m e

w h o s e o n l y d i e r e n c e f r o m G ( c ; a ) i s t h a t t h e n u m b e r o f e x p e r t s i s n o t c h o s e n

b y t h e a d v e r s a r y b u t i s g i v e n a p r i o r i a s n : = 3 ; t h e o u t c o m e a n d p r e d i c t i o n

s p a c e s a r e f 0 ; 1 g a n d t h e l o s s f u n c t i o n i s ! ? ( i . e . , t h e s i m p l e p r e d i c t i o n

g a m e i s b e i n g p l a y e d ; s e e E x a m p l e 1 ) . T h e A g g r e g a t i n g A l g o r i t h m ( w h i c h ,

i n t h i s c a s e , c o i n c i d e s w i t h t h e W e i g h t e d M a j o r i t y A l g o r i t h m ) e n s u r e s , f o r

2 , 8 2 0 ; 1 ) . T h e r e f o r e , b o u n d ( 1 ) c a n

b e i m p r o v e d w h e n c a n d a a r e a l l o w e d t o d e p e n d o n n

T h e n e x t s t e p h a s b e e n m a d e b y L i t t l e s t o n e a n d L o n g 2 1 ] , w h o g i v e

a n e x a m p l e w h e r e n o t o n l y t h e b o u n d b u t a l s o t h e a l g o r i t h m i t s e l f c a n b e

i m p r o v e d . T h e i r e x a m p l e v i o l a t e s o n e m o r e a s s u m p t i o n o f o u r T h e o r e m 1 :

t h e l o s s f u n c t i o n a s w e l l i s n o w a l l o w e d t o d e p e n d o n t h e n u m b e r n o f

e x p e r t s .

E x a m p l e 8 ( L i t t l e s t o n e a n d L o n g ; m o d i e d ) . T h e r e a r e n > 2 e x p e r t s , t w o

p o s s i b l e o u t c o m e s , 0 a n d 1 , a n d t w o p o s s i b l e p r e d i c t i o n s ,

0

a n d

1

. T h e l o s s

f u n c t i o n i s

( 0 ;

0

) = ( 1 ;

1

) = 0 ;

( 0 ;

1

) = 1 ; ( 1 ;

0

) = ( n ? 1 ) l n n

L e m m a 2 0 U n d e r t h e c o n d i t i o n s o f E x a m p l e 8 , t h e f o l l o w i n g h o l d s . I f L a t

e a c h t r i a l t p r e d i c t s

1

u n l e s s a l l \ b e s t e x p e r t s " i 2 a r g m i n

j

L

t ? 1

( j ) u n a n i -

m o u s l y p r e d i c t

0

, t h e n ( 1 ) w i l l h o l d w i t h c = ( n ? 1 ) ( l n n + 1 ) a n d a =

n ? 1

n n

3 3


34/50

O n t h e o t h e r h a n d , t h e A g g r e g a t i n g A l g o r i t h m l o s e s G ( c ; a ) w h e n a < n ? 1

( i n p a r t i c u l a r , w h e n c = ( n ? 1 ) ( l n n + 1 ) a n d a =

n ? 1

n n

)

P r o o f . F i r s t w e p r o v e t h e a s s e r t i o n a b o u t t h e s i m p l e s t r a t e g y t h a t a l w a y s

p r e d i c t s

1

u n l e s s a l l b e s t e x p e r t s i 2 a r g m i n

j

L

t ? 1

( j ) u n a n i m o u s l y p r e d i c t

0

. I t i s s u c i e n t t o p r o v e t h a t , f o r a l l t ,

L

t

( n ? 1 ) ( l n n + 1 ) L

t

+ n ? a r g m i n

j

L

t

( j ) ( 4 6 )

( c f . ( 1 ) ) , L

t

= m i n

j

L

t

( j ) b e i n g t h e l o s s i n c u r r e d b y t h e a r g m i n

j

L

t

( j ) b e s t

e x p e r t s . T o s e e t h a t ( 4 6 ) i s i n d e e d t r u e , n o t i c e t h a t i t i s t r u e f o r t = 0 a n d

t h a t , f o r t > 0 , i t f o l l o w s f r o m

L

t ? 1

( n ? 1 ) ( l n n + 1 ) L

t ? 1

+ n ? a r g m i n

j

L

t ? 1

( j )

I t r e m a i n s t o p r o v e t h e a s s e r t i o n a b o u t t h e A g g r e g a t i n g A l g o r i t h m . L e t ,

a t t r i a l 1 , a l l e x p e r t s b u t o n e p r e d i c t

0

a n d t h e o u t c o m e b e 1 . W e a r e o n l y

r e q u i r e d t o p r o v e t h a t t h e A g g r e g a t i n g A l g o r i t h m w i l l p r e d i c t

0

, w h a t e v e r

2 0 ; 1 . T h e ( n ? 1 ) : 1 m i x t u r e o f

0

,

1

( s e e ( 1 6 ) ; a s i n S e c t i o n 2 , w e

r e p r e s e n t p r e d i c t i o n 2 ? b y t h e p o i n t ( ( 0 ; ) ; ( 1 ; ) ) o f t h e ( x ; y ) - p l a n e )

i s

l o g

n ? 1

n

+

1

n

; l o g

n ? 1

n

( n ? 1 ) l n n

+

1

n

;

t h e r e f o r e , L p r e d i c t i n g

0

i s e q u i v a l e n t t o

l o g

n ? 1

n

( n ? 1 ) l n n

+

1

n

l o g

n ? 1

n

+

1

n

>

( n ? 1 ) l n n

1

;

w h i c h i n t u r n i s e q u i v a l e n t t o

l n

n ? 1

n

( n ? 1 ) l n n

+

1

n

( n ? 1 ) l n n l n

n

n ? 1

;

3 4


35/50

i . e . ,

1

n ? 1

> l n

n

n ? 1

T h e l a s t i n e q u a l i t y i s a s p e c i a l c a s e o f t h e i n e q u a l i t y t > l n ( 1 + t ) , w h e r e

t > 0

F o r = 1 , ( 4 7 ) t u r n s i n t o t h e e q u a l i t y 0 = 0 . L e t u s r e w r i t e ( 4 7 ) i n t h e

e q u i v a l e n t f o r m

n ? 1

n

( n ? 1 ) l n n

+

1

n

>

>

:

< )

d

d

n ? 1

n

( n ? 1 ) l n n

+

1

n

)

d

d

n ? 1

n

( n ? 1 ) l n n

+

1

n

>

d

d

n ? 1 +

n

( n ? 1 ) l n n

( 4 8 )

S i n c e t h e f u n c t i o n

f ( ) : =

d

d

n ? 1

n

( n ? 1 ) l n n

+

1

n

d

d

n ? 1 +

n

( n ? 1 ) l n n

=

n ? 1

n

( n ? 1 ) l n n

( n ? 1 ) l n n ? 1

( n ? 1 ) l n n

n ? 1 +

n

( n ? 1 ) l n n ? 1

1

n

= ( n ? 1 )

n

n ? 1 +

!

( n ? 1 ) l n n ? 1

i s m o n o t o n i c a n d s a t i s e s f ( 0 ) = 0 a n d f ( 1 ) > 1 , ( 4 8 ) i n d e e d h o l d s .

T h e s e e x a m p l e s e v o k e s e v e r a l q u e s t i o n s : W h a t i s t h e s t r i c t e s t s e n s e i n

w h i c h b o u n d ( 1 ) w i t h c = c ( ) , a = a ( ) i s o p t i m a l W h a t i s t h e s t r i c t e s t

s e n s e i n w h i c h t h e A g g r e g a t i n g A l g o r i t h m i s o p t i m a l D o e s t h e l e a r n e r h a v e

a b e t t e r s t r a t e g y

W h e n i t i s k n o w n t h a t t h e c u m u l a t i v e l o s s o f t h e b e s t e x p e r t i s 0 , L i t -

t l e s t o n e a n d L o n g 2 1 ] p r o p o s e t o l e t ! 0 i n t h e A g g r e g a t i n g A l g o r i t h m .

C e s a - B i a n c h i e t a l . 3 ] c o n s i d e r a n o p p o s i t e s i t u a t i o n w h e r e w e w a n t t o t a k e

i n t o a c c o u n t t h e p o s s i b i l i t y t h a t t h e c u m u l a t i v e l o s s o f t h e b e s t e x p e r t m a y

b e m u c h l a r g e r t h a n l n n . I n t h i s c a s e w e w o u l d l i k e t o l e t ! 1 , b u t t h i s

w o u l d l e a d t o a ( ) ! 1 a n d m a k e b o u n d ( 1 ) ( w i t h c = c ( ) , a = a ( ) )

3 5


36/50

v a c u o u s . I n e s s e n c e , t h e i d e a o f C e s a - B i a n c h i e t a l . 3 ] i s t h a t t h e l i n e a r

c o m b i n a t i o n c L

t

( i ) + a l n n o f ( 1 ) s h o u l d b e r e p l a c e d b y a f u n c t i o n l i k e

c ( 1 ) L

t

( i ) + b

q

L

t

( i ) l n n + a l n n ( 4 9 )

( i n C e s a - B i a n c h i e t a l . 3 ] , c ( 1 ) = 1 ; i n t h i s c a s e t h e i d e a o f u s i n g ( 4 9 ) i s e s p e -

c i a l l y a p p e a l i n g ) . I t w o u l d b e i n t e r e s t i n g t o s t u d y t h e s e p a r a t i o n c u r v e i n t h e

( b ; a ) - p l a n e f o r t h e g l o b a l g a m e d e t e r m i n e d b y ( 4 9 ) ( o r b y s o m e m o r e s u i t a b l e

e x p r e s s i o n , s u c h a s t h e s l i g h t l y d i e r e n t e x p r e s s i o n i n 3 ] , T h e o r e m 1 2 ) .

T h e m a i n r e s u l t o f t h i s p a p e r i s c l o s e l y c o n n e c t e d w i t h T h e o r e m 3 . 1 o f

H a u s s l e r e t a l . 1 5 ] . I n t h a t t h e o r e m H a u s s l e r , K i v i n e n , a n d W a r m u t h n d ,

f o r t h e g l o b a l g a m e s G ( c ; a ) c o r r e s p o n d i n g t o a w i d e c l a s s o f l o c a l g a m e s , t h e

i n t e r s e c t i o n o f t h e s e p a r a t i o n c u r v e w i t h t h e s t r a i g h t l i n e c = 1 ( w h e n n o n -

e m p t y , t h i s i s p e r h a p s t h e m o s t i n t e r e s t i n g p a r t o f t h e s e p a r a t i o n c u r v e ) . I n

S e c t i o n 4 o f 1 5 ] H a u s s l e r , K i v i n e n , a n d W a r m u t h c o n s i d e r t h e c o n t i n u o u s -

v a l u e d o u t c o m e s .

S o m e p a p e r s ( L i t t l e s t o n e , L o n g , a n d W a r m u t h 2 2 ] , K i v i n e n a n d W a r -

m u t h 1 8 ] ; S e c t i o n 5 o f L i t t l e s t o n e 2 0 ] c a n a l s o b e r e g a r d e d t h i s w a y ) s e t a

d i e r e n t t a s k f o r t h e l e a r n e r : h i s p e r f o r m a n c e m u s t b e a l m o s t a s g o o d a s t h e

p e r f o r m a n c e o f t h e b e s t l i n e a r c o m b i n a t i o n o f e x p e r t s ( t h e p r e d i c t i o n s p a c e

m u s t b e a l i n e a r s p a c e h e r e ) . I n s o m e s e n s e , o u r t a s k ( a p p r o x i m a t i n g t h e

b e s t e x p e r t ) a n d t h e t a s k o f a p p r o x i m a t i n g t h e b e s t l i n e a r c o m b i n a t i o n o f

e x p e r t s r e d u c e t o e a c h o t h e r :

a s i n g l e e x p e r t c a n a l w a y s b e r e p r e s e n t e d a s a d e g e n e r a t e l i n e a r c o m -

b i n a t i o n ;

w e c a n a l w a y s r e p l a c e t h e o l d p o o l o f e x p e r t s b y a n e w p o o l t h a t c o n s i s t s

o f t h e r e l e v a n t l i n e a r c o m b i n a t i o n s o f e x p e r t s .

E v e n s o , t h e s e r e d u c t i o n s a r e n o t p e r f e c t : e . g . , t h e s e c o n d r e d u c t i o n w i l l l e a d

t o a c o n t i n u o u s p o o l o f e x p e r t s , w h i c h w i l l m a k e m a i n t a i n i n g t h e w e i g h t s f o r

t h e e x p e r t s m u c h m o r e d i c u l t ; o n t h e o t h e r h a n d , w e c a n h o p e t h a t , b y

a p p l y i n g t h e A g g r e g a t i n g A l g o r i t h m ( w h i c h w a s s h o w n t o b e i n s o m e s e n s e

o p t i m a l ) t o t h e e n l a r g e d p o o l o f e x p e r t s , w e w i l l b e a b l e t o o b t a i n s h a r p e r

b o u n d s o n t h e p e r f o r m a n c e o f t h e l e a r n e r .

A f a s c i n a t i n g d i r e c t i o n o f r e s e a r c h i s \ t r a c k i n g t h e b e s t e x p e r t " ( L i t t l e -

s t o n e a n d W a r m u t h 2 3 ] , H e r b s t e r a n d W a r m u t h 1 7 ] ) . T h e n i c e r e s u l t s ( s u c h

3 6


37/50

a s T h e o r e m 5 . 7 o f 1 7 ] ) o b t a i n e d i n t h a t d i r e c t i o n , h o w e v e r , c o r r e s p o n d t o

o n l y o n e s i d e o f T h e o r e m 1 , n a m e l y , t h e y a s s e r t t h e e x i s t e n c e o f a g o o d

s t r a t e g y f o r t h e l e a r n e r .

M u c h o f t h e w o r k i n t h e a r e a o f o n - l i n e p r e d i c t i o n , i n c l u d i n g t h i s p a p e r ,

h a s b e e n p r o f o u n d l y i n u e n c e d ( s o m e t i m e s i n d i r e c t l y ) b y R a y S o l o m o n o ' s

t h i n k i n g ; f o r a c c o u n t s o f S o l o m o n o ' s r e s e a r c h , s e e L i a n d V i t a n y i 1 9 ] a n d

S o l o m o n o 2 8 ] .

R E F E R E N C E S

1 ] V . M . A l e k s e e v , V . M . T i k h o m i r o v , a n d S . V . F o m i n , \ O p t i m a l C o n t r o l , "

P l e n u m , N e w Y o r k , 1 9 8 7 .

2 ] A . A . B o r o v k o v , \ T e o r i y a V e r o y a t n o s t e i , " 2 n d e d . , N a u k a , M o s c o w ,

1 9 8 6 .

3 ] N . C e s a - B i a n c h i , Y . F r e u n d , D . P . H e l m b o l d , D . H a u s s l e r , R . E . S c h a -

p i r e , a n d M . K . W a r m u t h , H o w t o u s e e x p e r t a d v i c e , i n \ P r o c e e d i n g s ,

2 5 t h A n n u a l A C M S y m p o s i u m o n T h e o r y o f C o m p u t i n g , " p p . 3 8 2 { 3 9 1 ,

A s s o c . C o m p u t . M a c h . , N e w Y o r k , 1 9 9 3 .

4 ] N . C e s a - B i a n c h i , Y . F r e u n d , D . P . H e l m b o l d , a n d M . K . W a r m u t h ,

O n - l i n e p r e d i c t i o n a n d c o n v e r s i o n s t r a t e g i e s , T e c h n i c a l R e p o r t U C S C -

C R L - 9 4 - 2 8 , A u g u s t 1 9 9 4 . T o a p p e a r i n M a c h i n e L e a r n i n g

5 ] G . D . C o h e n , A n o n c o n s t r u c t i v e u p p e r b o u n d o n c o v e r i n g r a d i u s , I E E E

T r a n s . I n f o r m . T h e o r y 2 9 ( 1 9 8 3 ) , 3 5 2 { 3 5 3 .

6 ] T . C o v e r a n d E . O r d e n t l i c h , U n i v e r s a l p o r t f o l i o s w i t h s i d e i n f o r m a t i o n ,

M a n u s c r i p t , J u l y 1 9 9 5 . S u b m i t t e d t o I E E E T r a n s . I n f o r m . T h e o r y

7 ] A . P . D a w i d , S t a t i s t i c a l t h e o r y . T h e p r e q u e n t i a l a p p r o a c h ( w i t h d i s c u s -

s i o n ) , J . R . S t a t i s t . S o c . A 1 4 7 ( 1 9 8 4 ) , 2 7 8 { 2 9 2 .

8 ] A . P . D a w i d , P r o b a b i l i t y f o r e c a s t i n g , i n \ E n c y c l o p e d i a o f S t a t i s t i c a l

S c i e n c e s " ( S . K o t z a n d N . L . J o h n s o n , E d s . ) , V o l . 7 , p p . 2 1 0 { 2 1 8 , W i l e y ,

N e w Y o r k , 1 9 8 6 .

3 7


38/50

9 ] A . D e S a n t i s , G . M a r k o w s k y , a n d M . N . W e g m a n , L e a r n i n g p r o b a b i l i s t i c

p r e d i c t i o n f u n c t i o n s , i n \ P r o c e e d i n g s , 2 9 t h A n n u a l I E E E S y m p o s i u m o n

F o u n d a t i o n s o f C o m p u t e r S c i e n c e , " p p . 1 1 0 { 1 1 9 , I E E E C o m p u t . S o c . ,

L o s A l a m i t o s , C A , 1 9 8 8 .

1 0 ] W . F e l l e r , \ A n I n t r o d u c t i o n t o P r o b a b i l i t y T h e o r y a n d I t s A p p l i c a -

t i o n s , " V o l . 2 , 2 n d e d . , W i l e y , N e w Y o r k , 1 9 7 1 .

1 1 ] D . P . F o s t e r , P r e d i c t i o n i n t h e w o r s t c a s e , A n n . S t a t i s t . 1 9 ( 1 9 9 1 ) , 1 0 8 4 {

1 0 9 0 .

1 2 ] D . P . F o s t e r a n d R . V . V o h r a , A r a n d o m i z a t i o n r u l e f o r s e l e c t i n g f o r e -

c a s t s , O p e r a t i o n s R e s e a r c h 4 1 ( 1 9 9 3 ) , 7 0 4 { 7 0 9 .

1 3 ] Y . F r e u n d , P r e d i c t i n g a b i n a r y s e q u e n c e a l m o s t a s w e l l a s t h e o p t i m a l

b i a s e d c o i n , i n \ P r o c e e d i n g s , 9 t h A n n u a l A C M C o n f e r e n c e o n C o m -

p u t a t i o n a l L e a r n i n g T h e o r y , " p p . 8 9 { 9 8 , A s s o c . C o m p u t . M a c h . , N e w

Y o r k , 1 9 9 6 .

1 4 ] Y . F r e u n d a n d R . E . S c h a p i r e , A d e c i s i o n - t h e o r e t i c g e n e r a l i z a t i o n o f

o n - l i n e l e a r n i n g a n d a n a p p l i c a t i o n t o b o o s t i n g , i n \ C o m p u t a t i o n a l

L e a r n i n g T h e o r y " ( P . V i t a n y i , E d . ) , L e c t u r e N o t e s i n C o m p u t e r S c i -

e n c e , V o l . 9 0 4 , p p . 2 3 { 3 7 , S p r i n g e r , B e r l i n , 1 9 9 5 .

1 5 ] D . H a u s s l e r , J . K i v i n e n , a n d M . K . W a r m u t h , T i g h t w o r s t - c a s e l o s s

b o u n d s f o r p r e d i c t i n g w i t h e x p e r t a d v i c e , T e c h n i c a l R e p o r t U C S C -

C R L - 9 4 - 3 6 , r e v i s e d D e c e m b e r 1 9 9 4 . S h o r t v e r s i o n i n \ C o m p u t a t i o n a l

L e a r n i n g T h e o r y " ( P . V i t a n y i , E d . ) , L e c t u r e N o t e s i n C o m p u t e r S c i -

e n c e , V o l . 9 0 4 , p p . 6 9 { 8 3 , S p r i n g e r , B e r l i n , 1 9 9 5 .

1 6 ] D . P . H e l m b o l d , R . E . S c h a p i r e , Y . S i n g e r , a n d M . K . W a r m u t h , O n - l i n e

p o r t f o l i o s e l e c t i o n u s i n g m u l t i p l i c a t i v e u p d a t e s , i n \ P r o c e e d i n g s , 1 3 t h

I n t e r n a t i o n a l C o n f e r e n c e o n M a c

a game of prediction with expert advise

Documents