earwig published

8/7/2019 earwig published

1/24

Artificial Intelligence 47 (19 91) 161-184 161Elsevier

Today the earwig ,m a n ? t om orrowD a v id K ir s hDepartment o f C ognit ive Science C-015, Universi ty of C alifornia, San Diego, La Jolla,CA 92093, USAReceived November 1987Revised January 1988AbstractKirsh, D., T oda y the earwig, tom orrow m an?, Artificial Intell igence 47 (1991) 161-184.A startling amount of intelligent activity can be controlled without reasoning or thought. Bytuning the perceptual system to task relevant properties a creature can cope with relativelysophisticated environments without concepts. The re is a l imit , however, to how far acreature without concepts can go. Rod Brooks, like many ecologically oriented scientists,argues that the vast majority of intelligent behaviour is concept-free. To evaluate thisposition I consider what special benefits accrue to concept-using creatures. Concepts areeither ne cessary for certain types of perception, learning, and control, o r they make thoseprocesses computationally simpler. Once a creature has concepts its capacities are vastlymultiplied.

In t rodu c t i on

I s 9 7 % o f h u m a n a c ti v i ty c o n c e p t - f r e e , d r i v e n b y c o n tr o l m e c h a n i s m s w es h a r e n o t o n l y w i t h o u r s i m i a n f o r b e a r s b u t w i t h i n s e c t s? T h i s i s t h e c h a l l e n g ep r o p o s e d b y R o d B r o o k s a n d f e l lo w m o b o t i c i s t s t o m a i n s t r e a m A I . I t is n o ts u p e rf ic i al . H u m a n a c t iv i ti e s fa ll a l o n g a c o n t i n u u m . A t o n e e x t r e m e a r e h ig h l yr e a c t i v e , s i t u a t i o n a l l y d e t e r m i n e d a c t i v it i e s : w a l k i n g , r u n n i n g , a v o i d i n g c o ll i-s i o ns , j u g g li n g , t y in g sh o e l a c e s . A t t h e o t h e r e x t r e m e a r e h i g h ly c e r e b r a la c t iv i ti e s : c h e s s, b r i d g e p l a y i n g , m a t h e m a t i c a l p r o b l e m s o l v in g , r e p l y i n g ton o n - o b v i o u s q u e s t i o n s , a n d m o s t d i s c u r s iv e a c t i v it ie s f o u n d i n u n i v e r s it yr e s e a r c h l a b o r a t o r i e s . I t is a n o p e n q u e s t i o n j u s t w h e r e t o d r a w t h e l in eb e t w e e n s i t u a ti o n a l ly d e t e r m i n e d a c t i v i t y - - a c t i v i t y th a t c a n b e i n i ti a t ed a n dr e g u l a t e d b y s m a r t p e r c e p t i o n - a c t i o n s y s t e m s - - a n d a c t iv i ty t h a t r e q u i r e st h o u g h t , l a n g u a g e - l i k e c o n c e p t u a l i z a t i o n , a n d in t e r n a l se a r c h .

B r o o k s ' p o s i t i o n is t h a t i f w e c o n s i d e r p r e c i s e l y w h a t s e n s i n g i s r e q u i r e d t oi n te l l i g e n tl y c o n t r o l b e h a v i o u r i n s p e c if ic t a sk s , w e m a k e t h e s t a r t l i n g d i s c o v e r yt h a t i n m o s t c a s e s th e r e is n o n e e d , o r n e x t t o n o n e e d , f o r s y m b o l i c0004-3702/91/$03.50 1991 - - Elsevier Science Publishers B.V.


2/24

1 6 2 l ) . K i r sh

r e p r e s e n t a t i o n . R e a s o n i n g i n t h e f a m i l i a r s e n s e o f r e t ri e v i n g c as e s , d r a w i n gi n f e r e n c e s , a n d r u n n i n g t h r o u g h p o s s i b i l i t i e s a h e a d o f t i m e i s c o s t l y a n du n n e c e s s a r y . I n fa c t r e p r e s e n t a t i o n s o f t e n get in the way o f b e h a v i o u r c o n t r o l .A c c o r d i n g l y , e f fi c ie n c y a n d p a r s i m o n y d i c t a te u s i n g a c ti o n c o n t r o l s y s t e m s t h a ta r e r e p r e s e n t a t i o n f r e e .

M o r e o v e r , u n l e s s w e f i r s t u n d e r s t a n d t h e 9 7 % o f b e h a v i o u r t h a t is n o n -r e p r e s e n t a t i o n a l , B r o o k s a r g u e s , w e w i ll n e v e r c o r r e c t ly u n d e r s t a n d t h e r e -m a i n d e r . T h e t r o u b l e w i t h A I s o f a r i s t h a t i t m a k e s f a l s e a b s t r a c t i o n s .T h e o r i s t s d o n ' t s t u d y t h e g e n u i n e r e q u i r e m e n t s o f i n te l l ig e n t b e h a v i o u r . I n -s t e a d o f f in d i n g o u t e x a c t l y w h a t v i s i o n a n d t h e r e s t o f o u r s e n s o r s s h o u l dd e l i v e r to p e r m i t t h e i n t e l l ig e n t c o n t r o l o f b e h a v i o u r , A I r e s e a r c h e r s h a v ec a v a l ie r ly d e f i n e d n i c e ly f o r m a l m o d e l s o f th e w o r l d - - t h e a l le g e d t r u e o u t p u to f th e s e n s e s - - a n d h a v e s i m p l y as s u m e d t h a t s o m e h o w s e n s o ry s y s te m s c anb u i l d t h e s e u p . W i t h i n t h e s e f a l s e c a s t l e s A I t h e o r i s t s h a v e t r i e d t o s o l v e t h e i ro w n v e r s i o n s o f t h e p l a n n i n g p r o b l e m , t h e l e a r n i n g p r o b l e m a n d s o o n . B u t , o fc o u r s e , t h e a s s u m p t i o n s o f t h e s e m o d e l s a r e f a l s e - - s o f a ls e , in f ac t , t h a t n os t e p b y s t e p r e l a x a t i o n o f a s s u m p t i o n s c a n b r i n g t h e m c l o s e r t o r e a l i t y . T h em o d e l s a r e f a l se a n d s o a r e t h e p r o b l e m s : c o g n i t i v e p h l o g i s t o n .

I n w h a t f o l l o w s I w i l l q u e s t i o n t h e s e c l a i m s . I a m n o t y e t c o n v i n c e d t h a ts u c c e s s i n d u p l i c a t i n g i n s e c t b e h a v i o u r s s u c h a s w a n d e r i n g , a v o i d i n g o b s t a c l e s ,a n d f o l l o w i n g c o r ri d o r s p r o v e s t h a t t h e m o b o t i c s a p p r o a c h is t h e r o y a l p a t h t oh i g h e r - l e v e l b e h a v i o u r s . I n s e c t e t h o l o g i s t s a r e n o t c o g n i t i v e s c i e n t i s t s . T h e r e i sa n e e d f o r t h e s t u d y o f re p r e s e n t a t i o n s . N o r d o I t h i n k t h a t e x i s t in g r e se a r c h i nr e a s o n i n g i s f o u n d a t i o n l e s s . W h a t e v e r t h e s h a p e o f ro b o t i c s i n th e f u t u r e i t w i llh a v e t o a c c o m o d a t e t h e o r i e s o f r e a s o n i n g r o u g h l y a s w e k n o w t h e m . A b s t r a c -t i o n s a r e n e c e s s a r y .

M y p r i m a r y f o c u s w i ll b e t h e c l a i m t h a t t h e m a j o r i t y o f i n t e ll i g e n t a c t iv i t y i sconcept- free. I u s e t h e t e r m c o n c e p t - f r e e r a t h e r t h a n r e p r e s e n t a t i o n - f r e e , a sB r o o k s p r e f e r s , b e c a u s e i t s e e m s t o m e t h a t t h e d e e p e s t i ss u e s p o s e d b y t h em o b o t i c s a p p r o a c h r e a l ly c o n c e r n t h e p l a c e o f c o n c e p t u a l i z a t i o n i n in t e l li g e n ta c t i v i t y , r a t h e r t h a n r e p r e s e n t a t i o n p e r s e .

T h e c o n c e p t o f r e p r e s e n t a t i o n r e m a i n s a s o r e s p o t in fo u n d a t i o n a l s t u d i es o fm i n d . N o o n e is q u i t e s u r e e x a c t l y w h a t t h e a n a l y si s o f " s t a t e X r e p r e s e n t s t h ei n f o r m a t i o n t h a t p i s H " s h o u l d b e . A g l a n c e a t B r o o k s ' m o b o t s s h o w s t h a tt h e y a r e r i d d l e d w i t h w i r e s t h a t c a r r y m e s s a g e s w h i c h c o v a r y w i th e q u i v a l e n c ec l a ss e s o f e a r l ie r s i g n a l s (e . g . a n e d g e c o v a r i e s w i t h a n e q u i v a l e n c e c l as s o fp i x e l c o n f i g u r a t i o n s ) a n d w h i c h o f t e n c o v a r y w i t h p r o p e r t i e s i n t h e e n v i r o n -m e n t ( e . g . r e a l e d g e s , h a n d m a n i p u l a t i o n s ) . I f c o v a r i a t i o n i s s u f f i c ie n t f o rr e p r e s e n t a t i o n t h e n B r o o k s t o o a c c e p t s t h e n e e d f o r r e p r e s e n t a t i o n s .

I t i s c l e a r t h a t b y r e p r e s e n t a t i o n , h o w e v e r , h e m e a n s s y m b o l i c , p r o b a b l yc o n c e p t u a l r e p r e s e n t a t i o n . L e t u s d e f in e a s y m b o l i c r e p r e s e n t a t i o n a s o n ew h i c h c a n b e c o m b i n e d a n d m a n i p u l a t e d . T h i s c o n d i t i o n a d d s t h e n o t i o n o fsyn tax t o r e p r e s e n t a t i o n . T o g e t s y s t e m a t i c g e n e r a t i o n o f r e p r e s e n t a t i o n s i t i s


3/24

Today t he earw ig , t om orrow m an? 16 3

n e c e s s a r y t o h a v e a n o t a t i o n t h a t i s s u f fi c ie n t ly m o d u l a r t h a t i n d i v i d u a le l e m e n t s o f th e n o t a t i o n c a n b e c o m b i n e d t o m a k e m o l e c u l a r e x p re s s io n s . I nt h is w a y , e v e r m o r e c o m p l e x s t r u c t u r e s c a n b e c o n s t r u c t e d a n d u s e d b y a f in i tes y s t e m . S e m a n t i c d i s c ip l in e is m a i n t a i n e d o n t h e s e s y m b o l s t r u c t u r e s b ye n f o r c i n g F r e g e ' s r e q u i r e m e n t t h a t h o w e v e r c o m p l e x t he s y m b o l , i ts m e a n i n g i sa f u n c t i o n o f th e m e a n i n g o f it s p a r t s a n d t h e i r s y n t a c ti c a r r a n g e m e n t .

I f a n a g e n t h a s s y m b o l i c r e p r e s e n t a t i o n s i n t h e s e n s e j u s t d e f i n e d , w e m a ya s s u m e i t h a s c o n c e p t s . ~ B u t t o o l it tl e i s u n d e r s t o o d a b o u t t h e n a t u r e o fc o m p u t a t i o n t o r e q u i r e t h a t a l l c o n c e p t - i m b u e d c r e a t u r e s o p e r a t e w i t h la n -g u a g e - l i k e i n t e r n a l n o t a t i o n a l e l e m e n t s . I n p r in c i p l e , t h e r e c o u l d b e c o m p u t a -t i o n a l a r c h i t e c t u r e s w h i c h i m p l e m e n t t h e c o g n i t i v e c a p a c i t i e s w e s u p p o s ec o n c e p t - u s i n g c r e a t u r e s t o h a v e , b u t w h i c h d o n o t p a s s n o t a t i o n a l e l e m e n t sa r o u n d . T h e s e s y s t e m s h a v e t h e c a p a c i t y f o r s y s t e m a t i c r e p r e s e n t a t i o n i n t h a tt h e y c a n s y s t e m a t i c a ll y p r e d i c a t e p r o p e r t y r e f e r r i n g s t a t e s - - t h a t is p r e d i c a t e s - -w i t h s t a te s t h a t r e f e r t o i n d i v id u a l s u b j e c t s - - t h a t i s, n ame s . B u t t h e y d o n o th a v e l o c al n o t a t i o n a l s t r u c t u r e s w h i c h w e c a n r e a d i l y i d e n t i f y w i t h s y m b o l s .

T h i s c a p a c i t y t o p r e d i c a t e i s a b s o l u t e l y c e n t r a l t o c o n c e p t - u s i n g c r e a t u r e s . I tm e a n s t h a t t h e c r e a t u r e i s a b l e t o id e n t i f y t h e c o m m o n p r o p e r t y w h i c h t w o o rm o r e o b j e c t s s h a r e a n d t o e n t e r t a i n t h e p o s s i b i l i t y t h a t o t h e r o b j e c t s a l s op o s s e s s t h a t p r o p e r t y . T h a t i s , t o h a v e a c o n c e p t i s , a m o n g o t h e r t h i n g s , t oh a v e a c a p a c i t y to f i n d a n i n v a r i a n c e a c r o s s a r a n g e o f c o n t e x t s , a n d t o r e i f yt h a t i n v a r i a n c e s o t h a t i t c a n b e c o m b i n e d w i t h o t h e r a p p r o p r i a t e i n v a r i a n c e s.M o r e o v e r , c o m b i n a t i o n s c a n b e c o n s i d e r e d c o u n t e r f a c t u a ll y . T h u s i f a n a g e n th a s t h e c o n c e p t r e d t h e n , a t a m i n i m u m , t h e a g e n t i s a b l e t o g r a s p t h a t a p p l e sc a n b e r e d , p a i n t c a n b e r e d , a n d s o o n . 2 T h e a g e n t k n o w s t h e s a t i s f a c ti o nc o n d i t i o n s o f t h e p r e d i c a t e . S i m i l a r ly , i f a n a g e n t h a s t h e c a p a c i t y to m a k e aj u d g e m e n t a b o u t a n i n d i v i d u a l - - a p e r s o n , n u m b e r , o r a n o b j e c t i n t h e v i s u a lf ie ld , f o r e x a m p l e - - t h e n t h e a g e n t m u s t b e a b le t o m a k e o t h e r j u d g e m e n t sa b o u t t h a t i n d i v id u a l t o o . F o r i n s t a n c e , t h a t 5 is p r i m e , t h a t i t c o m e s a f t e r 4 ,t h a t i t i s a n a t u r a l n u m b e r .

I n t h e s a m e s p i r it , i t i s b e c a u s e w e h a v e c o n c e p t s t h a t w e c a n m a k ej u d g e m e n t s o f id e n t i t y , a s w h e n w e d e c i d e t h a t t h e p e r s o n w e s e e in th e m i r r o ris t h e s a m e p e r s o n w e s e e o v e r t h e r e . O r a g a i n , b e c a u s e o f c o n c e p t s w e c a nr e i d e n t i f y a n i n d i v id u a l , r e c o g n i z i n g t h a t t h e o b j e c t o r p e r s o n i n f r o n t o f usn o w i s t h e s a m e o n e w e m e t o n o t h e r o c c a s i o n s .A n i m a l s w h i c h h a v e s u c h c a p a c i t ie s c l e a r ly h a v e e x t r a t a l e n ts , t h o u g h j u s tw h a t t h e s e e x t r a t a l e n t s a r e , is n o t e n t ir e l y u n d e r s t o o d . H u m a n n e w b o r n s a r el a rg e l y d e v o i d o f t h e m , b u t s o o n a c q u i r e t h e m ; d o g s m a y h a v e e l e m e n t s o f

a I a m f u l ly a w a r e t h a t i d e n t i f y i n g s y n t a c t i c s y mb o l m a n i p u l a t i o n w i t h p o s s e s s i o n o f c o n c e p t sb e g s t h e q u e s t i o n o f s y m b o l g r o u n d i n g a n d t h e p h i l o s o p h i c a l p r o b l e m o f r e f e r e n c e . F o r t h ep u r p o s e s o f a s s e s s in g B r o o k s ' p o s i t i o n , h o w e v e r , t h e i d e n t i f i c a ti o n is f a ir s in c e o n e o f h i s t a r g e t s i sc l e a r l y d e c l a r a t i v e r e p r e s e n t a t i o n s .

2 P r o v i d i n g o f c o u r s e t h a t i t h a s t h e o t h e r r e l e v a n t c o n c e p t s , a p p l e s , p a i n t . . . .


4/24

164 D. Kirsh

t h e m ; c h i m p s c e r t a i n l y d o , a n d p r a y i n g m a n t i s e s c e r ta i n l y d o n o t. P o s s e s s io n o fc o n c e p t s in a fu l l - b l o o d e d f o r m a p p e a r s o n l y s o m e w a y u p t h e e v o l u t i o n a r yl a d d e r .

T h e p r o b l e m w h i c h 1 s e e B r o o k s p o s i n g is th is : A t w h a t p o i n t i n a t h e o r y o fa c t i o n m u s t w e a d v e r t t o c o n c e p t s ? W h i c h a c t i v it ie s p r e s u p p o s e i n te l l ig e n tm a n i p u l a t i o n o f c o n c e p t s , a n d w h i c h d o n o t' ? A c c o r d i n g l y , t h is is n o t si m p l y aq u e s t i o n o f t h e r o l e o f m o d e l - b a s e d p l a n n i n g i n in t e l l i g e n t a c ti v i ty . I t is aq u e s t i o n o f th e r o l e o f thought i n ac t i o n .

T h e r e a r e m a n y w a y s o f t h i n k i n g t h a t d o n o t p r e s u p p o s e u s e o f a na r t i c u l a t e d w o r l d m o d e l , i n a n y i n t e r e s t i n g s e n s e , b u t w h i c h c l e a rl y r el y o nc o n c e p t s . R e c a l l o f c a s e s , a n a l o g i c a l r e a s o n i n g , t a k i n g a d v i c e , p o s t i n g r e -m i n d e r s , t h o u g h t f u l p r e p a r a t i o n , m e n t a l s i m u l a t io n , i m a g i n a t i o n , a n d s e c o n dg u e s s i n g a r e a f e w . I d o n o t t h i n k t h a t t h o s e m e n t a l a c t i v i t i e s a r e s c a r c e , o rc o n f i n e d t o a f r a c t i o n o f o u r l i v e s .N o r d o I t h i n k t h e y a r e s lo w . W h e n a p e r s o n c o m p o s e s a s e n t e n c e , h e i sm a k i n g a s u b li m i n a l c h o i c e a m o n g d o z e n s o f w o r d s in h u n d r e d s o f m i ll i-s e c o n d s . T h e r e c a n b e n o d o u b t t h a t c o n c e p t u a l r e p r e s e n t a t i o n s o f s o m e s o r ta r e i n v o l v e d , a l t h o u g h h o w t h i s i s d o n e r e m a i n s a t o t a l m y s t e r y . A s a ne x i s t e n c e p r o o f , h o w e v e r , i t e s t a b l i s h e s t h a t c o n c e p t u a l r e a s o n i n g c a n b ed e p l o y e d q u i c k l y . Y e t i f i n la n g u a g e , w h y n o t e l s ew h e r e ' ?

B r o o k s ' o w n p o s i t i o n i s e x t r e m e : a t w h a t p o i n t m u s t w e a d v e r t t oc o n c e p t s ? - - a l m o s t n e v e r . M o s t a c t iv i ty is t h o u g h t - f r e e , c o n c e p t - l e s s . I t is t h isv i e w I s h a l l b e q u e s t i o n i n g .

M y p a p e r h a s t w o p a r t s . I n t h e f i r s t I s p e l l o u t w h a t I t a k e t o b e t h e s t r o n g e s tr e a s o n s f o r e x t e n d i n g t h e d o m a i n o f c o n c e p t - f r e e a c ti o n b e y o n d i ts u s u a lb o u n d a r i e s . T h e r e is i n B r o o k s ' w o r k , t h e o u t l i n e o f a n a l t e r n a t iv e t h e o r y o fa c t i o n w e l l w o r t h u n d e r s t a n d i n g . I t h a s c l e a r k i n s h i p l i n e s w i t h a s s o c i a t i o n i s m ,e t h o l o g y , t h e t h e o r y o f J . J . G i b s o n , a n d t h e S o c i e t y o f M i n d t h e o r y o f M i n s k y .B u t i t d e p a r t s f r o m t h e s e i n i n t e r e s t i n g w a y s .

I n t h e s e c o n d p a r t I c o n s i d e r w h a t c o n c e p t u a l i z a t i o n b u y s u s . M o r e p a r t i c u -l a r l y , I e x p l o r e t h e m o t i v e s f o r p o s t u l a t i n g c o n c e p t u a l r e p r e s e n t a t i o n s i n ( 1 ) at h e o r y o f a c ti o n ; ( 2 ) a t h e o r y o f p e r c e p t i o n ; ( 3 ) a t h e o r y o f l e a r n in g ; a n d ( 4 ) at h e o r y o f c o n t r o l .

I . Act ion and conceptual izat ionF r o m a p h i l o s o p h i c a l p o i n t o f v i e w th e i d e a t h a t c o n c e p t s m i g h t n o t p l a y a n

e s s e n ti a l r o l e in a t h e o r y o f h u m a n a c t i o n is u n t h i n k a b l e . A c c o r d i n g t or e c e i v e d w i s d o m , w h a t d i f f e r e n t i a t e s a n action f r o m a m e r e m o v e m e n t s u c h a st w i t c h i n g o r w i n c i n g i s t h a t t h e a g e n t k n o w s w h a t h e o r s h e i s d o i n g a t t h e t i m eo f a c t i o n . T h e a c t i o n f al ls u n d e r a d e s c r i p t io n , u n d e r s t o o d b y t h e a g e n t , a n dp a r t l y c o n s t i t u ti n g i ts i d e n t it y . T h u s t h e q u a l i t a ti v e m o v e m e n t o f ra i si n g a n a r m


5/24

T o d a y t h e e a r w i g , t o m o r r o w m a n ? 1 6 5

m i g h t a t o n e m o m e n t b e a c o m m u n i c a t i v e a c t s u c h a s g e s t u r i n g g o o d b y e , w h i l ea t a n o t h e r m o m e n t b e a n a c t o f s t r et c h i n g . J u s t w h i c h a c t i s b e i n g p e r f o r m e d i sa f u n c t i o n o f a t l e a s t t w o f a c t o r s : t h e a g e n t ' s i n t e n t i o n , a n d t h e s o c i al c o n t e x t .

F o r a n a g e n t t o h a v e a n i n t e n t io n , a n d h e n c e t o k n o w t h e a c ti o n p e r fo r m e d ,i t i s n o t n e c e s s a r y t h a t h e o r s h e b e a w a r e o f t h e a c t i o n ' s d e s c r i p t i o n o r t h a t h eo r s h e c o n s c i o u s l y th i n k b e f o r e a c ti n g . F e w a g e n t s a r e a w a r e o f p u t t i n g t h e i rw o r d s t o g e t h e r i n s e n t e n c e s b e f o r e t h e y s p e a k , o r e v e n o f m a p p i n g b e t w e e nw o r d s i n d i f f e r e n t l a n g u a g e s w h e n t h e y f l u e n t l y t r a n s la t e . T h i s a b s e n c e o fc o n s ci o u s t h o u g h t d o e s n o t p r e v e n t t h e m f r o m s a y i n g w h a t t h e y m e a n a n df r o m t r a n s l a t i n g a p t ly . Y e t , a n y r e a s o n a b l e a c c o u n t o f t h e i r p r ac t ic e m u s t r e f e rt o t h e i r c o n c e p t s , i d e a s , p r e s u p p o s i t i o n s , b e l i e f s , e t c . I n t r o s p e c t i o n i s m i s l e a d -i n g , t h e n , a s a n i n d i c a t o r o f w h e n c o n c e p t s a n d b e l ie f s a re c a u s a l l y i n v o l v e d i na c t i o n .

P h i l o s o p h y h a s b e q u e t h e d t o A I t h is l e g a c y o f u n c o n s c i o u s b e l ie f s , d es i re sa n d r a t i o n a l e x p l a n a t i o n . A I ' s s i g n a l c o n t r i b u t i o n t o a c t i o n t h e o r y , s o f a r , h a sb e e n i ts c o m p u t a t i o n a l r e v a m p i n g . I n p ra c t ic a l t e r m s , t h is h a s m e a n t t h a t a na g e n t a c t s o n l y a f t e r p l a n n i n g , a n d t h a t i n o r d e r t o p l a n , t h e a g e n t m u s t c a ll o nv a s t f i e l d s o f l a r g e l y u n c o n s c i o u s b e l i e f s a b o u t i t s c u r r e n t s i t u a t i o n , t h e e f f e c t so f a c t i o n s , t h e i r d e s i r a b i l i t y , a n d s o f o r t h .

B r o o k s ' r e b e l l i o n , n o t s u r p r i s i n g l y , s t e m s f r o m a d i s s a t is f a c t i o n w i t h t h i sa p p r o a c h i n d e a l i n g w i t h r e a l w o r l d c o m p l e x i t i e s a n d u n c e r t a i n t i e s . S u r e l yc h i l d r e n d o n o t h a v e t o d e v e l o p w e l l - fo r m e d b e l i ef s a b o u t l i q u id s , h o w e v e rn a i v e l y t h e o r e t i c a l , i n o r d e r t o d r i n k o r g o s w i m m i n g . E v e n i f w e d o r e q u i r es u c h i m p l ic i t t h e o r i e s o f c h i ld r e n w e c a n n o t r e q u i r e t h e m o f g e rb e l s o r s e al io n s . T h e t w o f o r m s o f k n o w l e d g e - - t h e o r e t i c a l a n d p r a c t i c a l - - c a n b e d i-v o r c e d . B u t i f w e d o n o t n e e d a n a c c o u n t o f t h e o r e t i c a l k n o w l e d g e t o e x p l a int h e m a j o r i t y o f a n i m a l s k i l l s a n d a b i l i t i e s , w h y i n v o k e c o n c e p t s , m o d e l s ,p r o p o s i t i o n a l r e a s o n i n g - - - d e c l a r a t i v e r e p r e s e n t a t i o n s m o r e g e n e r a l l y - - t o e x -p l ai n t h e m a j o r i ty o f h u m a n a c t io n ?

T h e r e a r e r e a l l y t h r e e i s s u e s h e r e w h i c h i t i s w i s e to d i s t i n g u i s h . F i r s t , t h e r ei s t h e q u e s t i o n o f w h a t s o m e o n e w h o w i s h e s t o e x p l a i n a s y s t e m - - s a y , t h ed e s i g n e r o f a n i n t e l l i g e n t s y s t e m - - m u s t k n o w i n o r d e r t o h a v e p r o p e r u n d e r -s t a n d i n g o f i ts b e h a v i o u r . M u s t h e h a v e a n e x p l ic i t t h e o r y o f l i qu i d b e h a v i o u ri n o r d e r t o u n d e r s t a n d a n d d e s i g n c o m p e t e n t s y s t e m s ? I f I am r i g h t in m yi n t e r p r e t a t i o n o f t h e d o c t r i n e o f m o b o t i c s , p u r s u i t o f s u c h t h e o r i e s i s f in e a s a ni n t e ll e c t u a l p a s t i m e b u t u n n e c e s s a r y f o r t h e b u s i n e s s o f m a k i n g m o b o t s . I t isn o t e v i d e n t w h a t p r a c t i c a l v a l u e f o r m a l t h e o r i e s o f n a i v e p h y s i c a l , s o c i a l , g e o -m e t r i c a l , m e c h a n i c a l k n o w l e d g e c a n p o s s ib l y h a v e f o r e x p e r i e n c e d m o b o t m a k e r s .

S e c o n d , t h e r e i s t h e q u e s t i o n o f w h e t h e r d e c l a r a ti v e r e p r e s e n t a t i o n s , e v e n i ft h e s e a r e n o t t r u l y c o n c e p t - b a s e d d e c l a r a ti v e s , a r e r e q u i r e d f o r in t e l li g e n tc o n t r o l o f a c t i v i t y .3 N o t a ll d e c l a ra t i v e r e p r e s e n t a t i o n s t h a t a p p e a r i n t h e

3 A d e c l a r a t i v e i s n o t a n e a s y e n t i t y t o d e f i n e . F o r m y p u r p o s e s I w i l l a s s u m e t h a t i f i n f o r m a t i o ni s e n c o d e d i n a s t a t e , s t r u c t u r e o r p r o c e s s i n a f o r m t h a t c a n b e i n t e r p r e t e d i n a m o d e l - t h e o r e t i c


6/24

16 6 D. Kirsh

c o u r s e o f a c o m p u t a t i o n a r e c o n c e p t u a l . W h e n a vi s io n s y s t e m c re a t e s in t e r -m e d i a t e r e p r e s e n t a t i o n s , s u c h a s e d g e s , t e x t u r e f i e ld s , d e p t h g r a d i e n t s , w en e e d n o t s u p p o s e t h a t i t h a s c o n c e p t s o f t h e s e e n t i t ie s i n th e f u l l - b l o o d e dm a n n e r i n w h i c h I d e f in e d c o n c e p t u a l r e p r e s e n t a t i o n s e a r l ie r , t h a t i s , as b e in gs u b i e c t s o r o b j e c t s o f p r e d i c a t i o n . I n f o r m a t i o n i s c e r t a in l y b e i n g r e p r e s e n t e de x p l i c i t ly , b u t i t i s n o t t h e s o r t o f i n f o r m a t i o n t h a t c a n b e u s e d i n t h o u g h t ; i t ss i g n i f ic a n c e is i n t e r n a l t o t h e s p e c if ic p h a s e o f v i s u a l p r o c e s s i n g t a k i n g p l a c e a tt h a t m o m e n t . T h u s it c a n n o t b e s h u n t e d o f f t o a lo n g - te r m m e m o r y s y s t e mb e c a u s e t h e r e p r e s e n t a t i o n is i n t h e l a n g u a g e o f e a r l y v i si o n . I t f a il s t o q u a l i f ya s a p r e d i c a t e , s i n c e i t is n o t p r e d i c a b l e o f a n y t h i n g o u t s i d e i t s c u r r e n t c o n t e x t .T h e a g e n t d o e s n o t k n o w i ts s a ti s f ac t i o n c o n d i t i o n s .

B r o o k s ' s t a n d o n t h e n e e d f o r t h e s e i n t e r m e d i a t e r e p r e s e n t a t i o n s i n a t h e o r yo f i n t e l l i g e n t a c t i o n is le s s c le a r . O n e d i f f ic u l t y i s t h a t h e d o e s n o t e x p l i c it l yd i s t in g u i s h r e p r e s e n t a t i o n s t h a t a r e non-conceptuald e c l a r a ti v e s f r o m t h o s e t h a ta r e conceptual d e c l a r a ti v e s . C o n s e q u e n t l y , m u c h o f th e r h e t o r i c t h a t , in m yo p i n i o n , i s p r o p e r l y d i r e c t e d a g a i n s t c o n c e p t u a l d e c l a r a t i v e s i s p h r a s e d i n am a n n e r t h a t m a k e s i t a p p l y t o d e c l a r a t i v e r e p r e s e n t a t i o n m o r e u n i v e r s a l l y .T h u s h e d e e m s i t g o o d d e s i g n p h i l o s o p h y t o a v o i d a t a l l c o s ts e x t r a c ti n g h i g h e rv i s u al p r o p e r t ie s s u c h a s d e p t h m a p s , 3 D s k e t c h e s , a n d m o s t p a r t ic u l a r ly , s c e n ep a r s in g s . M o b o t s a r e c o n s t r u c t e d b y l i n k i n g sm a l l s ta t e F S M ' s t h a t s a m p l eb u s s e s w i t h t i n y p r o b e s , e . g . 1 0 o r 2 0 b i t s. T h e a s s u m p t i o n i s t h a t t h i s a p p r o a c hw i ll s c a le u p - - t h a t a m o b o t c a n g a i n r o b u s t n e s s i n p e r f o r m a n c e b y o v e r l a y i n gm o r e a n d m o r e s p e c i a li z e d m e c h a n i s m s , w i t h o u t e v e r h a v i n g to d e s i g n f a ir l yg e n e r a l v i s i o n s y s t e m s t h a t m i g h t e x t r a c t e d g e s o r h i g h e r v i s u a l p r o p e r t i e s .A c c o r d i n g l y , a l t h o u g h s o m e i n t e r m e d i a t e r e p r e s e n t a t i o n s a r e i n e v i t a b l e - - t h er e a d i n g s o f t i n y p r o b e s - - m o r e g e n e r a l i n t e r m e d i a t e r e p r e s e n t a t i o n s a r e o u t -l a w e d e v e n i f s o m e o f t h e se a r e n o n - c o n c e p t u a l .

F i n a l l y , t h e r e i s t h e q u e s t i o n o f n a m e s a n d p r e d i c a t e s . O n t h e s e r e p r e s e n t a -t i o n s B r o o k s ' p o s i t i o n is u n a m b i g u o u s : d e c l a r a ti v e r e p r e s e n t a t i o n s o f i n d i v id u -a l s a n d p r o p e r t i e s is p o s i t i v e l y p e r n i c i o u s f o r e f f ic i e n t r o b o t i c s . F l e x i b l e a c t i v i t yi s p o s s i b l e w i t h o u t m u c h ( a n y ) p r o c e s s i n g t h a t i n v o l v e s d r a w i n g i n f e r e n c e s ,r e t r i e v i n g s i m i l a r c a s e s f r o m m e m o r y , m a t c h i n g a n d c o m p a r i n g r e p r e s e n t a t i o n sa n d s o o n . I n v i r t u a ll y al l c a s es t h e s e c o m p u t a t i o n s a r e c o m p l e x , f r a il , p r o n e t ob o t t l e n e c k s a n d t h e y m a k e f a ls e a s s u m p t i o n s a b o u t t h e s p a r s e n e s s o f r e a l w o r l da t t r i b u t e s .I w il l h a v e s o m e t h i n g t o s a y a b o u t a l l t h e s e f o r m s o f r e p r e s e n t a t i o n . I t s e em st o m e t h a t t h e r e is n o e s c a p i n g t h e f a c t t h a t i n t e l l ig e n t s y s te m s o f t e n f l a m e o rp o s e p r o b l e m s t o t h e m s e l v e s i n a c e r t a in w a y , t h a t t h e y s e a rc h t h r o u g h s o m ee x p l ic i t h y p o t h e s i s s p a c e a t t im e s , a n d t h a t t h e y h a v e a m e m o r y t h a t c o n t a i n ss e m a n t i c s , t h e n i t i s d e c l a r a t i v e . D e c l a r a t i v e s r e l e a s e t h e i r in f o r m a t i o n u p o n b e i n g read, w h e r e a sp r o c e d u r e s r e l e a se t h e i r in f o r m a t i o n u p o n b e i n g run. B u t c l e a r l y , t h e r e i s n o s t r a i g h t f o r w a r d w a yo f d e f in i n g t h e d i f f e r e n c e b e t w e e n d e c l a r a ti v e s a n d p r o c e d u r e s s i n ce in c e r ta i n p r o g r a m m i n gl a n g u a g e s b o t h c a n s e r v e a s f i rs t c l a s s o b i e c t s . F o r r e l a t e d d i s c u s s i o n s s e e [ 7] .


7/24

Today the earwig, tomorrow man? 16 7

e n c o d e d p r o p o s i ti o n s o r f r a m e s o r s o m e o t h e r s t r u c t u r e d s y m b o l , a n d t h a t p a r to f i n te l l ig e n c e c o n s i s ts i n k n o w i n g h o w t o f i nd t h e s t r u c t u r e s i n m e m o r y t h a tm i g h t b e h e l p f u l i n a t a s k a n d p u t t i n g t h o s e s t r u c t u r e s t o u s e . U s u a l l y t h e s ep r o c e s s e s m a k e s e n s e o n l y i f w e a s s u m e t h a t t h e c r e a t u r e h a s c o n c e p t u a lr e p r e s e n t a t i o n s ; b u t o c c a s i o n a l l y w e c a n v i e w t h e m a s i n v o lv i n g i n t e r m e d i a t er e p r e s e n t a t i o n s a l o n e . I b e l ie v e , m o r e o v e r , th a t t h e r e a r e c l e a r ly t i m e s w h e n a sd e s ig n e r s w e n e e d a n a d e q u a t e d o m a i n t h e o r y to c o n s t r u c t r o b o t s in ap r i n c i p l e d f a s h io n . A c c o r d i n g l y , I w i ll a r g u e t h a t a l l t h r e e f o r m s o f r e p r e s e n t a -t i o n a r e n e c e s s a r y f o r a n a d e q u a t e s c i e n c e o f r o b o t i c s . B u t e q u a l l y I t h i n k w es h o u l d a p p r e c i a t e h o w f a r w e c a n g e t without s u c h r e p r e s e n t a t i o n s . T h i s i s t h ev i r t u e o f B r o o k s ' a l t e r n a t i v e t h e o r y o f a c ti o n .

2 . A n a l t erna t i v e theo ry o f a c t i o nW e m a y u s e f u l ly it e m i z e t h e c o r e i d e a s u n d e r l y i n g t h is a l t e r n a t i v e t h e o r y o f

a c t i o n a s f o l l o w s :( 1 ) B e h a v i o u r c a n b e p a r t i t i o n e d i n t o t a s k - o r i e n t e d a c t iv i ti e s o r s ki ll s, s u c h

a s w a l k i n g , r u n n i n g , n a v i g a t i n g , c o l l e c ti n g c a n s , v a c u u m i n g , c h o p p i n gv e g e t a b l e s , e a c h o f w h i c h h a s it s o w n s e n s i n g a n d c o n t r o l r e q u i r e m e n t sw h i c h c a n b e r u n i n p a r a l l e l w i t h o t h e r s . 4

( 2 ) T h e r e is a p a rt i a l o r d e r i n g o f t h e c o m p l e x i t y o f a ct iv i ti e s s u c h t h a t a ne n t i r e c r e a t u r e , e v e n o n e o f s u b s t a n t ia l c o m p l e x i t y , c an b e b u i l t in -c r e m e n t a l l y b y fi r st b u i l d i n g r e l i a b l e l o w e r - l e v e l b e h a v i o u r a l s ki ll s a n d5t h e n a d d i n g m o r e c o m p l e x s k i l l s o n t o p i n a g r a d u a l m a n n e r .

( 3 ) T h e r e i s m o r e i n f o r m a t i o n a v a i l a b l e i n t h e w o r l d f o r r e g u l a t i n g t a s k -o r i e n t e d a c t i v i t i e s t h a n p r e v i o u s l y a p p r e c i a t e d ; h e n c e v i r t u a l l y n o b e -h a v i o u r a l s ki ll r e q u i r e s m a i n t a i n i n g a w o r l d m o d e l . 6 I f y o u t r e a t t h ew o r l d a s e x t e rn a l m e m o r y y o u c a n r e t r i e v e t h e i n f o r m a t i o n y o u r e q u i r et h r o u g h p e r c e p t i o n .

( 4 ) O n l y a f r a c t i o n o f t h e w o r l d m u s t b e s a m p l e d t o d e t e c t t hi s t a s k - r e l e v a n t4 M a n y e t h o l o g i s t s re g a r d c o m p i l i n g a n ethogram t o b e t h e f i r s t s t e p i n t h e d e s c r i p t i o n o f a

s p e c i e s . A n e t h o g r a m i s a b e h a v i o u r a l v o c a b u l a r y o f a s p e c i e s w h i c h l is t s a l l t h e b a s i c t y p e s o fb e h a v i o u r s a n o r g a n i s m c a n p e r f o r m . T h e s e b e h a v i o u r s a r e u n i t - li k e in t h a t t h e y c a n b e p e r f o r m e di n s e q u e n c e s . B r o o k s ' n o t i o n , i t s e e m s t o m e , d e p a r t s f r o m t h is m o r e c l as s ic a l n o t i o n i n b e i n g m o r et a s k o r i e n t e d . T h u s , a n a c t i v i ty m a y b e a c o n t r o l l e d c o l l e c t i o n o f s i m p l e r a c ti v i t ie s , g r o u p e dt o g e t h e r b y t h e i r c o m m o n p u r p o s e o f , s a y , g r a s p i n g c o k e c a n s . E t h o l o g i s t s t o o l o o k f o r t h ef u n c t i o n o f a c t i v i ti e s a n d c l u s t e r m o r e b a s i c b e h a v i o u r a l u n i t s t o g e t h e r , b u t t h e i r d e f i n i t i o n o ff u n c t i o n i s s t r o n g l y t ie d t o t h e c o n c e p t o f e v o l u t i o n a r y a d a p t i o n . S e e [ 1 3 ].

5 C f . [ 3 ]. B r o o k s d i v e r g e s f r o m G a l l i s t e l in t r e a t i n g t h e i n t e r a c t i o n o f a c t iv i t ie s t o b e o f t e n m o r ec o m p l e x t h a n t h a t f o u n d i n s i m p l e h i e r a r c h i e s .

6 T h i s i d e a I t a k e t o b e G i b s o n ' s p r i n c i p le c o n t r i b u t i o n t o t h e s t u d y o f s e n s o r y s y s te m s . C f .[ 4 , 5 ] . W h e r e B r o o k s d e p a r t s f r o m G i b s o n o n t h i s p o i n t i s i n v i e w i n g th e p r o c e s s a s a k i n t oi n f o r m a t i o n r e t r i e v a l. G i b s o n s u p p o s e s t h a t t h e i n f o r m a t i o n i s d i r e ct l y p i c k e d u p .


8/24

16 8 D. Kirsh

i n f o r m a t i o n . S m a r t p e r c e p t i o n c a n i n d e x i n to t h e w o r l d c l e v e r ly , e x tr a c t -i n g e x a c t l y w h a t is n e e d e d f o r t a s k c o n t r o l w i t h o u t s o l v i n g th e g e n e r a lv i si o n p r o b l e m . 7

( 5 ) t h e h a r d e s t p r o b l e m s o f i n t e ll i g e n t a c ti o n a r e r e l a t e d t o t h e c o n t r o li s s u e s i n v o l v e d i n c o o r d i n a t i n g t h e v a r i o u s b e h a v i o u r a l a b i l i t i e s s o t h a tt h e w o r l d it se lf a n d a p r e d e t e r m i n e d d o m i n a n c e o r p r e f e r e n c e o r d e r i n gw i ll b e s u f f i c i e n t to d e c i d e w h i c h a c t i v i t y l a y e r h a s it s m o m e n t i n t h e s u n .

I n s h o r t , t h e t h e m e o f t h is a l t e r n a t i v e t h e o r y i s t h a t r e p r e s e n t a t i o n c a n b ee x c h a n g e d f o r c o n t r o l . I f a c r e a t u r e k n o w s w h e r e t o lo o k a n d w h e n t o l o o k ,a n d k n o w s w h a t a c t iv i ti e s to a c t i v a t e a n d d e a c t i v a t e , t h e n it c a n a p p r o x i m a t ea r b i t r a r i l y r a t i o n a l a g e n t s .

T o t a k e a r a t h e r s i m p l e e x a m p l e c o n s i d e r a n i n s e c t w h ic h f e e d s o f f o f su g a r ,a n d l iv e s in a n e n v i r o n m e n t o f w il y b u t s l ow p r e d a t o r s . S u c h a c r e a t u r e m u s tb e a b l e t o s e n s e s u g a r s o r th e p r o b a b i l i t y o f s u g a r s a t a s m a l l d i s ta n c e , " F e e d "o n t h o s e s ug a r s w h e n p o s s i b l e , " M o v e " , i n a s p e c if i e d d i r e c t i o n , " R u n A w a y "w h e n i t g e ts t o o c lo s e to c e r t a in o b j e c t s - - p a r t i c u l a r l y p r e d a t o r s , " S t o p S h o r t "i f i t is a b o u t t o h i t a n o b j e c t d i r e c t l y i n f r o n t o f it , a n d b e a b l e t o p e r f o r mc o m p o u n d s o f th e s e l o w l e v e l a b i li ti e s s uc h a s " W a n d e r " s o t h a t i t m i g h ti m p r o v e i ts p r o b a b i l i t y o f f i nd i n g f o o d , " A v o i d O b s t a c l e s " a n d " F o l l o wF r e e w a y s " s o t h a t i t m a y m o v e t h r o u g h i r r e g u l a r t e r r a i n o r fl e e p r e d a t o r sw i t h o u t s t u m b l in g . E a c h o f t h e s e a c t iv i ti e s is t u n e d t o c e r ta i n e n v i r o n m e n t a lc o n d i t i o n s , s u c h t h a t t h e a c t i v i t y i s t u r n e d o n o r o f f , a m p l i f i e d o r d i m i n i s h e da c c o r d i n g t o l o c a l ly d e t e c t a b l e c o n d i t i o n s i n c o n j u n c t i o n w i th t h e i n t e r n a ls w i t c h i n g c i r c u i t r y . I f a l l w o r k s w e l l , t h e n e t e f f e c t is t h a t a s th e w o r l d c h a n g e s ,e i t h e r b e c a u s e t h e r o b o t i ts e lf is m o v i n g t h r o u g h i t, o r b e c a u s e o f e x t e r n a le v e n t s , t h e r o b o t w i ll b e h a v e a s i f i t is c h o o s i n g b e t w e e n m a n y g o a l s .S o m e t i m e s it r u n s , s o m e t i m e s i t w a n d e r s , s o m e t i m e s i t f e e d s .

O b v i o u s l y , t h e t r i c k i n m a k i n g a m o b o t b e h a v e i n a w a y t h a t l o o k s l i k e i t i sc h o o s i n g b e t w e e n m a n y g o a l s w i t h o u t i t e x p l ic i tl y p r e d i c t i n g t h e e f f e c t s w h i c ht h e v a r i o u s b e h a v i o u r s w o u l d h a v e o n t h e w o r l d , is t o d e s ig n t h e r i g h t p a t t e r no f c o n t r o l i n t o t h e c i r c u i t r y . C e r t a i n p a t h w a y s w i l l c a r r y m e s s a g e s w h i c hd o m i n a t e t h e n o r m a l i n p u t t o a m o d u l e o r w h i ch s u p p r e s s th e n o r m a l o u t p u t .A c c o r d i n g l y , o n e g o a l o f r e s e a r c h i s t o f in d a w a y o f m i n i m i z i n g t h e a m o u n t o ft h i s c o n t r o l . E a c h F S M s h o u l d b e t u n e d t o t h e r i gh t s t i mu l i s o a s t o l e t t h ew o r l d f o r c e c h o i c e w h e n e v e r p o s s i b l e .

T h u s , f o r e x a m p l e , w h e n t h e s e n s e s r e g is t e r a l o o m i n g s t im u l u s , t h e S t o pS h o r t m o d u l e , t a k e s c o m m a n d . S t o p s h o r t w a s p r i m e d ; i t w a s in a s t a te w h i c ha c t s o n a l o o m i n g s t i m u l u s a n d i s h o o k e d u p t o o u t p u t s o t h a t i t s s i g n a lo v e r r i d e s a n y o t h e r s t h a t m a y a l s o b e t r a n s m i t t e d . S i m i l a rl y , if a s y st e m w e r e

7 A g a i n c o m p a r e [ 4, 5 ]. I n G i b s o n ' s v i e w t h e s e n s e s a r e n o t p a s s i v e r e c e p t o r s o f i n f o r m a t i o n :t h e y a r e a ct iv e s e e k i n g m e c h a n i s m s , se a r c h in g o u t t h e i n f o r m a t i o n - - o f t e n m i n i m a l in f o r m a t i o n - -r e q u i r e d f o r e f f e ct i v e a c ti o n a n d a v o i d a n c e o f p h y s i ca l h a r m .


9/24

Today the earwig, tomorrow man? 169

o n a c o k e c a n c o l l e c ti n g m i s s io n , t h e M o v e H a n d m o d u l e m i g h t t a k e o v e r a ss o o n a s t h e s y s t e m s e n s e d a h a l t i n o p t i c a l f l o w a n d a s t r e a k o f r e d . A c o m p l e xc o o p e r a t i v e b e h a v i o u r m i g h t e m e r g e , t h e r e f o r e , s i m p l y b e c a u s e e a c h c o m p o -n e n t a c t iv i ty b e c o m e s p r i m e d f o r p a r t i c u l a r c h a n g e s i n t h e s t a t e o f t h e w o r l dt h a t m a t t e r t o it . H e n c e , c o o r d i n a t i o n i s a c h i e v e d a u t o m a t i c a l l y w i t h o u tp o s t i n g r e q u e s t s o n s o m e c e n t r a l b l a c k b o a r d o r r e l y i n g o n s o m e a c t i v e a r b i tr a -t o r t o p a s s c o n t r o l t o s l a v e a c t i v i t i e s b e c a u s e t h e p r e f e r e n c e r e l a t i o n s a m o n ga c t iv i ti e s h a v e b e e n b u i lt i n t o t h e s w i t c h i n g n e t w o r k o f t h e s y s t e m .

L e t u s c a l l b e h a v i o u r t h a t i s c o n t r o l l e d b y t h e s i t u a t i o n i n t h i s w a y ,situation-determined behaviour. S i t u a t i o n - d e te r m i n e d b e h a v i o u r c a n b e c o n s id -e r a b l y m o r e c o m p l e x t h a n t h e s t i m u l u s d r i v e n b e h a v i o u r f o u n d i n b e h a v i o u r i s tt h e o r y . F o r i n s t a n c e , h u m a n s , w h e n p u t t i n g t o g e t h e r j ig sa w p u z z l e s, m a y b es a i d to b e s i t u a t i o n a l l y d e t e r m i n e d i f t h e r e i s e n o u g h j o i n t c o n s t r a i n t i n t h e t i le sa n d a s s e m b l e d l a y o u t to e n s u r e t h a t t h e y c an c o m p l e t e t h e p u z z l e w i t h o u tw a s t e d p l a c e m e n t s . N o b e h a v i o u r i s t t h e o r y c a n e x p l a i n j i g s a w p e r f o r m a n c e ,h o w e v e r , b e c a u s e t h e r e is n o r e a d i l y d e f i n a b l e s e t o f s t r u c t u ra l p r o p e r t i e s - - i . e .s t im u l u s c o n d i t i o n s - - t h a t a r e t h e c a u s e s o f j ig s a w p l a c e m e n t s - - i . e , r e s p o n s e s .T h e a g e n t i s t o o a c t i v e in p e r c e p t u a l l y q u e s t i o n i n g t h e w o r l d . O n t w oc o n f r o n t a t i o n s w i t h th e s a m e w o r l d t h e s a m e a g e n t m i g h t p e r c e i v e d i f f e r e n ts i t u a ti o n s a s p r e s e n t b e c a u s e i t a s k e d a d i f f e r e n t se t o f p e r c e p t u a l q u e s t i o n s .T h e s e q u e s t i o n s a r e a f u n c t i o n o f t h e s t a t e o f th e a g e n t a n d i ts m o s t r e c e n ti n t e r a c t i o n s w i t h t h e w o r l d .

W e c a n s a y t h a t j i g s a w p u z z l e s a r e p e r c e p t u a l l y h a r d b u t i n t e l l e c t u a l l ys i m p l e . T h e a c t i o n s a r e i n t e n t i o n a l b u t u n d e r p e r c e p t u a l r a t h e r t h a n c o n c e p t u a lg u i d a n c e . T h u s i t i s t h e e y e , n o t t h e t h i n k i n g c e n t e r , w h i c h m u s t b e t r a i n e d t ol o o k f o r t h e s a l i e n t c o r n e r s t h a t d i f f e r e n t i a t e t i l e s a n d s i g n a l p r o p e r f i t . I t i s ap r o b l e m o f p e r c e p tu a l s e a r c h .

V i e w i n g s i t u a t i o n - d e t e r m i n e d b e h a v i o u r t o b e a s o l u t io n t o a p e r c e p t u a l p r o b -l e m p o i n t s o u t s e v e r a l w o r t h w h i l e a s p e c t s o f s i tu a t i o n a l ly d e t e r m i n e d t a sk s .

F i r s t , t h e r e i s e n o u g h l o c a l c o n s t r a i n t i n t h e w o r l d t o " d e t e r m i n e " s u c c e s s f u lp l a c e m e n t d e s p i t e t h e r e b e i n g s e v e r a l t il e s t h a t c a n b e s u c c e s s fu l ly p l a y e d a ta n y m o m e n t . I n a s e n se e a c h m o v e i s u n d e r d e t e r m i n e d , h e n c e n o d e t e r m i n is t icb e h a v i o u r i s t t h e o r y c a n e x p l a i n p l a c e m e n t b e h a v i o u r . N o n e t h e l e s s , g i v e n a t i l ea n d a n e x i s t in g l a y o u t , t h e s i t u a t i o n w h o l l y d e t e r m i n e s w h e t h e r o r n o t t h e t i lec a n b e c o r r e c t l y p l a c e d a t t h a t t i m e a n d w h e r e . T h e r e is n o n e e d t o c h e c kd o w n s t r e a m e f f e c t s . I n t h e j i g s a w g a m e , s u c c e s s f u l p l a c e m e n t s a r e a d d i t i v e .G o o d m o v e s d o n o t i n t e ra c t h o s ti le l y w i th o t h e r g o o d m o v e s . T h e r e a r e n ot r a p s , d e a d e n d s , o r l o o p s t h a t m a y s t y m i e a p l a y e r . T h e s i t u a ti o n c o n t a i n se n o u g h i n f o r m a t i o n t o p r e - e m p t t h e n e e d f o r l o o k a h e a d . T h i s is t h e m a i n p o i n to f a s s u m p t i o n t h r e e .

S e c o n d , t h e p e r c e p t u a l p r o b l e m i s t r a c t i b l e i n t h e s e n s e t h a t o n l y a f r a c t i o no f t h e v is ib l e w o r l d s t a t e m u s t b e c a n v a s s e d t o d e t e r m i n e w h e r e t o m o v e . T h ep o i n t o f se n s i n g is t o p r o v i d e e n o u g h i n f o r m a t i o n t o p e r m i t a c r e a t u r e t o


10/24

17(I D, Kirsh

c h o o s e b e t w e e n t h e a c t i o n s i t c a n p e r f o r m n e x t . I n t h e c a s e o f j ig sa w i t isc o n c e i v a b l e t h a t t o s o lv e t h e p u z z l e o n e m u s t i d e n t i f y th e o v e r a l l s h a p e o f al lt h e p i e c e s f i rs t. I f t hi s w e r e t ru e ~ a ji g sa w p u z z l e w o u l d b e a te d i o u s g a m ei n d e e d , f o r e i t h e r i t w o u l d r e q u i r e c o l l o s a l v i s u a l p r o c e s s i n g e a c h m o v e ~ o r i tw o u l d r e q u i r e t r e m e n d o u s v is u al m e m o r y o f s h ap e s . H o w m u c h e a s ie r ifc o m p l e t e s h a p e i d e n t i f i c a t i o n i s u n n e c e s s a r y .

I s t h i s p o s s i b l e 2 I s i t p o s s i b l e t o d e c i d e w h i c h t i l e t o p l a c e n e x t b y u s i n g as t r a t e g y o f v i su a l ly q u e s t i o n i n g t h e b o a r d t h a t d o e s n o t r e q u i r e c o m p u t i n g t h eo v e r a l l s h a p e o f e a c h t il e'? T h e q u e s t i o n is im p o r t a n t b e c a u s e i f p e r c e p t u a lq u e s t i o n i n g c a n b e c o n f i n e d t o s im p l e f e a t u r e s t h e r e w i ll b e n o n e e d f o r h ig h e rl e v e l i n t e r m e d i a t e r e p r e s e n t a t i o n s .

I m a g i n e a c a s e w h e r e a p l a y e r c a n n o t d e c i d e w h i c h o f fi v e t il e s t o p l a y in ap a r t i c u l a r o p e n i n g . E a c h t i l e s e e m s l i k e i t m i g h t b e a p r o p e r f i t , b u t i t i s h a r d t ot e l l. A n o b v i o u s a i d t o t h e p r o b l e m i s t o h a v e t h e p l a y e r t r y t o f it o n e o f t h et i l e s i n t h e o p e n i n g t o l e t t h e w o r l d h i g h l i g h t t h e c r u c i a l f e a t u r e t h a t d i f f e r e n -t i a t e s t h e p r o p e r t il e f r o m t h e n e a r m i s s e s . T h e f u n c t i o n o f t h is te s t m o v e is t of o c u s th e p l a y e r ' s a t t e n t i o n o n t h e s i t u a ti o n a l l y salient f e a t u r e s o f th e t i le s . I t ist o i d e n t i fy t h e c r u c i a l d i ff e r e n t i a t i n g fe a t u r e s . N o w a tr u e e x p e r t o f t h e g a m em i g h t n o t n e e d t h i s h e l p ; h i s p e r c e p t u a l s y s t e m m a y b e s o t u n e d t o t h e t a s kt h a t h e c a n h o m e r i g h t in o n t h e r e l e v a n t d i f f e r e n t i a t i n g f e a t u r e s . I f s o , t h i sp o s s i b i li t y a f f i r m s t h e p o i n t o f a s s u m p t i o n f o u r : t h a t i f o n e k n o w s w h a t t o l o o kf o r , t h e r e i s a f a i r l y l o c a l f e a t u r e w h i c h c o r r e l a t e s w i t h c o r r e c t m o v e s . N o t o n l yd o e s t h e s i t u a t i o n c o n t a i n e n o u g h l o c a l c o n s t r a i n t t o d e t e r m i n e g o o d m o v e s ,t h e s e c o n s t r a i n t s a r e h i g h l y s p e c i f ic t o t h e t a s k a n d l e a r n a b l e .

I t is w o r t h d w e l l i n g o n t h i s is s u e f o r i t e m p h a s i s e s t h e t r u t h o f a s s u m p t i o nf i v e : t h a t c o n t r o l i s t h e h a r d p r o b l e m , a n d t h e m e t h o d o l o g i c a l i m p o r t a n c e o fa s s u m p t i o n o n e : t h a t b e h a v i o u r c a n b e p a r t i t i o n e d i n t o t a s k o r i e n t e d a c t i v i t i e s .T h e s e , I t a k e i t, a r e t h e b a c k b o n e o f t hi s a l t e r n a t i v e a p p r o a c h t o a c t i o n .

I t is s t a n d a r d i n d e c i s io n t h e o r y t o t r e a t p e r c e p t i o n a s a b o u n d e d r e s o u r c et h a t m u s t b e g u i d e d i n o r d e r t o b e u s e d t o i t s f u l l e s t . T h e p r o b l e m w h i c hd e c i s i o n - t h e o r e t i c a c c o u n t s e n c o u n t e r , h o w e v e r , i s t h a t t o k n o w w h a t q u e s t i o ni t i s b e s t t o a s k n e x t , o r w h i c h t e s t i t i s b e s t t o p e r f o r m n e x t , t h e a g e n t m u s tk n o w a l l t h e s o u r c e s o f i n f o r m a t i o n a v a i l a b l e n o w a n d i n t h e f u t u r e , a l l t h ed e c i s i o n s t h a t m i g h t b e t a k e n n o w a n d i n t h e f u t u r e , t h e i r c o n s e q u e n c e s ,u t i l i t i e s , e t c . T o a c h i e v e o p t i m a l i t y i s c l e a r l y i m p o s s i b l e i n p r a c t i c e , f o r i tr e q u i r e s k n o w i n g w h e r e y o u a r e m o s t l ik e l y t o g e t t h e i n f o r m a t i o n y o u w a n tb e f o r e y o u k n o w e x a c t l y w h i c h d e c i s io n s y o u m u s t m a k e . I f o n e r e s tr i c ts t h eh o r i z o n o f o n e ' s d e c i s io n s t o s p e c if ic t a s k - o r i e n t e d a c t iv i ti e s t h e p r o b l e m iss i m p l e r . M u s t I h a l t n o w ? C a n I p r o c e e d i n t h a t d i r e c t i o n ? I s t h e r e a p r e d a t o rn e a r b y ? F o r e a c h o f t h e se q u e s t i o n s t h e r e m a y b e a s t r a ig h t f o r w a r d t e s t w h ic his d e c i s i v e , o r n e a r l y d e c i s i v e , o r i n d i c a t i v e o f w h a t t o t e s t n e x t . O n c e a g a i n t h eq u e s t i o n i s w h e t h e r t h e t e s t ( o r p e r c e p t u a l q u e r y ) i s c o m p u t a t i o n a l l y c h e a p .

I n a s i tu a t i o n a ll y d e t e r m i n e d c o n t e x t s u ch q u e s t i o n s a r e n e c e s s a r i l y c h e a p .


11/24

Today the earwig, tomorrow man? 171T h e e n v i r o n m e n t c a n b e f a c t o r e d i n t o a s et o f p a r t i a l s t a t es o r indicators w h i c hc o r r e l a t e w e l l w i t h t h e p r e s e n c e o r a b s e n c e o f th e l a r g e r e n v i r o n m e n t a l f a c t o rsw h i c h a f fe c t t a sk p e r f o r m a n c e . T h u s f o r a r o b o t w h o s e e n v i r o n m e n t c o n t a in sd o o r s w i t h r ig h t a n g l e s it m a y b e p o s s i b l e t o d i s c o v e r a n i n v a r i a n t micro fea tureo f d o o r s w h i c h u n d e r n o r m a l c o n d i t i o n s c a n b e s e e n f r o m a ll a n g l es . R e l a t i v et o d o o r e n t e r i n g a c t i v i t y , t h i s i n v a r i a n t m a y b e a l l t h a t n e e d b e s o u g h t .M o r e o v e r , i t m a y b e s i m p l e - - a t o p r ig h t a n d b o t t o m l e ft c o r n e r in s u i ta b l eo p p o s i t i o n f o r e x a m p l e . T h i s f r a c t i o n o f d o o r n e s s is su f f ic i e n t f o r d o o r r e c o g n i -t i o n i n t h is e n v i r o n m e n t , a s lo n g a s t h e r o b o t r e m a i n s u p r i g h t , a s l o n g a s n on e w d o o r s a r e i n t r o d u c e d , a n d s o f o r t h . I t c o r r e l a t e s w i th a ll a n d o n l y d o o r s .C o n s e q u e n t l y , o n e o f t h e h a r d e s t p r o b l e m s f o r m o b o t d e s i g n e r s is t o d i sc o v e rt h e s e i n d i c a t o r s , a n d t h e p e r c e p t u a l q u e r i e s t h a t b e s t i d e n t if y t h e m . F o r e a c ha c t iv i t y t h e d e s i g n e r m u s t d e t e r m i n e w h i c h p o s s i b l e i n d i c a to r s c o r r e l a t e w e l lw i t h t h e l i k e l i h o o d o f su c c e s s o r f a i l u r e o f t h e a c t i v i t y g i v e n t h e c u r r e n t s t a t e o ft h e w o r l d . T h i s is a h a r d p r o b l e m f o r m o s t a c t i v it ie s . B u t t h e k e y p o i n t i s t h a tw i t h o u t t h e a s s u m p t i o n t h a t b e h a v i o u r c a n b e p a r t i t i o n e d i n t o t a s k - o r i e n t e da c t i v i t i e s , i t w o u l d b e i m p o s s i b l e t o d i s c o v e r t h e s e i n d i c a t o r s a t a l l .

T h i s i n t r o d u c e s t h e t h i r d a n d f in a l r e s p e c t s i t u a t io n a l l y d e t e r m i n e d t a s k s a rei l l u s t r a t i v e o f t h e a l t e r n a t i v e t h e o r y o f a c t i o n : w h a t i s m o s t s a l i e n t i n t h ee n v i r o n m e n t i s u s u a l l y d i s c e r n a b l e a n d e c o n o m i c a l l y d e t e c t a b l e f r o m t h eagent ' s perspect ive. M o s t t a s k i n d i c a t o r s a r e e g o c e n t r i c a l l y d e f i n a b l e . T h i s is ac r u c ia l f a c t o r i n d e c i d i n g h o w m u c h o f a c t i v it y c a n b e i n t e ll i g e n t ly c o n t r o l le dw i t h o u t c o n c e p t s b e c a u s e c o n c e p t s a r e o f t e n h e l d t o b e n o n - e g o c e n t r i c , p u b l i co r q u a s i - p u b l i c e n t i t i e s .

D e v e l o p m e n t a l p s y c h o l o g i s ts d r a w a d i s ti n c t i o n b e t w e e n t h e egocentric spaceo f a n a g e n t a n d t h e publ i c space , w h i c h a s o b s e r v e r s w e s e e t h e a g e n tp e r f o r m i n g i n . T h e d i s t i n c t i o n i s i n t u i t i v e . I n e g o c e n t r i c s p a c e , t h e a g e n t i sa l w a y s a t t h e s p a t i o - t e m p o r a l o r i g in o f it s w o r l d . I t s ee s t h e e n v i r o n m e n t f r o mi t s o w n p e r s p e c t i v e . I n d e x i c a l t e r m s s u c h a s b e s i d e - m e , t o m y r i g h t , i n f r o n t ,o n t o p , n e a r b y , o c c l u d e d - r i g h t - n o w , a r e a l l w e l l d e f i n e d , a n d d e p e n d e s s e n t i al -l y o n t h e a g e n t ' s l o c a t i o n . T h e y s h i f t a s i t m o v e s a b o u t .

I n p u b l i c s p a c e , b y c o n t r a s t , t h e w o r l d i s u n d e r s t o o d a l m o s t a s if v i e w e df r o m n o w h e r e . I f t h e a g e n t i s i n c l u d e d i n t h e w o r l d a t a l l i t is i n c l u d e do b j e c t i v e l y a s a n o t h e r e n t i t y in r e l a t i o n w i t h o b j e c t s i n t h e w o r l d . T h i s i s d o n et o f a c i l i t a t e u s e f u l g e n e r a l i z a t i o n . T w o p e o p l e c a n s e e t h e s a m e b a l l ; a b a l lr e m a i n s t h e s a m e b a l l d e s p i t e i t s c u r r e n t l y b e i n g o u t s i d e t h e a g e n t ' s v i s u al fi e ld ;a n d i t r e m a i n s b e s i d e a c o m p a n i o n b a l l w h e t h e r p a r t l y o c c l u d e d o r n o t .B e c a u s e w e c a n c o u n t o n t h e p e r m a n e n c e o f o b j e ct s a n d o n a co n s e n s u a lu n d e r s t a n d i n g o f s p a c e -t i m e w e c a n u s e f u l l y o r g a n i z e o u r e x p e r i e n c e o f t h ew o r l d b y a p p e a l t o p u b l i c o b j e c t s , p u b l i c s p a c e , a n d p u b l i c t i m e . W e c a nd e s c r i b e a c t i o n s a n d s t r a t e g i e s i n a m a n n e r w h i c h a l l o w s p e o p l e i n d i f f e r e n tc i r c u m s t a n c e s t o u s e t h e m ; a n d w e c a n t a l k a b o u t c o n s e q u e n c e s o f a c t io n s a s i fw e w e r e n o t t h e r e t o s e e t h e m . T h u s , i n d e s cr i b i n g t h e a c t i o n o f li f ti n g a b o x


12/24

17 2 D. Kith

five feet in the air it is usually irrelevant whether the agent approaches the boxfrom the right or left. Where the agent was positioned in the situation is lessimportant than what it did to make the box go up. This can he stated in termsof the lawful changes which the objects in the environment undergo.In the classical theory of action, the beliefs that were thought causallyimportant in determining action were stated in the language of public objectsand properties. Actions were defined as situation-action rules--transformationsbetween pre and postconditions, and were understood as transformations overpublic states.

The practice of enumerating the troubles of situation action rules based onpublic concepts is by now a familiar pastime in discussions of AI planning. It istherefore regarded a virtue of the situationally determined account that theindicators which matter to situationally determined task performance aredefinable from an egocentric perspective.J.J. Gibson, for example, argued at length that the genuine environment ofaction is not a world of objects and objective relations but a world of surfacesand textural flows as seen by the agent. Gibson, in his ecological approach toperception, emphasised that action and perception are not distinct processes.Animals and people do not passively perceive the world. They move about in itactively, picking up the information needed to guide their movement. Thisinformation is always available in an egocentric form, because as a result of theinterlocking between perception and action, certain egocentric invariantsemerge. Flies can find landing sites by detecting wiping of texture in the opticflow [17, pp. 215-218], chicks and babies can avoid precipices by detectingmotion parallax and texture gradients [17, pp. 234-235]. These invariants canbe picked up early. They do not require the level of visual processing involvedin creating a full 3-D representation. The same it seems holds for mostsituationally determined tasks: the indicators which matter can be gleaned byrelatively early attention to egocentric invariants, or properties.

The upshot is that for situationally determined activity, perception, particu-larly egocentric perception, rather than conceptual reasoning is the determin-ing factor of success. This holds because there is a reliable correlation betweenegocentrically noticeable properties of the environment and actions that areeffective.S

Now, from both a scientific and engineering standpoint nothing but good cancome from exploring in silicon and metal how much of intelligent activity canbe duplicated following the principles of this alternative theory of action. Until

s T h e c o n c e p t i o n o f s i t u a t io n d e t e r m i n e d n e s s I o f f e r is s ti p u la t i ve . O t h e r s c a n b e p r o p o s e d . F o ri n s t a n c e , o n e c o u l d p r o p o s e t h a t a c o n t e x t s i t u a t i o n a l l y d e t e r m i n e s a n a c t i o n f o r a n a g e n t i f t h es i t u a t i o n i n c o n j u n c t i o n w i t h t h e i n n e r s t a t e o f t h e a g e n t d e t e r m i n e s w h a t h e w i ll d o n e x t . B u t t os t r e t c h t h e d e f i n i t i o n in t h a t d i r e c t i o n i s t o g i v e u p t h e d i s t i n c t i o n b e t w e e n s i t u a t i o n d e t e r m i n e d n e s sa n d d e t e r m i n e d n e s s s im p l i c it u r . A g e n t s a r e u s u a l l y d e t e r m i n e d b y t h e u n i o n o f m e n t a l s t a t e a n dl o ca l e n v i r o n m e n t . T h e n o t e w o r t h y c o n d i t i o n o f t r u e s i t u a ti o n d e t e r m i n e d n e s s is t h a t r e a s o n i n g isn o t r e q u i r e d f o r a c t i o n .


13/24

Today t he earw ig , t om orrow m an? 173

w e c o n s t r u c t c r e a t u r e s w h i c h c a n h a v e h u n d r e d s o f p r o c e d u r e s t u r n e d o n a n dw a i t in g , w e c a n n o t k n o w h o w e f f e c t i v e t h e w o r l d m i g h t p o s s ib l y b e in d e c i d i n gt h e s e q u e n c e o f th e p r o c e d u r e s t o u s e. T h e r e m a y b e f a r m o r e i n d ic a t o rs i n t h ew o r l d t h a t a r e a b le t o b ia s p e r f o r m a n c e t h a n w e w o u l d h a v e d r e a m e d p o s s i b lep r i o r t o d e s i g n i n g c r e a t u r e s t o r u n i n t h e r e a l w o r l d .

N e v e r t h e l e s s , a s w i t h m o s t n a s c e n t a r e a s o f A I , i t is e a s y t o s e e e a r l y r e su l t sa s c o m p e l l i n g e v i d e n c e f o r s t r o n g c o n c l u s i o n s . I n B r o o k s ' c a s e , t h e s u c c e s s o ft h i s d e s i g n s t r a t e g y f o r s i m p l e i n s e c t - l i k e c r e a t u r e s i s m e a n t t o j u s t i f y a h o s t o fm e t h o d o l o g i c a l d i r e c t i v e s a n d c r i ti c is m s f o r d e s i g n s t ra t e g i e s o f f a r m o r ec o m p l e x c r e a t u r e s a n d b e h a v i o u r s.

A c c o r d i n g l y , l e t u s c o n s i d e r s o m e o f t h e l i m it s o f s i tu a t i o n a l ly d e t e r m i n e da c t i o n s , a n d t h e a t t e n d a n t r e a s o n s h i g h e r - l e v e l c r e a t u r e s a r e l i k e ly t o u s ec o n c e p t s a n d r e p r e s e n t a t i o n s i n a c t i o n , p e r c e p t i o n , a n d c o n t r o l .

3 . T h e l i m i t s o f s i t u a t i o n a l l y d e t e r m i n e d a c t i o nS i t u a t i o n a l ly d e t e r m i n e d a c t iv i t y h a s a r e a l c h a n c e o f s u cc e s s o n l y if th e r e a r e

e n o u g h e g o c e n t r i c a l l y p e r c e p t i b l e c u e s a v a i l a b l e . T h e r e m u s t b e s u f f ic i e n t l o c a lc o n s t r a i n t i n t h e e n v i r o n m e n t t o d e t e r m i n e a c t i o n s t h a t h a v e n o i r r e v e r s i b l yb a d d o w n s t r e a m e f f e c ts . O n l y t h e n w i ll it b e u n n e c e s s a r y f o r t h e c r e a t u r e t or e p r e s e n t a l t e r n a t i v e c o u r s e s o f a c t i o n s t o d e t e r m i n e w h i c h o n e s l e a d t o d e a de n d s , t r a p s , l o o p s , o r i d le w a n d e r i n g .

F r o m t h is i t f o l lo w s t h a t i f a ta s k r e q u i r e s k n o w l e d g e a b o u t t h e w o r l d t h a tm u s t b e o b t a i n e d b y r e a s o n in g o r b y r ec a ll , r a t h e r t h a n b y p e r c e p t i o n , i tc a n n o t b e c l a s si fi e d as s i tu a t i o n d e t e r m i n e d . P r i n c i p l e c a n d i d a t e s f o r s u c h t a s k sa r e :

A c t i v i t ie s w h i c h i n v o lv e o t h e r a g e n t s , s i n c e th e s e o f t e n w i ll r e q u i r e m a k i n gpredict ions o f t h e i r b e h a v i o u r . A c t i v i t ie s w h i c h r e q u i r e r e s p o n s e t o e v e n t s a n d a c t i o n s b e y o n d t h e

c r e a t u r e ' s c u r r e n t s e n s o r y l i m it s , su c h a s ta k i n g p r e c a u t i o n s n o w f o r th ef u t u r e , a v o i d i n g f u t u r e d a n g e r s , c o n t i n g e n c i e s , id l e w a n d e r i n g - - t h e s t an -d a r d m o t i v e f o r i n t e r n a l l o o k a h e a d .

A c t i v i t i e s w h i c h r e q u i r e u n d e r s t a n d i n g a s i t u a t i o n f r o m a n o b j e c t i v ep e r s p e c t i v e s u c h a s w h e n a n e w r e c i p e i s f o l l o w e d , a d v i c e i s a s s i m i la t e d , as t r a t e g y f r o m o n e c o n t e x t i s g e n e r a l i z e d o r a d a p t e d t o t h e c u r r e n t s i t u a -t i o n . A ll th e s e r e q u i r e s o m e m e a s u r e o f c o n c e p t u a l i z a t i o n .

A c t i v i ti e s w h i c h r e q u i r e s o m e a m o u n t o f p r o b l e m s o l v i n g , s u c h as w h e nw e w r a p a p a c k a g e a n d h a v e t o d e t e r m i n e h o w m a n y s h e e ts o f p a p e r t ou s e , o r w h e n w e r e a r r a n g e i te m s i n a r e f r ig e r a t o r to m a k e r o o m f o r a n e wp o t .

A c t i v i t i e s w h i c h a r e c r e a t i v e a n d h e n c e s t i m u l u s f r e e , s u c h a s m u c h o fl a n g u a g e u s e , m u s i c a l p e r f o r m a n c e , m i m e , s e l f - a m u s e m e n t .


14/24

17 4 D. Kith

T h e s e a c t i v i t i e s a r e n o t i s o l a t e d e p i s o d e s i n a n o r m a l h u m a n l i f e . A d m i t t e d -l y , t h e y a r e a ll b a s e d o n a n u n d e r l y i n g s e t o f r e l i a b le c o n t r o l s y s t e m s ; b u t t h e s ec o n t r o l s y s t e m s a r e n o t s u f fi c ie n t t h e m s e l v e s t o o r g a n i z e t h e global s t r u c t u r e o ft h e a c t i v i t y .

T h u s , t o p r e p a r e t e a r e q u i r e s c o o r d i n a t i n g b o t h g l o b a l a n d l o c a l c o n s t r a in t s .A t t h e g l o b a l le v e l , t e a m a k e r s m u s t b e s e n s i ti v e to t h e n u m b e r o f p e o p l e t h e ya r e s e r v i n g , e n s u r i n g t h e r e i s e n o u g h w a t e r , t e a , c u p s , s a u c e r s a n d b is c u i ts .O n c e t h e s e i t e m s a r e l a id o u t m o r e m o b o t - l i k e c o n t r o l s y s te m s m a y t a k e o v e r ,p o u r i n g t h e w a t e r , s t i r ri n g e t c . B u t t h e i ni ti a l r e s o u r c e a l l o c a t i o n p r o b l e m s a r eh a r d t o s o l ve . A n i m a l s a r e n o t o r i o u s l y i n e f f e c t iv e a t th e m . M o r e o v e r , c a n w ee x p e c t m o b o t s t o i n t e l l i g e n t l y a r r a n g e p l a t e s o n t h e t r a y ? A r r a n g e m e n t o r b i np a c k i n g r e q u i r e s a t t e n t i o n t o a n u m b e r o f n o n - lo c a l f a c to r s , s uc h a s h o w m a n yi t e m s r e m a i n t o b e p l a c e d ~ h o w w e l l t h e y c a n b e e x p e c t e d t o s t a c k , a n d h o ws t a b le t h e o v e r a l l c o n f i g u r a t i o n m u s t b e , g i v e n t h e p a t h t o t h e p a r l o r . A n t i c i p a -t i o n o f t h e f u t u r e is r e q u i r e d . H e n c e , w h e n e v e r g lo b a l c o n s i d e r a t i o n s e n t e r t h ec o n t r o l o f a c ti o n , t h e c r e a t u r e m u s t e i t h e r b e p r e - t u n e d t o th e f u t u r e , o r i tm u s t b e a b l e t o c a ll o n m e m o r i e s , r e a s o n a b o u t c o n t i n g e n c i e s , a s k f o r a d v i c e ,a n d s o f o r t h .

I n s h o r t , t h e w o r l d o f h u m a n a c t i o n r e g u l a r l y f al ls s h o r t o f t o t a l s i tu a t i o nd e t e r m i n e d n e s s . M o s t o f o u r l i fe is s p e n t m a n a g i n g l o c a ll y c o n s t r a i n e d c h o i c e . 9I t is a t t h is m a n a g e m e n t l e v e l t h a t w e c a n b e s t a p p r e c i a t e t h e v i r t u e o f c o n c e p t sa n d r e p r e s e n t a t i o n s .

4 . The v i r t ues o f co ncept s a nd represent a tio nsC o n c e p t s a r e i n v o l v e d in t h e m a n a g e m e n t o f a c t i o n b e c a u s e t h e y s e r v e a t

l e a s t th r e e o r g a n i z i n g f u n c t i o n s in c o g n i ti v e e c o n o m i e s . A t t h e perceptual l e v e l ,c o n c e p t s u n i f y p e r c e p t i o n s i n t o e q u i v a l e n c e c l a s s e s . A n a g e n t p o s s e s s i n g t h ec o n c e p t o f a d o g , f o r i n s ta n c e , s h o u l d b e a b l e t o re c o g n i z e d o g s f r o m d i f f e r e n tp o i n t s o f v i e w . A d o g i s a n i n v a r i a n t a c r o s s i m a g e s . I t is a l s o a n o b j e c t f o r t h ev i s u a l s y s t e m i n th e s e n s e t h a t t h e v i s u a l f i e ld w i ll b e s e g m e n t e d i n t o d o gi m a g e s a n d n o n - d o g i m a g e s , o f f e r i n g w h a t e v e r a t t e n t i o n a l m e c h a n i s m s r e s i d ei n th e p e r c e p t u a l s y s t e m t o b e d i r e c t e d a t s p e c if ic s o f d o g i m a g e s. A c c o r d i n g l y ,o n e a s p e c t o f s a y in g t h a t a c r e a t u r e h a s a c o n c e p t o f d o g is t o s a y t h a t h e o r s h ec a n i d e n t i f y d o g s p e r c e p t u a l l y . T h i s m e a n s t h a t a v a s t a r r a y o f p e r c e p t u a lc i r c u m s t a n c e s c a n b e s im p l i fi e d a n d r e a s o n e d a b o u t e c o n o m i c a l l y , a n d t h a t ah o s t o f p e r c e p t u a l m e c h a n i s m s a r e c o o r d i n a t e d a r o u n d t h e p e r c e p t u a l o b j e c td o g .

A t a m o r e conceptual l e v e l , c o n c e p t s l i c e n s e i n f e r e n c e s . A d o g i s no ti d e n t i c a l w i t h t h e s e t o f i ts p o s s i b l e a p p e a r a n c e s . I t is a sp a t i a l l y e x t e n d e dt e m p o r a l l y e n d u r i n g e n t i t y t h a t c a n e n t e r i n t o c a u s a l r e l a t i o n s w i t h o t h e r

F o r a n o u t l i n e o f t h e v i r t u e s a n d p r o b l e m s w i t h l o c al c h o i c e , s e e [ 6 ].


15/24

Today t he earw ig , t om orrow m an? 175

objects. It is a possible subject of predication. Hence much of what is true ofother objects---other possible subjects of predication--will be true of dogs.Many of these inheritable truths constitute the presuppositions which a creatureable to have beliefs and though ts about dogs will hold. In thinking about dogs,then, the creature will have in mind an entity that is alive, breathes, normallyhas four legs, and so on. This information is readily accessible, but of courseneed not be conscious. It enables the creature, however, to intelligentlyrespond to invisible properties of dogs [18]. Thus, a child may resist striking adog because it knows it would hurt the dog, despite the fact that the propertyof being open to hurt is not a perceptually present p roperty of dogs. l

At a linguistic level, a concept is the meaning of a term. To know themeaning of 'dog' in English is to have the co ncept of dog, and to know that theEnglish word signifies that concept. The concept dog is a semantic value; in theFregean system, when coupled with another appropriate semantic value itconstitutes a proposition, or truth bearer.

Now, when an agent has a concept it can do things and think thoughts itcould not otherwise. As developmentalists have pointed out, once a child hasthe concept o f an object, it can know that the same object can present differentappearances. It can decide that what looks like a dog is not really a dog, but amisleading image of a bear. It can infer that your image of this dog is differentthan mine, but that we both know it is the same dog [14]. And it can infer thatdogs feel pain because they are alive. Concept users understand a great dealabout their environment when they conceptualize it.

There can be no doubt that the skills we identify with possession of conceptsare of great value for certain forms of intelligent behaviour. But how wide-spread is this behaviour? Can we approximate most intelligent behaviourwithout concepts? This is Brooks' challenge.

One of the most important uses of concepts is to organize memory. Whetheror not a system has limited memory, it has a need to index memories in amann er that facilitates recall. In action man agement, an effective creature willbenefit from its performances in the past. It will remember dangers, failures,helpful tricks, useful sub-goals. It may recall unexpected consequences of itsprevious performances. These memory accesses need not be conscious. Norneed they be complete. Someone describing a particular pet dog may not haveaccessed all the related information he or she knows about the animal. Someinformation lies untouched. But this information is pr imed in the sense thatretrieving that related information in the near future takes less time than hadthe topic never been discussed [10].

10 Gibson argues that senti ence and the like are percei vable proper ties of an animal. But in hissystem, there is almost no action-relevant property t hat is not perceivable. Thus, post boxes havethe perceivable property of affording letter posting. Just how many non-obvious properties can beperceived or registered is a deep question which the alternative theory of action raises. But I thinkwe may safely say that the line must be drawn short of a ll action-relevant properties. Defaultreasoning will be valuable for these.


16/24

176 D. Kir~h

I n g e n e r a l , i f m e m o r y i s d e e m e d u s e f u l f o r a n a c t i o n i t i s l e ss p l a u s i b le t o c a l lt h a t a c t i o n s i t u a t i o n d e t e r m i n e d . T h e s t r o n g e m p i r i c a l c l a i m B r o o k s m a k e s ,t h e n , i s t h a t t o a c c e s s o r g a n i z e d m e m o r i e s t a k e s t o o l o n g f o r m o s t a c t i o n s .G i v e n t h e p r e s s i n g e x i g e n c i e s o f t h e r e a l w o r l d , t h e r e is n o t im e t o r e t r i e v e a n dr e a s o n w i th c o n c e p t u a l i z e d i n f o r m a t i o n .

S h o r t o f k n o w i n g t h e a c t u a l ti m e a p a r t i c u l a r c r e a t u r e t a k e s f o r a c c es s in gm e m o r y i t is i m p o s s i b le t o a r g u e f o r o r a g a i n s t B r o o k s ' t h e s is . B u t w e c a n h a v ei n t u i t io n s . F o r i n s t a n c e , i n t a s k s w h e r e t h e t i m e t o r e a c t is v e r y s h o r t , r e c a l lw i l l b e c o s t l y ; s o m e r e c a l l m a y b e p o s s i b l e b u t i t m u s t b e d i r e c t l y a p p l i c a b l e t ot a s k s w i t h o u t m u c h r e a s o n i n g .

Y e t h o w m u c h o f li fe is r e a c t i v e ? I n d r i v in g h o m e , f o r i n s ta n c e , I a m o f t e no n a u t o p i l o t , b u t I d o c o m e t o g e n u i n e c h o i c e p o i n t s , w h e r e I m u s t d e c i d ew h e t h e r t o t a k e , f o r e x a m p l e , T o r r e y P i n e s B l v d . o r th e h i g h w a y [ 9 ]. I na s se s si n g m y o p t i o n s I h a v e c o n c e p t u a l i z e d t h e p o s s i b il it ie s . M y p r e f e r e n c e sa r e o v e r w o r l d s t a te s , c o n c e i v e d s o m e t i m e s a s m y p o s s ib l e f u t u r e e x p e r i e n c e s ,s o m e t i m e s a s o b j e c t i v e s ta t e s o f t h e w o r l d . M y r e s p o n s e is n o t r e a c t i v e , i t ist h o u g h t f u l . M y d e c is i o n d e p e n d s o n h o w I th i n k o f th e f u t u r e .

T h e p o i n t , h e r e , is t h a t i f I w i s h to a c c o m o d a t e m y p r e s e n t a c t i o n t o e v e n t s ,o b j e c t s o r a c t i o n s t h a t a r e d i s t a n t i n t i m e a n d s p a c e , I s h a l l h a v e t o a n t i c i p a t et h e m n o w . A p e r c e p t i o n - d r i v e n c r e a t u r e c a n o n l y a n t ic i p a t e t h e f u t u r e i f t h e r eis e v i d e n c e o f th e f u t u r e i n it s p r e s e n t . W i t h m e m o r y , h o w e v e r , i t c a nr e m e m b e r t h a t Y f o l lo w s X , a n d s o c o o r d i n a t e i t s a c t i o n s t o a b r o a d e re n v i r o n m e n t t h a n t h a t p e r c e p t u a l ly g i v en .

I f t h e f u t u r e i s a s im p l e f u n c t i o n - - p o s s i b l y M a r k o v i a n - - o f t h e p e r c e p t u a ll yp r e s e n t , a s y s t e m o f l i n k e d F M S s m i g h t c o p e w i t h s i m p le f u t u r e s . F S M s h a v es t a te a n d s o c a n e n c o d e i n f o r m a t i o n a b o u t t h e f u t u r e . B u t t h e f u t u r e t h e ye n c o d e c a n n o t b e c o m p l i c a t e d o r c o m p l e x l y b r a n c h in g . W h e n t h e f u t u re i sc o m p l e x s i m p l e F S M s w i l l b e u n r e l i a b l e . F o r it i s i n e v i t a b l e t h a t o n e s e t o ff u t u r e s t a t e s w h i c h c o r r e l a t e s w i t h t h e p r e s e n t w i l l r e c o m m e n d a c t i o n i n o n ed i r e c t i o n , w h i l e o t h e r s , a l s o c o r r e l a t i n g w i t h t h e p r e s e n t , w i l l r e c o m m e n da c t i o n in o t h e r d i r e c t i o n s . H o w is c h o i c e to b e m a d e ? P r u d e n t d e c i s i o n - m a k i n gi n s u c h s i t u a t i o n s r e q u i r e s a n a l l t h i n g s c o n s i d e r e d a p p r o a c h . I t r e q u i r e sb a l a n c i n g t h e r e c o m m e n d a t i o n s , a n d s e t t i n g a c o u r s e o f a c t i o n w h i c h m a yi n v o l v e t h e f u t u r e c o o r d i n a t i o n o f a c o m p l e x n e t w o r k o f a c ts . I t is h a r d t o s e eh o w t h is c o u l d b e d o n e w i t h o u t t h e s i m p l i fi c a ti o n s o f t h e w o r l d w h i c hc o n c e p t u a l i z a t i o n g i v e s u s .

T h i s c a p a c i t y t o a c c o m o d a t e t h e f u t u r e t i e s i n w i t h a s e c o n d a b i l i t y t h a tc o m e s n a t u r a l l y t o s y s t e m s w i t h c o n c e p t s : t o take advice , a n d t o l e a r n b yi m i t a t i o n [ 1 1] . I t is c h a r a c t e r i s t i c o f h u m a n s t h a t i f t h e y a r e i n t h e m i d d l e o f at a s k t h a t h a s s e v e r a l p a r t s t h e y c a n m a k e u s e o f h in t s o r s u g g e st i on s . T h e s en e e d n o t b e l i n g ui st ic c l u e s b e c a u s e o f t e n i t is e n o u g h i f s o m e o n e s h o w s u sm a n u a l l y w h a t t o d o , o r s h o w s u s a t e c h n i q u e o r m o v e t h a t i s s i m il a r to t h e o n ew e m u s t p e r f o r m . N e w i d e a s c a n b i a s p e r f o r m a n c e . T h i s i m p l i e s t h a t w h a t e v e r


17/24

Today t he earw ig , t om orrow m an? 17 7

m e a n s w e h a v e f o r c o n t ro l l in g o u r b e h a v i o u r i t m u s t b e permeable t o n e wi n f o r m a t i o n .

W h a t m a k e s t h i s p e r m e a b i l i t y h a r d t o c a p t u r e i n m o d e l s b u i lt o n th ea l t e r n a t i v e t h e o r y o f a c t io n i s t h a t h i n t s a n d a d v i c e a r e o f t e n o f f e r e d f r o m an o n - e g o c e n t r i c p o i n t o f v i e w . H e n c e t h e r e i s n o r e a s o n w h y a h i n t o r as u g g e s t i o n s h o u l d b e m e a n i n g f u l i n p u t t o t h e h o m e s y s t e m . T h i s i s n o t t o s a yt h a t c o n c e p t u s i n g a g e n t s h a v e n o t r o u b l e a s s i m i l a t i n g a d v i c e . A d v i c e c a n b em o r e o r l e ss r e a d y f o r us e . H i n t s p h r a s e d f r o m a n o b j e c t i v e , p e r s p e c t i v e l e s so r i e n t a t i o n m a y b e h a r d t o p u t i n t o p r a c t i c e b y a g e n t s w h o l l y i m m e r s e d i n t h e i ro w n p e r s p e c t i v e . B u t s o m e f o r m o f th i s t r a n s l a t i o n p r o b l e m is s o l v e d e v e r yt i m e w e u n d e r s t a n d t h a t o t h e r a g e n t s s e e t h e w o r l d d i f f e r e n t l y .

A d v i c e t a k i n g a l s o h a s a s e n s o r y s id e . S u p p o s e I a m t o l d t h a t a f r i e n d h a sb e e n i n a c a r a c c i d e n t a n d b r o k e n h is le g s . I n o w e x p e c t t o s e e a p e r s o n o nc r u t c h e s . H e n c e I c a n r e c o g n i z e h im a t a d i s t a n c e , a n d n o t b e d e c e i v e d b ya p p e a r a n c e s .

T h i s a d a p t a t i o n o f f u t u r e e x p e c t a t i o n s is i m p o s s i b le t o e x p l a i n w i t h o u tc o n c e p t s . T h e r e m u s t b e s o m e d e v i c e i n a n a g e n t w h i c h f u n c t i o n s l i k e a ni n d e x e d l o n g - t e r m m e m o r y o f o b je c t s w h i ch k e e p s t r a c k o f c h a n g e s a n d w h i c ha ll ow s it to u p d a t e e x p e c t a t io n s a b o u t t h e b e h a v i o u r a n d a p p e a r a n c e o f o b je c t si n a c o n t r o l l e d m a n n e r . S o m e h o w i t m u s t b e a b l e t o sy s t e m a t i c a ll y c h a n g e t h ea t t r i b u t e s t h a t a n o b j e c t m a y b e a s s u m e d t o i n h e r i t o r p o s s e s s b y d e f a u l t .

T h i s s a m e i d e a a p p l i e s t o b e h a v i o u r i n s t r a t e g i c e n v i r o n m e n t s w h e r e t h ee f f e c t i v e n e s s o f a n a c t io n o f t e n d e p e n d s o n t h e i n t e r p r e t a t i o n w h i c h o t h e ra g e n t s i m p o s e o n it . T o t a k e a d v a n t a g e o f t h e s e d e p e n d e n c i e s r e q u i r e sk n o w i n g t h e i n t e r p r e t a t i o n s o f o t h e r s . I t p r e s u p p o s e s t h a t t h e a g e n t c a nu n d e r s t a n d i t s o p p o n e n t s o r c o l l e a g u e s a s s y s t e m s w h o s e b e h a v i o u r i s a p a r t i a lf u n c t i o n o f i ts c u r r e n t a n d f u t u r e b e h a v i o u r . I t is h a r d t o s e e h o w t h e e f f e c t s o ft h i s r e c u r s i v e i n t e r p r e t a t i o n c a n b e a c h i e v e d w i t h o u t c o n c e p t u a l r e p r e s e n t a -t i on s . F i r s t, i t w i ll r e q u i r e u n d e r s t a n d i n g o t h e r a g e n t s a s a g e n t s in a c o m m o nw o r l d p l a y i n g i n a c o m m o n f i e l d , h e n c e o p e r a t i n g i n a p u b l i c d o m a i n r a t h e rt h a n a n e g o c e n t r i c o n e . S e c o n d , it w i ll r e q u i r e u n d e r s t a n d i n g t h e m c o u n t e r f a c t -u a l l y , in t e r m s o f h o w t h e y m i g h t i n t e r p r e t t h e a g e n t i f i t w e r e t o d o X i n s t e a do f Y .

5 . The need f o r represent a t io n in a t heo ry o f percept io nI h a v e b e e n d e s c r i b i n g . t h e i m p o r t a n c e o f r e p r e s e n t a ti o n , p a r ti c u la r l y c o n -

c e p t u a l r e p r e s e n t a t i o n , f o r a t h e o r y o f a c t io n : t h e r e a r e l i m i ts t o h o w s u b t l y as y s t e m c a n a c t if i t i s e n t i r e l y s it u a t i o n d e t e r m i n e d . T h e a b i li ty t o f r a m e a n dt e s t h y p o t h e s e s a b o u t t h e f u t u r e a n d a b o u t o t h e r a g e n t s ' b e h a v i o u r i s e s s e n t ia lf o r su r v i v al in h u m a n s t y le e n v i r o n m e n t s . B u t t h e r e a r e e q u a l l y s tr o n g r e a s o n st o s u p p o s e t h a t r e p r e s e n t a t i o n i s i m p o r t a n t f o r a t h e o r y o f p e r c e p t io n .


18/24

17 8 D. Kith

T h e f i e ld o f c o m p u t a t i o n a l v i s i o n ha s d o n e m u c h t o e x p l o d e t h e m y t h t h a tv i si o n is s t r o n g l y u n d e r t h e i n f l u e n c e o f e x p e c t a t i o n s , m e m o r y a n d i n f e r e n c e a te ar l y s tage s o f proc e s s ing . B u t t h e r e a r e f e w w h o b e l i e v e t h a t e x t r a c t i o n a n di d e n t if i c a ti o n o f s h a p e s c a n o c c u r w i t h o u t a t l e as t s o m e m o d e l s o f s h a p e i nm e m o r y .

S h a p e m o d e l s a r e n o t t h e s a m e a s c o n c e p t s . T h e y c o n s t i tu t e e q u i v a l e n c ec l as s es o f p e r c e p t i o n s , b u t t h e y c a r r y n o i m p l i c a t io n s o f o b j e c t h o o d . A c c o r d -i n g l y , i t i s n o t u n t i l s c e n e p a r s i n g , w h e r e i t e m s a r e i d e n t i f i e d i n t h

earwig published

Documents