j.j. hopfield- neural networks and physical systems with emergent collective computational abilities

8/3/2019 J.J. Hopfield- Neural networks and physical systems with emergent collective computational abilities

1/5

P r o c . N a t L A c a d . S c i . U S AV o l . 7 9 , p p . 2 5 5 4 - 2 5 5 8 , A p r i l 1 9 8 2B i o p h y s i c s

N e u r a l n e t w o r k s and p h y s i c a l s y s t e m s w i t h e m e r g e n t c o l l e c t i v ec o m p u t a t i o n a l a b i l i t i e s( a s s o c i a t i v e m e m o r y / p a r a l l e l p r o c e s s i n g / c a t e g o r i z a t i o n / c o n t e n t - a d d r e s s a b l e m e m o r y / f a i l - s o f t d e v i c e s )

J . J . H O P F I E L DD i v i s i o n o f C h e m i s t r y a n d B i o l o g y , C a l i f o r n i a I n s t i t u t e o f T e c h n o l o g y , P a s a d e n a , C a l i f o r n i a 9 1 1 2 5 ; a n d B e l l L a b o r a t o r i e s , M u r r a y H i l l , New J e r s e y 0 7 9 7 4C o n t r i b u t e d b y J o h n J . H o p f w e l d , J a n u a r y 1 5 , 1 9 8 2A B S T R A C T C o m p u t a t i o n a l p r o p e r t i e s o f u s e t o b i o l o g i c a l o r -g a n i s m s o r t o t h e c o n s t r u c t i o n o f c o m p u t e r s c a n e m e r g e a s c o l -l e c t i v e p r o p e r t i e s o f s y s t e m s - h a v i n g a l a r g e n u m b e r o f s i m p l ee q u i v a l e n t c o m p o n e n t s ( o r n e u r o n s ) . T h e p h y s i c a l m e a n i n g o f c o n -t e n t - a d d r e s s a b l e m e m o r y i s d e s c r i b e d b y a n a p p r o p r i a t e p h a s es p a c e f l o w o f t h e s t a t e o f a s y s t e m . A m o d e l o f s u c h a s y s t e m i sg i v e n , b a s e d o n a s p e c t s o f n e u r o b i o l o g y b u t r e a d i l y a d a p t e d t o i n -t e g r a t e d c i r c u i t s . T h e c o l l e c t i v e p r o p e r t i e s o f t h i s m o d e l p r o d u c ea c o n t e n t - a d d r e s s a b l e m e m o r y w h i c h c o r r e c t l y y i e l d s a n e n t i r em e m o r y f r o m a n y s u b p a r t o f s u f f i c i e n t s i z e . T h e a l g o r i t h m f o r t h et i m e e v o l u t i o n o f t h e s t a t e o f t h e s y s t e m i s b a s e d o n a s y n c h r o n o u sp a r a l l e l p r o c e s s i n g . A d d i t i o n a l e m e r g e n t c o l l e c t i v e p r o p e r t i e s i n -c l u d e s o m e c a p a c i t y f o r g e n e r a l i z a t i o n , f a m i l i a r i t y r e c o g n i t i o n ,c a t e g o r i z a t i o n , e r r o r c o r r e c t i o n , a n d t i m e s e q u e n c e r e t e n t i o n .T h e c o l l e c t i v e p r o p e r t i e s a r e o n l y w e a k l y s e n s i t i v e t o d e t a i l s o f t h em o d e l i n g o r t h e f a i l u r e o f i n d i v i d u a l d e v i c e s .G i v e n t h e d y n a m i c a l e l e c t r o c h e m i c a l p r o p e r t i e s o f n e u r o n s a n dt h e i r i n t e r c o n n e c t i o n s ( s y n a p s e s ) , w e r e a d i l y u n d e r s t a n d s c h e m e st h a t u s e a f e w n e u r o n s t o o b t a i n e l e m e n t a r y u s e f u l b i o l o g i c a lb e h a v i o r ( 1 - 3 ) . O u r u n d e r s t a n d i n g o f s u c h s i m p l e c i r c u i t s i ne l e c t r o n i c s a l l o w s u s t o p l a n l a r g e r a n d m o r e c o m p l e x c i r c u i t sw h i c h a r e e s s e n t i a l t o l a r g e c o m p u t e r s . B e c a u s e e v o l u t i o n h a sn o s u c h p l a n , i t b e c o m e s r e l e v a n t t o a s k w h e t h e r t h e a b i l i t y o fl a r g e c o l l e c t i o n s o f n e u r o n s t o p e r f o r m " c o m p u t a t i o n a l " t a s k sm a y i n p a r t b e a s p o n t a n e o u s c o l l e c t i v e c o n s e q u e n c e o f h a v i n ga l a r g e n u m b e r o f i n t e r a c t i n g s i m p l e n e u r o n s .I n p h y s i c a l s y s t e m s m a d e f r o m a l a r g e n u m b e r o f s i m p l e e l e -m e n t s , i n t e r a c t i o n s a m o n g l a r g e n u m b e r s o f e l e m e n t a r y c o m -p o n e n t s y i e l d c o l l e c t i v e p h e n o m e n a s u c h a s t h e s t a b l e m a g n e t i co r i e n t a t i o n s a n d d o m a i n s i n a m a g n e t i c s y s t e m o r t h e v o r t e xp a t t e r n s i n f l u i d f l o w . Do a n a l o g o u s c o l l e c t i v e p h e n o m e n a i na s y s t e m o f s i m p l e i n t e r a c t i n g n e u r o n s h a v e u s e f u l " c o m p u t a -t i o n a l " c o r r e l a t e s ? F o r e x a m p l e , a r e t h e s t a b i l i t y o f m e m o r i e s ,t h e c o n s t r u c t i o n o f c a t e g o r i e s o f g e n e r a l i z a t i o n , o r t i m e - s e -q u e n t i a l m e m o r y a l s o e m e r g e n t p r o p e r t i e s a n d c o l l e c t i v e i no r i g i n ? T h i s p a p e r e x a m i n e s a n e w m o d e l i n g o f t h i s o l d a n d f u n -d a m e n t a l q u e s t i o n ( 4 - 8 ) a n d s h o w s t h a t i m p o r t a n t c o m p u t a -t i o n a l p r o p e r t i e s s p o n t a n e o u s l y a r i s e .A l l m o d e l i n g i s b a s e d o n d e t a i l s , a n d t h e d e t a i l s o f n e u r o -a n a t o m y a n d n e u r a l f u n c t i o n a r e b o t h m y r i a d a n d i n c o m p l e t e l yk n o w n ( 9 ) . I n m a n y p h y s i c a l s y s t e m s , t h e n a t u r e o f t h e e m e r -g e n t c o l l e c t i v e p r o p e r t i e s i s i n s e n s i t i v e t o t h e d e t a i l s i n s e r t e di n t h e m o d e l ( e . g . , c o l l i s i o n s a r e e s s e n t i a l t o g e n e r a t e s o u n dw a v e s , b u t a n y r e a s o n a b l e i n t e r a t o m i c f o r c e l a w w i l l y i e l d a p -p r o p r i a t e c o l l i s i o n s ) . I n t h e s a m e s p i r i t , I w i l l s e e k c o l l e c t i v ep r o p e r t i e s t h a t a r e r o b u s t a g a i n s t c h a n g e i n t h e m o d e l d e t a i l s .T h e m od e l c o u l d b e r e a d i l y i m p l e m e n t e d b y i n t e g r a t e d c i r -c u i t h a r d w a r e . T h e c o n c l u s i o n s s u g g e s t t h e d e s i g n o f a d e l o -

c a l i z e d c o n t e n t - a d d r e s s a b l e m e m o r y o r c a t e g o r i z e r u s i n g e x -t e n s i v e a s y n c h r o n o u s p a r a l l e l p r o c e s s i n g .T h e g e n e r a l c o n t e n t - a d d r e s s a b l e m e m o r y o f a p h y s i c a ls y s t e mS u p p o s e t h a t a n i t e m s t o r e d i n m e m o r y i s " H . A . K r a m e r s &G . H . W a n n i e r P h y s . R e v . 6 0 , 2 5 2 ( 1 9 4 1 ) . " A g e n e r a l c o n t e n t -a d d r e s s a b l e m e m o r y w o u l d b e c a p a b l e o f r e t r i e v i n g t h i s e n t i r em e m o r y i t e m o n t h e b a s i s o f s u f f i c i e n t p a r t i a l i n f o r m a t i o n . T h ei n p u t " & W a n n i e r , ( 1 9 4 1 ) " m i g h t s u f f i c e . A n i d e a l m e m o r yc o u l d d e a l w i t h e r r o r s a n d r e t r i e v e t h i s r e f e r e n c e e v e n f r o m t h ei n p u t " V a n n i e r , ( 1 9 4 1 ) " . I n c o m p u t e r s , o n l y r e l a t i v e l y s i m p l ef o r m s o f c o n t e n t - a d d r e s s a b l e m e m o r y h a v e b e e n m a d e i n h a r d -w a r e ( 1 0 , 1 1 ) . S o p h i s t i c a t e d i d e a s l i k e e r r o r c o r r e c t i o n i n a c -c e s s i n g i n f o r m a t i o n a r e u s u a l l y i n t r o d u c e d a s s o f t w a r e ( 1 0 ) .T h e r e a r e c l a s s e s o f p h y s i c a l s y s t e m s w h o s e s p o n t a n e o u s b e -h a v i o r c a n b e u s e d a s a f o r m o f g e n e r a l ( a n d e r r o r - c o r r e c t i n g )c o n t e n t - a d d r e s s a b l e m e m o r y . C o n s i d e r t h e t i m e e v o l u t i o n o fa p h y s i c a l s y s t e m t h a t c a n b e d e s c r i b e d b y a s e t o f g e n e r a l c o -o r d i n a t e s . A p o i n t i n s t a t e s p a c e t h e n r e p r e s e n t s t h e i n s t a n t a -n e o u s c o n d i t i o n o f t h e s y s t e m . T h i s s t a t e s p a c e m a y b e e i t h e rc o n t i n u o u s o r d i s c r e t e ( a s i n t h e c a s e o f N I s i n g s p i n s ) .T h e e q u a t i o n s o f m o t i o n o f t h e s y s t e m d e s c r i b e a f l o w i n s t a t es p a c e . V a r i o u s c l a s s e s o f f l o w p a t t e r n s a r e p o s s i b l e , b u t t h e s y s -t e m s o f u s e f o r m e m o r y p a r t i c u l a r l y i n c l u d e t h o s e t h a t f l o w t o -w a r d l o c a l l y s t a b l e p o i n t s f r o m a n y w h e r e w i t h i n r e g i o n s a r o u n dt h o s e p o i n t s . A p a r t i c l e w i t h f r i c t i o n a l d a m p i n g m o v i n g i n ap o t e n t i a l w e l l w i t h t w o m i n i m a e x e m p l i f i e s s u c h a d y n a m i c s .I f t h e f l o w i s n o t c o m p l e t e l y d e t e r m i n i s t i c , t h e d e s c r i p t i o ni s m o r e c o m p l i c a t e d . I n t h e t w o - w e l l p r o b l e m s a b o v e , i f t h ef r i c t i o n a l f o r c e i s c h a r a c t e r i z e d b y a t e m p e r a t u r e , i t m u s t a l s op r o d u c e a r a n d o m d r i v i n g f o r c e . T h e l i m i t p o i n t s b e c o m e s m a l ll i m i t i n g r e g i o n s , a n d t h e s t a b i l i t y b e c o m e s n o t a b s o l u t e . B u ta s l o n g a s t h e s t o c h a s t i c e f f e c t s a r e s m a l l , t h e e s s e n c e o f l o c a ls t a b l e p o i n t s r e m a i n s .C o n s i d e r a p h y s i c a l s y s t e m d e s c r i b e d b y m a n y c o o r d i n a t e sX 1 X N , t h e c o m p o n e n t s o f a s t a t e v e c t o r X . L e t t h e s y s t e mh a v e l o c a l l y s t a b l e l i m i t p o i n t s X a , X b , * * . T h e n , i f t h e s y s t e mi s s t a r t e d s u f f i c i e n t l y n e a r a n y X a , a s a t X = X a + A , i t w i l lp r o c e e d i n t i m e u n t i l X X a . We c a n r e g a r d t h e i n f o r m a t i o ns t o r e d i n t h e s y s t e m a s t h e v e c t o r s X a , X b , . T h e s t a r t i n gp o i n t X = X a + A r e p r e s e n t s a p a r t i a l k n o w l e d g e o f t h e i t e mX a , a n d t h e s y s t e m t h e n g e n e r a t e s t h e t o t a l i n f o r m a t i o n X a .A n y p h y s i c a l s y s t e m w h o s e d y n a m i c s i n p h a s e s p a c e i s d o m -i n a t e d b y a s u b s t a n t i a l n u m b e r o f l o c a l l y s t a b l e s t a t e s t o w h i c hi t i s a t t r a c t e d c a n t h e r e f o r e b e r e g a r d e d a s a g e n e r a l c o n t e n t -a d d r e s s a b l e m e m o r y . T h e p h y s i c a l s y s t e m w i l l b e a p o t e n t i a l l yu s e f u l m e m o r y i f , i n a d d i t i o n , a n y p r e s c r i b e d s e t o f s t a t e s c a nr e a d i l y b e m a d e t h e s t a b l e s t a t e s o f t h e s y s t e m .T h e m od e l s y s t e mT h e p r o c e s s i n g d e v i c e s w i l l b e c a l l e d n e u r o n s . E a c h n e u r o n ih a s t w o s t a t e s l i k e t h o s e o f M c C u l l o u g h a n d P i t t s ( 1 2 ) : V i = 0

2 5 5 4

T h e p u b l i c a t i o n c o s t s o f t h i s a r t i c l e w e r e d e f r a y e d i n p a r t b y p a g e c h a r g ep a y m e n t . T h i s a r t i c l e m u s t t h e r e f o r e b e h e r e b y m a r k e d " a d v e r t i s e -m e n t " i n a c c o r d a n c e w i t h 1 8 U . S . C . 1 7 3 4 s o l e l y t o i n d i c a t e t h i s f a c t .


2/5

P r o c . N a t l . A c a d . S c i . U S A 7 9 ( 1 9 8 2 ) 2 5 5 5( " n o t f i r i n g " ) a n d V i = 1 ( " f i r i n g a t m a x i m u m r a t e " ) . W h e n n e u -r o n i h a s a c o n n e c t i o n m a d e t o i t f r o m n e u r o n j , t h e s t r e n g t ho f c o n n e c t i o n i s d e f i n e d a s T i j . ( N o n c o n n e c t e d n e u r o n s h a v e T i j0 . ) T h e i n s t a n t a n e o u s s t a t e o f t h e s y s t e m i s s p e c i f i e d b y l i s t i n gt h e N v a l u e s o f V i , s o i t i s r e p r e s e n t e d b y a b i n a r y w o r d o f Nb i t s .T h e s t a t e c h a n g e s i n t i m e a c c o r d i n g t o t h e f o l l o w i n g a l g o -r i t h m . F o r e a c h n e u r o n i t h e r e i s a f i x e d t h r e s h o l d U , . E a c hn e u r o n i r e a d j u s t s i t s s t a t e r a n d o m l y i n t i m e b u t w i t h a m e a na t t e m p t r a t e W , s e t t i n g

V i B - * C - - D .T h e a n a l y s i s o f n e t w o r k s w i t h s t r o n g b a c k w a r d c o u p l i n gp r o v e d i n t r a c t a b l e . A l l o u r i n t e r e s t i n g r e s u l t s a r i s e

a s c o n s e q u e n c e s o f t h e s t r o n g b a c k - c o u p l i n g . S e c o n d , P e r c e p -t r o n s t u d i e s u s u a l l y m a d e a r a n d o m n e t o f n e u r o n s d e a l d i r e c t l yw i t h a r e a l p h y s i c a l w o r l d a n d d i d n o t a s k t h e q u e s t i o n s e s s e n t i a lt o f i n d i n g t h e m o r e a b s t r a c t e m e r g e n t c o m p u t a t i o n a l p r o p e r -t i e s . F i n a l l y , P e r c e p t r o n m o d e l i n g r e q u i r e d s y n c h r o n o u s n e u -r o n s l i k e a c o n v e n t i o n a l d i g i t a l c o m p u t e r . T h e r e i s n o e v i d e n c ef o r s u c h g l o b a l s y n c h r o n y a n d , g i v e n t h e d e l a y s o f n e r v e s i g n a lp r o p a g a t i o n , t h e r e w o u l d b e n o w a y t o u s e g l o b a l s y n c h r o n ye f f e c t i v e l y . C h i e f l y c o m p u t a t i o n a l p r o p e r t i e s w h i c h c a n e x i s ti n s p i t e o f a s y n c h r o n y h a v e i n t e r e s t i n g i m p l i c a t i o n s i n b i o l o g y .T h e i n f o r m a t i o n s t o r a g e a l g o r i t h mS u p p o s e w e w i s h t o s t o r e t h e s e t o f s t a t e s V 8 , s = 1 n . Weu s e t h e s t o r a g e p r e s c r i p t i o n ( 1 5 , 1 6 )

T i j = ( 2 V - 1 ) ( 2 V j - 1 ) [ 2 ]Sb u t w i t h T i i = 0 . F r o m t h i s d e f i n i t i o n

T i j j s =E ( 2 V , - 1 ) I V J ( 2 V j - 1 ) H j s . [ 3 ]T h e m e a n v a l u e o f t h e b r a c k e t e d t e r m i n E q . 3 i s 0 u n l e s s s- s ' , f o r w h i c h t h e m e a n i s N / 2 . T h i s p s e u d o o r t h o g o n a l i t yy i e l d s

> T i V s ( H s ' ) ( 2 V s ' - 1 ) N / 2i [ 4 ]a n d i s p o s i t i v e i f V W ' = 1 a n d n e g a t i v e i f V f ' = 0 . E x c e p t f o r t h en o i s e c o m i n g f r o m t h e s # s ' t e r m s , t h e s t o r e d s t a t e w o u l d a l -w a y s b e s t a b l e u n d e r o u r p r o c e s s i n g a l g o r i t h m .S u c h m a t r i c e s T , . h a v e b e e n u s e d i n t h e o r i e s o f l i n e a r a s s o -c i a t i v e n e t s ( 1 5 - 1 9 ) t o p r o d u c e a n o u t p u t p a t t e r n f r o m a p a i r e di n p u t s t i m u l u s , S 1 - * 0 1 . A s e c o n d a s s o c i a t i o n S 2 - 0 2 c a n b es i m u l t a n e o u s l y s t o r e d i n t h e s a m e n e t w o r k . B u t t h e c o n f u s i n gs i m u l u s 0 . 6 S i + 0 . 4 S 2 w i l l p r o d u c e a g e n e r a l l y m e a n i n g l e s sm i x e d o u t p u t 0 . 6 0 1 + 0 . 4 0 2 O u r m o d e l , i n c o n t r a s t , w i l l u s ei t s s t r o n g n o n l i n e a r i t y t o m a k e c h o i c e s , p r o d u c e c a t e g o r i e s , a n dr e g e n e r a t e i n f o r m a t i o n a n d , w i t h h i g h p r o b a b i l i t y , w i l l g e n e r a t et h e o u t p u t 0 1 f r o m s u c h a c o n f u s i n g m i x e d s t i m u l u s .A l i n e a r a s s o c i a t i v e n e t m u s t b e c o n n e c t e d i n a c o m p l e x w a yw i t h a n e x t e r n a l n o n l i n e a r l o g i c p r o c e s s o r i n o r d e r t o y i e l d t r u e

c o m p u t a t i o n ( 2 0 , 2 1 ) . C o m p l e x c i r c u i t r y i s e a s y t o p l a n b u t m o r ed i f f i c u l t t o d i s c u s s i n e v o l u t i o n a r y t e r m s . I n c o n t r a s t , o u r m o d e lo b t a i n s i t s e m e r g e n t c o m p u t a t i o n a l p r o p e r t i e s f r o m s i m p l ep r o p e r t i e s o f m a n y c e l l s r a t h e r t h a n c i r c u i t r y .T h e b i o l o g i c a l i n t e r p r e t a t i o n o f t h e m o d e lM o s t n e u r o n s a r e c a p a b l e o f g e n e r a t i n g a t r a i n o f a c t i o n p o t e n -t i a l s - p r o p a g a t i n g p u l s e s o f e l e c t r o c h e m i c a l a c t i v i t y - w h e n t h ea v e r a g e p o t e n t i a l a c r o s s t h e i r m e m b r a n e i s h e l d w e l l a b o v e i t sn o r m a l r e s t i n g v a l u e . T h e m e a n r a t e a t w h i c h a c t i o n p o t e n t i a l sa r e g e n e r a t e d i s a s m o o t h f u n c t i o n o f t h e m e a n m e m b r a n e p o -t e n t i a l , h a v i n g t h e g e n e r a l f o r m s h o w n i n F i g . 1 .T h e b i o l o g i c a l i n f o r m a t i o n s e n t t o o t h e r n e u r o n s o f t e n l i e si n a s h o r t - t i m e a v e r a g e o f t h e f i r i n g r a t e ( 2 2 ) . W h e n t h i s i s s o ,o n e c a n n e g l e c t t h e d e t a i l s o f i n d i v i d u a l a c t i o n p o t e n t i a l s a n dr e g a r d F i g . 1 a s a s m o o t h i n p u t - o u t p u t r e l a t i o n s h i p . [ P a r a l l e lp a t h w a y s c a r r y i n g t h e s a m e i n f o r m a t i o n w o u l d e n h a n c e t h ea b i l i t y o f t h e s y s t e m t o e x t r a c t a s h o r t - t e r m a v e r a g e f i r i n g r a t e( 2 3 , 2 4 ) . ]A s t u d y o f e m e r g e n t c o l l e c t i v e e f f e c t s a n d s p o n t a n e o u s c o m -p u t a t i o n m u s t n e c e s s a r i l y f o c u s o n t h e n o n l i n e a r i t y o f t h e i n -p u t - o u t p u t r e l a t i o n s h i p . T h e e s s e n c e o f c o m p u t a t i o n i s n o n l i n -e a r l o g i c a l o p e r a t i o n s . T h e p a r t i c l e i n t e r a c t i o n s t h a t p r o d u c et r u e c o l l e c t i v e e f f e c t s i n p a r t i c l e d y n a m i c s c o m e f r o m a n o n l i n -e a r d e p e n d e n c e o f f o r c e s o n p o s i t i o n s o f t h e p a r t i c l e s . W h e r e a sl i n e a r a s s o c i a t i v e n e t w o r k s h a v e e m p h a s i z e d t h e l i n e a r c e n t r a lr e g i o n ( 1 4 - 1 9 ) o f F i g . 1 , w e w i l l r e p l a c e t h e i n p u t - o u t p u t r e -l a t i o n s h i p b y t h e d o t - d a s h s t e p . T h o s e n e u r o n s w h o s e o p e r a t i o ni s d o m i n a n t l y l i n e a r m e r e l y p r o v i d e a p a t h w a y o f c o m m u n i c a -t i o n b e t w e e n n o n l i n e a r n e u r o n s . T h u s , w e c o n s i d e r a n e t w o r ko f " o n o r o f f " n e u r o n s , g r a n t i n g t h a t s o m e o f t h e i n t e r c o n n e c -t i o n s m a y b e b y w a y o f n e u r o n s o p e r a t i n g i n t h e l i n e a r r e g i m e .D e l a y s i n s y n a p t i c t r a n s m i s s i o n ( o f p a r t i a l l y s t o c h a s t i c c h a r -a c t e r ) a n d i n t h e t r a n s m i s s i o n o f i m p u l s e s a l o n g a x o n s a n d d e n -d r i t e s p r o d u c e a d e l a y b e t w e e n t h e i n p u t o f a n e u r o n a n d t h eg e n e r a t i o n o f a n e f f e c t i v e o u t p u t . A l l s u c h d e l a y s h a v e b e e nm o d e l e d b y a s i n g l e p a r a m e t e r , t h e s t o c h a s t i c m e a n p r o c e s s i n gt i m e 1 / W .T h e i n p u t t o a p a r t i c u l a r n e u r o n a r i s e s f r o m t h e c u r r e n t l e a k so f t h e s y n a p s e s t o t h a t n e u r o n , w h i c h i n f l u e n c e t h e c e l l m e a np o t e n t i a l . T h e s y n a p s e s a r e a c t i v a t e d b y a r r i v i n g a c t i o n p o t e n -t i a l s . T h e i n p u t s i g n a l t o a c e l l i c a n b e t a k e n t o b e

[ 5 ]T i j v jw h e r e T i j r e p r e s e n t s t h e e f f e c t i v e n e s s o f a s y n a p s e . F i g . 1 t h u s

/Q ~ ~ ~ ~ ~ ~ ~ ~ ~ /0 ,

P I I '0a)-jazP r e s e n t M o d e lW t - - L i n e a r M o d e l i n gw . ' C

E - 0 . 1 / 0M e m b r a n e P o t e n t i a l ( V o l t s ) o r " I n p u t "

F I G . 1 . F i r i n g r a t e v e r s u s m e m b r a n e v o l t a g e f o r a t y p i c a l n e u r o n( s o l i d l i n e ) , d r o p p i n g t o 0 f o r l a r g e n e g a t i v e p o t e n t i a l s a n d s a t u r a t i n gf o r p o s i t i v e p o t e n t i a l s . T h e b r o k e n l i n e s s h o w a p p r o x i m a t i o n s u s e d i nm o d e l i n g .

B i o p h y s i c s : H o p f i e l d


3/5

P r o c . N a t L A c a d . S c i . U S A 7 9 ( 1 9 8 2 )b e c o m e s a n i n p u t - o u t p u t r e l a t i o n s h i p f o r a n e u r o n .L i t t l e , S h a w , a n d R o n e y ( 8 , 2 5 , 2 6 ) h a v e d e v e l o p e d i d e a s o nt h e c o l l e c t i v e f u n c t i o n i n g o f n e u r a l n e t s b a s e d o n " o n / o f f " n e u -r o n s a n d s y n c h r o n o u s p r o c e s s i n g . H o w e v e r , i n t h e i r m o d e l t h er e l a t i v e t i m i n g o f a c t i o n p o t e n t i a l s p i k e s w a s c e n t r a l a n d r e -s u l t e d i n r e v e r b e r a t i n g a c t i o n p o t e n t i a l t r a i n s . O u r m o d e l a n dt h e i r s h a v e l i m i t e d f o r m a l s i m i l a r i t y , a l t h o u g h t h e r e m a y b ec o n n e c t i o n s a t a d e e p e r l e v e l .M o s t m o d e l i n g o f n e u r a l l e a r n i n g n e t w o r k s h a s b e e n b a s e do n s y n a p s e s o f a g e n e r a l t y p e d e s c r i b e d b y H e b b ( 2 7 ) a n d E c c l e s( 2 8 ) . T h e e s s e n t i a l i n g r e d i e n t i s t h e m o d i f i c a t i o n o f T ; b y c o r -r e l a t i o n s l i k e

A T 4 1 = [ V i ( t ) V j ( t ) ] a v e r a g e [ 6 ]w h e r e t h e a v e r a g e i s s o m e a p p r o p r i a t e c a l c u l a t i o n o v e r p a s th i s t o r y . D e c a y i n t i m e a n d e f f e c t s o f [ V i ( t ) ] a v g o r [ V j ( t ) ] a v g a r e a l s oa l l o w e d . M o d e l n e t w o r k s w i t h s u c h s y n a p s e s ( 1 6 , 2 0 , 2 1 ) c a nc o n s t r u c t t h e a s s o c i a t i v e T . , o f E q . 2 . We w i l l t h e r e f o r e i n i t i a l l ya s s u m e t h a t s u c h a T y 1 h a s b e e n p r o d u c e d b y p r e v i o u s e x p e r i -e n c e ( o r i n h e r i t a n c e ) . T h e H e b b i a n p r o p e r t y n e e d n o t r e s i d ei n s i n g l e s y n a p s e s ; s m a l l g r o u p s o f c e l l s w h i c h p r o d u c e s u c h an e t e f f e c t w o u l d s u f f i c e .T h e n e t w o r k o f c e l l s w e d e s c r i b e p e r f o r m s a n a b s t r a c t c a l -c u l a t i o n a n d , f o r a p p l i c a t i o n s , t h e i n p u t s s h o u l d b e a p p r o p r i -a t e l y c o d e d . I n v i s u a l p r o c e s s i n g , f o r e x a m p l e , f e a t u r e e x t r a c -t i o n s h o u l d p r e v i o u s l y h a v e b e e n d o n e . T h e p r e s e n t m o d e l i n gm i g h t t h e n b e r e l a t e d t o h o w a n e n t i t y o r G e s t a l t i s r e m e m b e r e do r c a t e g o r i z e d o n t h e b a s i s o f i n p u t s r e p r e s e n t i n g a c o l l e c t i o no f i t s f e a t u r e s .S t u d i e s o f t h e c o l l e c t i v e b e h a v i o r s o f t h e m o d e lT h e m o d e l h a s s t a b l e l i m i t p o i n t s . C o n s i d e r t h e s p e c i a l c a s e T= T j i , a n d d e f i n e

E =-2 T i j V j V j [ 7 ]i o jAE d u e t o A V 1 i s g i v e n b y

AE = - A V i T i j V j [ 8 ]j o i 'T h u s , t h e a l g o r i t h m f o r a l t e r i n g V i c a u s e s E t o b e a m o n o t o n i -c a l l y d e c r e a s i n g f u n c t i o n . S t a t e c h a n g e s w i l l c o n t i n u e u n t i l al e a s t ( l o c a l ) E i s r e a c h e d . T h i s c a s e i s i s o m o r p h i c w i t h a n I s i n gm o d e l . T i j p r o v i d e s t h e r o l e o f t h e e x c h a n g e c o u p l i n g , a n d t h e r ei s a l s o a n e x t e r n a l l o c a l f i e l d a t e a c h s i t e . W h e n T . j i s s y m m e t r i cb u t h a s a r a n d o m c h a r a c t e r ( t h e s p i n g l a s s ) t h e r e a r e k n o w n t ob e m a n y ( l o c a l l y ) s t a b l e s t a t e s ( 2 9 ) .M o n t e C a r l o c a l c u l a t i o n s w e r e m a d e o n s y s t e m s o f N = 3 0a n d N = 1 0 0 , t o e x a m i n e t h e e f f e c t o f r e m o v i n g t h e T . 1 = T .r e s t r i c t i o n . E a c h e l e m e n t o f T . , w a s c h o s e n a s a r a n d o m n u m b e rb e t w e e n - 1 a n d 1 . T h e n e u r a l a r c h i t e c t u r e o f t y p i c a l c o r t i c a lr e g i o n s ( 3 0 , 3 1 ) a n d a l s o o f s i m p l e g a n g l i a o f i n v e r t e b r a t e s ( 3 2 )s u g g e s t s t h e i m p o r t a n c e o f 1 0 0 - 1 0 , 0 0 0 c e l l s w i t h i n t e n s e m u -t u a l i n t e r c o n n e c t i o n s i n e l e m e n t a r y p r o c e s s i n g , s o o u r s c a l e o fN i s s l i g h t l y s m a l l .T h e d y n a m i c s a l g o r i t h m w a s i n i t i a t e d f r o m r a n d o m l y c h o s e ni n i t i a l s t a r t i n g c o n f i g u r a t i o n s . F o r N = 3 0 t h e s y s t e m n e v e rd i s p l a y e d a n e r g o d i c w a n d e r i n g t h r o u g h s t a t e s p a c e . W i t h i n at i m e o f a b o u t 4 / W i t s e t t l e d i n t o l i m i t i n g b e h a v i o r s , t h e c o m -m o n e s t b e i n g a s t a b l e s t a t e . W h e n 5 0 t r i a l s w e re e x am i ne d f o ra p a r t i c u l a r s u c h r a n d o m m a t r i x , a l l w o u l d r e s u l t i n o n e o f t w oo r t h r e e e n d s t a t e s . A f e w s t a b l e s t a t e s t h u s c o l l e c t t h e f l o w f r o mm o s t o f t h e i n i t i a l s t a t e s p a c e . A s i m p l e c y c l e a l s o o c c u r r e d o c -c a s i o n a l l y - f o r e x a m p l e , . A - * B - - A - - B

T h e t h i r d b e h a v i o r s e e n w a s c h a o t i c w a n d e r i n g i n a s m a l lr e g i o n o f s t a t e s p a c e . T h e H a m m i n g d i s t a n c e b e t we e n t wo b i -n a r y s t a t e s A a n d B i s d e f i n e d a s t h e n u m b e r o f p l a c e s i n w h i c ht h e d i g i t s a r e d i f f e r e n t . T h e c h a o t i c w a n d e r i n g o c c u r r e d w i t h i na s h o r t H a m m i n g d i s t a n c e o f o n e p a r t i c u l a r s t a t e . S t a t i s t i c s w e r ed o n e o n t h e p r o b a b i l i t y p i o f t h e o c c u r r e n c e o f a s t a t e i n a t i m eo f w a n d e r i n g a r o u n d t h i s m i n i m u m , a n d a n e n t r o p i c m e a s u r eo f t h e a v a i l a b l e s t a t e s M w a s t a k e n[ 9 ]

A v a l u e o f M = 2 5 w a s f o u n d f o r N = 3 0 . T h e f l o w i n p h a s e s p a c ep r o d u c e d b y t h i s m o d e l a l g o r i t h m h a s t h e p r o p e r t i e s n e c e s s a r yf o r a p h y s i c a l c o n t e n t - a d d r e s s a b l e m e m o r y w h e t h e r o r n o t Ti s s y m m e t r i c .S i m u l a t i o n s w i t h N = 1 0 0 w e r e m u c h s l o w e r a n d n o t q u a n -t i t a t i v e l y p u r s u e d . T h e y s h o w e d q u a l i t a t i v e s i m i l a r i t y t o N =3 0 .Wh y s h o u l d s t a b l e l i m i t p o i n t s o r r e g i o n s p e r s i s t w h e n T i j# T j j ? I f t h e a l g o r i t h m a t s o m e t i m e c h a n g e s V i f r o m 0 t o 1 o rv i c e v e r s a , t h e c h a n g e o f t h e e n e r g y d e f i n e d i n E q . 7 c a n b es p l i t i n t o t w o t e r m s , o n e o f w h i c h i s a l w a y s n e g a t i v e . T h e s e c o n di s i d e n t i c a l i f T y 1 i s s y m m e t r i c a n d i s " s t o c h a s t i c " w i t h m e a n 0i f T i j a n d T j i a r e r a n d o m l y c h o s e n . T h e a l g o r i t h m f o r T i j # T j ,t h e r e f o r e c h a n g e s E i n a f a s h i o n s i m i l a r t o t h e w a y E w o u l dc h a n g e i n t i m e f o r a s y m m e t r i c T i j b u t w i t h a n a l g o r i t h m c o r -r e s p o n d i n g t o a f i n i t e t e m p e r a t u r e .A b o u t 0 . 1 5 N s t a t e s c a n b e s i m u l t a n e o u s l y r e m e m b e r e d b e -f o r e e r r o r i n r e c a l l i s s e v e r e . C o m p u t e r m o d e l i n g o f m e m o r ys t o r a g e a c c o r d i n g t o E q . 2 w a s c a r r i e d o u t f o r N = 3 0 a n d N= 1 0 0 . n r a n d o m m e m o r y s t a t e s w e r e c h o s e n a n d t h e c o r r e -s p o n d i n g T . 9 w a s g e n e r a t e d . I f a n e r v o u s s y s t e m p r e p r o c e s s e ds i g n a l s f o r e f f i c i e n t s t o r a g e , t h e p r e p r o c e s s e d i n f o r m a t i o nw o u l d a p p e a r r a n d o m ( e . g . , t h e c o d i n g s e q u e n c e s o f D N A h a v ea r a n d o m c h a r a c t e r ) . T h e r a n d o m m e m o r y v e c t o r s t h u s s i m u l a t ee f f i c i e n t l y e n c o d e d r e a l i n f o r m a t i o n , a s w e l l a s r e p r e s e n t i n g o u ri g n o r a n c e . T h e s y s t e m w a s s t a r t e d a t e a c h a s s i g n e d n o m i n a lm e m o r y s t a t e , a n d t h e s t a t e w a s a l l o w e d t o e v o l v e u n t i ls t a t i o n a r y .T y p i c a l r e s u l t s a r e s h o w n i n F i g . 2 . T h e s t a t i s t i c s a r e a v e r a g e so v e r b o t h t h e s t a t e s i n a g i v e n m a t r i x a n d d i f f e r e n t m a t r i c e s .W i t h n = 5 , t h e a s s i g n e d m e m o r y s t a t e s a r e a l m o s t a l w a y s s t a b l e( a n d e x a c t l y r e c a l l a b l e ) . F o r n = 1 5 , a b o u t h a l f o f t h e n o m i n a l l yr e m e m b e r e d s t a t e s e v o l v e d t o s t a b l e s t a t e s w i t h l e s s t h a n 5 e r -r o r s , b u t t h e r e s t e v o l v e d t o s t a t e s q u i t e d i f f e r e n t f r o m t h e s t a r t -i n g p o i n t s .T h e s e r e s u l t s c a n b e u n d e r s t o o d f r o m a n a n a l y s i s o f t h e e f f e c to f t h e n o i s e t e r m s . I n E q . 3 , H ' i s t h e " e f f e c t i v e f i e l d " o n n e u r o ni w h e n t h e s t a t e o f t h e s y s t e m i s s ' , o n e o f t h e n o m i n a l m e m o r ys t a t e s . T h e e x p e c t a t i o n v a l u e o f t h i s s u m , E q . 4 , i s N / 2 a sa p p r o p r i a t e . T h e s # s ' s u m m a t i o n i n E q . 2 c o n t r i b u t e s n om e a n , b u t h a s a r m s n o i s e o f [ ( n - 1 ) N / 2 ] ' 2 - a . F o r nN l a r g e ,t h i s n o i s e i s a p p r o x i m a t e l y G a u s s i a n a n d t h e p r o b a b i l i t y o f a ne r r o r i n a s i n g l e p a r t i c u l a r b i t o f a p a r t i c u l a r m e m o r y w i l l b e

P = 1 e - x 2 / 2 a 2 d x .2/ 2 [ 1 0 ]F o r t h e c a s e n = 1 0 , N = 1 0 0 , P = 0 . 0 0 9 1 , t h e p r o b a b i l i t y t h a ta s t a t e h a d n o e r r o r s i n i t s 1 0 0 b i t s s h o u l d b e a b o u t e C 0 O 9 ' 0 . 4 0 .I n t h e s i m u l a t i o n o f F i g . 2 , t h e e x p e r i m e n t a l n u m b e r w a s 0 . 6 .T h e t h e o r e t i c a l s c a l i n g o f n w i t h N a t f i x e d P w a s d e m o n -s t r a t e d i n t h e s i m u l a t i o n s g o i n g b e t w e e n N = 3 0 a n d N = 1 0 0 .T h e e x p e r i m e n t a l r e s u l t s o f h a l f t h e m e m o r i e s b e i n g w e l l r e -t a i n e d a t n = 0 . 1 5 N a n d t h e r e s t b a d l y r e t a i n e d i s e x p e c t e d t o

2 5 5 6 B i o p h y s i c s : H o p f i e l d

I n M= - 2 p i I n p i .


4/5

P r o c . N a t l . A c a d . S c i . USA 7 9 ( 1 9 8 2 ) 2 5 5 7

1.0

0 . 5 N- 1 0 0

0.5 n=1 0N= 1 0 02& 0.2

0.2 n=10 . 2 N= 1 0 0

3 6 9 1 0 - 20- 30- 40 - > 4 91 9 2 9 3 9 49N e r r = Number o f E r r o r s i n S t a t e

F I G . 2 . T h e p r o b a b i l i t y d i s t r i b u t i o n o f t h e occurrence o f errors i nt h e l o c a t i o n o f t h e s t a b l e s t a t e s o b t a i n e d f r o m n o m i n a l l y a s s i g n e dm e m o r i e s .b e t r u e f o r a l l l a r g e N . T h e i n f o r m a t i o n s t o r a g e a t a g i v e n l e v e lo f a c c u r a c y c a n b e i n c r e a s e d b y a f a c t o r o f 2 b y a j u d i c i o u s c h o i c eo f i n d i v i d u a l n e u r o n t h r e s h o l d s . T h i s c h o i c e i s e q u i v a l e n t t ou s i n g v a r i a b l e s i p = 1 , T i j = 1 , , u 4 , 4 j , a n d a t h r e s h o l d l e v e lo f 0 .G i v e n some a r b i t r a r y s t a r t i n g s t a t e , w h a t i s t h e r e s u l t i n g f i n a ls t a t e ( o r s t a t i s t i c a l l y , s t a t e s ) ? T o s t u d y t h i s , e v o l u t i o n s f r o m ran-d o m l y c h o s e n i n i t i a l s t a t e s were t a b u l a t e d f o r N =3 0 a n d n= 5 . F r o m t h e ( i n e s s e n t i a l ) s y m m e t r y o f t h e a l g o r i t h m , i f( 1 0 1 1 1 0 ) i s a n a s s i g n e d s t a b l e s t a t e , ( 0 1 0 0 0 1 . ) i s a l s o s t a b l e .T h e r e f o r e , t h e m a t r i c e s h a d 1 0 n o m i n a l s t a b l e s t a t e s . A p p r o x -i m a t e l y 8 5 % o f t h e t r i a l s e n d e d i n a s s i g n e d m e m o r i e s , a n d 1 0 %e n d e d i n s t a b l e s t a t e s o f n o o b v i o u s m e a n i n g . An a m b i g u o u s 5%l a n d e d i n s t a b l e s t a t e s very n e a r a s s i g n e d m e m o r i e s . T h e r e w a sa r a n g e o f a f a c t o r o f 2 0 o f t h e l i k e l i h o o d o f f i n d i n g t h e s e 1 0s t a t e s .T h e a l g o r i t h m l e a d s t o m e m o r i e s n e a r t h e s t a r t i n g s t a t e . F o rN = 3 0 , n = 5 , p a r t i a l l y r a n d o m s t a r t i n g s t a t e s were g e n e r a t e db y r a n d o m m o d i f i c a t i o n o f k n o w n m e m o r i e s . T h e p r o b a b i l i t yt h a t t h e f i n a l s t a t e w a s t h a t c l o s e s t t o t h e i n i t i a l s t a t e w a s s t u d i e da s a f u n c t i o n o f t h e d i s t a n c e b e t w e e n t h e i n i t i a l s t a t e a n d t h en e a r e s t m e m o r y s t a t e . F o r d i s t a n c e c 5 , t h e n e a r e s t s t a t e w a sr e a c h e d more t h a n 9 0 % o f t h e t i m e . B e y o n d t h a t d i s t a n c e , t h ep r o b a b i l i t y f e l l o f f s m o o t h l y , d r o p p i n g t o a l e v e l o f 0 . 2 ( 2 t i m e sr a n d o m c h a n c e ) f o r a d i s t a n c e o f 1 2 .

The p h a s e space flow is apparently dominated by attractorsw h i c h a re t h e n o m i n a l l y a s s i g n e d m e m o r i e s , e a c h o f w h i c h d o m -i n a t e s a s u b s t a n t i a l r e g i o n a r o u n d i t . T h e f l o w i s n o t e n t i r e l yd e t e r m i n i s t i c , a n d t h e s y s t e m r e s p o n d s t o an a m b i g u o u s s t a r t -i n g s t a t e b y a s t a t i s t i c a l c h o i c e b e t w e e n t h e memory s t a t e s i tm o s t r e s e m b l e s .W e r e i t d e s i r e d t o us e s u c h a s y s t e m i n a n S i - b a s e d c o n t e n t -a d d r e s s a b l e m e m o r y, t h e a l g o r i t h m s h o u l d b e u s e d a n d m o d i -f i e d t o h o l d t h e know n b i t s o f i n f o r m a t i o n w h i l e l e t t i n g t h e o t h -e r s a d j u s t .

T h e m o d e l w a s s t u d i e d b y u s i n g a " c l i p p e d " T i j , r e p l a c i n g T 4 ,i n E q . 3 b y 1 , t h e a l g e b r a i c s i g n o f T i j . T h e p u r p o s e s w e r e t oe x a m i n e t h e n e c e s s i t y o f a l i n e a r s y n a p s e s u p p o s i t i o n ( b y m a k i n ga h i g h l y n o n l i n e a r o n e ) a n d t o e x a m i n e t h e e f f i c i e n c y o f s t o r a g e .O n l y N ( N / 2 ) b i t s o f i n f o r m a t i o n c a n p o s s i b l y b e s t o r e d i n t h i ss y m m e t r i c m a t r i x . E x p e r i m e n t a l l y , f o r N = 1 0 0 , n = 9 , t h e l e v e lo f e r r o r s w a s s i m i l a r t o t h a t f o r t h e o r d i n a r y a l g o r i t h m a t n =1 2 . T h e s i g n a l - t o - n o i s e r a t i o c a n b e e v a l u a t e d a n a l y t i c a l l y f o rt h i s c l i p p e d a l g o r i t h m a n d i s r e d u c e d b y a f a c t o r o f ( 2 / r ) 1 " 2 c o m -p a r e d w i t h t h e u n c l i p p e d c a s e . F o r a f i x e d e r r o r p r o b a b i l i t y , t h en u m b e r o f m e m o r i e s m u s t b e r e d u c e d b y 2 / i r .W i t h t h e 4 a l g o r i t h m a n d t h e c l i p p e d T i j , b o t h a n a l y s i s a n dm o d e l i n g s h o w e d t h a t t h e m a x i m a l i n f o r m a t i o n s t o r e d f o r N= 1 0 0 o c c u r r e d a t a b o u t n = 1 3 . S o m e e r r o r s w e r e p r e s e n t , a n dt h e S h a n n o n i n f o r m a t i o n s t o r e d c o r r e s p o n d e d t o a b o u t N ( N /8 ) b i t s .New m e m o r i e s c a n b e c o n t i n u a l l y a d d e d t o T i . . T h e a d d i t i o no f n e w m e m o r i e s b e y o n d t h e c a p a c i t y o v e r l o a d s t h e s y s t e m a n dm a k e s a l l m e m o r y s t a t e s i r r e t r i e v a b l e u n l e s s t h e r e i s a p r o v i s i o nf o r f o r g e t t i n g o l d m e m o r i e s ( 1 6 , 2 7 , 2 8 ) .T h e s a t u r a t i o n o f t h e p o s s i b l e s i z e o f T i j w i l l i t s e l f c a u s e f o r -g e t t i n g . L e t t h e p o s s i b l e v a l u e s o f T Y b e 0 , 1 , 2 , 3 , a n dT t , b e f r e e l y i n c r e m e n t e d w i t h i n t h i s r a n g e . I f T i j = 3 , a n e x ti n c r e m e n t o f + 1 w o u l d b e i g n o r e d a n d a n e x t i n c r e m e n t o f-1 w o u l d r e d u c e T i j t o 2 . W h e n T y , i s s o c o n s t r u c t e d , o n l y t h er e c e n t m e m o r y s t a t e s a r e r e t a i n e d , w i t h a s l i g h t l y i n c r e a s e dn o i s e l e v e l . M e m o r i e s f r o m t h e d i s t a n t p a s t a r e n o l o n g e r s t a b l e .Ho w f a r i n t o t h e p a s t a r e s t a t e s r e m e m b e r e d d e p e n d s o n t h ed i g i t i z i n g d e p t h o f T . , a n d 0 , , 3 i s a n a p p r o p r i a t e l e v e l f o rN = 1 0 0 . O t h e r s c h e m e s c a n b e u s e d t o k e e p t o o m a n y mem-o r i e s f r o m b e i n g s i m u l t a n e o u s l y w r i t t e n , b u t t h i s p a r t i c u l a r o n ei s a t t r a c t i v e b e c a u s e i t r e q u i r e s n o d e l i c a t e b a l a n c e s a n d i s ac o n s e q u e n c e o f n a t u r a l h a r d w a r e .R e a l n e u r o n s n e e d n o t m a k e s y n a p s e s b o t h o f i - - j a n d ji . P a r t i c u l a r s y n a p s e s a r e r e s t r i c t e d t o o n e s i g n o f o u t p u t . Wet h e r e f o r e a s k e d w h e t h e r T i j = T j j i s i m p o r t a n t . S i m u l a t i o n s w e r ec a r r i e d o u t w i t h o n l y o n e i j c o n n e c t i o n : i f T - $ 0 , T . i = 0 . T h ep r o b a b i l i t y o f m a k i n g e r r o r s i n c r e a s e d , b u t t h e a l g o r i t h m c o n -t i n u e d t o g e n e r a t e s t a b l e m i n i m a . A G a u s s i a n n o i s e d e s c r i p t i o no f t h e e r r o r r a t e s h o w s t h a t t h e s i g n a l - t o - n o i s e r a t i o f o r g i v e nn a n d N s h o u l d b e d e c r e a s e d b y t h e f a c t o r 1 / F 2 , a n d t h e s i m -u l a t i o n s w e r e c o n s i s t e n t w i t h s u c h a f a c t o r . T h i s s a m e a n a l y s i ss h o w s t h a t t h e s y s t e m g e n e r a l l y f a i l s i n a " s o f t " f a s h i o n , w i t hs i g n a l - t o - n o i s e r a t i o a n d e r r o r r a t e i n c r e a s i n g s l o w l y a s m o r es y n a p s e s f a i l .M e m o r i e s t o o c l o s e t o e a c h o t h e r a r e c o n f u s e d a n d t e n d t om e r g e . F o r N = 1 0 0 , a p a i r o f r a n d o m m e m o r i e s s h o u l d b e s e p -a r a t e d b y 5 0 5 H a m m i n g u n i t s . T h e c a s e N = 1 0 0 , n = 8 ,w a s s t u d i e d w i t h s e v e n r a n d o m m e m o r i e s a n d t h e e i g h t h m a d eu p a H a m m i n g d i s t a n c e o f o n l y 3 0 , 2 0 , o r 1 0 f r o m o n e o f t h eo t h e r s e v e n m e m o r i e s . A t a d i s t a n c e o f 3 0 , b o t h s i m i l a r mem-o r i e s w e r e u s u a l l y s t a b l e . A t a d i s t a n c e o f 2 0 , t h e m i n i m a w e r eu s u a l l y d i s t i n c t b u t d i s p l a c e d . A t a d i s t a n c e o f 1 0 , t h e m i n i m aw e r e o f t e n f u s e d .

T h e a l g o r i t h m c a t e g o r i z e s i n i t i a l s t a t e s a c c o r d i n g t o t h e s i m -i l a r i t y t o m e m o r y s t a t e s . W i t h a t h r e s h o l d o f 0 , t h e s y s t e m b e -h a v e s a s a f o r c e d c a t e g o r i z e r .T h e s t a t e 0 0 0 0 0 . . . i s a l w a y s s t a b l e . F o r a t h r e s h o l d o f 0 , t h i ss t a b l e s t a t e i s m u c h h i g h e r i n e n e r g y t h a n t h e s t o r e d m e m o r ys t a t e s a n d v e r y s e l d o m o c c u r s . A d d i n g a u n i f o r m t h r e s h o l d i nt h e a l g o r i t h m i s e q u i v a l e n t t o r a i s i n g t h e e f f e c t i v e e n e r g y o f t h es t o r e d m e m o r i e s c o m p a r e d t o t h e 0 0 0 0 s t a t e , a n d 0 0 0 0 a l s ob e c o m e s a l i k e l y s t a b l e s t a t e . T h e 0 0 0 0 s t a t e i s t h e n g e n e r a t e db y a n y i n i t i a l s t a t e t h a t d o e s n o t r e s e m b l e a d e q u a t e l y c l o s e l yo n e o f t h e a s s i g n e d m e m o r i e s a n d r e p r e s e n t s p o s i t i v e r e c o g -n i t i o n t h a t t h e s t a r t i n g s t a t e i s n o t f a m i l i a r .

B i o p h y s i c s : H o p f i e l d


5/5

P r o c . N a t l . A c a d . S c i . USA 7 9 ( 1 9 8 2 )F a m i l i a r i t y c a n b e r e c o g n i z e d b y o t h e r m e a n s w h e n t h em e m o r y i s d r a s t i c a l l y o v e r l o a d e d . We e x a m i n e d t h e c a s e N= 1 0 0 , n = 5 0 0 , i n w h i c h t h e r e i s a m e m o r y o v e r l o a d o f a f a c t o ro f 2 5 . N o n e o f t h e m e m o r y s t a t e s a s s i g n e d w e r e s t a b l e . T h e i n i -t i a l r a t e o f p r o c e s s i n g o f a s t a r t i n g s t a t e i s d e f i n e d a s t h e n u m b e ro f n e u r o n s t a t e r e a d j u s t m e n t s t h a t o c c u r i n a t i m e 1 / 2 W . F a -m i l i a r a n d u n f a m i l i a r s t a t e s w e r e d i s t i n g u i s h a b l e m o s t o f t h et i m e a t t h i s l e v e l o f o v e r l o a d o n t h e b a s i s o f t h e i n i t i a l p r o c e s s i n gr a t e , w h i c h w as f a s t e r f o r u n f a m i l i a r s t a t e s . T h i s k i n d o f f a m i l -

i a r i t y c a n o n l y b e r e a d o u t o f t h e s y s t e m b y a c l a s s o f n e u r o n so r d e v i c e s a b s t r a c t i n g a v e r a g e p r o p e r t i e s o f t h e p r o c e s s i n gg r o u p .F o r t h e c a s e s s o f a r c o n s i d e r e d , t h e e x p e c t a t i o n v a l u e o f T i jw a s 0 f o r i # j . A s e t o f m e m o r i e s c a n b e s t o r e d w i t h a v e r a g ec o r r e l a t i o n s , a n d T y = C i j # 0 b e c a u s e t h e r e i s a c o n s i s t e n t i n -t e r n a l c o r r e l a t i o n i n t h e m e m o r i e s . I f n o w a p a r t i a l n e w s t a t eX i s s t o r e dA T U j = ( 2 X i - 1 ) ( 2 X j - 1 ) Q ~ -- k < N [ i l l

u s i n g o n l y k o f t h e n e u r o n s r a t h e r t h a n N , a n a t t e m p t t o r e -c o n s t r u c t i t w i l l g e n e r a t e a s t a b l e p o i n t f o r a l l N n e u r o n s . T h ev a l u e s o f X k + l - *.XN t h a t r e s u l t w i l l b e d e t e r m i n e d p r i m a r i l yf r o m t h e s i g n o fkE C i j X j [ 1 2 ]j = 1a n d X i s c o m p l e t e d a c c o r d i n g t o t h e m e a n c o r r e l a t i o n s o f t h eo t h e r m e m o r i e s . T h e m o s t e f f e c t i v e i m p l e m e n t a t i o n o f t h i s c a -p a c i t y s t o r e s a l a r g e n u m b e r o f c o r r e l a t e d m a t r i c e s w e a k l y f o l -l o w e d b y a n o r m a l s t o r a g e o f X .A n o n s y m m e t r i c T . . c a n l e a d t o t h e p o s s i b i l i t y t h a t a m i n i m u mw i l l b e o n l y m e t a s t a b l e a n d w i l l b e r e p l a c e d i n t i m e b y a n o t h e rm i n i m u m . A d d i t i o n a l n o n s y m m e t r i c t e r m s w h i c h c o u l d b e e a s -i l y g e n e r a t e d b y a m i n o r m o d i f i c a t i o n o f H e b b s y n a p s e s

A T U = A > ( 2 V s + 1 - 1 ) ( 2 V j - 1 ) [ 1 3 ]S

w e r e a d d e d t o T . W h e n A w a s j u d i c i o u s l y a d j u s t e d , t h e s y s t e mw o u l d s p e n d a w h i l e n e a r V . a n d t h e n l e a v e a n d g o t o a p o i n tn e a r V , + , . B u t s e q u e n c e s l o n g e r t h a n f o u r s t a t e s p r o v e d i m -p o s s i b l e t o g e n e r a t e , a n d e v e n t h e s e w e r e n o t f a i t h f u l l yf o l l o w e d .D i s c u s s i o nI n t h e m o d e l n e t w o r k e a c h " n e u r o n " h a s e l e m e n t a r y p r o p e r t i e s ,a n d t h e n e t w o r k h a s l i t t l e s t r u c t u r e . N o n e t h e l e s s , c o l l e c t i v ec o m p u t a t i o n a l p r o p e r t i e s s p o n t a n e o u s l y a r o s e . M e m o r i e s a r er e t a i n e d a s s t a b l e e n t i t i e s o r G e s t a l t s a n d c a n b e c o r r e c t l y r e -c a l l e d f r o m a n y r e a s o n a b l y s i z e d s u b p a r t . A m b i g u i t i e s a r e r e -s o l v e d o n a s t a t i s t i c a l b a s i s . S o m e c a p a c i t y f o r g e n e r a l i z a t i o n i sp r e s e n t , a n d t i m e o r d e r i n g o f m e m o r i e s c a n a l s o b e e n c o d e d .T h e s e p r o p e r t i e s f o l l o w f r o m t h e n a t u r e o f t h e f l o w i n p h a s es p a c e p r o d u c e d b y t h e p r o c e s s i n g a l g o r i t h m , w h i c h d o e s n o ta p p e a r t o b e s t r o n g l y d e p e n d e n t o n p r e c i s e d e t a i l s o f t h e m o d -e l i n g . T h i s r o b u s t n e s s s u g g e s t s t h a t s i m i l a r e f f e c t s w i l l o b t a i ne v e n w h e n m o r e n e u r o b i o l o g i c a l d e t a i l s a r e a d d e d .M u c h o f t h e a r c h i t e c t u r e o f r e g i o n s o f t h e b r a i n s o f h i g h e ra n i m a l s m u s t b e m a d e f r o m a p r o l i f e r a t i o n o f s i m p l e l o c a l c i r -c u i t s w i t h w e l l - d e f i n e d f u n c t i o n s . T h e b r i d g e b e t w e e n s i m p l ec i r c u i t s a n d t h e c o m p l e x c o m p u t a t i o n a l p r o p e r t i e s o f h i g h e r

n e r v o u s s y s t e m s m a y b e t h e s p o n t a n e o u s e m e r g e n c e o f n e wc o m p u t a t i o n a l c a p a b i l i t i e s f r o m t h e c o l l e c t i v e b e h a v i o r o f l a r g en u m b e r s o f s i m p l e p r o c e s s i n g e l e m e n t s .I m p l e m e n t a t i o n o f a s i m i l a r m o d e l b y u s i n g i n t e g r a t e d c i r -c u i t s w o u l d l e a d t o c h i p s w h i c h a r e m u c h l e s s s e n s i t i v e t o e l e -m e n t f a i l u r e a n d s o f t - f a i l u r e t h a n a r e n o r m a l c i r c u i t s . S u c h c h i p sw ou l d b e w a s t e f u l o f g a t e s b u t c o u l d b e m a d e m a n y t i m e s l a r g e rt h a n s t a n d a r d d e s i g n s a t a g i v e n y i e l d . T h e i r a s y n c h r o n o u s p a r -a l l e l p r o c e s s i n g c a p a b i l i t y w o u l d p r o v i d e r a p i d s o l u t i o n s t o s o m es p e c i a l c l a s s e s o f c o m p u t a t i o n a l p r o b l e m s .

T h e w or k a t C a l i f o r n i a I n s t i t u t e o f T e c h n o l o g y w a s s u p p o r t e d i n p a r tb y N a t i o n a l S c i e n c e F o u n d a t i o n G r a n t D M R - 8 1 0 7 4 9 4 . T h i s i s c o n t r i -b u t i o n n o . 6 5 8 0 f r o m t h e D i v i s i o n o f C h e m i s t r y a n d C h e m i c a lE n g i n e e r i n g .1 . W i l l o w s , A . 0 . D . , D o r s e t t , D . A . & H o y l e , G . ( 1 9 7 3 ) J . N e u -r o b i o l 4 , 2 0 7 - 2 3 7 , 2 5 5 - 2 8 5 .2 . K r i s t a n , W . B . ( 1 9 8 0 ) i n I n f o r m a t i o n P r o c e s s i n g i n t h e N e r v o u sS y s t e m , e d s . P i n s k e r , H . M . & W i l l i s , W . D . ( R a v e n , Ne w Y o r k ) ,2 4 1 - 2 6 1 .3 . K n i g h t , B . W. ( 1 9 7 5 ) L e c t . M a t h . L i f e S c i . 5 , 1 1 1 - 1 4 4 .4 . S m i t h , D . R . & D a v i d s o n , C . H . ( 1 9 6 2 ) J . A s s o c . C o m p u t . M a c h .9 , 2 6 8 - 2 7 9 .5 . H a r m o n , L . D . ( 1 9 6 4 ) i n N e u r a l T h e o r y a n d M o d e l i n g , e d . R e i s s ,R . F . ( S t a n f o r d U n i v . P r e s s , S t a n f o r d , C A ) , p p . 2 3 - 2 4 .6 . A m a r i , S . - I . ( 1 9 7 7 ) B i o . C y b e r n . 2 6 , 1 7 5 - 1 8 5 .7 . A m a r i , S . - I . & A k i k a z u , T . ( 1 9 7 8 ) B i o l C y b e r n . 2 9 , 1 2 7 - 1 3 6 .8 . L i t t l e , W . A . ( 1 9 7 4 ) M a t h . B i o s c i . 1 9 , 1 0 1 - 1 2 0 .9 . M a r r , J . ( 1 9 6 9 ) J . P h y s i o l 2 0 2 , 4 3 7 - 4 7 0 .1 0 . K o h o n e n , T . ( 1 9 8 0 ) C o n t e n t A d d r e s s a b l e M e m o r i e s ( S p r i n g e r ,New Y o r k ) .1 1 . P a l m , G . ( 1 9 8 0 ) B i o l C y b e r n . 3 6 , 1 9 - 3 1 .1 2 . M c C u l l o c h , W. S . & P i t t s , W. ( 1 9 4 3 ) B u l L M a t h B i o p h y s . 5 ,1 1 5 - 1 3 3 .1 3 . M i n s k y , M . & P a p e r t , S . ( 1 9 6 9 ) P e r c e p t r o n s : An I n t r o d u c t i o n t oC o m p u t a t i o n a l G e o m e t r y ( M I T P r e s s , C a m b r i d g e , M A ) .1 4 . R o s e n b l a t t , F . ( 1 9 6 2 ) P r i n c i p l e s o f P e r c e p t r o n s ( S p a r t a n , W a s h -i n g t o n , D C ) .1 5 . C o o p e r , L . N . ( 1 9 7 3 ) i n P r o c e e d i n g s o f t h e N o b e l S y m p o s i u m o nC o l l e c t i v e P r o p e r t i e s o f P h y s i c a l S y s t e m s , e d s . L u n d q v i s t , B . &L u n d q v i s t , S . ( A c a d e m i c , New Y o r k ) , 2 5 2 - 2 6 4 .1 6 . C o o p e r , L . N . , L i b e r m a n , F . & O j a , E . ( 1 9 7 9 ) B i o l C y b e r n . 3 3 ,

9 - 2 8 .1 7 . L o n g u e t - H i g g i n s , J . C . ( 1 9 6 8 ) P r o c . R o y . S o c . L o n d o n S e r . B 1 7 1 ,3 2 7 - 3 3 4 .1 8 . L o n g u e t - H i g g i n s , J . C . ( 1 9 6 8 ) N a t u r e ( L o n d o n ) 2 1 7 , 1 0 4 - 1 0 5 .1 9 . K o h o n e n , T . ( 1 9 7 7 ) A s s o c i a t i v e M e m o r y - A S y s t e m - T h e o r e t i cA p p r o a c h ( S p r i n g e r , New Y o r k ) .2 0 . W i l l w a c h e r , G . ( 1 9 7 6 ) B i o l C y b e r n . 2 4 , 1 8 1 - 1 9 8 .2 1 . A n d e r s o n , J . A . ( 1 9 7 7 ) P s y c h . R e v . 8 4 , 4 1 3 - 4 5 1 .2 2 . P e r k e l , D . H . & B u l l o c k , T . H . ( 1 9 6 9 ) N e u r o s c i . R e s . S y m p .S u m m . 3 , 4 0 5 - 5 2 7 .2 3 . J o h n , E . R . ( 1 9 7 2 ) S c i e n c e 1 7 7 , 8 5 0 - 8 6 4 .2 4 . R o n e y , K . J . , S c h e i b e l , A . B . & S h a w , G . L . ( 1 9 7 9 ) B r a i n R e s .R e v . 1 , 2 2 5 - 2 7 1 .2 5 . L i t t l e , W. A . & S h a w , G . L . ( 1 9 7 8 ) M a t h . B i o s c i . 3 9 , 2 8 1 - 2 8 9 .2 6 . S h a w , G . L . & R o n e y , K . J . ( 1 9 7 9 ) P h y s . R e v . L e t t . 7 4 , 1 4 6 - 1 5 0 .2 7 . H e b b , D . 0 . ( 1 9 4 9 ) T h e O r g a n i z a t i o n o f B e h a v i o r ( W i l e y , NewY o r k ) .2 8 . E c c l e s , J . G . ( 1 9 5 3 ) T h e N e u r o p h y s i o l o g i c a l B a s i s o f M i n d ( C l a r -e n d o n , O x f o r d ) .2 9 . K i r k p a t r i c k , S . & S h e r r i n g t o n , D . ( 1 9 7 8 ) P h y s . R e v . 1 7 , 4 3 8 4 - 4 4 0 3 .3 0 . M o u n t c a s t l e , V . B . ( 1 9 7 8 ) i n T h e M i n d f u l B r a i n , e d s . E d e l m a n ,G . M . & M o u n t c a s t l e , V . B . ( M I T P r e s s , C a m b r i d g e , M A ) , p p .3 6 - 4 1 .3 1 . G o l d m a n , P . S . & N a u t a , W. J . H . ( 1 9 7 7 ) B r a i n R e s . 1 2 2 ,3 9 3 - 4 1 3 .3 2 . K a n d e l , E . R . ( 1 9 7 9 ) S c i . A m . 2 4 1 , 6 1 - 7 0 .

0 r l, 2 5 5 8 B i o p h y s i c s : H o p f i e l d

j.j. hopfield- neural networks and physical systems with emergent collective computational abilities

Documents