wcdma downlink load sharing with dynamic control of soft handover parameters

8/13/2019 WCDMA Downlink Load Sharing with Dynamic Control of Soft Handover Parameters

1/5

WCDMA D o w n l i n k L o a d Sharing w i t h D y n a m i cC o n t r o l of Soft H a n d o v e r P a r a m e t e r sR i d h a N a s r i , Zwi A l t m a n , H e r v e D u b r e i l , Z a k a r i a N o u i r

F r a n c e T e l e c o m R e s e a r c h a n d D e v e l o p m e n t , RESA-NET, 3 8 - 4 0 ru e d u G e n e r a l L e c l e r c9 2 7 9 4 I s s y l e s M o u l i n e a u x , C e d e x 9 , F r a n c e{r i d h a . n a s r i , z w i . a l t m a n , h e r v e . d u b r e i l , z a k a r i a . n o u i r } g f r a n c e t e l e c o m . c o m

A b s t r a c t - I n t h i s a r t i c l e , we a d d r e s s t h e p r o b l e m o f a u t o - t u n i n g o fs o f t h a n d o v e r ( S H O ) p a r a m e t e r s i n WCDMA n e t w o r k s . Thea u t o - t u n i n g p r o c e s s u s e s a f u z z y Q - l e a r n i n g c on t r ol le r t o a d a p tSHO p a r a m e t e r s t o v a r y i n g n e t w o r k s i t u a t i o n s s u c h a s t r a f f i cf l u c t u a t i o n . T h e f u z z y Q - l e a r n i n g c o n t r o l l e r c o m b i n e s b o t h f u z z yl o g i c t h e o r y a n d r e i n f o r c e m e n t l e a r n i n g m e t h o d . Thec o o p e r a t i o n o f t h e s e t w o m e c h a n i s m s s i m p l i f i e s t h e t as k o f t h eo n l i n e o p t i m i z a t i o n o f f u z z y l o g i c r u l e s a n d c o n s e q u e n t l y l e a d s t oa b e t t e r o n l i n e SHO p a r a m e t e r i z a t i o n o f e a c h b a s e s t a t i o n i n t h en e t w o r k . T h e p r o p o s e d s c h e m e i m p r o v e s t h e s y s t e m c a p a c i t yc o m p a r e d t o a c l a s s i c a l n e t w o r k w i t h f i x e d p a r a m e t e r s , b a l a n c e st h e l o a d b e t w e e n b a s e s t a t i o n s a n d m i n i m i z e s humani n t e r v e n t i o n i n n e t w o r k management a n d o p t i m i z a t i o n t a s k s .I n d e x Terms-WCDMA n e t w o r k s , S o f t h a n d o v e r , f u z z y Q - l e a r n i n g ,a u t o - t u n i n g .

I . I N T R O D U C T I O NI n WCDMA n e t w o r k s , s o f t h a n d o v e r ( S H O ) i s a n i mp o r t an tm e c h a n i s m t h a t c o n t r i b u t e s t o t h e q u a l i t y o f s e r v i c e ( Q o S ) ,s i n c e i t i n c r e a s e s t h e c a p a c i t y a n d t h e c o v e r a g e a n d l e a d s t o as m o o t h m o b i l i t y o f u s e r s . H o w e v e r , w h e n t h e SHO o v e r h e a d( p e r c e n t a g e o f m ob il es i n SHO s i t u a t i o n ) e x c e e d s a c e r t a i nt h r e s h o l d i . e . 4 5 ) , t h e SHO b e c o m e s a h a n d i c a p f o r t h ed o w n l i n k c a p a c i t y . I n s u c h a c a s e , a new l i n k e s t a b l i s h m e n ti n c r e a s e s i n t e r f e r e n c e a n d d e c r e a s e s t h e a v a i l a b l e b a s e s t a t i o n( B S ) p o w e r . C a r e f u l d y n a m i c o n l i n e s e t t i n g o f SHOp a r a m e t e r s n a m e l y H y s t e r e s i s e v e n t l A a n d H y s t e r e s i s _e v e n t i B ( a c c o r d i n g t o 3GPP s p e c i f i c a t i o n s [ 1 ] ) i s t h e nr e q u i r e d a n d c o u l d b e p a r t i c u l a r l y b e n e f i c i a l i n 3G-CDMAn e t w o r k s . I n g e n e r a l , t h e t r a f f i c f l u c t u a t i o n a n d t h e m o b i l ee n v i r o n m e n t u n p r e d i c t a b i l i t y r e n d e r f i x e d p a r a m e t e r s e t t i n gi n a c c u r a t e a n d i n s u f f i c i e n t . T h a t i s why a n o n l i n e -o p t i m i z a t i o n o f s u c h p a r a m e t e r s i s a n e n c o u r a g i n g m e t h o d t oa d a p t t h e n e t w o r k t o s u c h t r a f f i c v a r i a t i o n . By a d j u s t i n gd y n a m i c a l l y t h e SHO p a r a m e t e r s , a b e t t e r b a l a n c e o f l o a db e t w e e n B S s c a n b e a c h i e v e d . A s a c o n s e q u e n c e , t h e c a p a c i t ya n d t h e c o v e r a g e o f t h e s y s t e m may i n c r e a s e a n d m o r e u s e r s

c a n b e a c c o m m o d a t e d w i t h g o o d q u a l i t y .F u z z y l o g i c c o n t r o l l e r ( F L C ) w i t h Q - l e a r n i n g a l g o r i t h ma l l o w s t o p e r f o r m t h e a u t o - t u n i n g p r o c e s s q u i c k l y a n de f f i c i e n t l y . I n f a c t , FLC i s u s e d i n v a r i o u s d o m a i n s i n* T h i s w o r k h a s b e e n c a r r i e d o u t i n t h e f r a m e w o r k o f t h e E u r o p e a n CELTICi n i t i a t i v e , a n d h a s b e e n p a r t i a l l y f u n d e d b y t h e F r e n c h M i n i s t r y o f I n d u s t r y .

e n g i n e e r i n g a n d i s p a r t i c u l a r l y r e c o m m e n d e d f o r t h e c o n t r o lt a s k o f r a d i o r e s o u r c e m a n a g e m e n t f u n c t i o n s [ 3 , 4 ] . T h i s i sd u e t o i t s s i m p l i c i t y a n d a b i l i t y t o m o d e l t h e human t h i n k i n g .F u z z y l o g i c c o n t r o l t r a n s l a t e s h u m a n l i n g u i s t i c r u l e s i n t os i mp l e m a th e m at i c al e q u a t i o n s . T h e Q - l e a r n i n g a l g o r i t h m i su s e d t o d y n a m i c a l l y o pt im iz e f u z z y r u l e s a n d t o a d a p t t h ec o n t r o l l e r t o a n y n e t w o r k s i t u a t i o n . I t i n c l u d e s a l e a r n i n gp h a s e i n w h i c h t h e FLC d y n a m i c a l l y l e a r n s w h a t t o d o ,n a m e l y how t o map n e t w o r k s t a t e s ( c e l l l o a d , b l o ck i n g r a t e . . . )i n t o a c t i o n s ( c h a n g i n g n e t w o r k p a r a m e t e r s ) i n o r d e r t om a x i m i z e a l o n g - t e r m e x p e c t e d c u m u l a t i v e r e w a r d f u n c t i o n .T h e r e w a r d f u n c t i o n d e p e n d s o n q u a l i t y i n d i c a t o r s p r o v i d e db y t h e n e t w o r k s u c h a s b l o ck i n g a n d d r o p p i n g r a t e s .T h e c o n t e n t o f t h i s p a p e r i s t h e f o l l o w i n g : S e c t i o n I I b r i e f l yd e s c r i b e s t h e s y s t e m m o d e l . S e c t i o n I I I h i g h l i g h t s t h e g e n e r a lc o n c e p t o f f u z z y Q - l e a r n i n g ( F Q L ) c o n t r o l l e r . S i m u l a t i o nr e s u l t s a r e p r e s e n t e d i n s e c t i o n I V . S e c t i o n V c o n c l u d e s t h ep a p e r .

I I . SYSTEM MODELAWCDMA r a d i o a c c e s s n e t w o r k t y p i c a l l y c o n s i s t s o f a s e to f b a s e s t a t i o n s o r n o d e B g o v e r n e d b y a r a d i o n e t w o r kc o n t r o l l e r ( R N C ) . E a c h BS c ov er s a g e o g r a p h i c a l a r e a ( c a l l e dc e l l o r s e c t o r ) a n d s e r v e s a n i n t e r f e r e n c e - l i m i t e d c a p a c i t yd e f i n e d b y t h e n u m b e r o f m o b il e s i n e a c h s e r v i c e c l a s s w i t h at a r g e t q u a l i t y o f s e r v i c e ( e . g . b l o c k i n g a n d d r o p p i n g r a t e s ,

E b / N o ) . C o n t i n u o u s c o v e r a g e o v e r m o r e t h a n t w o B S - s e r v i c ea r e a s i s a c h i e v e d b y SHO ( m a c r o - d i v e r s i t y ) m e c h a n i s m ,w h i c h i s a s e a m l e s s t r a n s f e r o f a c a l l f r o m o n e B S t o a n o t h e r .T h i s i n t e r - c e l l u l a r c a l l t r a n s f e r i s t y p i c a l l y g o v e r n e d b y a s e to f p a r a m e t e r s . Among t h e m , w e c i t e t h e H y s t e r e s i s e v e n t l A ,t h e H y s t e r e s i s e ve nt i B a nd t h e A c t i v e S e t S i z e [ 1 , 2 ] . B r i e f l ya n d a c c o r d i n g t o 3GPP s p e c i f i c a t i o n , t h e SHO a l g o r i t h m i sp e r f o r m e d a s f o l l o w s : w h e n t h e m ob i le - m ea s u r e d R e c ei v edS i g n a l S t r e n g t h ( R S S ) f r o m a BS i s h i g h e r t h a n t h e b e s t - c e l lRSS m i n u s H y s t e r e s i s e v e n t l A , a new r a d i o l i n k i se s t a b l i s h e d b e t w e e n t h e BS a n d t h e m o b i l e . On t h e o t h e r h a n d ,w h e n t h e RSS f r o m a s e r v e d BS b e c o m e s l o w e r t h a n t h e b e s t -c e l l RSS m i n u s H y s t e r e s i s e v e n t i B , t h e r a d i o l i n k i s r e l e a s e df r o m t h e a c t i v e s e t o f t h e m o b i l e i n q u e s t i o n . O t h e r p a r a m e t e r s( H y s t e r e s i s e v e n t i C f o r e x a m p l e ) i n v o l v i n g SHO a l g o r i t h ma r e o u t o f t h e s c o p e o f t h i s p a p e r . F o r m o r e d e t a i l s a b o u t t h eSHO a l g o r i t h m , r e a d e r s c a n r e f e r t o [ 1 ] o r [ 2 ] .E a c h BS h as i t s ow n p a r a m e t e r s . A u n i f o r m s e t t i n g o f a l lB S s l e a d s c e r t a i n l y t o a s u b - o p t i m a l p a r a m e t e r i z a t i o n . E a c h

0 - 7 8 0 3 - 9 3 9 2 - 9 / 0 6 / $ 2 0 . 0 0 ( c ) 2 0 0 6 IEEE 9 4 2


2/5

BS s h o u l d b e o p t i m a l l y p a r a m e t e r i z e d w i t h r e s p e c t t o t h eo t h e r B S s . SHO h y s t e r e s i s p ar am et er s o f o n e BS s t r o n g l yi m p a c t i t s ow n r a d i o l o a d a n d t h a t o f i t s n e i g h b o r s .C o n s e q u e n t l y , t h e s e p a r a m e t e r s i n f l u e n c e t h e d o w n l i n kc a p a c i t y a n d t h e q u a l i t y o f s e r v i c e o f t h e n e t w o r k . Byi n c r e a s i n g t h e h y s t e r e s i s p a r a m e t e r v a l u e s , t h e d o wn l in k a n dt h e u p l i n k l o a d s i n c r e a s e s a n d d e c r e a s e s r e s p e c t i v e l y .H o w e v e r , a l o w v a l u e o f t h e s e p a r a m e t e r s ma y i n c r e a s e t h er i s k o f c a l l d r o p p i n g a n d ma y c a u s e c o v e r a g e h o l e s .I n t h e n e x t s e c t i o n , we a s s u m e t h a t t h e n e t w o r k c a n b em o d e l e d a s a c o n t r o l l a b l e a n d c o m m e n d a b l e n o n - l i n e a rs t o c h a s t i c s y s t e m . T h i s s y s t e m r e c e i v e s SHO p a r a m e t e r s a si n p u t a n d d e l i v e r s n e t w o r k q u a l i t y i n d i c a t o r s a s o u t p u t , w h i c hs e r v e a s i n p u t t o t h e f u z z y Q - l e a r n i n g c o n t r o l l e r .

I I I . G E N E R A L CONCEPT OF F UZ Z Y Q - LE A RN I N G CONTROLLERT h e g e n e r a l c o n c e p t o f f u z z y Q - l e a r n i n g b a s e d a u t o m a t i cc o n t r o l o f s o f t h a n d o v e r i s d e p i c t e d i n f i g u r e 1 . A t e a c h t i m es t e p , t h e c o n t r o l l e r o b s e r v e s t h e c u r r e n t n e t w o r k s t a t e x ( t ) ,

a n d p e r f o r m s a n a c t i o n a ( t ) O n e s t e p l a t e r , t h e c o n t r o l l e rr e c e i v e s f r o m t h e n e t w o r k a r e w a r d s i g n a l r ( t q T ) a n d f i n d si t s e l f i n a n e w s t a t e x ( t T ) w h e r e T s t a n d s f o r t h ec o n t r o l l i n g p e r i o d . T h e c o n t r o l l e r r e a c t i v i t y i s t h e i n v e r s e o f T .D u r i n g i t s l e a r n i n g , t h e c o n t r o l l e r t e n d s t o f i n d a n o p t i m a lm a p p i n g , d e n o t e d z : x ( t ) a ( t ) = z t ( x ( t ) ) b e t w e e n s y s t e ms t a t e s a n d a c t i o n s . T h e Q - l e a r n i n g a l g o r i t h m c o n t i n u a l l ye s t i m a t e s a n d u p d a t e s t h e q u a l i t y o f t h e s t a t e - a c t i o n p a i r ,d e n o t e d Q t ( x ( t ) , a ( t ) ) T h e Q - f u n c t i o n i s m a i n l y u s e d t o a i dt h e c o n t r o l l e r t o s e l e c t t h e a c t i o n t h a t m a x i m i z e s a u t i l i t yf u n c t i o n . T h e m o s t c o m m o n l y u s e d u t i l i t y f u n c t i o n , a n d t h eo n e t h a t w i l l b e u s e d t h r o u g h o u t t h i s p a p e r , i s t h e d i s c o u n t e dc u m u l a t i v e f u t u r e r e w a r d f u n c t i o n , e x p r e s s e d a s :

V ( x ( t ) ) XY ' r ( t + 1 ) ( 1 )i = O

w h e r e y i s t h e d i s c o u n t f a c t o r . I t k e e p s t h e c u m u l a t i v e r e w a r df i n i t e , b u t i t i s a l s o u s e d a s a m e a s u r e t h a t i n d i c a t e s t h er e l a t i v e i m p o r t a n c e o f f u t u r e r e w a r d s . S e t t i n g y c l o s e t o 0 w i l lm a k e t h e c o n t r o l l e r t r y i n g t o o p t i m i z e i m m e d i a t e r e w a r d s . Ont h e o t h e r h a n d , s e t t i n g y c l o s e t o 1 m e a n s t h a t t h e c o n t r o l l e rw i l l r e g a r d f u t u r e r e w a r d s a l m o s t a s i m p o r t a n t a s t h ei m m e d i a t e o n e s . I n o u r s t u d y , w e s e t y t o 0 . 9 5 .I n t h i s p a p e r , we u s e x ( t ) = p , t , p , , t , a s t h e s y s t e m s t a t ea t t i m e t . p t a n d p j ( t ) s t a n d r e s p e c t i v e l y f o r t h e a v e r a g el o c a l BS l o a d a n d t h e a v e r a g e o f n e i g h b o r c e l l l o a d s . I n f a c t ,q u a l i t y i n d i c a t o r s c a l c u l a t e d d u r i n g a p e r i o d T f ( f i l t e r i n g p e r i o d )a r e f i l t e r e d t o a v o i d u s i n g v e r y o s c i l l a t i n g v a l u e s a t t h e i n p u t o ft h e c o n t r o l l e r . M a t h e m a t i c a l l y , P s t a n d P t c a n b e

e x p r e s s e d a s f o l l o w s :T fP s ( t ) = T P t r ) d r ( 2 )

0

3n s t =Pi - f i N S ii E = - N S ( s )l1~~~~~1

WOD V D M A n e t w o r k: 3 o I

; + . W . 00 .D~~~~~~~~~~~~~~~~~~~~:

F i g . 1 . F u z z y Q - l e a m i n g c o n t r o l l e r f o r a u t o - t u n i n g o f SHO p a r a m e t e r s .w h e r e P s t - - ) i s t h e i n s t a n t a n e o u s l o a d o f BS s a t t i m e t - - .N S ( s ) i s t h e c e l l - n e i g h b o r i n g s e t o f B S s , a n d 0 S i i s t h er e l a t i o n d e g r e e b e t w e e n BS s a n d BS i . I t i s d e f i n e d a s t h ef lo w o f m o b il e s b e t w e e n BS s a n d BS i n o r m a l i z e d b y t h et o t a l m o b i l e f l o w i n v o l v i n g BS s .

T h e s y s t e m q u a l i t y t h a t we w a n t t o i m p r o v e h e r e i s t h ec o mb i na t i on o f b o t h s y s t e m b l o c k i n g ( C B R ( t ) ) a n d d r o p p i n gr a t e s ( C D R ( t ) ) . T h e n , t h e r e i n f o r c e m e n t f u n c t i o n s h o u l dc o n t a i n t h e s e i n d i c a t o r s o r s o m e o t h e r s r e l a t e d t o t h e m . T h ef o l l o w i n g r e i n f o r c e m e n t f u n c t i o n s a t i s f i e s t h e d e s i r e d c r i t e r i a :r t = ( C B R * C B R ( t ) ) / 3 - ( C D R * C D R ( t ) ) 4

w h e r e C B R * a n d C D R * a r e r e s p e c t i v e l y t h e o p e r a t o r t a r g e tb l o c k i n g r a t e a n d t h e t a r g e t d r o p p i n g r a t e . , 8 i s t h e m i x i n gf a c t o r b e t w e e n t h e d r o p p i n g a n d b l o c k i n g r a t e a n d d e p e n d s o nt h e o p e r a t o r p r e f e r e n c e . T h e d r o p p i n g o f a c a l l i s c o n s i d e r e dm o r e p e n a l i z i n g t h a n i t s b l o c k i n g , a n d c o n s e q u e n t l y A s h o u l db e b i g g e r t h a n 1 . I n o u r s t u d y , , 8 e q u a l s 4 .I n i t i a l l y , t h e q u a l i t y f u n c t i o n Q 1 ( x ( 0 ) , a ( 0 ) ) i s s e t t o z e r o f o r

a l l t h e s t a t e a c t i o n c o u p l e s . D u r i n g t h e l e a r n i n g p r o c e s s e s , i ti s u p d a t e d ( e q . ( 5 ) ) p e r i o d i c a l l y a c c o r d i n g t o t h e r e c e i v e dr e w a r d r ( t e T ) a t t i m e t + T , a n d t o t h e e s t i m a t e d v a l u e o f t h en e x t s t a t e V ( x ( t T ) ) T h e Q - f u n c t i o n v a l u e s a r e s t o r e d i n al o o k - u p t a b l e w h i c h i s i n t e r p r e t e d a s t h e m e m o r y o f t h ec o n t r o l l e r .

Q t + T ( x , a ) ( 1 - K ) Q t ( x , a ) + x ( r ( t + T ) j t ( x ( t T ) ) ) ( 5 )w h e r e x i s t h e l e a r n i n g r a t e . S e t t i n g K c l o s e t o 1 m e a n s t h a tt h e c o n t r o l l e r g i v e s m o r e i m p o r t a n c e t o t h e e s t i m a t i o n o f t h enew q u a l i t y t h a n t o t h e l a s t o n e . T h i s c a n l e a d t o a v e r yo s c i l l a t i n g s y s t e m . On t h e o t h e r h a n d , s e t t i n g x c l o s e t o 0m i g h t d e l a y t h e c o n v e r g e n c e o f t h e l e a r n i n g p r o c e s s . H e r e weu s e 1 e q u a l t o 0 . 1 a s r e c o m m e n d e d b y Q - l e a r n i n g

9 4 3


3/5

c o m m u n i t y [ 5 ] . A s WCDMA q u a l i t y i n d i c a t o r s a r e a l lc o n t i n u o u s , f u z z y l o g i c i s u s e d h e r e t o h a n d l e t h e co n t i n u o u si n p u t .T h e c r i s p q u a l i t y i n d i c t o r s a r e s a m p l e d i n t o a d i s c r e t e s t a t ec a l l e d f u z z y s e t . T h e m a p p i n g b e t w e e n c r i s p a n d d i s c r e t e( f u z z y ) i n d i c a t o r s i s m a d e b y a m e m b e r s h i p f u n c t i o n c . w h i c hd e f i n e s t h e m e m b e r s h i p d e g r e e o f t h e c r i s p i n p u t w i t h t h ef u z z y v a r i a b l e L j j E / 7 , m ] , m b e i n g t h e n u m b e r o f f u z z y s e t s ,

d e n o t e d a l s o r u l e s ) . I n t h i s w o r k , t r i a n g u l a r m e m b e r s h i pf u n c t i o n s a r e u s e d . F o r m o r e d e t a i l s a b o u t f u z z y l o g i c , t h er e a d e r s a r e r e f e r r e d t o [ 3 , 5 , 6 ] .B r i e f l y , i n t h e c a s e o f c o n t i n u o u s i n d i c a t o r s , t h e i n f e r r e da c t i o n a f o r t h e s t a t e x ( t ) i s g i v e n b y t h e g r a v i t y c e n t r e o fa c t i o n s i n e a c h r u l e w e i g h t e d b y t h e i r m e m b e r s h i p f u n c t i o n o .I f t h e m e m b e r f u n c t i o n s a r e c h o s e n t o s a t i s f y t h e n o r m a l i z e d

mc o n d i t i o n O a j x 1 , t h e o u t p u t a c t i o n a ( t ) i sj = 1

a ( t ) = z t ( x ( t ) ) = Y , a ( x ) x o X 8} = 1w h e r e o 0 i s t h e a c t i o n i n t h e f u z z y s t a t e L j .T h e c o r r e s p o n d i n g Q - f u n c t i o n f o r t h e i n f e r r e d a c t i o n a i sg i v e n b y

Q ( x , a ) =,a j ( x ) x q j L j , o j ( 9 )j = 1w h e r e q L j , o ) i s t h e q - v a l u e o f t h e a c t i o n o j i n r u l e L j .D u r i n g t h e l e a r n i n g p r o c e s s , t h e c o n t r o l l e r c a n e x p l o i t w h a th a s b e e n l e a r n e d b y c h o o s i n g , i n e a c h s t a t e , a r a n d o m a c t i o nw i t h a p r o b a b i l i t y e a n d t h e b e s t a c t i o n w i t h t h e p r o b a b i l i t y 1 -e . O n c e t h e c o n v e r g e n c e o f t h e l e a r n i n g p r o c e s s i s r e a c h e da n d t h e s t a t e - a c t i o n q u a l i t y b e c o m e s c o n s t a n t , t h e l e a r n i n g i sc o m p l e t e l y s t o p p e d a n d t h e b e s t a c t i o n w i t h h i g h e s t q u a l i t y i sa l w a y s c h o s e n .

I V . SIMULATION RESULTS AND DISCUSSIONT o e v a l u a t e t h e p e r f o r m a n c e o f t h e p r o p o s e d a u t o - t u n i n gm e t h o d , a S e m i - D y n a m i c S i m u l a t o r ( S D S ) i s u s e d . T h e SDSp e r f o r m s c o r r e l a t e d s n a p s h o t s t o a c c o u n t f o r t h e t i m ee v o l u t i o n o f t h e n e t w o r k . A f t e r e a c h t ime s t e p t h a t c a nt y p i c a l l y v a r y b e t w e e n o n e t o a f e w s e c o n d s , t h e new m o b i l ep o s i t i o n s ( d u e t o m o b i l i t y w i t h d i f f e r e n t s p e e d s ) a n d t h ep o w e r s t r a n s m i t t e d i n t h e n e t w o r k a r e c o m p u t e d , a s i n a s t a t i cs i m u l a t o r . T h e f u z z y Q - l e a r n i n g c o n t r o l l e r h a s b e e n a p p l i e d t oa WCDMA n e t w o r k w i t h 3 2 s e c t o r s i n a d e n s e u r b a ne n v i r o n m e n t . T h e s t u d i e d n e t w o r k i s e x t r a c t e d f r o m a r e a ls i t u a t i o n w h e r e t h e p r o p a g a t i o n i s c a l i b r a t e d a c c o r d i n g t o ap r o f e s s i o n a l m o d e l t h a t a c c o u n t s f o r c l u t t e r e f f e c t s . E a c h c e l li s s u r r o u n d e d b y a s e t o f n e i g h b o r i n g c e l l s c o n s t r u c t e dd y n a m i c a l l y b y t h e s i m u l a t o r . To m o d e l t h e t r a f f i c a n dm o b i l i t y i n t h e s y s t e m , we u s e t h e f o l l o w i n g a s s u m p t i o n s :1 . C a l l r e q u e s t s a r e g e n e r a t e d a c c o r d i n g t o a P o i s s o n p r o c e s s

w i t h a r a t e X t h a t v a r i e s b e t w e e n 2 t o 1 3 c a l l r e q u e s t s p e rs e c o n d i n t h e p r e s e n t s i m u l a t i o n . D u r i n g t h e s i m u l a t i o n , t h e

t r a f f i c i s s t a t i o n a r y a n d t h e n X i s k e p t c o n s t a n t . T o m o d e lt h e n o n - u n i f o r m i t y o f t r a f f i c , t h e g e n e r a t e d c a l l a p p e a r s i nt h e n e t w o r k a r e a a c c o r d i n g t o a p r e - p r e p a r e d t r a f f i c m a p .T h e c o m m u n i c a t i o n t i m e o f e a c h c a l l i s e x p o n e n t i a l l y -d i s t r i b u t e d w i t h a m e a n e q u a l t o 1 0 0 s .2 . T h e u s e r m o b i l i t y i s b a s e d o n a t w o - d i m e n s i o n a l s e m i -r a n d o m w a l k m o d e l . A t e ac h t im e s t e p , t h e m o b i l e c a nr a n d o m l y c h a n g e i t s d i r e c t i o n w i t h i n a l i m i t e d a n g u l a ri n t e r v a l . A t t h e b o a r d e r o f t h e a r e a , t h e u s e r d o e s n o t q u i tt h e n e t w o r k b u t i s r e f l e c t e d b a c k . 80 o f t h e g e n e r a t e dm o b i l e s a r e i n i n d o o r s i t u a t i o n a n d t h e i r s p e e d i s s e t t o z e r o .T h e s p ee d o f t h e r e s t o f t h e m o b i l e s i s s e t t o 6 0 k m / h .3 . T h e maximum t r a n s m i t p o w e r o f e ac h b a s e s t a t i o n i s s e t t o2 0 W a t t . 20 o f t h e p o w e r i s a s s i g n e d t o t h e commonc h a n n e l i n c l u d i n g t h e common p i l o t c h a n n e l ( C P I C H ) . 65o f t h e p o w e r i s a s s i g n e d t o t r a f f i c c h a n n e l s . T h e a d m i s s i o nc o n t r o l t h r e s h o l d i s t h e n s e t t o 85 ( 2 0 p l u s 6 5 ) . Whent h e c e l l l o a d r e a c h e s 8 5 , r e q u e s t e d c a l l s a r e b l o c k e d . T h ec o n s i d e r e d s o f t h a n d o v e r c r i t e r i o n i s t h e CPICH R e c e i v e dS i g n a l C o d e P o w e r ( C P I C H R S C P ) . F o r a c l a s s i c n e t w o r k ,w i t h o u t a n y c o n t r o l , H y s t e r e s i s e v e n t l A a n dH y s t e r e s i s e v e n t i B a r e s e t t o 4 a n d 6 d B r e s p e c t i v e l y . I n

t h e p r e s e n t m e t h o d , t h e s e p a r a m e t e r s a r e c o n t r o l l e da c c o r d i n g t o s y s t e m r e a c t i v i t y e q u a l t o 1 / 5 0 s - 1 i . e . t h ep e r i o d o f p a r a m e t e r r e g u l a t i o n i s s e t t o 5 0 s e c o n d s ) u n l e s sc o n t r a r y i n d i c a t i o n .4 . T h e f u z z y Q - l e a r n i n g c o n t r o l l e r p a r a m e t e r sd i s c o u n t e d f a c t o r , t h e l e a r n i n g r a t e Ae x p l o i t a t i o n / e x p l o r a t i o n p r o b a b i l i t y e . T h e yr e s p e c t i v e l y t o 0 . 9 5 , 0 . 1 a n d 0 . 8 0 [ 5 , 6 ] .

a r e t h ea n d t h ea r e s e tWe f i r s t i l l u s t r a t e t h e c o n v e r g e n c e o f t h e p r o p o s e d s c h e m ea n d t h e e v o l u t i o n o f t h e maximum v a r i a t i o n o f t h e s t a t e - a c t i o nq u a l i t i e s i n t h e l e a r n i n g p r o c e s s . F i g . 2 s h o w s t h e maximumv a r i a t i o n o f t h e s t a t e - a c t i o n q u a l i t i e s a s a f u n c t i o n o f t i m e . Asm o bi l e n e t wo r k s a r e s t o c h a s t i c , t h e m a t h e m a t i c a l e x p e c t a t i o no f t h i s v a r i a b l e ( m a x i m u m v a r i a t i o n o f q u a l i t y f u n c t i o n ) i su s e d . A t t h e v e r y b e g i n n i n g , t h e a c t i o n - s t a t e q u a l i t y v a r i e sr a n d o m l y . T h i s i s d u e t o t h e e x p l o r a t i o n f e a t u r e o f t h e f u z z yQ - l e a r n i n g c o n t r o l l e r .

0 . 3M 0 . 2 5

0 . 2

i 0 . 1 5 -. . 1 5

@~0 . 0 5O _0 1 2 3 4 5 6 7 8 9 1 0Time ( s e c o n d s ) 4

F i g . 2 . T i m e e v o l u t i o n o f t h e l e a r n i n g p r o c e s s m e a s u r e d as t h eMaximum v a r i a t i o n o f a c t i o n - s t a t e q u a l i t y .

9 4 4


4/5

F o r t h e p r e s e n t s t u d y , t h e c on ve r ge nc e o f t h e a l g o r i t h m i sr e a c h e d a f t e r a p p r o x i m a t e l y 8 0 0 0 0 s ec o n d s o f l e a r n i n g ,e q u i v a l e n t t o o n e d a y o f l e a r n i n g i n a r e a l n e t w o r k . T h i sl e a r n i n g p r o c e s s i s p e r f o r m e d b y a c o m p u t e r s i m u l a t i o n f o ra r ou nd 2 0 m i n u t e s .O n c e t h e l e a r n i n g p r o c e s s c o n v e r g e s a n d t h e s t a b i l i t y o f s t a t e -a c t i o n q u a l i t y i s r e a c h e d , we s t o p t o t a l l y t h e l e a r n i n g p r o c e s sa n d we e x p l o i t t h e o b t a i n e d FQL c o n t r o l l e r f o r t h e a u t o - t u n i n go f SHO p a r a m e t e r s .F i g . 3 i l l u s t r a t e s t h e p e r c e n t a g e o f f a i l e d c o m m u n i c a t i o nv e r s u s t h e t r a f f i c i n t e n s i t y ( m e a s u r e d a s t h e n u m b e r o f a r r i v a lc a l l s p e r s e c o n d f o r a n o p t i m i z e d WCDMA n e t w o r k w i t h t h ep r o p o s e d s c he m e c om p ar e d t o a c l a s s i c n e t w o r k w i t h f i x e dc o n f i g u r a t i o n . T h i s q u a l i t y i n d i c a t o r m e a s u r e s t h e p r o b a b i l i t yo f d r op p ed a nd b l o c k e d c a l l s . I t i s t h e c o m p l e m e n t a r y o f t h ec a l l s u c c e s s r a t e . I t c a n b e s e e n t h a t t h e FQL c o n t r o l l e r c a na l w a y s g u a r a n t e e a l o w p e r c e n t a g e o f f a i l e d c o m m u n i c a t i o nf o r a l l t r a f f i c l o a d c o n d i t i o n s . A l t h o u g h , t h e l e a r n i n g i sp e r f o r m e d f o r a s p e c i f i c l e v e l o f t r a f f i c , t h e o p t i m i z e dc o n t r o l l e r c o n t i n u e s t o i m p r o v e n e t w o r k p e r f o r m a n c e i n o t h e rt r a f f i c s i t u a t i o n s . T h i s i s a n i m p o r t a n t r e s u l t t h a t i l l u s t r a t e s t h er o b u s t n e s s o f t h e a u t o - t u n i n g p r o c e s s w i t h r e s p e c t t o t r a f f i cv a r i a t i o n s . F o r a p e r c e n t a g e o f c a l l f a i l u r e s e q u a l s t o 2 ( t h ec o n v e n t i o n a l o p e r a t o r q u a l i t y t a r g e t ) t h e o p t i m i z e d n e t w o r kc a n s u p p o r t a t r a f f i c l e v e l e q u a l s t o 6 . 6 m o b i l e s p e r s e c o n d ,w h e r e a s t h e c l a s s i c n e t w o r k s u p p o r t s o n l y 5 . 3 m o b i l e s p e rs e c o n d . H e n c e , t h e c a p a c i t y i m p r o v e m e n t a t 2 o f QoS i se q u a l t o 2 4 .F i g . 4 s h o w s t h e d i s t r i b u t i o n o f c e l l l o a d f o r t h e o p t i m i z e dn e t w o r k c o m p a r e d t o a n e t w o r k w i t h f i x e d c o n f i g u r a t i o n . A se x p e c t e d , c o n t r o l l i n g d y n a m i c a l l y a n d o p t i m a l l y SHOp a r a m e t e r s c a n l e a d t o a b e t t e r l o a d d i s t r i b u t i o n b e t w e e n t h ec e l l s s i n c e i t a l l o w s a c e l l w i t h h i g h t r a f f i c t o g i v e i n c e r t a i nl i n k s t o a n e i g h b o r i n g c e l l w i t h l o w t r a f f i c . A s c a n b e s e e n i nF i g . 4 , t h e n u m b e r o f c e l l s w i t h m e d i u m load i s h i g h e r f o r t h eo p t i m i z e d n e t w o r k t h a n f o r t h e c l a s s i c o n e .T h e u s e o f a v e r y r e a c t i v e d y n a m i c c o n t r o l l e r i s s u b j e c t t os o m e d r a w b a c k s s i n c e t h e FQL c o n t r o l l e r c a n i n c r e a s e t h es i g n a l i n g m e s s a g e s . T a b l e 1 s h o w s t h e i m p a c t o f t h e c o n t r o l l e ro n t h e a v e r a g e o f t h e P i n g - P o n g e f f e c t . T h e P i n g - P o n g e f f e c t i sm e a s u r e d a s t h e a v e r a g e n u m b e r o f a c t i v e s e t u p d a t e s f o r e a c hm o b i l e d u r i n g i t s s o j o u r n t i m e i n t h e n e t w o r k . I n o r d e r t o g i v ep r o m i n e n c e t o t h i s e f f e c t , we s i m u l a t e t w o n e t w o r ke n v i r o n m e n t s : l o w m o b i l i t y ( s p e e d = 3 k m / h f o r 20 o f u s e r s )a n d h i g h m o b i l i t y ( s p e e d = 6 0 k m / h f o r 20 o f u s e r s )e n v i r o n m e n t . T h e a v e r a g e f r e q u e n c y o f a c t i v e s e t u p d a t e se q u a l s 0 . 0 2 8 ( r e s p e c t i v e l y 0 . 0 7 2 ) f o r t h e c l a s s i c n e t w o r k w i t hl o w m o b i l i t y ( r e s p e c t i v e l y h i g h m o b i l i t y ) . A v e r y r e a c t i v ec o n t r o l l e r ( r e a c t i v i t y = 0 . 0 5 H z ) i n c r e a s e s t h e f r e q u e n c y o fa c t i v e s e t u p d a t e t o 0 . 0 3 2 i n a l o w m o b i l i t y e n v i r o n m e n t a n d t o0 . 0 9 2 i n a h i g h m o b i l i t y e n v i r o n m e n t . T h e i n c r e a s e o fs i g n a l i z a t i o n m e s s a g e s i s o f a b o u t 2 0 . By d e c r e a s i n g t h er e a c t i v i t y o f t h e c o n t r o l l e r t o o n e r e g u l a t i o n p e r 1 0 0 s( r e a c t i v i t y = 0 . 0 1 H z ) , t h e a d d i t i o n a l s i g n a l i n g i n t r o d u c e d b y t h ec o n t r o l l e r i s d e c r e a s e d t o 6 i n a h i g h - m o b i l i t y e n v i r o n m e n t .H e n c e t h e a d a p t a t i o n o f t h e c o n t r o l l e r r e a c t i v i t y n e e d s t o b ec a r e f u l l y t a k e n i n t o a c c o u n t i n e a c h n e t w o r k e n v i r o n m e n t .

3 5 3 0

2 5c tc .Z 2 0C .c- 1 521 0ua)

C. Oa)

- - C l a s s i c n e t w o r k 4 / 6 d B- * O p t i m i z e d n e t w o r k

2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3t r a f f i c r a t e ( m o b i l e s / s )F i g . 3 . P e r c e n t a g e o f f a i l e d c o m m u n i c a t i o n v e r s u s t r a f f i c i n t e n s i t y .

0 , 1 8 0 , 1 6

P , 0 , 1 4. r 0 , 1 2> 0 , 1. t 0 , 0 8q 0 , 0 6 0 , 0 4I t0 0 , 0 2

0 0 , 2 0 , 3 0 , 4 0 , 5 0 , 6C e l l L o a d 0 , 7 0 , 8 0 , 9F i g . 4 . D i s t r i b u t i o n o f c e l l l o a d f o r t h e o p t i m i z e d n e t w o r k c o m p a r e d t o ac l a s s i c n e t w o r k w i t h f i x e d c o n f i g u r a t i o n .

T A B L E IIMPACT OF T HE CONTROLLER ON T E H E FREQUENCY OF ACTIVE SE T UPDA T EA v e r a g e f r e q u e n c y o f a c t i v e s e t u p d a t em ob il it y= 3 km / h m ob il it y= 6 0 km / h

C l a s s i c N e t w o r k 0 , 0 2 8 0 , 0 7 2 1O p t i m i z e d n e t w o r k FQ Lr e a c t i v i t y = 0 . 0 5 Hz 0 , 0 3 2 8 0 , 0 9 2 1O p t i m i z e d n e t w o r k FQ Lr e a c t i v i t y = 0 . 0 1 Hz 0 , 0 2 9 6 0 , 0 7 7 3

V . CONCLUSIONI n t h i s p a p e r w e h a v e p r e s e n t e d a new s c h e m e f o rd y n a m i c a l l y c o n t r o l l i n g SHO p a r a m e t e r s . T h e p r o p o s e dm e c h a n i s m u s e s f u z z y Q - l e a r n i n g c o n t r o l l e r t o dyn ami cal l ya d a p t SHO h y s t e r e s i s p a r a m e t e r s t o t h e t r a f f i c f l u c t u a t i o n . T h ec o n t r o l l e r r e c e i v e s a s i n p u t s t h e f i l t e r e d d o w n l i n k l o a d o f e ac hBS a s w e l l a s o f t h e n e i g h b o r i n g B S s . T h e c o n t r o l l e rc o n t i n u a l l y l e a r n s t h e b e s t p a r a m e t e r i z a t i o n i n e a c h n e t w o r ks i t u a t i o n . T h e l e a r n i n g p r o c e s s i s g o v e r n e d b y a u t i l i t yf u n c t i o n c a l l e d r e i n f o r c e m e n t . S i m u l a t i o n r e s u l t s s h o ws i g n i f i c a n t i m p r o v e m e n t s i n t e r m s o f n e t w o r k p e r f o r m a n c e .T h e p r o p o s e d s c h e m e i m p r o v e s t h e s y s t e m c a p a c i t y u p t o25 c o m p a r e d t o a c l a s s i c a l n e t w o r k , b a l a n c e s t h e l o a db e t w e e n b a s e s t a t i o n s a n d m i n i m i z e s h u m a n i n t e r v e n t i o n s

9 4 5


5/5

r e q u i r e d f o r n e t w o r k m a na g e me n t . H o we v e r , w e h a v e s h o w nt h a t t h e d y n a m i c c o n t r o l l e r i n c r e a s e s t h e f r e q u e n c y o f a c t i v es e t u p d a t e s w h i c h i n t u r n i n c r e a s e s t h e s i g n a l i n g m e s s a g e s i nt h e r a d i o i n t e r f a c e a s w e l l a s i n t h e c o r e n e t w o r k . T h e P i n g -P o n g p h e n o m e n o n c a n b e r e d u c e d b y b r i n g i n g d o w n t h er e a c t i v i t y o f t h e c o n t r o l l e r .ACKNOWLEDGMENT

T h e a u t h o r s w o u l d l i k e t o t h a n k Mr C h r i s t o p h e G a y f o r h i sh e l p i n i m p l e m e n t i n g t h e f u z z y Q - l e a r n i n g a l g o r i t h m a n d f o rm a n y h e l p f u l d i s c u s s i o n s .R E F E R E N C E S

[ 1 ] 3GPP T R 2 5 . 9 2 2 ( R e l e a s e 6 . 1 . 0 ) : R a d i o R e s o u r c eM a n a g e m e n t S t r a t e g i e s .

[ 2 ] H . H o l m a , A . T o s k a l a , WCDMA f o r UMTS: R a d i o A c c e s sf o r T h i r d G e n e r a t i o n M o b i l e C o m m u n i c a t i o n s , W i l e y S o n s 2 0 0 1 .[ 3 ] H . D u b r e i l , Z . A l t m a n , V . D i a s c o r n , J . M . P i c a r d , a n d M .C l e r c , P a r t i c l e Swarm o p t i m i z a t i o n o f f u z z y l o g i c c o n t r o l l e rf o r h i g h q u a l i t y RRM a u t o - t u n i n g o f UM TS n e t w o r k s , IEEEI n t e r n a t i o n a l S y m p o s i u m VTC 2 0 0 5 , S t o c k h o l m , S w e e d e n ,2 9 M a y - 1 J u n e 2 0 0 5 .[ 4 ] R . N a s r i , Z . A l t m a n a n d H . D u b r e i l , D y n a m i c R a d i oR e s o u r c e M a n a g e m e n t i n w i r e l e s s n e t w o r k s : T o w a r d sA u t o n o m i c M o b i l e N e t w o r k i n g , s u b m i t t e d t o IEEEC o m m u n i c a t i o n s M a g a z i n e .[ 5 ] L . J o u f f e , F u z z y I n f e r e n c e S ys t e m L e a r ni n g b yr e i n f o r c e m e n t M e t h o d s , IEEE T r a n s a c t i o n s o n S y s t e m s ,M a n , a n d C y b e r n e t i c s , V o l . 2 8 , p p . 3 3 8 - 3 5 5 , A u g . 1 9 9 8 .

[ 6 ] P . Y . G l o r e n n e c a n d L . J o u f f e , F u z z y Q - l e a m i n g , 6 t h IEEEI n t e r n a t i o n a l C o n f e r e n c e o n F u z z y S y s t e m , 1 - 5 J u l y , 1 9 9 7 .

9 4 6

wcdma downlink load sharing with dynamic control of soft handover parameters

Documents