introduction to multigrid methods

8/14/2019 Introduction to Multigrid Methods

1/134

1 I n t r o d u c t i o n

R e a d e r s h i p

T h e p u r p o s e o f t h e s e n o t e s i s t o p r e s e n t , a t g r a d u a t e l e v e l , a n i n t r o d u c t i o n t o t h e a p p l i c a t i o n

o f m u l t i g r i d m e t h o d s t o e l l i p t i c a n d h y p e r b o l i c p a r t i a l d i e r e n t i a l e q u a t i o n s f o r e n g i n e e r s ,

p h y s i c i s t s a n d a p p l i e d m a t h e m a t i c i a n s . T h e r e a d e r i s a s s u m e d t o b e f a m i l i a r w i t h t h e b a s i c s

o f t h e a n a l y s i s o f p a r t i a l d i e r e n t i a l e q u a t i o n s a n d o f n u m e r i c a l m a t h e m a t i c s , b u t t h e u s e

o f m o r e a d v a n c e d m a t h e m a t i c a l t o o l s , s u c h a s f u n c t i o n a l a n a l y s i s , i s a v o i d e d . T h e c o u r s e

i s i n t e n d e d t o b e a c c e s s i b l e t o a w i d e a u d i e n c e o f u s e r s o f c o m p u t a t i o n a l m e t h o d s . W e d o

n o t , t h e r e f o r e , d e l v e d e e p l y i n t o t h e m a t h e m a t i c a l f o u n d a t i o n s . T h i s i s d o n e i n t h e e x c e l l e n t

m o n o g r a p h b y H a c k b u s c h 5 7 , w h i c h t r e a t s m a n y a s p e c t s o f m u l t i g r i d , a n d a l s o c o n t a i n s

m a n y p r a c t i c a l d e t a i l s . T h e b o o k 1 4 1 i s m o r e a c c e s s i b l e t o n o n - m a t h e m a t i c i a n s , a n d p a y s

m o r e a t t e n t i o n t o a p p l i c a t i o n s , e s p e c i a l l y i n c o m p u t a t i o n a l u i d d y n a m i c s .

O t h e r i n t r o d u c t o r y m a t e r i a l c a n b e f o u n d i n t h e a r t i c l e B r a n d t 2 0 , t h e r s t t h r e e c h a p -

t e r s o f 8 5 a n d t h e s h o r t e l e m e n t a r y i n t r o d u c t i o n 2 7 . T h e n o t e s a r e b a s e d o n p a r t s o f 1 4 1 ,

w h e r e f u r t h e r d e t a i l s m a y b e f o u n d , a n d o t h e r s u b j e c t s a r e d i s c u s s e d , n o t a b l y a p p l i c a t i o n s i n

c o m p u t a t i o n a l u i d d y n a m i c s .

S i g n i c a n c e o f m u l t i g r i d m e t h o d s f o r s c i e n t i c c o m p u t a t i o n

N e e d l e s s t o s a y , e l l i p t i c a n d h y p e r b o l i c p a r t i a l d i e r e n t i a l e q u a t i o n s a r e , b y a n d l a r g e , a t t h e

h e a r t o f m o s t m a t h e m a t i c a l m o d e l s u s e d i n e n g i n e e r i n g a n d p h y s i c s , g i v i n g r i s e t o e x t e n s i v e

c o m p u t a t i o n s . O f t e n t h e p r o b l e m s t h a t o n e w o u l d l i k e t o s o l v e e x c e e d t h e c a p a c i t y o f e v e n

t h e m o s t p o w e r f u l c o m p u t e r s , o r t h e t i m e r e q u i r e d i s t o o g r e a t t o a l l o w i n c l u s i o n o f a d v a n c e d

m a t h e m a t i c a l m o d e l s i n t h e d e s i g n p r o c e s s o f t e c h n i c a l a p p a r a t u s , f r o m m i c r o c h i p s t o a i r c r a f t ,

m a k i n g d e s i g n o p t i m i z a t i o n m o r e d i c u l t . M u l t i g r i d m e t h o d s a r e a p r i m e s o u r c e o f i m p o r -

t a n t a d v a n c e s i n a l g o r i t h m i c e c i e n c y , n d i n g a r a p i d l y i n c r e a s i n g n u m b e r o f u s e r s . U n l i k e

o t h e r k n o w n m e t h o d s , m u l t i g r i d o e r s t h e p o s s i b i l i t y o f s o l v i n g p r o b l e m s w i t h N u n k n o w n s

w i t h O N w o r k a n d s t o r a g e , n o t j u s t f o r s p e c i a l c a s e s , b u t f o r l a r g e c l a s s e s o f p r o b l e m s .

H i s t o r i c a l d e v e l o p m e n t o f m u l t i g r i d m e t h o d s

T a b l e 1 . 0 . 1 , b a s e d o n t h e m u l t i g r i d b i b l i o g r a p h y i n 8 5 , i l l u s t r a t e s t h e r a p i d g r o w t h o f t h e

m u l t i g r i d l i t e r a t u r e , a g r o w t h w h i c h h a s c o n t i n u e d u n a b a t e d s i n c e 1 9 8 5 .

A s s h o w n b y T a b l e 1 . 0 . 1 , m u l t i g r i d m e t h o d s h a v e b e e n d e v e l o p e d o n l y r e c e n t l y . I n w h a t

p r o b a b l y w a s t h e r s t ` t r u e ' m u l t i g r i d p u b l i c a t i o n , F e d o r e n k o 4 3 f o r m u l a t e d a m u l t i g r i d a l -

g o r i t h m f o r t h e s t a n d a r d v e - p o i n t n i t e d i e r e n c e d i s c r e t i z a t i o n o f t h e P o i s s o n e q u a t i o n o n

a s q u a r e , p r o v i n g t h a t t h e w o r k r e q u i r e d t o r e a c h a g i v e n p r e c i s o n i s O N . T h i s w o r k w a s

g e n e r a l i z e d t o t h e c e n t r a l d i e r e n c e d i s c r e t i z a t i o n o f t h e g e n e r a l l i n e a r e l l i p t i c p a r t i a l d i e r -

e n t i a l e q u a t i o n 3 . 2 . 1 i n = 0 ; 1 0 ; 1 w i t h v a r i a b l e s m o o t h c o e c i e n t s b y B a c h v a l o v 8 .

1


2/134

T h e t h e o r e t i c a l w o r k e s t i m a t e s w e r e p e s s i m i s t i c , a n d t h e m e t h o d w a s n o t p u t i n t o p r a c t i c e a t

t h e t i m e . T h e r s t p r a c t i c a l r e s u l t s w e r e r e p o r t e d i n a p i o n e e r i n g p a p e r b y B r a n d t 1 9 , w h o

p u b l i s h e d a n o t h e r p a p e r i n 1 9 7 7 2 0 , c l e a r l y o u t l i n i n g t h e m a i n p r i n c i p l e s a n d t h e p r a c t i c a l

u t i l i t y o f m u l t i g r i d m e t h o d s , w h i c h d r e w w i d e a t t e n t i o n a n d m a r k e d t h e b e g i n n i n g o f r a p i d

d e v e l o p m e n t . T h e m u l t i g r i d m e t h o d w a s d i s c o v e r e d i n d e p e n d e n t l y b y H a c k b u s c h 5 0 , w h o

l a i d r m m a t h e m a t i c a l f o u n d a t i o n s a n d p r o v i d e d r e l i a b l e m e t h o d s 5 2 , 5 3 , 5 4 . A r e -

p o r t b y F r e d e r i c k s o n 4 7 d e s c r i b i n g a n e c i e n t m u l t i g r i d a l g o r i t h m f o r t h e P o i s s o n e q u a t i o n

l e d t h e p r e s e n t a u t h o r t o t h e d e v e l o p m e n t o f a s i m i l a r m e t h o d f o r t h e v o r t i c i t y - s t r e a m f u n c -

t i o n f o r m u l a t i o n o f t h e N a v i e r - S t o k e s e q u a t i o n s , r e s u l t i n g i n a n e c i e n t m e t h o d 1 3 5 , 1 4 3 .

A t r s t t h e r e w a s m u c h d e b a t e a n d s c e p t i c i s m a b o u t t h e t r u e m e r i t s o f m u l t i g r i d m e t h o d s .

O n l y a f t e r s u c i e n t i n i t i a t i o n s a t i s f a c t o r y r e s u l t s c o u l d b e o b t a i n e d . T h i s l e d a n u m b e r o f

r e s e a r c h e r s t o t h e d e v e l o p m e n t o f s t r o n g e r a n d m o r e t r a n s p a r e n t c o n v e r g e n c e p r o o f s 4 , 9 3 ,

9 4 , 5 1 , 5 4 , 1 3 6 , 1 3 7 s e e 5 7 f o r a s u r v e y o f t h e o r e t i c a l d e v e l o p m e n t s . A l t h o u g h r a t e

o f c o n v e r g e n c e p r o o f s o f m u l t i g r i d m e t h o d s a r e c o m p l i c a t e d , t h e i r s t r u c t u r e h a s n o w b e c o m e

m o r e o r l e s s s t a n d a r t i z e d a n d t r a s p a r e n r . O t h e r o u t h o r s h a v e t r i e d t o s p e a d c o n d e n c e i n

m u l t i g r i d m e t h o d s b y p r o v i d i n g e c i e n t a n d r e l i a b l e c o m p u t e r p r o g r a m s , a s m u c h a s p o s s i -

b l e o f ` b l a c k - b o x ' t y p e , f o r u n i n i t i a t e d u s e r s . A s u r v e y w i l l b e g i v e n l a t e r . T h e ` m u l t i g r i d

g u i d e ' o f B r a n d t 1 6 , 2 3 w a s p r o v i d e d t o g i v e g u i d e l i n e s f o r r e s e a r c h e r s w r i t i n g t h e i r o w n

m u l t i g r i d p r o g r a m s .

Y e a r 6 4 6 6 7 1 7 2 7 3 7 5 7 6 7 7 7 8 7 9 8 0 8 1 8 2 8 3 8 4 8 5

N u m b e r 1 1 1 1 1 1 3 1 1 1 0 2 2 3 1 7 0 7 8 9 6 9 4 1 4 9

T a b l e 1 . 0 . 1 : Y e a r s n u m b e r o f m u l t i g r i d p u b l i c a t i o n s

S c o p e o f t h e s e n o t e s

T h e f o l l o w i n g t o p i c s w i l l n o t b e t r e a t e d h e r e : p a r a b o l i c e q u a t i o n s , e i g e n v a l u e p r o b l e m s a n d

i n t e g r a l e q u a t i o n s . F o r a n i n t r o d u c t i o n t o t h e a p p l i c a t i o n o f m u l t i g r i d m e t h o d s t o t h e s e

s u b j e c t s , s e e 5 6 , 5 7 a n d 1 8 . T h e r e i s r e l a t i v e l y l i t t l e m a t e r i a l i n t h e s e a r e a s , a l t h o u g h

m u l t i g r i d c a n b e a p p l i e d p r o t a b l y . F o r i m p o r t a n t r e c e n t a d v a n c e s i n t h e e l d o f i n t e g r a l

e q u a t i o n s , s e e 2 5 a n d 1 3 0 . A r e c e n t p u b l i c a t i o n o n p a r a b o l i c m u l t i g r i d i s 9 1 . F i n i t e

e l e m e n t m e t h o d s w i l l n o t b e d i s c u s s e d , b u t n i t e v o l u m e a n d n i t e d i e r e n c e d i s c r e t i z a t i o n

w i l l b e t a k e n a s t h e p o i n t o f d e p a r t u r e . A l t h o u g h m o s t t h e o r e t i c a l w o r k h a s b e e n d o n e i n a

v a r i a t i o n a l f r a m e w o r k , m o s t a p p l i c a t i o n s u s e n i t e v o l u m e s o r n i t e d i e r e n c e s . T h e p r i n c i -

p l e s a r e t h e s a m e , h o w e v e r , a n d t h e r e a d e r s h o u l d h a v e n o d i c u l t y i n a p p l y i n g t h e p r i n c i p l e s

o u t l i n e d i n t h i s b o o k i n a n i t e e l e m e n t c o n t e x t .

2


3/134

M u l t i g r i d p r i n c i p l e s a r e m u c h m o r e w i d e l y a p p l i c a b l e t h a n j u s t t o t h e n u m e r i c a l s o l u t i o n

o f d i e r e n t i a l a n d i n t e g r a l e q u a t i o n s . A p p l i c a t i o n s i n s u c h d i v e r s e a r e a s a s c o n t r o l t h e o r y ,

o p t i m i z a t i o n , p a t t e r n r e c o g n i t i o n , c o m p u t a t i o n a l t o m o g r a p h y a n d p a r t i c l e p h y s i c s a r e b e g i n -

n i n g t o a p p e a r . F o r a s u r v e y o f t h e w i d e r a n g i n g a p p l i c a b i l i t y o f m u l t i g r i d p r i n c i p l e s , s e e 1 7 ,

1 8 .

N o t a t i o n

T h e n o t a t i o n i s e x p l a i n e d a s i t o c c u r s . L a t i n l e t t e r l i k e u d e n o t e u n k n o w n f u n c t i o n s . T h e

b o l d v e r s i o n u d e n o t e s a g r i d f u n c t i o n , w i t h v a l u e u

j

i n g r i d p o i n t x

j

, i n t e n d e d a s t h e d i s c r e t e

a p p r o x i m a t i o n o f u x

j

2 T h e b a s i c p r i n c i p l e o f m u l t i g r i d m e t h o d s f o r p a r t i a l d i e r -

e n t i a l e q u a t i o n s

2 . 1 I n t r o d u c t i o n

I n t h i s c h a p t e r , t h e b a s i c p r i n c i p l e o f m u l t i g r i d f o r p a r t i a l d i e r e n t i a l e q u a t i o n s w i l l b e e x -

p l a i n e d b y s t u d y i n g a o n e - d i m e n s i o n a l m o d e l p r o b l e m . O f c o u r s e , o n e - d i m e n s i o n a l p r o b l e m s

d o n o t r e q u i r e a p p l i c a t i o n o f m u l t i g r i d m e t h o d s , s i n c e f o r t h e a l g e b r a i c s y s t e m s t h a t r e s u l t

f r o m d i s c r e t i z a t i o n d i r e c t s o l u t i o n i s e c i e n t , b u t i n o n e d i m e n s i o n m u l t i g r i d m e t h o d s c a n b e

a n a l y s e d b y e l e m e n t a r y m e t h o d s , a n d t h e i r e s s e n t i a l p r i n c i p l e i s e a s i l y d e m o n s t r a t e d .

I n t r o d u c t i o n s t o t h e b a s i c p r i n c i p l e s o f m u l t i g r i d m e t h o d s a r e g i v e n b y 2 0 , 2 7 , 2 8 a n d

1 4 1 . M o r e a d v a n c e d e x p o s i t i o n s a r e g i v e n b y 1 1 2 , 1 6 a n d 5 7 , C h a p t e r 2 .

2 . 2 T h e b a s i c p r i n c i p l e

O n e - d i m e n s i o n a l m o d e l p r o b l e m

T h e f o l l o w i n g m o d e l p r o b l e m w i l l b e c o n s i d e r e d

d

2

u = d x

2

= f x i n = 0 ; 1 ; u 0 = d u 1 = d x = 0 2 2 1

A c o m p u t a t i o n a l g r i d i s d e n e d b y

G = f x 2 I R : x = x

j

= j h ; j = 1 ; 2 ; : : : ; 2 n ; h = 1 = 2 n g 2 2 2

T h e p o i n t s f x

j

g a r e c a l l e d t h e v e r t i c e s o f t h e g r i d .

E q u a t i o n 2 . 2 . 1 i s d i s c r e t i z e d w i t h n i t e d i e r e n c e s a s

h

2

2 u

1

u

2

= f

1

3


4/134

h

2

u

j 1

+ 2 u

j

u

j + 1

= f

j

; j = 2 ; 3 ; : : : ; 2 n 1 2 . 2 . 3

h

2

u

2 n 1

+ u

2 n

=

1

2

f

2 n

w h e r e f

j

= f x

j

a n d u

j

i s i n t e n d e d t o a p p r o x i m a t e u x

j

. T h e s o l u t i o n o f E q u a t i o n 2 . 2 . 1

i s d e n o t e d b y u , t h e s o l u t i o n o f E q u a t i o n 2 . 2 . 3 b y u a n d t h e v a l u e o f u i n x

j

b y u

j

u

j

a p p r o x i m a t e s t h e s o l u t i o n i n t h e v e r t e x x

j

; t h u s E q u a t i o n 2 . 2 . 3 i s c a l l e d a v e r t e x - c e n t e r e d

d i s c r e t i z a t i o n . T h e n u m b e r o f m e s h e s i n G i s e v e n , t o f a c i l i t a t e a p p l i c a t i o n o f a t w o - g r i d

m e t h o d . T h e s y s t e m 2 . 2 . 3 i s d e n o t e d b y

A u = f 2 2 4

G a u s s - S e i d e l i t e r a t i o n

I n m u l t i d i m e n s i o n a l a p p l i c a t i o n s o f n i t e d i e r e n c e m e t h o d s , t h e m a t r i x A i s l a r g e a n d s p a r s e ,

a n d t h e n o n - z e r o p a t t e r n h a s a r e g u l a r s t r u c t u r e . T h e s e c i r c u m s t a n c e s f a v o u r t h e u s e o f

i t e r a t i v e m e t h o d s f o r s o l v i n g 2 . 2 . 4 . W e w i l l p r e s e n t o n e s u c h m e t h o d . I n d i c a t i n g t h e m t h

i t e r a n d b y a s u p e r s c r i p t m , t h e G a u s s - S e i d e l i t e r a t i o n m e t h o d f o r s o l v i n g 2 . 2 . 3 i s d e n e d

b y , a s s u m i n g a n i n i t i a l g u e s s u

0

i s g i v e n ,

2 u

m

1

= u

m 1

2

+ h

2

f

1

u

m

j 1

+ 2 u

m

j

= u

m 1

j + 1

+ h

2

f

j

; j = 2 ; 3 ; : : : ; 2 n 1 2 . 2 . 5

u

m

2 n 1

+ u

m

2 n

=

1

2

h

2

f

2 n

F o u r i e r a n a l y s i s o f c o n v e r g e n c e

F o r e a s e o f a n a l y s i s , w e r e p l a c e t h e b o u n d a r y c o n d i t i o n s b y p e r i o d i c b o u n d a r y c o n d i t i o n s :

u 1 = u 0 2 2 6

T h e n t h e e r r o r e

m

= u

m

u

1

i s p e r i o d i c a n d s a t i s e s

e

m

j 1

+ 2 e

m

j

= e

m 1

j + 1

; e

m

j

= e

m

j + 2 n

2 2 7

A s w i l l b e d i s c u s s e d i n m o r e d e t a i l l a t e r , s u c h a p e r i o d i c g r i d f u n c t i o n c a n b e r e p r e s e n t e d b y

t h e f o l l o w i n g F o u r i e r s e r i e s :

e

m

j

=

n

X

= n + 1

c

m

e x p i j

;

= n 2 2 8

B e c a u s e o f t h e o r t h o g o n a l i t y o f f e

i j

g , i t s u e s t o s u b s t i t u t e e

m 1

j

= c

m 1

e

i j

i n 2 . 2 . 7 .

T h i s g i v e s e

m

j

= c

m

e

i j

w i t h

c

m

= g

c

m 1

; g

= e

i

= 2 e

i

2 2 9

4


5/134

T h e f u n c t i o n g

i s c a l l e d t h e a m p l i c a t i o n f a c t o r . I t m e a s u r e s t h e g r o w t h o r d e c a y o f a

F o u r i e r m o d e o f t h e e r r o r d u r i n g a n i t e r a t i o n . W e n d

g

= 5 4 c o s

1 = 2

2 2 1 0

A t r s t i t s e e m s t h a t G a u s s - S e i d e l d o e s n o t c o n v e r g e , b e c a u s e

m a x f g

:

= = n ; = n + 1 ; n + 2 ; : : : ; n g = g 0 = 1 2 2 1 1

H o w e v e r , w i t h p e r i o d i c b o u n d a r y c o n d i t i o n s t h e s o l u t i o n o f 2 . 2 . 1 i s d e t e r m i n e d u p t o a

c o n s t a n t o n l y , s o t h a t t h e r e i s n o n e e d t o r e q u i r e t h a t t h e F o u r i e r m o d e = 0 d e c a y s d u r i n g

i t e r a t i o n . E q u a t i o n 2 . 2 . 1 1 , t h e r e f o r e , i s n o t a c o r r e c t m e a s u r e o f c o n v e r g e n c e , b u t t h e

f o l l o w i n g q u a n t i t y i s :

m a x f g

:

= = n ; = n + 1 ; n + 2 ; : : : ; n ; 6= 0 g = g

1

= f 1 2

2

1

+ O

4

1

g

1 = 2

= 1 4

2

h

2

+ O h

4

2 . 2 . 1 2

I t f o l l o w s t h a t t h e r a t e o f c o n v e r g e n c e d e t e r i o r a t e s a s h # 0 . A p a r t f r o m s p e c i a l c a s e s ,

i n t h e c o n t e x t o f e l l i p t i c e q u a t i o n s t h i s i s f o u n d t o b e t r u e o f a l l s o c a l l e d b a s i c i t e r a t i v e

m e t h o d s m o r e o n t h e s e l a t e r ; w e l l k n o w n e x a m p l e s a r e t h e J a c o b i , G a u s s - S e i d e l a n d s u c c e s s i v e

o v e r - r e l a x a t i o n m e t h o d s b y w h i c h a g r i d f u n c t i o n v a l u e i s u p d a t e d u s i n g o n l y n e i g h b o u r i n g

v e r t i c e s . T h i s d e t e r i o r a t i o n o f r a t e o f c o n v e r g e n c e i s f o u n d t o o c c u r a l s o w i t h o t h e r k i n d s o f

b o u n d a r y c o n d i t i o n s . T h e p u r p o s e o f m u l t i g r i d i s t o a v o i d t h i s d e t e r i o r a t i o n , a n d t o a c h i e v e

a r a t e o f c o n v e r g e n c e w h i c h i s i n d e p e n d e n t o f h

T h e e s s e n t i a l m u l t i g r i d p r i n c i p l e

T h e r a t e o f c o n v e r g e n c e o f b a s i c i t e r a t i v e m e t h o d s c a n b e i m p r o v e d w i t h m u l t i g r i d m e t h o d s .

T h e b a s i c o b s e r v a t i o n i s t h a t 2 . 2 . 1 0 s h o w s t h a t g

d e c r e a s e s a s i n c r e a s e s . T h i s

m e a n s t h a t , a l t h o u g h l o n g w a v e l l e n g t h F o u r i e r m o d e s c l o s e t o 1 d e c a y s l o w l y g

=

1 O h

2

, s h o r t w a v e l e n g t h F o u r i e r m o d e s a r e r e d u c e d r a p i d l y . T h e e s s e n t i a l m u l t i g r i d

p r i n c i p l e i s t o a p p r o x i m a t e t h e s m o o t h l o n g w a v e l e n g t h p a r t o f t h e e r r o r o n c o a r s e r g r i d s .

T h e n o n - s m o o t h o r r o u g h p a r t i s r e d u c e d w i t h a s m a l l n u m b e r i n d e p e n d e n t o f h o f i t e r a t i o n s

w i t h a b a s i c i t e r a t i v e m e t h o d o n t h e n e g r i d .

F o u r i e r s m o o t h i n g a n a l y s i s

I n o r d e r t o b e a b l e t o v e r i f y w h e t h e r a b a s i c i t e r a t i v e m e t h o d g i v e s a g o o d r e d u c t i o n o f t h e

r o u g h p a r t o f t h e e r r o r , t h e c o n c e p t o f r o u g h n e s s h a s t o b e d e n e d p r e c i s e l y .

D e n i t i o n 2 . 2 . 1 T h e s e t o f r o u g h w a v e n u m b e r s

r

i s d e n e d b y

r

= f

= = n ; c n ; = n + 1 ; n + 2 ; : : : ; n g 2 2 1 3

5


6/134

w h e r e 0 c 1 i s x e d c o n s t a n t i n d e p e n d e n t o f n

T h e p e r f o r m a n c e o f a s m o o t h i n g m e t h o d i s m e a s u r e d b y i t s s m o o t h i n g f a c t o r , d e n e d a s

f o l l o w s .

D e n i t i o n 2 . 2 . 2 T h e s m o o t h i n g f a c t o r i s d e n e d b y

= m a x f g

:

2

r

g 2 2 1 4

W h e n f o r a b a s i c i t e r a t i v e m e t h o d 1 i s b o u n d e d a w a y f r o m 1 u n i f o r m l y i n h , w e s a y t h a t

t h e m e t h o d i s a s m o o t h e r . N o t e t h a t d e p e n d s o n t h e i t e r a t i v e m e t h o d a n d o n t h e p r o b l e m .

F o r G a u s s - S e i d e l a n d t h e p r e s e n t m o d e l p r o b l e m i s e a s i l y d e t e r m i n e d . E q u a t i o n 2 . 2 . 1 0

s h o w s t h a t g d e c r e a s e s m o n o t o n i c a l l y , s o t h a t

= 5 4 c o s c

1 = 2

2 2 1 5

H e n c e , f o r t h e p r e s e n t p r o b l e m G a u s s - S e i d e l i s a s m o o t h e r .

I t i s c o n v e n i e n t t o s t a n d a r d i z e t h e c h o i c e o f c . O n l y t h e F o u r i e r m o d e s t h a t c a n n o t b e

r e p r e s e n t e d o n t h e c o a r s e g r i d n e e d t o b e r e d u c e d b y t h e b a s i c i t e r a t i v e m e t h o d ; t h u s i t i s

n a t u r a l t o l e t t h e s e m o d e s c o n s t i t u t e

r

. W e c h o o s e t h e c o a r s e g r i d b y d o u b l i n g t h e m e s h - s i z e

o f G . T h e F o u r i e r m o d e s o n t h i s g r i d h a v e w a v e n u m b e r s

g i v e n b y 2 . 2 . 8 w i t h n r e p l a c e d

b y n = 2 a s s u m i n g f o r s i m p l i c i t y n t o b e e v e n . T h e r e m a i n i n g w a v e n u m b e r s a r e d e n e d t o

b e n o n - s m o o t h , a n d a r e g i v e n b y 2 . 2 . 1 3 w i t h

c = 1 = 2 2 2 1 6

E q u a t i o n 2 . 2 . 1 5 t h e n g i v e s t h e f o l l o w i n g s m o o t h i n g f a c t o r f o r G a u s s - S e i d e l

= 5

1 = 2

2 2 1 7

T h i s t y p e o f F o u r i e r s m o o t h i n g a n a l y s i s w a s o r i g i n a l l y i n t r o d u c e d b y B r a n d t 2 0 . I t i s a

u s e f u l a n d s i m p l e t o o l . W h e n t h e b o u n d a r y c o n d i t i o n s a r e n o t p e r i o d i c , i t s p r e d i c t i o n s a r e

f o u n d t o r e m a i n q u a l i t a t i v e l y c o r r e c t , e x c e p t i n t h e c a s e o f s i n g u l a r p e r t u r b a t i o n p r o b l e m s ,

t o b e d i s c u s s e d l a t e r .

W i t h s m o o t h l y v a r y i n g c o e c i e n t s , e x p e r i e n c e s h o w s t h a t a s m o o t h e r w h i c h p e r f o r m s w e l l

i n t h e ` f r o z e n c o e c i e n t ' c a s e , w i l l a l s o p e r f o r m w e l l f o r v a r i a b l e c o e c i e n t s . B y t h e ` f r o z e n

c o e c i e n t ' c a s e w e m e a n a s e t o f c o n s t a n t c o e c i e n t c a s e s , w i t h c o e c i e n t v a l u e s e q u a l t o t h e

v a l u e s o f t h e v a r i a b l e c o e c i e n t s u n d e r c o n s i d e r a t i o n i n a s u c i e n t l y l a r g e s a m p l e o f p o i n t s

i n t h e d o m a i n .

6


7/134

E x e r c i s e 2 . 2 . 1 D e t e r m i n e t h e s m o o t h i n g f a c t o r o f t h e d a m p e d J a c o b i m e t h o d d e n e d l a t e r

t o p r o b l e m 2 . 2 . 5 w i t h b o u n d a r y c o n d i t i o n s 2 . 2 . 6 . N o t e t h a t w i t h d a m p i n g p a r a m e t e r ! = 1

t h i s i s n o t a s m o o t h e r .

E x e r c i s e 2 . 2 . 2 D e t e r m i n e t h e s m o o t h i n g f a c t o r o f t h e J a c o b i m e t h o d a p p l i e d t o p r o b l e m

2 . 2 . 5 w i t h D i r i c h l e t b o u n d a r y c o n d i t i o n s u 0 = u 1 = 0 , b y u s i n g t h e F o u r i e r s i n e s e r i e s .

N o t e t h a t t h e s m o o t h i n g f a c t o r i s t h e s a m e a s o b t a i n e d w i t h t h e e x p o n e n t i a l F o u r i e r s e r i e s .

E x e r c i s e 2 . 2 . 3 D e t e r m i n e t h e s m o o t h i n g f a c t o r o f t h e G a u s s - S e i d e l m e t h o d f o r c e n t r a l

d i s c r e t i z a t i o n o f t h e c o n v e c t i o n - d i u s i o n e q u a t i o n c d u = d x " d

2

u = d x

2

= f . S h o w t h a t f o r

c h = " 1 a n d c 1 w e h a v e n o s m o o t h e r .

2 . 3 T h e t w o - g r i d a l g o r i t h m

C o a r s e g r i d a p p r o x i m a t i o n

A c o a r s e g r i d

G i s d e n e d b y d o u b l i n g t h e m e s h - s i z e o f G :

G = f x 2 I R : x = x

j

= j

h ; j = 1 ; 2 ; : : : ; n ;

h = 1 = n g 2 3 1

T h e v e r t i c e s o f

G a l s o b e l o n g t o G ; t h u s t h i s i s c a l l e d v e r t e x - c e n t e r e d c o a r s e n i n g . T h e o r i g i n a l

g r i d G i s c a l l e d t h e n e g r i d . L e t

U : G ! I R ;

U :

G ! I R 2 3 2

b e t h e s e t s o f n e a n d c o a r s e g r i d f u n c t i o n s , r e s p e c t i v e l y . A p r o l o n g a t i o n o p e r a t o r P :

U ! U

i s d e n e d b y l i n e a r i n t e r p o l a t i o n :

P u

2 j

= u

j

; P u

2 j + 1

=

1

2

u

j

+ u

j + 1

2 3 3

O v e r b a r s i n d i c a t e c o a r s e g r i d q u a n t i t i e s . A r e s t r i c t i o n o p e r a t o r R : U !

U i s d e n e d b y t h e

f o l l o w i n g w e i g h t e d a v e r a g e

R u

j

=

1

4

u

2 j 1

+

1

2

u

2 j

+

1

4

u

2 j + 1

2 3 4

w h e r e u

j

i s d e n e d t o b e z e r o o u t s i d e G . N o t e t h a t t h e m a t r i c e s P a n d R a r e r e l a t e d b y

R =

1

2

P

T

, b u t t h i s p r o p e r t y i s n o t e s s e n t i a l .

T h e n e g r i d e q u a t i o n 2 . 2 . 4 m u s t b e a p p r o x i m a t e d b y a c o a r s e g r i d e q u a t i o n

A

u =

f

7


8/134

L i k e t h e n i t e g r i d m a t r i x A , t h e c o a r s e g r i d m a t r i x

A m a y b e o b t a i n e d b y d i s c r e t i z i n g

E q u a t i o n 2 . 2 . 1 . T h i s i s c a l l e d d i s c r e t i z a t i o n c o a r s e g r i d a p p r o x i m a t i o n . A n a l t e r n a t i v e i s

t h e f o l l o w i n g . T h e n e g r i d p r o b l e m 2 . 2 . 4 i s e q u i v a l e n t t o

A u ; v = f ; v ; u 2 U ; 8 v 2 U 2 3 5

w i t h ; t h e s t a n d a r d i n n e r p r o d u c t o n U . W e w a n t t o n d a n a p p r o x i m a t e d s o l u t i o n P

u

w i t h

u 2

U . T h i s e n t a i l s r e s t r i c t i o n o f t h e t e s t f u n c t i o n s v t o a s u b s p a c e w i t h t h e s a m e

d i m e n s i o n a s

U , t h a t i s , t e s t f u n c t i o n s o f t h e t y p e

~

P

v w i t h

v 2

U , a n d

~

P a p r o l o n g a t i o n

o p e r a t o r t h a t m a y b e d i e r e n t f r o m P :

A P

u ;

P

v = f ;

P

v ;

u 2

U ; 8

v 2

U 2 3 6

o r

P

A P

u ;

v =

~

P

f ;

v ;

u 2

U ; 8

v 2

U 2 3 7

w h e r e n o w o f c o u r s e ; i s o v e r

U , a n d s u p e r s c r i p t

d e n o t e s t h e a d j o i n t o r t r a n s p o s e i n

t h i s c a s e . E q u a t i o n 2 . 3 . 7 i s e q u i v a l e n t t o

A

u =

f 2 3 8

w i t h

A = R A P 2 3 9

a n d f = R f ; w e h a v e r e p l a c e d

P

b y R . T h i s c h o i c e o f

A i s c a l l e d G a l e r k i n c o a r s e g r i d

a p p r o x i m a t i o n

W i t h A ; P a n d R g i v e n b y 2 . 2 . 3 , 2 . 3 . 3 a n d 2 . 3 . 4 , E q u a t i o n 2 . 3 . 9 r e s u l t s i n t h e f o l l o w i n g

A

A u

1

=

h

2

2 u

1

u

2

A u

j

=

h

2

u

j 1

+ 2 u

j

u

j + 1

; j = 2 ; 3 ; : : : ; n 1 2 . 3 . 1 0

A u

n

= u

2

u

n 1

+ u

n

w h i c h i s t h e c o a r s e g r i d e q u i v a l e n t o f t h e l e f t - h a n d s i d e o f 2 . 2 . 3 . H e n c e , i n t h e p r e s e n t

c a s e t h e r e i s n o d i e r e n c e b e t w e e n G a l e r k i n a n d d i s c r e t i z a t i o n c o a r s e g r i d a p p r o x i m a t i o n .

T h e d e r i v a t i o n o f 2 . 3 . 1 0 i s d i s c u s s e d i n E x e r c i s e 2 . 3 . 1 . T h e f o r m u l a 2 . 3 . 9 h a s t h e o r e t i c a l

a d v a n t a g e s , a s w e s h a l l s e e .

C o a r s e g r i d c o r r e c t i o n

L e t

^

u b e a n a p p r o x i m a t i o n t o t h e s o l u t i o n o f 2 . 2 . 4 . T h e e r r o r e

^

u u i s t o b e a p p r o x i m a t e d

o n t h e c o a r s e g r i d . W e h a v e

A e = r A

^

u f 2 3 1 1

8


9/134

T h e c o a r s e g r i d a p p r o x i m a t i o n

u o f e s a t i s e s

A

u = R r 2 3 1 2

I n a t w o - g r i d m e t h o d i t i s a s s u m e d t h a t 2 . 3 . 1 2 i s s o l v e d e x a c t l y . t h e c o a r s e g r i d c o r r e c t i o n

t o b e a d d e d t o

^

u i s P

u :

^

u : =

^

u + P

u 2 3 1 3

L i n e a r t w o - g r i d a l g o r i t h m

T h e t w o - g r i d a l g o r i t h m f o r l i n e a r p r o b l e m s c o n s i s t s o f s m o o t h i n g o n t h e n e g r i d , a p p r o x i m a -

t i o n o f t h e r e q u i r e d c o r r e c t i o n o n t h e c o a r s e g r i d , p r o l o n g a t i o n o f t h e c o a r s e g r i d c o r r e c t i o n

t o t h e n e g r i d , a n d a g a i n s m o o t h i n g o n t h e n e g r i d . T h e p r e c i s e d e n i t i o n o f t h e t w o - g r i d

a l g o r i t h m i s

c o m m e n t T w o - g r i d a l g o r i t h m ;

I n i t i a l i z e u

0

;

f o r i : = 1 s t e p 1 u n t i l n t g d o

u

1 = 3

: = S u

0

; A ; f ;

1

;

r : = f A u

1 = 3

;

u : =

A

1

R r ;

u

2 = 3

: = u

1 = 3

+ P

u ;

u

1

: = S u

2 = 3

; A ; f ;

2

;

u

0

: = u

1

;

o d

2 3 1 4

T h e n u m b e r o f t w o - g r i d i t e r a t i o n s c a r r i e d o u t i s n t g : S u

0

; A ; f ;

1

s t a n d s f o r

1

s m o o t h i n g

i t e r a t i o n s , f o r e x a m p l e w i t h t h e G a u s s - S e i d e l m e t h o d d i s c u s s e d e a r l i e r , a p p l i e d t o A u = f ,

s t a r t i n g w i t h u

0

. T h e r s t a p p l i c a t i o n o f S i s c a l l e d p r e - s m o o t h i n g , t h e s e c o n d p o s t - s m o o t h i n g

E x e r c i s e 2 . 3 . 1 D e r i v e 2 . 3 . 1 0 H i n t . I t i s e a s y t o w r i t e d o w n R A u

i

i n t h e i n t e r i o r a n d a t

t h e b o u n d a r i e s . N e x t , o n e r e p l a c e s u

i

b y P u

i

2 . 4 T w o - g r i d a n a l y s i s

T h e p u r p o s e o f t w o - g r i d a n a l y s i s a s o f m u l t i g r i d a n a l y s i s i s t o s h o w t h a t t h e r a t e o f c o n v e r -

g e n c e i s i n d e p e n d e n t o f t h e m e s h - s i z e h . W e w i l l a n a l y s e a l g o r i t h m 2 . 3 . 1 4 f o r t h e s p e c i a l

c a s e

1

= 0 n o - p r e s m o o t h i n g .

C o a r s e g r i d c o r r e c t i o n

F r o m 2 . 3 . 1 4 i t f o l l o w s t h a t a f t e r c o a r s e g r i d c o r r e c t i o n t h e e r r o r e

2 = 3

u

2 = 3

u s a t i s e s

e

2 = 3

= e

1 = 3

+ P

u

1 = 3

= E e

1 = 3

2 4 1

9


10/134

w i t h t h e i t e r a t i o n m a t r i x o r e r r o r a m p l i c a t i o n m a t r i x E d e n e d b y

E I P

A

1

R A 2 4 2

W e w i l l e x p r e s s e

2 = 3

e x p l i c i t l y i n t e r m s o f e

1 = 3

. T h i s i s p o s s i b l e o n l y i n t h e p r e s e n t s i m p l e

o n e - d i m e n s i o n a l c a s e , w h i c h i s o u r m a i n m o t i v a t i o n f o r s t u d y i n g t h i s c a s e . L e t

e

1 = 3

= d + P

e ; w i t h e

j

e

1 = 3

2 j

2 4 3

T h e n i t f o l l o w s t h a t

e

2 = 3

= E e

1 = 3

= E d 2 4 4

W e n d f r o m 2 . 4 . 3 t h a t

d

2 j

= 0 ; d

2 j + 1

=

1

2

e

1 = 3

j

+ e

1 = 3

2 j + 1

1

2

e

1 = 3

2 j + 2

2 4 5

F u r t h e r m o r e , f r o m 2 . 4 . 5 i t f o l l o w s t h a t

R A d = 0 2 4 6

s o t h a t

e

2 = 3

= d 2 4 7

S m o o t h i n g

N e x t , w e c o n s i d e r t h e e e c t o f p o s t - s m o o t h i n g b y o n e G a u s s - S e i d e l i t e r a t i o n . F r o m 2 . 2 . 5 i t

f o l l o w s t h a t t h e e r r o r a f t e r p o s t - s m o o t h i n g e

1

= u

1

u i s r e l a t e d t o e

2 = 3

b y

2 e

1

1

= e

2 = 3

2

e

1

j 1

+ 2 e

1

j

= e

2 = 3

j + 1

; j = 2 ; 3 ; : : : ; 2 n 1 2 . 4 . 8

e

1

2 n 1

+ e

1

2 n

= 0

U s i n g 2 . 4 . 5 2 . 4 . 7 t h i s c a n b e r e w r i t t e n a s

e

1

1

= 0

e

1

2 j

=

1

2

d

2 j + 1

+

1

4

e

1

2 j 2

; e

1

2 j + 1

=

1

2

e

1

2 j

; j = 1 ; 2 ; : : : ; n 1 2 . 4 . 9

e

1

2 n

= e

1

2 n 1

B y i n d u c t i o n i t i s e a s y t o s e e t h a t

e

1

2 j

2

3

k d k

1

; k d k

1

= m a x f d

j

: j = 1 ; 2 ; : : : ; 2 n g 2 4 1 0

1 0


11/134

S i n c e d = e

2 = 3

, w e s e e t h a t G a u s s - S e i d e l r e d u c e s t h e m a x i m u m n o r m o f t h e e r r o r b y a f a c t o r

2 3 o r l e s s .

R a t e o f c o n v e r g e n c e

S i n c e e

1 = 3

0

= 0 b e c a u s e o f t h e b o u n d a r y c o n d i t i o n s , i t f o l l o w s f r o m 2 . 4 . 5 t h a t

d

1

1

2

A e

0

1

2 4 1 1

s i n c e e

1 = 3

= e

0

n o p r e - s m o o t h i n g .

F r o m 2 . 4 . 9 i t f o l l o w s t h a t

A e

1

2 j

=

3

4

d

2 j + 1

1

1 6

d

2 j 1

1

6 4

d

2 j 3

A e

1

2 j 1

=

1

2

e

1

2 j

2 4 1 2

H e n c e , u s i n g 2 . 4 . 1 0 ,

A e

1

2 j

5

6

k d k

1

; A

1

e

2 j 1

1

3

k d k

1

2 4 1 3

S u b s t i t u t i o n o f 2 . 4 . 1 1 g i v e s

k r

1

k

1

5

1 2

k r

0

k

1

2 4 1 4

w h e r e r A e i s t h e r e s i d u a l . T h i s s h o w s t h a t t h e m a x i m u m n o r m i s r e d u c e d b y a f a c t o r o f

5 1 2 o r b e t t e r , i n d e p e n d e n t o f t h e m e s h - s i z e

T h i s t y p e o f a n a l y s i s i s r e s t r i c t e d t o t h e p a r t i c u l a r c a s e a t h a n d . M o r e g e n e r a l c a s e s w i l l b e

t r e a t e d l a t e r b y F o u r i e r - a n a l y s i s . T h e r e a d r a w b a c k i s o f c o u r s e t h e a s s u m p t i o n o f p e r i o d i c

b o u n d a r y c o n d i t i o n s . T h e g e n e r a l p r o o f s o f r a t e o f c o n v e r g e n c e r e f e r r e d t o i n t h e i n t r o d u c t i o n

d o n o t g i v e s h a r p e s t i m a t e s . T h e r e f o r e t h e s h a r p e r e s t i m a t e s o b t a i n a b l e b y F o u r i e r a n a l y s i s

a r e m o r e u s e f u l f o r d e b u g g i n g c o d e s . O n t h e s h a r p n e s s o f r a t e o f c o n v e r g e n c e p r e d i c t i o n s

b a s e d o n F o u r i e r a n a l y s i s , s e e 2 4 .

A g a i n : t h e e s s e n t i a l p r i n c i p l e

H o w i s t h e e s s e n t i a l p r i n c i p l e o f m u l t i g r i d , d i s c u s s e d i n S e c t i o n 2 . 2 , r e c o g n i z e d i n t h e f o r e g o i n g

a n a l y s i s ? E q u a t i o n s 2 . 4 . 6 a n d 2 . 4 . 7 s h o w t h a t

R A e

2 = 3

= 0 2 4 1 5

A p p l i c a t i o n o f R m e a n s t a k i n g a l o c a l a v e r a g e w i t h p o s i t i v e w e i g h t s ; t h u s 2 . 4 . 1 5 i m p l i e s

t h a t A e

2 = 3

h a s m a n y s i g n c h a n g e s , a n d i s t h e r e f o r e r o u g h . S i n c e A e

2 = 3

= A u

2 = 2

f i s

t h e r e s i d u a l , w e s e e t h a t a f t e r c o a r s e g r i d c o r r e c t i o n t h e r e s i d u a l i s r o u g h . T h e s m o o t h e r

i s e c i e n t i n r e d u c i n g t h i s n o n - s m o o t h r e s i d u a l f u r t h e r , w h i c h e x p l a i n s t h e h - i n d e p e n d e n t

1 1


12/134

r e d u c t i o n s h o w n i n 2 . 4 . 1 4 .

E x e r c i s e 2 . 4 . 1 I n t h e d e n i t i o n o f G 2 . 2 . 2 a n d

G 2 . 3 . 1 w e h a v e n o t i n c l u d e d t h e p o i n t

x = 0 , w h e r e a D i r i c h l e t c o n d i t i o n h o l d s . I f N e u m a n n c o n d i t i o n i s g i v e n a t x = 0 , t h e p o i n t

x = 0 m u s t b e i n c l u d e d i n G a n d

G . I f o n e w a n t s t o w r i t e a g e n e r a l m u l t i g r i d p r o g r a m f o r

b o t h c a s e s , x = 0 h a s t o b e i n c l u d e d . R e p e a t t h e f o r e g o i n g a n a l y s i s o f t h e t w o - g r i d a l g o r i t h m

w i t h x = 0 i n c l u d e d i n G a n d

G . N o t e t h a t i n c l u d i n g x = 0 m a k e s A n o n - s y m m e t r i c . T h i s

d i c u l t y d o e s n o t o c c u r w i t h c e l l - c e n t e r e d d i s c r e t i z a t i o n , t o b e d i s c u s s e d i n t h e n e x t c h a p t e r .

3 B a s i c I t e r a t i v e M e t h o d s


S m o o t h i n g m e t h o d s i n m u l t i g r i d a l g o r i t h m s a r e u s u a l l y t a k e n f r o m t h e c l a s s o f b a s i c i t e r a t i v e

m e t h o d s , t o b e d e n e d b e l o w . T h i s c h a p t e r p r e s e n t s a n i n t r o d u c t i o n t o t h e s e m e t h o d s . A

m o r e d e t a i l e d a c c o u n t m a y b e f o u n d i n 1 4 1 .

B a s i c i t e r a t i v e m e t h o d s

S u p p o s e t h a t d i s c r e t i z a t i o n o f t h e p a r t i a l d i e r e n t i a l e q u a t i o n t o b e s o l v e d l e a d s t o t h e f o l -

l o w i n g l i n e a r a l g e b r a i c s y s t e m

A y = b 3 1 1

L e t t h e m a t r i x A b e s p l i t a s

A = M N 3 1 2

w i t h M n o n - s i n g u l a r . T h e n t h e f o l l o w i n g i t e r a t i o n m e t h o d f o r t h e s o l u t i o n o f 3 . 1 . 1 i s c a l l e d

a b a s i c i t e r a t i v e m e t h o d :

M y

m + 1

= N y

m

+ b 3 1 3

o r

y

m + 1

= S y

m

+ T b 3 1 4

w i t h

S = M

1

N ; T = M

1

3 1 5

s o t h a t w e h a v e

y

m + 1

= S y

m

+ M

1

b ; S = M

1

N ; N = M A 3 1 6

T h e m a t r i x S i s c a l l e d t h e i t e r a t i o n m a t r i x o f i t e r a t i o n m e t h o d 3 . 1 . 6 .

B a s i c i t e r a t i v e m e t h o d m a y b e d a m p e d , b y m o d i f y i n g 3 . 1 . 6 a s f o l l o w s

y

= S y

m

+ M

1

b

y

m + 1

= ! y

+ 1 ! y

m

3 1 7

1 2


13/134

B y e l i m i n a t i o n o f y

o n e o b t a i n s

y

m + 1

= S

8

y

m

+ ! M

1

b 3 1 8

w i t h

S

= ! S + 1 ! I 3 1 9

T h e e i g e n v a l u e s o f t h e u n d a m p e d i t e r a t i o n m a t r i x S a n d t h e d a m p e d i t e r a t i o n m a t r i x S

a r e

r e l a t e d b y

S

= ! S + 1 ! 3 1 1 0

A l t h o u g h t h e p o s s i b i l i t y t h a t a d i v e r g e n t m e t h o d 3 . 1 . 6 o r 3 . 1 . 8 i s a g o o d s m o o t h e r a c o n -

c e p t t o b e e x p l a i n e d l a t e r c a n n o t b e e x c l u d e d , t h e m o s t l i k e l y c a n d i d a t e s f o r g o o d s m o o t h i n g

m e t h o d s a r e t o b e f o u n d a m o n g c o n v e r g e n t m e t h o d s . I n t h e n e x t s e c t i o n , t h e r e f o r e , s o m e

r e s u l t s o n c o n v e r g e n c e o f b a s i c i t e r a t i v e m e t h o d s a r e p r e s e n t e d . F o r m o r e b a c k g r o u n d , s e e

1 2 9 a n d 1 5 1 .

E x e r c i s e 3 . 1 . 1 S h o w t h a t 3 . 1 . 8 c o r r e s p o n d s t o t h e s p l i t t i n g

M

= M = ! ; N

= A M

3 1 1 1

3 . 2 C o n v e r g e n c e o f b a s i c i t e r a t i v e m e t h o d s

C o n v e r g e n c e

I n t h e c o n v e r g e n c e t h e o r y f o r 3 . 1 . 3 t h e f o l l o w i n g c o n c e p t s p l a y a n i m p o r t a n t r o l e . W e h a v e

M y = N y + b , s o t h a t t h e e r r o r e

m

= y

m

y s a t i s e s

e

m + 1

= S e

m

3 2 1

A s s h o w n i n m a n y t e x t b o o k s , w e h a v e

T h e o r e m 3 . 2 . 2 C o n v e r g e n c e o f 3 . 1 . 3 i s e q u i v a l e n t t o

S 1 3 2 2

w i t h S t h e s p e c t r a l r a d i u s o f S

R e g u l a r s p l i t t i n g s a n d M - a n d K - m a t r i c e s

D e n i t i o n 3 . 2 . 2 T h e s p l i t t i n g 3 . 1 . 2 i s c a l l e d r e g u l a r i f M

1

0 a n d N 0 e l e m e n t w i s e .

T h e s p l i t t i n g i s c o n v e r g e n t w h e n 3 . 1 . 3 c o n v e r g e s .

D e n i t i o n 3 . 2 . 3 1 2 9 , D e n i t i o n 3 . 3 . T h e m a t r i x A i s c a l l e d a n M - m a t r i x i f a

i j

0 f o r

1 3


14/134

a l l i ; j w i t h i 6= j , A i s n o n - s i n g u l a r a n d A

1

0 e l e m e n t w i s e .

T h e o r e m 3 . 2 . 3 A r e g u l a r s p l i t t i n g o f a m M - m a t r i x i s c o n v e r g e n t .

P r o o f . S e e 1 2 9 T h e o r e m 3 . 1 3 . 2

U n f o r t u n a t e l y , a r e g u l a r s p l i t t i n g o f a n M - m a t r i x d o e s n o t n e c e s s a r y g i v e a s m o o t h i n g m e t h o d .

A c o u n t e r e x a m p l e i s t h e J a c o b i m e t h o d t o b e d i s c u s s e d s h o r t l y a p p l i e d t o L a p l a c e ' s e q u a -

t i o n s e e l a t e r . I n p r a c t i c e , h o w e v e r , i t i s e a s y t o n d g o o d s m o o t h i n g m e t h o d s i f A i s a n

M - m a t r i x . A s d i s c u s s e d i n 1 4 5 , a c o n v e r g e n t i t e r a t i v e m e t h o d c a n a l w a y s b e t u r n e d i n t o a

s m o o t h i n g m e t h o d b y i n t r o d u c t i o n o f d a m p i n g . W e w i l l n d l a t e r t h a t o f t e n t h e e c a c y o f

s m o o t h i n g m e t h o d s t o b e e n h a n c e d s i g n i c a n t l y b y d a m p i n g . D a m p e d v e r s i o n o f t h e m e t h o d s

t o b e d i s c u s s e d a r e o b t a i n e d e a s i l y , u s i n g e q u a t i o n s 3 . 1 . 8 , 3 . 1 . 9 a n d 3 . 1 . 1 0 .

H e n c e , i t i s w o r t h w h i l e t o t r y t o d i s c r e t i z e i n s u c h w a y t h a t t h e r e s u l t i n g m a t r i x A i s

a n M - m a t r i x . I n o r d e r t o m a k e i t e a s y t o s e e i f a d i s c r e t i z a t i o n m a t r i x i s a n M - m a t r i x w e

p r e s e n t t h e f o l l o w i n g t h e o r e m .

D e n i t i o n 3 . 2 . 4 A m a t r i x A i s c a l l e d i r r e d u c i b l e i f f r o m 3 . 1 . 1 o n e c a n n o t e x t r a c t a s u b -

s y s t e m t h a t c a n b e s o l v e d i n d e p e n d e n t l y .

D e n i t i o n 3 . 2 . 5 A m a t r i x A i s c a l l e d a K - m a t r i x i f

a

i i

0 ; 8 i ; 3 . 2 . 3

a

i j

0 ; 8 i ; j w i t h i 6= j 3 . 2 . 4

a n d

X

j

a

i j

0 ; 8 i ; 3 2 5

w i t h s t r i c t i n e q u a l i t y f o r a t l e a s t o n e i

T h e o r e m 3 . 2 . 4 A n i r r e d u c i b l e K - m a t r i x i s a n M - m a t r i x .

P r o o f . S e e 1 4 1 . 2

N o t e t h a t i n s p e c t i o n o f t h e K - m a t r i x p r o p e r t y i s e a s y .

T h e f o l l o w i n g t h e o r e m i s h e l p f u l i n t h e c o n s t r u c t i o n o f r e g u l a r s p l i t t i n g s .

T h e o r e m 3 . 2 . 5 L e t A b e a n M - m a t r i x . I f M i s o b t a i n e d b y r e p l a c i n g c e r t a i n e l e m e n t s a

i j

w i t h i 6= j b y v a l u e s b

i j

s a t i s f y i n g a

i j

b

i j

0 , t h e n A = M N i s a r e g u l a r s p l i t t i n g .

1 4


15/134

P r o o f . T h i s t h e o r e m i s a n e a s y g e n e r a l i z a t i o n o f T h e o r e m 3 . 1 4 i n 1 2 9 s u g g e s t e d b y T h e o r e m

2 . 2 i n 8 7 . 2

T h e b a s i c i t e r a t i v e m e t h o d s t o b e c o n s i d e r e d a l l r e s u l t i n r e g u l a r s p l i t t i n g s , a n d l e a d t o

n u m e r i c a l l y s t a b l e a l g o r i t h m s , i f A i s a n M - m a t r i x . T h i s i s o n e r e a s o n w h y i t i s a d v i s a b l e

t o d i s c r e t i z e t h e p a r t i a l d i e r e n t i a l e q u a t i o n t o b e s o l v e d i n s u c h a w a y t h a t t h e r e s u l t i n g

m a t r i x i s a n M - m a t r i x . T h i s m a y r e q u i r e u p w i n d d i e r e n c i n g f o r r s t d e r i v a t i v e s . A n o t h e r

r e a s o n i s t h e e x c l u s i o n o f n u m e r i c a l w i g g l e s i n t h e c o m p u t e d s o l u t i o n , b e c a u s e a m o n o t o n i c i t y

p r i n c i p l e i s a s s o c i a t e d w i t h t h e M - m a t r i x p r o p e r t y .

3 . 3 E x a m p l e s o f b a s i c i t e r a t i v e m e t h o d s : J a c o b i a n d G a u s s - S e i d e l

W e p r e s e n t a n u m b e r o f m o s t l y c o m m o n b a s i c i t e r a t i v e m e t h o d s b y d e n i n g t h e c o r r e s p o n d -

i n g s p l i t t i n g s 3 . 1 . 2 . W e a s s u m e t h a t A a r i s e s f r o m a d i s c r e t i z a t i o n o n a t w o - d i m e n s i o n a l

s t r u c t u r e d g r i d .

P o i n t J a c o b i . M = d i a g A

B l o c k J a c o b i . M i s o b t a i n e d f r o m A b y r e p l a c i n g a

i j

f o r a l l i ; j w i t h j 6= i ; i 1 b y z e r o .

W i t h t h e f o r w a r d o r d e r i n g o f t h e g r i d p o i n t s o f F i g u r e 3 . 3 . 1 t h i s g i v e s h o r i z o n t a l l i n e J a c o b i ;

w i t h t h e f o r w a r d v e r t i c a l l i n e o r d e r i n g o f F i g u r e 3 . 3 . 2 o n e o b t a i n s v e r t i c a l l i n e J a c o b i . O n e

h o r i z o n t a l l i n e J a c o b i i t e r a t i o n f o l l o w e d b y o n e v e r t i c a l l i n e J a c o b i i t e r a t i n g i v e s a l t e r n a t i n g

J a c o b i .

1 6 1 7 1 8 1 9 2 0 5 4 3 2 1 1 8 9 1 9 1 0 2 0

1 1 1 2 1 3 1 4 1 5 1 0 9 8 7 6 6 1 6 7 1 7 8

6 7 8 9 1 0 1 5 1 4 1 3 1 2 1 1 1 3 4 1 4 5 1 5

1 2 3 4 5 2 0 1 9 1 8 1 7 1 6 1 1 1 2 1 2 3

F o r w a r d B a c k w a r d W h i t e - b l a c k

1 0 1 4 1 7 1 9 2 0 1 6 1 9 1 7 2 0 1 8 1 7 1 3 9 5 1

6 9 1 3 1 6 1 8 1 1 1 4 1 2 1 5 1 3 1 9 1 5 1 1 7 3

3 5 8 1 2 1 5 6 9 7 1 0 8 1 8 1 4 1 0 6 2

1 2 4 7 1 1 1 4 2 5 3 2 0 1 6 1 2 8 4

D i a g o n a l H o r i z o n t a l f o r w a r d V e r t i c a l b a c k w a r d

w h i t e - b l a c k w h i t e - b l a c k

F i g u r e 3 . 3 . 1 : G r i d p o i n t o r d e r i n g s f o r p o i n t G a u s s - S e i d e l .

P o i n t G a u s s - S e i d e l . M i s o b t a i n e d f r o m A r e p l a c i n g a

i j

f o r a l l i ; j w i t h j i b y z e r o .

1 5


16/134

4 8 1 2 1 6 2 0 1 6 1 7 1 8 1 9 2 0 4 1 6 8 2 0 1 2

3 7 1 1 1 5 1 9 6 7 8 9 1 0 3 1 5 7 1 9 1 1

2 6 1 0 1 4 1 8 1 1 1 2 1 3 1 4 1 5 2 1 4 6 1 8 1 0

1 5 9 1 3 1 7 1 2 3 4 5 1 1 3 5 1 7 9

F o r w a r d H o r i z o n t a l V e r t i c a l

v e r t i c a l l i n e z e b r a z e b r a

F i g u r e 3 . 3 . 2 : G r i d p o i n t o r d e r i n g s f o r b l o c k G a u s s - S e i d e l .

B l o c k G a u s s - S e i d e l . M i s o b t a i n e d f r o m A b y r e p l a c i n g a

i j

f o r a l l i ; j w i t h j i + 1 b y

z e r o .

F r o m T h e o r e m 4 . 2 . 8 i t i s i m m e d i a t e l y c l e a r t h a t , i f A i s a n M - m a t r i x , t h e n t h e J a c o b i a n d

G a u s s - s e i d e l m e t h o d s c o r r e s p o n d t o r e g u l a r s p l i t t i g s .

G a u s - S e i d e l v a r i a n t s

I t t u r n s o u t t h a t t h e e c i e n c y o f G a u s s - S e i d e l m e t h o d s d e p e n d s s t r o n g l y o n t h e o r d e r i n g o f

e q u a t i o n s a n d u n k n o w n s i n m a n y a p p l i c a t i o n s . A l s o , t h e p o s s i b i l i t i e s o f v e c t o r i z e d a n d p a r -

a l l e l c o m p u t i n g d e p e n d s t r o n g l y o n t h i s o r d e r i n g . W e n o w , t h e r e f o r e , d i s c u s s s o m e p o s s i b l e

o r d e r i n g s . T h e e q u a t i o n s a n d u n k n o w n s a r e a s s o c i a t e d i n a n a t u r a l w a y w i t h p o i n t s i n a

c o m p u t a t i o n a l g r i d . I t s u c e s , t h e r e f o r e , t o d i s c u s s o r d e r i n g s o f c o m p u t a t i o n a l g r i d p o i n t s .

W e r e s t r i c t o u r s e l v e s t o a t w o - d i m e n s i o n a l g r i d G , w h i c h i s e n o u g h t o i l l u s t r a t e t h e b a s i c

i d e a s . G i s d e n e d b y

G = f i ; j : i = 1 ; 2 ; : : : ; I ; j = 1 ; 2 ; : : : ; J g 3 3 1

T h e p o i n t s o f G r e p r e s e n t e i t h e r v e r t i c e s o r c e l l c e n t r e s , d e p e n d i n g o n t h e d i s c r e t i z a t i o n

m e t h o d .

F o r w a r d o r l e x i c o g r a p h i c o r d e r i n g

T h e g r i d p o i n t s a r e n u m b e r e d a s f o l l o w s

k = i + j 1 I 3 3 2

B a c k w a r d o r d e r i n g

T h i s o r d e r i n g c o r r e s p o n d s t o t h e e n u m e r a t i o n

k = I J + 1 i j 1 I 3 3 3

1 6


17/134

W h i t e - b l a c k o r d e r i n g

T h i s o r d e r i n g c o r r e s p o n d s t o a c h e s s b o a r d c o l o u r i n g o f G , n u m b e r i n g r s t t h e b l a c k p o i n t s

a n d t h e n t h e w h i t e p o i n t s , o r v i c e v e r s a ; c f . F i g u r e 3 . 3 . 1 .

D i a g o n a l o r d e r i n g

T h e p o i n t s a r e n u m b e r e d p e r d i a g o n a l , s t a r t i n g i n a c o r n e r ; s e e F i g u r e 3 . 3 . 1 . D i f e r e n t v a r i a n t s

a r e o b t a i n e d b y s t a r t i n g i n d i e r e n t c o r n e r s . I f t h e m a t r i x A c o r r e s p o n d s t o a d i s c r e t e o p e r -

a t o r w i t h a s t e n c i l a s i n F i g u r e 3 . 3 . 3 b , t h e n p o i n t G a u s s - S e i d e l w i t h t h e d i a g o n a l o r d e r i n g

o f F i g u r e 3 . 3 . 1 i s m a t h e m a t i c a l l y e q u i v a l e n t t o f o r w a r d G a u s s - S e i d e l .

2 c m

(a

F i g u r e 3 . 3 . 3 : D i s c r e t i z a t i o n s t e n c i l s .

P o i n t G a u s s - S e i d e l - J a c o b i

W e p r o p o s e t h i s v a r i a n t i n o r d e r t o f a c i l i t a t e v e c t o r i z e d a n d p a r a l l e l c o m p u t i n g ; m o r e o n t h i s

s h o r t l y . M i s o b t a i n e d f r o m A b y r e p l a c i n g a

i j

b y z e r o e x c e p t a

i i

a n d a

i i 1

. W e c a l l t h i s

p o i n t G a u s s - S e i d e l - J a c o b i b e c a u s e t h i s i s a c o m p r o m i s e b e t w e e n t h e p o i n t G a u s s - S e i d e l a n d

J a c o b i m e t h o d s d i s c u s s e d a b o v e . F o u r d i e r e n t m e t h o d s a r e o b t a i n e d w i t h t h e f o l l o w i n g f o u r

o r d e r i n g s : t h e f o r w a r d a n d b a c k w a r d o r d e r i n g s o f F i g u r e 3 . 3 . 1 , t h e f o r w a r d v e r t i c a l l i n e o r -

d e r i n g o f F i g u r e 3 . 3 . 2 , a n d t h i s l a s t o r d e r i n g r e v e r s e d . A p p l y i n g t h e s e m e t h o d s i n s u c c e s s i o n

r e s u l t s i n f o u r - d i r e c t i o n p o i n t G a u s s - S e i d e l - J a c o b i

W h i t e - b l a c k l i n e G a u s s - S e i d e l

T h i s c a n b e s e e n a s a m i x t u r e o f l e x i c o g r a p h i c a n d w h i t e - b l a c k o r d e r i n g . T h e c o n c e p t i s b e s t

i l l u s t r a t e d w i t h a f e w e x a m p l e s . W i t h h o r i z o n t a l f o r w a r d w h i t e - b l a c k G a u s s - S e i d e l t h e g r i d

p o i n t s a r e v i s i t e d h o r i z o n t a l l i n e b y h o r i z o n t a l l i n e i n o r d e r o f i n c r e a s i n g j f o r w a r d , w h i l e

p e r l i n e t h e g r i d p o i n t s a r e n u m b e r e d i n w h i t e - b l a c k o r d e r , c f . F i g u r e 3 . 3 . 1 . T h e l i n e s c a n a l s o

b e t a k e n i n o r d e r o f d e c r e a s i n g j , r e s u l t i n g i n h o r i z o n t a l b a c k w a r d w h i t e - b l a c k G a u s - S e i d e l

D o i n g o n e a f t e r t h e o t h e r g i v e s h o r i z o n t a l s y m m e t r i c w h i t e - b a c k G a u s s - S e i d e l . D o i n g o n e

a f t e r t h e o t h e r g i v e s h o r i z o n t a l s y m m e t r i c w h i t e - b l a c k G a u s s - S e i d e l . T h e l i n e s c a n a l s o b e

1 7


18/134

t a k e n v e r t i c a l l y ; F i g u r e 3 . 3 . 1 i l l u s t r a t e s v e r t i c a l b a c k w a r d w h i t e - b l a c k G a u s s - S e i d e l . C o m b i n -

i n g h o r i z o n t a l a n d v e r t i c a l s y m m e t r i c w h t e - b l a c k G a u s s - S e i d e l g i v e s a l t e r n a t i n g w h i t e - b l a c k

G a u s s - S e i d e l . W h i t e - b l a c k l i n e G a u s s - S e i d e l o r d e r i n g h a s b e e n p r o p o s e d i n 1 2 8 .

O r d e r i n g s f o r b l o c k G a u s s - S e i d e l

W i t h b l o c k G a u s s - S e i d e l , t h e u n k n o w n s c o r r e s p o n d i n g t o l i n e s i n t h e g r i d a r e u p d a t e d s i m u l -

t a n e o u s l y . F o r w a r d a n d b a c k w a r d h o r i z o n t a l l i n e G a u s s - S e i d e l c o r r e s p o n d t o t h e f o r w a r d a n d

b a c k w a r d o r d e r i n g , r e s p e c t i v e l y , i n F i g u r e 3 . 3 . 1 . F i g u r e 3 . 3 . 2 g i v e s s o m e m o r e o r d e r i n g s f o r

b l o c k G a u s s - S e i d e l .

S y m m e t r i c h o r i z o n t a l l i n e G a u s s - S e i d e l i s f o r w a r d h o r i z o n t a l l i n e G a u s s - S e i d e l f o l l o w e d

b y b a c k w a r d h o r i z o n t a l l i n e G a u s s - S e i d e l , o r v i c e v e r s a . A l t e r n a t i n g z e b r a G a u s s - S e i d e l i s

h o r i z o n t a l z e b r a f o l l o w e d b y v e r t i c a l z e b r a G a u s s - S e i d e l , o r v i c e v e r s a . O t h e r c o m b i n a t i o n s

c o m e t o m i n d e a s i l y .

V e c t o r i z e d a n d p a r a l l e l c o m p u t i n g

T h e b a s i c i t e r a t i v e m e t h o d s d i s c u s s e d a b o v e d i e r i n t h e i r s u i t a b i l i t y f o r c o m p u t i n g w i t h

v e c t o r o r p a r a l l e l m a c h i n e s . S i n c e t h e u p d a t e d q u a n t i t i e s a r e m u t u a l l y i n d e p e n d e n t , J a c o b i

p a r a l l i z e s a n d v e c t o r i z e s c o m p l e t e l y , w i t h v e c t o r l e n g t h I J . I f t h e s t r u c t u r e o f t h e s t e n c i l

A i s a s i n F i g u r e 3 . 3 . 3 c , t h e n w i t h z e b r a G a u s s - S e i d e l t h e u p d a t e d b l o c k s a r e m u t u a l l y

i n d e p e n d e n t , a n d c a n b e h a n d l e d s i m u l t a n e o u s l y o n a v e c t o r o r a p a r a l l e l m a c h i n e . T h e

s a m e i s t r u e f o r p o i n t G a u s s - S e i d e l i f o n e c h o o s e s a s u i t a b l e f o u r - c o l o u r o r d e r i n g s c h e m e .

T h e v e c t o r l e n g t h f o r h o r i z o n t a l o r v e r t i c a l z e b r a G a u s s - S e i d e l i s J o r I , r e s p e c t i v e l y . T h e

w h i t e a n d b l a c k g r o u p s i n w h i t e - b l a c k G a u s s - S e i d e l a r e m u t u a l l y i n d e p e n d e n t i f t h e s t r u c t u r e

o f A i s g i v e n b y F i g u r e 3 . 3 . 4 . T h e v e c t o r l e n g t h i s I J = 2 . W i t h d i a g o n a l G a u s s - S e i d e l ,

t h e p o i n t s i n s i d e a d i a g o n a l a r e m u t u a l l y i n d e p e n d e n t i f t h e s t r u c t u r e o f A i s g i v e n b y

F i g u r e 3 . 3 . 3 b , i f t h e d i a g o n a l s a r e c h o s e n a s i n F i g u r e 3 . 3 . 1 . T h e s a m e i s t r u e w h e n A

h a s t h e s t r u c t u r e g i v e n i n F i g u r e 3 . 3 . 3 a , i f t h e d i a g o n a l s a r e r o t a t e d b y 9 0

0

. T h e a v e r a g e

v e c t o r l e n g t h i s r o u g h l y I = 2 o r J = 2 , d e p e n d i n g o n t h e l e n g t h o f l a r g e s t t h e d i a g o n a l i n t h e

g r i d . W i t h G a u s s - S e i d e l - J a c o b i l i n e s i n t h e g r i d c a n b e h a n d l e d i n p a r a l l e l ; f o r e x a m p l e , w i t h

t h e f o r w a r d o r d e r i n g o f F i g u r e 3 . 3 . 1 t h e p o i n t s o n v e r t i c a l l i n e s G a u s s - S e i d e l p o i n t s o f t h e

s a m e c o l o u r c a n b e u p d a t e d s i m u l t a n e o u s l y , r e s u l t i n g i n a v e c t o r l e n g t h o f I = 2 o r J = 2 , a s t h e

c a s e m a y b e .

E x e r c i s e 3 . 3 . 1 L e t A = L + D + U , w i t h l

i j

= 0 f o r j i ; D = d i a g A , a n d u

i j

= 0 f o r

j i . S h o w t h a t t h e i t e r a t i o n m a t r i x o f s y m m e t r i c p o i n t G a u s s - S e i d e l i s g i v e n b y

S = U + D

1

L L + D

1

U 3 3 4

E x e r c i s e 3 . 3 . 2 P r o v e T h e o r e m 3 . 3 . 1 .

1 8


19/134

F i g u r e 3 . 3 . 4 : F i v e - p o i n t s t e n c i l .

3 . 4 E x a m p l e s o f b a s i c i t e r a t i v e m e t h o d s : i n c o m p l e t e p o i n t L U f a c t o r i z a -

t i o n

C o m p l e t e L U f a c t o r i z a t i o n

W h e n s o l v i n g A y = b d i r e c t l y , a f a c t o r i z a t i o n A = L U i s c o n s t r u c t e d , w i t h L a n d U a l o w e r

a n d a n u p p e r t r i a n g u l a r m a t r i x . T h i s w e c a l l c o m p l e t e f a c t o r i z a t i o n . W h e n A r e p r e s e n t s a

d i s c r e t e o p e r a t o r w i t h s t e n c i l s t r u c t u r e , f o r e x a m p l e , a s i n F i g u r e 3 . 3 . 3 , t h e n L a n d U t u r n

o u t t o b e m u c h l e s s s p a r s e t h a n A , w h i c h r e n d e r s t h i s m e t h o d i n e c i e n t f o r t h e c l a s s o f

p r o b l e m s u n d e r c o n s i d e r a t i o n .

I n c o m p l e t e p o i n t f a c t o r i z a t i o n

W i t h i n c o m p l e t e f a c t o r i z a t i o n o r i n c o m p l e t e L U f a c t o r i z a t i o n I L U o n e g e n e r a t e s a s p l i t t i n g

A = M N w i t h M h a v i n g s p a r s e a n d e a s y t o c o m p u t e l o w e r a n d u p p e r t r i a n g u l a r f a c t o r s

L a n d U :

M = L U 3 4 1

I f A i s s y m m e t r i c o n e c h o o s e s a s y m m e t r i c f a c t o r i z a t i o n :

M = L L

T

3 4 2

A n a l t e r n a t i v e f a c t o r i z a t i o n o f M i s

M = L D

1

U 3 4 3

W i t h i n c o m p l e t e p o i n t f a c t o r i z a t i o n , D i s c h o s e n t o b e a d i a g o n a l m a t r i x , a n d d i a g L =

d i a g U = D , s o t h a t 3 . 4 . 3 a n d 3 . 4 . 1 a r e e q u i v a l e n t . L ; D a n d U a r e d e t e r m i n e d a s

f o l l o w s . A g r a p h G o f t h e i n c o m p l e t e d e c o m p o s i t i o n i s d e n e d , c o n s i s t i n g o f t w o - t u p l e s i ; j

f o r w h i c h t h e e l e m e n t s l

i j

; d

i i

a n d u

i j

a e a l l o w e d t o b e n o n - z e r o . T h e n L ; D a n d U a r e d e n e d

b y

L D

1

U

k l

= a

k l

; 8 k ; l 2 G 3 4 4

W e w i l l d i s c u s s a f e w v a r i a n t s o f I L U f a c t o r i z a t i o n . T h e s e r e s u l t i n a s p l i t t i n g A = M N

w i t h M = L D

1

U M o d i e d i n c o m p l e t e p o i n t f a c t o r i z a t i o n i s o b t a i n e d i f D i s d e n e d b y

1 9


20/134

3 . 4 . 4 i s c h a n g e d t o D +

~

D , w i t h 2 I R a p a r a m e t e r , a n d

~

D a d i a g o n a l m a t r i x d e n e d

b y

~

d

k k

=

P

l 6= k

n

k l

. F r o m n o w o n t h e m o d i e d v e r s i o n w i l l b e d i s c u s s e d , s i n c e t h e u n m o d i e d

v e r s i o n f o l l o w s a s a s p e c i a l c a s e . T h i s o r s i m i l a r m o d i c a t i o n s h a v e b e e n i n v e s t i g a t e d i n t h e

c o n t e x t o f m u l t i g r i d m e t h o d s i n 6 5 , 9 7 , 8 3 , 8 2 a n d 1 4 5 , 1 4 7 . A s r v e y i s g i v e n i n 1 4 2 .

W e w i l l d i s c u s s a f e w v a r i a n t s o f m o d i e d I L U f a c t o r i z a t i o n .

F i v e - p o i n t I L U

L e t t h e g r i d b e g i v e n b y 3 . 3 . 1 , l e t t h e g r i d p o i n t s b e o r d e r e d a c c o r d i n g t o 3 . 3 . 2 , a n d l e t

t h e s t r u c t u r e o f t h e s t e n c i l b e g i v e n b y F i g u r e 3 . 3 . 3 . T h e n t h e g r a p h o f A i s

G = f k ; k I ; k ; k 1 ; k ; k ; k ; k + 1 ; k ; k + I g 3 4 5

F o r b r e v i t y t h e f o l l o w i n g n o t a t i o n i s i n t r o d u c e d

a

k

= a

k k I

; c

k

= a

k k 1

; d

k

= a

k k

; q

k

= a

k k + 1

; g

k

= a

k k + I

3 4 6

L e t t h e g r a p h o f t h e i n c o m p l e t e f a c t o r i z a t i o n b e g i v e n b y 3 . 4 . 5 , a n d l e t t h e n o n - z e r o e l e m e n t s

o f L ; D a n d U b e c a l l e d

k

;

k

;

k

;

k

a n d

k

; t h e l o c a t i o n s o f t h e s e e l e m e n t s a r e i d e n t i c a l

t o t h o s e o f a

k

; : : : ; g

k

, r e s p e c t i v e l y . B e c a u s e t h e g r a p h c o n t a i n s v e e l e m e n t s , t h e r e s u l t i n g

m e t h o d i s c a l l e d v e - p o i n t I L U . L e t ; : : : ; b e t h e I J I J m a t r i c e s w i t h e l e m e n t s

k

; : : : ;

k

,

r e s p e c t i v e l y , a n d s i m i l a r l y f o r a ; : : : ; g . T h e n o n e c a n w r i t e

L D

1

U = + + + + +

1

+

1

+

1

+

1

3 4 7

F r o m 3 . 4 . 4 i t f o l l o w s

= a ; = c ; = q ; = g 3 4 8

a n d , i n t r o d u c i n g m o d i c a t i o n a s d e s c r i b e d a b o v e ,

+ a

1

g + c

1

g = d +

~

d 3 4 9

T h e r e s t m a t r i x N i s g i v e n b y

N = a

1

q + c

1

g +

~

d 3 4 1 0

T h e o n l y n o n - z e r o e n t r i e s o f N a r e

n

k k I + 1

= a

k

1

k I

q

k I

; n

k k + I 1

= c

k

1

k 1

g

k 1

n

k k

= n

k k I + 1

+ n

k k + I 1

3 4 1 1

H e r e a n d i n t h e f o l l o w i n g e l e m e n t s i n w h i c h i n d i c e s o u t s i d e t h e r a n g e 1 ; I J o c c u r a r e t o b e

r e p l a c e d b y z e r o . F r o m 3 . 4 . 9 t h e f o l l o w i n g r e c u r s i o n i s o b t a i n e d :

k

= d

k

a

k

1

k I

g

k I

c

k

1

k 1

q

k 1

+ n

k k

3 4 1 2

2 0


21/134

T h i s f a c t o r i z a t i o n h a s b e e n s t u d i e d i n 4 1 .

F r o m 3 . 4 . 1 2 i t f o l l o w s t h a t c a n o v e r w r i t e d , s o t h a t t h e o n l y a d d i t i o n a l s t o r a g e r e q u i r e d

i s f o r N . W h e n r e q u i r e d , t h e r e s i d u a l b A y

m + 1

c a n b e c o m p u t e d a s f o l l o w s w i t h o u t u s i n g

A :

b A y

m + 1

= N y

m + 1

y 3 4 1 3

w h i c h f o l l o w s e a s i l y f r o m 3 . 1 . 3 . S i n c e N i s u s u a l l y m o r e s p a r s e t h a n A , 3 . 4 . 1 3 i s a c h e a p

w a y t o c o m p u t e t h e r e s i d u a l . F o r a l l m e t h o d s o f t y p e 3 . 1 . 3 o n e n e e d s t o s t o r e o n l y M a n d

N , a n d A c a n b e o v e r w r i t t e n .

S e v e n - p o i n t I L U

T h e t e r m i n o l o g y s e v e n - p o i n t I L U i n d i c a t e s t h a t t h e g r a p h o f t h e i n c o m p l e t e f a c t o r i z a t i o n h a s

s e v e n e l e m e n t s . T h e g r a p h G i s c h o s e n a s f o l l o w s :

G = f k ; k I ; k ; k I 1 ; k ; k 1 ; k ; k g 3 4 1 4

F o r t h e c o m p u t a t i o n o f L ; D a n d U s e e 1 4 1 . L ; D a n d U c a n o v e r w r i t e A . T h e o n l y

a d d i t i o n a l s t o r a g e r e q u i r e d i s f o r N . O r , i f o n e p r e f e r s , e l e m e n t s o f N c a n b e c o m p u t e d w h e n

n e e d e d .

N i n e - p o i n t I L U

T h e p r i n c i p l e s a r e t h e s a m e a s f o r v e - a n d s e v e n - p o i n t I L U . N o w t h e g r a p h G h a s n i n e

e l e m e n t s , c h o s e n a s f o l l o w s

G = G

1

f k ; k I 1 g 3 4 1 5

w i t h G

1

g i v e n b y 3 . 4 . 1 4 .

F o r t h e c o m p u t a t i o n o f L ; D a n d U s e e 1 4 1 .

A l t e r n a t i n g I L U

A l t e r n a t i n g I L U c o n s i s t s o f o n e I L U i t e r a t i o n o f t h e t y p e j u s t d i s c u s s e d o r s i m i l a r , f o l l o w e d

b y a s e c o n d I L U i t e r a t i o n b a s e d o n a d i e r e n t o r d e r i n g o f t h e g r i d p o i n t s . A s a n e x a m p l e , l e t

t h e g r i d b e d e n e d b y 3 . 3 . 1 , a n d l e t t h e g r i d p o i n t s b e n u m b e r e d a c c o r d i n g t o

k = I J + 1 j i 1 J 3 4 1 6

T h i s o r d e r i n g i s i l l u s t r a t e d i n F i g u r e 3 . 4 . 1 , a n d w i l l b e c a l l e d h e r e t h e s e c o n d b a c k w a r d o r -

d e r i n g , t o d i s t i n g u i s h i t f r o m t h e b a c k w a r d o r d e r i n g d e n e d b y 3 . 3 . 3 . T h e o r d e r i n g 3 . 4 . 1 6

w i l l t u r n o u t t o b e p r e f e r a b l e i n a p p l i c a t i o n s t o b e d i s c u s s e d l a t e r . T h e c o m p u t a t i o n o f t h e

c o r r e s p o n d i n g i n c o m p l e t e f a c t o r i z a t i o n f a c t o r s

L ;

D a n d

U i s d i s c u s s e d i n 1 4 1 . I f a l t e r n a t i n g

I L U i s u s e d , L ; D a n d U a r e a l r e a d y s t o r e d i n t h e p l a c e o f A , s o t h a t a d d i t i o n a l s t o r a g e i s

r e q u i r e d f o r

L ;

D a n d

U

N c a n b e s t o r e d , o r i s e a s i l y c o m p u t e d , a s o n e p r e f e r s .

2 1


22/134

1 7 1 3 9 5 1

1 8 1 4 1 0 6 2

1 9 1 5 1 1 7 3

2 0 1 6 1 2 8 4

F i g u r e 3 . 4 . 1 : I l l u s t r a t i o n o f s e c o n d b a c k w a r d o r d e r i n g .

G e n e r a l I L U

O t h e r I L U v a r i a n t a r e o b t a i n e d f o r o t h e r c h o i c e s o f G . S e e 8 8 f o r s o m e p o s s i b i l i t i e s . I n

g e n e r a l i t i s a d v i s a b l e t o c h o o s e G e q u a l t o o r s l i g h t l y l a r g e r t h a n t h e g r a p h o f A I f G i s

s m a l l e r t h a t t h e g r a p h o f A t h e n n o t h i n g c h a n g e s i n t h e a l g o r i t h m s j u s t p r e s e n t e d , e x c e p t

t h a t t h e e l e m e n t s o f A o u t s i d e G a r e s u b t r a c t e d f r o m N

T h e f o l l o w i n g a l g o r i t h m c o m p u t e s a n I L U f a c t o r i z a t i o n f o r g e n e r a l G b y i n c o m p l e t e G a u s s

e l i m i n a t i o n . A i s a n n n m a t r i x . W e c h o o s e d i a g L = d i a g U

A l g o r i t h m 1 . I n c o m p l e t e G a u s s e l i m i n a t i o n

A

0

: = A

f o r r : = 1 s t e p 1 u n t i l n d o

b e g i n a

r

r r

: = s q r t a

r 1

r r

f o r j r r ; j 2 G d o a

r

r j

: = a

r 1

r j

= a

r

r r

f o r i r i ; r 2 G d o a

r

i r

: = a

r 1

i r

= a

r

r r

f o r i ; j 2 G i r j r i ; r 2 G r ; j 2 G d o

a

r

i j

: = a

r 1

i j

a

r

i r

a

r

r j

o d o d o d

e n d o f a l g o r i t h m 1 .

A

n

c o n t a i n s L a n d U . I n 5 7 o n e n d s a n a l g o r i t h m f o r t h e L D

1

U v e r s i o n o f I L U , f o r

a r b i t r a r y G . S e e 1 4 3 a n d 1 3 8 f o r a p p l i c a t i o n s o f I L U w i t h a f a i r l y c o m p l i c a t e d G N a v i e r -

S t o k e s e q u a t i o n s i n t h e v o r t i c i t y - s t r e a m f u n c t i o n f o r m u l a t i o n .

F i n a l r e m a r k s

E x i s t e n c e o f I L U f a c t o r i z a t i o n s a n d n u m e r i c a l s t a b i l i t y o f t h e a s s o c i a t e d a l g o r i t h m s h a s b e e n

p r o v e d i n 8 7 i f A i s a n M - m a t r i x ; i t i s a l s o s h o w n t h a t t h e a s s o c i a t e d s p l i t t i n g i s r e g u l a r , s o

t h a t I L U c o n v e r g e s a c c o r d i n g t o T h e o r e m 4 . 2 . 3 . F o r i n f o r m a t i o n o n e c i e n t i m p l e m e n t a t i o n s

o f I L U o n v e c t o r a n d p a r a l l e l c o m p u t e r s , s e e 6 9 , 6 8 , 1 1 6 , 1 1 7 , 1 1 8 , 1 1 9 , 1 0 3 a n d 1 4 .

2 2


23/134

E x e r c i s e 4 . 4 . 1 D e r i v e a l g o r i t h m s t o c o m p u t e s y m m e t r i c I L U f a c t o r i z a t i o n s A = L D

1

L

T

N a n d A = L L

T

N f o r A s y m m e t r i c . S e e 8 7 .

E x e r c i s e 4 . 4 . 2 L e t A = L + D + U , w i t h D = d i a g A ; l

i j

= 0 ; j i a n d u

i j

= 0 ; j i

S h o w t h a t 3 . 4 . 3 r e s u l t s i n s y m m e t r i c p o i n t G a u s s - S e i d e l c f . E x e r c i s e 3 . 3 . 1 . T h i s s h o w s

t h a t s y m m e t r i c p o i n t G a u s s - S e i d e l i s a s p e c i a l i n s t a n c e o f i n c o m p l e t e p o i n t f a c t o r i z a t i o n .

3 . 5 E x a m p l e s o f b a s i c i t e r a t i v e m e t h o d s : i n c o m p l e t e b l o c k L U f a c t o r i z a -

t i o n

C o m p l e t e l i n e L U f a c t o r i z a t i o n

T h e b a s i c i d e a o f i n c o m p l e t e b l o c k L U - f a c t o r i z a t i o n I B L U a l s o c a l l e d i n c o m p l e t e l i n e L U -

f a c t o r i z a t i o n I L L U i n t h e l i t e r a t u r e i s p r e s e n t e d b y m e a n s o f t h e f o l l o w i n g e x a m p l e . L e t

t h e s t e n c i l o f t h e d i e r e n c e e q u a t i o n s t o b e s o l v e d b e g i v e n b y F i g u r e 3 . 3 . 3 c . T h e g r i d p o i n t

o r d e r i n g i s g i v e n b y 3 . 3 . 2 . T h e n t h e m a t r i x A o f t h e s y s t e m t o b e s o l v e d i s a s f o l l o w s :

A =

0

B

B

B

B

B

B

B

@

B

1

U

1

L

2

B

2

U

2

U

J 1

L

J

B

J

1

C

C

C

C

C

C

C

A

3 5 1

w i t h L

j

; B

j

a n d U

j

I I t r i d i a g o n a l m a t r i c e s .

F i r s t , w e s h o w t h a t t h e r e i s a m a t r i x D s u c h t h a t

A = L + D D

1

D + U 3 5 2

w h e r e

L =

0

B

B

B

B

B

@

0

L

2

L

J

0

1

C

C

C

C

C

A

; U =

0

B

B

B

B

B

@

0 U

1

0

U

J 1

0

1

C

C

C

C

C

A

D =

0

B

B

B

B

@

D

1

D

2

D

J

1

C

C

C

C

A

3 . 5 . 3

2 3


24/134

W e c a l l 3 . 5 . 2 a l i n e L U f a c t o r i z a t i o n o f A , b e c a u s e t h e b l o c k s i n L ; D a n d U c o r r e s p o n d t o

i n o u r c a s e h o r i z o n t a l l i n e s i n t h e c o m p u t a t i o n a l g r i d . F r o m 3 . 5 . 2 i t f o l l o w s t h a t

A = L + D + U + L D

1

U 3 5 4

O n e n d s t h a t L D

1

U i s t h e f o l l o w i n g b l o c k - d i a g o n a l m a t r i x

L D

1

U =

0

B

B

B

B

@

0

L

2

D

1

1

U

1

L

J

D

1

J 1

U

J 1

1

C

C

C

C

A

3 5 5

F r o m 3 . 5 . 4 a n d 3 . 5 . 5 t h e f o l l o w i n g r e c u r s i o n t o c o m p u t e D i s o b t a i n e d

D

1

= B

1

; D

j

= B

j

L

j

D

1

j 1

U

j

; j = 2 ; 3 ; : : : ; J 3 5 6

P r o v i d e d D

1

j

e x i s t s , t h i s s h o w s t h a t o n e c a n n d D s u c h t h a t 3 . 5 . 2 h o l d s .

N i n e - p o i n t I B L U

T h e m a t r i c e s D

j

a r e f u l l ; t h e r e f o r e i n c o m p l e t e v a r i a n t s o f 3 . 5 . 2 h a v e b e e n p r o p o s e d . A n

i n c o m p l e t e v a r i a n t i s o b t a i n e d b y r e p l a c i n g L

j

D

1

j 1

U

j

i n 3 . 5 . 6 b y i t s t r i d i a g o n a l p a r t i . e .

r e p l a c i n g a l l e l e m e n t s w i t h i n d i c e s i ; m w i t h m 6= i ; i 1 b y z e r o :

~

D

1

= B

1

;

~

D

j

= B

j

t r i d i a g L

j

~

D

1

j 1

U

j

3 5 7

T h e I B L U f a c t o r i z a t i o n o f A i s d e n e d a s

A = L +

~

D

~

D

1

~

D + U N 3 5 8

T h e r e a r e t h r e e n o n - z e r o e l e m e n t s p e r r o w i n L ;

~

D a n d U ; t h u s w e c a l l t h i s n i n e - p o i n t I B L U

F o r a n a l g o r i t h m t o c o m p u t e

~

D a n d

~

D

1

s e e 1 4 1 .

T h e I B L U i t e r a t i v e m e t h o d

W i t h I B L U , t h e b a s i c i t e r a t i v e m e t h o d 3 . 1 . 3 b e c o m e s

r = b A y

m

3 5 9

L +

~

D

~

D

1

~

D + U y

m + 1

= r 3 5 1 0

y

m + 1

: = y

m + 1

+ y

m

3 5 1 1

E q u a t i o n 3 . 5 . 1 0 i s s o l v e d a s f o l l o w s

S o l v e L +

~

D y

m + 1

= r 3 5 1 2

2 4


25/134

r : =

~

D y

m + 1

3 5 1 3

S o l v e

~

D + L y

n + 1

= r 3 5 1 4

W i t h t h e b l o c k p a r t i o n i n g u s e d b e f o r e , a n d w i t h y

j

a n d r

j

d e n o t i n g I - d i m e n s i o n a l v e c t o r s

c o r r e s p o n d i n g t o b l o c k j , E q u a t i o n 3 . 5 . 1 2 i s s o l v e d a s f o l l o w s :

~

D

1

y

n + 1

1

= r

1

;

~

D

j

y

n + 1

j

= r

j

L

j 1

y

n

j 1

; j = 2 ; 3 ; : : : ; J 3 5 1 5

E q u a t i o n 3 . 5 . 1 4 i s s o l v e d i n a s i m i l a r f a s h i o n .

O t h e r I B L U v a r i a n t s

O t h e r I B L U v a r i a n t s a r e o b t a i n e d b y t a k i n g o t h e r g r a p h s f o r L ;

~

D a n d U . W h e n A c o r r e -

s p o n d s t o t h e v e - p o i n t s t e n c i l o f F i g u r e 3 . 3 . 3 , L a n d U a r e d i a g o n a l m a t r i c e s , r e s u l t i n g i n t h e

v e - p o i n t I B L U v a r i a n t s . W h e n A c o r r e s p o n d s t o t h e s e v e n - p o i n t s t e n c i l s o f F i g u r e 3 . 3 . 3 a ,

b , L a n d U a r e b i d i a g o n a l , r e s u l t i n g i n s e v e n - p o i n t I B L U . T h e r e a r e a l s o o t h e r p o s s i b i l i t i e s

t o a p p r o x i m a t e L

j

~

D

1

j 1

U

j

b y a s p a r s e m a t r i x . S e e 6 , 3 3 , 7 , 9 9 , 1 0 7 f o r o t h e r v e r s i o n s

o f I B L U ; t h e r s t t h r e e p u b l i c a t i o n s a l s o g i v e e x i s t e n c e p r o o f s f o r

~

D

j

i f A i s a n M - m a t r i x ; t h i s

c o n d i t i o n i s s l i g h t l y w e a k e n e d i n 9 9 . V e c t o r i z a t i o n a n d p a r a l l e l i z a t i o n a s p e c t s a r e d i s c u s e d

i n 7 .

E x e r c i s e 3 . 5 . 1 D e r i v e a n a l g o r i t h m t o c o m p u t e a s y m m e t r i c I B L U f a c t o r i z a t i o n A =

L +

~

D

~

D

1

~

D + L

T

N f o r A s y m m e t r i c . S e e 3 3 .

3 . 6 S o m e m e t h o d s f o r n o n - M - m a t r i c e s

W h e n n o n - s e l f - a d j o i n t p a r t i a l d i e r e n t i a l e q u a t i o n s a r e d i s c r e t i z e d i t m y h a p p e n t h a t t h e

r e s u l t i n g m a t r i x A i s n o t a n M - m a t r i x . T h i s d e p e n d s o n t h e t y p e o f d i s c r e t i z a t i o n a n d

t h e v a l u e s o f t h e c o e c i e n t s . E x a m p l e s o f o t h e r a p p l i c a t i o n s l e a d i n g t o n o n - M - m a t r i x d i s -

c r e t i z a t i o n s a r e t h e b i h a r m o n i c e q u a t i o n a n d t h e S t o k e s a n d N a v i e r - S t o k e s e q u a t i o n s o f u i d

d y n a m i c s .

D e f e c t c o r r e c t i o n

D e f e c t c o r r e c t i o n c a n b e u s e d w h e n o n e h a s a s e c o n d - o r d e r a c c u r a t e d i s c r e t i z a t i o n w i t h a

m a t r i x A t h a t i s n o t a n M - m a t r i x , a n d a r s t - o r d e r d i s c r e t i z a t i o n w i t h a m a t r i x B w h i c h i s

a n M - m a t r i x , f o r e x a m p l e b e c a u s e B i s o b t a i n e d w i t h u p w i n d d i s c r e t i z a t i o n , o r b e c a u s e B

c o n t a i n s a r t i c i a l v i s c o s i t y . T h e n o n e c a n o b t a i n s e c o n d - o r d e r r e s u l t s a s f o l l o w s .

A l g o r i t h m 1 . D e f e c t c o r r e c t i o n

2 5


26/134

b e g i n S o l v e B y = b

f o r i : = 1 s t e p 1 u n t i l n d o

B y = b A

y + B

y

y : = y

o d

e n d o f a l g o r i t h m 1 .

I t s u c e s i n p r a c t i c e t o t a k e n = 1 o r 2 . F o r s i m p l e p r o b l e m s i t c a n b e s h o w n t h a t f o r n = 1

a l r e a d y y h a s s e c o n d - o r d e r a c c u r a c y . B i s a n M - m a t r i x ; t h u s t h e m e t h o d s d i s c u s s e d b e f o r e

c a n b e u s e d t o s o l v e f o r y

D i s t r i b u t i v e i t e r a t i o n

I n s t e a d o f s o l v i n g A y = b o n e m a y a l s o s o l v e

A B

y = b ; y = B

y 3 6 1

T h i s m a y b e c a l l e d p o s t - c o n d i t i o n i n g , i n a n a l o g y w i t h p r e c o n d i t i o n i n g , w h e r e o n e s o l v e s

B A y = B b B i s c h o s e n s u c h t h a t A B i s a n M - m a t r i x o r a s m a l l p e r t u r b a t i o n o f a n

M - m a t r i x , s u c h t h a t t h e s p l i t t i n g

A B = M N 3 6 2

l e a d s t o a c o n v e r g e n t i t e r a t i o n m e t h o d . F r o m 3 . 6 . 2 f o l l o w s t h e f o l l o w i n g s p l i t t i n g f o r t h e

o r i g i n a l m a t r i x A

A = M B

1

N B

1

3 6 3

T h i s l e a d s t o t h e f o l l o w i n g i t e r a t i o n m e t h o d

M B

1

y

m + 1

= N B

1

y

m

+ b 3 6 4

o r

y

m 1

= y

m

+ B M

1

b A y

m

3 6 5

T h e i t e r a t i o n m e t h o d i s b a s e d o n 3 . 6 . 3 r a t h e r t h a t o n 3 . 6 . 2 , b e c a u s e i f M i s m o d i e d s o

t h a t 3 . 6 . 2 d o e s n o t h o l d , t h e n , o b v i o u s l y , 3 . 6 . 5 s t i l l c o n v e r g e s t o t h e r i g h t s o l u t i o n , i f i t

c o n v e r g e s . S u c h m o d i c a t i o n s o f M o c c u r i n a p p l i c a t i o n s o f p o s t - c o n d i t i o n e d i t e r a t i o n t o t h e

S t o k e s a n d N a v i e r - S t o k e s e q u a t i o n s .

I t e r a t i o n m e t h o d 3 . 6 . 4 i s c a l l e d d i s t r i b u t i v e i t e r a t i o n , b e c a u s e t h e c o r r e c t i o n M

1

b

A y

m

i s d i s t r i b u t e d o v e r t h e e l e m e n t s o f y b y t h e m a t r i x B . A g e n e r a l t r e a t m e n t o f t h i s

a p p r o a c h i s g i v e n i n 1 4 4 , 1 4 6 , 1 4 8 , 1 5 0 , 1 4 9 , w h e r e i t i s s h o w n t h a t a n u m b e r o f w e l l

k n o w n i t e r a t i v e m e t h o d s f o r t h e S t o k e s a n d N a v i e r - S t o k e s e q u a t i o n s c a n b e i n t e r p r e t e d a s

d i s t r i b u t i v e i t e r a t i o n m e t h o d s .

2 6


27/134

T a k i n g B = A

T

a n d c h o o s i n g 3 . 6 . 2 t o b e t h e G a u s s - S e i d e l o r J a c o b i s p l i t t i n g r e s u l t s i n

t h e K a c z m a r z 7 8 o r C i m m i n o 3 2 m e t h o d s , r e s p e c t i v e l y . T h e s e m e t h o d s c o n v e r g e f o r e v e r y

r e g u l a r A , b e c a u s e G a u s s - S e i d e l a n d J a c o b i c o n v e r g e f o r s y m m e t r i c p o s i t i v e d e n i t e m a t r i c e s

a p r o o f o f t h i s e l e m e n t a r y r e s u l t m a y b e f o u n d i n 7 0 . C o n v e r g e n c e i s , h o w e v e r , u s u a l l y

s l o w .

4 S m o o t h i n g a n a l y s i s


T h e c o n v e r g e n c e b e h a v i o u r o f a m u l t i g r i d a l g o r i t h m d e p e n d s s t r o n g l y o n h e s m o o t h e r . T h e

e c i e n c y o f s m o o t h i n g m e t h o d s i s p r o b l e m - d e p e n d e n t . W h e n a s m o o t h e r i s e c i e n t f o r a

l a r g e c l a s s o f p r o b l e m s i t i s c a l l e d r o b u s t . T h i s c o n c e p t w i l l b e m a d e m o r e p r e c i s e s h o r t l y

f o r a c e r t a i n c l a s s o f p r o b l e m s . N o t e v e r y c o n v e r g e n t m e t h o d h a s t h e s m o o t h i n g p r o p e r t y ,

b u t f o r s y m m e t r i c m a t r i c e s i t c a n b e s h o w n t h a t b y t h e i n t r o d u c t i o n o f s u i t a b l e a m o u n t o f

d a m p i n g e v e r y c o n v e r g e n t m e t h o d a c q u i r e s t h e s m o o t h i n g p r o p e r t y . T h i s p r o p e r t y s a y s l i t t l e

a b o u t t h e a c t u a l e c i e n c y . A c o n v e n i e n t t o o l f o r t h e s t u d y o f s m o o t h i n g e c i e n c y i s F o u r i e r

a n a l y s i s , w h i c h i s a l s o e a s i l y a p p l i e d t o t h e n o n - s y m m e t r i c c a s e . F o u r i e r s m o o t h i n g a n a l y s i s

i s t h e m a i n t o p i c o f t h i s c h a p t e r .

M a n y d i e r e n t s m o o t h i n g m e t h o d s a r e e m p l o y e d b y u s e r s o f m u l t i g r i d m e t h o d s . O f c o u r s e ,

i n o r d e r t o e x p l a i n t h e b a s i c p r i n c i p l e s o f s m o o t h i n g a n a

introduction to multigrid methods

Documents