article pspi

8/6/2019 Article PSPI

http://slidepdf.com/reader/full/article-pspi 1/8

P S P I : S T R E A M L I N I N G 3 D E C H O - R E C O N S T R U C T I V E I M A G I N G

E . B O N O M I , L . B R I E G E R , E . P I E R O N I

A N D M . T . A R I E N T I , L . C A Z Z O L A , P . M A R C H E T T I

y

1 . I n t r o d u c t i o n . E c h o - r e c o n s t r u c t i o n t e c h n i q u e s f o r s u b s u r f a c e i m a g i n g , w i d e l y

u s e d i n o i l e x p l o r a t i o n , a r e b a s e d o n e x p e r i m e n t s i n w h i c h s h o r t a c o u s t i c i m p u l s e s ,

e m i t t e d a t t h e s u r f a c e , i l l u m i n a t e a c e r t a i n v o l u m e a n d a r e b a c k s c a t t e r e d b y i n h o m o -

g e n e i t i e s o f t h e m e d i u m . T h e i n h o m o g e n e i t i e s a c t a s r e e c t i n g s u r f a c e s w h i c h c a u s e

s i g n a l e c h o i n g ; t h e e c h o e s a r e t h e n r e c o r d e d a t t h e s u r f a c e a n d p r o c e s s e d t h r o u g h a

p r o p a g a t i o n m o d e l ( w h i c h a c t s a s a " c o m p u t a t i o n a l l e n s " ) t o y i e l d a n i m a g e o f t h o s e

v e r y i n h o m o g e n e i t i e s .

M i g r a t i o n , b a s e d o n t h e s c a l a r w a v e e q u a t i o n , i s t h e s t a n d a r d i m a g i n g t e c h n i q u e

f o r s e i s m i c a p p l i c a t i o n s 1 ] . I n t h e m i g r a t i o n p r o c e s s , t h e r e c o r d e d p r e s s u r e w a v e s

( c a l l e d t h e s e i s m i c t r a c e s o r t h e s e i s m i c s e c t i o n ) a r e u s e d a s i n i t i a l c o n d i t i o n s f o r a

w a v e e l d g o v e r n e d b y t h e s c a l a r w a v e e q u a t i o n i n a n i n h o m o g e n e o u s m e d i u m . A n y

m i g r a t i o n t e c h n i q u e b e g i n s w i t h a n a p r i o r i e s t i m a t e o f t h e v e l o c i t y e l d , o b t a i n e d

f r o m w e l l l o g s a n d a n e m p i r i c a l a n a l y s i s o f t h e s e i s m i c t r a c e s , t o y i e l d a s u b s u r f a c e

i m a g e . B y c o m p a r i n g i m a g e d i n t e r f a c e s w i t h t h e d i s c o n t i n u i t i e s o f t h e e s t i m a t e d

v e l o c i t y m o d e l , i n s u c i e n c i e s o f t h e v e l o c i t y e l d c a n b e d e t e c t e d a n d v e l o c i t y e s t i -

m a t e s i m p r o v e d 2 ] , a l l o w i n g t h e n e x t m i g r a t i o n s t e p t o i m a g e m o r e a c c u r a t e l y . T h e

t u r n a r o u n d p r o c e s s , t h e i t e r a t i v e p r o c e s s o f c o r r e c t i n g t o a v e l o c i t y m o d e l c o n s i s t e n t

w i t h t h e m i g r a t e d d a t a , c a n l a s t s e v e r a l c o m p u t i n g w e e k s a n d i s p a r t i c u l a r l y c r u c i a l

f o r i m a g i n g c o m p l e x g e o l o g i c a l s t r u c t u r e s , i n c l u d i n g t h o s e w h i c h a r e i n t e r e s t i n g f o r

h y d r o c a r b o n p r o s p e c t i n g .

S u b s u r f a c e d e p t h i m a g i n g , b e i n g a s i t i s t h e o u t c o m e o f r e p e a t e d s t e p s o f 3 D

s e i s m i c d a t a m i g r a t i o n , r e q u i r e s G b y t e s o f d a t a w h i c h m u s t b e r e d u c e d , t r a n s f o r m e d ,

v i s u a l i z e d a n d i n t e r p r e t e d t o o b t a i n m e a n i n g f u l i n f o r m a t i o n . S e v e r e p e r f o r m a n c e r e -

q u i r e m e n t s o b l i g e h i g h p e r f o r m a n c e c o m p u t i n g h a r d w a r e a n d t e c h n i q u e s ; e n o r m o u s

e o r t h a s a l s o h i s t o r i c a l l y g o n e i n t o s i m p l i f y i n g t h e m i g r a t i o n m o d e l s o a s t o r e d u c e

t h e c o s t o f t h e o p e r a t i o n w h i l e r e t a i n i n g t h e e s s e n t i a l f e a t u r e s o f t h e s i g n a l p r o p a g a -

t i o n . O n e s u c h m o d e l l e a d s t o t h e p h a s e - s h i f t - p l u s - i n t e r p o l a t i o n ( P S P I ) a l g o r i t h m ,

a h i g h - q u a l i t y m e t h o d f o r s e i s m i c m i g r a t i o n . B y o p t i m i z i n g t h e a l g o r i t h m t o r e d u c e

c a l c u l a t i o n r e q u i r e m e n t s a n d e x p l o i t i n g i t s d e c o u p l i n g i n t h e f r e q u e n c y d o m a i n f o r

c o n c u r r e n c y i n p a r a l l e l i m p l e m e n t a t i o n s , w e h a v e c r e a t e d i n P S P I a c o s t - e e c t i v e

m e t h o d .

T h e P S P I c o d e d e v e l o p e d i n o u r c o l l a b o r a t i o n w a s r s t i m p l e m e n t e d i n P o r t l a n d

G r o u p ' s H P F ( P G H P F ) , f o r u s e o n a n I B M S P 2 a n d a n S G I P o w e r C h a l l e n g e . P o r t i n g

t o a n S G I O r i g i n 2 0 0 0 r e s u l t e d i n s u b s t a n t i a l l o s s o f p e r f o r m a n c e o f t h e H P F c o d e a n d

m o t i v a t e d t h e d e c i s i o n t o r e - i m p l e m e n t i t i n O p e n M P f o r u s e o n t h e s h a r e d - m e m o r y

O r i g i n 2 0 0 0 . T h i s s h o u l d n o t h a v e p o s e d p a r t i c u l a r p r o b l e m s , e v e n t h o u g h H P F i s c e n -

t e r e d a r o u n d d a t a d i s t r i b u t i o n , w h i l e t h e p h i l o s o p h y b e h i n d O p e n M P i s d i s t r i b u t i o n

o f w o r k ; f o r P S P I , t a s k d i s t r i b u t i o n a n d d a t a d i s t r i b u t i o n a r e p r a c t i c a l l y s y n o n y m o u s ,

s i n c e t h e c o n c u r r e n t t a s k s c o r r e s p o n d t o d i e r e n t d a t a ( f r e q u e n c i e s ) . I t i s n a t u r a l a n d

s h o u l d b e e q u a l l y e c i e n t t o d i s t r i b u t e f r e q u e n c y i n f o r m a t i o n a m o n g t h e p r o c e s s o r s

o n a d i s t r i b u t e d - m e m o r y m a c h i n e ( H P F - s t y l e ) o r t o d i s t r i b u t e f r e q u e n c y - r e l a t e d t a s k s

a m o n g t h e p r o c e s s o r s o n a s h a r e d - m e m o r y m a c h i n e ( O p e n M P - s t y l e ) .

G e o p h y s i c s G r o u p , C R S 4 , I t a l y

y

G e o p h y s i c a l R e s e a r c h , A G I P D i v i s i o n , E N I , I t a l y

1



S o f a r , o u r e x p e r i e n c e w i t h O p e n M P o n t h e O r i g i n 2 0 0 0 h a s b e e n d i s a p p o i n t i n g .

T h e O p e n M P c o d e s u e r s s o m e w h a t f r o m t h e i m m a t u r i t y o f t h e s t a n d a r d . T h e r e

a r e c u r r e n t l y n o e c i e n t a r r a y - l e v e l r e d u c t i o n o p e r a t i o n s . D a t a p l a c e m e n t i s n o t p a r t

o f t h e O p e n M P s t a n d a r d , e v e n t h o u g h d a t a p o s i t i o n c a n i n u e n c e p e r f o r m a n c e o n

s h a r e d - m e m o r y m a c h i n e s , s u c h a s t h e O r i g i n 2 0 0 0 , w h i c h h a v e n o n - u n i f o r m m e m o r y

a c c e s s t i m e s . T h i s o b l i g e s t h e u s e o f n o n - p o r t a b l e , m a c h i n e - d e p e n d e n t d i r e c t i v e s o r

c o n v e n t i o n s f o r d a t a p l a c e m e n t . E v e n u s i n g t h e s e , o n t h e O r i g i n , s u c h d i r e c t i v e s

c a n n o t o v e r r i d e o p e r a t i n g s y s t e m ( O S ) c o n t r o l o f t h r e a d a n d p a g e h a n d l i n g ; a s a

r e s u l t , t h e u s e r e x e r t s m u c h l e s s d i r e c t c o n t r o l o v e r d a t a p l a c e m e n t t h a n m i g h t b e

d e s i r a b l e . P e r f o r m a n c e s e e m s m o r e d e p e n d e n t o n t h e O S a n d s t a t e o f t h e m a c h i n e

t h a n o n p r o g r a m m i n g t e c h n i q u e .

O n t h e o t h e r h a n d , i m p r o v e m e n t s i n O S a n d c o m p i l e r s h a v e r e s t o r e d p e r f o r m a n c e

o f t h e H P F c o d e o n t h e O r i g i n 2 0 0 0 b a c k t o a c c e p t a b l e l e v e l s . H P F d o e s n o t s u e r

e x c e s s i v e l y f r o m O S i n t e r f e r e n c e n o r f r o m c o m p e t i t i o n w i t h o t h e r a p p l i c a t i o n s r u n n i n g

o n t h e m a c h i n e . R u n n i n g t h e H P F i m p l e m e n t a t i o n o n t h e O r i g i n , w e h a v e a f a s t ,

s c a l a b l e , a n d s t a b l e c o d e .

2 . T h e P h a s e S h i f t F o r m u l a . I n a z e r o - o s e t m o d e l , t h e s e i s m i c s e c t i o n

P ( x ; y ; 0 t ) i s u s e d a s a s u r f a c e b o u n d a r y c o n d i t i o n f o r s o l v i n g t h e s c a l a r w a v e e q u a -

t i o n

@

2

P

@ x

2

+

@

2

P

@ y

2

+

@

2

P

@ z

2

?

1

v ( x ; y ; z )

2

@

2

P

@ t

2

= 0 ( 2 . 1 )

i n r e v e r s e t i m e w i t h z e r o i n i t i a l c o n d i t i o n s . T h e e x p l o d i n g r e e c t o r m o d e l o n w h i c h

z e r o - o s e t i s b a s e d a l l o w s u s t o a p p l y t h e C l a e r b o u t p r i n c i p l e 3 ] , 4 ] a n d i n t e r p r e t t h e

m i g r a t e d s e c t i o n P ( x ; y ; z ; t = 0 ) a s a m a p o f t h e l o c a l r e e c t i v i t y , R ( x ; y ; z ) , y i e l d i n g

a n a c o u s t i c \ p i c t u r e " o f t h e r e e c t o r s i n w h a t i s o f t e n c a l l e d t h e i m a g i n g c o n d i t i o n :

R ( x ; y ; z ) = P ( x ; y ; z ; t = 0 ) ( 2 . 2 )

T h e o r i g i n a l p h a s e s h i f t m i g r a t i o n m e t h o d w a s f o r m u l a t e d b y J . G a z d a g 5 ] a s a

f a s t a n d s i m p l e i m p l e m e n t a t i o n o f z e r o - o s e t d a t a m i g r a t i o n . I t i s b a s e d o n t h e f a c t

t h a t , a s l o n g a s v e l o c i t y v i s c o n s t a n t , E q . ( 2 . 1 ) c a n b e s o l v e d , a n d t h u s t h e a c o u s t i c

i m a g e p r o d u c e d , u s i n g d e p t h z a s t h e a d v a n c i n g v a r i a b l e a l o n g w h i c h t o p r o p a g a t e t h e

s e i s m i c s e c t i o n P ( x ; y ; 0 t ) ; t h i s i s k n o w n a s d e p t h e x t r a p o l a t i o n o r d e p t h c o n t i n u a t i o n

a n d i s o u t l i n e d i n t h e f o l l o w i n g .

E q . ( 2 . 1 ) w r i t t e n i n t h e w a v e n u m b e r - f r e q u e n c y d o m a i n ( k

x

k

y

! ) i s t h e s e c o n d -

o r d e r o r d i n a r y d i e r e n t i a l e q u a t i o n

d

2

̂

P ( k

x

k

y

; z ; ! )

d z

2

= ? k

2

z

̂

P ( k

x

k

y

; z ; ! ) ( 2 . 3 )

i n w h i c h

k

z

=

!

v

r

1 ?

v

!

2

?

k

2

x

+ k

2

y

( 2 . 4 )

E q . ( 2 . 3 ) h a s t w o c h a r a c t e r i s i c s o l u t i o n s r e l a t i n g t h e e l d a t l e v e l z w i t h t h a t a t l e v e l

z + z b y a p h a s e s h i f t , b u t s i n c e w e w a n t t o f o l l o w d o w n w a r d d i s p l a c e m e n t o f

t h e s i g n a l s i n r e v e r s e t i m e , f o r d e p t h e x t r a p o l a t i o n w e a r e i n t e r e s t e d o n l y i n t h e

c h a r a c t e r i s t i c s o l u t i o n

̂

P ( k

x

k

y

z + z ! ) =

̂

P ( k

x

k

y

; z ; ! ) e

i k

z

z

( 2 . 5 )

2



T h i s i s a l s o a s o l u t i o n o f t h e p a r a x i a l o r o n e - w a y w a v e e q u a t i o n

d

̂

P

d z

( k

x

k

y

; z ; ! ) = i k

z

̂

P ( k

x

k

y

; z ; ! ) ( 2 . 6 )

w h i c h p r o v i d e s a h i e r a r c h y o f o t h e r m i g r a t i o n m e t h o d s b a s e d o n a p p r o x i m a t i o n s o f

o n e - w a y p r o p a g a t i o n i n t h e s p a c e - f r e q u e n c y d o m a i n ( x ; y ; ! )

I f w e u s e t h e i n v e r s e F o u r i e r t r a n s f o r m t o m a p t h e s o l u t i o n

̂

P ( k

x

k

y

z + z ! )

b a c k t o t h e s p a c e - f r e q u e n c y d o m a i n , w e c a n t h e n a p p l y i m a g i n g c o n d i t i o n ( 2 . 2 ) a n d

g e n e r a t e t h e i m a g e R ( x ; y ; z + z ) o f m i g r a t e d d a t a a t l e v e l z + z b y n o t i n g t h a t

P ( x ; y ; z + z t = 0 ) =

X

!

̂

P ( x ; y ; z + z ! ) ( 2 . 7 )

E q s . ( 2 . 4 ) , ( 2 . 5 ) a n d ( 2 . 7 ) , a l o n g w i t h i m a g i n g c o n d i t i o n ( 2 . 2 ) , f o r m t h e b a s i s f o r t h e

p h a s e s h i f t m i g r a t i o n a l g o r i t h m . T h e y a l l o w t h e e x a c t i n v e r s e e x t r a p o l a t i o n o f s e i s m i c

d a t a i n s i d e a h o m o g e n e o u s l a y e r ] z z + z ] w i t h c o n s t a n t v e l o c i t y .

S i n c e t h e p o w e r s p e c t r u m o f t h e s e i s m i c s o u r c e i s b a n d - l i m i t e d w i t h a c u t o

f r e q u e n c y f a r b e l o w t h e t e m p o r a l N y q u i s t , m a p p i n g d a t a i n t o t h e s p a c e - f r e q u e n c y

d o m a i n a l l o w s s i g n i c a n t d a t a c o m p r e s s i o n . I n a d d i t i o n , t h e p h a s e s h i f t f o r m u l a t i o n

o f m i g r a t i o n l e a d s t o a n e l e g a n t p a r a l l e l i m p l e m e n t a t i o n : t h e d e p t h e x t r a p o l a t i o n

i s c o m p o s e d o f e n t i r e l y c o n c u r r e n t o p e r a t i o n s , a n d o n l y t h e i m a g i n g c o n d i t i o n s u m

r e q u i r e s a n y i n t e r - p r o c e s s o r c o m m u n i c a t i o n o r r e m o t e m e m o r y a c c e s s .

3 . P h a s e S h i f t P l u s I n t e r p o l a t i o n . W h e r e a s s e i s m i c i m a g i n g i n a s t r a t i e d

m e d i u m c a n b e h a n d l e d p i e c e w i s e w i t h t h e s i m p l e p h a s e s h i f t f o r m u l a , t h e c a s e w i t h

l a t e r a l v e l o c i t y v a r i a t i o n s r e q u i r e s m o r e a t t e n t i o n . I n t h i s c o n t e x t t h e F o u r i e r r e p -

r e s e n t a t i o n ( 2 . 3 ) o f t h e s c a l a r w a v e e q u a t i o n i s m e a n i n g l e s s a n d n o s t r a i g h t f o r w a r d

r e p r e s e n t a t i o n o f t h e s o l u t i o n a s w i t h t h e p h a s e s h i f t f o r m u l a i s p o s s i b l e . T o o v e r c o m e

t h i s d i c u l t y a n d y e t k e e p t h e c o m p u t a t i o n a l c o m p l e x i t y o f t h e m i g r a t i o n t o a m i n -

i m u m , t h e w a v e p r o p a g a t i o n m o d e l i s m o d i e d i n o r d e r t o c o n s t r u c t a p u r e s p e c t r a l

m e t h o d f o r d o w n w a r d e x t r a p o l a t i o n i n a n i n h o m o g e n e o u s m e d i u m .

T h e s t a r t i n g p o i n t i s t h e p h a s e s h i f t f o r m u l a ( 2 . 5 ) , s p l i t i n t o v e r t i c a l a n d h o r i z o n t a l

c o m p o n e n t s a n d t h e n m o d i e d t o h a n d l e w a v e p r o p a g a t i o n i n s i d e t h e l a y e r ] z z + z

w h i c h h a s a l a t e r a l l y v a r i a b l e v e l o c i t y e l d . T h e r e s u l t i n g r s t t e r m g o v e r n s v e r t i c a l l y -

t r a v e l l i n g w a v e s t h r o u g h t h e l a y e r :

̂

P

0

( x ; y ; z ; ! ) =

̂

P ( x ; y ; z ; ! ) e

i

!

v

z

v = v

z

( x y ) ( 3 . 1 )

T h e s e c o n d t e r m g o v e r n s t h e h o r i z o n t a l c o r r e c t i o n f o r a r e f e r e n c e v e l o c i t y v

( j )

z

, o n e o f

v

( 1 )

z

< v

( 2 )

z

< < v

( n

z

)

z

̂

P

( n )

( k

x

k

y

z + z ! ) =

̂

P

0

( k

x

k

y

; z ; ! ) e x p

i ( k

( n )

z

?

!

v

( n )

z

) z

( 3 . 2 )

w i t h k

( n )

z

n = 1 2 n

z

, g i v e n b y E q . ( 2 . 4 ) e v a l u a t e d f o r r e f e r e n c e v e l o c i t y v

( n )

z

F o u r i e r - t r a n s f o r m e d b a c k t o t h e s p a c e - f r e q u e n c y d o m a i n , t h e e l d s

̂

P

( n )

( x ; y ; z +

z ! ) t h e n s e r v e a s r e f e r e n c e d a t a f r o m w h i c h t h e n a l r e s u l t i s o b t a i n e d b y i n t e r -

p o l a t i o n . U s i n g l i n e a r i n t e r p o l a t i o n , t h e d e p t h - c o n t i n u e d w a v e e l d i s g i v e n b y

̂

P ( x ; y ; z + z ! ) =

̂

P

( n )

( x ; y ; z + z ! )

v

( n + 1 )

z

? v

z

( x y )

v

( n + 1 )

z

? v

( n )

z

+

̂

P

( n + 1 )

( x ; y ; z + z ! )

v

z

( x y ) ? v

( n )

z

v

( n + 1 )

z

? v

( n )

z

( 3 . 3 )

3



f o r a l l p o i n t s ( x ; y ; z ) w i t h v

( n )

z

v

z

( x y ) v

( n + 1 )

z

. F i n a l l y , i m a g i n g o f t h e r e e c t o r s

a t z + z i s o b t a i n e d b y t h e u s u a l c o n d i t i o n , E q . ( 2 . 2 ) . T h i s i s t h e e s s e n c e o f t h e P S P I

m e t h o d , a s i n t r o d u c e d b y J . G a z d a g a n d P . S g u a z z e r o 6 ] .

T h e P S P I a l g o r i t h m d e n e d b y E q s . ( 3 . 1 ) , ( 3 . 2 ) a n d ( 3 . 3 ) g i v e s c o r r e c t d e p t h

c o n t i n u a t i o n f o r v e r t i c a l l y - t r a v e l l i n g p l a n e w a v e s a n d m a i n t a i n s h i g h a c c u r a c y f o r

s m a l l d i p s c h a r a c t e r i z e d b y

q

k

2

x

+ k

2

y

! = v

( n )

z

. A l t h o u g h t h e i n t r o d u c t i o n o f

l a t e r a l l y - v a r i a b l e v e l o c i t i e s a n d t h e u s e o f i n t e r p o l a t i n g r e f e r e n c e s o l u t i o n s d o n o t h a v e

a w e l l e s t a b l i s h e d m a t h e m a t i c a l b a s i s , c o m p u t e r e x p e r i m e n t s s h o w t h a t t h i s a p p r o a c h

i s i n f a c t v e r y r e l i a b l e . P S P I i s a p r a c t i c a l a l t e r n a t i v e t o o t h e r f o r m s o f m i g r a t i o n { a s

l o n g a s t h e s e t o f r e f e r e n c e v e l o c i t i e s i s w e l l - c h o s e n . I t s i m p l e m e n t a t i o n a l a d v a n t a g e

i s t h a t e a c h r e f e r e n c e s o l u t i o n c o m e s f r o m a c o n s t a n t v e l o c i t y e x t r a p o l a t i o n w h o s e

i m p l e m e n t a t i o n i n h e r i t s t h e p a r a l l e l s t r u c t u r e o f t h e p h a s e s h i f t a l g o r i t h m 7 ] .

4 . O p t i m a l R e f e r e n c e V e l o c i t i e s . T h e v e l o c i t i e s v

( n )

z

p l a y a c r u c i a l r o l e i n

P S P I m i g r a t i o n o f s e i s m i c d a t a { f o r a c c u r a c y a n d c o s t o f t h e m e t h o d . U s i n g s t a t i s t i c a l

a r g u m e n t s , r e p r e s e n t a t i v e v e l o c i t i e s c a n b e o p t i m a l l y c h o s e n f o r t h e v e l o c i t y e l d o f

a g i v e n l a y e r ] z z + z ] . T h e t a s k i s t o h i g h l i g h t , f o r e a c h l a y e r , a m i n i m a l s e t o f

v e l o c i t y v a l u e s t h a t p r e d o m i n a t e s t a t i s t i c a l l y i n t h e p r o p a g a t i o n p r o c e s s . T h e m a n n e r

i n w h i c h t h i s i s d o n e , o u t l i n e d h e r e , i s d e s c r i b e d i n d e t a i l i n 8 ] .

U s i n g s o m e n u m b e r N + 1 o f r e f e r e n c e v e l o c i t i e s , t h e v e l o c i t y i n t e r v a l v

m

v

M

( w h e r e v

m

a n d v

M

a r e t h e m i n i m a l a n d m a x i m a l v e l o c i t y v a l u e s o n t h e e n t i r e e l d )

i s u n i f o r m l y d i s c r e t i z e d i n t o N s u b i n t e r v a l s , a n d a d i s t r i b u t i o n F

z

i s d e n e d o v e r t h e

d i s c r e t i z a t i o n : F

( k )

z

k = 1 ; : : : ; N , i s t h e f r a c t i o n o f v e l o c i t i e s ( f r o m t h e v e l o c i t y e l d

i n t h a t l a y e r ) c o n t a i n e d i n t h e k

t h

i n t e r v a l . I n o r d e r t o o p t i m i z e t h e s e t o f r e f e r e n c e

v e l o c i t i e s , w e d e n e t h e n u m b e r N

z

( N

z

N ) o f i n t e r v a l s o v e r w h i c h t h e v e l o c i t i e s w i l l

h a v e u n i f o r m d i s t r i b u t i o n w i t h d i s p e r s i o n S

z

, w h e r e S

z

F = ?

P

N

k = 1

F

( k )

z

l o g F

( k )

z

i s

t h e \ s t a t i s t i c a l e n t r o p y " o f t h e d i s t r i b u t i o n F

z

. I t f o l l o w s t h a t N

z

= b e x p ( S

z

F ) +

1

2

c

T h e n t h e N

z

+ 1 n e w r e f e r e n c e v e l o c i t i e s a r e c h o s e n s o t h a t t h e r e s u l t i n g d i s t r i b u t i o n

o f v e l o c i t i e s o v e r t h i s d i s c r e t i z a t i o n i s u n i f o r m .

N o t o n l y d o e s t h i s o p t i m i z a t i o n s i g n i c a n t l y r e d u c e t h e o p e r a t i o n c o u n t f o r P S P I ,

i t a l s o c o n c e n t r a t e s m o r e r e f e r e n c e v e l o c i t i e s w h e r e t h e d i s t r i b u t i o n o f v e l o c i t i e s i s

l a r g e a n d r e s u l t s i n f e w e r w h e r e t h e d i s t r i b u t i o n i s s m a l l . W i t h t h i s a d a p t i v e m e c h a -

n i s m , t h e a c c u r a c y o f P S P I m u s t i n d e e d i n c r e a s e o n a v e r a g e b e c a u s e o f t h e s t a t i s t i c a l

i m p o r t a n c e c o n f e r r e d t o t h o s e v e l o c i t i e s t h a t c o n t r i b u t e m a s s i v e l y t o t h e d o w n w a r d

p r o p a g a t i o n o f t h e w a v e e l d .

5 . R e c o n s t r u c t i o n o f a S u b s u r f a c e M o d e l . W e s t u d y a s y n t h e t i c e x a m p l e ,

f o r w h i c h w e k n o w t h e v e l o c i t y e l d t o b e c o r r e c t , i n o r d e r t o e x a m i n e t h e e e c t

o f P S P I s i m p l i c a t i o n s i n i m a g i n g a c o m p l e x m o d e l . F i g . 5 . 1 i l l u s t r a t e s t h e e x a m p l e

v e l o c i t y e l d f o r a v e r t i c a l s l i c e o f a 3 D s u b s u r f a c e m o d e l : x = y = 2 3 3 m

z = 1 0 m . V e l o c i t i e s v a r y f r o m 8 0 0 t o 2 5 0 0 m / s .

A s y n t h e t i c s e i s m i c s e c t i o n w a s g e n e r a t e d u s i n g a n a c o u s t i c w a v e p r o p a g a t i o n

m o d e l t o s i m u l a t e t h e s u r f a c e s i g n a l s t h a t w o u l d b e r e c e i v e d d u r i n g a s e i s m i c a c q u i -

s i t i o n o v e r t h i s v e l o c i t y e l d . F o r t h e d e p t h e x t r a p o l a t i o n o f t h e s e i s m i c d a t a , t h e

v e l o c i t y e l d o f F i g . 5 . 1 w a s i n i t i a l l y d i s c r e t i z e d u s i n g 4 0 r e f e r e n c e v e l o c i t i e s . T h e

a c t u a l n u m b e r n a l l y u s e d f o r a g i v e n l a y e r , a f t e r t h e o p t i m i z a t i o n p r o c e d u r e d e -

s c r i b e d a b o v e , v a r i e d f r o m 1 t o 6 , d e p e n d i n g o n d e p t h ; o n a v e r a g e o n l y f o u r r e f e r e n c e

v e l o c i t i e s w e r e n e c e s s a r y f o r a l a y e r . S u c h a n e c o n o m y i n t h e n u m b e r o f r e f e r e n c e

v e l o c i t i e s n e c e s s a r y f o r t h e P S P I a l g o r i t h m t r a n s l a t e s i n t o a n i m p o r t a n t r e d u c t i o n i n

c o m p u t a t i o n t i m e f o r d e p t h e x t r a p o l a t i o n a n d P S P I m i g r a t i o n .

4



F i g . 5 . 1 2 D s l i c e o f a s y n t h e t i c 3 D s u b s u r f a c e v e l o c i t y m o d e l . T h i s i s t h e e l d t h a t P S P I

m i g r a t i o n s h o u l d r e p r o d u c e .

F i g . 5 . 2 2 D s l i c e o f 3 D i m a g e g e n e r a t e d b y P S P I m i g r a t i o n u s i n g v e l o c i t y m o d e l f r o m F i g . 5 . 1 .

T h e r e s u l t i n g m i g r a t e d s e c t i o n i s s h o w n i n F i g . 5 . 2 . T h e c o m p l e x s t r u c t u r e o f t h e

s u b s u r f a c e m o d e l i s l a r g e l y r e c o n s t r u c t e d . A g r e e m e n t b e t w e e n r e e c t i n g i n t e r f a c e s

p i c k e d u p b y t h e P S P I m i g r a t i o n a n d d i s c o n t i n u i t i e s o f t h e v e l o c i t y e l d i s v e r y g o o d .

6 . P a r a l l e l P S P I o n t h e O r i g i n 2 0 0 0 . T h e P S P I a l g o r i t h m i s i n t r i n s i c a l l y

d a t a p a r a l l e l ; t h a n k s t o d e c o u p l i n g i n t h e f r e q u e n c y d o m a i n , t h e d e p t h e x t r a p o l a t i o n

o f E q s . ( 3 . 1 ) { ( 3 . 3 ) a t e a c h s t e p c o n s i s t s o f a b s o l u t e l y c o n c u r r e n t c a l c u l a t i o n s . T h e

5



i m a g i n g o f E q . ( 2 . 7 ) a t e a c h d e p t h r e q u i r e s a s u m ( o v e r f r e q u e n c y ) o f t h e r e s u l t s o f t h e

d e p t h e x t r a p o l a t i o n ; t h i s i s t h e o n l y p o i n t a t w h i c h i n t e r - p r o c e s s o r c o m m u n i c a t i o n s

( o r r e m o t e m e m o r y a c c e s s e s ) a r e r e q u i r e d b y t h e a l g o r i t h m . I m p l e m e n t a t i o n a l l y , t h e

r e q u i r e d o p e r a t i o n i s a r e d u c t i o n ( g l o b a l s u m ) o n t h e e l e m e n t s o f a d i s t r i b u t i o n o f 2 D

a r r a y s , o n c e a t e v e r y d e p t h .

T h e H P F c o d e h a d i n i t i a l l y a p p e a r e d t o b e d r a s t i c a l l y p e n a l i z e d b y t h e S G I

O r i g i n ' s a r c h i t e c t u r e s i n c e i t r a n m u c h f a s t e r o n t h e S G I P o w e r C h a l l e n g e t h a n o n

t h e O r i g i n . N o w n e w c o m p i l e r s a n d O S h a v e b r o u g h t i m p r e s s i v e p e r f o r m a n c e g a i n s

o n t h e O r i g i n 2 0 0 0 , a n d w e a r e b a c k t o a f a s t , s c a l a b l e H P F c o d e . I n t h e m e a n t i m e , w e

h a v e p o r t e d t h e c o d e t o n a t i v e O p e n M P o n t h e O r i g i n a n d c a n c o m p a r e p e r f o r m a n c e

b e t w e e n t h e t w o c o d e s .

O n e p r o b l e m p o s e d b y t h e O p e n M P c o n v e r s i o n w a s h o w t o c a r r y o u t a r e d u c t i o n

s u m e l e m e n t - b y - e l e m e n t o n a d i s t r i b u t i o n o f 2 D a r r a y s . E c i e n t O p e n M P r e d u c t i o n

i s c u r r e n t l y o n l y d e n e d f o r s c a l a r s . T h e r e d u c t i o n s u m f o r a n a r r a y i n O p e n M P m u s t

b e c a r r i e d o u t " b y h a n d " , u s i n g e i t h e r c r i t i c a l r e g i o n s o r b a r r i e r s t o a v o i d c o n i c t s

b e t w e e n p r o c e s s o r s . O n t h e o t h e r h a n d , H P F r e q u i r e s o n l y t h e F 9 0 i n t r i n s i c " s u m "

t o d e n e t h e r e d u c t i o n s u m .

A m u c h m o r e i m p o r t a n t p r o b l e m w i t h O p e n M P o n t h e O r i g i n 2 0 0 0 i s t h a t o f d a t a

p l a c e m e n t . D a t a p l a c e m e n t , a n i n t r i n s i c p a r t o f H P F p r o g r a m m i n g , i s i m p o r t a n t o n

t h e O r i g i n 2 0 0 0 , e v e n w h e n u s i n g t h e s h a r e d m e m o r y p a r a d i g m o f O p e n M P . W h i l e a

s h a r e d - m e m o r y m a c h i n e g u a r a n t e e s t h a t a l l d a t a i s l o g i c a l l y e q u a l l y a c c e s s i b l e t o a l l

p r o c e s s o r s , t h e c o s t o f t h a t a c c e s s i s n o t g u a r a n t e e d t o b e u n i f o r m . I n p a r t i c u l a r , t h i s

i s t h e c a s e o n t h e d i s t r i b u t e d s h a r e d m e m o r y O r i g i n 2 0 0 0 . I t s c c N U M A n a t u r e g i v e s

t h e c a c h e c o h e r e n c y w h i c h a s s u r e s t h e s i n g l e - m e m o r y m o d e l , a n d y e t t h e s c a l a b l e

a r c h i t e c t u r e i m p o s e s v a r y i n g m e m o r y a c c e s s c o s t s : l e s s e x p e n s i v e f o r l o c a l a c c e s s ,

m o r e e x p e n s i v e f o r r e m o t e a c c e s s ( c o n s i d e r e d h e r e a s c o m m u n i c a t i o n ) .

A t t h e s a m e t i m e , O p e n M P , u s e d f o r d i s t r i b u t i n g w o r k o n s h a r e d - m e m o r y m a -

c h i n e s , w a s n o t o r i g i n a l l y i n t e n d e d t o h a n d l e d a t a p l a c e m e n t , a n d a n y d a t a p l a c e m e n t

d i r e c t i v e i s c u r r e n t l y o u t s i d e t h e O p e n M P s t a n d a r d . S u c h d i r e c t i v e s a r e f u r n i s h e d b y

v e n d o r s f o r t h e i r s p e c i c m a c h i n e s ; o n t h e O r i g i n 2 0 0 0 , t h e S G I d i r e c t i v e s f o r m a n

e x t e n s i o n o f O p e n M P . W h i l e s u c h m a c h i n e - s p e c i c e x t e n s i o n s a r e n e c e s s a r y f o r o p t i -

m i z i n g c o d e , t h e i r u s e i n h i b i t s t h e p o r t a b i l i t y t h a t t h e O p e n M P s t a n d a r d w a s m e a n t

t o p r o v i d e .

B e c a u s e o f t h e d a t a - p a r a l l e l n a t u r e o f o u r p r o b l e m , t h e o r i g i n a l H P F c o d e w a s

n a t u r a l l y s t r u c t u r e d f o r e c i e n c y o n d i s t r i b u t e d - m e m o r y m a c h i n e s . T h e c o n v e r s i o n

t o O p e n M P w a s u n d e r t a k e n s o a s t o p r e s e r v e t h e o r i g i n a l d i s t r i b u t e d d a t a s t r u c t u r e

o f t h e H P F c o d e ; o n t h e D S M a r c h i t e c t u r e o f t h e O r i g i n 2 0 0 0 t h i s s h o u l d s e r v e t o

g u a r a n t e e t h a t l o c a l m e m o r y a c c e s s e s a r e f a v o r e d o v e r t h e c o s t l i e r r e m o t e a c c e s s e s

a n d t h a t s c a l a b i l i t y i s t h u s e n h a n c e d .

I n t h e a b s e n c e o f d a t a p l a c e m e n t d i r e c t i v e s i n O p e n M P , t h e S G I d i r e c t i v e s s h o u l d

h a v e p r o v i d e d t h e m e a n s f o r c o n t r o l l i n g d a t a p l a c e m e n t a n d i m p o s i n g t h e d e s i r e d

s t r u c t u r e o n t h e d a t a . A " p a g e " i s t h e m i n i m a l g r a n u l a r i t y o f m e m o r y s p a c e o n t h e

O r i g i n , a n d " p a g e p l a c e " , w h i c h i s s u p p o s e d t o g i v e t h e u s e r c o n t r o l o v e r p l a c e m e n t

o f p a g e s i n m e m o r y , w a s t h e S G I d i r e c t i v e o f c h o i c e . T h e p a g e g r a n u l a r i t y d o e s n o t

a l l o w t h e n e c o n t r o l o v e r d a t a p l a c e m e n t w h i c h o n e g e n e r a l l y e x p e c t s ; f o r e x a m p l e ,

a n a r r a y d i s t r i b u t e d a m o n g s e v e r a l p r o c e s s o r s i s d i s t r i b u t e d b y p a g e , n o t b y e l e m e n t .

A u s e r c a n t h u s b e s u r p r i s e d b y n d i n g s o m e e l e m e n t s ( t h o s e w h i c h h a p p e n t o o v e r l a p

o n t h e p a g e a l l o t t e d t o a n o t h e r p r o c e s s o r ) r e s i d i n g o n p r o c e s s o r s o t h e r t h a n w h e r e

t h e y w e r e t h o u g h t t o h a v e b e e n p l a c e d . T h i s c a n b e a v o i d e d b y p a d d i n g t h e a r r a y s o

6



a s t o s e p a r a t e d a t a b l o c k s b y a t l e a s t a p a g e o f m e m o r y s p a c e . H o w e v e r , t h i s r e q u i r e s a

l e v e l o f h a n d t u n i n g o f t h e a r r a y t h a t w a s l e f t b e h i n d l o n g a g o o n d i s t r i b u t e d m e m o r y

m a c h i n e s ! U n f o r t u n a t e l y , e v e n w i t h t h i s h a n d t u n i n g , p a g e p l a c e w a s n o t o p e r a t i v e

o n t h e O r i g i n a t t h e t i m e o f t h e c o n v e r s i o n o f o u r c o d e f r o m H P F .

S o r s t - t o u c h d e f a u l t p l a c e m e n t w a s u t i l i z e d . T h i s i s a c o n v e n t i o n w h i c h d i c t a t e s

t h a t t h e p r o c e s s o r w h i c h r s t " t o u c h e s " ( c a r r i e s o u t s o m e o p e r a t i o n o n ) a d a t u m w i l l

t a k e t h e p a g e c o n t a i n i n g t h a t d a t u m i n t o i t s a s s o c i a t e d l o c a l m e m o r y . S i m p l y i n i -

t i a l i z i n g t h e a r r a y v i a a p a r a l l e l d o - l o o p w h o s e i t e r a t e s a r e d i s t r i b u t e d c o n v e n i e n t l y

a m o n g t h e p r o c e s s o r s w i l l a c h i e v e a d e s i r e d d i s t r i b u t i o n { t o w i t h i n t h e u s u a l c o n -

s t r a i n t s i m p o s e d b y t h e p a g e g r a n u l a r i t y . ( A g a i n , p a g e o v e r l a p p i n g c a n b e a v o i d e d

b e t w e e n s u b a r r a y b l o c k s b y a c c o r d i n g l y p a d d i n g t h e a r r a y . ) U n f o r t u n a t e l y , e v e n t h e

r s t - t o u c h c o n v e n t i o n i s n o t g u a r a n t e e d t o g i v e t h e d e s i r e d d a t a p l a c e m e n t i f t h e

m a c h i n e i s u n d e r h e a v y u s e . I f t h e O S i s s w a p p i n g t h r e a d s a m o n g p r o c e s s o r s w h i l e

t h e r s t - t o u c h i n i t i a l i z a t i o n i s t a k i n g p l a c e , a s u b a r r a y b l o c k c a n w i n d u p s c a t t e r e d ,

p a g e b y p a g e , a m o n g s e v e r a l m e m o r i e s . O n t h e S G I O r i g i n 2 0 0 0 , t h i s c a n h a p p e n

e v e n w h e n t h r e a d s a r e " l o c k e d " t o s p e c i c p r o c e s s o r s , b e c a u s e t h e O S c a n o v e r r i d e ,

d e p e n d i n g o n m a c h i n e u s e , t h e u s e r - s p e c i e d d i r e c t i v e s a n d e n v i r o n m e n t v a r i a b l e s .

0 4 8 12 16

# of CPUs

0

50

100

150

200

250

T i m e [ s ]

Timings: OpenMP vs HPF

OpenMP elapsed timeOpenMP CPU time

OpenMP elapsed time fluctuations

HPF elapsed time

HPF CPU time

F i g . 6 . 1 T i m i n g s : O p e n M P v s H P F . F l u c t u a t i o n s i n e l a p s e d t i m e f o r O p e n M P r u n s c o r r e s p o n d

t o h e a v y m a c h i n e u s e . N o s u c h u c t u a t i o n s a r e o b s e r v e d f o r H P F .

O n t h e o t h e r h a n d , H P F o n t h e s h a r e d m e m o r y m a c h i n e d o e s n o t s u e r f r o m

t h e s a m e p r o b l e m s o f d a t a d i s t r i b u t i o n n o r o f O S i n t e r f e r e n c e . U n l i k e O p e n M P , H P F

i s n o t c o n s t r a i n e d t o r e s p e c t F o r t r a n c o n v e n t i o n s o f a r r a y s t o r a g e a c r o s s p r o c e s s o r

b o u n d a r i e s . ( O p e n M P m u s t g u a r a n t e e t h a t a r r a y e l e m e n t s w h i c h a r e c o n t i g u o u s

i n F o r t r a n r e m a i n c o n t i g u o u s i n m e m o r y { e v e n f o r d i s t r i b u t e d a r r a y s a n d a c r o s s

p r o c e s s o r b o u n d a r i e s . ) T h u s H P F i s n o t i n u e n c e d b y p a g e g r a n u l a r i t y , a n d t h e

u s e r c a n t r u l y c o n t r o l d a t a d i s t r i b u t i o n . H P F p r o c e d u r e s a r e a l s o n o t s u b j e c t t o t h e

" p r o c e s s o r h o p p i n g " w h i c h c h a r a c t e r i z e s O S c o n t r o l o f O p e n M P t h r e a d s a n d w h i c h

c a n p e n a l i z e O p e n M P p e r f o r m a n c e w h e n a m a c h i n e i s u n d e r h e a v y u s e .

7



0 4 8 12 16

# of CPUs

0

4

8

12

16

S p e e d u p

Speedup: OpenMP vs HPF

OpenMP

HPF

ideal

F i g . 6 . 2 S p e e d u p : O p e n M P v s H P F . T h e H P F c o d e s c a l e s w e l l ; t h e O p e n M P c o d e d o e s n o t .

N o t s u r p r i s i n g l y , t h e n , O p e n M P p e r f o r m a n c e f o r t h i s a p p l i c a t i o n o n t h e O r i -

g i n 2 0 0 0 i s s i g n i c a n t l y i n f e r i o r t o H P F p e r f o r m a n c e . O n e c a n s e e i n g u r e 6 . 1 h o w

t h e O p e n M P v e r s i o n i s p e n a l i z e d b y t h e O S ; t h e u c t u a t i o n s i n e l a p s e d t i m e , v i s i b l e

f o r s o m e o f t h e O p e n M P r u n s , c o r r e s p o n d t o m o m e n t s o f h e a v y m a c h i n e u s e a n d a c -

c o m p a n y i n g i n t e r f e r e n c e f r o m t h e O S ; o n e r u n w i t h 1 6 C P U s w h i c h t o o k 1 5 m i n u t e s

t o n i s h , i s n o t e v e n i n c l u d e d i n t h e g u r e . T h e H P F c o d e n e v e r m a n i f e s t e d u c t u -

a t i o n s o f t h i s o r d e r . F i g u r e 6 . 2 r e p o r t s s p e e d u p m e a s u r e d u s i n g o n l y t h e f a v o r a b l e

r u n s f o r O p e n M P . T h e H P F c o d e s c a l e s w e l l ; t h e O p e n M P c o d e d o e s n o t .

F o r t h e t i m e b e i n g , w e w i l l c o n t i n u e o u r c o d e d e v e l o p m e n t i n P G H P F .

R E F E R E N C E S

1 ] J . A . S c a l e s , T h e o r y o f S e i s m i c I m a g i n g , n o t e s f o r g r a d u a t e c o u r s e s , C o l o r a d o S c h o o l o f M i n e s ,

1 9 9 7 ( h t t p : / / l a n d a u . M i n e s . E D U / ~ s a m i z d a t / i m a g i n g / i n d e x . h t m l )

2

O z d o g a n Y i l m a z , S e i s m i c d a t a p r o c e s s i n g , I n v e s t i g a t i o n i n G e o p h y s i c s , 2 , S o c . E x p l . G e o p h y s . ,

1 9 8 7 .

3 ] R . H . S t o l t , \ M i g r a t i o n b y F o u r i e r t r a n s f o r m " , G e o p h y s i c s 4 3 ( 1 9 7 8 ) 2 3 { 4 8 .

4 ] R . H . S t o l t a n d A . K . B e n s o n , \ S e i s m i c M i g r a t i o n { T h e o r y a n d P r a c t i c e " , H a n d b o o k o f

G e o p h y s i c a l E x p l o r a t i o n { S e c t i o n I : S e i s m i c E x p l o r a t i o n , 5 , E l s e v i e r S c i e n c e L t d . , 1 9 8 5 .

5 ] J . G a z d a g , \ W a v e m i g r a t i o n w i t h t h e p h a s e s h i f t m e t h o d " , G e o p h y s i c s 4 3 ( 1 9 7 8 ) 1 3 4 2 { 1 3 5 1 .

6 ] J . G a z d a g a n d P . S g u a z z e r o , \ M i g r a t i o n o f s e i s m i c d a t a " , G e o p h y s i c s 4 9 ( 1 9 8 4 ) 1 2 4 { 1 3 1 .

7 ] C . B a g a i n i , E . B o n o m i a n d E . P i e r o n i , \ D a t a P a r a l l e l I m p l e m e n t a t i o n o f 3 D P S P I " , i n P r o c .

6 5 t h S E G A n n u a l M e e t i n g , O c t . 1 9 9 5 , p p . 1 8 8 { 1 9 1 .

8 ] E . B o n o m i , L . B r i e g e r , C . N a r d o n e a n d E . P i e r o n i , \ P S P I : A S c h e m e f o r H i g h - P e r f o r m a n c e

E c h o R e c o n s t r u c t i o n I m a g i n g " , C o m p u t e r s i n P h y s i c s 1 2 ( 1 9 9 8 ) 1 2 6 { 1 3 2 .

8

article pspi

Documents