wavelets for kids a
TRANSCRIPT
-
7/29/2019 Wavelets for Kids A
1/26
W A V E L E T S F O R K I D S
A T u t o r i a l I n t r o d u c t i o n
B y
B r a n i V i d a k o v i
c a n d P e t e r M
u l l e r
D u k e U n i v e r s i t y
S t r i c t l y s p e a k i n g , w a v e l e t s a r e t o p i c o f p u r e m a t h e m a t i c s , h o w e v e r i n o n l y a
f e w y e a r s o f e x i s t e n c e a s a t h e o r y o f t h e i r o w n , t h e y h a v e s h o w n g r e a t p o t e n t i a l
a n d a p p l i c a b i l i t y i n m a n y e l d s .
T h e r e a r e s e v e r a l e x c e l l e n t m o n o g r a p h s a n d a r t i c l e s t a l k i n g a b o u t w a v e l e t s , a n d
t h i s m o d e s t t u t o r i a l d o e s n o t i n t e n d t o c o m p e t e w i t h a n y o f t h e m . R a t h e r i t
i s i n t e n d e d t o s e r v e a s a v e r y r s t r e a d i n g , g i v i n g e x a m p l e s i n t e r e s t i n g f o r t h e
s t a t i s t i c a l c o m m u n i t y . W e a l s o g i v e r e f e r e n c e s f o r f u r t h e r r e a d i n g a s w e l l a s
s o m e m a t h e m a t i c a d o - i t - y o u r s e l f p r o c e d u r e s .
K e y w o r d s a n d p h r a s e s : W a v e l e t s , M u l t i r e s o l u t i o n a n a l y s i s ( m r a ) , H a a r
w a v e l e t , T h r e s h o l d i n g .
1 9 9 1 A M S S u b j e c t C l a s s i c a t i o n : 4 2 A 0 6 , 4 1 A 0 5 , 6 5 D 0 5 .
-
7/29/2019 Wavelets for Kids A
2/26
C O N T E N T S 2
C o n t e n t s
1 W h a t a r e w a v e l e t s ? 3
2 H o w d o t h e w a v e l e t s w o r k ? 5
2 . 1 T h e H a a r w a v e l e t : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 5
2 . 2 M a l l a t ' s m u l t i r e s o l u t i o n a n a l y s i s , l t e r s , a n d d i r e c t a n d i n v e r s e w a v e l e t
t r a n s f o r m a t i o n : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 9
2 . 2 . 1 M a l l a t ' s m r a : : : : : : : : : : : : : : : : : : : : : : : : : : : 9
2 . 2 . 2 T h e l a n g u a g e o f s i g n a l p r o c e s s i n g : : : : : : : : : : : : : : : : 1 0
3 T h r e s h o l d i n g m e t h o d s 1 3
3 . 1 D i e r e n t t h r e s h o l d i n g p o l i c i e s : : : : : : : : : : : : : : : : : : : : : : 1 6
3 . 1 . 1 H a r d t h r e s h o l d i n g : : : : : : : : : : : : : : : : : : : : : : : : : 1 6
3 . 1 . 2 S o f t t h r e s h o l d i n g : : : : : : : : : : : : : : : : : : : : : : : : : 1 6
3 . 1 . 3 Q u a n t i l e t h r e s h o l d i n g : : : : : : : : : : : : : : : : : : : : : : : 1 7
3 . 1 . 4 U n i v e r s a l t h r e s h o l d i n g : : : : : : : : : : : : : : : : : : : : : : 1 7
4 E x a m p l e : C a l i f o r n i a e a r t h q u a k e s 1 7
5 W a v e l e t i m a g e p r o c e s s i n g 1 8
6 C a n y o u d o w a v e l e t s ? 2 0
7 A p p e n d i x 2 4
-
7/29/2019 Wavelets for Kids A
3/26
1 W H A T A R E W A V E L E T S ? 3
1 W h a t a r e w a v e l e t s ?
W a v e l e t s a r e f u n c t i o n s t h a t s a t i s f y c e r t a i n r e q u i r e m e n t s . T h e v e r y n a m e w a v e l e t
c o m e s f r o m t h e r e q u i r e m e n t t h a t t h e y s h o u l d i n t e g r a t e t o z e r o , \ w a v i n g " a b o v e a n d
b e l o w t h e x - a x i s . T h e d i m i n u t i v e c o n n o t a t i o n o f w a v e l e t s u g g e s t t h e f u n c t i o n h a s t o
b e w e l l l o c a l i z e d . O t h e r r e q u i r e m e n t s a r e t e c h n i c a l a n d n e e d e d m o s t l y t o i n s u r e q u i c k
a n d e a s y c a l c u l a t i o n o f t h e d i r e c t a n d i n v e r s e w a v e l e t t r a n s f o r m .
T h e r e a r e m a n y k i n d s o f w a v e l e t s . O n e c a n c h o o s e b e t w e e n s m o o t h w a v e l e t s , c o m -
p a c t l y s u p p o r t e d w a v e l e t s , w a v e l e t s w i t h s i m p l e m a t h e m a t i c a l e x p r e s s i o n s , w a v e l e t s
w i t h s i m p l e a s s o c i a t e d l t e r s , e t c . T h e m o s t s i m p l e i s t h e H a a r w a v e l e t , a n d w e d i s c u s s
i t a s a n i n t r o d u c t o r y e x a m p l e i n t h e n e x t s e c t i o n . E x a m p l e s o f s o m e w a v e l e t s ( f r o m
t h e f a m i l y o f D a u b e c h i e s w a v e l e t s ) a r e g i v e n i n F i g u r e 1 . L i k e s i n e s a n d c o s i n e s i n
F o u r i e r a n a l y s i s , w a v e l e t s a r e u s e d a s b a s i s f u n c t i o n s i n r e p r e s e n t i n g o t h e r f u n c t i o n s .
O n c e t h e w a v e l e t ( s o m e t i m e s c a l l e d t h e m o t h e r w a v e l e t ) ( x ) i s x e d , o n e c a n m a k e a
b a s i s o f t r a n s l a t i o n s a n d d i l a t i o n s o f t h e m o t h e r w a v e l e t f (
x ; b
a
) ( a b ) 2 R
+
R g I t
i s c o n v e n i e n t t o t a k e s p e c i a l v a l u e s f o r a a n d b i n d e n i n g t h e w a v e l e t b a s i s : a = 2
; j
a n d b = k 2
j
w h e r e k a n d j a r e i n t e g e r s . T h i s c h o i c e o f a a n d b w i l l g i v e a s p a r s e
b a s i s . I n a d d i t i o n , t h i s c h o i c e n a t u r a l l y c o n n e c t s m u l t i r e s o l u t i o n a n a l y s i s i n s i g n a l
p r o c e s s i n g w i t h t h e w o r l d o f w a v e l e t s .
W a v e l e t n o v i c e s o f t e n a s k , w h y n o t u s e t h e t r a d i t i o n a l F o u r i e r m e t h o d s ? T h e r e
a r e s o m e i m p o r t a n t d i e r e n c e s b e t w e e n F o u r i e r a n a l y s i s a n d w a v e l e t s . F o u r i e r b a s i s
f u n c t i o n s a r e l o c a l i z e d i n f r e q u e n c y b u t n o t i n t i m e . S m a l l f r e q u e n c y c h a n g e s i n t h e
F o u r i e r t r a n s f o r m w i l l p r o d u c e c h a n g e s e v e r y w h e r e i n t h e t i m e d o m a i n . W a v e l e t s
a r e l o c a l i n b o t h f r e q u e n c y / s c a l e ( v i a d i l a t i o n s ) a n d i n t i m e ( v i a t r a n s l a t i o n s ) . T h i s
l o c a l i z a t i o n i s a n a d v a n t a g e i n m a n y c a s e s .
S e c o n d , m a n y c l a s s e s o f f u n c t i o n s c a n b e r e p r e s e n t e d b y w a v e l e t s i n a m o r e c o m -
p a c t w a y . F o r e x a m p l e , f u n c t i o n s w i t h d i s c o n t i n u i t i e s a n d f u n c t i o n s w i t h s h a r p s p i k e s
u s u a l l y t a k e s u b s t a n t i a l l y f e w e r w a v e l e t b a s i s f u n c t i o n s t h a n s i n e - c o s i n e b a s i s f u n c -
t i o n s t o a c h i e v e a c o m p a r a b l e a p p r o x i m a t i o n .
T h i s s p a r s e c o d i n g m a k e s w a v e l e t s e x c e l l e n t t o o l s i n d a t a c o m p r e s s i o n . F o r e x -
a m p l e , t h e F B I h a s s t a n d a r d i z e d t h e u s e o f w a v e l e t s i n d i g i t a l n g e r p r i n t i m a g e c o m -
p r e s s i o n . T h e c o m p r e s s i o n r a t i o s a r e o n t h e o r d e r o f 2 0 : 1 , a n d t h e d i e r e n c e b e t w e e n
t h e o r i g i n a l i m a g e a n d t h e d e c o m p r e s s e d o n e c a n b e t o l d o n l y b y a n e x p e r t . T h e r e
a r e m a n y m o r e a p p l i c a t i o n s o f w a v e l e t s , s o m e o f t h e m v e r y p l e a s i n g . C o i f m a n a n d
h i s Y a l e t e a m u s e d w a v e l e t s t o c l e a n n o i s y s o u n d r e c o r d i n g s , i n c l u d i n g o l d r e c o r d i n g s
o f B r a h m s p l a y i n g h i s F i r s t H u n g a r i a n D a n c e o n t h e p i a n o .
T h i s a l r e a d y h i n t s a t h o w s t a t i s t i c i a n s c a n b e n e t f r o m w a v e l e t s . L a r g e a n d n o i s y
d a t a s e t s c a n b e e a s i l y a n d q u i c k l y t r a n s f o r m e d b y t h e d i s c r e t e w a v e l e t t r a n s f o r m
( t h e c o u n t e r p a r t o f d i s c r e t e F o u r i e r t r a n s f o r m ) . T h e d a t a a r e c o d e d b y t h e w a v e l e t
c o e c i e n t s . I n a d d i t i o n , t h e e p i t h e t \ F a s t " f o r F o u r i e r t r a n s f o r m c a n , i n m o s t c a s e s ,
b e r e p l a c e d b y \ F a s t e r " f o r t h e w a v e l e t s . I t i s w e l l k n o w n t h a t t h e c o m p u t a t i o n a l
c o m p l e x i t y o f t h e F F T i s O ( n l o g
2
( n ) ) . F o r t h e f a s t w a v e l e t t r a n s f o r m ( F W T ) t h e
-
7/29/2019 Wavelets for Kids A
4/26
1 W H A T A R E W A V E L E T S ? 4
F i g u r e 1 : W a v e l e t s f r o m t h e D a u b e c h i e s f a m i l y
-
7/29/2019 Wavelets for Kids A
5/26
2 H O W D O T H E W A V E L E T S W O R K ? 5
c o m p u t a t i o n a l c o m p l e x i t y g o e s d o w n t o O ( n )
M a n y d a t a o p e r a t i o n s c a n n o w b e d o n e b y p r o c e s s i n g t h e c o r r e s p o n d i n g w a v e l e t
c o e c i e n t s . F o r i n s t a n c e , o n e c a n d o d a t a s m o o t h i n g b y t h r e s h o l d i n g t h e w a v e l e t
c o e c i e n t s a n d t h e n r e t u r n i n g t h e t h r e s h o l d e d c o d e t o t h e \ t i m e d o m a i n . " T h e
d e n i t i o n o f t h r e s h o l d i n g a n d d i e r e n t t h r e s h o l d i n g m e t h o d s a r e g i v e n i n S e c t i o n 3 .
R A W D A T A W . D E C O M P T H R E S H O L D W . C O M P P R O C E S S E D D A T A
F i g u r e 2 : D a t a a n a l y s i s b y w a v e l e t s
2 H o w d o t h e w a v e l e t s w o r k ?
2 . 1 T h e H a a r w a v e l e t
T o e x p l a i n h o w w a v e l e t s w o r k , w e s t a r t w i t h a n e x a m p l e . W e c h o o s e t h e s i m p l e s t
a n d t h e o l d e s t o f a l l w a v e l e t s ( w e a r e t e m p t e d t o s a y : m o t h e r o f a l l w a v e l e t s ! ) , t h e
H a a r w a v e l e t , ( x ) I t i s a s t e p f u n c t i o n t a k i n g v a l u e s 1 a n d - 1 , o n 0
1
2
) a n d
1
2
1 ) ,
r e s p e c t i v e l y . T h e g r a p h o f t h e H a a r w a v e l e t i s g i v e n i n F i g u r e 3 .
T h e H a a r w a v e l e t h a s b e e n k n o w n f o r m o r e t h a n e i g h t y y e a r s a n d h a s b e e n u s e d
i n v a r i o u s m a t h e m a t i c a l e l d s . I t i s k n o w n t h a t a n y c o n t i n u o u s f u n c t i o n c a n b e
a p p r o x i m a t e d u n i f o r m l y b y H a a r f u n c t i o n s . ( B r o w n i a n m o t i o n c a n e v e n b e d e n e d
b y u s i n g t h e H a a r w a v e l e t .
1
) D i l a t i o n s a n d t r a n s l a t i o n s o f t h e f u n c t i o n ,
j k
( x ) = c o n s t ( 2
j
x ; k )
d e n e a n o r t h o g o n a l b a s i s i n L
2
( R ) ( t h e s p a c e o f a l l s q u a r e i n t e g r a b l e f u n c t i o n s ) .
T h i s m e a n s t h a t a n y e l e m e n t i n L
2
( R ) m a y b e r e p r e s e n t e d a s a l i n e a r c o m b i n a t i o n
( p o s s i b l y i n n i t e ) o f t h e s e b a s i s f u n c t i o n s .
T h e o r t h o g o n a l i t y o f
j k
i s e a s y t o c h e c k . I t i s a p p a r e n t t h a t
Z
j k
j k
= 0 ( 1 )
w h e n e v e r j = j
0
a n d k = k
0
i s n o t s a t i s e d s i m u l t a n e o u s l y .
I f j 6= j
0
( s a y j
0
< j ) , t h e n n o n z e r o v a l u e s o f t h e w a v e l e t
j k
a r e c o n t a i n e d i n t h e
s e t w h e r e t h e w a v e l e t
j k
i s c o n s t a n t . T h a t m a k e s i n t e g r a l ( 1 ) e q u a l t o z e r o :
I f j = j
0
, b u t k 6= k
0
, t h e n a t l e a s t o n e f a c t o r i n t h e p r o d u c t
j k
j k
i s z e r o .
T h u s t h e f u n c t i o n s
i j
a r e o r t h o g o n a l .
1
I f
i i d
N ( 0 1 ) a n d S
j k
( t ) =
R
t
0
j k
( x ) d x , t h e n B
t
=
d e f
1
j = 1
2
j
1
k = 0
j k
S
j k
( t ) ( P . L e v y )
-
7/29/2019 Wavelets for Kids A
6/26
2 H O W D O T H E W A V E L E T S W O R K ? 6
x
0.0 0.2 0.4 0.6 0.8 1.0
-1.
0
-0.
5
0.
0
0.
5
1.
0
F i g u r e 3 : H a a r w a v e l e t
T h e c o n s t a n t t h a t m a k e s t h i s o r t h o g o n a l b a s i s o r t h o n o r m a l i s 2
j = 2
I n d e e d , f r o m
t h e d e n i t i o n o f n o r m
2
i n L
2
:
1 = ( c o n s t )
2
Z
2
( 2
j
x ; k ) d x = ( c o n s t )
2
2
; j
Z
2
( t ) d t = ( c o n s t )
2
2
; j
T h e f u n c t i o n s
1 0
1 1
2 0
2 1
2 2
2 3
a r e d e p i c t e d i n F i g u r e 4 . T h e s e t f
j k
j 2
Z k 2 Z g d e n e s a n o r t h o n o r m a l b a s i s f o r L
2
. A l t e r n a t i v e l y w e w i l l c o n s i d e r o r -
t h o n o r m a l b a s e s o f t h e f o r m f
j
0
k
j k
j j
0
k 2 Z g , w h e r e
0 0
i s c a l l e d t h e s c a l i n g
f u n c t i o n a s s o c i a t e d w i t h t h e w a v e l e t b a s i s
j k
. T h e s e t f
j
0
k
k 2 Z g s p a n s t h e s a m e
s u b s p a c e a s f
j k
j < j
0
k 2 Z g . W e w i l l l a t e r m a k e t h i s s t a t e m e n t m o r e f o r m a l a n d
d e n e
j k
. F o r t h e H a a r w a v e l e t b a s i s t h e s c a l i n g f u n c t i o n i s v e r y s i m p l e . I t i s u n i t y
o n t h e i n t e r v a l 0 , 1 ) , i . e .
( x ) = 1 ( 0 x
-
7/29/2019 Wavelets for Kids A
7/26
2 H O W D O T H E W A V E L E T S W O R K ? 7
F i g u r e 4 : D i l a t i o n s a n d t r a n s l a t i o n s o f H a a r w a v e l e t o n 0 , 1 ]
w i t h r e s p e c t t o k i s a l s o n i t e b e c a u s e t h e d o m a i n o f f i s n i t e . I n p a r t i c u l a r , n o
t r a n s l a t i o n s o f t h e s c a l i n g f u n c t i o n
0 0
a r e r e q u i r e d .
W e x t h e d a t a v e c t o r y
~
a n d n d t h e w a v e l e t d e c o m p o s i t i o n ( 2 ) e x p l i c i t l y . L e t
y
~
= ( 1 0 ; 3 2 1 0 1 2 ) . T h e c o r r e s p o n d i n g f u n c t i o n f i s g i v e n i n F i g u r e 5 . T h e
f o l l o w i n g m a t r i x e q u a t i o n g i v e s t h e c o n n e c t i o n b e t w e e n y
~
a n d t h e w a v e l e t c o e c i e n t s .
N o t e t h e c o n s t a n t s 2
j
( 1 ,
p
2 a n d 2 ) w i t h H a a r w a v e l e t s o n t h e c o r r e s p o n d i n g r e s o l u t i o n
l e v e l s ( j = 0 , 1 , a n d 2 ) .
2
6
6
6
6
6
6
6
6
6
6
6
6
6
4
1
0
; 3
2
1
0
1
2
3
7
7
7
7
7
7
7
7
7
7
7
7
7
5
=
2
6
6
6
6
6
6
6
6
6
6
6
6
6
6
4
1 1
p
2 0 2 0 0 0
1 1
p
2 0 ; 2 0 0 0
1 1 ;
p
2 0 0 2 0 0
1 1 ;
p
2 0 0 ; 2 0 0
1 ; 1 0
p
2 0 0 2 0
1 ; 1 0
p
2 0 0 ; 2 0
1 ; 1 0 ;
p
2 0 0 0 2
1 ; 1 0 ;
p
2 0 0 0 ; 2
3
7
7
7
7
7
7
7
7
7
7
7
7
7
7
5
2
6
6
6
6
6
6
6
6
6
6
6
6
6
4
c
0 0
d
0 0
d
1 0
d
1 1
d
2 0
d
2 1
d
2 2
d
2 3
3
7
7
7
7
7
7
7
7
7
7
7
7
7
5
-
7/29/2019 Wavelets for Kids A
8/26
2 H O W D O T H E W A V E L E T S W O R K ? 8
0.2 0.4 0.6 0.8 1.0
-3
-2
-1
0
1
2
F i g u r e 5 : \ D a t a f u n c t i o n " o n 0 , 1 )
T h e s o l u t i o n i s
2
6
6
6
6
6
6
6
6
6
6
6
6
6
4
c
0 0
d
0 0
d
1 0
d
1 1
d
2 0
d
2 1
d
2 2
d
2 3
3
7
7
7
7
7
7
7
7
7
7
7
7
7
5
=
2
6
6
6
6
6
6
6
6
6
6
6
6
6
6
4
1
2
;
1
2
1
2
p
2
;
1
2
p
2
1
4
;
5
4
1
4
;
1
4
3
7
7
7
7
7
7
7
7
7
7
7
7
7
7
5
T h u s ,
f =
1
2
;
1
2
0 0
+
1
2
p
2
1 0
;
1
2
p
2
1 1
+
1
4
2 0
;
5
4
2 1
+
1
4
2 2
;
1
4
2 3
( 3 )
T h e s o l u t i o n i s e a s y t o c h e c k . F o r e x a m p l e , w h e n x 2 0
1
8
)
f ( x ) =
1
2
;
1
2
1 +
1
2
p
2
p
2 +
1
4
2 = 1
T h e r e a d e r m a y a l r e a d y h a v e t h e f o l l o w i n g q u e s t i o n r e a d y : \ W h a t w i l l w e d o f o r
v e c t o r s y
~
o f m u c h b i g g e r l e n g t h ? " O b v i o u s l y , s o l v i n g t h e m a t r i x e q u a t i o n s b e c o m e s
i m p o s s i b l e .
-
7/29/2019 Wavelets for Kids A
9/26
2 H O W D O T H E W A V E L E T S W O R K ? 9
2 . 2 M a l l a t ' s m u l t i r e s o l u t i o n a n a l y s i s , l t e r s , a n d d i r e c t a n d
i n v e r s e w a v e l e t t r a n s f o r m a t i o n
A n o b v i o u s d i s a d v a n t a g e o f t h e H a a r w a v e l e t i s t h a t i t i s n o t c o n t i n u o u s , a n d t h e r e f o r e
c h o i c e o f t h e H a a r b a s i s f o r r e p r e s e n t i n g s m o o t h f u n c t i o n s , f o r e x a m p l e , i s n o t n a t u r a l
a n d e c o n o m i c .
2 . 2 . 1 M a l l a t ' s m r a
A s a m o r e g e n e r a l f r a m e w o r k w e e x p l a i n M a l l a t ' s M u l t i r e s o l u t i o n A n a l y s i s { ( m r a )
T h e m r a i s a t o o l f o r a c o n s t r u c t i v e d e s c r i p t i o n o f d i e r e n t w a v e l e t b a s e s .
W e s t a r t w i t h t h e s p a c e L
2
o f a l l s q u a r e i n t e g r a b l e f u n c t i o n s .
3
T h e m r a i s a n
i n c r e a s i n g s e q u e n c e o f c l o s e d s u b s p a c e s f V
j
g
j 2 Z
w h i c h a p p r o x i m a t e L
2
( R )
E v e r y t h i n g s t a r t s w i t h a c l e v e r c h o i c e o f t h e s c a l i n g f u n c t i o n . E x c e p t f o r t h e
H a a r w a v e l e t b a s i s f o r w h i c h i s t h e c h a r a c t e r i s t i c f u n c t i o n o f t h e i n t e r v a l 0 1 )
t h e s c a l i n g f u n c t i o n i s c h o s e n t o s a t i s f y s o m e c o n t i n u i t y , s m o o t h n e s s a n d t a i l r e q u i r e -
m e n t s . B u t , m o s t i m p o r t a n t l y , t h e f a m i l y f ( x ; k ) k 2 Z g f o r m s a n o r t h o n o r m a l
b a s i s f o r t h e r e f e r e n c e s p a c e V
0
T h e f o l l o w i n g r e l a t i o n s d e s c r i b e t h e a n a l y s i s .
m r a 1 V
; 1
V
0
V
1
T h e s p a c e s V
j
a r e n e s t e d . T h e s p a c e L
2
( R ) i s a c l o s u r e o f t h e u n i o n o f a l l V
j
I n o t h e r
w o r d s ,
j 2 Z
V
j
i s d e n s e i n L
2
( R ) T h e i n t e r s e c t i o n o f a l l V
j
i s e m p t y .
m r a 2 f ( x ) 2 V
j
, f ( 2 x ) 2 V
j + 1
j 2 Z
T h e s p a c e s V
j
a n d V
j + 1
a r e \ s i m i l a r . " I f t h e s p a c e V
j
i s s p a n n e d b y
j k
( x ) k 2 Z t h e n t h e
s p a c e V
j + 1
i s s p a n n e d b y
j + 1 k
( x ) k 2 Z . T h e s p a c e V
j + 1
i s g e n e r a t e d b y t h e f u n c t i o n s
j + 1 k
( x ) =
p
2
j k
( 2 x )
W e n o w e x p l a i n h o w t h e w a v e l e t s e n t e r t h e p i c t u r e . B e c a u s e V
0
V
1
a n y f u n c t i o n
i n V
0
c a n b e w r i t t e n a s a l i n e a r c o m b i n a t i o n o f t h e b a s i s f u n c t i o n s
p
2 ( 2 x ; k ) f r o m
V
1
. I n p a r t i c u l a r :
( x ) =
k
h ( k )
p
2 ( 2 x ; k ) ( 4 )
C o e c i e n t s h ( k ) a r e d e n e d a s h ( x )
p
2 ( 2 x ; k ) i . C o n s i d e r n o w t h e o r t h o g o n a l
c o m p l e m e n t W
j
o f V
j
t o V
j + 1
( i . e . V
j + 1
= V
j
W
j
) . D e n e
( x ) =
p
2
k
( ; 1 )
k
h ( ; k + 1 ) ( 2 x ; k ) ( 5 )
I t c a n b e s h o w n t h a t f
p
2 ( 2 x ; k ) k 2 Z g i s a n o r t h o n o r m a l b a s i s f o r W
1
4
3
A f u n c t i o n f i s i n L
2
( S ) i f
R
S
f
2
i s n i t e .
4
T h i s c a n a l s o b e e x p r e s s e d i n t e r m s o f F o u r i e r t r a n s f o r m a t i o n s a s f o l l o w s : L e t m
0
( ! ) b e t h e
-
7/29/2019 Wavelets for Kids A
10/26
2 H O W D O T H E W A V E L E T S W O R K ? 1 0
A g a i n , t h e s i m i l a r i t y p r o p e r t y o f m r a g i v e s t h a t f 2
j = 2
( 2
j
x ; k ) k 2 Z g i s a
b a s i s f o r W
j
. S i n c e
j 2 Z
V
j
=
j 2 Z
W
j
i s d e n s e i n L
2
( R ) , t h e f a m i l y f
j k
( x ) =
2
j = 2
( 2
j
x ; k ) j 2 Z k 2 Z g i s a b a s i s f o r L
2
( R )
F o r a g i v e n f u n c t i o n f 2 L
2
( R ) o n e c a n n d N s u c h t h a t f
N
2 V
N
a p p r o x i m a t e s
f u p t o p r e a s s i g n e d p r e c i s i o n ( i n t e r m s o f L
2
c l o s e n e s s ) . I f g
i
2 W
i
a n d f
i
2 V
i
, t h e n
f
N
= f
N ; 1
+ g
N ; 1
=
M
i = 1
g
N ; M
+ f
N ; M
( 6 )
E q u a t i o n ( 6 ) i s t h e w a v e l e t d e c o m p o s i t i o n o f f F o r e x a m p l e , t h e d a t a f u n c t i o n ( 2 . 1 )
i s i n V
n
, i f w e u s e t h e m r a c o r r e s p o n d i n g t o t h e H a a r w a v e l e t . N o t e t h a t f f
n
a n d
f
0
= 0
2 . 2 . 2 T h e l a n g u a g e o f s i g n a l p r o c e s s i n g
W e r e p e a t t h e m u l t i r e s o l u t i o n a n a l y s i s s t o r y i n t h e l a n g u a g e o f s i g n a l p r o c e s s i n g
t h e o r y . M a l l a t ' s m u l t i r e s o l u t i o n a n a l y s i s i s c o n n e c t e d w i t h s o c a l l e d \ p y r a m i d a l " a l -
g o r i t h m s i n s i g n a l p r o c e s s i n g . A l s o , \ q u a d r a t u r e m i r r o r l t e r s " a r e h i d d e n i n M a l l a t ' s
m r a
R e c a l l f r o m t h e p r e v i o u s s e c t i o n t h a t
( x ) =
k 2 Z
h ( k )
p
2 ( 2 x ; k ) ( 7 )
a n d
( x ) =
k 2 Z
g ( k )
p
2 ( 2 x ; k ) ( 8 )
T h e l
2
s e q u e n c e s
5
f h ( k ) k 2 Z g a n d f g ( k ) k 2 Z g a r e q u a d r a t u r e m i r r o r l t e r s i n
t h e t e r m i n o l o g y o f s i g n a l a n a l y s i s . T h e c o n n e c t i o n b e t w e e n h a n d g i s g i v e n b y :
g ( n ) = ( ; 1 )
n
h ( 1 ; n )
T h e s e q u e n c e h ( k ) i s k n o w n a s a l o w p a s s o r l o w b a n d l t e r w h i l e g ( k ) i s k n o w n a s
t h e h i g h p a s s o r h i g h b a n d l t e r . T h e f o l l o w i n g p r o p e r t i e s o f h ( n ) g ( n ) c a n b e p r o v e n
b y u s i n g F o u r i e r t r a n s f o r m s a n d o r t h o g o n a l i t y : h ( k ) =
p
2 g ( k ) = 0
T h e m o s t c o m p a c t w a y t o d e s c r i b e t h e M a l l a t ' s m r a a s w e l l t o g i v e e e c t i v e
p r o c e d u r e s o f d e t e r m i n i n g t h e w a v e l e t c o e c i e n t s i s t h e o p e r a t o r r e p r e s e n t a t i o n o f
l t e r s
F o u r i e r t r a n s f o r m a t i o n o f t h e s e q u e n c e h ( n ) n 2 Z , i . e . m
0
( ! ) =
n
h ( n ) e
i n !
I n t h e ' f r e q u e n c y
d o m a i n " t h e r e l a t i o n ( 4 ) i s
^
( ! ) = m
0
(
!
2
)
^
(
!
2
) I f w e d e n e m
1
( ! ) = e
i !
m
0
( ! + ) a n d
^
( 2 ! ) =
m
1
(
!
2
)
^
(
!
2
) t h e n t h e f u n c t i o n c o r r e s p o n d i n g t o
^
i s t h e w a v e l e t a s s o c i a t e d w i t h t h e m r a
5
A s e q u e n c e f a
n
g i s i n t h e H i l b e r t s p a c e l
2
i f
k 2 Z
a
2
k
i s n i t e .
-
7/29/2019 Wavelets for Kids A
11/26
2 H O W D O T H E W A V E L E T S W O R K ? 1 1
F o r a s e q u e n c e a = f a
n
g t h e o p e r a t o r s H a n d G a r e d e n e d b y t h e f o l l o w i n g
c o o r d i n a t e w i s e r e l a t i o n s :
( H a )
k
=
n
h ( n ; 2 k ) a
n
( G a )
k
=
n
g ( n ; 2 k ) a
n
T h e o p e r a t o r s H a n d G c o r r e s p o n d t o o n e s t e p i n t h e w a v e l e t d e c o m p o s i t i o n .
T h e o n l y d i e r e n c e i s t h a t t h e a b o v e d e n i t i o n s d o n o t i n c l u d e t h e
p
2 f a c t o r a s i n
E q u a t i o n s ( 4 ) a n d ( 5 ) .
D e n o t e t h e o r i g i n a l s i g n a l b y c
~
( n )
. I f t h e s i g n a l i s o f l e n g t h 2
n
, t h e n c
~
( n )
c a n b e
r e p r e s e n t e d b y t h e f u n c t i o n f ( x ) = c
~
( n )
k
n k
, f 2 V
n
. A t e a c h s t a g e o f t h e w a v e l e t
t r a n s f o r m a t i o n w e m o v e t o a c o a r s e r a p p r o x i m a t i o n c
~
( j ; 1 )
b y c
~
( j ; 1 )
= H c
~
( j )
a n d
d
~
( j ; 1 )
= G c
~
( j )
. H e r e , d
~
( j ; 1 )
i s t h e \ d e t a i l " l o s t b y a p p r o x i m a t i n g c
~
( j )
b y t h e a v e r a g e d
c
~
( j ; 1 )
. T h e d i s c r e t e w a v e l e t t r a n s f o r m a t i o n o f a s e q u e n c e y
~
= c
~
( n )
o f l e n g t h 2
n
c a n
t h e n b e r e p r e s e n t e d a s a n o t h e r s e q u e n c e o f l e n g t h 2
n
( n o t i c e t h a t t h e s e q u e n c e c
~
( j ; 1 )
h a s h a l f t h e l e n g t h o f c
~
( j )
) :
( d
~
( n ; 1 )
d
~
( n ; 2 )
: : : d
~
( 1 )
d
~
( 0 )
c
~
( 0 )
) ( 9 )
T h u s t h e d i s c r e t e w a v e l e t t r a n s f o r m a t i o n c a n b e s u m m a r i z e d a s a s i n g l e l i n e :
y
~
; ! ( G y
~
G H y
~
G H
2
y
~
: : : G H
n ; 1
y
~
H
n
y
~
)
T h e r e c o n s t r u c t i o n f o r m u l a i s a l s o s i m p l e i n t e r m s o f H a n d G w e r s t d e n e
a d j o i n t o p e r a t o r s H
?
a n d G
?
a s f o l l o w s :
( H
?
a )
n
=
k
h ( n ; 2 k ) a
n
( G
?
a )
n
=
k
g ( n ; 2 k ) a
n
R e c u r s i v e a p p l i c a t i o n l e a d s t o :
( G y
~
G H y
~
G H
2
y
~
: : : G H
j ; 1
y
~
H
j
y
~
) ; ! y
~
=
n ; 1
j = 0
( H
?
)
j
G
?
d
~
( j )
+ ( H
?
)
n
c
~
( 0 )
E q u a t i o n s ( 7 ) a n d ( 8 ) w h i c h g e n e r a t e l t e r c o e c i e n t s ( s o m e t i m e s c a l l e d d i l a t i o n
e q u a t i o n s ) l o o k v e r y s i m p l e f o r t h e H a a r w a v e l e t :
( x ) = ( 2 x ) + ( 2 x ; 1 ) =
1
p
2
p
2 ( 2 x ) +
1
p
2
p
2 ( 2 x ; 1 ) ( 1 0 )
( x ) = ( 2 x ) ; ( 2 x ; 1 ) =
1
p
2
p
2 ( 2 x ) ;
1
p
2
p
2 ( 2 x ; 1 )
T h e l t e r c o e c i e n t s i n ( 1 0 ) a r e
h ( 0 ) = h ( 1 ) =
1
p
2
g ( 0 ) = ; g ( 1 ) =
1
p
2
-
7/29/2019 Wavelets for Kids A
12/26
2 H O W D O T H E W A V E L E T S W O R K ? 1 2
y
~
= c
( 3 )
1 0 - 3 2 1 0 1 2
d
~
( 2 )
1
p
2
;
5
p
2
1
p
2
;
1
p
2
c
~
( 2 )
1
p
2
;
1
p
2
1
p
2
3
p
2
d
~
( 1 )
1 - 1
c
~
( 1 )
0 2
d
~
( 0 )
;
p
2
c
~
( 0 )
p
2
F i g u r e 6 : D e c o m p o s i t i o n p r o c e d u r e
-
7/29/2019 Wavelets for Kids A
13/26
3 T H R E S H O L D I N G M E T H O D S 1 3
F i g u r e 6 s c h e m a t i c a l l y g i v e s t h e d e c o m p o s i t i o n a l g o r i t h m a p p l i e d t o o u r d a t a s e t .
T o g e t t h e w a v e l e t c o e c i e n t s a s i n ( 3 ) w e m u l t i p l y c o m p o n e n t s o f d
~
( j )
j = 0 1 2
a n d c
( 0 )
w i t h t h e f a c t o r 2
; N = 2
S i m p l y ,
d
j k
= 2
; N = 2
d
( j )
k
0 j < N ( = 3 )
I t i s i n t e r e s t i n g t h a t i n t h e H a a r w a v e l e t c a s e 2
; 3 = 2
c
( 0 )
0
= c
0 0
=
1
2
i s t h e m e a n o f
t h e s a m p l e y
~
F i g u r e 7 s c h e m a t i c a l l y g i v e s t h e r e c o n s t r u c t i o n a l g o r i t h m f o r o u r e x a m p l e .
T h e c a r e f u l r e a d e r m i g h t h a v e a l r e a d y n o t i c e d t h a t w h e n t h e l e n g t h o f t h e l t e r
i s l a r g e r t h a n 2 , b o u n d a r y p r o b l e m s o c c u r . ( T h e r e a r e n o b o u n d a r y p r o b l e m s w i t h
t h e H a a r w a v e l e t ! ) T h e r e a r e t w o m a i n w a y s t o h a n d l e t h e b o u n d a r i e s : s y m m e t r i c
a n d p e r i o d i c
W e s h o u l d r e m a r k t h a t s o m e p r o b l e m s c a l l f o r u s e o f c o n t i n u o u s w a v e l e t t r a n s -
f o r m s
3 T h r e s h o l d i n g m e t h o d s
I n w a v e l e t d e c o m p o s i t i o n t h e l t e r H i s a n \ a v e r a g i n g " l t e r w h i l e i t s m i r r o r c o u n -
t e r p a r t G p r o d u c e s d e t a i l s . T h e w a v e l e t c o e c i e n t s c o r r e s p o n d t o d e t a i l s . W h e n
d e t a i l s a r e s m a l l , t h e y m i g h t b e o m i t t e d w i t h o u t s u b s t a n t i a l l y a e c t i n g t h e \ g e n e r a l
p i c t u r e . " T h u s t h e i d e a o f t h r e s h o l d i n g w a v e l e t c o e c i e n t s i s a w a y o f c l e a n i n g
o u t \ u n i m p o r t a n t " d e t a i l s c o n s i d e r e d t o b e n o i s e . W e i l l u s t r a t e t h e i d e a o n o u r o l d
f r i e n d , t h e d a t a v e c t o r ( 1 0 ; 3 2 1 0 1 2 )
E x a m p l e : T h e d a t a v e c t o r ( 1 0 ; 3 2 1 0 1 2 ) i s t r a n s f o r m e d i n t o t h e v e c t o r
(
1
p
2
;
5
p
2
1
p
2
;
1
p
2
1 ; 1 ;
p
2
p
2 )
I f a l l c o e c i e n t s l e s s t h a n 0 . 9 ( w e l l , o u r c h o i c e ) a r e r e p l a c e d b y z e r o e s , t h e n t h e
r e s u l t i n g ( \ t h r e s h o l d e d " ) v e c t o r i s ( 0 ;
5
p
2
0 0 1 ; 1 ;
p
2
p
2 )
T h e g r a p h o f \ s m o o t h e d d a t a " , a f t e r r e c o n s t r u c t i o n , i s g i v e n i n F i g u r e 8 .
W a v e l e t t h r e s h o l d i n g h a s i m p o r t a n t a p p l i c a t i o n s i n s t a t i s t i c s . D o n o h o a n d J o h n -
s t o n e ( 1 9 9 3 ) d i s c u s s a n a p p l i c a t i o n t o a n o n p a r a m e t r i c r e g r e s s i o n p r o b l e m . A s -
s u m e w e o b s e r v e s o m e u n k n o w n f u n c t i o n f w i t h G a u s s i a n n o i s e : y
i
= f ( t
i
) +
i
,
i = 1 : : : n a n d
i
N ( 0 1 ) . T h e g o a l i s t o e s t i m a t e t h e u n k n o w n f u n c t i o n f
-
7/29/2019 Wavelets for Kids A
14/26
3 T H R E S H O L D I N G M E T H O D S 1 4
c
~
( 0 )
p
2
H
?
1 1
d
~
( 0 )
-
p
2
G
?
- 1 1
0 2
9
c
~
( 1 )
0 2
H
?
0 0
2
p
2
2
p
2
d
~
( 1 )
1 - 1
G
?
1
p
2
-
1
p
2
-
1
p
2
1
p
2
1
p
2
-
1
p
2
1
p
2
3
p
2
9
c
~
( 2 )
1
p
2
-
1
p
2
1
p
2
3
p
2
H
?
1
2
1
2
;
1
2
-
1
2
1
2
1
2
3
2
3
2
d
~
( 2 )
1
p
2
-
5
p
2
1
p
2
-
1
p
2
G
?
1
2
-
1
2
-
5
2
5
2
1
2
-
1
2
1
2
1
2
1 0 - 3 2 1 0 1 2
F i g u r e 7 : R e c o n s t r u c t i o n e x a m p l e
-
7/29/2019 Wavelets for Kids A
15/26
3 T H R E S H O L D I N G M E T H O D S 1 5
0.0 0.2 0.4 0.6 0.8 1.0
-3
-2
-1
0
1
2
F i g u r e 8 : \ S m o o t h e d " s e q u e n c e
D o n o h o a n d J o h n s t o n e p r o p o s e t o s t a r t w i t h a w a v e l e t d e c o m p o s i t i o n o f t h e d a t a s e t ,
t h r e s h o l d t h e c o e c i e n t s , a n d t h e n u s e t h e w a v e l e t r e c o n s t r u c t i o n a s a n e s t i m a t e
^
f
W h e n u s i n g t h e t h r e s h o l d i n g r u l e
^
d
j k
= s i g n ( d
j k
) ( d
j k
; )
+
w i t h =
p
2 l o g n =
p
n ,
t h e e s t i m a t e
^
f c a n b e s h o w n t o h a v e r i s k R (
^
f f ) w i t h i n a f a c t o r 2 l o g n o f t h e m i n i -
m u m r i s k w h e n u s i n g t h e ( o f c o u r s e u n k n o w n ) o p t i m a l t h r e s h o l d i n g r u l e . H e r e R i s
g i v e n b y R (
^
f f ) = E ( (
^
f ( t
i
) ; f ( t
i
) )
2
= n . D o n o h o a n d J o h n s t o n e ( 1 9 9 3 ) s h o w t h a t
t h e ( i n t e r p o l a t e d ) f u n c t i o n e s t i m a t e
^
f i s , w i t h p r o b a b i l i t y t e n d i n g t o 1 ( a s n ! 1 ) ,
a t l e a s t a s s m o o t h a s f
A n o t h e r i n t e r e s t i n g a p p l i c a t i o n o f w a v e l e t t h r e s h o l d i n g a r i s e s i n d e n s i t y e s t i m a -
t i o n . A s s u m e X
1
: : : X
n
a r e i . i . d . o b s e r v a t i o n s f r o m a n u n k n o w n p r o b a b i l i t y d e n s i t y
f u n c t i o n f ( x ) . D o n o h o , J o h n s t o n e , K e r k y a c h a r i a n , a n d P i c a r d ( 1 9 9 3 ) d e n e a n o n -
l i n e a r d e n s i t y e s t i m a t e b y t h r e s h o l d i n g t h e c o e c i e n t i n t h e w a v e l e t d e c o m p o s i t i o n
o f t h e e m p i r i c a l p . d . f .
I f t h e u n k n o w n d e n s i t y i s e s t i m a t e d b y
^
f ( x ) =
j k
^
d
j k
j k
( x )
t h e n d u e t o o r t h o n o r m a l i t y o f
j k
s , t h e s a m p l e e s t i m a t o r o f d
j k
i s
^
d
j k
=
1
n
j k
( X
i
)
T h r e s h o l d i n g i n t h i s p r o b l e m r e m i n d s u s o f w e l l k n o w n p r o c e d u r e s i n d e n s i t y
e s t i m a t i o n b y o r t h o g o n a l s e r i e s : s h r i n k i n g a n d t a p e r i n g .
I n t h e n e x t s u b s e c t i o n w e w i l l g i v e a b r i e f t o u r t h r o u g h s o m e t h r e s h o l d i n g p o l i c i e s .
-
7/29/2019 Wavelets for Kids A
16/26
3 T H R E S H O L D I N G M E T H O D S 1 6
3 . 1 D i e r e n t t h r e s h o l d i n g p o l i c i e s
3 . 1 . 1 H a r d t h r e s h o l d i n g
T h e p o l i c y f o r h a r d t h r e s h o l d i n g i s k e e p o r k i l l . T h e a b s o l u t e v a l u e s o f a l l w a v e l e t
c o e c i e n t s a r e c o m p a r e d t o a x e d t h r e s h o l d I f t h e m a g n i t u d e o f t h e c o e c i e n t i s
l e s s t h a n , t h e c o e c i e n t i s r e p l a c e d b y z e r o :
d
h a r d
j k
=
(
0 d
j k
<
d
j k
d
j k
T h e f u n c t i o n p e r f o r m i n g h a r d t h r e s h o l d i n g i s g i v e n i n F i g u r e 9 a .
x
y
-3 -2 -1 0 1 2 3
-3
-2
-1
0
1
2
3
x
z
-3 -2 -1 0 1 2 3
-2
-1
0
1
2
F i g u r e 9 : H a r d a n d s o f t t h r e s h o l d i n g w i t h = 1
H a r d t h r e s h o l d i n g i s u s e d w h e n o n e i s i n t e r e s t e d i n t h e s h o r t e s t p o s s i b l e w a v e l e t
c o d e . L o n g s e q u e n c e s o f z e r o e s t h a t a r e u s u a l l y o b t a i n e d i n t h r e s h o l d e d w a v e l e t
d e c o m p o s i t i o n v e c t o r a r e c o d e d i n a n e c i e n t w a y .
3 . 1 . 2 S o f t t h r e s h o l d i n g
S o f t t h r e s h o l d i n g s h r i n k s a l l t h e c o e c i e n t s t o w a r d s t h e o r i g i n . T h e f o r m u l a i s
d
s o f t
j k
= s i g n ( d
j k
) ( d
j k
; )
+
( 1 1 )
T h e g r a p h o f t h e f u n c t i o n p e r f o r m i n g t h e s o f t t h r e s h o l d i n g i s g i v e n i n F i g u r e 9 b .
-
7/29/2019 Wavelets for Kids A
17/26
4 E X A M P L E : C A L I F O R N I A E A R T H Q U A K E S 1 7
3 . 1 . 3 Q u a n t i l e t h r e s h o l d i n g
L e t t h e r u l e f o r t h r e s h o l d i n g b e g i v e n a s
d
q u a n t
j k
=
(
0 d
j k
< p
d
j k
d
j k
p
w h e r e p i s a p - q u a n t i l e o f t h e s e t o f a l l w a v e l e t c o e c i e n t s . F o r e x a m p l e , w e m i g h t
w a n t t o r e p l a c e 3 0 % o f t h e s m a l l e s t w a v e l e t c o e c i e n t s b y z e r o .
3 . 1 . 4 U n i v e r s a l t h r e s h o l d i n g
D o n o h o a n d J o h n s t o n e ( 1 9 9 2 ) p r o p o s e t o u s e t h e t h r e s h o l d =
q
2 l o g ( n ) =
p
n o n
t r a n s f o r m e d d a t a s e t
y
n
, w h e r e n i s t h e s a m p l e s i z e , a n d i s t h e s c a l e o f t h e n o i s e o n
a s t a n d a r d d e v i a t i o n s c a l e . U n i v e r s a l t h r e s h o l d i n g c a n b e h a r d o r s o f t t h r e s h o l d i n g
w i t h t h e a b o v e d e n e d a s t h r e s h o l d .
4 E x a m p l e : C a l i f o r n i a e a r t h q u a k e s
A r e s e a r c h e r i n g e o l o g y w a s i n t e r e s t e d i n p r e d i c t i n g e a r t h q u a k e s b y t h e l e v e l o f w a t e r
i n n e a r b y w e l l s . S h e h a d a l a r g e ( 8 1 9 2 = 2
1 3
m e a s u r e m e n t s ) d a t a s e t o f w a t e r l e v e l s
t a k e n e v e r y h o u r i n a p e r i o d o f t i m e o f a b o u t o n e y e a r i n a C a l i f o r n i a w e l l . H e r e i s
t h e d e s c r i p t i o n o f t h e p r o b l e m .
T h e a b i l i t y o f w a t e r w e l l s t o a c t a s s t r a i n m e t e r s h a s b e e n o b s e r v e d f o r c e n t u r i e s .
T h e C h i n e s e , f o r e x a m p l e , h a v e r e c o r d s o f w a t e r o w i n g f r o m w e l l s p r i o r t o
e a r t h q u a k e s . L a b s t u d i e s i n d i c a t e t h a t a s e i s m i c s l i p o c c u r s a l o n g a f a u l t p r i o r
t o r u p t u r e . R e c e n t w o r k h a s a t t e m p t e d t o q u a n t i f y t h i s r e s p o n s e , i n a n e o r t
t o u s e w a t e r w e l l s a s s e n s i t i v e i n d i c a t o r s o f v o l u m e t r i c s t r a i n . I f t h i s i s p o s s i b l e ,
w a t e r w e l l s c o u l d a i d i n e a r t h q u a k e p r e d i c t i o n b y s e n s i n g p r e c u r s o r y e a r t h q u a k e
s t r a i n .
W e h a v e w a t e r l e v e l r e c o r d s f r o m s i x w e l l s i n s o u t h e r n C a l i f o r n i a , c o l l e c t e d o v e r
a s i x y e a r t i m e s p a n . A t l e a s t 1 3 m o d e r a t e s i z e e a r t h q u a k e s ( M a g n i t u d e 4 . 0 -
6 . 0 ) o c c u r r e d i n c l o s e p r o x i m i t y t o t h e w e l l s d u r i n g t h i s t i m e i n t e r v a l . T h e r e i s a
a s i g n i c a n t a m o u n t o f n o i s e i n t h e w a t e r l e v e l r e c o r d w h i c h m u s t r s t b e l t e r e d
o u t . E n v i r o n m e n t a l f a c t o r s s u c h a s e a r t h t i d e s a n d a t m o s p h e r i c p r e s s u r e c r e a t e
n o i s e w i t h f r e q u e n c i e s r a n g i n g f r o m s e a s o n a l t o s e m i d i u r n a l . T h e a m o u n t o f
r a i n f a l l a l s o a e c t s t h e w a t e r l e v e l , a s d o s u r f a c e l o a d i n g , p u m p i n g , r e c h a r g e
( s u c h a s a n i n c r e a s e i n w a t e r l e v e l d u e t o i r r i g a t i o n ) , a n d s o n i c b o o m s , t o n a m e
a f e w . O n c e t h e n o i s e i s s u b t r a c t e d f r o m t h e s i g n a l , t h e r e c o r d c a n b e a n a l y z e d
f o r c h a n g e s i n w a t e r l e v e l , e i t h e r a n i n c r e a s e o r a d e c r e a s e d e p e n d i n g u p o n
w h e t h e r t h e a q u i f e r i s e x p e r i e n c i n g a t e n s i l e o r c o m p r e s s i o n a l v o l u m e s t r a i n ,
j u s t p r i o r t o a n e a r t h q u a k e
-
7/29/2019 Wavelets for Kids A
18/26
-
7/29/2019 Wavelets for Kids A
19/26
5 W A V E L E T I M A G E P R O C E S S I N G 1 9
w h i t e ) i m a g e c a n b e a p p r o x i m a t e d b y a m a t r i x A i n w h i c h t h e e n t r i e s a
i j
c o r r e s p o n d
t o i n t e n s i t i e s o f g r a y i n t h e p i x e l ( i j ) . F o r r e a s o n s t h a t w i l l b e o b v i o u s l a t e r , i t i s
a s s u m e d t h a t A i s t h e s q u a r e m a t r i x o f d i m e n s i o n 2
n
2
n
n i n t e g e r .
T h e p r o c e s s o f t h e i m a g e w a v e l e t d e c o m p o s i t i o n g o e s a s f o l l o w s . O n t h e r o w s o f t h e
m a t r i x A t h e l t e r s H a n d G a r e a p p l i e d . T w o r e s u l t i n g m a t r i c e s a r e o b t a i n e d : H
r
A
a n d G
r
A , b o t h o f d i m e n s i o n 2
n
2
n ; 1
( S u b s c r i p t r s u g g e s t t h a t t h e l t e r s a r e a p p l i e d
o n r o w s o f t h e m a t r i x A ) . N o w o n t h e c o l u m n s o f m a t r i c e s H
r
A a n d G
r
A , l t e r s H
a n d G a r e a p p l i e d a g a i n a n d t h e f o u r r e s u l t i n g m a t r i c e s H
c
H
r
A G
c
H
r
A H
c
G
r
A a n d
G
c
G
r
A o f d i m e n s i o n 2
n ; 1
2
n ; 1
a r e o b t a i n e d . T h e m a t r i x H
c
H
r
A i s t h e a v e r a g e ,
w h i l e t h e m a t r i c e s G
c
H
r
A H
c
G
r
A a n d G
c
G
r
A a r e d e t a i l s ( F i g u r e 1 1 )
A
G
r
A H
r
A
G
c
G
r
A G
c
H
r
A
H
c
G
r
A H
c
H
r
A
F i g u r e 1 1 : I m a g e w a v e l e t d e c o m p o s i t i o n
-
7/29/2019 Wavelets for Kids A
20/26
6 C A N Y O U D O W A V E L E T S ? 2 0
T h e p r o c e s s c o n t i n u e s w i t h t h e a v e r a g e m a t r i x H
c
H
r
A u n t i l a s i n g l e n u m b e r ( a v -
e r a g e o f t h e w h o l e o r i g i n a l m a t r i x A ) i s o b t a i n e d . T w o e x a m p l e s a r e g i v e n b e l o w .
E x a m p l e 1 .
T h i s e x a m p l e i s b o r r o w e d f r o m N a s o n a n d S i l v e r m a n ( 1 9 9 3 ) . T h e t o p l e f t p a n e l
i n F i g u r e 1 2 i s 2 5 6 2 5 6 b l a c k a n d w h i t e i m a g e o f J o h n L e n n o n i n 0 - 2 5 5 g r a y s c a l e .
I n t h e t o p - r i g h t g u r e e a c h p i x e l i s c o n t a m i n a t e d b y n o r m a l N ( 0 6 0 ) n o i s e . ( I n
S p l u s : l e l e n n o n + r n o r m ( 2 5 6 * 2 5 6 , s = 6 0 ) w h e r e l e n n o n i s t h e p i x e l m a t r i x o f
t h e o r i g i n a l i m a g e . )
T h e t w o b o t t o m g u r e s a r e r e s t o r e d i m a g e s . T h e D A U B # 4 l t e r w a s u s e d f o r
t h e r s t g u r e , w h i l e D A U B # 1 0 w a s u s e d f o r t h e s e c o n d .
T h o u g h t h e q u a l i t y o f t h e r e s t o r e d i m a g e s m a y b e c r i t i c i z e d , t h e s t u n n i n g p r o p e r t y
o f w a v e l e t i m a g e a n a l y s i s s h o w s u p i n t h i s e x a m p l e . B o t h r e s t o r e d i m a g e s u s e o n l y
a b o u t 1 . 8 % o f t h e i n f o r m a t i o n c o n t a i n e d i n t h e \ b l u r r e d " i m a g e . T h e c o m p r e s s i o n
r a t e i s a m a z i n g : 5 2 7 1 2 0 b i t e s g o t o 9 6 9 5 b i t e s a f t e r t h e u n i v e r s a l t h r e s h o l d i n g .
E x a m p l e 2 .
T h i s i s a n a d a p t a t i o n o f t h e d a t a s e t o f J . S c h m e r t , U n i v e r s i t y o f W a s h i n g t o n . T h e
w o r d v e w a s r e c o r d e d a n d e a c h c o l u m n o n t h e t o p - r i g h t g u r e r e p r e s e n t s a p e r i -
o d o g r a m o v e r a s h o r t p e r i o d o f t i m e ( a d j a c e n t c o l u m n s h a v e h a l f o f t h e i r o b s e r v a t i o n s
i n c o m m o n ) . T h e r o w s r e p r e s e n t t i m e . T h e o r i g i n a l 9 2 6 4 m a t r i x w a s c u t t o 6 4
6 4 m a t r i x f o r o b v i o u s r e a s o n s . A f t e r p e r f o r m i n g h a r d t h r e s h o l d i n g w i t h = 0 2 5 ,
a c o m p r e s s i o n r a t i o o f 1 : 2 i s a c h i e v e d . T h e c o m p r e s s e d g u r e s a r e s h o w n i n t h e t w o
b o t t o m p a n e l s o f F i g u r e 1 3 .
6 C a n y o u d o w a v e l e t s ?
Y e s , y o u c a n ! T h e r e a r e s e v e r a l s e v e r a l p a c k a g e s t h a t s u p p o r t w a v e l e t c a l c u l a -
t i o n s . T h e b e s t ( n o n c o m m e r c i a l ) p a c k a g e i n o u r o p i n i o n i s N a s o n a n d S i l v e r m a n ' s :
T h e D i s c r e t e W a v e l e t T r a n s f o r m i n S . T h e m a n u a l 1 4 ] d e s c r i b e s i n s t a l l a t i o n a n d
u s e o f t h e s o f t w a r e i s i n s t a l l e d a n d u s e d . T h e s o f t w a r e i t s e l f c a n b e f t p e d
6
f r o m
l i b . s t a t . c m u . e d u o r h e n s a . u n i x . a c . u k . T h e n a m e o f t h e p a c k a g e i s w a v e t h r e s h
C a r l T a s w e l l ( t a s w e l l @ s c c m . s t a n f o r d . e d u ) d e v e l o p e d W a v e l e t T o o l b o x f o r M a t h -
l a b . T h e l a t e s t v e r s i o n i s W a v B o x 4 . 0 a n d t h e s o f t w a r e h a s t o b e r e g i s t e r e d w i t h t h e
a u t h o r .
T h e r e a r e s e v e r a l m a t h e m a t i c a n o t e b o o k s o n w a v e l e t c o m p u t a t i o n s . W i c k e r -
h a u s e r , C o h e n , ( j k c @ k e l l e r . m i n e s . c o l o r a d o . e d u ) , m a d e t h e i r s a v a i l a b l e t o t h e
p u b l i c .
T o u n d e r s t a n d h o w t h e w a v e l e t s w o r k , w e r e i n v e n t e d t h e w h e e l a n d d e v e l o p e d
m a t h e m a t i c a s o f t w a r e f o r d i r e c t a n d i n v e r s e w a v e l e t t r a n s f o r m a t i o n a n d t h r e s h -
o l d i n g a n d a p p l i e d i t t o s o m e e x e m p l a r y d a t a s e t s . T h e a l g o r i t h m s a r e f a r f r o m
6
A n e w v e r b , h a !
-
7/29/2019 Wavelets for Kids A
21/26
6 C A N Y O U D O W A V E L E T S ? 2 1
0 50 100 150 200 250
0
50
100
150
200
250
0 50 100 150 200 250
0
50
100
150
200
250
0 50 100 150 200 250
0
50
100
150
200
250
0 50 100 150 200 250
0
50
100
150
200
250
F i g u r e 1 2 : W a v e l e t i m a g e r e s t o r a t i o n e x a m p l e
-
7/29/2019 Wavelets for Kids A
22/26
6 C A N Y O U D O W A V E L E T S ? 2 2
0 10 20 30 40 50 60
0
10
20
30
40
50
60
1020
3040
5060
X10
20
30
40
50
60
Y
0
1
2
3
4
5
Z
0 10 20 30 40 50 60
0
10
20
30
40
50
60
1020
3040
5060
X10
20
30
40
50
60
Y
0
1
2
3
4
5
Z
F i g u r e 1 3 : W o r d F I V E d a t a . T h e p a n e l s i n t h e r s t r o w s h o w t o t h e o r i g i n a l d a t a .
T h e b o t t o m p a n e l s s h o w t h e s i g n a l a f t e r t h r e s h o l d i n g .
-
7/29/2019 Wavelets for Kids A
23/26
R E F E R E N C E S 2 3
b e i n g e e c t i v e r a t h e r t h e y a r e e d u c a t i o n a l . m a t h e m a t i c a n o t e b o o k i s g i v e n i n t h e
a p p e n d i x .
R e f e r e n c e s
1 ] B a r r y A . C . ( 1 9 9 3 ) . W a v e l e t a p p l i c a t i o n s c o m e t o t h e f o r e , S I A M N e w s , N o v e m -
b e r 1 9 9 3 .
2 ] C o i f m a n , R . , M e y e r , Y . , a n d W i c k e r h a u s e r , V . ( 1 9 9 1 ) W a v e l e t a n a l y s i s a n d s i g n a l
p r o c e s s i n g . I n : W a v e l e t s a n d T h e i r A p p l i c a t i o n s , E d i t e d b y M a r y B e t h R u s k a i ,
J o n e s a n d B a r t l e t P u b l i s h e r s .
3 ] D a u b e c h i e s , I . ( 1 9 8 8 ) , O r t h o n o r m a l b a s e s o f c o m p a c t l y s u p p o r t e d w a v e l e t s . C o m -
m u n . P u r e A p p l . M a t h . , 4 1 ( 7 ) , 9 0 9 - 9 9 6 .
4 ] D a u b e c h i e s , I . ( 1 9 9 2 ) , T e n L e c t u r e s o n W a v e l e t s , S o c i e t y f o r I n d u s t r i a l a n d A p -
p l i e d M a t h e m a t i c s .
5 ] D e V o r e , R . a n d L u c i e r , B . J . ( 1 9 9 1 ) W a v e l e t s . A c t a N u m e r i c a 1 1 - 5 6 .
6 ] D o n o h o , D . ( 1 9 9 2 ) . W a v e l e t s h r i n k a g e a n d W V D : A 1 0 - m i n u t e t o u r . P r e s e n t e d
o n t h e I n t e r n a t i o n a l C o n f e r e n c e o n W a v e l e t s a n d A p p l i c a t i o n s , T o l o u s e , F r a n c e ,
J u n e 1 9 9 2 .
7 ] D o n o h o , D . , J o h n s t o n e , I . , K e r k y a c h a r i a n , G , a n d P i c a r d , D . ( 1 9 9 3 ) . D e n s i t y
e s t i m a t i o n b y w a v e l e t t h r e s h o l d i n g . T e c h n i c a l R e p o r t , D e p a r t m e n t o f S t a t i s t i c s ,
S t a n f o r d U n i v e r s i t y .
8 ] D o n o h o , D . , J o h n s t o n e , I . , K e r k y a c h a r i a n , G , a n d P i c a r d , D . ( 1 9 9 3 ) . W a v e l e t
s h r i n k a g e : A s y m p t o p i a ? T e c h n i c a l R e p o r t , D e p a r t m e n t o f S t a t i s t i c s , S t a n f o r d
U n i v e r s i t y .
9 ] D o n o h o D . , a n d J o h n s t o n e , I . ( 1 9 9 3 ) . A d a p t i n g t o u n k n o w n s m o o t h n e s s v i a
w a v e l e t s h r i n k a g e . T e c h n i c a l R e p o r t , D e p a r t m e n t o f S t a t i s t i c s , S t a n f o r d U n i v e r -
s i t y .
1 0 ] D o n o h o , D . a n d J o h n s t o n e , I . ( 1 9 9 2 ) . M i n i m a x e s t i m a t i o n v i a w a v e l e t s h r i n k a g e .
T e c h n i c a l R e p o r t , D e p a r t m e n t o f S t a t i s t i c s , S t a n f o r d U n i v e r s i t y .
1 1 ] G r o s s m a n n , A . a n d M o r l e t , J . ( 1 9 8 4 ) . D e c o m p o s i t i o n o f H a r d y f u n c t i o n s i n t o
s q u a r e i n t e g r a b l e w a v e l e t s o f c o n s t a n t s h a p e . S I A M J . M a t h . , 1 5 , 7 2 3 - 7 3 6 .
1 2 ] J o h n s t o n e , I . ( 1 9 9 3 ) . M i n i m a x - B a y e s , a s y m p t o t i c m i n i m a x a n d s p a r s e w a v e l e t
p r i o r s . T e c h n i c a l R e p o r t , D e p a r t m e n t o f S t a t i s t i c s , S t a n f o r d U n i v e r s i t y .
-
7/29/2019 Wavelets for Kids A
24/26
7 A P P E N D I X 2 4
1 3 ] M a l l a t , S . G . ( 1 9 8 9 ) , A t h e o r y f o r m u l t i r e s o l u t i o n s i g n a l d e c o m p o s i t i o n : t h e
w a v e l e t r e p r e s e n t a t i o n . I E E E T r a n s a c t i o n s o n P a t t e r n A n a l y s i s a n d M a c h i n e
I n t e l l i g e n c e , 1 1 ( 7 ) , 6 7 4 - 6 9 3 .
1 4 ] N a s o n , G . P . a n d S i l v e r m a n B . W . ( 1 9 9 3 ) . T h e d i s c r e t e w a v e l e t t r a n s f o r m i n S ,
S t a t i s t i c s R e s e a r c h R e p o r t 9 3 : 0 7 , U n i v e r s i t y o f B a t h , B a t h , B A 2 7 A Y , U K .
1 5 ] P r e s s W . H . , F l a n n e r y , B . P . , T e u k o l s k y , S . A . , a n d V e t t e r l i n g , W . T . ( 1 9 9 3 ) .
N u m e r i c a l R e c i p e s i n C . S e c o n d E d i t i o n , C a m b r i d g e U n i v e r s i t y P r e s s .
1 6 ] S t r e n g , G . ( 1 9 9 3 ) . W a v e l e t t r a n s f o r m s v e r s u s F o u r i e r t r a n s f o r m s , B A M S , 2 8 ,
2 8 8 - 3 0 5 .
1 7 ] W a n g , Z . ( 1 9 9 3 ) . E s t i m a t i n g a H o l d e r C o n t i n u o u s F u n c t i o n f r o m a N o i s y S a m p l e
v i a S h r i n k a g e a n d T r u n c a t i o n o f W a v e l e t C o e c i e n t s . T e c h n i c a l R e p o r t 9 3 - 9 ,
P u r d u e U n i v e r s i t y , D e p a r t m e n t o f S t a t i s t i c s .
1 8 ] W a v e l e t s a n d T h e i r A p p l i c a t i o n s , E d i t e d b y M a r y B e t h R u s k a i , J o n e s a n d
B a r t l e t t P u b l i s h e r s . ( 1 9 9 1 ) .
1 9 ] W a v e l e t s : A T u t o r i a l i n T h e o r y a n d A p p l i c a t i o n s , E d i t e d b y C h a r l e s K . C h u i ,
A c a d e m i c P r e s s , I n c . ( 1 9 9 2 )
7 A p p e n d i x
B e g i n P a c k a g e " W a v e s ` " ]
( * A u t h o r : B r a n i V i d a k o v i c , I S D S , D u k e U n i v e r s i t y
F u n c t i o n s D e c a n d C o m p a r e b a s e d o n M . V . W i c k e r h a u s e r ' s
m a t h e m a t i c a p r o g r a m * )
M i r r o r : : u s a g e = " M i r r o r _ f i l t e r _ ] g i v e s t h e m i r r o r \
f i l t e r f o r t h e i n p u t _ f i l t e r _ . T h i s i s a n a d j o i n t \
o p e r a t o r H * o f t h e o p e r a t o r H c o r r e s p o n d i n g t o _ f i l t e r _ . "
W T : : u s a g e = " W T _ v e c t o r _ , _ f i l t e r _ ] p e r f o r m s t h e d i r e c t \
w a v e l e t t r a n s f o r m a t i o n o f t h e d a t a v e c t o r _ v e c t o r _ . \
T h e w a v e l e t b a s e i s c h o s e n b y _ f i l t e r _ . T h e l e n g t h \
o f t h e v e c t o r _ v e c t o r _ h a s t o b e a d e g r e e o f 2 . "
W R : : u s a g e = " W R _ v e c t o r _ , _ f i l t e r _ ] g i v e s t h e w a v e l e t \
r e c o n s t r u c t i o n a l g o r i t h m . F r o m t h e s e t o f w a v e l e t \
c o e f f i c i e n t s _ v e c t o r _ t h e d a t a s e t i s r e c o n s t r u c t e d . \
T h e w a v e l e t b a s e i s c h o s e n b y _ f i l t e r _ . "
-
7/29/2019 Wavelets for Kids A
25/26
7 A P P E N D I X 2 5
D e c : : u s a g e = " A n a u x i l i a r y f u n c t i o n n e e d e d f o r t h e \
d i r e c t w a v e l e t t r a n s f o r m a t i o n . S e e W T . "
C o m p : : u s a g e = " A n a u x i l i a r y f u n c t i o n n e e d e d f o r t h e \
i n v e r s e w a v e l e t t r a n s f o r m a t i o n ( w a v e l e t r e c o n s t r u c t i o n \
a l g o r i t h m ) . S e e W R . "
B e g i n " ` P r i v a t e ` " ]
M i r r o r f i l t e r _ L i s t ] : = M o d u l e { f l = L e n g t h f i l t e r ] } ,
T a b l e - ( - 1 ) ^ i f i l t e r f l + 1 - i ] ] , { i , 1 , f l } ] ]
D e c v e c t o r _ L i s t , f i l t e r _ L i s t ] : = M o d u l e
{ v l = L e n g t h v e c t o r ] , f l = L e n g t h f i l t e r ] } ,
T a b l e
S u m f i l t e r m ] ] v e c t o r M o d 2 k + m - 3 , v l ] + 1 ] ] ,
{ m , 1 , f l } ] ,
{ k , 1 , v l / 2 } ]
]
C o m p v e c t o r _ L i s t , f i l t e r _ L i s t ] : = M o d u l e
{ t e m p = T a b l e 0 , { i , 1 , 2 L e n g t h v e c t o r ] } ] ,
v l = L e n g t h v e c t o r ] , f l = L e n g t h f i l t e r ] } ,
D o t e m p M o d 2 j + i - 3 , 2 v l ] + 1 ] ] + =
v e c t o r j ] ] f i l t e r i ] ] ,
{ j , 1 , v l } , { i , 1 , f l } ]
t e m p ]
W T v e c t o r _ L i s t , f i l t e r _ L i s t ] : =
M o d u l e { w a v = { } , c , d , v e = v e c t o r , H = f i l t e r ,
G = M i r r o r f i l t e r ] } ,
W h i l e L e n g t h v e ] > 1 ,
l e v = L o g 2 , L e n g t h v e ] ] - 1
c = D e c v e , H ]
d = D e c v e , G ]
w a v = J o i n w a v , d ]
v e = c ] J o i n w a v , c ] ]
-
7/29/2019 Wavelets for Kids A
26/26
7 A P P E N D I X 2 6
W R v e c t o r _ L i s t , f i l t e r _ L i s t ] : =
M o d u l e { i = 1 , v l = L e n g t h v e c t o r ] , c = T a k e v e c t o r , - 1 ] ,
d = T a k e R o t a t e R i g h t v e c t o r , 1 ] , - 1 ] ,
m i r r o r f = M i r r o r f i l t e r ] , c n , d n , k = 1 } ,
W h i l e i < = v l / 2 ,
k + = i
i = 2 i
c n = C o m p c , f i l t e r ] + C o m p d , m i r r o r f ]
d n = T a k e R o t a t e R i g h t v e c t o r , k ] , - i ]
c = c n
d = d n
]
c ]
E n d ]
E n d P a c k a g e ]
I n s t i t u t e o f S t a t i s t i c s
a n d D e c i s i o n S c i e n c e s
D u k e U n i v e r s i t y
D u r h a m , N C 2 7 7 0 8 - 0 2 5 1
b r a n i @ i s d s . d u k e . e d u
p m @ i s d s . d u k e . e d u