Download - Fp Growth Presentation v1 (Handout)
8/8/2019 Fp Growth Presentation v1 (Handout)
http://slidepdf.com/reader/full/fp-growth-presentation-v1-handout 1/10
F r e q u e n t P a t t e r n G r o w t h ( F P - G r o w t h ) A l g o r i t h m
A n I n t r o d u c t i o n
F l o r i a n V e r h e i n
f v e r h e i n @ i t . u s y d . e d u . a u
S c h o o l o f I n f o r m a t i o n T e c h n o l o g i e s ,
T h e U n i v e r s i t y o f S y d n e y ,
A u s t r a l i a
C o p y r i g h t 2 0 0 8 F l o r i a n V e r h e i n . M o s t g u r e s d e r i v e d f r o m [ 1 ] .
J a n u a r y 1 0 , 2 0 0 8
O u t l i n e
I n t r o d u c t i o n
F P - T r e e d a t a s t r u c t u r e
S t e p 1 : F P - T r e e C o n s t r u c t i o n
S t e p 2 : F r e q u e n t I t e m s e t G e n e r a t i o n
D i s c u s s i o n
8/8/2019 Fp Growth Presentation v1 (Handout)
http://slidepdf.com/reader/full/fp-growth-presentation-v1-handout 2/10
I n t r o d u c t i o n
A p r i o r i : u s e s a g e n e r a t e - a n d - t e s t a p p r o a c h g e n e r a t e s
c a n d i d a t e i t e m s e t s a n d t e s t s i f t h e y a r e f r e q u e n t
G e n e r a t i o n o f c a n d i d a t e i t e m s e t s i s e x p e n s i v e ( i n b o t h s p a c e
a n d t i m e )
S u p p o r t c o u n t i n g i s e x p e n s i v e
S u b s e t c h e c k i n g ( c o m p u t a t i o n a l l y e x p e n s i v e )
M u l t i p l e D a t a b a s e s c a n s ( I / O )
F P - G r o w t h : a l l o w s f r e q u e n t i t e m s e t d i s c o v e r y w i t h o u t
c a n d i d a t e i t e m s e t g e n e r a t i o n . T w o s t e p a p p r o a c h :
S t e p 1 : B u i l d a c o m p a c t d a t a s t r u c t u r e c a l l e d t h e F P - t r e e
B u i l t u s i n g 2 p a s s e s o v e r t h e d a t a - s e t .
S t e p 2 : E x t r a c t s f r e q u e n t i t e m s e t s d i r e c t l y f r o m t h e F P - t r e e
T r a v e r s a l t h r o u g h F P - T r e e
C o r e D a t a S t r u c t u r e : F P - T r e e
N o d e s c o r r e s p o n d t o i t e m s a n d h a v e a
c o u n t e r
F P - G r o w t h r e a d s 1 t r a n s a c t i o n a t a
t i m e a n d m a p s i t t o a p a t h
F i x e d o r d e r i s u s e d , s o p a t h s c a n
o v e r l a p w h e n t r a n s a c t i o n s s h a r e i t e m s
( w h e n t h e y h a v e t h e s a m e p r e x ) .
I n t h i s c a s e , c o u n t e r s a r e i n c r e m e n t e d
P o i n t e r s a r e m a i n t a i n e d b e t w e e n
n o d e s c o n t a i n i n g t h e s a m e i t e m ,
c r e a t i n g s i n g l y l i n k e d l i s t s ( d o t t e d
l i n e s )
T h e m o r e p a t h s t h a t o v e r l a p , t h e
h i g h e r t h e c o m p r e s s i o n . F P - t r e e m a y
t i n m e m o r y .
F r e q u e n t i t e m s e t s e x t r a c t e d f r o m t h e
F P - T r e e .
8/8/2019 Fp Growth Presentation v1 (Handout)
http://slidepdf.com/reader/full/fp-growth-presentation-v1-handout 3/10
S t e p 1 : F P - T r e e C o n s t r u c t i o n ( E x a m p l e )
F P - T r e e i s c o n s t r u c t e d u s i n g 2 p a s s e s o v e r t h e d a t a - s e t :
P a s s 1 :
S c a n d a t a a n d n d s u p p o r t f o r e a c h i t e m .
D i s c a r d i n f r e q u e n t i t e m s .
S o r t f r e q u e n t i t e m s i n d e c r e a s i n g o r d e r b a s e d o n t h e i r s u p p o r t .
F o r o u r e x a m p l e : a , b , c , d , e
U s e t h i s o r d e r w h e n b u i l d i n g t h e F P - T r e e , s o c o m m o n p r e x e s
c a n b e s h a r e d .
S t e p 1 : F P - T r e e C o n s t r u c t i o n ( E x a m p l e )
P a s s 2 : c o n s t r u c t t h e F P - T r e e ( s e e d i a g r a m o n n e x t s l i d e )
R e a d t r a n s a c t i o n 1 :
{a ,b }
C r e a t e 2 n o d e s a a n d b a n d t h e p a t h n u l l → a → b . S e t
c o u n t s o f a a n d b t o 1 .
R e a d t r a n s a c t i o n 2 : {b
,c ,d }
C r e a t e 3 n o d e s f o r b , c a n d d a n d t h e p a t h
n u l l → b → c → d . S e t c o u n t s t o 1 .
N o t e t h a t a l t h o u g h t r a n s a c t i o n 1 a n d 2 s h a r e b , t h e p a t h s a r e
d i s j o i n t a s t h e y d o n ' t s h a r e a c o m m o n p r e x . A d d t h e l i n k
b e t w e e n t h e b ' s .
R e a d t r a n s a c t i o n 3 : {a
,c ,d
,e }
I t s h a r e s c o m m o n p r e x i t e m a w i t h t r a n s a c t i o n 1 s o t h e p a t h
f o r t r a n s a c t i o n 1 a n d 3 w i l l o v e r l a p a n d t h e f r e q u e n c y c o u n t
f o r n o d e a w i l l b e i n c r e m e n t e d b y 1 . A d d l i n k s b e t w e e n t h e c ' s
a n d d ' s .
C o n t i n u e u n t i l a l l t r a n s a c t i o n s a r e m a p p e d t o a p a t h i n t h e
F P - t r e e .
8/8/2019 Fp Growth Presentation v1 (Handout)
http://slidepdf.com/reader/full/fp-growth-presentation-v1-handout 4/10
S t e p 1 : F P - T r e e C o n s t r u c t i o n ( E x a m p l e )
F P - T r e e s i z e
T h e F P - T r e e u s u a l l y h a s a s m a l l e r s i z e t h a n t h e u n c o m p r e s s e d
d a t a t y p i c a l l y m a n y t r a n s a c t i o n s s h a r e i t e m s ( a n d h e n c e
p r e x e s ) .
B e s t c a s e s c e n a r i o : a l l t r a n s a c t i o n s c o n t a i n t h e s a m e s e t o f
i t e m s .
1 p a t h i n t h e F P - t r e e
W o r s t c a s e s c e n a r i o : e v e r y t r a n s a c t i o n h a s a u n i q u e s e t o f
i t e m s ( n o i t e m s i n c o m m o n )
S i z e o f t h e F P - t r e e i s a t l e a s t a s l a r g e a s t h e o r i g i n a l d a t a .
S t o r a g e r e q u i r e m e n t s f o r t h e F P - t r e e a r e h i g h e r n e e d t o
s t o r e t h e p o i n t e r s b e t w e e n t h e n o d e s a n d t h e c o u n t e r s .
T h e s i z e o f t h e F P - t r e e d e p e n d s o n h o w t h e i t e m s a r e o r d e r e d
O r d e r i n g b y d e c r e a s i n g s u p p o r t i s t y p i c a l l y u s e d b u t i t d o e s
n o t a l w a y s l e a d t o t h e s m a l l e s t t r e e ( i t ' s a h e u r i s t i c ) .
8/8/2019 Fp Growth Presentation v1 (Handout)
http://slidepdf.com/reader/full/fp-growth-presentation-v1-handout 5/10
S t e p 2 : F r e q u e n t I t e m s e t G e n e r a t i o n
F P - G r o w t h e x t r a c t s f r e q u e n t i t e m s e t s f r o m t h e F P - t r e e .
B o t t o m - u p a l g o r i t h m f r o m t h e l e a v e s t o w a r d s t h e r o o t
D i v i d e a n d c o n q u e r : r s t l o o k f o r f r e q u e n t i t e m s e t s e n d i n g i n
e , t h e n d e , e t c . . . t h e n d , t h e n c d , e t c . . .
F i r s t , e x t r a c t p r e x p a t h s u b - t r e e s e n d i n g i n a n i t e m ( s e t ) . ( h i n t : u s e
t h e l i n k e d l i s t s )
↑C o m p l e t e F P - t r e e
→E x a m p l e : p r e x p a t h
s u b - t r e e s
S t e p 2 : F r e q u e n t I t e m s e t G e n e r a t i o n
E a c h p r e x p a t h s u b - t r e e i s p r o c e s s e d r e c u r s i v e l y t o e x t r a c t
t h e f r e q u e n t i t e m s e t s . S o l u t i o n s a r e t h e n m e r g e d .
E . g . t h e p r e x p a t h s u b - t r e e f o r e w i l l b e u s e d t o e x t r a c t
f r e q u e n t i t e m s e t s e n d i n g i n e , t h e n i n d e , c e , b e a n d a e , t h e n
i n c d e , b d e , c d e , e t c .
D i v i d e a n d c o n q u e r a p p r o a c h
P r e x p a t h s u b - t r e e e n d i n g i n e .
8/8/2019 Fp Growth Presentation v1 (Handout)
http://slidepdf.com/reader/full/fp-growth-presentation-v1-handout 6/10
E x a m p l e
L e t m i n S u p = 2 a n d e x t r a c t a l l f r e q u e n t i t e m s e t s c o n t a i n i n g e .
1 . O b t a i n t h e p r e x p a t h s u b - t r e e f o r e :
2 . C h e c k i f e i s a f r e q u e n t i t e m b y a d d i n g t h e c o u n t s a l o n g t h e
l i n k e d l i s t ( d o t t e d l i n e ) . I f s o , e x t r a c t i t .
Y e s , c o u n t = 3 s o
{e
}i s e x t r a c t e d a s a f r e q u e n t i t e m s e t .
3 . A s e i s f r e q u e n t , n d f r e q u e n t i t e m s e t s e n d i n g i n e . i . e . d e ,
c e , b e a n d a e .
i . e . d e c o m p o s e t h e p r o b l e m r e c u r s i v e l y .
T o d o t h i s , w e m u s t r s t t o o b t a i n t h e c o n d i t i o n a l F P - t r e e f o r
e .
C o n d i t i o n a l F P - T r e e
T h e F P - T r e e t h a t w o u l d b e b u i l t i f w e o n l y c o n s i d e r
t r a n s a c t i o n s c o n t a i n i n g a p a r t i c u l a r i t e m s e t ( a n d t h e n
r e m o v i n g t h a t i t e m s e t f r o m a l l t r a n s a c t i o n s ) .
E x a m p l e : F P - T r e e c o n d i t i o n a l o n e .
8/8/2019 Fp Growth Presentation v1 (Handout)
http://slidepdf.com/reader/full/fp-growth-presentation-v1-handout 7/10
C o n d i t i o n a l F P - T r e e
T o o b t a i n t h e c o n d i t i o n a l F P - t r e e f o r e f r o m t h e p r e x s u b - t r e e
e n d i n g i n e :
U p d a t e t h e s u p p o r t c o u n t s a l o n g t h e p r e x p a t h s ( f r o m e ) t o
r e e c t t h e n u m b e r o f t r a n s a c t i o n s c o n t a i n i n g e .
b a n d c s h o u l d b e s e t t o 1 a n d a t o 2 .
C o n d i t i o n a l F P - T r e e
T o o b t a i n t h e c o n d i t i o n a l F P - t r e e f o r e f r o m t h e p r e x s u b - t r e e
e n d i n g i n e :
R e m o v e t h e n o d e s c o n t a i n i n g e i n f o r m a t i o n a b o u t n o d e e i s
n o l o n g e r n e e d e d b e c a u s e o f t h e p r e v i o u s s t e p
8/8/2019 Fp Growth Presentation v1 (Handout)
http://slidepdf.com/reader/full/fp-growth-presentation-v1-handout 8/10
C o n d i t i o n a l F P - T r e e
T o o b t a i n t h e c o n d i t i o n a l F P - t r e e f o r e f r o m t h e p r e x s u b - t r e e
e n d i n g i n e :
R e m o v e i n f r e q u e n t i t e m s ( n o d e s ) f r o m t h e p r e x p a t h s
E . g . b h a s a s u p p o r t o f 1 ( n o t e t h i s r e a l l y m e a n s b e h a s a
s u p p o r t o f 1 ) . i . e . t h e r e i s o n l y 1 t r a n s a c t i o n c o n t a i n i n g b a n d
e s o b e i s i n f r e q u e n t c a n r e m o v e b .
Q u e s t i o n : w h y w e r e c a n d d n o t r e m o v e d ?
E x a m p l e ( c o n t i n u e d )
4 . U s e t h e t h e c o n d i t i o n a l F P - t r e e f o r e t o n d f r e q u e n t
i t e m s e t s e n d i n g i n d e , c e a n d a e
N o t e t h a t b e i s n o t c o n s i d e r e d a s b i s n o t i n t h e c o n d i t i o n a l
F P - t r e e f o r e .
F o r e a c h o f t h e m ( e . g . d e ) , n d t h e p r e x p a t h s f r o m t h e
c o n d i t i o n a l t r e e f o r e , e x t r a c t f r e q u e n t i t e m s e t s , g e n e r a t e
c o n d i t i o n a l F P - t r e e , e t c . . . ( r e c u r s i v e )
E x a m p l e : e → d e → a d e ( {d , e }, {a , d , e } a r e f o u n d t o b e
f r e q u e n t )
8/8/2019 Fp Growth Presentation v1 (Handout)
http://slidepdf.com/reader/full/fp-growth-presentation-v1-handout 9/10
E x a m p l e ( c o n t i n u e d )
4 . U s e t h e t h e c o n d i t i o n a l F P - t r e e f o r e t o n d f r e q u e n t
i t e m s e t s e n d i n g i n d e , c e a n d a e
E x a m p l e : e → c e ( { c , e } i s f o u n d t o b e f r e q u e n t )
e t c . . . ( a e , t h e n d o t h e w h o l e t h i n g f o r b , . . . e t c )
R e s u l t
F r e q u e n t i t e m s e t s f o u n d ( o r d e r e d b y s u x a n d o r d e r i n w h i c h
t h e y a r e f o u n d ) :
8/8/2019 Fp Growth Presentation v1 (Handout)
http://slidepdf.com/reader/full/fp-growth-presentation-v1-handout 10/10
D i s c u s s i o n
A d v a n t a g e s o f F P - G r o w t h
o n l y 2 p a s s e s o v e r d a t a - s e t
c o m p r e s s e s d a t a - s e t
n o c a n d i d a t e g e n e r a t i o n
m u c h f a s t e r t h a n A p r i o r i
D i s a d v a n t a g e s o f F P - G r o w t h
F P - T r e e m a y n o t t i n m e m o r y ! !
F P - T r e e i s e x p e n s i v e t o b u i l d
T r a d e - o : t a k e s t i m e t o b u i l d , b u t o n c e i t i s b u i l t , f r e q u e n t
i t e m s e t s a r e r e a d o e a s i l y .
T i m e i s w a s t e d ( e s p e c i a l l y i f s u p p o r t t h r e s h o l d i s h i g h ) , a s t h e
o n l y p r u n i n g t h a t c a n b e d o n e i s o n s i n g l e i t e m s .
s u p p o r t c a n o n l y b e c a l c u l a t e d o n c e t h e e n t i r e d a t a - s e t i s
a d d e d t o t h e F P - T r e e .
R e f e r e n c e s
[ 1 ] P a n g - N i n g T a n , M i c h a e l S t e i n b a c h , V i p i n K u m a r :
I n t r o d u c t i o n t o D a t a M i n i n g , A d d i s o n - W e s l e y .
C h a p t e r 6 : A s s o c i a t i o n A n a l y s i s : B a s i c C o n c e p t s a n d
A l g o r i t h m s .
A v a i l a b l e f r o m
h t t p :
/ / w w w - u s e r s . c s . u m n . e d u / ~ k u m a r / d m b o o k / i n d e x . p h p