faculty cs byu edu%252f~dennis%252fpapers%252ffodo

8/14/2019 faculty cs byu edu%252F~dennis%252Fpapers%252Ffodo

1/10

C o n s t r u c t i n g H i e r a r c h i c a l I n f o r m a t i o n S t r u c t u r e s o f S u b - P a g e

L e v e l H T M L D o c u m e n t s

S e u n g - J i n L i m

Y i u - K a i N g

C o m p u t e r S c i e n c e D e p a r t m e n t

B r i g h a m Y o u n g U n i v e r s i t y

P r o v o , U t a h 8 4 6 0 2 , U . S . A .

f n g , s j l i m g @ c s . b y u . e d u

A b s t r a c t

M o s t o f t h e e x i s t i n g m e t h o d s f o r r e t r i e v i n g s u b - p a g e

l e v e l i n f o r m a t i o n i n a n H T M L d o c u m e n t e i t h e r r e l y

o n k e y w o r d - b a s e d s e a r c h i n g o r a s s u m e t h a t t h e i n -

t e r n a l s t r u c t u r e o f t h e d o c u m e n t i s k n o w n b e f o r e -

h a n d . T h e s e t e c h n i q u e s , h o w e v e r , a r e n o t s u i t -

a b l e f o r l o c a t i n g h i e r a r c h i c a l l y o r g a n i z e d i n f o r m a -

t i o n , e s p e c i a l l y w h e n t h e i n t e r n a l s t r u c t u r e o f t h e

g i v e n H T M L d o c u m e n t D i s u n k n o w n . W e p r e s e n t

a n a p p r o a c h f o r i n f e r r i n g i n f o r m a t i o n h i e r a r c h y a t

t h e s u b - p a g e l e v e l o f D . O u r a p p r o a c h i n c l u d e s

c o n s t r u c t i n g a m e t a d a t a m o d e l o f D , c a l l e d c o n t e n t

t r e e ( C T ) , w h i c h c a p t u r e s t h e h i e r a r c h i c a l r e l a t i o n -

s h i p a m o n g t h e d a t a c o n t e n t s o f D w h i l e e x c l u d i n g

H T M L m a r k u p s i n D . H i e r a r c h i c a l i n f o r m a t i o n i n

D c a n b e r e t r i e v e d v i a C T u s i n g a n e x i s t i n g q u e r y

l a n g u a g e w h i c h i s c a p a b l e o f d e a l i n g w i t h d a t a i n a

s e m i s t r u c t u r e d d a t a m o d e l .

K e y w o r d s s e m i s t r u c t u r e d d a t a , i n f o r m a t i o n v i -

s u a l i z a t i o n , H T M L d o c u m e n t , W o r l d - W i d e W e b

1 I n t r o d u c t i o n

D u r i n g t h e p a s t f e w y e a r s , t h e g r o w t h r a t e o f

d a t a p o s t e d o n t h e W o r l d - W i d e W e b ( W e b ) h a s

b e e n p h e n o m e n a l . I n o r d e r t o d e a l w i t h a v a s t

a m o u n t s o f d a t a o n t h e W e b , a n u m b e r o f d a t a

r e t r i e v a l m e t h o d s h a v e b e e n p r o p o s e d . A m o n g

t h e p r o p o s e d m e t h o d s , k e y w o r d - b a s e d s e a r c h i n g

m e t h o d s h a v e g a i n e d p o p u l a r i t y a n d a r e w i d e l y

u s e d a s t h e f u n d a m e n t a l t e c h n i q u e f o r r e t r i e v i n g

s u b - p a g e l e v e l i n f o r m a t i o n o f a g i v e n H T M L d o c -

u m e n t . W e c a t e g o r i z e a l l t h e i n f o r m a t i o n r e t r i e v a l

m e t h o d s b a s e d o n k e y w o r d s e a r c h i n g a t t h e s u b -

p a g e l e v e l o f H T M L p a g e s k e y w o r d - b a s e d s e a r c h i n g

i f t h e i n t e r n a l s t r u c t u r e o f t h e p a g e s i s n o t e x p l o i t e d

d u r i n g t h e p r o c e s s o f i n f o r m a t i o n s e a r c h i n g . A t

p r e s e n t , k e y w o r d - b a s e d s e a r c h i n g i s m a i n l y u s e d i n

t w o d i e r e n t w a y s : ( i ) a s a f r o n t - e n d t o o l f o r a W e b

u s e r t o l o c a t e H T M L d o c u m e n t s w h i c h i n c l u d e

T h e 5 t h I n t e r n a t i o n a l C o n f e r e n c e o n F o u n d a t i o n s

o f D a t a O r g a n i z a t i o n s ( F O D O ' 9 8 ) , K o b e , J a p a n ,

N o v e m b e r 1 9 9 8 .

i n f o r m a t i o n o f a p a r t i c u l a r s u b j e c t v i a i n d e x s e r v e r s

s u c h a s A l t a V i s t a , o r ( i i ) a s a b a c k - e n d p r o c e s s i n g

t e c h n i q u e f o r l o c a t i n g s u b - p a g e l e v e l i n f o r m a t i o n

e m p l o y e d b y W e b q u e r y l a n g u a g e s , s u c h a s W e b L o g

1 1 ] , W e b S Q L 1 3 ] , W 3 Q S 1 0 ] , a n d O Q L - d o c 2 ] .

C o n s i d e r t h e r e t r i e v a l o f \ t h e e m a i l a d d r e s s

o f E v a n I v i e w h o i s a v i s i t i n g f a c u l t y " f r o m

t h e H T M L d o c u m e n t D a s s h o w n i n F i g u r e 1 ( b ) ,

a s s u m i n g t h a t k e y w o r d s a r e t e l e - t y p e f a c e d . A

k e y w o r d - b a s e d s e a r c h i n g m e t h o d i s i n c a p a b l e o f

l o c a t i n g t h e d e s i r e d e m a i l a d d r e s s f o r a n u m b e r o f

r e a s o n s : ( i ) t h e r e a r e t w o i n s t a n c e s o f E v a n I v i e

i n D a n d t h u s i t d o e s n o t k n o w h o w t o d i e r e n t i a t e

t h e i n s t a n c e s ; ( i i ) a l t h o u g h t h e s e c o n d i n s t a n c e

o f E v a n I v i e m i g h t b e c h o s e n c o r r e c t l y , a n o t h e r

p r o b l e m i s h o w t o d e t e r m i n e w h i c h e m a i l a d d r e s s

i n D i s t h e e m a i l a d d r e s s o f E v a n I v i e , a v i s i t i n g

f a c u l t y m e m b e r ; a n d ( i i i ) t h e n a t u r e o f t h e d e s i r e d

i n f o r m a t i o n i s s t r u c t u r a l , i . e . , t h e k e y w o r d s a r e

h i e r a r c h i c a l l y r e l a t e d t o o n e a n o t h e r t h r o u g h t h e

w o r d s ` o f ' a n d ` w h o ' i n t h e E n g l i s h s e n t e n c e a b o v e ,

w h i c h c o n s t i t u t e t h e p a r t i a l o r d e r i n g r e l a t i o n s h i p s

o f t h e k e y w o r d s , a n d a n a t t e m p t s i m p l y u s i n g t h e

k e y w o r d s w i t h l o g i c a l c o n n e c t i v e s A N D , O R , o r

X O R f a i l s t o l o c a t e t h e e m a i l a d d r e s s .

O u r a p p r o a c h f o r c o n s t r u c t i n g i n f o r m a t i o n h i -

e r a r c h y a t t h e s u b - p a g e l e v e l i s t o e x p l o i t t h e h i e r -

a r c h y o f t h e d a t a c o n t e n t s i n a g i v e n H T M L d o c u -

m e n t . O n e m i g h t c o n s i d e r u s i n g t h e p a r s e t r e e o f

t h e d o c u m e n t c o n s t r u c t e d a c c o r d i n g t o t h e H T M L

g r a m m a r t o e x p l o i t t h e h i e r a r c h i c a l s t r u c t u r e o f t h e

d a t a c o n t e n t s . T h i s a p p r o a c h , h o w e v e r , i s n o t s u i t -

a b l e . C o n s i d e r a n e n h a n c e d p a r s e t r e e ( i n w h i c h

a l l t h e e n d - t a g s a r e e l i m i n a t e d f r o m t h e p a r s e t r e e

g e n e r a t e d a c c o r d i n g t o t h e H T M L s p e c i c a t i o n )

o f d o c u m e n t d i r . h t m a s s h o w n i n F i g u r e 2 a n d

t h e p a t h e x p r e s s i o n o f e a c h l e a f n o d e . N o t e t h a t

t h e r e a r e a f e w p r o b l e m s w i t h t h e ( e n h a n c e d ) p a r s e

t r e e . F i r s t , ` d i r . h t m ' . H T M L . B O D Y . U L . L I . A . ` E v a n

I v i e ' d o e s n o t s p e c i f y w h e t h e r ` E v a n I v i e ' i s a

v i s i t i n g f a c u l t y o r a r e g u l a r f a c u l t y . S e c o n d , i t

i s c o m m o n s e n s e t o c o m p r e h e n d t h e h i e r a r c h y o f

t h e s e c o n d ` E v a n I v i e ' a n d ` V i s i t i n g F a c u l t y '

i n F i g u r e 1 ( a ) s u c h t h a t ` E v a n I v i e ' i s s u b o r d i -


2/10

( a ) d i r . h t m r e n d e r e d i n N e t s c a p e ( b ) A p o r t i o n o f t h e s o u r c e c o d e o f d i r . h t m

F i g u r e 1 : A n H T M L d o c u m e n t d i r . h t m m o d i e d f r o m h t t p : / / w w w . c s . b y u . e d u / i n f o / d i r e c t o r y . h t m l

n a t e t o ` V i s i t i n g F a c u l t y . ' F u r t h e r m o r e , t h e

w o r d s ` N o t e : T h i s p a g e i s a ' a n d ` m o d i f i e d '

b e l o n g t o t h e s a m e s e n t e n c e a s s h o w n i n F i g u r e 1 ( a )

b u t t h e y a p p e a r i n d i e r e n t b r a n c h e s i n t h e p a r s e

t r e e i n F i g u r e 2 . T h e h i e r a r c h y g e n e r a t e d b y t h e

H T M L b r o w s e r , w h i c h w e c a l l i n t e n d e d h i e r a r c h y ,

i s n o t p r e s e r v e d i n t h e p a r s e t r e e d u e t o t h e v a r i o u s

H T M L t a g s . S u b s e q u e n t l y , u s i n g t h e p a r s e t r e e t o

l o c a t e t h e e m a i l a d d r e s s o f E v a n I v i e , a v i s i t i n g

f a c u l t y , i s i n a d e q u a t e .

I n t h i s p a p e r , w e p r e s e n t a n a p p r o a c h f o r c o n -

s t r u c t i n g h i e r a r c h i c a l i n f o r m a t i o n s t r u c t u r e a t t h e

s u b - p a g e l e v e l o f a n H T M L d o c u m e n t . O u r a p -

p r o a c h t a k e s a n H T M L d o c u m e n t D a s a n i n p u t

a n d r e t u r n s a m e t a d a t a m o d e l o f D , c a l l e d c o n -

t e n t t r e e ( C T ) , d e n o t e d C T

D

, w h i c h i s t h e t r e e

r e p r e s e n t a t i o n o f t h e d a t a c o n t e n t s , w i t h t h e e x -

c l u s i o n o f H T M L t a g s , i n D . C T

D

i s b a s e d o n t h e

n o t i o n o f s e m i s t r u c t u r e d d a t a , a n d b e c a u s e o f t h a t

t h e h i e r a r c h i c a l i n f o r m a t i o n c a p t u r e d i n C T

D

c a n

b e r e t r i e v e d u s i n g a n e x i s t i n g s e m i s t r u c t u r e d d a t a

q u e r y l a n g u a g e , s u c h a s L o r e l 3 ] .

O u r a p p r o a c h i s a d v a n t a g e o u s o v e r t h e e x i s t i n g

m e t h o d s f o r e x t r a c t i n g s u b - p a g e l e v e l i n f o r m a t i o n

o f a n H T M L d o c u m e n t D . F i r s t , C T

D

p r o v i d e s

a f a c i l i t y t o i d e n t i f y t h e h i e r a r c h i c a l r e l a t i o n s h i p s

a m o n g d a t a c o n t e n t s i n D . T h i s c a p a b i l i t y p r o -

v i d e s a s o l u t i o n t o t h e p r o b l e m s o f s y n o n y m k e y -

w o r d s ( s u c h a s t h e t w o e m a i l a d d r e s s e s o f E v a n

I v i e ) . S e c o n d , f o r t h e c o n s t r u c t i o n o f C T

D

, w e

d o n o t a s s u m e t h a t t h e i n t e r n a l s t r u c t u r e o f D i s

k n o w n b e f o r e h a n d a s 5 , 9 ] d o . T h i r d , t h e r e e x i s t

o t h e r m e t h o d s w h i c h e x p l o i t t h e i n t e r n a l s t r u c t u r e

o f H T M L t a g s t o o b t a i n s u b - p a g e l e v e l i n f o r m a t i o n

o f a n H T M L d o c u m e n t , s u c h a s W e b O Q L 4 ] . H o w -

e v e r , a W e b O Q L u s e r m u s t d e a l w i t h H T M L t a g s

a n d h e n c e i t s i n t e r n a l s t r u c t u r e . A q u e r y p o s t e d

a g a i n s t C T

D

, d e a l s w i t h n o H T M L t a g s a n d i t s

u s e r i s n o t r e q u i r e d t o k n o w t h e i n t e r n a l s t r u c t u r e

o f t h e r e f e r e n c e d H T M L d o c u m e n t .

W e p r o c e e d t o p r e s e n t o u r r e s u l t s a s f o l l o w s . I n

S e c t i o n 2 , w e i n t r o d u c e t h e d a t a m o d e l a d o p t e d b y

u s f o r r e p r e s e n t i n g d a t a i n a n H T M L d o c u m e n t .

I n S e c t i o n 3 , w e p r e s e n t t h e r u l e s f o r c o n s t r u c t i n g

t h e c o n t e n t t r e e , w h i c h c a p t u r e s t h e h i e r a r c h i c a l

i n f o r m a t i o n a t t h e s u b - p a g e l e v e l , o f a g i v e n H T M L

d o c u m e n t . I n S e c t i o n 4 , w e g i v e t h e c o n c l u d i n g

r e m a r k s .

2 T h e D a t a M o d e l

O u r v i e w o f i n f o r m a t i o n p o s t e d o n t h e W e b i s a

c o l l e c t i o n o f h e t e r o g e n e o u s d a t a , s u c h a s H T M L

d o c u m e n t s b y a n d l a r g e a n d o t h e r t y p e s o f d a t a ,

i n c l u d i n g m u l t i m e d i a d a t a . O n e o f t h e c h a r a c t e r i s -

t i c s o f H T M L d o c u m e n t s i s t h a t t h e i r s t r u c t u r e s a r e

n o t r i g i d a c c o r d i n g t o t h e H T M L s p e c i c a t i o n 7 ,

1 5 ] . H e n c e , a n H T M L d o c u m e n t D c o n t a i n s d a t a

w h i c h a r e s e m i s t r u c t u r e d i n n a t u r e . S e m i s t r u c -

t u r e d d a t a a r e d a t a w h i c h a r e n e i t h e r s t r u c t u r e d

d a t a ( i . e . , d a t a w i t h a r i g i d s t r u c t u r e o r s c h e m a ) ,

s u c h a s d a t a i n a r e l a t i o n a l d a t a b a s e , n o r u n s t r u c -

t u r e d d a t a ( i . e . , d a t a w i t h n o r i g i d s t r u c t u r e o r

s c h e m a ) , s u c h a s d a t a i n e x e c u t a b l e l e s . E x a m p l e s

o f s e m i s t r u c t u r e d d a t a a r e d a t a i n t e x t l e s t h a t

c o n t a i n f o r m a t t i n g c o d e , s u c h a s L

A

T

E

X a n d H T M L

l e s , a n d l e s w h i c h r e q u i r e s t r i c t i n n e r s t r u c t u r e

b u t s o m e o f t h e s t r u c t u r a l c o m p o n e n t s c a n b e o m i t -

t e d , s u c h a s B I B T

E

X l e s , U n i x e n v i r o n m e n t l e s ,

e t c . B a s e d o n t h i s c l a s s i c a t i o n , w e c o n s i d e r a

n i t e s e t o f d a t a o b j e c t s D = f o

1

, o

2

, : : : , o

n

g


3/10

a s s e m i s t r u c t u r e d d a t a i f ( i ) t h e s t r u c t u r e o f D i s

i r r e g u l a r o r i n c o m p l e t e 1 4 , 3 , 6 ] , ( i i ) t h e d i s t i n c t i o n

b e t w e e n D a n d t h e s c h e m a o f D i s n o t c l e a r , a n d

t h e s c h e m a m a y c h a n g e d y n a m i c a l l y 1 , 8 ] , a n d

( i i i ) o

i

( 1 i n ) i s n o t t y p e - s e n s i t i v e , a n d t w o

d i s t i n c t d a t a o b j e c t s i n D w i t h t h e s a m e c o n t e n t

m a y b e o f d i e r e n t t y p e s .

A n H T M L d o c u m e n t c o n s i s t s o f a n u m b e r o f

H T M L e l e m e n t s . A t y p i c a l H T M L e l e m e n t i s d e -

l i m i t e d b y i t s s t a r t - t a g a n d e n d - t a g , a n d c o n t a i n s

c o n t e n t t h a t a p p e a r s b e t w e e n t h e s t a r t - a n d e n d -

t a g s . F o r s o m e H T M L e l e m e n t s , e i t h e r t h e i r e n d -

t a g s a r e i m p l i c i t o r t h e i r c o n t e n t s d o n o t e x i s t . T h e

c o n t e n t o f a n H T M L e l e m e n t m a y i n c l u d e o t h e r

t a g s ( i . e . , a n H T M L e l e m e n t c a n b e n e s t e d ) o r d a t a

c h a r a c t e r s . W e c a l l t h e l a t t e r d a t a c o n t e n t .

G i v e n a n H T M L e l e m e n t e a n d i t s c o n t e n t c , w e

s a y t h a t e c o n t a i n s c , d e n o t e d b y e c , a n d e i s

c a l l e d t h e c o n t a i n e r o f c . I f c i s c o n t a i n e d i n e w i t h

n o i n t e r m e d i a t e c o n t a i n e r b e t w e e n e a n d c , i . e . , e

c h o l d s b u t e e

1

: : : e

k

c ( k 1 ) d o

n o t h o l d , t h e n e i m m e d i a t e l y c o n t a i n s c , o r c i s a n

i m m e d i a t e c o n t e n t o f e .

H T M L e l e m e n t s c a n n o t p a r t i a l l y o v e r l a p w i t h

o n e a n o t h e r a c c o r d i n g t o t h e H T M L s p e c i c a t i o n .

I f a n H T M L d o c u m e n t D c o n f o r m s t o t h e H T M L

s p e c i c a t i o n , t h e n D i s s a i d t o b e a v a l i d H T M L

d o c u m e n t . A m o n g t h e H T M L e l e m e n t s d e n e d i n

t h e H T M L s p e c i c a t i o n , t h e r o l e o f s o m e e l e m e n t s

i s t o d e n e t h e b l o c k s t r u c t u r e o f t h e d a t a c o n t e n t s ,

i . e . , t h e h i e r a r c h y o f t h e d a t a c o n t e n t s , w h e r e a s

o t h e r e l e m e n t s e i t h e r d e c l a r e t h e c o s m e t i c s t y l e o f

t h e d a t a c o n t e n t s o r d o n o t h a v e d a t a c o n t e n t s a t

a l l . W e c a l l t h e f o r m e r e l e m e n t s t y p e 1 a n d t h e

l a t t e r t y p e 2 . T y p i c a l e x a m p l e s o f t y p e 1 e l e m e n t s

a r e l i s t e l e m e n t s s u c h a s U L , O L , D I R a n d M E N U . B

a n d E M a r e t y p i c a l t y p e 2 H T M L e l e m e n t s .

D e n i t i o n 1 G i v e n a n H T M L d o c u m e n t D , a n

H T M L t o k e n ( o r t o k e n f o r s h o r t ) i s e i t h e r t h e

s t a r t - t a g , t h e e n d - t a g , o r ( p a r t o f ) t h e d a t a c o n t e n t

o f a n H T M L e l e m e n t i n D . I f d e n o t e s a t a g ( r e s p .

d a t a c o n t e n t ) , i s o f t a g t y p e ( r e s p . d a t a t y p e ) . 2

O u r s e m i s t r u c t u r e d d a t a m o d e l i s c a l l e d s e m i -

s t r u c t u r e d d a t a t r e e ( S D T ) 1 2 ] . s e m i s t r u c t u r e d

d a t a . T h e c o r e c o n s t r u c t s o f a n S D T a r e o b j e c t s ,

w h i c h a r e d e n e d o v e r t h e s e t o f a l l p o s s i b l e

s t r i n g s , d e n o t e d b y

, a n d t h e d e p e n d e n c y c o n -

s t r a i n t a m o n g d i e r e n t o b j e c t s .

D e n i t i o n 2 A n o b j e c t o i n a n H T M L d o c u m e n t

D i s a 3 - t u p l e h n a m e , a t t r i b u t e l i s t , i d e n t i f i e r i ,

w h i c h i s e i t h e r a s t a r t - t a g ( c a l l e d a t a g o b j e c t ) o r

d a t a c o n t e n t ( c a l l e d a d a t a o b j e c t ) i n D , w h e r e

n a m e

1

2

i s t h e n a m e o f t h e c o r r e s p o n d i n g

H T M L t a g i f o i s a t a g o b j e c t , o r i s t h e t e x t

1

A n a m e m a y i n c l u d e s p a c e s a n d d o t s . I f a n a m e i n c l u d e s

b l a n k s p a c e s , i t i s e n c l o s e d b y s i n g l e q u o t e s .

F i g u r e 2 : S D T , a n e n h a n c e d p a r s e t r e e , o f d i r . h t m

o f t h e c o r r e s p o n d i n g d a t a c h a r a c t e r s , i f o i s a

d a t a o b j e c t .

a t t r i b u t e l i s t

i s a n i t e ( p o s s i b l y e m p t y )

s e t o f a t t r i b u t e s , e a c h o f w h i c h i s o f t h e f o r m

a t t r i b u t e n a m e = v a l u e .

i d e n t i f i e r 2

i s a n o n - e m p t y s t r i n g w h i c h

u n i q u e l y i d e n t i e s o i n D . 2

E x a m p l e 1 C o n s i d e r t h e h e a d b l o c k o f t h e H T M L

d o c u m e n t d i r . h t m i n F i g u r e 1 ( b ) . B y D e n i t i o n 2 ,

H E A D , T I T L E , a n d t h e t w o M E T A s a r e t a g o b j e c t s ,

a n d ` F a c u l t y D i r e c t o r y ' i s a d a t a o b j e c t . T h e

r s t M E T A o b j e c t i n c l u d e s N A M E a n d C O N T E N T a s i t s

a t t r i b u t e s . 2

T h e n o t i o n o f d e p e n d e n c y p l a y s a n i m p o r t a n t

r o l e i n d e t e r m i n i n g t h e h i e r a r c h i c a l r e l a t i o n s h i p s

a m o n g o b j e c t s i n a n H T M L d o c u m e n t .

D e n i t i o n 3 G i v e n a n H T M L d o c u m e n t D w i t h a

s e t o f o b j e c t s f o

1

; o

2

; : : : ; o

m

g , a n o b j e c t o

i

d i r e c t l y

d e p e n d s o n a n o t h e r o b j e c t o

j

( 1 i ; j m ; i =

j 1 ) , d e n o t e d o

i

o

j

, i f o

i

i m m e d i a t e l y c o n t a i n s

o

j

. D e p e n d e n c y i s a n t i s y m m e t r i c a n d t r a n s i t i v e .

H e n c e , b y a n t i s y m m e t r i c i t y , i f o

1

o

2

a n d o

2

o

1

, t h e n o

1

= o

2

; b y t r a n s i t i v i t y , i f o

1

o

2

a n d

o

2

o

3

, t h e n o

1

i n d i r e c t l y d e p e n d s o n o

3

, d e n o t e d

o

1

o

2

o

3

o r o

1

o

3

. 2

E x a m p l e 2 C o n s i d e r t h e o b j e c t s i d e n t i e d i n E x -

a m p l e 1 . S i n c e H E A D c o n t a i n s T I T L E a n d t h e

t w o M E T A s , a c c o r d i n g t o t h e H T M L s p e c i c a t i o n ,

H E A D T I T L E a n d H E A D M E T A h o l d . F u r t h e r -

m o r e , H E A D T I T L E ` F a c u l t y D i r e c t o r y '

a l s o h o l d . 2

W e n o w f o r m a l l y d e n e t h e t r e e r e p r e s e n t a t i o n

o f a n H T M L d o c u m e n t D , c a l l e d t h e s e m i s t r u c -

t u r e d d a t a t r e e ( S D T ) o f D , a s g i v e n i n 1 2 ] .

D e n i t i o n 4 G i v e n a n H T M L d o c u m e n t D , t h e

s e m i s t r u c t u r e d d a t a t r e e ( S D T ) S D T

D

= ( V ; E ; g )

o f D i s a r o o t e d , d i r e c t e d g r a p h , w h e r e

T h e r o o t n o d e V

R

2 V i s l a b e l e d b y t h e U R L

o f D . F o r a n y o t h e r n o d e v 2 V , v d e n o t e s a n

o b j e c t i n D a n d i s l a b e l e d b y t h e n a m e o f t h e

o b j e c t t h a t v r e p r e s e n t s . F u r t h e r m o r e , g i v e n


4/10

a n o d e n a n d i t s c h i l d n o d e s n

1

, n

2

, : : : , n

m

,

f o r a n y t w o n o d e s n

j

a n d n

k

, 1 j < k m ,

t h e t o k e n d e n o t e d b y n

j

a p p e a r s a h e a d o f t h e

t o k e n d e n o t e d b y n

k

i n D .

E i s a n i t e s e t o f d i r e c t e d e d g e s .

g : E ! V V i s a f u n c t i o n s u c h t h a t

g ( e ) = ( v

1

; v

2

) i f t

1

t

2

, w h e r e t

1

a n d

t

2

a r e t h e t o k e n s r e p r e s e n t e d b y n o d e s v

1

a n d v

2

, r e s p e c t i v e l y . g i s a n t i s y m m e t r i c a n d

t r a n s i t i v e . 2

B y D e n i t i o n 4 , w e c a n p e r f o r m t r a n s f o r m a t i o n

b a c k a n d f o r t h b e t w e e n a n H T M L d o c u m e n t D a n d

i t s S D T

D

w i t h o u t l o s i n g i n f o r m a t i o n . T h u s , w e u s e

D a n d S D T

D

, a n d a t o k e n i n D a n d i t s c o r r e s p o n d -

i n g n o d e i n S D T

D

i n t e r c h a n g e a b l y t h r o u g h o u t t h i s

p a p e r .

E x a m p l e 3 C o n s i d e r t h e d o c u m e n t D i n F i g u r e

1 ( b ) w h o s e s o u r c e U R L i s d i r . h t m . B y D e n i t i o n 4

a n d t h e d e p e n d e n c y c o n s t r a i n t s a m o n g t h e o b j e c t s

i n d i r . h t m , t h e r o o t n o d e ` d i r . h t m ' i s c r e a t e d i n

S D T

D

a n d a t t a c h e d t o i t t w o c h i l d n o d e s , C O M M E N T

a n d < H T M L > , w h i c h a r e c r e a t e d b y t h e < ! D O C T Y P E >

a n d H T M L t a g s , r e s p e c t i v e l y . T h e e n t i r e S D T o f

d i r . h t m i s s h o w n i n F i g u r e 2 , w h e r e d o t t e d a r r o w s

d e n o t e s u b t r e e s w h o s e d e t a i l e d c o n t e n t s a r e n o t

s h o w n i n t h e g u r e . 2

D e n i t i o n 5 G i v e n a n S D T w i t h n o d e s n

1

, n

2

,

: : : , n

m

, t h e l o n g n a m e L

n

k

o f n o d e n

k

( 1 j ; k

m ) i s t h e n a m e o f n

k

i f n

k

i s t h e r o o t n o d e o f

S D T ; o t h e r w i s e , i t i s L

n

j

: L , w h e r e n

j

i m m e d i a t e l y

c o n t a i n s n

k

a n d L i s t h e n a m e o f n

k

. 2

E x a m p l e 4 C o n s i d e r t h e n o d e ` F a c u l t y D i r e c -

t o r y ' i n t h e S D T a s s h o w n i n F i g u r e 2 . I t s l o n g

n a m e i s ` d i r . h t m ' . H T M L . H E A D . T I T L E . ` F a c u l t y

D i r e c t o r y ' b y D e n i t i o n 5 . 2

D e n i t i o n 6 G i v e n t h e l o n g n a m e o f a n o b j e c t

o

N

i n a n S D T o f t h e f o r m L

o

N

= N

o

1

. ( : : : ) . N

o

N

,

w h e r e N

o

i

i s t h e n a m e o f o b j e c t o

i

( 1 i N ) ,

t h e p a t h e x p r e s s i o n , p e , b e t w e e n t w o o b j e c t s o

i

a n d

o

j

( 1 j N ) i s a b i n a r y f u n c t i o n , p e :

!

, s u c h t h a t p e ( o

i

; o

i

) = N

o

i

a n d p e ( o

i

; o

j

) =

p e ( o

i

; o

j 1

) : N

o

j

, w h e r e o

1

i s d e n o t e d b y t h e r o o t

n o d e o f S D T a n d i < j . A l s o , p e ( V

R

; o ) = L

o

,

w h e r e V

R

i s t h e r o o t n o d e a n d o 2 V o f S D T . 2

A n S D T p r e c i s e l y c a p t u r e s t h e s t r u c t u r e a n d

c o n t e n t o f t h e g i v e n s e m i s t r u c t u r e d d a t a i n a n

H T M L d o c u m e n t a c c o r d i n g t o t h e H T M L g r a m -

m a r , a n d t h e l e x i c a l S D T o f a s e m i s t r u c t u r e d d a t a

D i s a t e x t u a l r e p r e s e n t a t i o n o f t h e c o r r e s p o n d i n g

S D T .

D e n i t i o n 7 G i v e n a n S D T = ( V ; E ; g ) , t h e l e x i -

c a l r e p r e s e n t a t i o n o r l e x i c a l S D T o f o 2 V , d e n o t e d

L

o

, i s a t e x t u a l r e p r e s e n t a t i o n o f t h e s u b g r a p h S o f

t h e S D T r o o t e d a t o s u c h t h a t L

o

=

8 i

p e ( o ; o

i

) ;

w h e r e o

i

i s a l e a f n o d e i n S . 2

N o t e t h a t g i v e n a n S D T = ( V ; E ; g ) , t h e l e x i c a l

S D T i s o b t a i n e d b y

8 i

p e ( V

R

; o

i

) ( =

8 i

L

o

i

) ,

w h e r e o

i

i s a l e a f n o d e o f t h e S D T . W e a d o p t t h e

c o n v e n t i o n A : f B ; C g f o r f A : B ; A : C g , w h e r e A : B

a n d A : C a r e l o n g n a m e s o r p a t h e x p r e s s i o n s .

E x a m p l e 5 C o n s i d e r t h e S D T

d i r : h t m

i n F i g u r e 2 .

p e ( H E A D , ` F a c u l t y D i r e c t o r y ' )

= p e ( H E A D , T I T L E ) . ` F a c u l t y D i r e c t o r y '

= p e ( H E A D ; H E A D ) , T I T L E . ` F a c u l t y D i r e c t o r y '

= H E A D . T I T L E . ` F a c u l t y D i r e c t o r y '

L

F a c u l t y D i r e c t o r y

= ` d i r . h t m ' . H T M L . H E A D . T I T L E . ` F a c u l t y D i r e c t o r y '

L

H E A D

= p e ( H E A D , ` F a c u l t y D i r e c t o r y ' )

p e ( H E A D , M E T A ) p e ( H E A D , M E T A )

= H E A D . f T I T L E . ` F a c u l t y D i r e c t o r y ' , M E T A , M E T A g 2

3 A n a p p r o a c h t o c o n s t r u c t i n g h i -

e r a r c h i c a l , s u b - p a g e l e v e l i n f o r m a -

t i o n s t r u c t u r e s

W e n o w d i s c u s s o u r a p p r o a c h f o r e x t r a c t i n g h i -

e r a r c h i c a l i n f o r m a t i o n o v e r t h e d o m a i n o f H T M L

d o c u m e n t s a t t h e s u b - p a g e l e v e l . W e c o n s i d e r t h e

h i e r a r c h i c a l s t r u c t u r e o f t h e d a t a c o n t e n t s e m b e d -

d e d i n a g i v e n H T M L d o c u m e n t D a n d r e p r e s e n t

i t a s a n e n h a n c e d S D T

D

. T h e h i e r a r c h y o f t h e

d a t a c o n t e n t s o f D i s o b t a i n e d b y r e s t r u c t u r i n g

t h e i n t e r n a l s t r u c t u r e o f t h e H T M L e l e m e n t s i n D

a c c o r d i n g t o t h e H T M L g r a m m a r . T h i s p r o c e s s

c o n s i s t s o f t w o s t e p s :

A p p r o x i m a t i o n o f D : T h e a p p r o x i m a t e d S D T o f

D , d e n o t e d S D T

0

D

, i s c o n s t r u c t e d b a s e d o n

t h e H T M L g r a m m a r w h i l e e x c l u d i n g t h e s t a r t -

a n d e n d - t a g s o f t y p e 2 e l e m e n t s i n D . T h e

e e c t o f t h i s s t e p i s t h r e e f o l d . F i r s t , e l e m e n t s

i r r e l e v a n t t o t h e h i e r a r c h y o f t h e d a t a c o n t e n t s

o f D a r e e l i m i n a t e d . S e c o n d , t h e i n t e n d e d

h i e r a r c h y o f t h e d a t a c o n t e n t s i s p r e s e r v e d .

T o b e t t e r u n d e r s t a n d t h i s a s s e r t i o n , c o n s i d e r

t h e l e a f n o d e s o f t h e s u b t r e e r o o t e d a t I

o f S D T

d i r : h t m

i n F i g u r e 2 . T h e t h r e e l e a f

n o d e s o f t h e s u b t r e e a r e s u p p o s e d t o f o r m

a s i n g l e s e n t e n c e i n d i r . h t m ; h o w e v e r , t h e y

a r e s e p a r a t e d i n t o t h r e e o b j e c t s i n S D T

d i r : h t m

b y t h e B e l e m e n t . T h i s p r o b l e m i s s o l v e d b y

a p p r o x i m a t i o n .

M i g r a t i o n t o C T

D

: A f t e r a p p r o x i m a t i o n , t h e r e -

m a i n i n g H T M L t a g s i n S D T

0

D

a r e r e m o v e d

w h i l e p r e s e r v i n g t h e i n t e n d e d h i e r a r c h y o f t h e

d a t a c o n t e n t s i n D . T h e m i g r a t i n g s t e p f r o m

S D T

0

D

t o t h e c o n t e n t t r e e o f D ( i . e . , C T

D

)

i s a c c o m p l i s h e d b y c l u s t e r i n g , m e r g i n g , a n d

p r o m o t i n g t h e d a t a c o n t e n t s i n D b a s e d o n t h e

c o h e r e n c e f a c t o r a m o n g t h e t o k e n s i n S D T

0

D

.


5/10

D e n i t i o n 8 G i v e n a n S D T ( o r S D T

0

) S w i t h k

n o d e s n

1

, n

2

, : : : , n

k

, t h e c o h e r e n c e f a c t o r ( c . f . )

b e t w e e n n

i

a n d n

j

( 1 i ; j k ) , d e n o t e d n

i

n

j

,

i s

n

i

n

j

=

(

1

n

n

i

; n

j

i f i 6= j ;

M A X I N T o t h e r w i s e .

w h e r e n

n

i

; n

j

i s t h e s m a l l e s t n u m b e r o f e d g e s b e -

t w e e n n

i

a n d n

j

i n S . 2

T h e c o h e r e n c e f a c t o r o f t w o n o d e s n

1

a n d n

2

i n a n S D T ( r e s p . S D T

0

) m e a s u r e s h o w c l o s e l y n

1

a n d n

2

a r e r e l a t e d . I f i = j , t h e n c : f : = M A X I N T

( i n o t h e r w o r d s , n

n

i

; n

j

= 0 ) . H e n c e , a n o d e i s

c o h e r e n t t o i t s e l f s t r o n g e r t h a n t o a n y o t h e r n o d e s .

n

n

i

; n

j

= 1 i f e i t h e r n

i

i s t h e p a r e n t n o d e o f n

j

, o r

v i c e v e r s a , n

n

i

; n

j

= 2 i f n

i

a n d n

j

a r e s i b l i n g s o r

i f o n e n o d e i s t h e g r a n d p a r e n t o f t h e o t h e r , a n d s o

f o r t h .

3 . 1 C o n s t r u c t i o n o f a p p r o x i m a t e d S D T

T h e r s t t a s k o f t h i s s t e p i s t o d i s t i n g u i s h H T M L

e l e m e n t s o f t y p e 2 f r o m t y p e 1 i n o r d e r t o l t e r o u t

t y p e 2 e l e m e n t s s i n c e t h e y e i t h e r d o n o t c o n t r i b u t e

t o t h e h i e r a r c h i c a l ( i n f o r m a t i o n ) s t r u c t u r e o f d a t a

c o n t e n t s o r a r e n o t c o n t a i n e r s , i . e . , t h e y d o n o t

h a v e d a t a c o n t e n t s t o b e m a r k e d u p i n a n H T M L

d o c u m e n t .

W e g r o u p H T M L e l e m e n t s i n t o t y p e 1 a n d

t y p e 2 a c c o r d i n g t o t h e H T M L 3 . 2 R e f e r e n c e

S p e c i c a t i o n 1 5 ] . F i r s t , w e i n c l u d e t e x t - l e v e l

e l e m e n t s i n t o t y p e 2 w i t h t h e e x c e p t i o n o f A . T h e s e

e l e m e n t s d o n o t c a u s e p a r a g r a p h b r e a k a n d h e n c e

d o n o t c o n t r i b u t e t o t h e h i e r a r c h i c a l s t r u c t u r e o f

d a t a c o n t e n t s . S e c o n d , w e i n c l u d e i n t o t y p e 2

a l l t h e n o n - c o n t a i n e r e l e m e n t s a m o n g t h e r e s t o f

t h e H T M L e l e m e n t s i n D w i t h t h e e x c e p t i o n o f

M E T A . N o n - c o n t a i n e r e l e m e n t s a r e m e a n i n g l e s s w i t h

r e s p e c t t o t h e c o n t e n t o f t h e H T M L d o c u m e n t .

E l e m e n t s b e l o n g e d t o e i t h e r t y p e 1 o r 2 a r e s h o w n

i n T a b l e 1 . W e d e n e t h e a p p r o x i m a t e d S D T

c o n s t r u c t e d f r o m D w i t h t h e e x c l u s i o n o f e l e m e n t s

o f t y p e 2 b e l o w .

D e n i t i o n 9 G i v e n a n H T M L d o c u m e n t D , t h e

S D T c o n s t r u c t e d f r o m D b y e x c l u d i n g t h e s t a r t -

a n d e n d - t a g s o f t y p e 2 i s c a l l e d t h e a p p r o x i m a t e d

s e m i s t r u c t u r e d d a t a t r e e S D T

0

D

o f D , a n d t h e

p r o c e s s o f c o n s t r u c t i n g S D T

0

D

i s c a l l e d a p p r o x i m a -

t i o n . 2

G i v e n t h r e e t o k e n s t

1

, t

2

, a n d t

3

w h i c h a p p e a r

i n a r o w i n D , w h e r e t

1

a n d t

3

a r e o f d a t a t y p e

a n d t

2

i s o f t y p e 2 , t

1

a n d t

3

a r e c o n c a t e n a t e d t o

y i e l d a s i n g l e t o k e n o f d a t a t y p e b y a p p r o x i m a -

t i o n . A s a r e s u l t o f a p p r o x i m a t i o n , t h e c o n t a i n e r

c o f a n H T M L e l e m e n t e i n D a n d t h e e l e m e n t

r e p r e s e n t e d b y t h e p a r e n t n o d e o f e i n S D T

0

D

m a y

b e d i e r e n t s i n c e c m a y b e e l i m i n a t e d d u r i n g t h e

a p p r o x i m a t i o n o f D . H e n c e , d u r i n g t h e p r o c e s s o f

c o n s t r u c t i n g S D T

0

D

, w e n e e d t o i d e n t i f y t h e i m -

m e d i a t e c o n t a i n e r o f a t o k e n . F o r t h i s p u r p o s e , w e

m a i n t a i n a s t a c k t o a s s e r t t h e c o n t a i n e r o f a t o k e n

, a n d s u b s e q u e n t l y t h e p a r e n t n o d e o f i n S D T

0

D

w h i l e S D T

0

D

i s b e i n g c o n s t r u c t e d . T h e r e a r e t w o

o p e r a t i o n s d e n e d o v e r : w h e n a s t a r t - t a g s o f a

t a g t o k e n i n D i s i d e n t i e d , t h e t a g n a m e

s

o f s i s

p u s h e d o n t o t h e s t a c k a s t h e c o r r e s p o n d i n g s t a c k

s y m b o l , w h e r e a s t h e a p p e a r a n c e o f a n e n d - t a g e ,

w h i c h e i t h e r a p p e a r s e x p l i c i t l y o r i s i m p l i e d i n D ,

r e s u l t s i n p o p p i n g t h e t o p o f t h e s t a c k w h i c h i s t h e

c o r r e s p o n d i n g s t a r t - t a g o f e . F o r a t a g o f d a t a t y p e ,

n o s t a c k o p e r a t i o n i s p e r f o r m e d . A n e w n o d e i s

c r e a t e d a n d a t t a c h e d t o S D T

0

D

i f t h e c u r r e n t t o k e n

i s e i t h e r a s t a r t - t a g o r o f d a t a t y p e .

B a s e d o n t h e s t a c k a n d i t s s t a c k o p e r a t i o n s d e -

n e d a b o v e , w e n o w d e t a i l t h e c o n s t r u c t i o n p r o c e s s

o f S D T

0

D

. D c o n s i s t s o f t w o b l o c k s , h e a d a n d

b o d y , c o n t i n g e n t o n t h e e x i s t e n c e o f H E A D a n d B O D Y

e l e m e n t s i n D . W h i l e w e c o n s t r u c t S D T

0

D

, w e

a p p l y a f e w c o n s t r u c t i o n r u l e s t o D . R e c a l l t h a t

a s t a c k o p e r a t i o n , e i t h e r p u s h o r p o p , i s p e r f o r m e d

w h e n e v e r t h e c u r r e n t t o k e n i s e i t h e r a s t a r t - t a g o r

a n e n d - t a g . I n a d d i t i o n , t a g t o k e n s o f t y p e 2 a r e

i g n o r e d . F o r t h e h e a d b l o c k o f D , w e a p p l y t h e

f o l l o w i n g r u l e s t o c o n s t r u c t n o d e s i n S D T

0

D

:

1 . C o n s t r u c t t h e r o o t n o d e V

R

o f S D T

0

D

a n d l a b e l

i t b y t h e U R L o f D .

2 . A t t a c h t h e n o d e T I T L E a s a c h i l d o f t h e r o o t

n o d e , a n d c r e a t e a c h i l d n o d e o f T I T L E w i t h

t h e c o n t e n t o f T I T L E . < T I T L E > i s t h e o n l y

r e q u i r e d e l e m e n t i n a n H T M L d o c u m e n t w h i c h

p r o v i d e s a ( s h o r t ) d e s c r i p t i o n o f t h e c o n t e n t o f

D .

3 . I f < M E T A N A M E = \ k e y w o r d s " V A L U E = s t r > e x i s t s

i n t h e h e a d b l o c k , t h e n c r e a t e t h e n o d e s w i t h

l a b e l s K E Y W O R D S a n d s t r a n d e d g e s s u c h t h a t

V

R

K E Y W O R D S s t r , w h e r e s t r i s t h e v a l u e

o f t h e V A L U E a t t r i b u t e . < M E T A > i s n o t a c o n -

t a i n e r ; h o w e v e r , < M E T A > i s w i d e l y u s e d f o r

s p e c i f y i n g a l i s t o f k e y w o r d s r e l e v a n t t o D .

W e i g n o r e a n y o t h e r H T M L e l e m e n t s i n t h e

h e a d b l o c k s i n c e t h e y a r e n o t c o n t a i n e r s . F o r t h e

b o d y b l o c k o f D , w e a p p l y t h e f o l l o w i n g r u l e s :

4 . F o r t o k e n s t

s

t

c

t

e

, w h e r e t

s

i s a s t a r t - t a g , t

c

i s t h e c o n t e n t o f t

s

s u c h t h a t t

c

d o e s n o t s t a r t

w i t h a n a n c h o r , a n d t

e

i s t h e e n d - t a g o f t

s

,

a n e w n o d e i s c r e a t e d f o r t

c

a n d a n e d g e i s

a t t a c h e d f r o m n o d e t

c

t o t h e e x i s t i n g n o d e t

s

.

5 . S u p p o s e < A > i s d e t e c t e d s u c h t h a t t h e d e p e n -

d e n c i e s p A C

2

h o l d i n D , a n d p C

1

a n d p C

3

m a y o r m a y n o t h o l d b e f o r e a n d

a f t e r p A C

2

, r e s p e c t i v e l y i n D , w h e r e

C

1

a n d C

3

a r e d a t a c o n t e n t o f p a n d C

2

i s t h e


6/10

H T M L e l e m e n t s t y p e 1 t y p e 2

h e a d c o n t e n t T I T L E , M E T A y I S I N D E X , B A S E , L I N K , S C R I P T , S T Y L E , M E T A y

h e a d i n g s H 1 , H 2 , H 3 , H 4 , H 5 , H 6

P , U L , O L , D I R , M E N U , L I I S I N D E X , H R

b l o c k - l e v e l D L , D T , D D , P R E , F O R M

D I V , C E N T E R , T A B L E , T H

T R , T D , B L O C K Q U O T E

b o d y f o n t T T , I , B , U , S T R I K E , B I G , S M A L L

c o n t e n t S U B , S U P

t e x t - l e v e l p h r a s e E M , S T R O N G , D F N , C O D E , S A M P , K B D

V A R , C I T E

s p e c i a l A I M G , A P P L E T , F O N T , B A S E F O N T , B R

S C R I P T , M A P

f o r m I N P U T , S E L E C T , T E X T A R E A

a d d r e s s A D D R E S S

y M E T A w i t h t h e n a m e a t t r i b u t e = \ k e y w o r d s " i s c o n s i d e r e d t y p e 1 , w h i l e o t h e r M E T A s a r e t y p e 2 .

< H T M L > , < H E A D > , < B O D Y > , a n d < ! > a r e a l s o t r e a t e d a s t y p e 2 e l e m e n t s .

T a b l e 1 : T w o g r o u p s o f H T M L e l e m e n t s , t y p e 1 a n d t y p e 2

d a t a c o n t e n t o f < A > . T h e n , w e i g n o r e < A >

a n d < / A > a n d c r e a t e a n e w n o d e

C a s e 1 : C

1

i f b o t h C

1

a n d C

3

e x i s t , a n d l a b e l

t h e n e w n o d e a s C

1

C

2

C

3

.

C a s e 2 : C

1

i f o n l y C

1

e x i s t s , a n d l a b e l t h e

n e w n o d e a s C

1

C

2

.

C a s e 3 : C

2

i f o n l y C

3

e x i s t s , a n d l a b e l t h e

n e w n o d e a s C

2

C

3

.

C a s e 4 : C

2

i f n e i t h e r C

1

n o r C

3

e x i s t s , a n d

l a b e l t h e n e w n o d e a s C

2

.

A t t a c h t h e n e w n o d e a s a c h i l d o f t h e e x i s t i n g

n o d e p a n d i n t u r n a t t a c h t h e H R E F a t t r i b u t e o f

< A > a s a c h i l d o f t h e n e w n o d e . A n H R E F n o d e

i s k e p t a s a p l a c e h o l d e r f o r t h e r o o t n o d e o f

a n o t h e r S D T

0

c o n s t r u c t e d f r o m t h e d o c u m e n t

s p e c i e d i n t h e l i n k w h i c h a p p e a r s i n t h e H R E F

a t t r i b u t e .

E x a m p l e 6 C o n s i d e r d i r . h t m i n F i g u r e 1 ( b ) a n d

t h e S D T

0

o f d i r . h t m a s s h o w n i n F i g u r e 3 . B y

C o n s t r u c t i o n R u l e 1 , w e c r e a t e t h e U R L o f ` d i r .

h t m ' a s t h e r o o t n o d e o f S D T

0

d i r : h t m

. I n a d d i -

t i o n , T I T L E a n d M E T A ( w i t h \ K E Y W O R D S " a s i t s

n a m e ) a r e c r e a t e d o u t o f t h e h e a d b l o c k t o k e n s o f

d i r . h t m b y C o n s t r u c t i o n R u l e s 2 a n d 3 , r e s p e c -

t i v e l y . O t h e r t o k e n s , i n c l u d i n g < ! D O C T Y P E > a n d

t h e o t h e r < M E T A > , a r e d i s c a r d e d .

T h e H T M L s p e c i c a t i o n o n < A > i s o v e r r i d d e n

b y C o n s t r u c t i o n R u l e 4 . A l s o n o t e t h a t b y a p p r o x -

i m a t i o n , t o k e n s o f t y p e 2 , s u c h a s < I > , < B > a n d

< H R > , a r e d i s c a r d e d a n d h e n c e t h e t h r e e t o k e n s o f

d a t a t y p e ` N o t e : T h i s p a g e i s a ' , ` m o d i f i e d '

a n d ` d i r e c t o r y o f . . . ' y i e l d a s i n g l e n o d e ,

w h i c h d i e r s f r o m S D T

d i r : h t m

i n F i g u r e 2 . F o r t h e

r e s t o f t h e t o k e n s i n t h e b o d y b l o c k , C o n s t r u c t i o n

R u l e 4 i s a p p l i e d . 2

F i g u r e 3 : S D T

0

o f d i r . h t m

3 . 2 M i g r a t i o n f r o m S D T

0

t o C T

T h e n a l s t e p i n o u r a p p r o a c h f o r c o n s t r u c t i n g t h e

c o n t e n t t r e e o f t h e g i v e n H T M L d o c u m e n t D i s t h e

m i g r a t i o n f r o m S D T

0

D

t o C T

D

b y ( i ) s e c t i o n i n g t h e

n o d e s i n S D T

0

D

, ( i i ) c l u s t e r i n g t h e n o d e s o f d a t a

t y p e w i t h i n a s e c t i o n o f S D T

0

D

, ( i i i ) m e r g i n g t h e

c l u s t e r s w i t h i n a s e c t i o n , a n d ( i v ) p r o m o t i n g t h e

c l u s t e r s t o w a r d s t h e r o o t n o d e o f S D T

0

D

.

T h e k e y c o m p o n e n t s i n v o l v e d i n t h e m i g r a t i o n

p r o c e s s o f S D T

0

D

a r e t h e n o t i o n o f s e c t i o n , c l u s t e r ,

a n d d e p e n d e n c y c o n s t r a i n t ( w h i c h i s e x t e n d e d f r o m

D e n i t i o n 3 ) . S e c t i o n s a n d c l u s t e r s a r e b o t h l o g i c a l

u n i t s o f n o d e s i n S D T

0

D

, i . e . , e a c h o n e i s a s u b s e t

o f n o d e s i n S D T

0

D

w i t h t h e i r a s s o c i a t e d e d g e s . T h e

d i e r e n c e b e t w e e n a s e c t i o n a n d a c l u s t e r i s t h a t a

c l u s t e r C i s c r e a t e d a n d e v o l v e d w i t h i n a s e c t i o n S

a n d r e s i d e s i n S o n l y . T h e c o n t a i n e r - c o n t e n t r e l a -


7/10

t i o n s h i p a m o n g t h e n o d e s i n C m i g h t c h a n g e w h i l e C

i s e v o l v e d d u r i n g t h e m i g r a t i o n p r o c e s s . R e g a r d i n g

s e c t i o n s a n d c l u s t e r s , n o t e t h a t t h e c o h e r e n c e f a c t o r

o f a n y t w o t o k e n s a t t h e s a m e l e v e l i s c o n s i d e r e d a s

M A X I N T , i f t h e y b e l o n g t o t h e s a m e s e c t i o n o r

c l u s t e r .

D e n i t i o n 1 0 G i v e n a n S D T

0

a n d l e t N b e t h e

n u m b e r o f c h i l d r e n o f t h e r o o t n o d e V

R

o f S D T

0

.

A s e c t i o n S c o n s i s t s o f o n e o r m o r e s i b l i n g n o d e s

n

1

, n

2

, : : : , n

k

( 1 k N ) a n d t h e i r d e s c e n d a n t s

i n S D T

0

, w h e r e

n

i

( 1 i k ) i s a c h i l d o f V

R

.

n

1

, t h e l e f t m o s t n o d e ( l - n o d e ) o f S , i s e i t h e r ( i )

t h e n o d e n e x t t o t h e T I T L E n o d e o r K E Y W O R D S

n o d e , w h i c h e v e r a p p e a r s r i g h t m o s t i n S D T

0

D

,

o r ( i i ) a h e a d i n g n o d e ( i . e . , H 1 , H 2 , : : : o r H 6 ) .

n

k

, t h e r i g h t m o s t n o d e ( r - n o d e ) o f S , i s e i -

t h e r ( i ) a n o d e a p p e a r e d p r i o r t o a h e a d i n g

o r A D D R E S S n o d e , w h i c h e v e r a p p e a r s l e f t m o s t

i n S D T

0

D

a f t e r t h e l - n o d e o f S , o r ( i i ) t h e

r i g h t m o s t c h i l d n o d e o f V

R

i f t h e r e i s n o o t h e r

h e a d i n g o r A D D R E S S n o d e a f t e r t h e l - n o d e .

A s e c t i o n S h a s a n a t t r i b u t e , c a l l e d t y p e

S

,

w h o s e v a l u e i s e i t h e r H 1 , H 2 , H 3 , H 4 , H 5 , H 6 , d a t a

o r t a g , d e t e r m i n e d b y i t s l - n o d e o f S s u c h t h a t ( i )

i f t h e l - n o d e i s a h e a d i n g H ,

S

i s H , ( i i ) i f t h e

l - n o d e i s a t o k e n o f t a g t y p e o t h e r t h a n a h e a d i n g ,

S

i s t a g , o r ( i i i ) i f t h e l - n o d e i s a t o k e n o f d a t a

t y p e ,

S

i s d a t a . A m o n g d i e r e n t t y p e s o f s e c t i o n s ,

H 1 i s t h e m o s t i m p o r t a n t , f o l l o w e d b y H 2 , : : : , H 6 ,

a n d d a t a , w h e r e a s t a g i s t h e l e a s t i m p o r t a n t . 2

E x a m p l e 7 C o n s i d e r t h e S D T

0

d i r : h t m

i n F i g u r e 3 .

A c c o r d i n g t o D e n i t i o n 1 0 , s e c t i o n 1 , w h i c h c o n -

t a i n s t h e s u b t r e e r o o t e d a t H 1 a n d a n y s u b t r e e s o f

t h e r o o t n o d e d i r : h t m b e t w e e n t h e H 1 n o d e a n d t h e

l e f t m o s t H 2 n o d e , i s c r e a t e d . S i m i l a r l y , s e c t i o n 2

a n d s e c t i o n 3 a r e c r e a t e d a s s h o w n i n F i g u r e 4 . 2

D e n i t i o n 1 1 G i v e n a s e c t i o n S i n a n S D T

0

, a

c l u s t e r c o n t a i n s o n e o r m o r e s u b t r e e s i n S . A c l u s -

t e r h a s a n a t t r i b u t e , c a l l e d t y p e , w h o s e v a l u e i s

e i t h e r H 1 , H 2 , H 3 , H 4 , H 5 , H 6 , d a t a o r t a g , a n d

H 1 i s t h e m o s t i m p o r t a n t , w h e r e a s t a g i s t h e l e a s t

i m p o r t a n t . T o p - l e v e l n o d e s ( t - n o d e s ) o f a c l u s t e r C

a r e t h e n o d e s i n C w h i c h a r e c l o s e r t o t h e r o o t n o d e

o f S D T

0

t h a n o t h e r s i n C . 2

W e n o w e x t e n d t h e \ d e p e n d e n c y c o n s t r a i n t " d e -

n e d i n D e n i t i o n 3 a n d a p p l y t h e c o n c e p t t o o t h e r

d o m a i n s . R e c a l l t h a t t h e d e p e n d e n c y c o n s t r a i n t i n

D e n i t i o n 3 i s a p p l i e d t o o b j e c t s . T h e e x t e n d e d

d e p e n d e n c y c o n s t r a i n t i s a p p l i e d t o s e c t i o n s a n d

c l u s t e r s a s w e l l a s t o o b j e c t s . W h e n a l o g i c a l u n i t

o f t o k e n s A , w h i c h i s e i t h e r a s e c t i o n , a c l u s t e r , o r

a n o d e i n S D T

0

D

, i s m o r e i m p o r t a n t ( i . e . , c o n c e p -

t u a l l y s u p e r i o r ) t h a n a n o t h e r l o g i c a l u n i t o f t o k e n s

F i g u r e 4 : S e c t i o n s i n S D T

0

d i r : h t m

F i g u r e 5 : U n i t c l u s t e r s i n s e c t i o n 3

B , w e s a y t h a t A d e p e n d s o n B o r B i s r e l e v a n t t o

A , d e n o t e d b y A B .

D e n i t i o n 1 2 G i v e n t w o l o g i c a l u n i t s o f t o k e n s ,

A a n d B , A d e p e n d s o n B i f

1 . t h e t y p e o f A i s m o r e i m p o r t a n t t h a n t h a t

o f B , w h e r e A a n d B a r e s e c t i o n s . L e t L

A

( r e s p . L

B

) b e t h e l - n o d e o f A ( r e s p . B ) , a n d

t h i s d e p e n d e n c y c o n s t r a i n t i s d e n o t e d a s L

A

L

B

.

2 . t h e t y p e o f A i s m o r e i m p o r t a n t t h a n t h a t o f

B

i

, 1 i , w h e r e A a n d B

i

a r e c l u s t e r s i n t h e

s a m e s e c t i o n . L e t T

A

( r e s p . T

B

i

) b e t h e t -

n o d e ( i . e . , t o p - l e v e l n o d e ) i n A ( r e s p . B

i

) , a n d

t h i s d e p e n d e n c y c o n s t r a i n t i s d e n o t e d a s T

A

T

B

i

, f o r a l l i . 2

I n a s s o c i a t i o n w i t h t h e d e n i t i o n o f c l u s t e r , w e

d e n e t h e o p e r a t o r s ( ) , w h i c h i s a u n a r y o p e r a t o r


8/10

f o r c r e a t i n g a c l u s t e r , c a l l e d u n i t c l u s t e r i n g o p e r -

a t o r , w h o s e a r g u m e n t i s a t o k e n , a n d + ( ) , w h i c h

i s a b i n a r y o p e r a t o r , c a l l e d c l u s t e r m e r g i n g o p e r a -

t o r , w h e r e e a c h o f i t s a r g u m e n t s i s a c l u s t e r . T h e

o p e r a t o r s a r e d e s c r i b e d b e l o w .

1 . ( u n i t c l u s t e r i n g ) I f i s a t o k e n o f d a t a t y p e ,

t h e n ( ) y i e l d s a c l u s t e r o f d a t a t y p e w h i c h

i n c l u d e s a n d i t s d e s c e n d a n t s ( i f t h e y e x i s t ) .

2 . ( c l u s t e r m e r g i n g ) C l u s t e r s i n a n S D T

0

c a n b e

m e r g e d i f t h e f o l l o w i n g c o n s t r a i n t s h o l d : ( i )

t h e i r r o o t n o d e s a r e s i b l i n g s o f t h e s a m e p a r e n t

p , a n d ( i i ) t h e i r r o o t n o d e s a r e i n t h e s a m e

s e c t i o n o f S D T

0

. + ( C

d

1

, C

d

2

) , w h e r e C

d

1

i s a

c l u s t e r o f t y p e

1

a n d C

d

2

i s a c l u s t e r o f t y p e

2

, m e r g e s C

d

1

a n d C

d

2

w h i c h y i e l d s a n e w

c l u s t e r C s u c h t h a t

2 . 1 . t h e t y p e o f C i s

1

( r e s p .

2

) , a n d C

d

1

( r e s p . C

d

2

) d e p e n d s o n C

d

2

( r e s p . C

d

1

)

i n C , i f

2

( r e s p .

1

) i s l e s s i m p o r t a n t

t h a n

1

( r e s p .

2

) , a n d

2 . 2 . t h e t y p e o f C i s

1

, a n d C

d

1

a p p e a r s o n

t h e l e f t - h a n d s i d e o f C

d

2

i n C , i f

1

i s a s

i m p o r t a n t a s

2

.

T h e c o h e r e n c e f a c t o r a m o n g t - n o d e s t h a t b e -

l o n g t o t w o d i e r e n t c l u s t e r s t h a t a r e m e r g e d

i s u p g r a d e d t o M A X I N T .

3 . ( c l u s t e r p r o m o t i o n ) I f a p a r e n t n o d e p h a s o n l y

o n e c h i l d w h i c h i s a c l u s t e r o r a l l t h e c l u s -

t e r s w h o s e r o o t n o d e s a r e r e l e v a n t t o t h e s a m e

p a r e n t p a r e m e r g e d , d i s c a r d p a n d m a r k t h e

r e s u l t i n g c l u s t e r a s t a g t y p e . I f p i s o n e o f t h e

h e a d i n g s H 1 , H 2 , : : : , o r H 6 , t h e n t h e a t t r i b u t e

o f t h e r e s u l t i n g c l u s t e r i s s e t t o e i t h e r H 1 , H 2 ,

: : : , o r H 6 , r e s p e c t i v e l y , a f t e r p i s d i s c a r d e d .

N o t e t h a t i f n o d e n

2

i s r e m o v e d f r o m t h e d e -

p e n d e n c y r e l a t i o n s h i p n

1

n

2

n

3

, t h e n n

1

n

3

m a i n t a i n s t h e a s y m m e t r i c p r o p e r t y o f

t h e r e l a t i o n s h i p b e t w e e n n

1

a n d n

3

. A f t e r b e -

i n g p r o m o t e d , a c l u s t e r m o v e s u p w a r d t o w a r d s

t h e r o o t n o d e o f t h e t r e e .

B y m e r g i n g a n d p r o m o t i o n , a l l t h e H T M L t a g s

i n a n H T M L d o c u m e n t D , w i t h t h e e x c e p t i o n o f

T I T L E , H R E F a t t r i b u t e s , a n d A D D R E S S , a r e e x c l u d e d

f r o m S D T

0

D

, b u t t h e t o k e n s o f d a t a t y p e r e m a i n i n

t h e r e s u l t i n g C T

D

, a n d t h e c o h e r e n c e f a c t o r a m o n g

t h e r e m a i n i n g t o k e n s i s f u r t h e r u p g r a d e d .

E x a m p l e 8 C o n s i d e r t h e s e c t i o n s i n F i g u r e 4 a n d

t h e t o k e n s i n e a c h s e c t i o n . W e d e m o n s t r a t e t h e

c r e a t i o n , m e r g i n g , a n d p r o m o t i o n o f c l u s t e r s i n s e c -

t i o n 3 . F i g u r e 5 s h o w s t h r e e u n i t c l u s t e r s , C

1

, C

2

,

a n d C

3

, o f d a t a t y p e g e n e r a t e d i n s e c t i o n 3 . S i n c e

e a c h o f C

1

, C

2

, a n d C

3

i s t h e o n l y c l u s t e r o f i t s

p a r e n t n o d e , t h e c l u s t e r p r o m o t i o n r u l e i s a p p l i e d

t o e a c h o f t h e s e c l u s t e r s , y i e l d i n g c l u s t e r s C

1

, C

2

,

F i g u r e 6 : P r o m o t i o n o f c l u s t e r s C

2

a n d C

3

a f t e r

m e r g i n g

F i g u r e 7 : P r o m o t i o n o f c l u s t e r C

4

a f t e r r e m o v i n g

U L

a n d C

3

i n F i g u r e 6 . N o t e t h a t t h e t y p e o f C

1

i s s e t

t o H 2 , w h e r e a s t h e t y p e s o f C

2

a n d C

3

a r e s e t t o

t a g .

N o w , c o n s i d e r C

2

a n d C

3

i n F i g u r e 6 a g a i n . C

2

a n d C

3

h a v e t h e s a m e p a r e n t U L , a n d h e n c e t h e y

a r e m e r g e d w h i c h y i e l d s t h e c l u s t e r C

4

o f t a g t y p e

a c c o r d i n g t o t h e C l u s t e r M e r g i n g R u l e 2 . 2 . A f t e r

m e r g i n g , t h e r e s u l t i n g c l u s t e r C

4

c a n b e f u r t h e r

p r o m o t e d a n d i t s p a r e n t n o d e U L i s r e m o v e d b y

R u l e 3 . F i g u r e 7 s h o w s t h e c l u s t e r s i n s e c t i o n 3

a f t e r t h e m e r g i n g a n d p r o m o t i o n o p e r a t i o n s h a v e

b e e n a p p l i e d . B y n o w , c l u s t e r s C

1

a n d C

4

i n s e c -

t i o n 3 h a v e t h e s a m e p a r e n t w h i c h i s t h e r o o t n o d e

a n d h e n c e t h e c l u s t e r m e r g i n g r u l e c a n b e a p p l i e d

a g a i n . N o t e t h a t R u l e 2 . 1 i s a p p l i e d s i n c e t h e t y p e

o f C

1

i s H 2 , w h e r e a s t h e t y p e o f C

4

i s t a g . T h e

r e s u l t i n g c l u s t e r i s s h o w n i n F i g u r e 8 .

S i m i l a r l y , t h e u n i t c l u s t e r ` C S D e p a r t m e n t F a -

c u l t y D i r e c t o r y ' o f d a t a t y p e ( c a l l e d C

5

) i n s e c -

t i o n 1 i s p r o m o t e d t o b e o f t y p e H 1 a n d i t s p a r e n t

n o d e H 1 i s r e m o v e d f r o m S T D

0

d i r : h t m

i n F i g u r e 4 .


9/10

F i g u r e 8 : M e r g i n g c l u s t e r C

4

t o c l u s t e r C

1

F i g u r e 9 : F i n a l C T o f d i r . h t m

A l s o , t h e o t h e r u n i t c l u s t e r o f d a t a t y p e , ` N o t e :

. . . ' ( c a l l e d C

6

) i s m e r g e d w i t h C

5

a s s h o w n i n

F i g u r e 9 .

W e n o w s p e c i f y t h e d e p e n d e n c y c o n s t r a i n t b e -

t w e e n s e c t i o n 1 a n d s e c t i o n 3 . S i n c e t h e t y p e

o f s e c t i o n 1 i s H 1 a n d t h a t o f s e c t i o n 3 i s H 2 ,

s e c t i o n 1 d e p e n d s o n s e c t i o n 3 a n d h e n c e ` C S

D e p a r t m e n t F a c u l t y D i r e c t o r y ' ` V i s i t i n g

F a c u l t y ' . S i m i l a r l y , s e c t i o n 2 d e p e n d s o n s e c -

t i o n 1 a n d h e n c e t h e l - n o d e o f s e c t i o n 2 ( i . e . ,

P r o f e s s o r s , a f t e r p r o m o t i o n a n d m e r g i n g ) b e -

c o m e s a r e l e v a n t n o d e t o t h e l - n o d e o f s e c t i o n 1 , i . e . ,

` C S D e p a r t m e n t F a c u l t y D i r e c t o r y ' . F i g u r e 9

s h o w s t h e C T o f d i r . h t m . 2

3 . 3 U s e o f C T s

W e h a v e d e m o n s t r a t e d t h e p r o c e s s o f c o n s t r u c t i n g

C T

D

f r o m a g i v e n H T M L d o c u m e n t D . F o r p r a c -

t i c a l u s e , C T

D

i s p r e s e n t e d i n i t s l e x i c a l f o r m a t s o

t h a t u s e r s c a n d e v e l o p a q u e r y p r o c e s s o r o r u s e a n

e x i s t i n g o n e o n t o p o f t h e l e x i c a l C T

D

t o r e t r i e v e

h i e r a r c h i c a l , s u b - p a g e l e v e l i n f o r m a t i o n f r o m D .

C o n s i d e r C T

d i r : h t m

a s s h o w n i n F i g u r e 9 . W e

c a n o b t a i n t h e l e x i c a l C T

d i r : h t m

f r o m C T

d i r : h t m

b y

d e t e r m i n i n g t h e l o n g n a m e s a n d p a t h e x p r e s s i o n s

o f n o d e s i n C T

d i r : h t m

i n a s i m i l a r m a n n e r a s w e

d o f o r l e x i c a l S D T s . T h e l e x i c a l C T

d i r : h t m

, i . e . ,

L

d i r : h t m

, i s

` d i r : h t m ' . f

T I T L E . ` F a c u l t y D i r e c t o r y ' ,

K E Y W O R D S . ` C S ; c o m p u t e r s c i e n c e , f a c u l t y ,

d i r e c t o r y ' , ` C S D e p a r t m e n t F a c u l t y D i r e c t o r y ' . f

` N o t e : T h i s p a g e i s a m o d i e d d i r e c t o r y . . . ' ,

` P r o f e s s o r s ' . f

` R o b e r t P r e e c e B u r t o n ( p b u r t o n @ c s : b y u : e d u ) ' .

` H R E F = \ r p b u r t o n : h t m l " ' ,

` D o u g l a s M : C a m p b e l l ( c a m p b e l l @ c s : b y u : e d u ) ' .

` H R E F = \ d m c a m p b e l l : h t m l " ' ,

` E v a n I v i e ( e v a n @ c s : b y u : e d u ) ' . ` H R E F =

\ e i v i e : h t m l " ' ,

g ,

` V i s i t i n g F a c u l t y ' . f

` T i m o u r T : P a l t a s h e v ( t i m o u r l @ c s : b y u : e d u ) ' .

` H R E F = \ h t t p : = = s t u d e n t s : c s : b y u : e d u = ~ t i m p a l " ' ,

` E v a n I v i e ( e v a n i @ c s : b y u : e d u ) ' .

` H R E F = \ e v i v i e : h t m l " ' ,

g

g ,

A D D R E S S . ` C o m m e n t s t o w e b m a s t e r ' . ` H R E F =

\ = w e b m a s t e r : h t m l " '

g

C o n s i d e r t h e l o n g n a m e o f e a c h l e a f n o d e i n

C T

d i r : h t m

, w h i c h i s e m b e d d e d i n L

d i r : h t m

. T h e

l o n g n a m e o f ` E v a n I v i e ' w h o i s a p r o f e s s o r i s

` d i r . h t m ' . ` C S D e p a r t m e n t F a c u l t y D i r e c t o r y ' .

` P r o f e s s o r s ' . ` E v a n I v i e ( e v a n @ c s . b y u . e d u ) ' ,

w h e r e a s t h e l o n g n a m e o f ` E v a n I v i e ' , w h o i s a

v i s i t i n g f a c u l t y m e m b e r , i s ` d i r . h t m ' . ` C S D e p a r t -

m e n t F a c u l t y D i r e c t o r y ' . ` V i s i t i n g F a c u l t y ' .

` E v a n I v i e ( e v a n i @ c s . b y u . e d u ) ' . T h u s , t h e t w o

` E v a n I v i e ' s a r e d i s t i n g u i s h a b l e b y t h e i r r e s p e c -

t i v e l o n g n a m e s . T h e f o l l o w i n g S Q L - l i k e q u e r y

r e t r i e v e s ` E v a n I v i e ( e v a n i @ c s . b y u . e d u ) ' v i a X

u s i n g a n S Q L - l i k e q u e r y p r o c e s s o r f o r s e m i s t r u c -

t u r e d d a t a a p p l i c a b l e t o L

d i r : h t m

:

s e l e c t * . ` V i s i t i n g F a c u l t y ' . X f r o m L

d i r : h t m

w h e r e X c o n t a i n s ` E v a n I v i e '

w h e r e ` * ' i n t h e s e l e c t s t a t e m e n t d e n o t e s a n a r -

b i t r a r y p a t h e x p r e s s i o n a n d c o n t a i n s i s a b u i l t - i n

p r e d i c a t e a s s e r t i n g t h a t X i n c l u d e s ` E v a n I v i e ' a s

a s u b s t r i n g .

N o w , c o n s i d e r t h e l o n g n a m e L

1

o f ` E v a n I v i e '

w h o i s a v i s i t i n g f a c u l t y m e m b e r i n S D T

d i r : h t m

, a n

e n h a n c e d p a r s e t r e e o f d i r . h t m i n F i g u r e 2 . L

1

i s

` d i r . h t m ' . H T M L . B O D Y . U L . L I . A . ` E v a n I v i e ' . R e -

c a l l t h a t S D T i s c o n s t r u c t e d s t r i c t l y b a s e d o n t h e

H T M L g r a m m a r . T h e b e n e t s o f C T o v e r S D T

a r e e v i d e n t i n t h i s e x a m p l e : u s e r s a v o i d d e a l i n g

w i t h H T M L e l e m e n t s t o i d e n t i f y a d a t a t o k e n i n

t h e t r e e r e p r e s e n t a t i o n o f a g i v e n H T M L d o c u m e n t .

M o r e i m p o r t a n t l y , C T p r o v i d e s \ b e t t e r " h i e r a r c h i -

c a l i n f o r m a t i o n o f a d a t a t o k e n t h a n S D T . A s


10/10

F i g u r e 1 0 : A s a m p l e q u e r y i n W e b V i e w

w e h a v e s e e n e a r l i e r , i t i s a m b i g u o u s w h i c h ` E v a n

I v i e ' s p e c i e d i n L

1

( g e n e r a t e d f r o m t h e l e x i c a l

S D T

d i r : h t m

) i s r e f e r r i n g t o .

T h e i m p l e m e n t a t i o n o f o u r h i e r a r c h i c a l i n f o r -

m a t i o n a p p r o a c h i s a b o u t h a l f w a y d o n e u s i n g

J a v a p r o g r a m m i n g l a n g u a g e . F i g u r e 1 0 s h o w s a

s n a p s h o t o f t h e W e b V i e w u s e r i n t e r f a c e w h i c h i s

c a p a b l e o f c o n s t r u c t i n g t h e S D T

0

o f a g i v e n H T M L

d o c u m e n t a n d p r o c e s s i n g S Q L - l i k e q u e r i e s . S i n c e

W e b V i e w w a s i m p l e m e n t e d o v e r S D T

0

s , t h e e x a m -

p l e q u e r y i n t h e g u r e c o n t a i n s a n H 2 t a g i n t h e

s e l e c t s t a t e m e n t . B y t h e t i m e t h e i m p l e m e n t a t i o n

o f C T s i s c o m p l e t e d , w h i c h i s i m p l e m e n t e d a s a n

e x t e n s i o n o f W e b V i e w , u s e r q u e r i e s c a n b e p o s t e d

w i t h o u t u s i n g H T M L t a g s .

4 C o n c l u s i o n s

D e a l i n g w i t h h i e r a r c h i c a l , s u b - p a g e l e v e l i n f o r m a -

t i o n o n a n H T M L d o c u m e n t D w i t h o u t k n o w i n g

t h e i n t e r n a l s t r u c t u r e o f D b e f o r e h a n d i s c h a l l e n g -

i n g d u e t o t h e f a c t t h a t t h e s t r u c t u r e o f D i s i r r e g -

u l a r a n d t h e H T M L t a g s o f t e n b r e a k t h e i n t e n d e d

h i e r a r c h y o f d a t a c o n t e n t s i n D . W e a n a l y z e t h e

H T M L s p e c i c a t i o n a n d i t s u s e o n t h e W e b , a n d

p r e s e n t a n a p p r o a c h w h i c h i s c a p a b l e o f c o n s t r u c t -

i n g a t r e e r e p r e s e n t a t i o n , c a l l e d c o n t e n t t r e e C T , o f

t h e d a t a c o n t e n t s i n a n H T M L d o c u m e n t w i t h o u t

t h e H T M L t a g s w h i l e p r e s e r v i n g i t s i n t e n d e d h i e r -

a r c h y . A l s o , w e d o n o t a s s u m e t h a t t h e s t r u c t u r e o f

t h e g i v e n H T M L d o c u m e n t i s k n o w n b e f o r e h a n d .

C T

D

p r o v i d e s a r i c h e r h i e r a r c h y o f d a t a c o n t e n t s

i n a n H T M L d o c u m e n t D t h a n o t h e r a p p r o a c h e s

b a s e d o n t h e p a r s e t r e e o f D o r k e y w o r d - b a s e d

s e a r c h i n g t e c h n i q u e s f o r r e t r i e v i n g t h e d e s i r e d h i -

e r a r c h i c a l i n f o r m a t i o n a t t h e s u b - p a g e l e v e l o f D .

R e f e r e n c e s

1 ] S . A b i t e b o u l . Q u e r y i n g S e m i - s t r u c t u r e d D a t a .

I n P r o c e e d i n g s o f t h e 6 t h I n t e r n a t i o n a l C o n f e r -

e n c e o n D a t a b a s e T h e o r y , 1 9 9 7 .

2 ] S . A b i t e b o u l , S . C l u e t , V . C h r i s t o p h i d e s ,

T . M i l o , G . M o e r k o t t e , a n d J . S i m e o n . Q u e r y -

i n g D o c u m e n t s i n O b j e c t D a t a b a s e s . J o u r n a l

o n D i g i t a l L i b r a r i e s , 1 ( 1 ) : 5 { 1 9 , A p r i l 1 9 9 7 .

3 ] S . A b i t e b o u l , D . Q u a s s , J . M c H u g h ,

J . W i d o m , a n d J . W i e n e r . T h e L o r e l Q u e r y

L a n g u a g e f o r S e m i s t r u c t u r e d D a t a . J o u r n a l

o n D i g i t a l L i b r a r i e s , 1 ( 1 ) : 6 8 { 8 8 , 1 9 9 7 .

4 ] G . O . A r o c e n a a n d A . O . M e d e l z o n . W e -

b O Q L : R e s t r u c t u r i n g D o c u m e n t s , D a t a b a s e s

a n d W e b s . I n P r o c e e d i n g s o f t h e 1 4 t h I n -

t e r n a t i o n a l C o n f e r e n c e o n D a t a E n g i n e e r i n g ,

F e b r u a r y 1 9 9 8 .

5 ] P . A t z e n i a n d G . M e c c a . C u t a n d P a s t e . I n

P r o c e e d i n g s o f t h e 1 6 t h A C M P O D S , p a g e s

1 4 4 { 1 5 3 , M a y 1 9 9 7 .

6 ] P . A t z e n i , G . M e c c a , a n d P . M e r i a l d o . T o

W e a v e t h e W e b . I n P r o c e e d i n g s o f t h e 2 3 r d

I n t e r n a t i o n a l C o n f e r e n c e o n V e r y L a r g e D a t a

B a s e s , p a g e s 2 0 6 { 2 1 5 , A u g u s t 1 9 9 7 .

7 ] T . B e r n e r s - L e e a n d D . C o n n o l l y . H y p e r t e x t

M a r k u p L a n g u a g e - 2 . 0 . R e q u e s t f o r C o m -

m e n t s : # 1 8 6 6 , N o v e m b e r 1 9 9 5 .

8 ] P . B u n e m a n , S . D a v i d s o n , M . F e r n a n d e z , a n d

D . S u c i u . A d d i n g S t r u c t u r e f o r U n s t r u c t u r e d

D a t a . I n P r o c e e d i n g s o f t h e 6 t h I n t e r n a t i o n a l

C o n f e r e n c e o n D a t a b a s e T h e o r y , 1 9 9 7 .

9 ] J . H a m m e r , H . G a r c i a - M o l i n a , J . C h o ,

R . A r a n h a , a n d A . C r e s p o . E x t r a c t i n g

S e m i s t r u c t u r e d I n f o r m a t i o n f r o m t h e W e b . I n

P r o c e e d i n g s o f W o r k s h o p o n M a n a g e m e n t o f

S e m i s t r u c t u r e d D a t a , M a y 1 9 9 7 .

1 0 ] D . K o n o p n i c k i a n d O . S h m u e l i . W 3 Q S : A

Q u e r y S y s t e m f o r t h e W o r l d - W i d e W e b . I n

P r o c e e d i n g s o f t h e 2 1 s t V e r y L a r g e D a t a B a s e s ,

p a g e s 5 4 { 6 5 , S e p t . 1 9 9 5 .

1 1 ] L . V . S . L a k s h m a n a n , F . S a d r i , a n d I . N .

S u b r a m a n i a n . A D e c l a r a t i v e L a n g u a g e f o r

Q u e r y i n g a n d R e s t r u c t u r i n g t h e W e b . I n P o s t -

I C D E I E E E W o r k s h o p o n R e s e a r c h I s s u e s i n

D a t a E n g i n e e r i n g , F e b r u a r y 1 9 9 6 .

1 2 ] S . - J . L i m a n d Y . - K . N g . E x t r a c t i n g S t r u c t u r e s

o f H T M L D o c u m e n t s U s i n g a H i g h - l e v e l S t a c k

M a c h i n e . T o a p p e a r i n I C O I N ' 9 8 B o o k , O c t o -

b e r 1 9 9 8 .

1 3 ] A . O . M e n d e l z o n , G . A . M i h a i l a , a n d T . M i l o .

Q u e r y i n g t h e W o r l d W i d e W e b . I n P r o c e e d i n g s

o f I n t e r n a t i o n a l C o n f e r e n c e o n P a r a l l e l a n d

D i s t r i b u t e d I n f o r m a t i o n S y s t e m s , 1 9 9 6 .

1 4 ] D . Q u a s s , A . R a j a r a m a n , Y . S a g i v , J . U l l m a n ,

a n d J . W i d o m . Q u e r y i n g S e m i s t r u c t u r e d

H e t e r o g e n e o u s I n f o r m a t i o n . I n P r o c e e d i n g s o f

D O O D ' 9 5 , p a g e s 3 1 9 { 3 4 4 , D e c e m b e r 1 9 9 5 .

1 5 ] D . R a g g e t t . H T M L 3 . 2 R e f e r e n c e S p e c i -

c a t i o n . h t t p : / / w w w . w 3 . o r g / T R / R E C - h t m l 3 2 ,

J a n u a r y 1 9 9 7 .

faculty cs byu edu%252f~dennis%252fpapers%252ffodo

Documents