shklov, powell (1999) a non-linear analytical approach to observational data
TRANSCRIPT
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
1/64
N o n - l i n e a r A n a l y t i c a l A p p r o a c h t O b s e r v a t i o n a l D a t a
b
N o r m S h k l o v , P h D
D e p a r t m e n t o M a t h e m a t i c s a n d S t a t i s t i c s
U n i v e r s i t y o W i n d s o r
W i n d s o r , O n t a r i o , C a n a d a
( R e t i r e d )
a n
J a C . P o w e l l , P h . D .
F a c u l t y o f E d u c a t i o n
U n i v e r s i t y o W i n d s o r
( R e t i r e d )
a n
A d j u n c t L e c t u r e r
U n i v e r s i t y o f M i c h i g a n , F l i n t
R u n n i n g H e a d : N o n l i n e a r d a t a a n a l y s i s
A p r i l 1 9 9 9 .
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
2/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
3/64
A B S T R A C T
H a v i n g e s t a b l i s h e d c l e a r e v i d e n c e f o f o r m o l e a r n i n g t h a t i t r a n s f o r m a t i o n a l a n
n o n - l i n e a r ( P o w e l l S h k l o v , 1 9 9 2 ) , t h e a u t h o r s h e r e w i t h p r e s e n t n o n - l i n e a r w a t
c o n s i d e r f r e q u e n c y d a t a i t h s o c i a l - s c i e n c e s s e t t i n g . T h i s p a p e r d e s c r i b e s t h p r o c e d u r e i
d e t a i l a n g i v e s s e v e r a l i n s t a n c e s o i t a p p l i c a t i o n i d i v e r s e s e t t i n g s .
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
4/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
5/64
T h P r o b l e m
T h e s e t w r e s e a r c h e r s h a v e , f o s o m e t i m e , b e e n i n v e s t i g a t i n g n o n - l i n e a r a p p r o a c h e s
t o b s e r v a t i o n a l d a t a . T h i n i t i a l p r o b l e m a r o s e b e c a u s e t h e y w e r e t r y i n g t f i n d s o m e w a t
e x a m i n e , i m u l t i p l e - c h o i c e t e s t s , t h p a t t e r n s i w h i c h s t u d e n t s ' a n s w e r s ( w h e t h e r r i g h t o w T o n g ) c h a n g e w i t h l e a r n i n g .
A b a c k g r o u n d t t h i s p r o b l e m t h e r e a r e t w p o s s i b i l i t i e s . T h f i r s t p o s s i b i l i t y i t h a t
a l w r o n g a n s w e r s a r b l i n d g u e s s e s a n t h a t s t u d e n t s w i l l c h a n g e f r o m a n w r o n g a n s w e r t
t h r i g h t o n w i t h a p p r o p r i a t e i n s t r u c t i o n . I n t h i s c a s e t h e c u r r e n t p r a c t i c e o c o n s i d e r i n g
o n l y n g h t a n s w e r s w h e n o b s e r v i n g s t u d e n t b e h a v i o r c h a n g e s f o q u a l i t y c o n t r o l w o u l d b
e n t i r e l y a p p r o p r i a t e . T h e r e w o u l d b n m e a n i n g f u l i n f o r m a t i o n t b e f o u n d a m o n g t h
w r o n g a n s w e r s .
T h s e c o n d p o s s i b i l i t y , w h i c h c o m e s f r o m P o w e l l ' s t e a c h i n g e x p e r i e n c e a n d f r o m
P i a g e t ' s m a n y y e a r s o c l i n i c a l o b s e r v a t i o n ( s e e : F l a v e l l , 1 9 6 3 ) , i t h a t a n s w e r s c h a n g e i
s o m e s o r t o s e q u e n t i a l o r d e r t h a t i d e p e n d e n t u p o n h o s t u d e n t s i n t e r p r e t t h t e s t
q u e s t i o n s . T h e i r i n t e r p r e t a t i o n s , i t u r n , c o u l d b d e p e n d e n t u p o n t h e i r c u r r e n t s t y l e o
t h i n k i n g a n t h e i r c u r r e n t d e p t h o i n t e l l e c t u a l m a t u r i t y .
I t h i s c a s e , l e a r n i n g w o u l d d i s p l a y t r a n s f o r m a t i o n a l p r o p e r t i e s ( s y s t e m a t i c a n s w e r
c h a n g e s ) i a d d i t i o n t c u m u l a t i v e p r o p e r t i e s ( i n c r e a s i n g n u m b e r s o c o r r e c t a n s w e r s ) . T h e r e
c o u l d b c o n s i d e r a b l e m e a n i n g f u l i n f o r m a t i o n i n a l l a n s w e r s , n o m e r e l y t h n g h t o n e s .
T l o o k a c h a n g e , i i n e c e s s a r y t g i v e t h s a m e t e s t m o r e t h a n o n c e . W h e n t h i s i d o n e , i b e c o m e s p o s s i b l e t c o m p a r e t h a n s w e r s s e l e c t e d u p o n t h f i r s t a d m i n i s t r a t i o n t
t h o s e s e l e c t e d o t h s e c o n d a d m i n i s t r a t i o n a n b u i l d f r e q u e n c y t a b l e s t h a t s u m m a r i z e t h e s e
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
6/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
7/64
s e l e c t i o n s . I s o m e c a s e s , t h e s t u d e n t s m a s e l e c t t h e s a m e a n s w e r o n b o t h a d m i n i s t r a t i o n s ,
o t h e y m a c h a n g e f r o m o n e a n s w e r t a n o t h e r w i t h i n e a c h i t e m .
I t h f i r s t p o s s i b i l i t y ( t h a t s t u d e n t s g u e s s b l i n d l y u n t i l t h e y k n o w t h a n s w e r ) i
c o r r e c t , t h t y p i c a l o b s e r v a t i o n s h o u l d b c h a n g e s t t h r i g h t a n s w e r f r o m a n w r o n g o n f o l l o w e d b s y s t e m a t i c r e p e t i t i o n o t h r i g h t a n s w e r o v e r t i m e . N o t h e r c o m b i n a t i o n o f
s e l e c t i o n s h o u l d b s t a t i s t i c a l l y s i g n i f i c a n t b e y o n d c h a n c e l e v e l .
I t h s e c o n d p o s s i b i l i t y i c o r r e c t , t h e n m u c h m o r e c o m p l e x p a t t e r n o a n s w e r
s t a b i l i t y a n a n s w e r c h a n g e s h o u l d b e c o m e e v i d e n t a s t u d e n t s t r a n s f o r m t h e i r t h i n k i n g w i t h
i n c r e a s e d m a t u r i t y .
T h A p p r o a c h
I f o u r - o p t i o n m u l t i p l e - c h o i c e t e s t t h e r e w i l l b f r e q u e n c y m a t r i x f o e a c h i t e m
c o n t a i n i n g 1 c e l l s T h o n d i r e c t i o n m a b e u s e d t r e p r e s e n t t h e r e s p o n s e s f r o m t h f i r s t
a d m i n i s t r a t i o n o t h t e s t a n t h e o t h e r d i r e c t i o n r e p r e s e n t t t h r e s p o n s e s f r o m t h s e c o n d
a d m i n i s t r a t i o n . I t h i s c a s e e a c h c e l l w i l l b t h f r e q u e n c y o t h e v e n t o j o i n t s e l e c t i o n f o
e a c h p r e - p o s t r e s p o n s e p a i r . T h o s e s t u d e n t s w h o , f o s o m e r e a s o n , o m i t t e d m a k i n g c h o i c e
a e i t h e r o t w a d m i n i s t r a t i o n s m a b d r o p p e d f r o m c o n s i d e r a t i o n b e c a u s e t h e s e d a t a m a
n o a d t t h i n f o r m a t i o n a b o u t t h d y n a m i c s o a n s w e r i n g .
W i t h t h e s e f r e q u e n c y t a b l e s , t h e r e a r e f o u r p i e c e s o i n f o r m a t i o n t h a t c a b
c o n s i d e r e d f i r m f o e a c h c e l l f r e q u e n c y . T h e s e a r e :I T h e n u m b e r o t i m e s t h m e m b e r s o t h s a m p l e c h o s e b o t h m e m b e r s o t h p a i r
o r e s p o n s e s b e i n g c o n s i d e r e d ( t h e o b s e r v e d f r e q u e n c y ) ,
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
8/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
9/64
2 T h n u m b e r o t i m e s t h i s g r o u p c h o s e t h f i r s t m e m b e r o t h p a i r o t h f i r s t
a d m i n i s t r a t i o n ,
3 T h e n u m b e r o t i m e s t h i s g r o u p o s t u d e n t s c h o s e t h s e c o n d m e m b e r o t h i s p a i r
o t h s e c o n d a d m i n i s t r a t i o n , a n
4 T h t o t a l n u m b e r o s t u d e n t s i t h e n t i r e f r e q u e n c y t a b l e .
I m a t h e m a t i c a l t e r m s , t h e v a l u e s b e i n g c o n s i d e r e d a r e t h e c e l l f r e q u e n c y , i t
a s s o c i a t e d r o a n c o l u m n s u m s , a n t h e t a b l e s u m .
W h e n t h e s e m a t r i c e s a r d i s p l a y e d , t h e y l o o k s o m e t h i n g l i k e t h t y p i c a l c o n t i n g e n c y
t a b l e , e x c e p t t h a t t h c o n c e r n h e r e i w i t h e a c h c e l l i n s t e a d o t h e o v e r a l l d e p a r t u r e o t h
e n t i r e m a t r i x f r o m a x d i s t r i b u t i o n . T h p r o b l e m b e i n g c o n s i d e r e d h e r e i t r y i n g t d e c i d e
h o l a r g e ( o h o s m a l l ) a o b s e r v e d f r e q u e n c y i a n c e l l m u s t b i o r d e r t i n d i c a t e
m e a n i n g f u l ( s t a t i s t i c a l l y s i g n i f i c a n t ) j o i n t ( o r m u t u a l l y e x c l u s i v e ) e v e n t .
I n s e r t T a b l e a b o u t h e r e
S u p p o s e , a i l l u s t r a t e d i n T a b l e l a t h a t w h a v e a j o i n t c h o i c e o 1 1 f i r s t v a r i a b l e
f r e q u e n c y o 1 5 a n s e c o n d v a r i a b l e f r e q u e n c y o 1 9 I t h g r o u p s i z e i 2 3 , t h e e x p e c t e d
j o i n t c h o i c e f r e q u e n c y i ( 1 1 9 ) / 2 3 1 2 . 3 9 . I n t h i s c a s e , 1 i l e s s e r v a l u e t h a n t h i s
e x p e c t a t i o n b u m a n o b e n o u g h b e l o w t h i s e x p e c t e d v a l u e t c o n c l u d e t h a t c h o o s i n g o n
o p t i o n i m p l i e s t h e r e j e c t i o n o t h o t h e r . I f t h g r o u p s i z e i 9 0 a i l l u s t r a t e d i T a b l e l . b ,
t h e x p e c t e d f r e q u e n c y i ( 1 1 9 ) / 9 0 3 . 1 7 . I 1 e n o u g h l a r g e r t h a n t h i s e x p e c t a t i o n t
i n d i c a t e a s y s t e m a t i c j o i n t c h o i c e * 7
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
10/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
11/64
A f t e r i n v e s t i g a t i o n o t h l i t e r a t u r e a n a t t e m p t s a n u m e r o u s s i m u l a t i o n f o f i n d i n g
w a t p u t a p r o b a b i l i t y v a l u e o t h c e l l i q u e s t i o n w i t h k n o w m a r g i n a l s u m s a n a n t o t a l
f r e q u e n c y , i b e c a m e e v i d e n t t h a t m o r e s o p h i s t i c a t e d a p p r o a c h w a r e q u i r e d f o a
e f f e c t i v e a n a l y t i c a l s o l u t i o n t t h i s i n t e r p r e t i v e p r o b l e m . O n s u c h r e s o l u t i o n i r e p o r t e d i t h i s p a p e r .
B e c a u s e a s i n g l e - d i m e n s i o n a l a r r a y c a b t r e a t e d a s b i n o m i a l d i s t r i b u t i o n , t h e s e
r e s e a r c h e r s t r i e d u s i n g t h m u l t i n o m i a l d i s t r i b u t i o n f o t h t w d i m e n s i o n a l a r r a y s b e i n g
s t u d i e d . T h e y d e v e l o p e d a n a d a p t a t i o n o t h i s a p p r o a c h t h a t i n v o l v e s c o l l a p s i n g t h e s e t a b l e s
t t w o - b y - t w o t a b l e s a r o u n d e a c h c e l l o c o n c e r n . T h e y t h e n c a l c u l a t e d t h e p r o b a b i l i t y o
o b s e r v i n g t h a t f r e q u e n c y o l e s s w i t h t h o t h e r t h r e e v a l u e s h e l d c o n s t a n t . I i t h p u r p o s e o
t h i s p a p e r t p r o v i d e t h d e t a i l s o t h i s p r o c e d u r e , w i t h e x a m p l e s f r o m d i f f e r e n t t y p e s o
q u a l i t a t i v e r e s e a r c h .
T h e P r o c e d u r e
S t e p 1
T h i s p r o c e d u r e b e g i n s w i t h a n m x n m a t r i x o f r e q u e n c i e s O a f o l l o w s :
w h e r e :
O O o m
c
O l o 2
o m
c
o , , ,
. . o l . . o
o m
c
R R
R
( I
2 O 9 , ( 2
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
12/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
13/64
a n d :N ^ l l O . j . ( 3
S t e p
T h n e x t s t e p i t c o l l a p s e t h i s m a t r i x a r o u n d a n y c e l l O T h i s s t e p p r o d u c e s2 m a t r i x , w i t h t h o b s e r v e d f r e q u e n c y o O , b e i n g o o t h s o r t :
R ' w h e r e : f = R \ - o ,R ' R N - R \
C ' C g ^ C ' i - o ,
C ' 2 = A ^ - C ' i ,
a n d h N - { o + f + g )
I w o r d s , / i t h f r e q u e n c y o f t h r e m a i n d e r o t h r o w , i t h f r e q u e n c y o t h r e m a i n d e r
o t h c o l u m n a n i t h r e s i d u a l f r e q u e n c y o f t h t o t a l t a b l e . T a b l e s a n g i v e
n u m e r i c a l e x a m p l e o t h e s e f i r s t t w s t e p s t h i s p r o c e d u r e , b e g i n n i n g w i t h t h
f r e q u e n c y m a t r i x , s u c h a s
I n s e r t T a b l e a b o u t h e r e
B c h o o s i n g t l o o k a 0 2 ( w i t h a f r e q u e n c y o 3 3 ; t h e r e p e a t e d c h o i c e o t h
c o r r e c t a n s w e r a s h o w n i t h b o i T a b l e 2 t h c o l l a p s e d m a t r i x b e c o m e s :
I n s e r t T a b l e a b o u t h e r e
I o r d e r t d e t e r m i n e t h p r o b a b i l i t y t h a t w o u l d b 3 b y c h a n c e a l o n e , i i
n e c e s s a r y t f i n d t w c u m u l a t i v e p r o b a b i l i t i e s . F i r s t , i i n e c e s s a r y t o f i n d t h e c u m u l a t i v e
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
14/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
15/64
p r o b a b i l i t y f o t h r a n g e o a l p o s s i b l e v a l u e s i t h a t c e l l w i t h t h e t h r e e m a r g i n a l v a l u e s k e p t
c o n s t a n t . S e c o n d , t h e r e i t h n e e d t f i n d t h c u m u l a t i v e p r o b a b i l i t y f o a l s i n g l e t a b l e s t h a t
h a v e v a l u e o 3 o l e s s .
T a c h i e v e t h i s e n d , i i n e c e s s a r y t f i n d t h e s m a l l e s t p o s s i b l e v a l u e a n t h l a r g e s tp o s s i b l e v a l u e t h a t c a a c h i e v e w i t h i n t h e s e m a r g i n a l c o n s t r a i n t s .
S i n c e t h e s e v a l u e s a r a l f r e q u e n c i e s , a n t h l e a s t p o s s i b l e f r e q u e n c y i z e r o ( 0 ) , t h
l e a s t p o s s i b l e v a l u e t h a t c a p o s s e s s i w h e n e i t h e r t h f r e q u e n c y v a l u e o f o o f i z e r o
( 0 ) . S i m i l a r l y , t h e g r e a t e s t p o s s i b l e v a l u e t h a t c e l l o c a n c o n t a i n o c c u r s w h e n e i t h e r t h e
f r e q u e n c y o o o i z e r o ( 0 ) .
M a t h e m a t i c a l l y :
O ( m i n ) 0 i < h o t h e r w i s e o ( r m n ) - ( 4
O i j a a x ) = t h l e s s e r o R a n C ( 5
I t h e p r e s e n t c a s e , t h m i n i m u m v a l u e i ( z e r o ) a n t h m a x i m u m v a l u e i 4 6
S t e p 3
T h m u l t i n o m i a l e q u a t i o n i a p p l i e d t t h r a n g e o a l p o s s i b l e v a l u e s f r o m t h
m i n i m u m ( 0 t t h m a x i m u m ( 4 6 ) , a d d i n g t h e s e p a r t i a l p r o b a b i l i t i e s t o f i n d t h t o t a l
p o s s i b l e p r o b a b i l i t y { p ) o e v e n t s w i t h i n t h e s e c o n s t r a i n e d c o n d i t i o n s . T h e q u a t i o n
b e c o m e s :
P = N ( P i f u ( p 2 f u { p , f u ( p , ) h U ( 6 a u J u & u " u
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
16/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
17/64
I t h i s p r o c e s s , t h v a l u e o f i t h i n c r e m e n t a l v a l u e a c r o s s t h r a n g e f r o m o ( m m ) t o
o ( n i f l x ) - T h i s m e a n s t h a t t h v a l u e s o o a n h w i l l i n c r e a s e b y o n e ( 1 a n o f / u a n g w i l l
d e c r e a s e b y o n e ( 1 u n t i l t h r a n g e h a b e e n c o m p l e t e d . G d > p y B ^T h v a l u e s o f / ? i , e t c . a r e c o n s t a n t . T h e s e a r t h p r o b a b i l i t i e s f o e a c h o f t h f o u r
c e l l s t h a t a r d e t e r m i n e d b c o n s t r a i n i n g t h e c a l c u l a t i o n s u s i n g t h m a r g i n a l t o t a l s . T h e s e
c o n s t r a i n t s a r e i m p o s e d b e c a u s e w a r a s s u m i n g t h a t t h m a r g i n a l p r o p o r t i o n s a r t h b e s t
e s t i m a t e s a v a i l a b l e f o t h e a c t u a l d i s t r i b u t i o n o t h e s e p a r t i c u l a r c h o i c e s i t h t o t a l s a m p l e .
T h e r e f o r e t h e s e p r o b a b i l i t i e s a r t h p r o d u c t o f t h j o i n t p r o p o r t i o n s f o e a c h c e l l a
f o l l o w s :
( 7
( 8
( 9
( 1 0 )
A l s o :
a n h u = N - ( o u + f u
I n t h i s p a r t i c u l a r e x a m p l e , t h v a l u e s o f p i , p 2 , p 3 . a n d / ? 4 f o a r 0 . 1 8 2 , 0 . 2 5 4 ,
0 . 2 3 6 , a n 0 . 3 2 8 r e s p e c t i v e l y , w h i c h a d d s t o 1 . 0 0 0 , f o t h e s e f o u r p r o b a b i l i t i e s .
s ^ W ^ J A -
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
18/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
19/64
S t e p
T h n e x t s t e p i t f i n d t h c u m u l a t i v e p r o b a b i l i t y f o t h o b s e r v e d f r e q u e n c y o l e s s
( p c ) , t h i s t i m e i t e r a t i n g f r o m o { m i n ) t u s i n g t h s a m e e q u a t i o n ( 6 a n c o n t r o l p a r a m e t e r s
( 7 1 3 i s t e p 3 a s f o l l o w s :
( 1 4 )
T h d i f f e r e n c e b e t w e e n t h e s e t w c a l c u l a t i o n s b e i n g t h a t e q u a t i o n ( 6 i n c r e m e n t s t
( m a x ) f r o m o ( n u n ) w h e r e a s e q u a t i o n ( 1 4 ) s t o p s i n c r e m e n t a t i o n a t h o b s e r v e d v a l u e o o
S t e p
T h d e s i r e d p r o b a b i l i t y n o c a b e d e t e r m i n e d . T h c u m u l a t i v e p r o b a b i l i t y f o a l
p o s s i b l e e v e n t s w i t h i n t h e s e c o n s t r a i n e d c o n d i t i o n s \ s p r f r o m e q u a t i o n ( 6 a n t h
c u m u l a t i v e p r o b a b i l i t y w i t h i n t h e s e s a m e c o n s t r a i n t s f o r t h e o b s e r v e d f r e q u e n c y o l e s s i s / ? /
f r o m e q u a t i o n ( 1 4 ) . T h u s t h d e s i r e d p r o b a b i l i t y i t h r a t i o o t h e s e t w p a r t i a l p r o b a b i l i t i e s ,
o r
p = P p 0 4 ( 6 ( 1 5 )
I t h i s e x a m p l e , t h v a l u e o f / ? / i 0 . 0 0 5 9 a n d o f p r i a l s o 0 . 0 0 5 9 , s o t h p r o b a b i l i t y
o o b s e r v i n g 3 c h o i c e s o a n s w e r o w i t h 4 a n 4 o v e r a l l c h o i c e s a n 1 1 o b s e r v a t i o n s , i
p 1 . 0 0 0 . I a p p e a r s , f r o m t h e s e a c t u a l c a l c u l a t i o n s , t h a t t h r e m a i n i n g 1 p o s s i b l e v a l u e s
( f r o m 3 t h r o u g h 4 6 c o n t r i b u t e l e s s t h a n o n p a r t i 2 0 , 0 0 0 o f t h t o t a l p o s s i b l e p r o b a b i l i t y .
1
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
20/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
21/64
h e n c e t h e r e s u l t i n g p r o b a b i l i t y i 1 . 0 0 0 w h e n t h e s e p a r t i a l p r o b a b i l i t i e s a r e r o u n d e d t t h
f o u r t h d e c i m a l p l a c e .
T h i s p r o b a b i l i t y r e p r e s e n t s t h e r e p e a t e d c h o i c e o t h r i g h t a n s w e r t t h i s q u e s t i o n a
a p a r t i c u l a r a g r a n g e ( 1 6 6 1 7 0 m o n t h s ) . I t h i s e x a m p l e t h i r t y p e r c e n t ( 3 3 / 1 1 0 ) o f a l
a n s w e r s a r r e p e a t e d l y r i g h t , w h i l e a b o u t t w t h i r d s ( 3 3 ( 4 4 8 ) o r 6 6 9 4 o
t h o s e w h c h o s e t h i s a n s w e r o n e i t h e r a d m i n i s t r a t i o n c h o s e i o b o t h a d m i n i s t r a t i o n s . B
c h a n c e a l o n e t h e x p e c t a t i o n w o u l d h a v e b e e n o n l y 2 0 . 0 7 s u c h c h o i c e s w i t h i n t h c o n s t r a i n t s
o t h m a r g i n a l v a l u e s . I i n o s u r p r i s i n g , t h e r e f o r e , t o h a v e p r o b a b i l i t y o 1 . 0 0 0 w h e n t h
o b s e r v e d f r e q u e n c y e x c e e d s t h e x p e c t e d o n e b y m o r e t h a n 5 ( 3 2 0 ) .
I f t h e i r s e l e c t i o n s h a b e e n e n t i r e l y r a n d o m , t h i s e x p e c t a t i o n w o u l d h a v e d r o p p e d t
1 / 1 6 o t h t a b l e t o t a l , o 6 . 8 7 5 e v e n t s . A w c a s e e , t h i s a p p r o a c h g i v e t h e x a c t
m a t h e m a t i c a l s o l u t i o n t t h p r o b l e m o h o t a s s i g n p r o b a b i l i t y t f r e q u e n c y , g i v e n t h
c o n s t r a i n t s p r e s e n t e d i o u o r i g i n a l d i s c u s s i o n .
A a h i s t o r i c a l n o t e , t h m u l t i n o m i a l p r o b a b i l i t y e q u a t i o n h a s b e e n m u c h
n e g l e c t e d p r o c e d u r e b e c a u s e , w i t h s m a n y f a c t o r i a l s t o b c a l c u l a t e d , i r e q u i r e s a g r e a t d e a l
o c o m p u t a t i o n w h e n c a l c u l a t e d b h a n d .
T h R e s u l t s ; F i r s t L o o k
T h n e x t s t e p i t c o n s i d e r t h e n t i r e m a t r i x g i v e n i T a b l e t o s e e w h a t t h i s
p r o c e d u r e c a r e v e a l . H e r e a r t h r e s u l t s o t h i s o n e g r o u p o i n t e r a c t i o n s a c r o s s t i m e w i t h mt h i s o n q u e s t i o n . T a b l e g i v e s t h e o b s e r v e d f r e q u e n c i e s , e x p e c t e d f r e q u e n c i e s a n
p r o b a b i l i t i e s o a l 1 i n t e r a c t i o n s . I p r e s e n t s t h e f r e q u e n c i e s t h a t p r o d u c e d s i g n i f i c a n t l y
h i g h p r o b a b i l i t i e s i e n l a r g e d b o l d p r i n t a n t h s i g n i f i c a n t l y l o o n e s i r e d u c e d f o n t s i z e .
1
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
22/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
23/64
I n s e r t T a b l e a b o u t h e r e
S e v e n o t h 1 i n t e r a c t i o n s a r s i g n i f i c a n t ; t h r e e h i g h a n f o u r l o w . A l l t h h i g h o n e s
a r i t h m a i n d i a g o n a l , w h i c h m e a n s t h a t t h e r e i s t r o n g t e n d e n c y i n t h i s a g g r o u p f o
r e p e a t i n g t h i n i t i a l a n s w e r , w i t h o u t r e g a r d a t w h e t h e r i i r i g h t o w r o n g .
T h e r e a r e a l s o s o m e v e r y s e r i o u s p r o b l e m s w i t h t h e s e o u t c o m e s . O n o t h e h i g h e s t
f r e q u e n c i e s a m o n g t h e o f f - d i a g o n a l c e l l s i O 2 c o n t a i n s 8 j o i n t s e l e c t i o n s b u i c l a s s i f i e d a s
s i g n i f i c a n t l y l o p r o b a b i l i t y o o c c u r r e n c e . T h s a m e e v e n t c a b s e e n , t g r e a t e r o r
l e s s e r d e g r e e f o a l t h s i g n i f i c a n t l y l o s e l e c t i o n f r e q u e n c i e s . T h m o s t f r e q u e n t c h a n g e s
f r o m o n e a n s w e r t a n o t h e r s e e m t b s i g n i f i c a n t l y l o w h e n e v e r t h s a m e t w r e s p o n s e s
a r s i g n i f i c a n t l y h i g h i t h e i r r e p e a t e d c h o i c e s .
P e r h a p s t h i s p r o b l e m c o m e s t h m u t u a l l y e x c l u s i v e n a t u r e o m u l t i p l e - c h o i c e t e s t
a n s w e r i n g . I t h i s c a s e , t h e s e l o p r o b a b i l i t i e s c o u l d b s t a t i s t i c a l a r t i f a c t s . T t e s t t h i s
h y p o t h e s i s , s e c o n d - o r d e r c a l c u l a t i o n w a p e r f o r m e d . T h e s e p r o b a b i l i t i e s w e r e r e c a l c u l a t e d
a f t e r m a k i n g t h m a d i a g o n a l e l e m e n t s z e r o ( 0 ) . T a b l e r e p o r t s t h e s e r e s u l t s :
I n s e r t T a b l e a b o u t h e r e
T h r e s u l t s o t h a n a l y s i s o t h f r e q u e n c i e s f r o m T a b l e c a n o b s u m m a r i z e d i T a b l e 6
1
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
24/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
25/64
I n s e r t T a b l e a b o u t h e r e
T h f o u r s i g n i f i c a n t l y l o p r o b a b i l i t i e s d i s a p p e a r e d i t h i s s e c o n d o r d e r a n a l y s i s . T h t w l o o n e s w i t h r e l a t i v e l y h i g h f r e q u e n c i e s c o m p a r e d w i t h o t h e r o f f - d i a g o n a l e l e m e n t s
b e c a m e s i g n i f i c a n t l y h i g h . I n a d d i t i o n , o n t h a t w a a l m o s t s i g n i f i c a n t a l s o b e c a m e
s i g n i f i c a n t l y h i g h . T h e r e a r n o o t h 1 c e l l s i n t h t a b l e t h a t a r s i g n i f i c a n t l y h i g h ,
a c c o u n t i n g f o 7 8 o f t h 1 1 r e s p o n s e s ( m o r e t h a n 7 % ) a n n o n e s i g n i f i c a n t l y l o w . T h i s
o u t c o m e c o m p a r e s w i t h 3 s t a b l e r e s p o n s e s ( 3 0 % t t h r i g h t a n s w e r . B r e g a r d i n g
s t a t i s t i c a l l y s i g n i f i c a n t p r o b a b i l i t i e s t b p s y c h o l o g i c a l l y m e a n i n g f u l , t h e s e f r e q u e n c i e s
n o a c c o u n t f o n e a r l y t w o a n d h a l f t i m e s a m u c h i n f o r m a t i o n a t h s t a b l e r i g h t a n s w e r s
b t h e m s e l v e s p r o v i d e ( 7 3 3 ) .
T h c o n c l u s i o n t h a t c a b d r a w n f r o m t h e s e r e s u l t s i t h a t , o n c e t h i s s e c o n d o r d e r
a n a l y s i s h a b e e n a p p l i e d , t h i s p r o c e d u r e s e e m s t e f f e c t i v e l y i d e n t i f y t h e t r a n s f o r m a t i v e -
a n s w e r p a t t e r n s t h a t a p p e a r t b p r e s e n t u p o n v i s u a l e x a m i n a t i o n o f t h o r i g i n a l 4 x t a b l e .
W i t h s u c h e n c o u r a g i n g r e s u l t s , t h f i n a l s t e p i t a p p l y t h i s p r o c e d u r e t l a r g e r d a t a s e t
o b s e r v e w h e t h e r i p e r f o r m s a w e l l i m o r e g e n e r a l a p p l i e d c o n t e x t . T h b a l a n c e o t h i s
p a p e r i d e v o t e d t g i v i n g t h r e e e x a m p l e s o i t a p p l i c a t i o n a s a d e m o n s t r a t i o n o f i t
e f f e c t i v e n e s s , o r l a c k t h e r e o f , f o r t h e n o n - l i n e a r , n o n - t r a d i t i o n a l a n a l y s i s o f r e q u e n c y t a b l e s .
A p p l i c a t i o n s o t h i s p r o c e d u r e
1 R e c o n s i d e r i n g w r o n g a n s w e r s
T h f i r s t p r e s e n t a t i o n i r e s t a t e m e n t o t h r e s u l t s f r o m t h e d a t a f o w h i c h t h i s
p r o c e d u r e w a d e v e l o p e d a r e p o r t e d i P o w e l l a n d S h k l o v ( 1 9 9 2 ) . I c o m e s f r o m t w
1
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
26/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
27/64
a d m i n i s t r a t i o n s o t h s a m e t e s t t 2 8 1 0 s u b j e c t s r a n g i n g i a g f r o m l e s s t h a n e i g h t y e a r s o
a g t m o r e t h a n e i g h t e e n , w i t h f i v e - m o n t h i n t e r v a l b e t w e e n a d m i n i s t r a t i o n s . T h e n t i r e
s a m p l e w a t h e n s u b d i v i d e d i n t o 2 a g l e v e l s o f i v e m o n t h s e a c h . T h r e p o r t e d a g i
m o n t h s c o m e s f r o m t h s u b j e c t s ' a g e s a t h f i r s t a d m i n i s t r a t i o n . T h e x a m p l e w u s e da b o v e w a a g l e v e l 1 6 1 7 ( m e d i a n 1 6 8 ) .
T h e s e d a t a c o m e f r o m i t e m 1 o G o r h a m ' s ( 1 9 5 6 ) T h e P r o v e r b s T e s t . T h i s i t e m
r e a d s :
Q U I C K L Y C O M E , Q U I C K L Y G ( E a s y c o m e , E a s y g o ) .a A l w a y s c o m i n g a n g o i n g a n n e v e r s a t i s f i e d ( m e d i a n a g 1 4 ) .
b W h a t y o g e e a s i l y d o e s n o m e a n m u c h t y o ( r i g h t a n s w e r ) .
c A l w a y s d t h i n g s o t i m e ( m e d i a n a g 8 )
d M o s t p e o p l e d a s t h e y p l e a s e a n d g o a t h e y p l e a s e ( m e d i a n a g 1 0 ) .
m o r e d e t a i l e d d i s c u s s i o n o t h i n t e r p r e t a t i o n s c h a r a c t e r i z i n g t h e s e a n s w e r s i
g i v e n e l s e w h e r e ( P o w e l l , 1 9 7 7 , P o w e l l a n S h k l o v , 1 9 9 2 ) i t h l i t e r a t u r e . I t h e e a r l i e r
s t u d y , t h i s t e s t w a g i v e n t 5 5 e l e m e n t a r y s c h o o l c h i l d r e n ( g r a d e s t h r o u g h 8 a n t h e n
r e p r e s e n t a t i v e s a m p l e o t h e m w a s i n t e r v i e w e d t d e t e r m i n e t h r e a s o n i n g b e h i n d t h e i r
a n s w e r s e l e c t i o n .
I b r i e f , a l t e r n a t i v e " c w a c h o s e n m o s t f r e q u e n t l y b y e a r - o l d s . T h e i r r e a s o n i n g
s h o w e d t h a t t h e y h a i n t e r p r e t e d " Q u i c k l y c o m e . . . " a i r e p r e s e n t e d t h e i r p e r s o n a l p h y s i c a l
a c t i v i t i e s i n t h e i r t h i r d g r a d e c l a s s r o o m . T h e y h a m a n y c h a n g e s o f a c t i v i t y i s c h o o l d a y ,a l o w h i c h r e q u i r e d t h a t t h e y " f i n i s h o t i m e . " I P i a g e t ' s t e r m s t h e y w o u l d a p p e a r t b
s t i l l e g o c e n t r i c a n i n t u i t i v e i t h e i r t h i n k i n g .
1
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
28/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
29/64
A l t e r n a t i v e " d w a c h o s e n m o s t f r e q u e n t l y b 1 y e a r - o l d s , w i t h t h e i r r e a s o n i n g
r e p o r t s s u g g e s t i n g t h a t t h e y w e r e l o o k i n g f o t h b e s t l i t e r a l i n t e r p r e t a t i o n o t h e p r o v e r b .
T h i s c h a n g e i r e a s o n i n g w o u l d s u g g e s t t h a t t h e y w e r e n l o n g e r e g o c e n t r i c a n d w e r e
t h i n k i n g c o n c r e t e l y i n s t e a d .
N e x t i a g e s e q u e n c e w a a l t e r n a t i v e " a " , m o s t c o m m o n l y c h o s e n b 1 y e a r - o l d s .
T h e i r r e a s o n i n g s e e m e d t s u g g e s t t h a t t h e y w e r e m o v i n g o u o l i t e r a l a n c o n c r e t e t h i n k i n g
i n t o m o r e f i g u r a t i v e i n t e r p r e t a t i o n s .
T h r i g h t a n s w e r , " b , " w a c h o s e n m o s t c o m m o n l y b 1 y e a r - o l d s , s u g g e s t i n g t h a t
e i t h e r t h e y h a r e a c h e d f o r m a l o p e r a t i o n s o w e r e a n s w e r i n g f r o m m e m o r y b e c a u s e o
p e r s o n a l f a m i l i a r i t y w i t h t h i s p r o v e r b .
T h i s p r e s e n t r e p o r t u s e s t h e d a t a f r o m l a t e r s t u d y . T h p u r p o s e o f t h i s l a t e r s t u d y
w a t t r y t o r e p l i c a t e t h e s e q u e n c e j u s t p r e s e n t e d a n t d e t e r m i n e w h e t h e r t h c h a n g e s o
a n s w e r s e l e c t i o n c o i n c i d e d w i t h t h p o s s i b i l i t y t h a t d e v e l o p m e n t a l s e q u e n c e m i g h t b
p r e s e n t .
T h p r e s e n t d i s c u s s i o n p r o v i d e s t h o u t c o m e s f r o m t h t w o r d e r s o a n a l y s i s
c o m b i n e d i n t o o n t a b l e f o c l a r i t y a n c o n v e n i e n c e . T a b l e g i v e s t h i s c o n s o l i d a t i o n w i t h
t h n u m b e r s i l a r g e r f o n t a n i b o l d f a c e b e i n g t h s i g n i f i c a n t l y h i g h f r e q u e n c i e s d r a w n
f r o m t h i s p r o c e d u r e . T h e n u m b e r s i s m a l l e r f o n t a n t h l i g h t b o a r t h s i g n i f i c a n t l y l o
f r e q u e n c i e s . N s i g n i f i c a n t l y l o f r e q u e n c i e s o c c u r r e d i t h m a i n d i a g o n a l .
I n s e r t T a b l e 7 h e r e
T h m o s t o b v i o u s o b s e r v a t i o n i t h h u g e d i s c r e p a n c y b e t w e e n t h n u m b e r o c e l l s o
s i g n i f i c a n t l y h i g h f r e q u e n c y t t h o s e o s i g n i f i c a n t l y l o f r e q u e n c y ( 2 0 0 t 3 ) S i m i l a r l y t h e
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
30/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
31/64
n u m b e r o s i g n i f i c a n t l y h i g h f r e q u e n c y c e l l s t t h t o t a l n u m b e r o c e l l s ( 2 0 0 t 4 3 2 ) s h o w s
c o n s i d e r a b l e d e p a r t u r e f r o m r a n d o m e x p e c t a t i o n s , s u g g e s t i n g t h a t t h e s e o b s e r v a t i o n s a r
r e f l e c t i n g s o m e u n d e r l y i n g s y s t e m a t i c a s p e c t o b e h a v i o r . I t h r a n d o m c a s e t h n u m b e r o
s i g n i f i c a n t l y h i g h c e l l s a n t h n u m b e r o s i g n i f i c a n t l y l o c e l l s s h o u l d b a b o u t e q u a l .
C o n s i d e r i n g t h a m o u n t o f r e c o v e r e d i n f o r m a t i o n i a l s o r e v e a l i n g . K n o w i n g t h a t t h
c o r r e c t a n s w e r t t h i s q u e s t i o n i " B , " a d d s a d d i t i o n a l i n s i g h t . N e a r l y a l o t h s t a b l e c h o i c e s
o t h i s a n s w e r b e t w e e n t h t w a d m i n i s t r a t i o n s o t h t e s t a r s i g n i f i c a n t l y h i g h , s u g g e s t i n g a
s t r o n g e r t e n d e n c y t r e p e a t t h i s c h o i c e t h a n a n o t h e r . H o w e v e r t h i s s t a b i l i t y , w h i c h i
s i m i l a r t t e s t - r e t e s t r e l i a b i l i t y , a c c o u n t s f o o n l y 2 3 . 8 ( 6 6 9 t 2 8 1 0 ) o a l t h a n s w e r s a n
3 ( 6 6 9 t 2 1 1 2 ) o f a l t h s i g n i f i c a n t l y h i g h f r e q u e n c i e s .
I c o n t r a s t t h e t o t a l o a l s i g n i f i c a n t l y h i g h f r e q u e n c i e s t a l a n s w e r s i 7 5 . 2
( 2 1 1 2 t 2 8 1 0 ) . T h i s p r o c e d u r e a p p e a r s t b r e c o v e r i n g g r e a t d e a l m o r e s y s t e m a t i c
a n s w e r i n g t h a n t h r e p e a t e d c o r r e c t a n s w e r s a l o n e c a s u p p l y . T h r e s u l t s o t h e n t i r e g r o u p
a r e s i m i l a r t t h o b s e r v a t i o n s m a d e w i t h a g l e v e l 1 6 1 7 m o n t h s r e p o r t e d e a r l i e r .
A l s o i l l u m i n a t i n g i t h e p a t t e r n s o s t a b i l i t y a n c h a n g e t h a t c a b e o b s e r v e d . O n
w a o d e f i n i n g s e q u e n c e i t c o n s i d e r t w s i g n i f i c a n t l y h i g h f r e q u e n c i e s i c h r o n o l o g i c a l
o r d e r i n i t i a t e s e q u e n c e a n d t w n o n - s i g n i f i c a n t o r s i g n i f i c a n t l y l o c e l l s b r e a k t h
s e q u e n c e . F i g u r e g i v e s t h e s e o b s e r v a t i o n s . T h e s e r e s u l t s a r r e a r r a n g e d t s h o w t h e v i d e n t
s e q u e n t i a l p a t t e r n s .
I n s e r t F i g u r e h e r e
I t h f i r s t p l a c e , i m a b e n o t e d t h a t t h s e q u e n c e s o s i g n i f i c a n t l y s t a b l e c h o i c e s
( = c = d , . . . ) t e n d t f o l l o w t h s a m e s e q u e n t i a l p a t t e r n f o u n d i t h e a r l i e r s t u d y . I
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
32/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
33/64
a d d i t i o n , t h e m e d i a n p o i n t s o t h c h a n g e s f r o m o n a n s w e r t a n o t h e r ( = d = a , . . . )
t e n d t f a l l b e t w e e n t h s o l i d c o m m e n c e m e n t a g e s f o t h s t a b l e r e p e a t e d c h o i c e s o t h i s n e x t
s e q u e n t i a l a l t e r n a t i v e . T h u s a n s w e r s a p p e a r t d i s p l a y r e p l i c a t i n g d e v e l o p m e n t a l s e q u e n c e .
O p a r t i c u l a r i n t e r e s t i t h c h a n g e f r o m t h r i g h t a n s w e r " b t o t h e h i g h e s t s e q u e n t i a l
w r o n g a n s w e r " a w i t h t h m o r e m a t u r e s t u d e n t s . T h i s r e v e r s e t r e n d s e e m s t o r e f l e c t m o v e
a w a y f r o m c o n v e r g e n t t h i n k i n g s u c h a s m u l t i p l e - c h o i c e t e s t t y p i c a l l y r e q u i r e s .
I i a l s o i n t e r e s t i n g t n o t e t h a t t h e s e d a t a s e e m t s u g g e s t t h e r e m a b a l e a s t t h r e e
l e v e l s o a c h i e v e m e n t p r e s e n t i t h o s e w h l e a v e s c h o o l a p a r t o t h m a i n - s t r e a m . T h e r e
a r t h o s e w h h a v e c o n s o l i d a t e d u p o n l i t e r a l t h i n k i n g ( a l t e r n a t i v e " d " ) , t h o s e w h h a v ee i t h e r c o m p l e t e d f o r m a l o p e r a t i o n s o w h c a g i v e t h r i g h t a n s w e r f r o m m e m o r y
( a l t e r n a t i v e " b " ) , a n t h o s e w h e i t h e r r e m a i n e d a t h l e v e l o p e r s o n a l i z e d t h i n k i n g o g o n e
b e y o n d f o r m a l o p e r a t i o n s ( a l t e r n a t i v e " a " ) . T h e r e a r e a l s o l a r g e n u m b e r o s t u d e n t s w h
a r i t h t r a n s i t i o n s t a g e s a m o n g t h e s e s e v e r a l d e v e l o p m e n t a l l e v e l s w h e n t h e y g r a d u a t e .
O f u r t h e r i n t e r e s t i t h e o b s e r v a t i o n t h a t t h e r e a p p e a r s t b s e c o n d p a t h w a y a
w e l l . I t h i s c a s e t h o r d e r s e e m s t b t h r e v e r s e o t h m a i n s t r e a m , g o i n g f r o m t h r i g h t
a n s w e r " b a y o u n g a g t o w a r d e i t h e r l i t e r a l t h i n k i n g " d o n o n - l o g i c a l t h i n k i n g " c " b
t h t i m e t h a t t h e y l e a v e s c h o o l . S o m e o t h e s e s t u d e n t s o t h i s s e c o n d p a t h w a y a p p e a r t
l e a v e s c h o o l b e f o r e t h e y g r a d u a t e . I w a f o u n d t h a t t h o s e s t u d e n t s w h w i t h d r e w f r o m
s c h o o l b e t w e e n t h t w a d m i n i s t r a t i o n s m o s t c o m m o n l y c h o s e e i t h e r " c o " d . "
T h a p p e a r a n c e o f m o r e t h a n o n e d e v e l o p m e n t a l p a t h w a y i i t s e l f a i n t e r e s t i n g
p s y c h o l o g i c a l o b s e r v a t i o n . I b e g s t h q u e s t i o n , " H o w m a n y s u c h p a t h w a y s c a n b e f o u n d
u s i n g t h i s p r o c e d u r e ? " F u r t h e r r e s e a r c h w i l l b n e e d e d t a n s w e r t h i s q u e s t i o n . T h
o b s e r v a t i o n t h a t t h i s r e v e r s e p a t t e r n m a b d e t e c t a b l e a a y o u n g a a g a t e n y e a r s i
1
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
34/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
35/64
e n c o u r a g i n g . I c o m b i n a t i o n t h e s e o b s e r v a t i o n s s e e m t i n d i c a t e t h a t u s i n g r i g h t a n s w e r s a
c r i t e r i o n f o r a c a d e m i c s u c c e s s m a b n e c e s s a r y b u m i g h t b a i n s u f f i c i e n t m e a s u r e o
a c a d e m i c p r o g r e s s . T h s t u d e n t s ' r e a s o n i n g a p p e a r s t d e t e r m i n e t h a n s w e r s s e l e c t e d . I
m a b e a t h i n t e r v i e w d a t a s e e m s t s u g g e s t , t h a t t h e s e t r a n s f o r m a t i o n a l p a t t e r n s a m o n gt h a n s w e r s c o u l d p r o v i d e a w i n d o w u p o n o t h e r w i s e i n v i s i b l e l e a r n i n g p r o c e s s e s .
T h i s i n f o r m a t i o n i u n a v a i l a b l e w h e n t e s t s a r s c o r e d " r i g h t - w r o n g . " W r o n g - a n s w e r
d a t a i e l i m i n a t e d d u r i n g s c o r i n g . D t h e s e o b s e r v a t i o n s i n v a l i d a t e u s i n g t h i s a p p r o a c h f o
t e s t e v a l u a t i o n o r e d u c a t i o n a l q u a l i t y a s s u r a n c e 9 S h o u l d w b u s i n g t h i n f o r m a t i o n f r o m
a l s t u d e n t a n s w e r s i n s t e a d ?
2 T e a c h e r s ' a t t i t u d e s t o w a r d t h e i r p r o f e s s i o n
T h i s s e c o n d e x a m p l e b e i n g r e p o r t e d h e r e i f r a g m e n t o m u c h l a r g e r s t u d y b e i n g
c o n d u c t e d b t h C o n s o r t i u m f o C r o s s - C u l t u r a l R e s e a r c h i E d u c a t i o n b a s e d a t h S c h o o l
o E d u c a t i o n o t h U n i v e r s i t y o f M i c h i g a n i A n A r b o r . T h s t u d y u p o n w h i c h t h i s r e p o r t
i b a s e d w a c o n d u c t e d i t w e l v e c o u n t r i e s , A l l e n M e n l o b e i n g t h c o o r d i n a t o r . T h i s
f r a g m e n t w a p r e p a r e d j o i n t l y b e t w e e n P o w e l l a n C o l l e t t ( 1 9 9 0 ) .
S e c o n d a r y - s c h o o l t e a c h e r s w e r e a s k e d i n d i c a t e , w i t h i n b r a m s t o r m i n g s e s s i o n s , t h e i r
s o u r c e s f o e n t h u s i a s m a n d i s c o u r a g e m e n t t o w a r d t h e i r o n - t h e - j o b e x p e r i e n c e s a t e a c h e r s .
T h e i r c o m m e n t s w e r e c o l l e c t e d o w a l l c h a r t s , d i s c u s s e d , a n t h e n s u m m a r i z e d .
U s i n g c o d i n g s y s t e m , t h e w r i t t e n r e c o r d s o t h e s e d i s c u s s i o n s w e r e r e d u c e d t s e v e n
c a t e g o r i e s , e a c h o f w h i c h c o u l d b d e s i g n a t e d a e i t h e r a s o u r c e f o e n t h u s i a s m ( E o
d i s c o u r a g e m e n t ( D ) . T h e s e c a t e g o r i e s w e r e a l s o c l a s s i f i e d a b e i n g c o n t r o l l a b l e ( C b t h e s e
t e a c h e r s o r b e y o n d t h e i r i m m e d i a t e c o n t r o l ( U T h c a t e g o r i e s w e r e :
1
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
36/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
37/64
1 S e l f ( C )
2 S t u d e n t s ( C
3 O t h e r s ( C
4 S e l f ( U )
5 S t u d e n t s ( U
6 C l i m a t e ( U
7 W o r k l o a d ( U
B l o o k i n g a o n l y t h r e e c o u n t r i e s ( C a n a d a , J a p a n , a n t h U . S . A . ) t h m u l t i n o m i a l
p r o c e d u r e w a u s e d t c o n s i d e r s i m i l a r i t i e s a n d i f f e r e n c e s a m o n g t h e s e c o u n t r i e s o t h e s e
f o u r t e e n c a t e g o r i e s . W h e n t h m u l t i n o m i a l p r o c e d u r e i a p p l i e d t t h t a b l e t h r e s u l t s w e r e :
I n s e r t T a b l e h e r e
T w t r e n d s a r o b s e r v a b l e . F i r s t , e a c h c o u n t r y s h o w s s o m e d i f f e r e n c e s f r o m t h
o t h e r , w i t h C a n a d a a n t h U . S . A . m o r e a l i k e w i t h e a c h h a v i n g e i g h t o t h f o u r t e e n
s i g n i f i c a n t p r o b a b i l i t i e s i t h i d e n t i c a l d i r e c t i o n . T h d i r e c t i o n s o t h e o t h e r s i w e r e a l s o
e q u i v a l e n t . J a p a n d i f f e r e d f r o m t h o t h e r t w c o u n t r i e s b s h o w i n g g r e a t e r p o l a r i z a t i o n a n
h a v i n g a o p p o s i t e v i e w o t h u n c o n t r o l l a b l e a s p e c t s o s e l f a n t h c l a s s r o o m e n v i r o n m e n t .
S e c o n d , t h e r e a p p e a r s t b t r e n d w h e r e i n t h s o u r c e s f o e n t h u s i a s m c o m e f r o m
t h e l e m e n t s o t e a c h i n g o v e r w h i c h t e a c h e r s h a v e c o n t r o l , a n o d i s c o u r a g e m e n t f r o m t h o s e
e l e m e n t s o v e r w h i c h t h e y h a v e l i t t l e c o n t r o l . A l t h o u g h t h e s e c o n c l u s i o n s c o n t a i n n
s u r p r i s e s , t h p r o c e d u r e s e e m s t i d e n t i f y q u i t e c l e a r l y b o t h g e n e r a l t r e n d s a n i n t e r n a t i o n a l
d i f f e r e n c e s a m o n g t h e s e d a t a .
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
38/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
39/64
3 P s y c h o l o g i c a l c h a r a c t e r i s t i c s o c o n t r a s t i n g g r o u p s
I t h t h i r d s t u d y r e p o r t e d h e r e , C a r n e y ( 1 9 9 2 ) p r e s e n t s s o m e s i m u l a t e d d a t a d e s i g n e d
t i l l u s t r a t e a c l u s t e r i n g t e c h n i q u e t a i i i n t e r p r e t i n g c o u n s e l i n g s e s s i o n s . I n t h i s p a p e r
t w e l v e p e o p l e , a l o w h o m a r a d u l t c h i l d r e n o a l c o h o l i c f a m i l i e s , a r e c o n t r a s t e d . S i a r i r e c o v e r y a n s i x a r e i n d e n i a l . T a b l e g i v e s t h e f r e q u e n c i e s o r e s p o n s e s i s e v e n d i f f e r e n t
c a t e g o r i e s f o e a c h o t h e s e s i c l i e n t s .
I n s e r t T a b l e 9 a b o u t h e r e
T h e s e c a t e g o r i e s w e r e c o m p a r e d a t t o p i c , s u c h t h a t " l i v i n g i s t o r m , " f o t h o s e i r e c o v e r y , w a s e e n t b s i m i l a r t " s u d d e n , n a s t y m o o d s w i n g s , " f o t h o s e i d e n i a l . S i o
t h s e v e n c o u l d b c o n t r a s t e d i n t h i s w a a n t h e i r f r e q u e n c i e s o r e s p o n s e r a n k - o r d e r e d . T h
r e s u l t i n g ( r h o ) w a 0 . 4 9 w h i c h i n e g a t i v e b u t n o t s i g n i f i c a n t . T h m u l t i n o m i a l
p r o b a b i l i t i e s a r a l s o g i v e n i T a b l e 9
O n l y o n e o f t h e s e s i p a i r s o c o n t e n t v a r i a b l e s s h o w e d s t a t i s t i c a l l y s i g n i f i c a n t
c o n t r a s t . H o w e v e r , f o u r o t h r e m a i n i n g f i v e s h o w t r e n d t o w a r d s i m i l a r p o l a r i t y . I
w o u l d a p p e a r t h a t p e o p l e i d e n i a l , a n i r e c o v e r y t e n d t d i s p l a y o p p o s i t e p s y c h o l o g i c a l
a t t i t u d e s b a s e d s o l e l y u p o n t h e f r e q u e n c i e s o t h i n g s a b o u t w h i c h t h e y a r e w i l l i n g t t a l k
d u r i n g c o u n s e l i n g s e s s i o n s .
C o n c l u s i o n s a n I m p l i c a t i o n s
I t h i s p a p e r t h r e e d i f f e r e n t c o n t e x t s h a v e b e e n p r e s e n t e d , e a c h o n h a v i n g i
c o m m o n f r e q u e n c i e s o s o m e s o r t . I e a c h c a s e t h m u t l i n o m i a l p r o c e d u r e h a e i t h e r
s u p p o r t e d t h c o n c l u s i o n s t h a t w o u l d b e x p e c t e d f r o m t h s i t u a t i o n s t h a t t h e s e d a t a
2
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
40/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
41/64
r e p r e s e n t , o r t h e y h a v e c a s t n e l i g h t o s i t u a t i o n s w h e r e m o r e t r a d i t i o n a l s t a t i s t i c a l
p r o c e d u r e s a p p e a r t b i n s u f f i c i e n t i n o t i n a p p r o p n a t e .
T h i s s t a t i s t i c a l p r o c e d u r e s e e m s t b p r o m i s i n g n e t o o l f o r e s e a r c h e r s w h a r
u n c o m f o r t a b l e w i t h l i n e a r t e c h n i q u e s o a r e f i n d i n g t h a t s u c h t e c h n i q u e s d n o t p e n e t r a t e
t h e i r d a t a a d e e p l y a t h e y m i g h t w i s h . T h l a r g e i n c r e a s e i e x p l a i n e d v a r i a b i l i t y t h a t h a
b e e n o b s e r v e d h e r e i n h o l d s p r o m i s e f o d r a w i n g m o r e d e t a i l f r o m d a t a t h a n l i n e a r
a p p r o a c h e s m a s u p p l y . W h e n e v e r t h e r e m a b r e a s o n t s u s p e c t a n o n - l i n e a r c o m p o n e n t t
t h e v e n t s c o n t a i n e d i f r e q u e n c y - t a b l e d a t a , t h i s p r o c e d u r e c o u l d p r o v e h e l p f u l .
2
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
42/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
43/64
R E F E R E N C E S
C a r n e y , T F . ( 1 9 9 2 ) . ' C l u s t e r i n g ' a s a a i t g u i d a n c e , c o u n s e l l i n g , a n r e l a t e d r e s e a r c h .
G u i d a n c e a n C o u n s e l l i n g , 8 ( 1 ) ; 3 5 - 4 9
F l a v e l l , J H ( 1 9 6 3 ) . T h D e v e l o p m e n t a l P s y c h o l o g y o J e a n P i a g e t . V a N o s t r a n d ,
N e Y o r k , N Y
G o r h a m , D R ( 1 9 5 6 ) . T h P r o v e r b s T e s t . P s y c h o l o g i c a l T e s t S p e c i a l i s t s ,
M i s s o u l a , M T
P o w e l l , J C ( 1 9 7 7 ) . T h d e v e l o p m e n t a l s e q u e n c e o c o g n i t i o n a r e v e a l e d b w r o n g
a n s w e r s . A l b e r t a J o u r n a l o E d u c a t i o n a l R e s e a r c h , 2 3 4 5 1
P o w e l l , J C a n C o l l e t t , L ( 1 9 9 0 ) . c r o s s - c u l t u r a l c o m p a r i s o n d e r i v e d f r o m t e a c h e r
s a t i s f a c t i o n a t t r i b u t i o n s f r o m U . S . A . , J a p a n , a n C a n a d a u s i n g
m u l t i n o m i a l . . . a n a l y s i s . P a p e r p r e s e n t e d a t h a n n u a l m e e t i n g o t h
A m e r i c a n E d u c a t i o n a l R e s e a r c h A s s o c i a t i o n , B o s t o n , M A A p r i l 1 7 1 9 9 0 .
T h f u l l r e p o r t h a n o y e b e e n p u b l i s h e d . C o n t a c t D r A l l e n M e n l o a t h
U n i v e r s i t y o M i c h i g a n , A n A r b o r , M f o m o r e d e t a i l s .
P o w e l l , J C a n S h k l o v , N ( 1 9 9 2 ) . O b t a i n i n g i n f o r m a t i o n a b o u t l e a r n e r s ' t h i n k i n g
s t r a t e g i e s f r o m w r o n g a n s w e r s o m u l t i p l e - c h o i c e t e s t s . T h J o u r n a l o
E d u c a t i o n a l a n P s y c h o l o g i c a l M e a s u r e m e n t , 5 2 8 4 7 - 8 6 5 .
2
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
44/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
45/64
F i g u r e l a b e l s
1 C h a n g e P a t t e r n s f o t h e E n t i r e I t e m 1 ( 2 8 1 0 ) .
2
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
46/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
47/64
T a b l e
A I l l u s t r a t i o n o t h I m p a c t o S a m p l e S i z e U p o n t h P o s s i b l e
M e a n i n g f u l n e s s o O b s e r v e d F r e q u e n c i e s
b
O p t i o n
O p t i o n
A l O t h e r s
T o t a l s
1
1
A l o t h e r
O p t i o n s
T o t a l s
1
2
O p t i o n
O p t i o n
A l O t h e r s
T o t a l s
1
1
A l o t h e r
O p t i o n s
6
7
T o t a l s
1
7
9
E x p e c t e d v a l u e f o r 1 1 i 1 2 , 3 9 E x p e c t e d v a l u e f o r 1 1 i 3 . 1 7
2
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
48/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
49/64
T a b l e
A E x a m p l e o f t h e P r o c e d u r e
U s i n g M u l t i p l e - c h o i c e T e s t D a t a
P o s t t e s t
F r e q u e n c y o a n s w e r s o P r e t e s t
C T o t a l s
1 2
3
1
4
2
T o t a l s 2 4 2 1 1
S o u r c e : D a t a f o a g l e v e l s 1 6 1 7 m o n t h s f r o m T a b l e 4 P o w e l l S h k l o v ( 1 9 9 2 ) .
T h c o r r e c t a n s w e r t o t h i s q u e s t i o n i " B . "
2
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
50/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
51/64
T a b l e
T h R e s u l t s o C o l l a p s i n g
P o s t t e s t
R o w ?
R o W S i + 3 + 4
T a b l e
C o l u m n 2
3
1
A r o u n d C e l l
C o l u m n s 1 + 3 + 4
1
4
0 2 T o t a l s
4
6
T o t a l s 4 6 1 1
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
52/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
53/64
T a b l e
P r o b a b i l i t i e s o t h O b s e r v e d F r e q u e n c i e s
f r o m T a b l e 1 F i r s t L o o k
R o 1
O b s e r v e d
E x p e c t e d
v a l u e s
1
7 . 3 8
0 . 9 9 7
1 1 . 7 1 2 . 0 4
0 . 0 0 2 0 . 8 8 8
6 . 8 7
0 . 9 0 7
R o 2 O b s e r v e d
E x p e c t e d
v a l u e s
1 2 . 6 5
0 . 0 3 4
3
2 0 . 0 7 3 . 4 9
1 . 0 0 0 0 . 2 3 5
1 1 . 7 8
0 . 0 0 2
R o 3 O b s e r v e d
E x p e c t e d
v a ! u e s
1 . 8 5
0 . 9 2 3
2 . 9 2
0 . 3 7 6
0 . 5 1 1 . 7 2
0 . 5 8 0 0 . 7 7 1
R o 4 O b s e r v e d
E x p e c t e d
v a l u e s
7 . 1 2
0 . 5 8 4
1 1 . 2 9 1 . 9 6
0 . 0 1 4 0 . 9 0 1
1
6 . 6 2
0 . 9 9 3
N o t e : P r o b a b i l i t i e s w h e r e . 9 a r s h o w n i i n c r e a s e d f o n t a n b o l d f a c e ;
w h i l e p r o b a b i l i t i e s p 0 . 0 5 a r s h o w n i r e d u c e d f o n t s i z e .
2
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
54/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
55/64
T a b l e
S e c o n d O r d e r A n a l y s i s o T a b l e
w i t h t h F r e q u e n c i e s i M a i n D i a g o n a l R e m o v e d
R o 1
O b s e r v e d * *
E x p e c t e d
v a l u e s
R o 2 O b s e r v e d
E x p e c t e d
v a l u e s
R o 3 O b s e r * e d
E x p e c t e d
v a l u e s
R o 4 O b s e r v e d
E x p e c t e d
v a l u e s
* *
4 . 9 1
0 . 9 8 9
2 . 2 9
0 . 8 5 1
5 . 2 4
0 . 9 2 2
1 . 1 8
0 . 8 4 6
* *
*
* *
1 . 6 5
0 . 7 9 6
3 . 7 8
0 . 9 6 8
2 . 4 7
0 . 8 0 5
2 .
0 . 6 2 4
* *
*
* *
4 . 6 5
0 . 8 3 9
4 . 9 5
0 . 9 9 8
4 . 3 6
0 . 7 7 8
2 . 0 4
0 . 6 7 4
* *
*
* *
2
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
56/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
57/64
T a b l e
S u m m a r y o t h R e s u l t s
o B o t h O r d e r s o A n a l y s i s F r o m T a b l e
P o s t t e s t
F r e q u e n c y o a n s w e r s o P r e t e s t
C T o t a l s2
1 1
4
2
T o t a l s 2 1 1
N o t e : F r e q u e n c i e s w i t h p r o b a b i l i t y 0 . 9 5 a r s h o w n i t h b o x e s . T h e r e w e r e n
l o w - p r o b a b i l i t y e v e n t s r e m a i n i n g i t h e a n a l y s i s o t h i s t a b l e .
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
58/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
59/64
T a b l e
T h R e s u l t s o f t h A n a l y s i s o t h t w A d m i n i s t r a t i o n s
o I t e m 1 f r o m T h P r o v e r b s T e s t
S i g n i f i c a n c e o f T e s t - R e t e s t i t h i n - I t e m R e s p o n s e s
A g e s
< 9 9
1 0 1 0 1 1 1 1 1 2 1 2 1 3 1 3 1 4 1 4 1 5 1 5 1 6 1 6 1 7 1 7 1 8 1 8 1 9 1 9 2 0
2 0 2 1 2 1
> 2 2 0T o t a l sT o t a l s
t
1 1
1 1
1
1 1 1 1
1 1 1 1
1 1
2 5 1 9
t
1
1 1
2 1 1 1 1
2 0 1 5
t
5
t
1 1 1 1 1
1
1 1
1
1 9 1 5
t
1 1 1
1
1 6 1 2
t
1 1 1 1 1 2 1 3 6 5 7 6 5 4 3 3 3 1 3
6 7 6 6
t
6 3
t
1
1 2 8
t
6 2
t
6 1
t
6 5
t
7 4
t
1 1
1 1
1
1 1 1
1 8 1 3
t
1 2 2 1 1
1 9 1 3
t
9 6
t
1
1 1 1 1 1
2
1
1
1 1 2 2 1 1 1 1 1
3 2 2 4
A g G r o u pT o t a l s
2 3 3
1 0
6 9 9 9
1 1 9
1 1 9 8 9 7
1 1 1 8 1 9 2 0 1 7 1 6 1 4 1 1
8 8 5 7
2 8 1 02 1 1 2
M e a ni n g f u lC o u n t
1 1 1 8
2 T 5 7 3 9 5 9 6 6 5 6 7
1 4 1 5 1 6 1 5 1 5 1 1 4 "
9
8 - 7 3 6
2 1 1 2
S o u r c e : C o m p o s i t e o f T a b l e s f r o m P o w e l l S h k l o v ( 1 9 9 2 ) .
3
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
60/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
61/64
T a b l e
A t t r i b u t i o n S t u d y
B a s i c D a t a a n P r o b a b i l i t i e s
A t t r i b u t i o n
T a r g e t
U S A
E n t h u s - D i s c o u r -
i a s m a g e m e n t
C o n t r o l l a b l e :
1 S e l f 4 L O o o
2 S t u d e n t s ) 4 1 . 0 0 1 o . o o
3 . O t h e r s 0 . 9 3 0 . 3 3
U n c o n t r o l l a b l e :
4 S e l f
5 S t u d e n t s
6 C l i m a t e
W o r k l o a d
0 . 9 8 0 . 1 0
1 0 . 4 6 1 2 0 . 7 0
6 o o 9 1 . 0 0
i o o 5 1 . 0 0
J a p a n
E n t h u s - D i s c o u r -
i a s m a g e m e n t
5 0 . 9 9 3 o o
1 2 1 . 0 0 2 o o
0 . 9 7 0 . 1 3
o . o o 4 1 . 0 0
5 o . o o 1 0 1 . 0 0
1 5 0 . 9 6 1 3 o . o 2
o . o o 8 1 . 0 0
C a n a d a
E n t h u s - D i s c o u r -
i a s m a g e m e n t
7 1 . 0 0 1 o . o o
8 1 . 0 0 o o
0 . 8 5 0 . 3 8
1 0 . 6 3 1 0 . 5 3
i o . o o 4 1 . 0 0
7 0 0 1 6 1 . 0 0
1 o . o o 4 1 . 0 0
T o t a l s 1 9 1 8 4 1 4 3 2 9
G r a n d T o t a l
2 8
1 8 1 9
B O L D : F r e q u e n c i e s w i t h / ? 0 . 9 5 .
S t a n d a r d s i z e : F r e q u e n c i e s n o s i g n i f i c a n t .
s m a l l : F r e q u e n c i e s w i t h 0 . 0 5 .
3
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
62/64
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
63/64
T a b l e
F r e q u e n c i e s o R e s p o n s e s t V a r i o u s T o p i c s
D u r i n g C o u n s e l i n g S e s s i o n s
b y A d u l t C h i l d r e n o f A l c o h o l i c s
i R e c o v e r y o D e n i a l
I R e c o v e r y I D e n i a l
T o p i c F r e q u e n c y P r o b a b -
o d i s c u s s i o n o r e f e r e n c e s l l i t y
T o p i c F r e q u e n c y P r o b a b
o d i s c u s s i o n o r e f e r e n c e s U i t y
1 L i v i n g i s t o r m
2 C r a z y m a k i n g
3 O v e r - a c h i e v i n g
4 F r o z e n f e e l i n g s
5 S u r v i v o r g u i l t
6 N o b e l o n g i n g
6 6 S u d d e n , n a s t y m o o d
5
5
4
3
0
0
0
0
8 8
1 1
5 8
1 5
1 4
5
1
3
2
4
s w i n g s
U n f a i r p r e f e r e n c e s
D o n ' t d w h a t d a d d i
E m o t i o n a l l y l e f t h o m e
C o n s t a n t c r i t i c i s m
P h y s i c a l v i o l e n c e
2
2
4
3
3
3
0 . 0 0 9
0 . 1 7 2
0 . 9 2 1
0 . 5 1 2
0 . 8 9 2
0 . 9 0 5
-
8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data
64/64