lecture 07: classification pt. 3 - clark science...
TRANSCRIPT
LECTURE 07:CLASSIFICATION PT. 3October 02, 2017SDS 293: Machine Learning
Slides by R.J. Crouser, with a diversion by B.A. Miller
Outline
üMotivationüBayes classifierüK-nearest neighborsüLogistic regression
üLogistic modelüEstimating coefficients with maximum likelihoodüMultivariate logistic regressionüMulticlass logistic regressionüLimitations
• Linear discriminant analysis (LDA)- Bayes’ theorem- LDA on one predictor- LDA on multiple predictors
• Comparing Classification Methods
Image credit: Rune Anderson
&84@X*'EBC8@9'98D98GGB6C
0 500 1000 1500 2000 2500
0.0
0.2
0.4
0.6
0.8
1.0
Balance
Pro
babili
ty o
f D
efa
ult
| | || | ||| ||| || | ||| || || | || | || || ||| | | | ||| || || || || ||| || | ||| || ||| ||| || ||| |||| | ||| ||| | || | || | || || | ||| | || ||| || || | || | ||| || | ||| || ||| | ||| || || ||| | ||
|
|| ||| || || | |||| | || || | ||| || || || | || | | | |
|
||| | ||| |||| | || || ||| || ||| || |
|
| || |
|
| |
|
|| || ||| | || || ||| | || || || || |||| | ||
|
|
|
| ||| | || || || || ||| || |
|
|| | ||| | | ||| ||| || | || | | || || ||| || || | || || |||||||| || || | || | |||| | || || || || | || ||| || |||
|
|||
|
| | |
|
| | |||||
|
|| || || || || || ||| | || || |||| || | | ||| ||| | | | || || || || | ||
|
| | || || || ||| || | ||| ||| | ||| |||| | || |
||
| || ||| | | | ||| ||| | || | | |||| | || | ||||| || | ||| || || || |
|
| || || | ||||| | | || || | |||| | ||| | ||| | | ||| | | ||| || ||| | || ||||
|
| || |
|
| || || | || | | | || || | || || ||| |||| |||
|
| |||
|
|| | | || ||| | || ||| || || | ||| || | || || || |||| | ||| | | ||| || ||| | ||| |||| |
|
||| || | | ||
|
| || || |||| ||| ||| | | || | || || ||| ||| ||| | ||| || | || ||| || | | ||| || || ||| ||
|
| || || || | || || || || || || |||| ||
|
| |||| | | | ||| || |||| || |
|
||| | ||| ||| || || | || || || || |||| || | | ||| | |||| | |
|
||| | ||||| || || | || || || | ||| || || |
|
|||| |||| | | || || || || | || || |||| | | ||| |
|
|| || | | |||| || || || | |||| || || || || ||| || || | || | | || || | || || ||
|
|| | ||| | ||| |
|
|||||| | | ||| || | || || | | ||| | | | | || ||| | | |||| | ||
|
|| | || |
|
| ||| || | ||| | || || ||
|
| || | || | | || | || || | | |
|
| |||
|
||| | || || || | | | || || ||
|
|| || | | ||| | |||| || ||| || || || || || ||| ||| | ||| | | |||| || ||| | | ||
|
|| | | || ||| || | ||| || ||| || || || | || || || || ||
|
|| || |
||
|| | || ||| |||| | |||
|
| || | | ||| || | ||| ||| | || | | | ||| || || || | ||| || | ||| || || ||
|
|| | ||
|
|| | | || ||| || ||| ||| | || ||| |||| | || | | || |||| |
|
|| || | || ||| || | || || | || | ||| | || ||| || || || || | || || | || || || || | || | |||| | ||| | || || | || || || || ||| || | | || | ||| ||| | ||| | | |||
|
|
|
|||| || | | || | ||| ||| || | ||| || | | | |||| |
|
||| | || ||| | || |||| || | || || | | || || ||| ||| | ||| || || || || | |
|
|
|
|| || | ||| ||||| | | | ||| | | ||| || || || || || | |
|
||
|
|||| ||| |
|
| ||| |
|
||| ||| | ||||| | || || || || | | || || || || || ||| ||| | || | ||
|
||| | ||| || | ||| | |||| || | | || |||| | || || || || || | |
|
||| | | || |||| | || || | |
|
|| | || | || |||| | ||
|
| || || ||| || | | ||| || || ||
|
|| || ||| ||| || || || ||| || || ||| || | | | ||| || || ||||| || | ||| | || | |
|
| || || |
|
| || | | || || | ||||| || | || || || || || | || || || | ||
|
|| ||| || || || ||| | || |||| | | || || || | |
|
|| | || || ||| | ||| || ||| | | ||| ||| || || ||| || ||| || || ||||
|
|||
|
||| | || || || |
|
| || || ||| ||| || | |||
|
||| || || ||| || |
|
|| || || | ||| || | || | || |
|
| || ||| | | ||| || ||| | || | || | || | | || || || | || || | |||
|
|
|
|||| | || | | || | || | ||| | ||| | || | || || || || ||| || |||| || | ||| || || || || | ||
|
||| || | |
|
| | ||| | || || ||||| ||| ||| |
|
|| | ||| ||| ||| | ||
|
|| | || || ||| || | |
|
| | || ||||| ||| | || || ||| || || ||
|
|| | |
|
||| || | || | || | | ||||| | || ||| || |||
|
|| | | |||| | | || | || | |||| | | | | | ||| | |||
|
|||| || ||| || ||
|
||| || |
|
|| | || || || | || | |||||| |
|
|| |
|
||| | | || ||| |
|
| | ||| ||||| ||| | | || || || |
|
| || | ||| || || || || | | ||| || | | | ||| | || || || |||| || |
|
| || | ||| | | || ||| || | | ||| | | ||| | | ||| ||| ||| | |
|
| || | ||| || ||| | || |
|
| ||| | || ||| |||
|
||| | | || || || |||| ||| | ||| ||| ||| || || ||| | ||| |||| | || ||| | || || | || ||| || || || || || || | || || || |||| || || || ||| |
|
|| || || ||| ||
|
|| | ||| | || ||| | || | | | ||| | || || || | ||| |||| || | || || | | |||| | || ||| || | ||| ||| || | || | | | ||| ||
|
| ||| | || | | | |
|
|||| || || | ||| | || |||||| || || || ||| ||| | || ||| | |||| ||| | || || |
|
| || | || || || || || ||| | || || || || | ||| || | || ||| || || |||| ||
|
|| | ||| || || || || | | ||| ||| ||| || ||| |||| ||||| |
|
|||| | | || |||| ||| ||| || || ||| || || || || ||||| ||| | || || | || | ||| ||| |
|
| ||| || || || || || || |||| || |||| || || |
|
||| || || || || | |||
|
|| ||| | ||| || ||| || ||||| ||| | | || |||| || || | ||| || | || ||| | | ||||| | ||| ||| || | | | | || | | || || || | || |||| | ||
|
| || || || || || || || | | || || | | || | ||| ||| | | ||| ||
|
|| ||| || ||| || | || || ||| |||| | ||| || || ||| | | | ||| || | ||| |||| || || |||| || | || | ||| || | || | ||| || || || || ||| || |||| ||| || ||||| | || || |
|
|| || | ||| || ||
|
|| | | |||| | ||| ||| ||| || || || ||| || || || | || || || ||| | | ||||
|
|| | |||| || || ||
|
| || | |
|
|| || | |||| || | ||| ||| | || || || | || | | ||
|
|| || |
|
|| | ||| || |||| ||| || |
|
|| | || ||
|
|| | | || | || ||| ||| || | || |
|
| || ||| | |||| |||| || | ||||| | | |
|
|| ||| ||||
|
||| | || || ||| || | ||| | || || | || || || | ||| || |
|
|| || || | || ||
|
| || ||| ||
|
| || | | ||
|
|| || | || |
|
|| |||| | ||||| | | || | | |||||| || ||| ||| || || |||| | | || |||| || ||
|
| |
|
||| ||
|
| || | |
|
|| || | || | | |||| || | | || | | || || || || || | || ||| | | |||| | |
|
| || || || || || || ||| | | || || ||| || | |||| | || ||| | |||| |||||
|
| | |
|
| | ||| | |||| | || || || || || || | || | || | | | || || | || | |||| | || | || || | ||| | || || ||| || || |||
|
| || ||| | || | || || || ||| | || |||| || | || | ||
|
| | ||| ||| || | |||
|
|| ||| || || || | | || | ||| | || ||| | ||
|
|| || | || | | || ||| | |||| || || | || ||||| || ||| || || || ||| ||| ||| | ||| || ||| ||| || || | ||| |
|
|| |
|
| ||||| | || ||| || || || || | ||| || || | | | ||| | || ||| ||| ||| |||| ||| ||| || || | || | |
|
| || | ||| ||| || || || ||| || ||| | || || | | || | || || || | || | ||| | || || || ||| ||| || || | || | ||
|
| || ||| || || ||| || | ||| || | || |
|
| || | ||| ||| || ||| | ||| || || | | ||| | ||
|
| | || | | |
|
|| | ||| || || | | ||| | | ||| | | || || |||| | || ||
|
|| | | || | | | ||
|
| ||| | | || | || ||| || || | ||| | ||| || |||| | ||| ||| || | || || ||| ||| | ||| ||| ||||| |||| ||| | | |||| ||
|
| |||| | || | |
|
||| ||| || || ||
|
|| |
|
|
|
||| ||| | |||| || ||| | || ||| | | || ||| ||
|
| ||| || |||| || | || | || || | | |||| || | |||
|
||||| || | |||| ||
|
| ||| || |
|
|| || || ||||| | | ||| | ||| | || | ||| || | || | || | | || |||
|
| || |||| ||| | | |
|
| || |||
|
|| || | || | ||||| | | ||| || || | | ||| || || | | | | || ||| | |||| | | || | |||| || | ||| | || |||| | | || ||| ||
|
|| || | || | | || | ||| ||| || || | | || || | || || ||| || || || | | | || | |||| | | || || ||| |
|
|| || | || || || || | ||| | || || || | ||| | || ||| ||
|
|| || || ||
|
| || ||| || || | |
|
| || | | || | ||| | || || ||| || |||| || || | ||
|
|| || || || | | |||
|
|| || | ||| || ||| || | | || |||| | | || ||| |
|
| | |
|
| || | ||| || | | ||| || | || ||| || | | || | | ||| | || | | ||| || ||| | ||| || ||
|
|| || ||| ||| || || ||| || |
||
|| |
|
| | || | || || | ||| || | ||| | | | || | || | || | | |||| | ||| | ||| ||| ||| || | ||| || || || | || |||| | | |||| ||| | | | |||| |
|
|
|
| || || |||| | || |
|
|| || || | |||
| |
| ||| ||| | || | | | |||
|
| ||| | ||| || || || || || | ||| || | || ||| ||| | | || |||| | |||||
|
| || | ||| ||| || || | | ||||| ||| | || || || ||| | ||| || | | || | || || |||| || | ||| | ||| | || || || | || ||| ||| ||| || | ||| | || ||| || || ||| || || | |||| || ||| || ||| | ||| ||| | || | || || || ||| | || ||| | || | || ||| | | ||| | |
|
| | ||||| | ||
|
|| |
|
|||| || |||||
|
|| | | || |||| | || || ||
|
|| ||| || || || ||| |||| || ||| | |||| | | |
|
| | | |||| || ||| | ||| | | || || |
|
|| | || | || | |
|
| | |
|
||| | || | ||| || || || ||| |||| || || ||| || || |||
|
| | | || | || ||| || | ||| ||| || || | ||| || | || || || ||| || ||| | || | || | || || ||| | || ||||| | |
|
|| | | | |||| || ||| || || || || | | || |
|
||| | || || ||| || | || |||
|
|| || ||| | | ||| ||| | || || || || || || | | | ||| | || | | || || | | || ||| || ||| | || || | |||| || || ||| || |
|
|| | || | | || ||| |||| | || | | || ||| | || || || |||| || ||| ||| || || || || || | ||| ||| |||| | |
|
| ||| | ||| ||| || || || |||| || | ||||| | || | ||||| | ||
|
| | || || ||| || | |||| | ||| | || ||| ||| | | || |
|
|| ||| ||
|
| || | ||| || || || |||| || ||
|
||| | || |||| || | || ||| || || | || | || | || || ||| |||| ||| |
|
||| ||| || | || || || | || || | | ||| || || | ||| ||| | ||| ||| |||| | || | || || ||| | || || ||| |
|
|| | ||| ||| | || || || || | || | | ||| || | ||| | || || || || | | || | | || | | |||| || ||| | | || || || ||| || || | |
|
| | ||| || || || |
|
| || || |||
|
| | || |||| ||| | || | ||| || | || | || ||| | || || || || |||||| || | || || | ||| ||| | | || | | || || ||| | ||| || ||||| | || ||| | ||| |||| | || | || ||| ||
|
|||||| | ||| || | || || || ||| || || || || | | || | ||
|
|| || || || ||| | ||| ||| ||| || || || || | || || ||
|
||| | || || || | ||| | || || | || ||| | || || ||
|
| | || | ||| || || | | ||| | || | |||| |||| || || | || | | ||| | || | | |||| || | |||| | || || | || || | ||| || || | ||| || | || ||| |||
|
| || || |||| || || |||| | ||| |||| | |||| |||| || |
|
|| | || | | || | | |
|
| ||||| | |||||| | || | | || || || || | || ||| || | || || || |
|
|
|
| ||| | || | ||| ||| |||| |
|
|| || || || || | | || | ||| | | | ||
|
|| || | || | |||| | ||
|
| || |||| || | ||||| || || | ||| | | ||| ||| | || |||| ||| |
|
| |||| || | ||
|
|| || | |||| | || ||||| | || | ||| | | || || | | | || ||| ||| || | | || | ||
|
|| ||| |
|
| | || || |||| |
|
|| | ||| | || || | ||| || || ||| | || || | ||| || || | || | || |||| || ||| ||| ||| || | ||| | || || | |||
| |
||| || || || | || |||| | |||| || ||| || || | ||| ||
|
| || || ||| || || | | ||| | || | |||| ||
|
|| ||| || | || | | | || | ||| | |
|
| || || || | || || || | ||| || ||| || ||
|
| || | |||| |||
|
| ||| || || | || |
|
| || ||| || | || || |||| || | ||| | || | || | ||| | || | || ||||| |
|
|| | || || | | | ||| | || ||||
|
|
|
| | | | |||| ||| |||| |||| | | | ||| | || | || || | || | |||| | || | | ||| || |
|
||||
|
| ||| | ||| ||
|
| || || ||| ||| || |||| ||| |
|
||| || | ||
|
||| | | || ||| | || |||| || | || ||| || || | ||| | ||| || |||
|
|| ||| || ||| | | || || | || | ||| | || | | || | ||| |||| || || ||||| | ||| | || || || || | || | ||||
|
|| ||| || ||| | | || || | ||| |||| | |
|
|| | | ||| || ||
|
| || || || |
|
| | | || | || ||| ||| || | || || || |||
|
| || || ||||| | | || ||
|
||
|
|| | || || | ||| || | || | ||| |
|
|| | || | |||
|
|| | |||| || ||| | ||| | | ||| || | || || || | | || |||| ||
|
| || | || || | || ||| | ||| ||| ||| | ||| | || | ||| ||||| | | | ||
|
| | | || | ||| || || ||
|
| || |||| | ||| | |||| || | | ||| || | ||
|
|| | | ||||| | || ||| || || || ||| |||| |||
|
| | | ||| |||| | || |||| | || | | || || | | || || || | ||||| ||| |||
|
|| ||| ||| ||
|
| | || | || ||||| ||| || || || || | ||| || | | | | ||
|
| ||| | || || | | || ||| || |||| ||| || | | ||| | ||| | || || || | || | || | || || | || |
|
| || || |||| ||||| | || | || | || |||| | || | || || |||| | | ||| ||
|
| || || || ||| || || | ||||| || || | ||| || |||| | || ||| ||| || || | |||| || | ||| ||| || | ||| | | || | || || | | || | | || | || |
|
|
|
||| | | ||| ||| || | || | || ||| | |
|
| ||| || || | | || ||| | | | || | || ||| || | || || | || || || || || || || ||| | || || || | || ||||
|
| ||| ||| |
|
| ||| | || | | ||||| | ||| || || || ||| || | ||| | || || ||| || | || | |
|
| |
|
||| ||||| | |||| || || ||| || | || | || ||| | ||
|
| | ||| | ||| | |||| || || | |||| | | ||
|
||| | | || | | ||| || | ||| || ||| || || ||| ||| ||| | || | | | || || ||| || | ||| |||| || || ||| | ||| |||| ||||| || ||| || || | | ||| || || || |||| ||| ||
|
||| ||| ||| | || | ||| | || | | || ||| | || || ||| | || | ||| || | | || ||| | ||| | || || || |||| | | ||
|
||||| || | | || || || ||||| | ||| || ||| ||| | || || || | | || || ||| || | |
|
|| | || |||| || ||
|
|| || | | || | | ||
|
|
|
|
|
|| || | || || ||
|
| || || || || | || ||| | || | | ||| | || || |||| |||| || | ||
|
| || || | || || ||| | | || ||| || || || | | | ||||
|
|| ||| ||| || || || | || || || | | || | || | ||| | || ||| || | || ||| || | || || || || ||| ||| | | ||| | || | || || || || | |||| || || | || || ||| | || | |||| | || | || | | | || || | || || ||| | | ||| |||| | ||| || | || ||| | || | ||| || ||| || || || ||| || | || || || | || |||| || | || || || ||| || || ||| | | | || | | | || |||
|
|| || || ||||| || | |||| |
|
| | | || | | | |||||| ||| || | | ||| | ||| | ||| |||| | | | | || |||| | ||
|
| ||
|
| | || || ||| || || ||| || | || || | ||| || || || || || || | || | ||| ||
|
|| | | || || | || ||| ||| || |
|
|| |||| | || | || || | | || | |||| || ||| || | | || | || | || || ||
|
| | || | |||| | || || | || |||| |||| | || | |||
|
|||| | ||| || | | |
|
| | || |||
|
| ||| |||| | | || | | ||| || | | || | | || | || | || |
|
||| || ||| | |
|
||| || ||| ||| ||| ||
|
|| | || || |||| ||| | || || | ||| || | ||
|
||
|
| |
| |
|| ||||| || | || | ||
|
| || ||| || |
|
|| | ||
|
| |||| || | || | ||| | ||| ||| || || || || || |||| | ||| | ||| |||
|
| || || | | || ||| || | || ||| || ||||| | |||
|
|| |||| | ||| | |||| |||| || || || | ||| | ||| ||| || | || | | || ||| || ||| | | | || ||| | | | || || | | || || || || || | ||| | ||| ||| | || | ||| || | || | || || | ||| ||| || || || | ||||| | ||
|
|| |||| || ||| ||| | |||
|
|| || | | ||| | | |
|
| | || | || || ||| || || || | || | || || || | | | ||| |||| || | || ||| | || || | | |
|
|| || || || || ||||| | | || || ||| | | ||| | ||| ||| | | |
|
||
|
| | ||| || || ||| || || || || || || | ||||| || | || || | || || || | | ||| || || | ||| || | | ||| ||| ||| |
|
||| || ||| || |
|
||| || | || ||| || ||| ||| | || | ||| ||| || ||| ||| || | | | || || | || || | | | ||| | | || || || | || | | ||
|
|| | || || || || ||| | || |||| || || || | | ||| | || | ||| | || || | ||
|
| |||
|
| || || || | |||| || ||| | || ||||
|
||| | || ||
|
| |||
|
| | || | ||||| ||| || || || | | | ||| | | || |||| || | ||||| ||| ||| | |||| | | || ||| || || || |||| || || | || ||| || |||| |||| | | | ||
|
|| ||| ||| || | || | || |||| |||| | || ||| ||| ||||||| || ||| | || | || ||| | | | || || |||| || || || | || | |
|
| || || || | || ||||
|
| || ||| | | || ||| || | ||| | | | |
|
||| | | |||| || || || || | || | ||| | || | ||| |
|
| || | || || ||| | || | | || | |||| || || ||| | || ||| ||| |
|
| || ||| || | ||| | || | || | ||| ||| || || |||| || | || ||| | || | ||| || || |||| ||| || |
|
||||
|
| ||||| ||| |
|
| | || ||| | |
|
|| | || ||||| | ||| || | |
|
| || || ||
|
||| || | | |||||| |
|
|||| | || ||
|
|| | |
|
|||| | |
|
| | || || | ||| || | ||
|
| | ||| || ||| || ||| || || | | || ||| | || ||| | || |||| ||||| || | ||||| | | || || ||| | ||| | || || |
|
|| || ||| || || ||| | || || || | || |||| || || | | |||| | | | ||
|
|| | | || ||| | | | | || ||| || || ||| ||| || | || || ||| ||| ||| ||| || || || | | | || | | || ||| | || || ||| ||| || || | | ||| ||| || |||| | | || | || | || || ||| | | || || | ||| || ||| | || |
|
||
|
| ||| || || |
|
|| || ||| ||| | || || |
|
|| || | ||| ||| || | |||| | || || ||| || ||||| || || | || ||
|
|| |||| | || || || || | || | ||| || | |
|
| |||| ||| |
|
| ||| || ||| | ||| || | | |
|
| |||||| |
|
| | || |||| || ||| || || || | || |||||
|
|
|
| | ||| ||| | | || | | ||| | || | | ||| |
|
| |||| ||| || || | ||| | | | ||
Yes
No
p(X)< 0?
||| |||||| ||| |||| || || |||| |||| |||| || || |||| || || |||| |||||| |||||| |||| || || |||| |||||| |||| || |||| |||||| |||||||| |||||||||||| ||||||||| ||| ||| ||||| ||| ||| | | || ||| || ||| | || ||| ||| ||||| || || ||| ||| ||||| ||| ||| ||| ||| || ||| |
0 500 1000 1500 2000 2500
0.0
0.2
0.4
0.6
0.8
1.0
Balance
Pro
babili
ty o
f D
efa
ult
| | || | ||| ||| || | ||| || || | || | || || ||| | | | ||| || || || || ||| || | ||| || ||| ||| || ||| |||| | ||| ||| | || | || | || || | ||| | || ||| || || | || | ||| || | ||| || ||| | ||| || || ||| | ||
|
|| ||| || || | |||| | || || | ||| || || || | || | | | |
|
||| | ||| |||| | || || ||| || ||| || |
|
| || |
|
| |
|
|| || ||| | || || ||| | || || || || |||| | ||
|
|
|
| ||| | || || || || ||| || |
|
|| | ||| | | ||| ||| || | || | | || || ||| || || | || || |||||||| || || | || | |||| | || || || || | || ||| || |||
|
|||
|
| | |
|
| | |||||
|
|| || || || || || ||| | || || |||| || | | ||| ||| | | | || || || || | ||
|
| | || || || ||| || | ||| ||| | ||| |||| | || |
||
| || ||| | | | ||| ||| | || | | |||| | || | ||||| || | ||| || || || |
|
| || || | ||||| | | || || | |||| | ||| | ||| | | ||| | | ||| || ||| | || ||||
|
| || |
|
| || || | || | | | || || | || || ||| |||| |||
|
| |||
|
|| | | || ||| | || ||| || || | ||| || | || || || |||| | ||| | | ||| || ||| | ||| |||| |
|
||| || | | ||
|
| || || |||| ||| ||| | | || | || || ||| ||| ||| | ||| || | || ||| || | | ||| || || ||| ||
|
| || || || | || || || || || || |||| ||
|
| |||| | | | ||| || |||| || |
|
||| | ||| ||| || || | || || || || |||| || | | ||| | |||| | |
|
||| | ||||| || || | || || || | ||| || || |
|
|||| |||| | | || || || || | || || |||| | | ||| |
|
|| || | | |||| || || || | |||| || || || || ||| || || | || | | || || | || || ||
|
|| | ||| | ||| |
|
|||||| | | ||| || | || || | | ||| | | | | || ||| | | |||| | ||
|
|| | || |
|
| ||| || | ||| | || || ||
|
| || | || | | || | || || | | |
|
| |||
|
||| | || || || | | | || || ||
|
|| || | | ||| | |||| || ||| || || || || || ||| ||| | ||| | | |||| || ||| | | ||
|
|| | | || ||| || | ||| || ||| || || || | || || || || ||
|
|| || |
||
|| | || ||| |||| | |||
|
| || | | ||| || | ||| ||| | || | | | ||| || || || | ||| || | ||| || || ||
|
|| | ||
|
|| | | || ||| || ||| ||| | || ||| |||| | || | | || |||| |
|
|| || | || ||| || | || || | || | ||| | || ||| || || || || | || || | || || || || | || | |||| | ||| | || || | || || || || ||| || | | || | ||| ||| | ||| | | |||
|
|
|
|||| || | | || | ||| ||| || | ||| || | | | |||| |
|
||| | || ||| | || |||| || | || || | | || || ||| ||| | ||| || || || || | |
|
|
|
|| || | ||| ||||| | | | ||| | | ||| || || || || || | |
|
||
|
|||| ||| |
|
| ||| |
|
||| ||| | ||||| | || || || || | | || || || || || ||| ||| | || | ||
|
||| | ||| || | ||| | |||| || | | || |||| | || || || || || | |
|
||| | | || |||| | || || | |
|
|| | || | || |||| | ||
|
| || || ||| || | | ||| || || ||
|
|| || ||| ||| || || || ||| || || ||| || | | | ||| || || ||||| || | ||| | || | |
|
| || || |
|
| || | | || || | ||||| || | || || || || || | || || || | ||
|
|| ||| || || || ||| | || |||| | | || || || | |
|
|| | || || ||| | ||| || ||| | | ||| ||| || || ||| || ||| || || ||||
|
|||
|
||| | || || || |
|
| || || ||| ||| || | |||
|
||| || || ||| || |
|
|| || || | ||| || | || | || |
|
| || ||| | | ||| || ||| | || | || | || | | || || || | || || | |||
|
|
|
|||| | || | | || | || | ||| | ||| | || | || || || || ||| || |||| || | ||| || || || || | ||
|
||| || | |
|
| | ||| | || || ||||| ||| ||| |
|
|| | ||| ||| ||| | ||
|
|| | || || ||| || | |
|
| | || ||||| ||| | || || ||| || || ||
|
|| | |
|
||| || | || | || | | ||||| | || ||| || |||
|
|| | | |||| | | || | || | |||| | | | | | ||| | |||
|
|||| || ||| || ||
|
||| || |
|
|| | || || || | || | |||||| |
|
|| |
|
||| | | || ||| |
|
| | ||| ||||| ||| | | || || || |
|
| || | ||| || || || || | | ||| || | | | ||| | || || || |||| || |
|
| || | ||| | | || ||| || | | ||| | | ||| | | ||| ||| ||| | |
|
| || | ||| || ||| | || |
|
| ||| | || ||| |||
|
||| | | || || || |||| ||| | ||| ||| ||| || || ||| | ||| |||| | || ||| | || || | || ||| || || || || || || | || || || |||| || || || ||| |
|
|| || || ||| ||
|
|| | ||| | || ||| | || | | | ||| | || || || | ||| |||| || | || || | | |||| | || ||| || | ||| ||| || | || | | | ||| ||
|
| ||| | || | | | |
|
|||| || || | ||| | || |||||| || || || ||| ||| | || ||| | |||| ||| | || || |
|
| || | || || || || || ||| | || || || || | ||| || | || ||| || || |||| ||
|
|| | ||| || || || || | | ||| ||| ||| || ||| |||| ||||| |
|
|||| | | || |||| ||| ||| || || ||| || || || || ||||| ||| | || || | || | ||| ||| |
|
| ||| || || || || || || |||| || |||| || || |
|
||| || || || || | |||
|
|| ||| | ||| || ||| || ||||| ||| | | || |||| || || | ||| || | || ||| | | ||||| | ||| ||| || | | | | || | | || || || | || |||| | ||
|
| || || || || || || || | | || || | | || | ||| ||| | | ||| ||
|
|| ||| || ||| || | || || ||| |||| | ||| || || ||| | | | ||| || | ||| |||| || || |||| || | || | ||| || | || | ||| || || || || ||| || |||| ||| || ||||| | || || |
|
|| || | ||| || ||
|
|| | | |||| | ||| ||| ||| || || || ||| || || || | || || || ||| | | ||||
|
|| | |||| || || ||
|
| || | |
|
|| || | |||| || | ||| ||| | || || || | || | | ||
|
|| || |
|
|| | ||| || |||| ||| || |
|
|| | || ||
|
|| | | || | || ||| ||| || | || |
|
| || ||| | |||| |||| || | ||||| | | |
|
|| ||| ||||
|
||| | || || ||| || | ||| | || || | || || || | ||| || |
|
|| || || | || ||
|
| || ||| ||
|
| || | | ||
|
|| || | || |
|
|| |||| | ||||| | | || | | |||||| || ||| ||| || || |||| | | || |||| || ||
|
| |
|
||| ||
|
| || | |
|
|| || | || | | |||| || | | || | | || || || || || | || ||| | | |||| | |
|
| || || || || || || ||| | | || || ||| || | |||| | || ||| | |||| |||||
|
| | |
|
| | ||| | |||| | || || || || || || | || | || | | | || || | || | |||| | || | || || | ||| | || || ||| || || |||
|
| || ||| | || | || || || ||| | || |||| || | || | ||
|
| | ||| ||| || | |||
|
|| ||| || || || | | || | ||| | || ||| | ||
|
|| || | || | | || ||| | |||| || || | || ||||| || ||| || || || ||| ||| ||| | ||| || ||| ||| || || | ||| |
|
|| |
|
| ||||| | || ||| || || || || | ||| || || | | | ||| | || ||| ||| ||| |||| ||| ||| || || | || | |
|
| || | ||| ||| || || || ||| || ||| | || || | | || | || || || | || | ||| | || || || ||| ||| || || | || | ||
|
| || ||| || || ||| || | ||| || | || |
|
| || | ||| ||| || ||| | ||| || || | | ||| | ||
|
| | || | | |
|
|| | ||| || || | | ||| | | ||| | | || || |||| | || ||
|
|| | | || | | | ||
|
| ||| | | || | || ||| || || | ||| | ||| || |||| | ||| ||| || | || || ||| ||| | ||| ||| ||||| |||| ||| | | |||| ||
|
| |||| | || | |
|
||| ||| || || ||
|
|| |
|
|
|
||| ||| | |||| || ||| | || ||| | | || ||| ||
|
| ||| || |||| || | || | || || | | |||| || | |||
|
||||| || | |||| ||
|
| ||| || |
|
|| || || ||||| | | ||| | ||| | || | ||| || | || | || | | || |||
|
| || |||| ||| | | |
|
| || |||
|
|| || | || | ||||| | | ||| || || | | ||| || || | | | | || ||| | |||| | | || | |||| || | ||| | || |||| | | || ||| ||
|
|| || | || | | || | ||| ||| || || | | || || | || || ||| || || || | | | || | |||| | | || || ||| |
|
|| || | || || || || | ||| | || || || | ||| | || ||| ||
|
|| || || ||
|
| || ||| || || | |
|
| || | | || | ||| | || || ||| || |||| || || | ||
|
|| || || || | | |||
|
|| || | ||| || ||| || | | || |||| | | || ||| |
|
| | |
|
| || | ||| || | | ||| || | || ||| || | | || | | ||| | || | | ||| || ||| | ||| || ||
|
|| || ||| ||| || || ||| || |
||
|| |
|
| | || | || || | ||| || | ||| | | | || | || | || | | |||| | ||| | ||| ||| ||| || | ||| || || || | || |||| | | |||| ||| | | | |||| |
|
|
|
| || || |||| | || |
|
|| || || | |||
| |
| ||| ||| | || | | | |||
|
| ||| | ||| || || || || || | ||| || | || ||| ||| | | || |||| | |||||
|
| || | ||| ||| || || | | ||||| ||| | || || || ||| | ||| || | | || | || || |||| || | ||| | ||| | || || || | || ||| ||| ||| || | ||| | || ||| || || ||| || || | |||| || ||| || ||| | ||| ||| | || | || || || ||| | || ||| | || | || ||| | | ||| | |
|
| | ||||| | ||
|
|| |
|
|||| || |||||
|
|| | | || |||| | || || ||
|
|| ||| || || || ||| |||| || ||| | |||| | | |
|
| | | |||| || ||| | ||| | | || || |
|
|| | || | || | |
|
| | |
|
||| | || | ||| || || || ||| |||| || || ||| || || |||
|
| | | || | || ||| || | ||| ||| || || | ||| || | || || || ||| || ||| | || | || | || || ||| | || ||||| | |
|
|| | | | |||| || ||| || || || || | | || |
|
||| | || || ||| || | || |||
|
|| || ||| | | ||| ||| | || || || || || || | | | ||| | || | | || || | | || ||| || ||| | || || | |||| || || ||| || |
|
|| | || | | || ||| |||| | || | | || ||| | || || || |||| || ||| ||| || || || || || | ||| ||| |||| | |
|
| ||| | ||| ||| || || || |||| || | ||||| | || | ||||| | ||
|
| | || || ||| || | |||| | ||| | || ||| ||| | | || |
|
|| ||| ||
|
| || | ||| || || || |||| || ||
|
||| | || |||| || | || ||| || || | || | || | || || ||| |||| ||| |
|
||| ||| || | || || || | || || | | ||| || || | ||| ||| | ||| ||| |||| | || | || || ||| | || || ||| |
|
|| | ||| ||| | || || || || | || | | ||| || | ||| | || || || || | | || | | || | | |||| || ||| | | || || || ||| || || | |
|
| | ||| || || || |
|
| || || |||
|
| | || |||| ||| | || | ||| || | || | || ||| | || || || || |||||| || | || || | ||| ||| | | || | | || || ||| | ||| || ||||| | || ||| | ||| |||| | || | || ||| ||
|
|||||| | ||| || | || || || ||| || || || || | | || | ||
|
|| || || || ||| | ||| ||| ||| || || || || | || || ||
|
||| | || || || | ||| | || || | || ||| | || || ||
|
| | || | ||| || || | | ||| | || | |||| |||| || || | || | | ||| | || | | |||| || | |||| | || || | || || | ||| || || | ||| || | || ||| |||
|
| || || |||| || || |||| | ||| |||| | |||| |||| || |
|
|| | || | | || | | |
|
| ||||| | |||||| | || | | || || || || | || ||| || | || || || |
|
|
|
| ||| | || | ||| ||| |||| |
|
|| || || || || | | || | ||| | | | ||
|
|| || | || | |||| | ||
|
| || |||| || | ||||| || || | ||| | | ||| ||| | || |||| ||| |
|
| |||| || | ||
|
|| || | |||| | || ||||| | || | ||| | | || || | | | || ||| ||| || | | || | ||
|
|| ||| |
|
| | || || |||| |
|
|| | ||| | || || | ||| || || ||| | || || | ||| || || | || | || |||| || ||| ||| ||| || | ||| | || || | |||
| |
||| || || || | || |||| | |||| || ||| || || | ||| ||
|
| || || ||| || || | | ||| | || | |||| ||
|
|| ||| || | || | | | || | ||| | |
|
| || || || | || || || | ||| || ||| || ||
|
| || | |||| |||
|
| ||| || || | || |
|
| || ||| || | || || |||| || | ||| | || | || | ||| | || | || ||||| |
|
|| | || || | | | ||| | || ||||
|
|
|
| | | | |||| ||| |||| |||| | | | ||| | || | || || | || | |||| | || | | ||| || |
|
||||
|
| ||| | ||| ||
|
| || || ||| ||| || |||| ||| |
|
||| || | ||
|
||| | | || ||| | || |||| || | || ||| || || | ||| | ||| || |||
|
|| ||| || ||| | | || || | || | ||| | || | | || | ||| |||| || || ||||| | ||| | || || || || | || | ||||
|
|| ||| || ||| | | || || | ||| |||| | |
|
|| | | ||| || ||
|
| || || || |
|
| | | || | || ||| ||| || | || || || |||
|
| || || ||||| | | || ||
|
||
|
|| | || || | ||| || | || | ||| |
|
|| | || | |||
|
|| | |||| || ||| | ||| | | ||| || | || || || | | || |||| ||
|
| || | || || | || ||| | ||| ||| ||| | ||| | || | ||| ||||| | | | ||
|
| | | || | ||| || || ||
|
| || |||| | ||| | |||| || | | ||| || | ||
|
|| | | ||||| | || ||| || || || ||| |||| |||
|
| | | ||| |||| | || |||| | || | | || || | | || || || | ||||| ||| |||
|
|| ||| ||| ||
|
| | || | || ||||| ||| || || || || | ||| || | | | | ||
|
| ||| | || || | | || ||| || |||| ||| || | | ||| | ||| | || || || | || | || | || || | || |
|
| || || |||| ||||| | || | || | || |||| | || | || || |||| | | ||| ||
|
| || || || ||| || || | ||||| || || | ||| || |||| | || ||| ||| || || | |||| || | ||| ||| || | ||| | | || | || || | | || | | || | || |
|
|
|
||| | | ||| ||| || | || | || ||| | |
|
| ||| || || | | || ||| | | | || | || ||| || | || || | || || || || || || || ||| | || || || | || ||||
|
| ||| ||| |
|
| ||| | || | | ||||| | ||| || || || ||| || | ||| | || || ||| || | || | |
|
| |
|
||| ||||| | |||| || || ||| || | || | || ||| | ||
|
| | ||| | ||| | |||| || || | |||| | | ||
|
||| | | || | | ||| || | ||| || ||| || || ||| ||| ||| | || | | | || || ||| || | ||| |||| || || ||| | ||| |||| ||||| || ||| || || | | ||| || || || |||| ||| ||
|
||| ||| ||| | || | ||| | || | | || ||| | || || ||| | || | ||| || | | || ||| | ||| | || || || |||| | | ||
|
||||| || | | || || || ||||| | ||| || ||| ||| | || || || | | || || ||| || | |
|
|| | || |||| || ||
|
|| || | | || | | ||
|
|
|
|
|
|| || | || || ||
|
| || || || || | || ||| | || | | ||| | || || |||| |||| || | ||
|
| || || | || || ||| | | || ||| || || || | | | ||||
|
|| ||| ||| || || || | || || || | | || | || | ||| | || ||| || | || ||| || | || || || || ||| ||| | | ||| | || | || || || || | |||| || || | || || ||| | || | |||| | || | || | | | || || | || || ||| | | ||| |||| | ||| || | || ||| | || | ||| || ||| || || || ||| || | || || || | || |||| || | || || || ||| || || ||| | | | || | | | || |||
|
|| || || ||||| || | |||| |
|
| | | || | | | |||||| ||| || | | ||| | ||| | ||| |||| | | | | || |||| | ||
|
| ||
|
| | || || ||| || || ||| || | || || | ||| || || || || || || | || | ||| ||
|
|| | | || || | || ||| ||| || |
|
|| |||| | || | || || | | || | |||| || ||| || | | || | || | || || ||
|
| | || | |||| | || || | || |||| |||| | || | |||
|
|||| | ||| || | | |
|
| | || |||
|
| ||| |||| | | || | | ||| || | | || | | || | || | || |
|
||| || ||| | |
|
||| || ||| ||| ||| ||
|
|| | || || |||| ||| | || || | ||| || | ||
|
||
|
| |
| |
|| ||||| || | || | ||
|
| || ||| || |
|
|| | ||
|
| |||| || | || | ||| | ||| ||| || || || || || |||| | ||| | ||| |||
|
| || || | | || ||| || | || ||| || ||||| | |||
|
|| |||| | ||| | |||| |||| || || || | ||| | ||| ||| || | || | | || ||| || ||| | | | || ||| | | | || || | | || || || || || | ||| | ||| ||| | || | ||| || | || | || || | ||| ||| || || || | ||||| | ||
|
|| |||| || ||| ||| | |||
|
|| || | | ||| | | |
|
| | || | || || ||| || || || | || | || || || | | | ||| |||| || | || ||| | || || | | |
|
|| || || || || ||||| | | || || ||| | | ||| | ||| ||| | | |
|
||
|
| | ||| || || ||| || || || || || || | ||||| || | || || | || || || | | ||| || || | ||| || | | ||| ||| ||| |
|
||| || ||| || |
|
||| || | || ||| || ||| ||| | || | ||| ||| || ||| ||| || | | | || || | || || | | | ||| | | || || || | || | | ||
|
|| | || || || || ||| | || |||| || || || | | ||| | || | ||| | || || | ||
|
| |||
|
| || || || | |||| || ||| | || ||||
|
||| | || ||
|
| |||
|
| | || | ||||| ||| || || || | | | ||| | | || |||| || | ||||| ||| ||| | |||| | | || ||| || || || |||| || || | || ||| || |||| |||| | | | ||
|
|| ||| ||| || | || | || |||| |||| | || ||| ||| ||||||| || ||| | || | || ||| | | | || || |||| || || || | || | |
|
| || || || | || ||||
|
| || ||| | | || ||| || | ||| | | | |
|
||| | | |||| || || || || | || | ||| | || | ||| |
|
| || | || || ||| | || | | || | |||| || || ||| | || ||| ||| |
|
| || ||| || | ||| | || | || | ||| ||| || || |||| || | || ||| | || | ||| || || |||| ||| || |
|
||||
|
| ||||| ||| |
|
| | || ||| | |
|
|| | || ||||| | ||| || | |
|
| || || ||
|
||| || | | |||||| |
|
|||| | || ||
|
|| | |
|
|||| | |
|
| | || || | ||| || | ||
|
| | ||| || ||| || ||| || || | | || ||| | || ||| | || |||| ||||| || | ||||| | | || || ||| | ||| | || || |
|
|| || ||| || || ||| | || || || | || |||| || || | | |||| | | | ||
|
|| | | || ||| | | | | || ||| || || ||| ||| || | || || ||| ||| ||| ||| || || || | | | || | | || ||| | || || ||| ||| || || | | ||| ||| || |||| | | || | || | || || ||| | | || || | ||| || ||| | || |
|
||
|
| ||| || || |
|
|| || ||| ||| | || || |
|
|| || | ||| ||| || | |||| | || || ||| || ||||| || || | || ||
|
|| |||| | || || || || | || | ||| || | |
|
| |||| ||| |
|
| ||| || ||| | ||| || | | |
|
| |||||| |
|
| | || |||| || ||| || || || | || |||||
|
|
|
| | ||| ||| | | || | | ||| | || | | ||| |
|
| |||| ||| || || | ||| | | | ||
p(X)>1?p(X) = 0.5
0 500 1000 1500 2000 2500
0.0
0.2
0.4
0.6
0.8
1.0
Balance
Pro
babili
ty o
f D
efa
ult
| | || | ||| ||| || | ||| || || | || | || || ||| | | | ||| || || || || ||| || | ||| || ||| ||| || ||| |||| | ||| ||| | || | || | || || | ||| | || ||| || || | || | ||| || | ||| || ||| | ||| || || ||| | ||
|
|| ||| || || | |||| | || || | ||| || || || | || | | | |
|
||| | ||| |||| | || || ||| || ||| || |
|
| || |
|
| |
|
|| || ||| | || || ||| | || || || || |||| | ||
|
|
|
| ||| | || || || || ||| || |
|
|| | ||| | | ||| ||| || | || | | || || ||| || || | || || |||||||| || || | || | |||| | || || || || | || ||| || |||
|
|||
|
| | |
|
| | |||||
|
|| || || || || || ||| | || || |||| || | | ||| ||| | | | || || || || | ||
|
| | || || || ||| || | ||| ||| | ||| |||| | || |
||
| || ||| | | | ||| ||| | || | | |||| | || | ||||| || | ||| || || || |
|
| || || | ||||| | | || || | |||| | ||| | ||| | | ||| | | ||| || ||| | || ||||
|
| || |
|
| || || | || | | | || || | || || ||| |||| |||
|
| |||
|
|| | | || ||| | || ||| || || | ||| || | || || || |||| | ||| | | ||| || ||| | ||| |||| |
|
||| || | | ||
|
| || || |||| ||| ||| | | || | || || ||| ||| ||| | ||| || | || ||| || | | ||| || || ||| ||
|
| || || || | || || || || || || |||| ||
|
| |||| | | | ||| || |||| || |
|
||| | ||| ||| || || | || || || || |||| || | | ||| | |||| | |
|
||| | ||||| || || | || || || | ||| || || |
|
|||| |||| | | || || || || | || || |||| | | ||| |
|
|| || | | |||| || || || | |||| || || || || ||| || || | || | | || || | || || ||
|
|| | ||| | ||| |
|
|||||| | | ||| || | || || | | ||| | | | | || ||| | | |||| | ||
|
|| | || |
|
| ||| || | ||| | || || ||
|
| || | || | | || | || || | | |
|
| |||
|
||| | || || || | | | || || ||
|
|| || | | ||| | |||| || ||| || || || || || ||| ||| | ||| | | |||| || ||| | | ||
|
|| | | || ||| || | ||| || ||| || || || | || || || || ||
|
|| || |
||
|| | || ||| |||| | |||
|
| || | | ||| || | ||| ||| | || | | | ||| || || || | ||| || | ||| || || ||
|
|| | ||
|
|| | | || ||| || ||| ||| | || ||| |||| | || | | || |||| |
|
|| || | || ||| || | || || | || | ||| | || ||| || || || || | || || | || || || || | || | |||| | ||| | || || | || || || || ||| || | | || | ||| ||| | ||| | | |||
|
|
|
|||| || | | || | ||| ||| || | ||| || | | | |||| |
|
||| | || ||| | || |||| || | || || | | || || ||| ||| | ||| || || || || | |
|
|
|
|| || | ||| ||||| | | | ||| | | ||| || || || || || | |
|
||
|
|||| ||| |
|
| ||| |
|
||| ||| | ||||| | || || || || | | || || || || || ||| ||| | || | ||
|
||| | ||| || | ||| | |||| || | | || |||| | || || || || || | |
|
||| | | || |||| | || || | |
|
|| | || | || |||| | ||
|
| || || ||| || | | ||| || || ||
|
|| || ||| ||| || || || ||| || || ||| || | | | ||| || || ||||| || | ||| | || | |
|
| || || |
|
| || | | || || | ||||| || | || || || || || | || || || | ||
|
|| ||| || || || ||| | || |||| | | || || || | |
|
|| | || || ||| | ||| || ||| | | ||| ||| || || ||| || ||| || || ||||
|
|||
|
||| | || || || |
|
| || || ||| ||| || | |||
|
||| || || ||| || |
|
|| || || | ||| || | || | || |
|
| || ||| | | ||| || ||| | || | || | || | | || || || | || || | |||
|
|
|
|||| | || | | || | || | ||| | ||| | || | || || || || ||| || |||| || | ||| || || || || | ||
|
||| || | |
|
| | ||| | || || ||||| ||| ||| |
|
|| | ||| ||| ||| | ||
|
|| | || || ||| || | |
|
| | || ||||| ||| | || || ||| || || ||
|
|| | |
|
||| || | || | || | | ||||| | || ||| || |||
|
|| | | |||| | | || | || | |||| | | | | | ||| | |||
|
|||| || ||| || ||
|
||| || |
|
|| | || || || | || | |||||| |
|
|| |
|
||| | | || ||| |
|
| | ||| ||||| ||| | | || || || |
|
| || | ||| || || || || | | ||| || | | | ||| | || || || |||| || |
|
| || | ||| | | || ||| || | | ||| | | ||| | | ||| ||| ||| | |
|
| || | ||| || ||| | || |
|
| ||| | || ||| |||
|
||| | | || || || |||| ||| | ||| ||| ||| || || ||| | ||| |||| | || ||| | || || | || ||| || || || || || || | || || || |||| || || || ||| |
|
|| || || ||| ||
|
|| | ||| | || ||| | || | | | ||| | || || || | ||| |||| || | || || | | |||| | || ||| || | ||| ||| || | || | | | ||| ||
|
| ||| | || | | | |
|
|||| || || | ||| | || |||||| || || || ||| ||| | || ||| | |||| ||| | || || |
|
| || | || || || || || ||| | || || || || | ||| || | || ||| || || |||| ||
|
|| | ||| || || || || | | ||| ||| ||| || ||| |||| ||||| |
|
|||| | | || |||| ||| ||| || || ||| || || || || ||||| ||| | || || | || | ||| ||| |
|
| ||| || || || || || || |||| || |||| || || |
|
||| || || || || | |||
|
|| ||| | ||| || ||| || ||||| ||| | | || |||| || || | ||| || | || ||| | | ||||| | ||| ||| || | | | | || | | || || || | || |||| | ||
|
| || || || || || || || | | || || | | || | ||| ||| | | ||| ||
|
|| ||| || ||| || | || || ||| |||| | ||| || || ||| | | | ||| || | ||| |||| || || |||| || | || | ||| || | || | ||| || || || || ||| || |||| ||| || ||||| | || || |
|
|| || | ||| || ||
|
|| | | |||| | ||| ||| ||| || || || ||| || || || | || || || ||| | | ||||
|
|| | |||| || || ||
|
| || | |
|
|| || | |||| || | ||| ||| | || || || | || | | ||
|
|| || |
|
|| | ||| || |||| ||| || |
|
|| | || ||
|
|| | | || | || ||| ||| || | || |
|
| || ||| | |||| |||| || | ||||| | | |
|
|| ||| ||||
|
||| | || || ||| || | ||| | || || | || || || | ||| || |
|
|| || || | || ||
|
| || ||| ||
|
| || | | ||
|
|| || | || |
|
|| |||| | ||||| | | || | | |||||| || ||| ||| || || |||| | | || |||| || ||
|
| |
|
||| ||
|
| || | |
|
|| || | || | | |||| || | | || | | || || || || || | || ||| | | |||| | |
|
| || || || || || || ||| | | || || ||| || | |||| | || ||| | |||| |||||
|
| | |
|
| | ||| | |||| | || || || || || || | || | || | | | || || | || | |||| | || | || || | ||| | || || ||| || || |||
|
| || ||| | || | || || || ||| | || |||| || | || | ||
|
| | ||| ||| || | |||
|
|| ||| || || || | | || | ||| | || ||| | ||
|
|| || | || | | || ||| | |||| || || | || ||||| || ||| || || || ||| ||| ||| | ||| || ||| ||| || || | ||| |
|
|| |
|
| ||||| | || ||| || || || || | ||| || || | | | ||| | || ||| ||| ||| |||| ||| ||| || || | || | |
|
| || | ||| ||| || || || ||| || ||| | || || | | || | || || || | || | ||| | || || || ||| ||| || || | || | ||
|
| || ||| || || ||| || | ||| || | || |
|
| || | ||| ||| || ||| | ||| || || | | ||| | ||
|
| | || | | |
|
|| | ||| || || | | ||| | | ||| | | || || |||| | || ||
|
|| | | || | | | ||
|
| ||| | | || | || ||| || || | ||| | ||| || |||| | ||| ||| || | || || ||| ||| | ||| ||| ||||| |||| ||| | | |||| ||
|
| |||| | || | |
|
||| ||| || || ||
|
|| |
|
|
|
||| ||| | |||| || ||| | || ||| | | || ||| ||
|
| ||| || |||| || | || | || || | | |||| || | |||
|
||||| || | |||| ||
|
| ||| || |
|
|| || || ||||| | | ||| | ||| | || | ||| || | || | || | | || |||
|
| || |||| ||| | | |
|
| || |||
|
|| || | || | ||||| | | ||| || || | | ||| || || | | | | || ||| | |||| | | || | |||| || | ||| | || |||| | | || ||| ||
|
|| || | || | | || | ||| ||| || || | | || || | || || ||| || || || | | | || | |||| | | || || ||| |
|
|| || | || || || || | ||| | || || || | ||| | || ||| ||
|
|| || || ||
|
| || ||| || || | |
|
| || | | || | ||| | || || ||| || |||| || || | ||
|
|| || || || | | |||
|
|| || | ||| || ||| || | | || |||| | | || ||| |
|
| | |
|
| || | ||| || | | ||| || | || ||| || | | || | | ||| | || | | ||| || ||| | ||| || ||
|
|| || ||| ||| || || ||| || |
||
|| |
|
| | || | || || | ||| || | ||| | | | || | || | || | | |||| | ||| | ||| ||| ||| || | ||| || || || | || |||| | | |||| ||| | | | |||| |
|
|
|
| || || |||| | || |
|
|| || || | |||
| |
| ||| ||| | || | | | |||
|
| ||| | ||| || || || || || | ||| || | || ||| ||| | | || |||| | |||||
|
| || | ||| ||| || || | | ||||| ||| | || || || ||| | ||| || | | || | || || |||| || | ||| | ||| | || || || | || ||| ||| ||| || | ||| | || ||| || || ||| || || | |||| || ||| || ||| | ||| ||| | || | || || || ||| | || ||| | || | || ||| | | ||| | |
|
| | ||||| | ||
|
|| |
|
|||| || |||||
|
|| | | || |||| | || || ||
|
|| ||| || || || ||| |||| || ||| | |||| | | |
|
| | | |||| || ||| | ||| | | || || |
|
|| | || | || | |
|
| | |
|
||| | || | ||| || || || ||| |||| || || ||| || || |||
|
| | | || | || ||| || | ||| ||| || || | ||| || | || || || ||| || ||| | || | || | || || ||| | || ||||| | |
|
|| | | | |||| || ||| || || || || | | || |
|
||| | || || ||| || | || |||
|
|| || ||| | | ||| ||| | || || || || || || | | | ||| | || | | || || | | || ||| || ||| | || || | |||| || || ||| || |
|
|| | || | | || ||| |||| | || | | || ||| | || || || |||| || ||| ||| || || || || || | ||| ||| |||| | |
|
| ||| | ||| ||| || || || |||| || | ||||| | || | ||||| | ||
|
| | || || ||| || | |||| | ||| | || ||| ||| | | || |
|
|| ||| ||
|
| || | ||| || || || |||| || ||
|
||| | || |||| || | || ||| || || | || | || | || || ||| |||| ||| |
|
||| ||| || | || || || | || || | | ||| || || | ||| ||| | ||| ||| |||| | || | || || ||| | || || ||| |
|
|| | ||| ||| | || || || || | || | | ||| || | ||| | || || || || | | || | | || | | |||| || ||| | | || || || ||| || || | |
|
| | ||| || || || |
|
| || || |||
|
| | || |||| ||| | || | ||| || | || | || ||| | || || || || |||||| || | || || | ||| ||| | | || | | || || ||| | ||| || ||||| | || ||| | ||| |||| | || | || ||| ||
|
|||||| | ||| || | || || || ||| || || || || | | || | ||
|
|| || || || ||| | ||| ||| ||| || || || || | || || ||
|
||| | || || || | ||| | || || | || ||| | || || ||
|
| | || | ||| || || | | ||| | || | |||| |||| || || | || | | ||| | || | | |||| || | |||| | || || | || || | ||| || || | ||| || | || ||| |||
|
| || || |||| || || |||| | ||| |||| | |||| |||| || |
|
|| | || | | || | | |
|
| ||||| | |||||| | || | | || || || || | || ||| || | || || || |
|
|
|
| ||| | || | ||| ||| |||| |
|
|| || || || || | | || | ||| | | | ||
|
|| || | || | |||| | ||
|
| || |||| || | ||||| || || | ||| | | ||| ||| | || |||| ||| |
|
| |||| || | ||
|
|| || | |||| | || ||||| | || | ||| | | || || | | | || ||| ||| || | | || | ||
|
|| ||| |
|
| | || || |||| |
|
|| | ||| | || || | ||| || || ||| | || || | ||| || || | || | || |||| || ||| ||| ||| || | ||| | || || | |||
| |
||| || || || | || |||| | |||| || ||| || || | ||| ||
|
| || || ||| || || | | ||| | || | |||| ||
|
|| ||| || | || | | | || | ||| | |
|
| || || || | || || || | ||| || ||| || ||
|
| || | |||| |||
|
| ||| || || | || |
|
| || ||| || | || || |||| || | ||| | || | || | ||| | || | || ||||| |
|
|| | || || | | | ||| | || ||||
|
|
|
| | | | |||| ||| |||| |||| | | | ||| | || | || || | || | |||| | || | | ||| || |
|
||||
|
| ||| | ||| ||
|
| || || ||| ||| || |||| ||| |
|
||| || | ||
|
||| | | || ||| | || |||| || | || ||| || || | ||| | ||| || |||
|
|| ||| || ||| | | || || | || | ||| | || | | || | ||| |||| || || ||||| | ||| | || || || || | || | ||||
|
|| ||| || ||| | | || || | ||| |||| | |
|
|| | | ||| || ||
|
| || || || |
|
| | | || | || ||| ||| || | || || || |||
|
| || || ||||| | | || ||
|
||
|
|| | || || | ||| || | || | ||| |
|
|| | || | |||
|
|| | |||| || ||| | ||| | | ||| || | || || || | | || |||| ||
|
| || | || || | || ||| | ||| ||| ||| | ||| | || | ||| ||||| | | | ||
|
| | | || | ||| || || ||
|
| || |||| | ||| | |||| || | | ||| || | ||
|
|| | | ||||| | || ||| || || || ||| |||| |||
|
| | | ||| |||| | || |||| | || | | || || | | || || || | ||||| ||| |||
|
|| ||| ||| ||
|
| | || | || ||||| ||| || || || || | ||| || | | | | ||
|
| ||| | || || | | || ||| || |||| ||| || | | ||| | ||| | || || || | || | || | || || | || |
|
| || || |||| ||||| | || | || | || |||| | || | || || |||| | | ||| ||
|
| || || || ||| || || | ||||| || || | ||| || |||| | || ||| ||| || || | |||| || | ||| ||| || | ||| | | || | || || | | || | | || | || |
|
|
|
||| | | ||| ||| || | || | || ||| | |
|
| ||| || || | | || ||| | | | || | || ||| || | || || | || || || || || || || ||| | || || || | || ||||
|
| ||| ||| |
|
| ||| | || | | ||||| | ||| || || || ||| || | ||| | || || ||| || | || | |
|
| |
|
||| ||||| | |||| || || ||| || | || | || ||| | ||
|
| | ||| | ||| | |||| || || | |||| | | ||
|
||| | | || | | ||| || | ||| || ||| || || ||| ||| ||| | || | | | || || ||| || | ||| |||| || || ||| | ||| |||| ||||| || ||| || || | | ||| || || || |||| ||| ||
|
||| ||| ||| | || | ||| | || | | || ||| | || || ||| | || | ||| || | | || ||| | ||| | || || || |||| | | ||
|
||||| || | | || || || ||||| | ||| || ||| ||| | || || || | | || || ||| || | |
|
|| | || |||| || ||
|
|| || | | || | | ||
|
|
|
|
|
|| || | || || ||
|
| || || || || | || ||| | || | | ||| | || || |||| |||| || | ||
|
| || || | || || ||| | | || ||| || || || | | | ||||
|
|| ||| ||| || || || | || || || | | || | || | ||| | || ||| || | || ||| || | || || || || ||| ||| | | ||| | || | || || || || | |||| || || | || || ||| | || | |||| | || | || | | | || || | || || ||| | | ||| |||| | ||| || | || ||| | || | ||| || ||| || || || ||| || | || || || | || |||| || | || || || ||| || || ||| | | | || | | | || |||
|
|| || || ||||| || | |||| |
|
| | | || | | | |||||| ||| || | | ||| | ||| | ||| |||| | | | | || |||| | ||
|
| ||
|
| | || || ||| || || ||| || | || || | ||| || || || || || || | || | ||| ||
|
|| | | || || | || ||| ||| || |
|
|| |||| | || | || || | | || | |||| || ||| || | | || | || | || || ||
|
| | || | |||| | || || | || |||| |||| | || | |||
|
|||| | ||| || | | |
|
| | || |||
|
| ||| |||| | | || | | ||| || | | || | | || | || | || |
|
||| || ||| | |
|
||| || ||| ||| ||| ||
|
|| | || || |||| ||| | || || | ||| || | ||
|
||
|
| |
| |
|| ||||| || | || | ||
|
| || ||| || |
|
|| | ||
|
| |||| || | || | ||| | ||| ||| || || || || || |||| | ||| | ||| |||
|
| || || | | || ||| || | || ||| || ||||| | |||
|
|| |||| | ||| | |||| |||| || || || | ||| | ||| ||| || | || | | || ||| || ||| | | | || ||| | | | || || | | || || || || || | ||| | ||| ||| | || | ||| || | || | || || | ||| ||| || || || | ||||| | ||
|
|| |||| || ||| ||| | |||
|
|| || | | ||| | | |
|
| | || | || || ||| || || || | || | || || || | | | ||| |||| || | || ||| | || || | | |
|
|| || || || || ||||| | | || || ||| | | ||| | ||| ||| | | |
|
||
|
| | ||| || || ||| || || || || || || | ||||| || | || || | || || || | | ||| || || | ||| || | | ||| ||| ||| |
|
||| || ||| || |
|
||| || | || ||| || ||| ||| | || | ||| ||| || ||| ||| || | | | || || | || || | | | ||| | | || || || | || | | ||
|
|| | || || || || ||| | || |||| || || || | | ||| | || | ||| | || || | ||
|
| |||
|
| || || || | |||| || ||| | || ||||
|
||| | || ||
|
| |||
|
| | || | ||||| ||| || || || | | | ||| | | || |||| || | ||||| ||| ||| | |||| | | || ||| || || || |||| || || | || ||| || |||| |||| | | | ||
|
|| ||| ||| || | || | || |||| |||| | || ||| ||| ||||||| || ||| | || | || ||| | | | || || |||| || || || | || | |
|
| || || || | || ||||
|
| || ||| | | || ||| || | ||| | | | |
|
||| | | |||| || || || || | || | ||| | || | ||| |
|
| || | || || ||| | || | | || | |||| || || ||| | || ||| ||| |
|
| || ||| || | ||| | || | || | ||| ||| || || |||| || | || ||| | || | ||| || || |||| ||| || |
|
||||
|
| ||||| ||| |
|
| | || ||| | |
|
|| | || ||||| | ||| || | |
|
| || || ||
|
||| || | | |||||| |
|
|||| | || ||
|
|| | |
|
|||| | |
|
| | || || | ||| || | ||
|
| | ||| || ||| || ||| || || | | || ||| | || ||| | || |||| ||||| || | ||||| | | || || ||| | ||| | || || |
|
|| || ||| || || ||| | || || || | || |||| || || | | |||| | | | ||
|
|| | | || ||| | | | | || ||| || || ||| ||| || | || || ||| ||| ||| ||| || || || | | | || | | || ||| | || || ||| ||| || || | | ||| ||| || |||| | | || | || | || || ||| | | || || | ||| || ||| | || |
|
||
|
| ||| || || |
|
|| || ||| ||| | || || |
|
|| || | ||| ||| || | |||| | || || ||| || ||||| || || | || ||
|
|| |||| | || || || || | || | ||| || | |
|
| |||| ||| |
|
| ||| || ||| | ||| || | | |
|
| |||||| |
|
| | || |||| || ||| || || || | || |||||
|
|
|
| | ||| ||| | | || | | ||| | || | | ||| |
|
| |||| ||| || || | ||| | | | ||
&84@X*'E6DBG5B4'98D98GGB6C
Yes
No
0 500 1000 1500 2000 2500
0.0
0.2
0.4
0.6
0.8
1.0 || ||| || | || ||| || |||| ||| | | |||||| |||| | || | ||||||||| | |||||| ||||| ||||||||||| | ||||| ||||| |||||||||||||||| | ||| |||||||||||| | || || || | ||||| |||| || || || | | || |||| || |||||||||| || |||||||| || | | || | ||| || || | ||| || || || || |||| || |||| || | ||| || |||||||||| || ||||||| ||| ||| ||||| |||||||||||| ||||||| || || ||| || |||| || ||||||| || |||||| || ||||||| || |||||||||| || ||||||||||||||| || ||||||| |||| ||| | ||| ||||||| ||||| | || | || ||| || | ||||| ||||||||||||||||||| ||| ||||||||||||||| ||||||||| | ||| |||| || || |||| |||| |||| |||| |||||| |||| || || || |||| || || |||| |||||| |||||| |||| || || |||| |||||| |||| || ||| ||| |||| |||| || |||| |||||| || || |||||| |||||| |||||| |||||| |||||| |||||||||||| |||||||| || |||||| |||||| |||| |||||| |||| || |||||| |||||||| |||||||||||| |||||||||||||||||| ||||||||||| |||| ||||||||| |||||| ||||| |||||| ||||||||| |||||||||||| ||||||||||||||||| ||||||||||||| | ||| ||| ||||| ||||| ||| ||||| ||| || ||| || | || | || ||| || | || | || | || | || ||||||||||||||||||||||| | || | || ||| || || | ||| || ||||| ||| ||| ||||| |||||| ||||||||| |||||| ||||| || || ||| || || || ||| || |||| || ||||||| || |||||||||||||||| | ||| ||||| ||||| || | ||| || | ||||||||| || ||| ||| ||||| |||| ||||| ||| ||| ||| ||||| |||| ||||| |||||||||||||||||||||||| ||| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| || ||| || || || ||| || |||| || ||||||| || ||| || ||| || ||| ||| ||| | ||| ||||||||||||||||||||||||||||| | ||| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||| || ||| || ||| |||| |||| |||| |||| |||||| |||| || |||||| |||||| || || |||||| |||||||||||| |||||||| || || || |||||| |||||||| |||||||||||| |||||||| || |||||| |||||||||||| |||||||||| |||||| |||||||||||| |||||||| || |||||| |||||| || |||| |||||||||||| |||||||||||| |||||||||||| |||||||||||||||||||||||| |||||||||||||||||||| |||||||||||| |||||||| || |||| |||||| |||| || |||| || || |||||| |||||||| |||||||||||| |||||||||| |||||| |||| || |||||| |||||||| |||||||||||| |||||||||||||||| |||||||||||||||||||||||| |||||||||||||||||| |||||| |||||||| |||||| || || |||||| |||||||||||| |||||||||||||||||||||||| |||||||||||||||||||||||||||||||||||||||||||||||| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| |||||||||||||||||||||||| |||||||||||||||||||||||||||||||||||||||||||||||| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| || |||||| |||||||| ||||| ||| |||| |||| |||||| ||||| ||| |||| |||| |||| |||||| |||||| |||| |||| || || |||| |||||| |||||||||||| |||||||||| |||||| |||||| |||||| |||||| |||||| |||||| |||||| ||||| ||| |||| |||||| |||||||||||| |||||||||| |||||| |||||| |||||| |||||||||||| |||||||||||||||| |||||||||||||||||||||||| |||||||||||||||||||||||||||||||| |||||||||||||||||||||||||||||||| |||||||||||||||||||||||||||||||||||||||||||||||| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| |||||| |||||||| |||||||||||| |||||||||||||||||||||||| |||||||||||||||||||||||||||||||||||||||||||||||| ||||||||||||||||||||||||||||||||| ||| |||| |||| |||| |||| || || |||| |||||| |||||||| |||| |||| |||||| |||||| |||||||| |||| |||| |||||||||||| |||||||||| |||| |||||| |||||||||||| ||||||||| ||| |||| || || |||||||||| |||||||||||||||||||||||| |||||||||||||||||||||||||||||||| |||||||||||||||||||||||||||||||| |||||||||||||||||||||||||||||||||||||||||||||||| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| |||||| |||||||| |||||||||||| |||||||||||||||||||||||| |||||||||||||||||||||||||||||||||||||||||||||||| |||||||||||||||||||||||||||||||| || |||||||||||||||||| |||||||||||||||||||||||||||||||| |||||||||||||||||||||||||||||||||||||||||||||||| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| |||||||||||||||||||||||||||||||| |||||||||||||||||||||||||||||||||||||||||||||||| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| |||| |||||||| |||||||||||| |||||||||||||||| |||||||||||| |||||||| |||||||||||| |||||||||||||||| |||||||||| |||||| |||| || |||||||||||||| ||||||||| ||||||||||||||| |||| ||||||||| |||||| ||||| |||||| ||||||||| |||||||||||| ||||||||||||||||| |||||||||||| ||||||||| |||||| ||||| |||||| ||||||||| |||||||||||| ||||||||||||||||| |||||||| |||| | ||| ||| ||||| ||| ||| ||| ||||| ||| ||||||||||||||| |||||||||||||||||||||||||||||||||||||||||||||||||||||| ||||| | ||| ||| ||||| ||| ||| ||| ||||| || |||| ||||||||| |||||| ||||| |||||| ||||||||| |||||||||||| ||||||||||||||||| ||||||||| ||| ||| ||||| |||| ||||| ||| ||| ||| ||||| |||| ||||| ||| |||| | ||| ||| ||||| |||||| ||||||||| |||||| ||||| ||| ||| ||| ||||| |||||| ||||||||| |||||| ||||| |||| ||| ||| ||||| |||||| ||||||||| ||| | ||| ||| | || | ||| ||| ||||| ||| ||| ||| ||||| |||| ||||| || | ||| ||| ||||| |||||| ||||||||| |||||||||||| ||||||||||||||||| |||||||||||||||| | ||| ||| ||||| |||||| ||||||||| |||||||||||| ||||||||||||||||| |||||||||||||||||| || ||||||| || |||||||||| || ||||||||||||||| || |||||||||||||| || ||||||||||||||| || |||||||||||||||||||||| || ||||||||||||||||||||||||||||||| || |||||||||||||||| || ||| || ||| || ||| || |||| || ||||||| || ||||||| || ||||||| || ||| |||||||||||||| ||||||||||||||||||||||||||||||||||||||||||||||||||||||| || | || | || ||| || || || ||| || |||| || ||||||| || ||| | ||| ||| ||||| |||| | || | || ||| || |||| || ||||||| || |||||||||| || ||||||||||||||| || ||||||| || | || | || ||| || |||| || ||||||| || |||||||||| || ||||||||||||||| || ||||||| |||||||| | ||| ||| ||||| ||| ||| ||| ||||| ||| ||| ||| ||||| ||| ||| ||| ||| ||| ||||| ||||| ||||| ||| ||| ||| ||| ||| ||||| ||||| ||||| ||||||||| | ||| ||| ||||| ||| ||| ||| ||| || ||| ||| ||||| |||||| ||||||||| ||||| ||| ||| ||||| |||||| ||||||||| ||||| || ||||| |||| ||||| |||||| ||||||||| |||||||| ||||||||| |||||| ||||| ||||| ||||| |||| ||||| |||| ||||| |||||| ||||||||| |||||||| ||||||||| |||||| ||||| ||||| ||||| |||| | || | ||| |
max ! !1,!2( )( )
YesNo
Recap: logistic regression
Question: what were we tying to do using the logistic function?
Answer: estimate the conditional distribution of the response, given the predictors
p X( ) = eβ0+β1X
1+ eβ0+β1X
=BG4JGGB6C
T ZA@5'46JEF'D6'K96CDY
.E@GA7@4S*'GJX89A8968G
+4469FBCD'56'5ABG'G@QXE8;'K8'4@C'X89N845EH'X98FB45'5A8'3'4E@GG8G'JGBCD'6CEH*
.E@GA7@4S*'GJX89A8968G
189N845'G8X@9@5B6C
T -N'@'X98FB4569'A@XX8CG'56'X89N845EH'@EBDC'KB5A'5A8'98GX6CG8;'K8'4@EE'5ABG'.#-/#0%*$#.1-1%&'(
T ZA8C'5ABG'A@XX8CG;'E6DBG5B4'98D98GGB6C'KBEE'2-'$$34*&(/31%#*5A8'468NNB4B8C5G'6N'5A@5'X98FB4569'UKAHYV
p xi( )i:yi=1! " 1# p xj( )( )
j:yj=1!p(X) = e!0+!1X
1+ e!0+!1X
Another approach
• We could try modeling the distribution of the predictors in each class separately:
“density function of X”
• How would this help?
fk X( ) ≡ Pr X = x |Y = k( )
Refresher: Bayes’ rule
=Pr A | B( ) Pr B | A( ) ×Pr A( )Pr B( )
Refresher: Bayes’ rule
The probability that the true class is k
Given that we observedpredictor vector x
The probability that weobserve predictor vector x
Given that thetrue class is k
The probability thatthe true class is k
The probability that weobserve predictor vector x
Pr Y = k( | X = x)=Pr X = x(
Pr X = x( )|Y = k)×Pr Y = k( )
Refresher: Bayes’ rule
This isn’t too hard to estimate*
Pr Y = k( | X = x)=Pr X = x(
Pr X = x( )|Y = k)×Pr Y = k( )
Pr X = x |Y = k( )
*Assuming our training data is randomly sampled
×Pr Y = k( )
j∑ ×Pr Y = k( )j∑
Pr X = x( |Y = k)Just need to estimatethe density function!
.E@GA7@4S*'56H'8R@QXE8
X1
X2
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
oo o
oo
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
oo o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
oo
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
oo o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
oo
o
o
o oo
o
o o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o o
o
oo
oo
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
oooo
o
oo o
ooooo
o
o
o
o
o
o
ooooo
o
o
o
o
o
o
ooooo
oooo
o
oooo
o
o
ooooo o
o
ooooo
oooo
o
oooo
o
o
oooo
o
oo
oooooooooooooo
o
ooo
o
oooo
o
oooo
o
o
o
o
oo
oooo
o
o
oooo
o
o
o
o
oooooooo
oooo
oooo
o
oooo
o
o
oooo
o
oooooooooooooooooooooooo
oooo
o
oooo
oooo
o
oo o
o
o
o
o
o
ooooo
oooooooo oooooooooooooo
oooooooooooooo
oo
o
o
o
o
o
o
o
o
o
o
o
oo
o
oo
o
o
o
o
o
o
o
o
o
oooo
o
oo
oooo
oo
oo
o oooo
oooo
o
o
o
oooooooooooooo
o
o
o
o
o
o
oooooooooooooo
o
o
o
o
o
oooo
o
ooooo
o
o
o ooooo
ooooooooooo
o
o
ooooooooooooooooooooo
o
o
oo
o
o
oooo
oooooooooooooo
o
o
o
o
oooooooooooooo
o
oooo
o
oooo
o
oooooooooooooooooooooooo
o
ooooooo
oooo
oooo
ooooo
oooooooo
o
ooooo
o
oooo
o
o
oooooooooooooooooooooooo
oooo
o
o
o
o
ooo
ooooooo
M@H8GW'=84BGB6C'M6JCF@9H
a(b
Pr(Y = orange | X)> 50%
Pr(Y = blue | X)> 50%
Using Bayes’ rule for classification
• Let’s start by assuming we have just a single predictor
• In order to estimate fk(X), we’ll need to make some assumptions about its form
Assumption 1: fj(X) is normally distributed
• If the density is normal (a.k.a. Gaussian), then we can calculate the function as:
where μk and σk2 are the mean & variance of the kth class
fk x( ) = 12π *σ k
× e−12σ k
2× x−µk( )2⎛
⎝⎜⎜
⎞
⎠⎟⎟
Assumption 2: classes have equal variance
• For simplicity, we’ll also assume that:
• That gives us a single variance term, which we’ll denote
σ12 =!=σ K
2
σ 2
Graphically
−4 −2 0 2 4 −3 −2 −1 0 1 2 3 4
01
23
45
µYes
σ 2
µNo
σ 2
1EJDDBCD'BCf
pk x( ) =Pr Y = k( )! 1
2!" k
" e# 12!k2! x#µk( )2
Pr Y = i( )! 12!" i
" e# 12! i2! x#µi( )2
i$K%
.69'6J9'XJ9X6G8G;'5ABG'BG'@'46CG5@C5`
More algebra!
• So really, we just need to maximize:
• This is called a discriminant function of x
Pr Y = k( )∗ 12πσ k
× e− 12σk2∗ x−µk( )2
δk x( ) = x∗ µk
σ 2 −µ 2k2σ 2 + log Pr Y = k( )( )
/S@H;'K8'C88F'@C'8R@QXE8
−4 −2 0 2 4 −3 −2 −1 0 1 2 3 4
01
23
45µ1 = !1.25
Pr Y =1( ) = 0.5Pr Y = 2( ) = 0.5
M@H8GW'=84BGB6C'M6JCF@9H'@5'x=0
µ2 =1.25
!12 =! 2
2 =1
LDA: estimating the mean
• As usual, in practice we don’t know the actual values for the parameters and so we have to estimate them
• The linear discriminant analysis method uses the following:
(the average of all the training examples from class k)
µ̂k =1nk
xii:yi=k∑
LDA: estimating the variance
• Then we’ll use that estimate to get:
(weighted average of the sample variances of each class)
σ̂ =1
n−Kxi − µ̂k( )2
i:yi=k∑
K∑
.E@GA7@4S
T &8Q8Q789'5A@5'5BQ8'-'G@BF*
T -N'K8'F6CW5'A@L8'@FFB5B6C@E'SC6KE8FD8'@76J5'5A8'4E@GG'Q8Q789GABX'FBG59B7J5B6C*
_+GGJQBCD'6J9'59@BCBCD'F@5@'BG'9@CF6QEH'G@QXE8F
Pr Y = k( | X = x)=Pr X = x(
Pr X = x( )|Y = k)!Pr Y = k( )Pr X = x(
!̂ k =nkn
$ABG'BGCW5'566'A@9F'56'8G5BQ@58_
LDA classifier
• The LDA classifier plugs in all these estimates, and assign the observation to the class for which
is the largest
• The linear in LDA comes from the fact that this equation is linear in x
δk x( ) = x∗ µ̂k
σ̂ 2 −µ̂ 2k2σ̂ 2 + log π̂ k( )
hJB4S'984@X*'!=+
T !=+'6C'<'X98FB4569'Q@S8G':'@GGJQX5B6CG*'KA@5'@98'5A8HY<2 /7G89L@5B6CG'KB5ABC'4E@GG'@98'C69Q@EEH'FBG59B7J58F:2 +EE'4E@GG8G'A@L8'46QQ6C'L@9B@C48
T ,6'KA@5'K6JEF'K8'C88F'56'4A@CD8'56'Q@S8'5ABG'K69S'KB5A'6"3%&.3# X98FB4569GY
LDA on multiple predictors
• Nothing! We just assume the density functions are multivariate normal:
x1
x1
x2
x2
uncorrelated correlation = 0.7
LDA on multiple predictors
• Well okay, not nothing…
• What happens to the mean?
• What happens to the variance?
µk : scalar→ vector
σ 2 : scalar→Cov X( ) :matrix
hJB4S'984@X*'!=+
T !=+'6C'<'X98FB4569'Q@S8G':'@GGJQX5B6CG*'KA@5'@98'5A8HY<2 "@4A'4E@GG'BG'C69Q@EEH'FBG59B7J58F:2 +EE'4E@GG8G'A@L8'46QQ6C'L@9B@C48 ZA@5'4@C'K8'F6'@76J5'
$ABG'G846CF'@GGJQX5B6CY
?JE5BXEHBCD'5K6'x 589QG'56D85A89;A8C48'[eJ@F9@5B4\
hJ@F9@5B4'FBG49BQBC@C5'@C@EHGBG
T ZA@5'BN'K8'98E@R'5A8'@GGJQX5B6C'5A@5'5A8'4E@GG8G'A@L8'JCBN69Q'L@9B@C48Y
T -N'K8'XEJD'%7&$ BC56'M@H8GW;'K8'D85*
Cov X( )!Covk X( ) for each k
!k!x( ) = ! 1
2!x ! !µk( )T Covk X( )!1
!x ! !µk( )+ log ! k( )
=BG4JGGB6C*'h=+'LG2'!=+
T !"#$%&'()*KAH'F68G'B5'Q@5589'KA85A89'69'C65'K8'@GGJQ8'5A@5'5A8'4E@GG8G'A@L8'46QQ6C'L@9B@C48Y
T +($,#-) 7B@GjL@9B@C48'59@F8'6NN-/C8'46L@9B@C48'Q@59BR'6C'p X98FB4569G'" p(p+1)/2 X@9@Q8589G- $A8'Q698'X@9@Q8589G'K8'A@L8'56'8G5BQ@58;'5A8'ABDA89'L@9B@C48'BC'5A8'Q6F8E'U7J5'5A8'E6K89'5A8'7B@GV
A diversion: Detection theory
• Detection theory is more traditionally considered in electrical engineering contexts- Radar, communications, biosurveillance sensors
• But the problem is the same as we consider here: discriminate signal from noise- Think of “signal” and “noise” as two classes
• The typical context, however, is different- Usually the classes are highly imbalanced
Class imbalance
• Overall error rate is one metric for performance• It doesn’t consider potential tradeoffs
• In a “detection” setting, only one class is interesting- Labeling something “noise” is saying, in effect, “I don’t care about
this observation”
• In this scenario, when noise is misclassified as signal, it’s called a “false alarm” or “false positive”- Example: determining someone will default on their loan when they
won’t
&848BL89'6X89@5BCD'4A@9@4589BG5B4'U&/#V
T &/#'4J9L8G'F8Q6CG59@58'5A8'59@F86NN'785K88C'N@EG8'X6GB5BL8G'@CF'N@EG8'C8D@5BL8GT 189N845'F85845B6C'BG'@4AB8L@7E8'KA8C'5A8'4J9L8G'56J4A8G'U<;<VT &@CF6Q'@GGBDCQ8C5'59@4SG'5A8'FB@D6C@E'F6558F'EBC8
#E@GG'7@E@C48
T !85WG'LBGJ@EEH'K8BDA5'5A8'XFNG'7H'4E@GG'GBg8T ,JXX6G8'K8'A@L8'5A8'&/#'4J9L8'@76L8'N69'5K6'7@E@C48F'4E@GG8G
Pa Pk P3 P: P< ( < : 3 k a
GBDC@EC6BG8
#E@GG'7@E@C48
T !85WG'LBGJ@EEH'K8BDA5'5A8'XFNG'7H'4E@GG'GBg8T ,JXX6G8'K8'A@L8'5A8'&/#'4J9L8'@76L8'N69'5K6'7@E@C48F'4E@GG8GT ]6K'KBEE'B5'4A@CD8'BN'5A8'4E@GG'7@E@C48'4A@CD8GY
Pa Pk P3 P: P< ( < : 3 k a
YGBDC@E
C6BG8
&/#'4J9L8G'F6CW5'4A@CD8'KB5A'4E@GG'7@E@C48`
T 1967@7BEB5H'6N'59J8'X6GB5BL8'@CF'N@EG8'X6GB5BL8'@98'!"#$%&%"#0$ 6C'5A8'59J8'G5@58
T $A8'46CFB5B6C@E'FBG59B7J5B6CG'F6CW5'4A@CD8'7@G8F'6C'4E@GG'7@E@C48T U+GBF8*'5ABG'BG'C65'5A8'4@G8'N69'X984BGB6C'@CF'984@EE;'KAB4A'H6J'4@C'98@F'@76J5'BC'5A8'766S'BN'H6JW98'BC5898G58FV
!"# $ %& '()**+,-.)*./0*1. +*./0*1 23"# $ %& '()**+,-.)*./0*1. +*.4561 2
#6CG5@C5'N@EG8'@E@9Q'9@58
T .@EG8'@E@9QG'4@C'78'8RX8CGBL8-?@H'98eJB98'G5@NN'5BQ8'56'BCL8G5BD@58'@'78CBDC'BC4BF8C5
T -C'@'98G6J948P46CG59@BC8F'8CLB96CQ8C5;'@'46QQ6C'X9@45B48'BG'56'G85'5A8'#-.,0+ 6N'N@EG8'@E@9QG'5A@5'4@C'78'56E89@58FT ,6'KA@5'GA6JEF'K8'F6Y
Constrained optimization for detection
• Datapoint x: how many measurements to you get per unit time?- E.g., credit applications per day, radar returns per second
• Datapoint y: how many false alarms can you tolerate per unit time?
• Worst case scenario: there’s nothing to detect; any detections are false alarms
• Set false positive rate to y/x• Now you have your false alarm rate, so maximize your
detection rate
Maximizing the probability of detection
• There is a certain region of the measurement space where we will declare a detection- Everywhere else we won’t
- 𝑇𝑃𝑅 = ∫ 𝑝9(𝑥) 𝑑𝑥=∈?
- 𝐹𝑃𝑅 = ∫ 𝑝@(𝑥) 𝑑𝑥=∈?-Want to maximize 𝑇𝑃𝑅 + 𝜆 𝐹𝑃𝑅 − 𝛼 , where 𝛼 is the desired false
alarm rate¨(Trust me for now, but if you’re curious as to why, come ask after the
lecture)
Maximizing the probability of detection
• It turns out we don’t even have to do any calculus!• 𝑇𝑃𝑅 + 𝜆 𝐹𝑃𝑅 − 𝛼
= E 𝑝9(𝑥) 𝑑𝑥=∈?
+ 𝜆 E 𝑝@(𝑥) 𝑑𝑥=∈?
− 𝛼
= E 𝑝9 𝑥 + 𝜆𝑝@(𝑥) 𝑑𝑥=∈?
− 𝜆𝛼
• No restrictions exist on the region • To maximize this quantity set 𝑅 to everywhere the
integrand is positive!
• 𝑝9 𝑥 + 𝜆𝑝@ 𝑥 > 0 ⟹ 𝑝9 𝑥 /𝑝@ 𝑥 > −𝜆• (Then set 𝜆 to achieve the desired FPR)
Q: Why am I talking about this here?
• A1: just to provide a different perspective • A2: Because the same mathematical principles are at
work as with LDA and QDA• What’s the optimal detector for two Gaussians?
•JK(=)JL(=)
> 𝑐 ⟹
K
LNOKL� Q
R SRTK L
LOKL
K
LNOLL� Q
R SRTL L
LOLL
> 𝑐 ⟹ ULUK𝑒
SRTL L
LOLL W SRTK L
LOKL > 𝑐
⟹ ln𝜎@ − ln 𝜎9 +𝑥 − 𝜇@ @
2𝜎@@−
𝑥 − 𝜇9 @
2𝜎9@> ln 𝑐
Q: Why am I talking about this here?
• What happens if the variances are the same?
• ln 𝜎@ − ln 𝜎9 +=W[L L
@ULL− =W[K L
@UKL> ln 𝑐
⟹ 2 𝜇9 − 𝜇@ 𝑥 + 𝜇@@ − 𝜇9@ − 2𝜎@ ln 𝑐 > 0- A line optimally discriminates between signal and noise!
• And if they’re different?
• ln 𝜎@ − ln 𝜎9 +=W[L L
@ULL− =W[K L
@UKL> ln 𝑐 ⟹
𝜎9@ − 𝜎@@ 𝑥@ + 2 𝜎@@𝜇9 − 𝜎9@𝜇9 𝑥+ 𝜎9@𝜇@@ − 𝜎@@𝜇9@ + 2𝜎9@𝜎@@ ln
𝜎@𝑐𝜎9
> 0
- Use a quadratic!
• This generalizes to higher dimensions
This can be a little counterintuitive
• If the variance is different for signal and noise, a threshold is not the best you can do
• Consider these distributions:
• The variance of the signal is greater than the variance of the noise- So there are actually values that are so small they should be classified
as signal!¨If the signal variance were smaller, there would be values so large they
should be classified as noise- (These are often so far in the tails that they’re extremely unlikely)
-6 -4 -2 0 2 4 6 8
Lab: LDA and QDA
• To do today’s lab in R: nothing new• To do today’s lab in python: nothing new
• Instructions and code:[course website]/labs/lab5-r.html
[course website]/labs/lab5-py.html
• You’ll notice that the labs are beginning to get a bit more open-ended – this may cause some discomfort!-Goal: to help you become more fluent in using these methods- Ask questions early and often: of me, of each other, of whatever
resource helps you learn!
• Full version can be found beginning on p. 161 of ISLR
Coming up
• Wednesday– last day of classification: comparing methods
• Solutions for A1 have been posted to the course website and Moodle
• A2 due on Wednesday Oct. 4th by 11:59pm