discontinuous - stanford universityhastie/elemstatlearnii_figures/figures5.pdfelements of...
TRANSCRIPT
Elements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 5
O
O
O
O
O
OO
O
O
O
OO
OO
O
O
O
O
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
OO
O
O
O
OO O
Piecewise Constant
O
O
O
O
O
OO
O
O
O
OO
OO
O
O
O
O
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
OO
O
O
O
OO O
Piecewise Linear
O
O
O
O
O
OO
O
O
O
OO
OO
O
O
O
O
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
OO
O
O
O
OO O
Continuous Piecewise Linear Piecewise-linear Basis Function
•
••
•
•
•
•
•
••
•• • •
•
• ••
•
•
•
•
••
•
••
•
•
••
•
•
•
••
•
••
•
••
••
•
••
•
••
ξ1ξ1
ξ1ξ1
ξ2ξ2
ξ2ξ2
(X − ξ1)+
FIGURE 5.1. The top left panel shows a piecewiseconstant function fit to some artificial data. The bro-ken vertical lines indicate the positions of the two knotsξ1 and ξ2. The blue curve represents the true func-tion, from which the data were generated with Gaus-sian noise. The remaining two panels show piecewiselinear functions fit to the same data—the top right un-restricted, and the lower left restricted to be continuousat the knots. The lower right panel shows a piecewise–
Elements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 5
O
O
O
O
O
OO
O
O
O
OO
OO
O
O
O
O
O
OO
O
O
O
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
OO
O
OO
O
O
O
OO O
Discontinuous
O
O
O
O
O
OO
O
O
O
OO
OO
O
O
O
O
O
OO
O
O
O
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
OO
O
OO
O
O
O
OO O
Continuous
O
O
O
O
O
OO
O
O
O
OO
OO
O
O
O
O
O
OO
O
O
O
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
OO
O
OO
O
O
O
OO O
Continuous First Derivative
O
O
O
O
O
OO
O
O
O
OO
OO
O
O
O
O
O
OO
O
O
O
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
OO
O
OO
O
O
O
OO O
Continuous Second Derivative
Piecewise Cubic Polynomials
ξ1ξ1
ξ1ξ1
ξ2ξ2
ξ2ξ2
FIGURE 5.2. A series of piecewise-cubic polynomi-als, with increasing orders of continuity.
Elements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 5
X
Poi
ntw
ise
Var
ianc
es
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.1
0.2
0.3
0.4
0.5
0.6
•
•••••
••••• •• •••••• •• •• • •• •••• • •• •• • • ••• •• ••••••
•
•
••• ••
••••••• •••••• •• •• • ••
•••• • •• •• • • ••••• •• ••
••
•
•
••••• •••••
•••••••
••• •• • ••
•••••
•• ••• • •••
•• ••
••••
•
• •• • •• ••••• •• •••••• •• •• • •• •••• • •• •• • • ••• •• •• •••• •
Global LinearGlobal Cubic PolynomialCubic Spline - 2 knotsNatural Cubic Spline - 6 knots
FIGURE 5.3. Pointwise variance curves for four dif-ferent models, with X consisting of 50 points drawn atrandom from U [0, 1], and an assumed error model withconstant variance. The linear and cubic polynomial fitshave two and four degrees of freedom, respectively, whilethe cubic spline and natural cubic spline each have sixdegrees of freedom. The cubic spline has two knots at0.33 and 0.66, while the natural spline has boundaryknots at 0.1 and 0.9, and four interior knots uniformlyspaced between them.
Elements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 5
100 120 140 160 180 200 220
-20
24
0 5 10 15 20 25 30
02
46
8
2 4 6 8 10 12 14
-4-2
02
4
-4-2
02
4
Absent Present
15 20 25 30 35 40 45
-20
24
6
20 30 40 50 60
-6-4
-20
2
f̂(sbp)
sbp
f̂(tobacco)
tobacco
f̂(ldl)
ldl
f̂(obesity)
obesity
f̂(age)
age
f̂(famhist)
famhist
FIGURE 5.4. Fitted natural-spline functions for eachof the terms in the final model selected by the stepwiseprocedure. Included are pointwise standard-error bands.The rug plot at the base of each figure indicates thelocation of each of the sample values for that variable(jittered to break ties)
Elements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 5
Frequency
Log-
perio
dogr
am
0 50 100 150 200 250
05
1015
2025
Phoneme Examples
aaao
Frequency
Logi
stic
Reg
ress
ion
Coe
ffici
ents
0 50 100 150 200 250
-0.4
-0.2
0.0
0.2
0.4
Phoneme Classification: Raw and Restricted Logistic Regression
FIGURE 5.5. The top panel displays the log-peri-odogram as a function of frequency for 15 exampleseach of the phonemes “aa” and “ao” sampled from a to-tal of 695 “aa”s and 1022 “ao”s. Each log-periodogramis measured at 256 uniformly spaced frequencies. Thelower panel shows the coefficients (as a function of fre
Elements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 5
Age
Rel
ativ
e C
hang
e in
Spi
nal B
MD
10 15 20 25
-0.0
50.
00.
050.
100.
150.
20
•
•
•
•
• •
•
••
••
• •
•
•
•
•
•
•
•
•
••
•
•
•
••
••
•
•
•
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•
• • •
•
••
•
•
•
••
•
•
•
•
•
•
•
•
•
••
•
•
••
•
•
•
• •
•
••• •
•
•
•
• •
•
•
•
•
• ••
•
••
•
•
•
••
••
•
•
••• • • ••
•
•
•
•
•
•
••
•
•
•
• ••
•
•
•
•
••
••
•
•
••
•
••• •
•••
•
•• •
•
••
•
••
•
• •
•••
•
•
•• •
•
••
•
•
••
•
•
••
•
• •
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
• •
•
••
•
••
•
• ••
••
•
••
•
•
•
•
••
••
•
•• •
•
•
•
•
•
••
•
•
•
•
•
•
•
•
• ••
•
••
•
•
• •
•
•
•
•
•
••
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
••
•
••
•
•
•
•
•
• •
••
•
•
•
•
•
••
•••
•
••
• ••
•
•• •
••
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
••
•
••
•
••
•
•
•
••
•
•
••
•
•
•
•
••
•
•••
•
•• •
•
•
•
••
••
•
•
•
••
•
•
•
• •
••
•
•
••
••
•
•
••
• ••
•
•
•
••
•
•
•
• ••
•
••
•
•
•
• •
•
•
•
•
••
•
•
••
••
•
•
•
••
•
•
• •
•
•• •
•
••
•
•
•
•
•
•
•
•
•
•
••
•
•
•
• •
•
•
•
•
• •
••
•
••••
••
••
•
•
•
•
•
MaleFemale
FIGURE 5.6. The response is the relative change inbone mineral density measured at the spine in adoles-cents, as a function of age. A separate smoothing splinewas fit to the males and females, with λ ≈ 0.00022.This choice corresponds to about 12 degrees of freedom.
Elements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 5
Daggot Pressure Gradient
Ozo
ne C
once
ntra
tion
-50 0 50 100
010
2030
••
•
• ••
••••
•
• ••••
•
•
•
••
••
•••
•
••
••
•
•
•
•
•
••
••
•
••
•
••
•
•
•••
•
••
••
•
•
•
•
•
•••
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
••
•
••
•
•
•
•
••
•••
•
•
•
•
•
•
•
••
••••
•
•
•
•
••
•
•
•••
•
•
•••
•
••
••
Order
Eig
enva
lues
5 10 15 20 25
-0.2
0.0
0.2
0.4
0.6
0.8
1.0
1.2
• • •
•
•
••
• • • • • • • • • • • • • • • • • •
• • • • • ••
••
••
••
• • • • • • • • • • • •
df=5df=11
-50 0 50 100 -50 0 50 100
FIGURE 5.7. (Top:) Smoothing spline fit of ozoneconcentration versus Daggot pressure gradient. Thetwo fits correspond to different values of the smoothingparameter, chosen to achieve five and eleven effectivedegrees of freedom, defined by dfλ = trace(Sλ). (Lower
Elements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 5
115
100
75
50
25
12
Smoother Matrix
•••• • • •••••• ••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
••••••••••
•••••••
••••••••
••••••••••••• •• •
•
Row 115
•••• • • •••••• ••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•••••••••••
••••••••••
••••••••••••••••••••••••••••••••• ••
•
•
Row 100
•••• • • •••••• ••••••••••••••••••••••••••••••••••
••••••••••
•••••••••
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••• •• ••
Row 75
•••• • • •••••• ••••••••••••
•••••••••
•••••••••••
•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••• •• • •
Row 50
•••••
••••
•••••••
•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••• •• • •
Row 25
•••• • • •••••• •••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••• •• • •
Row 12
Equivalent Kernels
FIGURE 5.8. The smoother matrix for a smoothingspline is nearly banded, indicating an equivalent kernelwith local support. The left panel represents the ele-ments of S as an image. The right panel shows theequivalent kernel or weighting function in detail for theindicated rows.
Elements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 5
6 8 10 12 14
0.9
1.0
1.1
1.2
••••••••••••••
••
•
•
••••••••••••••
••
•
•
y
0.0 0.2 0.4 0.6 0.8 1.0-4
-20
2
O
O
O
O
OO
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
OOO
O
OO
OO
O
O
O
OO
O
O
O
OO
O
OO
O
O
O
O
OO
O
O
O
O
O
OO
O
O
OOO
O
OO
O
O
O
O
O
O
O
O
OO
OO
O
O
O
O
O
O
OOO
OO
O
O
O
O
OO
y
0.0 0.2 0.4 0.6 0.8 1.0
-4-2
02
O
O
O
O
OO
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
OOO
O
OO
O
O
O
O
O
OO
O
O
O
O
O
O
OO
O
O
O
O
OO
O
O
O
O
O
OO
O
O
OOO
O
OO
O
O
O
O
O
O
O
O
OO
OO
O
O
O
O
O
O
OOO
OO
O
O
O
O
OO
y
0.0 0.2 0.4 0.6 0.8 1.0
-4-2
02
O
O
O
O
OO
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
OOO
O
OO
O
O
O
O
O
OO
O
O
O
O
O
O
OO
O
O
O
O
OO
O
O
O
O
O
OO
O
O
OOO
O
OO
O
O
O
O
O
O
O
O
OO
OO
O
O
O
O
O
O
OOO
OO
O
O
O
O
OO
EPECV
XX
X
dfλ = 5
dfλ = 9 dfλ = 15
dfλ
Cross-ValidationE
PE
(λ)
and
CV
(λ)
FIGURE 5.9. The top left panel shows the EPE(λ)and CV(λ) curves for a realization from a nonlinear ad-ditive error model (5.22). The remaining panels showthe data, the true functions (in purple), and the fit-ted curves (in green) with yellow shaded ±2× standarderror bands, for three different values of dfλ.
Elements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 5
FIGURE 5.10. A tensor product basis of B-splines,showing some selected pairs. Each two-dimensionalfunction is the tensor product of the corresponding onedimensional marginals.
Elements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 5
Additive Natural Cubic Splines - 4 df each
.. .. . .. . . .. . . . .. . . . . .. . . . . . .. . . . . . .. . . . . . . .. . . . . . . . .. . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . . .. . . . . . . . . . . . . . .. . . . . . . . . . . . . . .. . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . .. . . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . .. . . . . . . . . .. . . . . . . . . .. . . . . . . . .. . . . . . . . .. . . . . . . . .. . . . . . . .. . . . . . . .. . . . . . . .. . . . . . .. . . . . . .. . . . . . .. . . . . .. . . . . .. . . . .. . . . .. . . . .. . . .. . . .. . . .. . .. . .. . .. .. .. ...
oo
ooo
o
o
o
o
o
o
o
o
oo
o
o o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
oo o
oo
oo
o
oo
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
oo
o
o
o
o
o
oo
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o ooo
o
o
ooo o
o
o
o
o
o
o
o
oo
o
o
oo
ooo
o
o
ooo
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
oo
ooo
o
o
o
o
o
o
oo
oo
oo
o
o
o
o
o
o
o
o
o
o
o
Training Error: 0.23Test Error: 0.28Bayes Error: 0.21
Natural Cubic Splines - Tensor Product - 4 df each
. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . .. . . . . . . . .. . . . . . . .. . . . ..
. . . . . .. . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . .. . . . . . . . . . . . . .. . . . . . . . . . . . . .. . . . . . . . . . . . . .. . . . . . . . . . . . . . .. . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
oo
ooo
o
o
o
o
o
o
o
o
oo
o
o o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
oo o
oo
oo
o
oo
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
oo
o
o
o
o
o
oo
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o ooo
o
o
ooo o
o
o
o
o
o
o
o
oo
o
o
oo
ooo
o
o
ooo
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
oo
ooo
o
o
o
o
o
o
oo
oo
oo
o
o
o
o
o
o
o
o
o
o
o
Training Error: 0.230Test Error: 0.282Bayes Error: 0.210
FIGURE 5.11. The simulation example of Fig-ure 2.1. The upper panel shows the decision bound-
Elements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 5
125
130
135
140
145
150
155
15
20
25
30
35
40
45
20 30 40 50 60
Age
Obe
sity
Systolic Blood Pressure
120
125
130
135
140
145
150
155
160
•
••
•
•
•
•
•
•
•
•
••
• •
• •
•
••
•
••
•
•
•
•
•
••
• •
•
• •
•
•
•
•
•
•
••
•
•
•
•
•
••
••
••
•
•
•
• ••
• ••
•
•
•
•
•
•
••
•
•
•
•
•
•
••
•
•
••
•
•
•
•
•
•
•
••
•
•
•
•• •
••
•
••
•
•
•
•
••
••
•
•
•
•
••
•
•
•
• ••
•
•
•
•
•
•
•
•
•
•
•
•
•••
••
•
•
•
•
••
••
•••
•
••
••
•
• ••
•
•
•
••
•••
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•••
•
•
•
•
• •
•
•
•
•• •
•
••
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
••
•
•
•
••
••
••
•
••
•••
•
•
••
• •
••
•
•
••
•
•
••
•
•
•
•
•
•
•
••
•
•
•
•
•
• •
•
•
•
•
•
••
•
••
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•••
•
••
• •
•
•
••
• •
•
•
• •
•
•• •
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
••
•
•
••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
• •
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
••
•
•
•
•
•
•
•
••
•
•
•
••
•
•
••
•
•
•
•
••
• •
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
• • • • • •
• • • • • • •
• • • • • • •
• • • • • •
• • • •
• •
• • • • • • • •
• •
•
•
• •
• • • •
• • • • • •
• • • • • • • •
FIGURE 5.12. A thin-plate spline fit to the heartdisease data, displayed as a contour plot. The responseis systolic blood pressure, modeled as a functionof age and obesity. The data points are indicated, aswell as the lattice of points used as knots. Care shouldbe taken to use knots from the lattice inside the convexhull of the data (red), and ignore those outside (green).
Elements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 5
−2 −1 0 1 2 3 4
0.0
0.4
0.8
X
Radial Kernel in IR1
K(·,
xm
)
FIGURE 5.13. Radial kernels kk(x) for the mixturedata, with scale parameter ν = 1. The kernels are cen-tered at five points xm chosen at random from the 200.
Elements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 5
** *** **
* **** ** * **
***
** **
*** *** *
*** ***
* ** ** *** **
** **
*** *
***
* *** **
**
***
** ******
***
*
***
*** *
* ** *
**
**
*** * *
*** *
** *** *** *
**** ***
***
**
*
***
**
* ** * ***** ***
****
***
** *
** *
** ***
* ***
** ** ** ***** **
*** ******
*****
*
******
*
***
*
*
**
**
**
*
**
*
*
*
**
*
* *
***
*
** *
***
*
*
*
**
*
*
**
* *
*
*
*
*** *
*
*
* ** **
**
**
*
*
*
*
*
**
*******
*
*
*
*
**
****
**
*
*
*
* **
* *
***
* ***
*
*
**
*** **
**
***
*
*
*
**
**
*
*
* ***
**
*
*
**
**
***
*
**
*
*
***
**
**
**
**
**
**
**
*
*
**
*
*
**
*
***
**
**
*
*
*
**
**
*
**
*** **
**
**
***
***
*
**
**
****
*
* *
**
**
**
*
*
**
* *
*
* *
*** *
*
*
**
**
**
** *
*
***
*
*
**
*
***
*
*** **
*
*
*
**
*
*
******
*
*
*
*
**
**
*
*
*
**
* *
*
*
*
*
**
* *
* ***
*
***
** *** *
****
*
*
**
**
* ***
** ** *
*
** **
****
*
*
*
**** *
*
**
*
**
**
**
**
* ** **
***
**
*
*
*
**
***
** **
**
******
****
*
***
** *** **
*
*
***
** *
**
*** *
*
* *
**
***
*
*
***
*
* **
*
*
**
*
**
*
*
***
**
***
*
***
***
**
** *** *
* *****
*** ** **
*
*
** *
*
**
*
*
**
* ***
* *
**
* *** *** ***
*
***
*
***
*
**
*
**
*
**
*
*
* ** *
*****
*
*
*
*
***
* **
**
*
*
*
*
*
*
**
*
* **
*
** *
* *** ***
* **
*
*
*
**
*
**
* *
***
*
*
****
**
** **
* *** *
****
*
**
*
*** *
**
*
**
**
**
**** ** **
*
*
*
*
**
* **
***
**
**** **
* ***
**
**
*** **
***
***** *
**
*
*
**
*
*
*
**
*
***
***
**
*
**
**
** *** *
** *
**
**
*
*
*
*
**
*
*
*
**
*
*
*
*
**
****** *
*
**
***
*
**
*
*
*
*
**
*
*
***
* **
*
** ***
**
**
****
*
***
*
** **
***
**
*
***
*** *****
**
*
***
*
** *** *
** *
*
****
* **
*
***
**
* ** ** **
**
**
*** *
*
**
**
*
***
*
** ***
* *** *
**
*****
**
**
*
**
**
* *
*** * *
**
***
* *
*
**
****
*** **
**
**
** ***
* *** *
*
*
*
*
** **
* *****
*
**
**
***
*
***
*
**
*
*
** *
**
*
*
*
*
** ** **
*
*
*** *** *
****
**
*
*
***
*
*
** *
***
**
**
**
*
* *
**
* *
*
***
***
*
* **
**
* ** * **** **
**
*
*
*
*
*
*
* *
***
*** *
* **
**
*
*
****
**
*** **
****** *
*
**
*
*
***
*
***
* *
*
*
* * **** *
**
**
** ****
**
*
***
*
*
*
*
*
**
*
*
*
*
*
*
*
*
*
*
**
*****
**
**
***
*
***
*
***
**
*
**
** *
*
*
** **
*
**
**** **
*
***
*
*
*
**
*
***
*
*
** ****
*
****
**
**
*
** ** ***
*
***
*
*
*
**
**
*
*
***
*
**
**** *
** *
*
**
** **
* *
*
*
**
**
*
** **
*
* *****
*
****
* ** **
*
*
*
***
*
* *
* *
***
***
* *
***
* ***
****
**
*** ** ***
*
**
*
*
*
**
*
*
*
* **
*
*****
**
**
***
*
***
*
*
*
*
**
* **
*
*
*
*
**
*
** ***
*
*****
*
*
**
****
***
**
*
*
***
**
*
****
*
*
*
***
*
**
*
*
**
*
** *** **
**
**
*
*
*** ****
*
*
*
*
*
*
* *
***
*
*
*
**
*
*
** *
*
** ** **
*** ** ******
*
*
**
***
*
*
*
**
** **
*
**
***
**
**
****
*** **
**** *
**
*
** **
*
** *
*
*
*
*
*
*
**
*****
*
*
**
***
*
**
*
**
*
* *
* ***
** ***
**
**
*
**
**
** *** ** *
**
*
***
**
* *
*
**
*
****
***
* **
*
*
*
*
*
**
***
***
***
**
**
*
**
*
**
**
**
*** *
**
**
**
** *
***
****
* *** *
* **
***
**
*
****
****
* **
* *
****
**
*
**
* *
*** **
**
* ***
****
**
***
** **
*
***
*
**
***
**
* ***
**
*** *
*
*
*
***
*
**
*
*
**
*
*
** *
**
*
**
**
**
**
* *
**** ***
** *
**
* ** *****
*
** ***
* ****
*
*
** *
*****
*
**
*** *
*
**
**
***
*
***
* ** **
*
*
*
**
** **
**
* **
**
**
***
** ***
*
****
* ***
***
*
*
**
*
*
*
*
**
**
** * *** *
****
***
* ***
*** **
**
**
** **
*
**** *
**
** ** *
*
* * ****
* **
** ***
*
***
*
**
***
***
** ***
*
*
***
**
*
*
****
*** *
*****
*
****
*
**
*
*** *
* **
* **
*
*
**
*
**
***
***
*
* * ****
*
* *
*
***
** **
** **
*
**
**
** *
*
*** *
*
**
*
*
**
*
*
**
*
**
**
*
****
*
***
*
*
**
*
**
***
*
*
**
**
*** *
*
*** *
***
***
*
*
*
**
** **
**
**
*
**
*
*
*
**
**
*
*
**
***
*
**
*
***
*
**
** *
**
** * *
**
* **
*
** *
*
*
* **
*** *
*
*
** *
**
***
***
*
*
*
** *
***
**
*** **
**
**
* *
**
*
* *
** *
*
***
**
**
*
*
*** **
*
*
**
*
**
*
* *
*
**
*
*
*
**
***
**
*
**
** ** *
**
*
**
**
***
*
* **
**
* **
* **
***
***
* **
*
*
*
*
*
**
***
** ***
*
***
*****
**
*
*
*
***
*
*
**
* * **
***
**
*
*
***
*
**
**
*
*
*
*
* * **
**
*
* **
***
** *
*
*
**
**
*
***
**
* ** ***
**
*
**
*
**
*
**
**
* **
*
*
*
** *
*
**
* *** ***
**
***
**
***
* **
**
** *
*
*** *
* ***
*
*
*
*****
*
*
**
*
*
***
** *
**
****
*
** *
***
* ***
** *
*
**
***
***
**
*
***
** ****
*
*
***
**
****
**
*
*
*
*
**
*
*
* **
***
**
*
*
*
** ***
**
*
**
*
*
*
*
* * ****
*
*
*
** *
*
*
* * **
** *
*
****
*** *
**
****
*
**
**
**
*
*
***
*
**
***
*
***
*
* *
** **
*
*
****
** *
*** ***
* **
** *
*
* *
*
*** ** *
*
**
**
*
***
***
* *
** *
*
*
****
**
**
*
***
*** *
*
*
*
* **
**
**
**
*
*
*
*
***
*
***
*
*
*
**
**
****
***
*
*
*
*
*
**
* ** *
**
***
*
*
**
******
****
*
*
**
**
** ** *
** **
**
**
***
**
*
**
***
*
**
*
**
*
*
*
**
**
**
****
*
**
*
*
*
*
*
**
* **
*
** **
**
*
** ** * ***
**
*
**
** **
**
*
**
**
**
**
*
** **
*
*** **
*
**
** *
* **
***
**
*
**
*
** ***
**
*** *
*
*
* **
*
*
*
*
**
*
***
** **
**
**
**
***
***
*
*
**
*
*
*
*
* **
* ****
* *
**
****
**
**
**
*
*
*
* **
***
*
*
*
**
*
*
*
* **
*** **
**
**
*
*
**
* **
*
**
*
**
*
*
**
Orthonormal Basis Φ
*
* **
*
*
*
* *
**
**
*
**
*
*
**
*
*
*
*
**
**
*
*
*
*** **
*
*
**
**
*
*
* *
*
***
*
*
**
*
*
**
**
****
*
*
*
**
*
*
*
*****
*
*
*
*
*
*
*
*
*
*
*
*
*
**
*
*
*
*
**
**
*
**
*
*
***
***
** *
**
**
*
*
*
*
**
*
*
*
*
**
*
*
*
*
** **
***
*
*
*
*
***
*
**
*
**
*
* *
*
*
**
*
* **
*
*
*
***
**
*
*
**
**
*
***
*
*
*
**
****
*
*
**
*
**
*
*
*
**
*
*
*
*
*
*
**
*
*
*
*
*
*
**
*
**
*
*
*
*
*
*
*
***
*
*
*
*
*
*
*
*
*
**
*
*
*
**
*
*
*
*
*** *
*
*
*
**
*
*
*
*
*
**
**
*
**
**
*
*
*
*
*
*
*
*
**
*
*
*
*
*
*
**
*
*
**
*
**
**
*
*
**
****
*
*
*
**
*
*
*
*
*
*
**
*
*
*
**
*
*
*
*
*
*
*
**
***
*
*
*
*
*
**
*
*
*
*
*
*
*
*
*
*
*
**
*
*
*
*
*
*
*
*
*
*
*
*
*
*
**
**
*
*
*
*
*
**
*
*
*
***
*
*
**
**
** *
*
**
*
*
*
*
*
***
*
*
**
*
*
**
*
*
*
*
*
*
**
*
* *
**
**
*
*
*
*
*
*
*
*
*
* *
*
**
*
*
*
*
*
*
*
**
*
*
**
**
*
*
*
**
*
*
*
****
*
*
*
*
*
*
*
*
*
*
*
*
*
*
* *
*
*
*
*
**
**
* ***
*
**
*
**
*
** *
**
**
*
*
**
**
*
**
*
*
* **
*
*
*
* **
***
*
*
*
*
*
****
*
*
*
*
*
*
**
*
*
**
* ** *
*
*
**
*
*
*
*
*
**
**
*
**
*
*
**
**
****
**
**
*
*
**
***** **
*
*
**
*
*
* *
**
*** *
*
**
**
*
***
*
**
*
*
**
*
*
*
*
*
*
*
**
*
**
*
**
**
*
*
**
*
***
*
*
**
****
***
***
*
** *
* **
*
*
***
*
*
*
*
*
*
*
* ***
**
**
* *** *** *
*
*
*
**
*
*
*
**
*
**
*
*
*
*
*
*
*
*
* **
*
**
**
*
*
*
*
*
*
**
**
*
**
*
*
*
*
*
*
**
*
**
*
*
** *
* **
* ***
***
*
*
*
*
**
*
*
**
***
*
*
**
**
**
****
* **
* *
***
*
*
*
**
*
** *
*
**
*
*
**
*
*
*
*****
**
*
*
*
*
**
* *
***
*
*
*
**
** *
*
* ***
**
**
*
****
*
**
***
** *
*
*
*
*
**
*
*
*
*
**
*
**
***
*
*
*
**
*
*
** ****
**
*
**
*
*
*
*
*
*
**
*
*
*
**
*
*
*
*
*
*
******
*
*
**
***
*
*
*
*
*
*
*
*
*
*
*
**
*
* **
*
** **
*
**
*
*
****
*
**
*
*
** *
*
***
*
*
*
**
***
***
***
**
*
**
**
** ***
*
** *
*
***
*
* *
*
*
*
**
*
*
* ** ** **
**
**
*** *
*
**
**
*
***
*
****
*
**
** *
*
*
****
**
**
*
*
**
**
* *
*
** * *
**
***
* *
*
**
****
*** *
**
*
**
** ***
* *** *
*
*
*
*
** **
* *
*****
**
**
*
**
*
***
*
**
*
*
*
* **
**
*
*
*
***
* **
*
*
***
*** *
****
*
**
*
***
*
*
** *
*
**
**
**
**
*
* *
**
* *
*
***
***
*
* **
**
* ** * **** **
**
*
*
*
*
*
*
* *
***
*** *
* **
**
*
*
****
**
*** **
****** *
*
**
*
*
***
*
***
* *
*
*
* * **** *
**
**
** ****
**
*
***
*
*
*
*
*
**
*
*
*
*
*
*
*
*
*
*
**
*****
**
**
***
*
***
*
***
**
*
**
** *
*
*
** **
*
**
**** **
*
***
*
*
*
**
*
***
*
*
** ****
**
****
***
*
** ** *** *
***
*
*
**
**
*
*
*
****
**
** ** **
* **
** ** *
*
* *
**
**
**
*
** **
*
* *****
*****
* ** ***
*
*
*** *
* ** *
**** **
* *
***
* ****
***
**
*** ** ***
*
**
**
*
**
*
*
*
* ** ******
**
** ***
*
****
**
*
**
* **
**
*
*
**
*** **
*
*
*** **
*
** ****
**
***
**
*
** *
**
*
** ***
**
* **** *
**
***
** ** * **** **
*
**** **
***
**
**
** *
* ***
**
** *
*** *
*
** ** ***** ** ****** *
*** *
***
**
**** * **
** ***
** *
** *** *** *** *** ** **
** ***
** **
*
**
**
** *****
*
*
**
***
*
***
* **
* *
* ***
** ***** **
** * *
*** *** ** ***
*** ****
*
*
** **** *
* *** ***
**
**** * ** ***** * **** *
* **
*** ** ** ** ** ***
**** * ** ** ** ** *
*
** ** ** *****
****** ** *
* *** *** ** ** *
*** **** * * **
* *** *** *** *** ** **** ***** ***
** * ** * ***** **
**
****
****
***
** * **** ** *** ** ** * **** *** ** **** ** **** *
*** **** ** *** *** **** ** * ** *** ** * **** ** * **** ** ** ** ** * ** ** ** * ** ** ** ** *
*
** ** ** *** ** ****** ** ** *** *** ** ** * *** * *** * * *** *** *** *** ***
** **** *** ** *** ** * ** * ***** ** ** ****
******
* ** * **** ** *** ** ** * **** *** ** **** **
**** *
*** **** ** *** *** **** ** * ** *** ** * **** ** * **** ** ** ** ** * ** ** ** * ** ** ** ** *
*** ** ** *** ** ****** ** ** *** *** ** ** * *** * *** * * *** *** *** *** *
** ** **** ***** *** ** * ** * ***** ** ** **** **** *** ** * **** ** *** ** ** * **** *** ** **** ** **** *
*** ****
** *** *** **** ** * ** *** ** * **** ** * **** ** ** ** ** * ** ** ** * ** ** ** ** * *** ** ** *** ** ****** ** ** *** *** ** ** * *** * *** * * *** *** *** *** *** ** **** *** ** *** ** * ** * ***** ** ** **** **** *** ** * **** ** *** ** ** * **** *** ** **** ** **** ** ** **** ** *** *** **** ** * ** *** ** * **** ** * **** ** ** ** ** * ** ** ** * ** ** ** ** * *** ** ** *** ** ****** ** ** *** *** ** ** * *** * *** * * *** *** *** *** *** ** **** *** ** *** ** * ** * ***** ** ** **** **** *** ** * **** ** *** ** ** * **** *** ** **** ** **** ** ** **** ** *** *** **** ** * ** *** ** * **** ** * **** ** ** ** ** * ** ** ** * ** ** ** ** * *** ** ** *** ** ****** ** ** *** *** ** ** * *** * *** * * *** *** *** *** *** ** **** *** ** *** ** * ** * ***** ** ** **** **** *** ** * **** ** *** ** ** * **** *** ** **** ** **** ** ** **** ** *** *** **** ** * ** *** ** * **** ** * **** ** ** ** ** * ** ** ** * ** ** ** ** * *** ** ** *** ** ****** ** ** *** *** ** ** * *** * *** * * *** *** *** *** *** ** **** *** ** *** ** * ** * ***** ** ** **** **** *** ** * **** ** *** ** ** * **** *** ** **** ** **** ** ** ****
Feature Space H
FIGURE 5.14. (Left panel) The first 16 normalizedeigenvectors of K, the 200 × 200 kernel matrix for thefirst coordinate of the mixture data. These are viewed
as estimates φ̂� of the eigenfunctions in (5.45), and arerepresented as functions in IR1 with the observed val-ues superimposed in color. They are arranged in rows,starting at the top left. (Right panel) Rescaled versions
h� =√
γ̂�φ̂� of the functions in the left panel, for whichthe kernel computes the “inner product.”
Elements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 5
0 10 20 30 40 50
1e−
151e
−11
1e−
071e
−03
1e+
01
Eig
enva
lue
FIGURE 5.15. The largest 50 eigenvalues of K; allthose beyond the 30th are effectively zero.
Elements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 5
Time
0.0 0.2 0.4 0.6 0.8 1.0
Haar Wavelets
Time
0.0 0.2 0.4 0.6 0.8 1.0
Symmlet-8 Wavelets
ψ1,0
ψ2,1
ψ2,3
ψ3,2
ψ3,5
ψ4,4
ψ4,9
ψ5,1
ψ5,15
ψ6,15
ψ6,35
FIGURE 5.16. Some selected wavelets at differenttranslations and dilations for the Haar and symmletfamilies. The functions have been scaled to suit thedisplay.
Elements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 5
NMR Signal
0 200 400 600 800 1000
020
4060
0 200 400 600 800 1000
Wavelet Transform - Original Signal
0 200 400 600 800 1000
Wavelet Transform - WaveShrunk Signal
SignalSignal
W9W9
W8W8
W7W7
W6W6
W5W5
W4W4
V4V4
FIGURE 5.17. The top panel shows an NMR sig-nal, with the wavelet-shrunk version superimposed ingreen. The lower left panel represents the wavelet trans-
Elements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 5
Haar Basis Symmlet Basis
φ(x)φ(x)
ψ(x)ψ(x)
FIGURE 5.18. The Haar and symmlet father (scal-ing) wavelet φ(x) and mother wavelet ψ(x).
Elements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 5
NMR Signal
0 200 400 600 800 1000
020
4060
splinewavelet
Smooth Function (Simulated)
n
0.0 0.2 0.4 0.6 0.8 1.0
-4-2
02
4
splinewavelettrue
•
••
•
••
•
••
••••
•
•••••••
•
•
••
•
•••••
•
•
•
•
•
••
•••••
•••
•
•••••
•
•••
•
•
•••
••
•
•••
•••
•
••
•
•
•••
•••
•
•
••
•••
••
•
••
•••
•••
••
•
•••••
•••
•
•
•
•
••••
•
•••
•
•
•
••
•
FIGURE 5.19. Wavelet smoothing compared withsmoothing splines on two examples. Each panel com-pares the SURE-shrunk wavelet fit to the cross-vali-dated smoothing spline fit.
Elements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 5
B-splines of Order 1
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.4
0.8
1.2
B-splines of Order 2
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.4
0.8
1.2
B-splines of Order 3
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.4
0.8
1.2
B-splines of Order 4
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.4
0.8
1.2
FIGURE 5.20. The sequence of B-splines up to orderfour with ten knots evenly spaced from 0 to 1. TheB-splines have local support; they are nonzero on aninterval spanned by M + 1 knots.