第四章 最小二乘问题
DESCRIPTION
数值分析. 第四章 最小二乘问题. 问题的提出. 数值分析. 数值分析. 数值分析. 数值分析. 数值分析. 数值分析. 第一节 求解线性最小二乘问题的一般原理. 数值分析. 数值分析. 数值分析. 数值分析. 数值分析. 数值分析. 数值分析. 数值分析. 第二节 矩阵的广义逆. 数值分析. 数值分析. 数值分析. 数值分析. 数值分析. 数值分析. 数值分析. 数值分析. 推论 : A + =(A T A) + A T =A T (AA T ) +. 数值分析. 数值分析. 数值分析. 数值分析. - PowerPoint PPT PresentationTRANSCRIPT
1 数值分析
数值分析
问题的提出
0 1
0 1
0
2
0
1 , , , ,
, , , ,
( ) ( )
( ) ( ), , ( )
( ( )) min (1)
i m
i m
n
j
m
i ii
m x x x x
y y y y
x m n
s x H span x x
y s x
j
0 n
给定 个数据点
及基函数
构造出拟合函数 ,
使
T TA AC A Y GC F 等价于 或
第四章 最小二乘问题
2 数值分析
数值分析
0 1( , , ..., )nA 其中
0 0 1 0 0
0 1 1 1 1
0 1
( ) ( ) ( )
( ) ( ) ( )
( ) ( ) ( )
n
n
m m n m
x x x
x x x
x x x
0 1( , , , )TmY y y y
0 0 0 1 0
1 0 1 1 1
0 1
0 1
( , ) ( , ) ( , )
( , ) ( , ) ( , )
( , ) ( , ) ( , )
( , ) ( , ) ( , )
n
n
n n n n
T
n
G
F Y Y Y
3 数值分析
数值分析
( ) ( ) , 0,1, ...,i ix x s x y i m n
i ii=0
若求s( )= c ，使
0 0 0 0 1 1 0 0 0
1 0 0 1 1 1 1 1 1
0 0 1 1
( ) ( ) ( ) ... ( )
( ) ( ) ( ) ... ( )
( ) ( ) ( ) ... ( )
n n
n n
m m m n n m m
s x c x c x c x y
s x c x c x c x y
s x c x c x c x y
Y AC Y S2
2minC AC Y 显然这是不能成立的。只能求出 使
AC Y线性最小二乘问题：求矛盾方程组 的最小二乘解。
C AC Y是矛盾方程组 的最小二乘解。
4 数值分析
数值分析
2 2, min
,(
:.
).m n
Ax b r b AxA R m n
求矛盾线性最小二乘问题
方程组 使 的解其中
1
2
1 1 0
1 1 1 .
1 2
:
0
x
x
为矛盾方程组例
第一节 求解线性最小二乘问题的一般原理
5 数值分析
数值分析
: .1 : n
T Tx R Ax b
x A Ax A b
是矛盾方程组 的最小二乘解的
充分必要条件是 是方程组定
的解理
2
2 2
( ) ( )
( ) 2( ( ), ) ( )
r x Ax Ay
r x r x Ax Ay Ax Ay
2 2 2, , ,
( ) ( ) ( ): nx y R x yr y b Ay b Ax Ax Ay
证明 设有 且 则
.
,)()(
0)),((
,,
22
的最小二乘解是矛盾方程组即
则有
使对任意如果存在
bAxx
Ryyrxr
AyxAxr
RyRx
n
nn
6 数值分析
数值分析
nTT
nn
RyxrAyx
RyAyAxxrRx
,0)()(
,0)),((,对
bAAxAAxbA
ANxrxrATTT
TT
0)(
)()(0)(
证毕使存在使即存在
bAxAARx
RyAyxAxrRxTTn
nn
,
,0)),((,
bAAxAxAxbx
bAAxATT
TT
使求使求
方程称为最小二乘问题的法
min
.2
7 数值分析
数值分析
.,,)()3(.
.,)2(
.)1(
:
唯一解不题称为亏秩的最小二乘问时当
题称为满秩的最小二乘问乘解存在唯一的最小二对应的矛盾方程组
存在唯一解法方程为列满秩时当的解一般不唯一法方程
注
nAr
bAxbAAxAA
bAAxATT
TT
8 数值分析
数值分析
.
)(,)(
,,
,,
1
1111
1111
1
bAxbAx
AAAAAAAA
AAAAAAAA
ARA
TT
nn
的解
且有则存在逆阵可逆若
是否有类似的性质，不可逆，或若 nmnn RARA
第二节 矩阵的广义逆
9 数值分析
数值分析
1 ; 2 ;
3 ; 4 ( )
m n n m
T T
n m X
AXA A XAX X
AX AX XA XA
X A
A
A R R
，若存 矩阵
满足以下四个条件（也称为Penrose条件）:
（ ）
则称 是矩阵 的广义逆，又称为Penrose-Moore
广义逆，并记为 （也称为加号逆，或为伪逆）。
设 义 定
2 2
1 ;
2 ( ) , ( ) , ( ) ;
n n
A A A A AA AA A A
A R
+ -1
简单 质
当 是可逆阵时,A A
+ A的 性
10 数值分析
数值分析
1
3 , ( ) ,
( )
m n
T Tn m
A m n r A n
A A A A A A I AA I
A A A
R
是列满秩矩阵（ ）
则 ＝（ ） ,且 但一般不成立
为列满秩时，称 为 的“ 左逆” ；
1
2 3
1 1
1 1
1 1
4 2 21( )
8 -4 2 2
,
,
T T
A
A A
A I A I
A A A
A A
A A
。
是列满秩的矩阵，可以求它的左逆
验算有 但 。
：
已知 求 的广 义逆
解
例
11 数值分析
数值分析
1
4 , ( ) ,
( );
m n
T Tm n
A m n r A m
A A AA AA I A A I
A A A
R
是行满秩矩阵（ ）则
＝ （ ） ,且 但一般不成立
为行满秩时，称 为 的“ 右逆” 。
1
2 4
1 2 3 6
1 2 1 2
1 9
2 181( )
76 11 23
8 4
1 0,
0 1
,
T T
A
A A
A I A I
A A A
A A
A A
的 。
是行满秩的矩阵，可求它的右逆
验算有 但 。
：
已知 求 广义逆
解
例
12 数值分析
数值分析
推论 : A+=(ATA) + AT=AT(AAT) +
IAAAAABAB ,)(一般说来
1
0
0 0
0
0 0
2 m n
Tr
Tr
A U V
A
A V U
A R
有奇异值分解
则 存在唯一的广义逆是
设矩阵定理
13 数值分析
数值分析
ABAB
AB
ABAB
BA
)(
00
01
01
01
2
1)(,
00
11
,10
11,
00
01:例如
ABABBA )(,,, 有行满秩时列满秩当但是
14 数值分析
数值分析
ABAB
ABAAAA
BBBB
ABAB
BA
TT
TT
)(
01
01
2
1,01)(
,1
1
2
1)(
01
01
2
1)(,
00
11
,11,0
1:
1
1
例如
15 数值分析
数值分析
,
m n
m n n n
A
R
R A
A QR Q R R
Q R A
是列满秩矩阵，则
是列 矩阵,
。
若 已知 有正交分解其中 正交
是可逆的上三角阵。试用 和 表示
例
1
1 1
1 1
( )
( ) ( )
( )
T T
T T T T T T T
T T T T
m n T
A
A A
R Q QR R Q R R R Q
R R R Q R Q
A A
Q R Q Q
是列满秩矩阵时，其广义逆为左逆，
对于列
：
矩阵 ，有 。正交的
解
16 数值分析
数值分析
, ( ) 0,
,
3 m n
m r r n
r A
B C A BC
A R
R R
A
秩 则必有列
满秩矩阵 和行满秩矩阵 使
设
称为矩阵 的满秩分解（简称秩分解）。
定理
0 0, 0
0 0 0 0 0: r r r
r
I I IPAQ I
证
11
1111
0,0
0000
0
QICI
PB
BC
QII
PQI
PA
rr
rrr
其中
17 数值分析
数值分析
注（ 1 ）满秩分解不唯一
1 1(2)
( ) ( )T T T TA BCA C B C CC B B B
1 0
1 0
1 0 11 0
1 0 1
1 0 2 10
1 0 22
, ( ) 1,
A
A
A r A
，是 的一个满秩分解，
， 也是 的一个满秩分解。
如矩阵 秩
显然
18 数值分析
数值分析
11 12 11 12
21 22 11 12
11 12
(3) ( ) 1,
1
a a a ar A A
a a ba ba
a ab
1 01 2 1
( ) 2, 1 00 3 2
0
:
1
r A A BC
解
2 1
2 1
3 2
+
-1
-1 。0
设A= ,试用A的满秩分解求广义逆A例:
19 数值分析
数值分析
100
02/12/1
100
011
10
02/1)(
10
02
10
01
01
100
011,
10
01
01
1 TT
T
BBBB
BBB
43
22
813
14
1
68
813
14
1
21
32
01
)(
68
813
14
1
21
32
01
230
121,
230
121
1TT
T
CCCC
CCC
833
422
161313
28
1BCA
20 数值分析
数值分析
对任意一个线性方程组 Ax=b ，它的解可以用广义逆统一地表示成一般形式。
(1)(2)
( ) ,
4 m n m
n
Ax b,A R ,b RAx b AA b b
Ax b A b
x A b I A A y y R
线性方程组 则有解
若 有解， 是它的一个特解，其全部解（通解）是
定理
第三节 最小二乘解的基本问题
21 数值分析
数值分析
, , ,(1)(2)
(
5
) ,
m n m
T T
n
Ax b A R b RA Ax A b
x A b I A A y y R
矛盾方程组 则法方程 恒有解；法方程的通解是
定理
；
2
(3)
(4) m n
x A b
A Rx A b
是矛盾方程组的最小二乘解,
即解集合中欧式范数 最小的解，又称为极小范数解；当 是列满秩矩阵，则满秩最小二乘问题存在唯一解 。
22 数值分析
数值分析
注：（ 1 ）矛盾方程组 Ax=b 恒有最小二乘解；
（ 2 ）最小二乘解不唯一；
（ 3 ） x=A+b 最小二乘解中欧氏范数最小的解；
（ 4 ） A 列满秩时，最小二乘解唯一。
1
2
1 1 1
1 1 1
2 1 0
1 1 2 11
1 0 , 02
2 2 2 0
T
x
x
x A b
用广义逆求矛盾方程组
的最小二乘解
：
。
例：
解
23 数值分析
数值分析
列满秩线性最小二乘问题存在唯一解 x=A+b
有四种解法：1. 直接解法方程 ATAx=ATb
2. 正交分解法 A=QR
3. 奇异值分解法 A=U∑VT
4. 迭代法
第四节 列满秩线性最小二乘问题 的数值解法
24 数值分析
数值分析
2. 正交分解法
1
(1) , ,m n n n
T T T T T T
T T
A QR Q R R R
A Ax A b R Q QRx R Q b
Rx Q b x R Q b
可逆上三角阵
1 2 1
11
(2) ,
, ,
, ,0
m m m n
m n n n
A QR
Q R Q Q Q Q R
RR R R R R
用Householder变换对A作QR分解
可逆上三角阵
11 2 1 1
1 1 1 1 1 1
11 1 1 1
0T T T T T T
T T
RA QR Q Q Q R
A Ax A b R Q Q R x R Q b
R x Q b x R Q b
25 数值分析
数值分析
1 2 1
1 2 1
,
;
, ,
Tn n
Tn n
m n
Houserholder A QR
R Q A H H H H A
C Q b H
Ax b A R r A
H H H b
n
(1)用 变换
列满秩最小二乘问题
求解方法，做正
如 ：
算
下交分解
计
1
1
(2)
;
m n n n
m n
R R n n R R
C R n C R
取 的上部 矩阵
取 的前 个分量组成子向量
。向后回代求解 11)3( CxR
26 数值分析
数值分析
1 1 2 2
2 2 221 1 222 2 2 ,
01 1 222 2 2
1 1 2 2
2 2 2
Ax b
A b
用正交分解法求解矛盾方程组例
4 3
4 4
(1)
1 1 10
2 221 1 01 1 1
00 1 12 22
,1 1 1 0 0 1
02 2 0 0 021 1 1
02 22
A Householder A QR
Q R
解 对 用 变化换做正交分解：
27 数值分析
数值分析
T
TT
C
RR
bQC
)2,0,1(
100
110
011
33
)3,2,0,1()2(
1
1
矩阵的上部取矩阵
计算
。二乘解求出矛盾方程组的最小
求解上三角方程组
)2,2,21(
)3( 11
x
CxR
28 数值分析
数值分析
3. 奇异值分解法
1
1 2
0
0 0
0
0 0
1 1 1( , , )( )
10
m n Tr
Tr
T
n
nn
A R A U V
A V U
x A b
x Vdiag U b
设矩阵 有奇异值分解
列满秩最小二乘问题的唯一解是
0计算中最小奇异值 接近 时，可将 置为 。
29 数值分析
数值分析
4 、迭代法
1 ( )1 2
2
1 ( )1 2
2
1 ( )1 2
2
, ,
, 0
, ,
,
,
,
m n m n m
T T T
n n m n n
n m n
n m n
A R b R x R r R
A Ax A b r Ax b A r
A r b
AA A R A R
A
rr r R r R
r
bb b R b R
b
求 ，使得求解
将 分块表示
其中 ，非奇异，
其中 ，
其中 ，
30 数值分析
数值分析
nnm
nmnmnm
TTnm
n
TTnm
n
mn
RxRrrx
y
Rb
b
bR
AA
IA
IA
A
b
b
r
r
x
AA
IA
IA
byA
rAbAxr
RrRxT
,
,
0
,
0
0
0
,
00
0
0
,
0,
,,
1
2
2
1)()(
12
2
1
2
1
1
2
12
2
1
解向量
即
使得求
31 数值分析
数值分析
2
2
1 1
0 0 0 0 0
0 0 , 0 0 0
0 0 0 0 0
( , , )
n
T
Tm n
A A D L U
I
L A U
A
D diag A I A
对 作自然分解
( 1) ( )
11
12
1 2
11 1
12
( 0,1,2, )
0 0
0 0
0 0
0
k kJ
JT T
y B y G k
A
B I D A A
A A
Jac
A b
G D b b
obi
迭代格式为
32 数值分析
数值分析
( 1) ( )1 1 1
( 1) ( )2 2 2
( 1) ( )1 1 2 2
0,1,2, ...
k k
k k
T k T k
A x r b
r A x b k
A r A r
块Jacobi迭代
33 数值分析
数值分析
第五节 非线性最小二乘曲线拟合 与非线性最小二乘问题
最小二乘曲线拟合问题的一般提法0 1
0 1
0 1
2
0
1 , , , ,( ) ( ), ( ), , ( ),
, , ..., ( , )( )
( ),
( ( ) ( )) min (1)
i m
i m
m
m
i i ii
m x x x xf x f x f x f x
s x cs x
f x
f x s x
给定 个数据点
及权系数 ,并已知函数模型 。用给定的数据点，按给定的函数模型，构造拟合函数逼近未知函数 使
此问题称为最小二乘曲线拟合，又称为离散数据的最佳平方逼近。
34 数值分析
数值分析
0 1 1( , ) ( , , , , )
( ; )
Tn ns x c c c c c c
y f x c
是关于系数 的非线性函数,
记
非线性最小二乘曲 拟
为
线 合：
。2
2
0 1
20 1 2
0
20 1
0
( ; ) ,
( , , ) ( ( ; ))
( ( ))i
c x
m
i i ii
mc x
i i ii
f x c c x c e
g c c c y f x c
y c x c e
如：
记
0 1 2 0 1 2, , ( , , ) minc c c g c c c
非线性最小二乘曲线拟合问题求 使 无约束优化问题非线性最小二乘问题
35 数值分析
数值分析
0 0
1 1
( , )
( , )
( , )m m
f x c y
f x c y
f x c y
非线性最小二乘问题，即
求矛盾方程组 的最小二乘解
2
2 0
2 1
2
0 1
0 0 1 0
0 1 1 1
0 1
( ; ) ,
m
c x
c x
c x
c xm m
f x c c x c e
c x c e y
c x c e y
c x c e y
如：
矛盾方程组为
36 数值分析
数值分析
常用解法：
（ 1 ）采用局部线性化思想，将非线性最小二乘曲线
拟合问题转化为线性最小二乘曲线拟合问题。
P219----P221
（ 2 ）无约束优化方法，较好的方法有高斯—牛顿法。
P276
37 数值分析
数值分析
MATLAB 调用格式：
1. 多项式拟合
(1) pn=polyfit(x,y,n), y0=polyval(pn,x0), polt(x,y,x0,y0)
(2) pn=polytool(x,y,n)2. 多元线性拟合
（ 1 ）利用回归矩阵建立拟合函数， c=A\y
(2) c=regress(y,A)
线性最小二乘曲线拟合：
=A\bx线性最小二乘问题：
38 数值分析
数值分析MATLAB 调用格式：
1. c=nlinfit(x,y,’cfun’,c0)2
1 3( ; ) sin( ),c xf x c c e c x 如：非线性拟合函数function y=cfun(c,x)
y=c(1)+exp(c(2)*x)+sin(c(3)*x);
x=(0:0.1:1.0)';
y=[1.0 2.5 3.0 2.0 1.5 0.9 0.0 -1.0 -2.0 -1.5 -0.8]';
c0=[1 1 1];
c=nlinfit(x,y,'cfun',c0)
2. nlintool(x,y,’cfun’,c0)
非线性最小二乘曲线拟合：
[x,rs,rd]=lsqnonlin(,’fun’,x0,lx,ux)
非线性最小二乘问题：
39 数值分析
数值分析
习 题
P165-----7 ， 11 ， 13P154-----7 ， 11 ，13