王国利王国利

信息科学与技术学院自动化系信息科学与技术学院自动化系中山大学中山大学

http://human-robot.sysu.edu.cnhttp://human-robot.sysu.edu.cn

系统辨识 系统辨识 (System Identification)(System Identification)

第十讲第十讲 : : 最小二乘法最小二乘法

系统辨识

最小二乘法 最小二乘估计最小二乘估计 - - 辨识对象辨识对象 : : 单输入单输出单输入单输出 (SISO)(SISO) 系统系统

A(z-1)y(k)=B(z-1)u(k)+e(k)

z-1 是延迟算子

A(z-1)=1+a1z-1+a2z-2+…+anz-n

B(z-1)=b0+b1z-1+b2z-2+…+bnz-n

- 辨识问题 :

给定 I/O 数据 {u(k), y(k), k=0,1,2,…,n+N}

归结为估计 {a1,a2,…,an,b0,b1,b2,…,bn}

系统辨识

最小二乘法 ( 续 ) - - 记号与问题描述记号与问题描述 y(n+k)= y(n+k)= φ(n+k)Tθ+e(n+1), k=1,2,…,N

其中 θ=[a1 a2 … an b0 b1 b2 … bn]T

φ(n+k)=[-y(n+k-1) -y(n+k) … y(k) u(n+k) u(n+k-1) … u(k)]T N 序列回归矩阵 ΦN=[φ(n+1) φ(n+2) … φ(n+N)]T

N 序列系统模型

Y N=ΦNθ+eN

回归向量回归向量

参数向量参数向量

系统辨识

最小二乘法 ( 续 ) NN 序列回归模型序列回归模型 (( 续续 )) YN=[y(n+1) y(n+2) … y(n+N)]T eN =[e(n+1) e(n+2) … e(n+N)]T

给定估计的参数给定估计的参数 θ^, NN 序列序列回归预测误差向量回归预测误差向量 e^= YN-ΦNθ^

二次预测残差（注意是标量）二次预测残差（注意是标量）

J(θ^)=[e^]T e^=(YN-ΦNθ^)T(YN-ΦNθ^) =Σk[e^(n+k)]2

最小二乘估计 　　 θ ls=argminθ^J(θ^)

系统辨识

最小二乘法 ( 续 ) - 最小二乘估计 多元函数微分： f(x1,x2,…,xn): RnR

f 关于 x 的微分为

　　　 df/dx=[∂f/∂x1 ∂f/∂x2 … ∂f/∂xn]T

d2f/dx2 =[∂2f/∂xi∂xj]

特别地

f(x)=bTx=xTb df/dx=b f(x)=xTAx df/dx=(A+AT)x d2f/dx2=(A+AT)

系统辨识

最小二乘法 ( 续 ) J(θ^) 关于参数向量 θ^ 的一阶和二阶微分

　 J(θ^)=(YN-ΦNθ^)T(YN-ΦNθ^)　　　　　　　　 =[YN ]

TYN-[YN ] TΦNθ^-[ΦNθ^]

TYN

+[ΦNθ^] TΦNθ^

=[YN ]TYN-2[YN ]TΦNθ^-[θ^]T[ΦNTΦN]θ^

容易验证

dJ/dθ^=-2[ΦN ]TYN -2[ΦNTΦN]θ^

d2J/dθ^2= -2[ΦNTΦN]

若 d2J/dθ^2<0, 则 θ ls 是最小二乘估计当且仅当 　　　 dJ/dθ^(θ ls) = ０ [ΦN

TΦN]θ ls = [ΦN ]TYN

θ ls =[ΦNTΦN]-1[ΦN ]TYN

系统辨识

最小二乘法 ( 续 ) －加权最小二乘估计－加权最小二乘估计

二次预测残差二次预测残差

J(θ^)=Σk w(k)[e^(n+k)]2 =(YN-ΦNθ^)T

kW(YN-ΦNθ^) 同理容易验证

dJ/dθ^=-2[ΦN ]TWYN -2[ΦNTWΦN]θ^

d2J/dθ^2= -2[ΦNTWΦN]

θwls 满足加权正则方程

　　　 dJ/dθ^(θwls) = ０ [ΦNTWΦN]θwls

=[ΦN ]TWYN

θwls =[ΦNTWΦN]-1[ΦN ]TWYN

W=diag[w(n+1),w(n+2),…,w(n+

k)]

系统辨识

最小二乘法 ( 续 ) 最小二乘的统计性质最小二乘的统计性质 最小二乘估计的随机性来源于系统噪声 e(k) 统计特性假设 1) {e(k)} e(k)} 是独立同分布是独立同分布 (i.i.d.)(i.i.d.)的随机噪声的随机噪声

且 E[e(k)]=0

2 ） {e(k)} 和 {y(k),u(k)} 独立 / 不相关

3 ） N 序列噪声协方差矩阵 R=cov(eN)=E[eN

TeN] =[E[e(n+i)e(n+j)]] =diag{E[e(n+i)e(n+i)]}=σ e

2 INxN

（白噪声情形）

系统辨识

最小二乘法 ( 续 ) - - 无偏性：估计的期望值与真值相同 无偏性：估计的期望值与真值相同

定理：在上述假设下，加权最小二乘产生无偏估计

证明证明 : : 回顾加权最小二乘回顾加权最小二乘 θwls=[ΦN

TWΦN]-1[ΦN ]TWYN

=[ΦNTWΦN]-1[ΦN ]TW(ΦNθ+eN)

容易看出容易看出 E[θwls]=[ΦN

TWΦN]-1[ΦN ]TW ΦNθ +[ΦN

TWΦN]-1[ΦN ]TWE[eN] =θ 得证。

系统辨识

最小二乘法 ( 续 ) - - 有效性：估计的方差为最小有效性：估计的方差为最小

定理：当 W=R-1, 加权最小二乘估计为最小方差估计

证明：证明：当 W=R-1, 加权最小二乘为 θwls =[ΦN

TR-1ΦN]-1[ΦN ]TR-1(ΦNθ+eN) =θ+[ΦN

TR-1ΦN]-1[ΦN ]TR-1eN =:θmv

容易验证容易验证 cov(θmv)=cov([θmv-θ][θmv-θ]T ) =[ΦN

TR-1ΦN]-1[ΦN ]TR-1 cov(eN) ΦN [ΦN

TR-1ΦN]-1

=[ΦNTR-1ΦN]-1

下面证明 cov(θwls)>=cov(θmv)

系统辨识

最小二乘法 ( 续 ) 下面证明 cov(θwls)>=cov(θmv)

引入记号： Lwls=[ΦN

TWΦN]-1[ΦN ]TW Lmv =[ΦN

TR-1ΦN]-1[ΦN ]TR-1

则协方差可以表示成 cov(θwls)=LwlsR[Lwls]T

cov(θmv)=LmvR[Lmv]T

注意到 LwlsR[Lmv]T=[ΦN

TWΦN]-1[ΦN ]TWR R-1 ΦN [ΦN

TR-1ΦN]-1

= [ΦNTR-1ΦN]-1

=cov(θmv)

系统辨识

最小二乘法 ( 续 )

考察 cov(θwls)-cov(θmv)

=cov(θwls)-cov(θmv)-cov(θmv)+cov(θmv)

= LwlsR[Lwls]T-LwlsR[Lmv]T-LmvR[Lwls]T

++LmvR[Lmv]T

=(Lwls-Lmv)R(Lwls-Lmv)T

>=0 换言之 cov(θwls)>=cov(θmv)

得证。

系统辨识

最小二乘法 ( 续 )

-- 一致性：估计以概率一致性：估计以概率 11 收敛于真值收敛于真值 定理：当 {e(k)} 为白噪声时，最小二乘估计是一致的

limlimNN∞∞P(|P(|θ ls-θ|<ε)=1 证明： 证明： {e(k)} 为白噪声时，回顾回顾 R=cov(eN)=E[eN

TeN]=σ e2 INxN

考察 limlimNN∞∞cov(θ ls)= limlimNN∞ ∞ σ e

2 [ΦNTΦN]-1

= limlimNN∞ ∞ σ e2/N[ΦN

TΦN/N]-1

注意到注意到 ΦN

TΦN/N=∑kφ(n+k)φ(n+k)T/N NN∞∞ E[φ(n+k)φ(n+k)T]

系统辨识

最小二乘法 ( 续 )

亦即亦即 limlimNN∞∞cov(θ ls)= limlimNN∞ ∞ σ e

2/N[ΦNTΦN/N]-1

=0 注意到注意到 E[θ ls]=θ ，故

limlimNN∞∞θ ls= θ, w.p.l 得证。

系统辨识

最小二乘法 ( 续 ) -- 渐进正态特性：估计服从正态分布渐进正态特性：估计服从正态分布

假定： 假定： eN ~ N(0,~ N(0,σ e2INxN)

定理：当 {e(k)} 为正态白噪声时，最小二乘估计 服从正态分布，即 θ ls ~ N(~ N(θ, σ e

2E[ΦNTΦN])

证明： 回顾 证明： 回顾 Y N=ΦNθ+eN, 知道

Y N~ N(E[~ N(E[ΦNθ], σ e2INxN)

又 θ ls=[ΦNTΦN]-1[ΦN ]TYN ，是 YN 的线性函数，故的线性函数，故

θ ls ~ N(E[~ N(E[θ ls], cov(θ ls)) ~ N(~ N(θ, σ e

2E[ΦNTΦN]). 得证。