《基础准备及入门》PPT课件.ppt

王国利,信息科学与技术学院自动化系,中山大学,,系统辨识 (System Identification) 第十讲: 最小二乘法,最小二乘法,最小二乘估计 - 辨识对象: 单输入单输出(SISO)系统 A(z-1)y(k)=B(z-1)u(k)+e(k) z-1是延迟算子 A(z-1)=1+a1z-1+a2z-2+anz-n B(z-1)=b0+b1z-1+b2z-2+bnz-n - 辨识问题: 给定I/O数据 u(k), y(k), k=0,1,2,n+N 归结为估计 a1,a2,an,b0,b1,b2,bn,最小二乘法(续),- 记号与问题描述 y(n+k)= (n+k)T+e(n+1), k=1,2,N 其中 =a1 a2 an b0 b1 b2 bnT (n+k)=-y(n+k-1) -y(n+k) y(k) u(n+k) u(n+k-1) u(k)T N序列回归矩阵 N=(n+1) (n+2) (n+N)T N序列系统模型 YN=N+eN,回归向量,参数向量,最小二乘法(续),N序列回归模型(续) YN=y(n+1) y(n+2) y(n+N)T eN =e(n+1) e(n+2) e(n+N)T 给定估计的参数, N序列回归预测误差向量 e= YN-N 二次预测残差（注意是标量） J()=eT e=(YN-N)T(YN-N) =ke(n+k)2 最小二乘估计 ls=argminJ(),最小二乘法(续),- 最小二乘估计 多元函数微分： f(x1,x2,xn): RnR f 关于 x 的微分为 df/dx=f/x1 f/x2 f/xnT d2f/dx2 =2f/xixj 特别地 f(x)=bTx=xTb df/dx=b f(x)=xTAx df/dx=(A+AT)x d2f/dx2=(A+AT),最小二乘法(续),J()关于参数向量的一阶和二阶微分 J()=(YN-N)T(YN-N) =YN TYN-YN TN-N TYN +N TN =YN TYN-2YN TN-TNTN 容易验证 dJ/d=-2N TYN -2NTN d2J/d2= -2NTN 若d2J/d20, 则ls是最小二乘估计当且仅当 dJ/d(ls) = NTNls = N TYN ls =NTN-1N TYN,最小二乘法(续),加权最小二乘估计 二次预测残差 J()=k w(k)e(n+k)2 =(YN-N)TkW(YN-N) 同理容易验证 dJ/d=-2N TWYN -2NTWN d2J/d2= -2NTWN wls满足加权正则方程 dJ/d(wls) =NTWNwls =N TWYN wls =NTWN-1N TWYN,W=diagw(n+1), w(n+2),w(n+k),最小二乘法(续),最小二乘的统计性质 最小二乘估计的随机性来源于系统噪声e(k) 统计特性假设 1) e(k) 是独立同分布(i.i.d.)的随机噪声 且Ee(k)=0 2）e(k)和y(k),u(k)独立/不相关 3）N序列噪声协方差矩阵 R=cov(eN)=EeNTeN =Ee(n+i)e(n+j) =diagEe(n+i)e(n+i)=e2 INxN （白噪声情形）,最小二乘法(续),- 无偏性：估计的期望值与真值相同 定理：在上述假设下，加权最小二乘产生无偏估计 证明: 回顾加权最小二乘 wls=NTWN-1N TWYN =NTWN-1N TW(N+eN) 容易看出 Ewls=NTWN-1N TW N +NTWN-1N TWEeN = 得证。,最小二乘法(续),- 有效性：估计的方差为最小 定理：当W=R-1, 加权最小二乘估计为最小方差估计 证明：当W=R-1, 加权最小二乘为 wls =NTR-1N-1N TR-1(N+eN) =+NTR-1N-1N TR-1eN =:mv 容易验证 cov(mv)=cov(mv-mv-T ) =NTR-1N-1N TR-1 cov(eN) N NTR-1N-1 =NTR-1N-1 下面证明 cov(wls)=cov(mv),最小二乘法(续),下面证明 cov(wls)=cov(mv) 引入记号： Lwls=NTWN-1N TW Lmv =NTR-1N-1N TR-1 则协方差可以表示成 cov(wls)=LwlsRLwlsT cov(mv)=LmvRLmvT 注意到 LwlsRLmvT=NTWN-1N TWR R-1 N NTR-1N-1 = NTR-1N-1 =cov(mv),最小二乘法(续),考察 cov(wls)-cov(mv) =cov(wls)-cov(mv)-cov(mv)+cov(mv) = LwlsRLwlsT-LwlsRLmvT-LmvRLwlsT +LmvRLmvT =(Lwls-Lmv)R(Lwls-Lmv)T =0 换言之 cov(wls)=cov(mv) 得证。,最小二乘法(续),- 一致性：估计以概率1收敛于真值 定理：当e(k)为白噪声时，最小二乘估计是一致的 limNP(|ls-|)=1 证明： e(k)为白噪声时，回顾 R=cov(eN)=EeNTeN=e2 INxN 考察 limNcov(ls)= limN e2 NTN-1 = limN e2/NNTN/N-1 注意到 NTN/N=k(n+k)(n+k)T/N N E(n+k)(n+k)T,最小二乘法(续),亦即 limNcov(ls)= limN e2/NNTN/N-1 =0 注意到 Els=，故 limNls= , w.p.l 得证。,最小二乘法(续),- 渐进正态特性：估计服从正态分布 假定： eN N(0,e2INxN) 定理：当e(k)为正态白噪声时，最小