建模与估计11-12(第一次课)创新

1、建模与估计第 一次课 2015.04.01教学目标讲述模型建立与参数辨识的一般方法。讲述Kalman滤波估计理论基础。介绍多传感器信息融合估计理论的最新进展为后续估计理论学习打下基础。 第一章第一章 绪论绪论研究对象？研究对象？研究内容？研究内容？参数辨识的一般方法？参数辨识的一般方法？例：某地降水量 Z(t) t=1,2,.52,.研究对象研究对象：离散情形下的时间序列(Time Series).时间序列：时间序列：依时间顺序排列的观测值序列。研究内容：研究内容：建模、估计建模：建模： 1、自回归滑动平均模型(Autoregressive moving average, ARMA) 2、状态

2、空间模型(state-space model) 3、传递函数模型(transfer function)1、统计模型：数据分析(黑箱)2、机理模型：公式、定律(白箱)3、半经验半机理模型：(灰箱) 模型分类：模型分类：PID :U(k)=kpe(k)-e(k-1)+ki e(k)+kd e(k)-2e(k-1)+e(k-2)1、最小二乘法(Least squares method,LSM)，1795年，Gauss在确定天体运行椭圆轨道时提出。建模方法：建模方法： 这种估计的特点是算法简单，不必知道与被估计量及观测量有关的任何统计信息。它的基本原理是：实际值与观测值误差平方和最小，由此得名“最小二

3、乘法”。例例1：对于一个未知长度为的物体进行N次测量,设每次观测物体长度为li, i=1,2,., N,求真实物体长度的估值，设每次测量误差为 。i解：,1,2,.,iiliN2211()NNiiiiJl12()NiidJld 11NiilN的最小二乘估值为 可以看到：最小二乘法虽然不能满足每一个方程，使每个方程都有偏差，但它使所有偏差平方和最小但它使所有偏差平方和最小，兼顾了所有方程的近似程度。 2、 1941年，Wiener-Kolmogrov基于传递函数提出Wiener滤波。但其缺点要求存储全部历史数据，算法非递推，且只能处理平稳随机序列。18941964滤波：3、1960年R.E Ka

4、lman提出滤波理论，基于状态空间模型，该方法适合计算机计算，算法递推。例例2：接上例，求的递推估值11()NiiNlN111(1)1NiiNlN111()1NiNiNllNN11()11NNNlNN1(1) ()1NN111NlN()N11()1NlNN基于N个观测值对的估值为 定义：新息1(1)()NNlN校正系数或滤波增益K(N+1)=1/(N+1) (1)()(1) (1)NNK NN 新息新息从第N+1次测量中去掉了前N次测量的新息剩下 的新的信息。则的递推估值为：练习1：考虑雷达跟踪直线水平匀速飞行目标，要求估计飞机目标的速度v,测得目标初始为所标原点，每分钟观测一次，共计观测5次

5、，位置观测如下求：v的最小二乘估计解：雷达对目标位置的观测带有随机误差y(t)=vt+e(t)552211( )( ( )ttJe ty tvt置 0Jv有 512 ( )0ty tvt t 55211( )tty t tvt51521( )tty t tvt代入观测值 v 10.007272公里第一章第一章 ARMA模型与状态模型与状态空间模型空间模型随机过程随机过程平稳随机序列、白噪声、相关函数平稳随机序列、白噪声、相关函数自回归滑动平均模型自回归滑动平均模型 AR(n),MA(q),ARMA(p,q),平稳可逆平稳可逆状态空间模型状态空间模型 非递推表达式、并联、串联、解耦、与非递推表达

6、式、并联、串联、解耦、与ARMA的转换的转换第一节 随机过程(Stochastic Process)例1：电网电压定义定义：随机过程随时间演化的随机变量族。当T=,-2,-1,0,1, 2,为离散时间集合时，也称随机过程Z(t)为随机序列。定义定义：实现随机过程每次的观测结果是T上的普通函数，称为 随机过程的一个实现(realization), z(t)。定义：定义：随机过程Z(t),tT,可看成所有实现的实现族。举例：随机过程定义：定义：随机过程的数学期望(均值)Expectation: 是随机变量数学期望的推广，它由随机过程每时刻的均值构成来定义，它从总体上刻画随机过程取值的平均。m(t)

7、=EZ(t), tT定义定义：随机过程的方差Variance刻画了随机过程Z(t)偏离均值m(t)的误差的平方的平均状况。22( )( ( )E( ( )( ) tD Z tZ tm ttTD为方差符号， (t)叫标准方差函数。定义定义：随机过程的相关函数Correlated function 反应在任意两个不同时刻随机变量之间的联系，进而说明随机过程波动的快慢。 R(t1,t2)=E(Z(t1)-m(t1)(Z(t2)-m(t2)t1=t2=t, R(t,t)=2(t)当例2.随机相位余弦波Z(t)=cos(w0t+ )，其中为在0,2上服从 均匀分布的随机变量，w0为常数，求随机过程Z(t

8、)的均值m(t)， 相关函数R(t1,t2)及方差2(t)。解：的概率密度 1,02( )20,f其他数学期望 m(t)=EZ(t)=20001E()cos()02cos w tw td相关函数20 10 201cos()cos()2w tw tdR(t1,t2)=E(Z(t1)-m(t1)(Z(t2)-m(t2)0 10 2E()()cos w tcos w t2012012011cos()2 )cos()22w ttw ttd2012001211cos() |cos()42w ttw tt21( )( , )2tR t t第二节第二节 平稳随机过程平稳随机过程(stationary sto

9、chastic process) (1)m(t)=C 均值为常数(2)2(t)=C 均值为常数(3) 相关函数仅与时间间隔有关，( )( ,)RR t t, t定义：定义：平稳随机过程例1：设随机过程z(t)=Acosw0t+Bsinw0t,t(-,),其中A与B独立，且EA=EB=0,有EA2=EB2=2,问z(t)是否为平稳随机过程。解解：Ez(t)=E Acosw0t+EBsinw0t=0 相关函数r()=E(Acosw0t+Bsinw0t)( Acosw0(t+)+Bsinw0(t+) =EA2cosw0t cosw0(t+)+ EB2sinw0t sinw0(t+) =2 cosw0

10、t cosw0(t+)+ sinw0t sinw0(t+) = 2cos w0只与 有关，是平稳随机过程。例2：请列举平稳和非平稳随机过程的实际应用。地震波： 若平稳随机过程每个样本函数都经历它的各种状态，能充分代表过程的统计特性，则称它为各态历经平稳随机过程。定义：定义：平稳随机过程的遍历性(各态历经性 Ergodicity)z(t)是一个平稳随机过程Z(t)，t0,)的一个样本，若01lim( )E ( )TTz t dtZ tmT依概率1成立，则称Z(t)均值具有遍历性或各态历经性。若01lim( ) ()E ( ) ()TTz t z tdtZ t Z tT 依概率1成立，则称Z(t)

11、相关函数具有遍历性或各态历经性。若Z(t)的均值和相关函数都具有遍历性,则称Z(t)是各态历经平稳随机过程。定义：定义：若平稳随机序列Z(t), t1,2,3,若z(t)是它的一个样本序列，且11lim( )E ( )ttiz iZ tmt11lim( ) ()E ( ) ()ttiz i z iZ t Z tt以概率1成立，则称它具有遍历性。 在较弱的条件下，可证明大量的现实平稳随机过程均具有各态历经性，如某地降雨、心电图、脑电图、机械振动、海浪、量测误差、电网电压等。例3.随机相位余弦波z(t)=cos(w0t+)，tT (0,)其中为在 0,2上服从均匀分布的随机变量，是否具有各态历经性

12、。解：均值的遍历性：不妨设=0，00,2则 01lim( )TTz t dtT0001limcos()TTw tdtT00001limsin()|TTw tTw=0=EZ(t) 相关函数的遍历性01lim( ) ()TTz t z tdtT000001limcos()cos()TTw tw tdtT00001 1limcos()2)cos()2TTw ttwdtT 00011limcos|cos22TTwtwTE ( ) ()z t z t所以该随机过程具有各态历经性。 今后我们主要研究离散时间随机过程，即随机序列，记为zt , tT=,-1,0,1,，应注意在不引起混淆的情况下，今后不再用大

13、写字母Zt ，表示随机序列Zt, tT，而同一用小写字母zt 表示随机序列及其实现。这里zt , tT即可以表示随机序列，也可以表示它的实现(z1,z2,zN)，即可看成随机向量，也可看成zt, tT的容量为N的样本。平稳随机过程zt ，tTrk=E(zt-m)(zt +k-m)，m=Ezt 相关函数:性质性质：(1)r00 非负 (2)对称性 rk= r-k证明：rk=E(zt-m)(zt +k-m)= E(zt +k-m)(zt-m)(3) |rk|r0证明：E|(zt-m)(zt+k-m)| 220E Ettkzmzmr许瓦尔兹不等式E|XY| 22E() E( )XY标准相关函数定义：

14、k=rk / r0, 0|k|1, 0=1111221101nnn-1n-(4) 对任意自然数n和不全为零的实数l1,l2,ln有证明：定义定义：对于平稳随机序列zt ,长度为N的一个样本，(z1,z2,zN)采样均值 11NttzzN采样方差 2211()NttzzN采样相关函数 11()()N kktt ktrzzzzNk=0,1,2 采样标准相关函数 0kkrr 假如zt 具有遍历性，则由随机过程理论当N以概率1成立(a.s. = allmost surely)zm22kkrrkk,L(t)=l1zt+l2zt -1+lnzt n+1EL2(t)=,1ni j iji jl l r0 定义定义：白噪声白噪声(white noise,最简单的平稳随机序列) at, tT=,-1,0,1,是零均值，方差为2的不相关随机序列，即Eat=0, Eat at +k= 2E0,0,0tt ka akk标准相关函数 1,0( )0,0kkk例4：设at 为白噪声序列Eat =0, Eatat+k=2ts,其中 tt=1, ts=0(ts)(1)z