系统辩识-09 最小二乘参数估计

1、2021年1月23日星期六12时53分1秒,第九讲,1,第 四 章 系统辨识与参数估计, 非参数模型辨识 最小二乘参数估计 递推最小二乘数估计 其它最小二乘类估计的思想 极大似然估计 闭环辨识,2021年1月23日星期六12时53分1秒,第九讲,2, 最小二乘参数估计, 最小二乘估计 设时不变SISO动态过程的数学模型为,其中，（）和（）为过程的输入输出量，（）为噪声,2021年1月23日星期六12时53分1秒,第九讲,3,设结构参数a，b和已知，辨识的任务是如何利用过程的输入输出数据，确定多项式（-1）和（-1 ）的系数,2021年1月23日星期六12时53分1秒,第九讲,4,过程,模型,u

2、(k),2021年1月23日星期六12时53分1秒,第九讲,5,利用以下记号,(4.2.8),2021年1月23日星期六12时53分1秒,第九讲,6,2021年1月23日星期六12时53分1秒,第九讲,7,2021年1月23日星期六12时53分1秒,第九讲,8,注： 定理对过程噪声（）未加任何限定，（）仅影响最小二乘估计的统计特性。 注： ab是保证 T非奇异的必要条件。更重要的是为了降低噪声影响，提高估计精度。 注： T非奇异的条件仅仅是为了方便计算,2021年1月23日星期六12时53分1秒,第九讲,9,例题：,设线性过程的输出y(k)是输入序列u(k)与其脉冲响应序列 h(i) i=1,

3、N的卷积 w(k)为另均高斯白噪声。,2021年1月23日星期六12时53分1秒,第九讲,10,当k=1, ,L LN时, W=w(1), w(2), , w(L)T 取 Y=y(1), y(2), , y(L)T H=h(0), h(2), , y(N)T 有,2021年1月23日星期六12时53分1秒,第九讲,11,2021年1月23日星期六12时53分1秒,第九讲,12,.2.2 最小二乘估计的统计性质,无偏性,2021年1月23日星期六12时53分1秒,第九讲,13,2021年1月23日星期六12时53分1秒,第九讲,14,参数估计的方差计算,2021年1月23日星期六12时53分1秒

4、,第九讲,15,性质（12）推论:,若 N (0, I )服从正态分布 则最小二乘估计也服从正态分布 N (0, ),2021年1月23日星期六12时53分1秒,第九讲,16,证明：,2021年1月23日星期六12时53分1秒,第九讲,17,即 为最小方差估计,2021年1月23日星期六12时53分1秒,第九讲,18,性质（1）（3）推论:,为无偏-最小方差估计,2021年1月23日星期六12时53分1秒,第九讲,19,性质,证明：,2021年1月23日星期六12时53分1秒,第九讲,20,性质,证明：,2021年1月23日星期六12时53分1秒,第九讲,21,2.最小二乘估计的一致性条件,2

5、021年1月23日星期六12时53分1秒,第九讲,22,证明： 由 及,得,2021年1月23日星期六12时53分1秒,第九讲,23,2021年1月23日星期六12时53分1秒,第九讲,24,2021年1月23日星期六12时53分1秒,第九讲,25,那么,最小二乘估计是一致性估计。,2021年1月23日星期六12时53分1秒,第九讲,26,注1: 定理4.4条件称为(n b+1)阶持续激励条件,它能充分激励受辨过程的振型,从而使观测数据载有过程的主要信息。 容易验证：正弦信号、白噪声和伪随机二元序列都是持续激励信号。 注2: 条件(2) “u(k)与e(k)独立”使定理4.4不适用于闭环辨识。 注3: 当e(k)为有色噪声时,最小二乘估计可能是非一致估计和有偏估计。,2021年1月23日星期六12时53分1秒,第九讲,27, 加权最小二乘估计,对各次数据施加不同的权 加权LS估计的统