各种最小二乘算法总结

1、各种最小二乘算法总结1. 一般最小二乘法例1 考虑如下仿真对象z k 2 1.5 z k 1 0.7 z k u k1 0.5u k v k其中，v k为服从N 01分布的白噪声。输入信号u k采用M 序列，幅度为1。M序列由9 级移位寄存器产生，xi xi 4 xi 9 。选择如下的辨识模型 z k 2 a1 z k 1 a2 z k b1u k 1 b2u k vk 观测数据长度取 L 400 。加权阵取 I 。1.1. 一次计算最小二乘算法 a1 -1.4916 LS a 2 H T H 1 H T Z 0.7005 1.1 L L L L 1.0364 b10.4268 b2 Z 3

2、hT 3 Z 2 Z 1 u 2 u 1 T其中， Z L Z 4 ， H h 4 Z 3 Z 2 u3 u 2 . L . . . . . Z 402 hT 402 Z 401 Z 400 u 401 u 400Matlab程序见附录 1。1.2.递推最小二乘算法递推最小二乘算法公式： k k1 K k z k h k Kk 1k 1P 1k 1hk h k P k 1hk 1.2 k Pk I K k h k Pk 13 盛晓婷 最小二乘算法总结报告 a1 3 初始条件 0 a 2 3 P0 100I 。 3 4 4 b1 3 b2 经过编程计算， 各个参数的估计值为a1 -1.4976

3、a20.6802 LS 1.0284 1.3 b1 0.3341 b2Matlab程序见附录2。 待估参数过渡过程3 2.5 2 1.5 b1 1 a2 0.5 0 b2 -0.5 -1 a1 -1.5 -2 0 50 100 150200 250 300 350 400 450 图 1 一般最小二乘参数过渡过程4 盛晓婷 最小二乘算法总结报告估计方差变化过程图2 一般最小二乘方差变化过程5 盛晓婷最小二乘算法总结报告2.遗忘因子最小二乘算法采用的辨识模型与例1 相同。 2.1.一次计算法 a1 -1.4990 LS a 2 H T H 1 H T Z 0.7060 2.1 L L L L .

4、8260 b10.4919 b2 L 1 Z 3其L2中， Z L Z 4， . Z 402 L 1 hT 3 L 1 Z2 L 1 Z 1 L 1 u 2 L 1 u 1 L2 T L2 h 4 Z 3 L 2 Z 2L 2 u 2HL . . . . . hT 402 Z 401 Z 400 u 401 u 400衰减因子0.98 ，数据长度L 402 。Matlab 程序见附录3。2.2. 递推算法遗忘因子递推最小二乘算法公式： k k 1 K k z k h k k 1K k Pk 1hk h kPk 1hk 1 2.2 1P k I K k h k Pk 1 6 盛晓婷 最小二乘算法

5、总结报告a10.001 其中， 为1遗忘因子， 0 此处取 0.98。数据长度L402，初始条件 0 a 2 0.001 0.001 b1 0.001 b2 P 0 10 I 4 。经过编程4计算，各个参数的估计值为 a1 -1.4852 LS a 2 0.67202.3 1.0734 b10.4387 b2Matlab 程序见附录 4。 待估参数过渡过程 21.5 b1 1 a2 0.50 b2 -0.5 -1 a1 -1.5 -2 0 50 100 150 200 250 300 350 400 450图 3 遗忘因子法参数过渡过程 7 盛晓婷 最小二乘算法总结报告估计方差变化过程 109

6、876543210 0 50 100 150 200 250 300 350 400 450图 4遗忘因子法方差变化过程 8盛晓婷 最小二乘算法总结报告3. 限定记忆最小二乘递推算法辨识模型与例1 相同。限定记忆最小二乘算法： k 1 k L k k L K k 1 k L z k L 1 h k L 1 k k LK k 1 k L Pk kLhk L 11 h k L 1 Pk k Lhk L 11Pk 1 k L I K k 1 k Lh k L 1Pk k L k k L 1 K k k L z k L h k L k k L 1 3.1K 1hkkLL1P hk k L Pk k L

7、 1hk L1Pk k L I K k k Lh k LP k k L 1 a1 3 初始条件 0 a 2 3 P0100 I 。3 4 4 b1 3 b2 经过编程计算，各个参数的估计值为a1 -1.4858 LS a 2 0.6788 3.2 0.9431 b1 0.6777 b2Matlab程序见附录 5。 9盛晓婷 最小二乘算法总结报告待估参数过渡过程 2 1.5 b1 1 a2 0.5 0b2-0.5 -1 a1-1.5 -2 0 50 100 150 200 250 300 350 400图 5 限定记忆法参数过渡过程估计方差变化过程图 6 限定记忆法方差变化过程10 盛晓婷 最小二乘算法总结报告4. 偏差补偿最小二乘法辨识模型与例1 相同。偏差补偿最小二乘递推算法如下：LS k LS k 1 K k z k h kLS k 1K k Pk 1hk1Phk kI PkKk1hk P k 1 z k h k LS k 12J k J k 1 4.1 1 h k P k 1hk 2 J kw k kD LS k I na 0D 0 0n b 2 c k