梯度校正参数辩识方法

1、梯度校正参数辩识方法1 . 梯度校正参数辩识方法2 6.1 引言 6.2 确定性问题的梯度校正参数辨识方法确定性问题的梯度校正参数辨识方法 6.3 随机性问题的梯度校正参数辨识方法随机性问题的梯度校正参数辨识方法 6.4 6.4 状态方程的参数辨识状态方程的参数辨识 6.5 6.5 差分方程的参数辨识差分方程的参数辨识 6.6 6.6 随机逼近法随机逼近法 梯度校正参数辩识方法3 6.1 引言引言 最小二乘类参数辩识递推算法最小二乘类参数辩识递推算法 n新的参数估计值新的参数估计值=老的参数估计值老的参数估计值+增益矩阵增益矩阵 新息新息 梯度校正参数辨识的递归算法的结构如同上式，但其基本梯度

2、校正参数辨识的递归算法的结构如同上式，但其基本 思想与最小二乘类算法不同，它是通过沿着如下准则函数思想与最小二乘类算法不同，它是通过沿着如下准则函数 的负梯度方向，逐步修正模型参数估计值，直至准则函数的负梯度方向，逐步修正模型参数估计值，直至准则函数 达到最小：达到最小： 其中其中 代表模型输出与系统输出的偏代表模型输出与系统输出的偏 差。差。 min),( 2 1 )( )( )( 2 kk kJ h h)()()(kkyk T 梯度校正参数辩识方法4 本章主要讨论的问题：本章主要讨论的问题： n确定性问题的梯度校正参数辨识方法；确定性问题的梯度校正参数辨识方法； n随机性问题的梯度校正参数

3、辨识方法；随机性问题的梯度校正参数辨识方法； n梯度校正参数辨识方法在动态过程辨识梯度校正参数辨识方法在动态过程辨识 中的应用；中的应用； n随机逼近法。随机逼近法。 梯度校正参数辩识方法5 6.2 确定性问题的梯度校正参数辩识方法确定性问题的梯度校正参数辩识方法 确定性问题的输入和输出都是可以准确的测量，没有噪声。确定性问题的输入和输出都是可以准确的测量，没有噪声。 设过程的输出设过程的输出 参数参数 的线性组合的线性组合 n如果输出如果输出 和输入和输入 是可是可 以准确测量的，则以准确测量的，则 式过程称作确定性过程式过程称作确定性过程 )(ty N , 21 NN thththty)(

4、)()()( 2211 )(ty)(,),(),( 21 ththth N 梯度校正参数辩识方法6 n确定性过程确定性过程 置置 0 T N T N thththth , )(,),(),()( 21 21 过程过程 ( )h k ( )y k 梯度校正参数辩识方法7 若过程参数的真值记作若过程参数的真值记作 则则 在离散时间点可写成在离散时间点可写成 其中其中 0 0 )()(thty T 0 )()(khky T T N khkhkhkh)(,),(),()( 21 梯度校正参数辩识方法8 例如例如 用差分方程描述的确定性过程用差分方程描述的确定性过程 可以化成可以化成 )() 1()(

5、1 nkyakyaky n )() 1( 1 nkubkub n nn bbbaaa nkukunkykykh , )(,),1(),(,),1()( 2121 梯度校正参数辩识方法9 现在的问题现在的问题 如何利用输入输出数据如何利用输入输出数据 和和 确定参数确定参数 在在 时刻的估计值时刻的估计值 使准则函数使准则函数 式中式中 )(kh )(ky k )(k min| ),( 2 1 | )( )( 2 )( kk kJ )()(),(khkyk 梯度校正参数辩识方法10 解决上述问题的方法解决上述问题的方法 可以是梯度校正法，通俗地说最速下降法可以是梯度校正法，通俗地说最速下降法 沿

6、着沿着 的负梯度方向不断修正的负梯度方向不断修正 值值 直至直至 达到最小值达到最小值 )(J )(k )(J 梯度校正参数辩识方法11 梯度校正参数辨识方法的参数估计递推形式可梯度校正参数辨识方法的参数估计递推形式可 以由下式给出以由下式给出 n - 维的对称阵，称作加权阵维的对称阵，称作加权阵 n - 准则函数准则函数 关于关于 的梯度的梯度 )( |)()()() 1( k JgradkRkk )( Jgrad )(kR N )(J 梯度校正参数辩识方法12 n当准则函数当准则函数 取取 式时式时)(J )( 2 )( ),( 2 1 |)( k k k d d Jgrad )(),(k

7、hkk )()()()(khkkhky 梯度校正参数辩识方法13 式可写成式可写成 - - 确定性问题的确定性问题的梯度校正参数估计递推公式梯度校正参数估计递推公式 n其中权矩阵的选择至关重要，它的作用是用来控制其中权矩阵的选择至关重要，它的作用是用来控制 各输入分量对参数估计值的影响程度。各输入分量对参数估计值的影响程度。 )()()()()()() 1(kkhkykhkRkk 梯度校正参数辩识方法14 n权矩阵权矩阵 的作用是用来控制各输入分量的作用是用来控制各输入分量 对参数估计的影响程度的，一般地，我们对参数估计的影响程度的，一般地，我们 选择权矩阵的形式为选择权矩阵的形式为 n只要适

8、当选择只要适当选择 ，就能控制各输入分量，就能控制各输入分量 对参数估计值的影响。例如，如果选择对参数估计值的影响。例如，如果选择 n意味着输入分量意味着输入分量 对参数估计值的影对参数估计值的影 响较响较 弱，显然这种情况弱，显然这种情况 对参数估对参数估 计值的影响最小。如果选择计值的影响最小。如果选择 n则各输入分量的加权值相同，它们对参数则各输入分量的加权值相同，它们对参数 估计值的影响是相同的。估计值的影响是相同的。 )(,),(),()()( 21 kkkdiagkckR N )(kR R )(k i Nik i i , 2 , 1; 10 ,)( )( 1 khi )(khi)(

9、khN Ikkkdiag N )(,),(),( 21 梯度校正参数辩识方法15 定理定理: 确定性问题的梯度校正参数辨识方确定性问题的梯度校正参数辨识方 法的参数估计递推公式为：法的参数估计递推公式为： 并且权矩阵选取如下形式：并且权矩阵选取如下形式： )( )()()()()( ) 1( kkkykkkkR R hh )(,),(),()()( 21 kkkdiagkck N R R 如何合理地选择权矩阵，由下面的定理给出。如何合理地选择权矩阵，由下面的定理给出。 梯度校正参数辩识方法16 如果如果R (k)满足如下条件：满足如下条件： （1） （2）N个个 中至少存在一个中至少存在一个

10、，使得，使得 或或 （3） ), 2 , 1()(0Nik HiL )( ) 1()( )( ) 1()( k kk k kk i ii m mm )( ) 1( )( ) 1( k k k k i i m m N i ii khk kc 1 2 )()( 2 )(0 )(k i )(k m 梯度校正参数辩识方法17 （4） 与与 不正交不正交 那么不管参数估计值的初始值如何选那么不管参数估计值的初始值如何选 取，参数估计值取，参数估计值 总是大范围一致渐近总是大范围一致渐近 收敛的，即收敛的，即 注意：条件注意：条件1确定了权的选择范围，条件确定了权的选择范围，条件2 是推导条件是推导条件3

11、的前提，条件的前提，条件3是保证参数是保证参数 估计全局一致收敛的条件。估计全局一致收敛的条件。 )(kh )( k 0 )( lim k k )( )( 0 kk 梯度校正参数辩识方法 证明思路证明思路 根据定义，参数估计值的偏差为根据定义，参数估计值的偏差为 可得可得 )( )( 0 kk )( )()()() 1( kkhkhkIk R R 设标量函数设标量函数 N i i i m k k kkkV 1 2 )( )( )(),( 可以证明可以证明V是上述动态方程的是上述动态方程的Lyapunov 函数，利用函数，利用 Lyapunov稳定性定理可以证明，当条件（稳定性定理可以证明，当条

12、件（2）、（）、（3） 成立时，上述方程在平衡状态成立时，上述方程在平衡状态 点上是大范围一点上是大范围一 致渐近稳定的。致渐近稳定的。 0)( k 梯度校正参数辩识方法 （a） ，对于所有的，对于所有的 ； （b） ，对于所有的，对于所有的 ； （c）当）当 时，有时，有 ； （d） ，对，对 所有的所有的 。 由定理给定的条件可知（由定理给定的条件可知（a）、（）、（b）和（）和（c）一）一 定满足。定满足。 0),( kkV0 0)( k 0),( kkV0 0)( k )( k ),( kkV 0),( 1),1( , kkVkkVkV 0 0)( k 梯度校正参数辩识方法20 权矩阵

13、的选择权矩阵的选择 一般的选择一般的选择 或者或者 20 )(,),(),( )()( )( 21 1 2 c kkkdiag khk c kR N N i ii 2 )( )( kh c kR I I 梯度校正参数辩识方法21 最佳权矩阵的选择（最佳权矩阵的选择（Lyapunov最佳权矩阵）最佳权矩阵） )(,),(),( )()( 1 )( 21 1 2 kkkdiag khk k N N i ii R R 梯度校正参数辩识方法22 注意注意 n权矩阵权矩阵 的作用是控制各输入分量对参数估的作用是控制各输入分量对参数估 计的影响程度；计的影响程度； n若若 与与 正交，或正交，或k大于一定

14、的值后大于一定的值后 与与 正交，则得不到全局稳定性，即正交，则得不到全局稳定性，即 时，时， 不趋于零。不趋于零。 )(kR R )( k )(kh )( k )(khk )( k 梯度校正参数辩识方法23 6.3 随机性问题的梯度校正参数辩识方法随机性问题的梯度校正参数辩识方法 n随机性问题的提法随机性问题的提法 n确定性问题的梯度校正法与其他辩识方法相比确定性问题的梯度校正法与其他辩识方法相比 n最大的优点：计算简单最大的优点：计算简单 n缺点：如果过程的输入输出含有噪声，这种方法不能用缺点：如果过程的输入输出含有噪声，这种方法不能用 n随机性问题的梯度校正法随机性问题的梯度校正法 n特

15、点：计算简单，可用于在线实时辩识特点：计算简单，可用于在线实时辩识 n缺陷：事先必须知道噪声的一阶矩和二阶矩统计特性缺陷：事先必须知道噪声的一阶矩和二阶矩统计特性 梯度校正参数辩识方法 随机性问题随机性问题 24 梯度校正参数辩识方法25 n设过程的输出设过程的输出 n模型参数模型参数 的线性组合的线性组合 n输入输出数据含有测量噪声输入输出数据含有测量噪声 )(ky N , 21 NN khkhkhky)()()()( 2211 Nikskhkx kwkykz iii , 2 , 1),()()( )()()( 梯度校正参数辩识方法26 n其中其中 n 和和 为零均值的不相关随机噪声为零均值

16、的不相关随机噪声)(kw)(ksi ji ji ksksE si ji , 0 , )()( 2 梯度校正参数辩识方法27 置置 则则 N N N N ksksksks khkhkhkh kxkxkxkx , )(,),(),()( )(,),(),()( )(,),(),()( 21 21 21 21 )()()( )()()( kwkhkz kskhkx 梯度校正参数辩识方法28 现在的问题现在的问题 利用输入输出数据利用输入输出数据 和和 确定参数确定参数 在在 时刻的估计值时刻的估计值 使准则函数使准则函数 其中其中 )(kx)(kz k )(k min| ),( 2 1 | )( )

17、( 2 )( kk kJ )()(),(kxkzk 梯度校正参数辩识方法29 随机性辨识问题的分类随机性辨识问题的分类 第一类随机性辨识问题第一类随机性辨识问题 要求测量噪声要求测量噪声w(k)是统计独立的是统计独立的 )(ks )( kz )( kh )( kx )( ky )( kz )( kx )(kz )( k )( kw )( kh )(ks )( ky )( kw )( kz )( kz )(kz )( k )( kx )( kx 梯度校正参数辩识方法30 此问题满足以下条件此问题满足以下条件 （1） ；即；即 与与 相互独立，相互独立， 的方差不必已知；的方差不必已知； （2）

18、， 为正定为正定 常数矩阵，不必已知；常数矩阵，不必已知； （3）输入向量的测量噪声）输入向量的测量噪声 是零均值，协方差是零均值，协方差 为为 的不相关离散随机向量，且与的不相关离散随机向量，且与 和和 是统计独立的。即是统计独立的。即 0)()(kwkEh h )(kh h )(kw )(kw )()( )( )()(kkEkkkE h hh hh hh h 0)()( 0)()( )(,)()( 0)( 222 21 kkE kwkE diagkkE kE ssss N s sh h s s s ss s s s 已知 )(ks s )(kh )(kw 梯度校正参数辩识方法 第二类问题第

19、二类问题 测量噪声测量噪声w(k)中有一部分分量与中有一部分分量与h(k)是相关是相关 的。的。 31 )(ks )( kz )( kh )( kx )( ky )( kz )( kx )(kz )( k )( kw )( kw d )( kw m )( kr )( kr )(ks )( kh )( kx )( kx )( ky )( kw )( k )(kz )( kz )( kz )( kw m )( kw d 梯度校正参数辩识方法32 此问题满足以下条件此问题满足以下条件 （1） ；其中；其中 是测量噪声是测量噪声 ， 是扰动噪声，扰动噪声通过动态环节与是扰动噪声，扰动噪声通过动态环节与

20、 相关。已相关。已 知知 ，其方差不必先知。，其方差不必先知。 （2） ， 为正定常为正定常 数矩阵，不必已知；数矩阵，不必已知； （3）输入向量的测量噪声）输入向量的测量噪声 是零均值，协方差为是零均值，协方差为 的不相关离散随机向量，且与的不相关离散随机向量，且与 和和 是统计独立的。是统计独立的。 即即 0)()( 0)()( )(,)()( 0)( 222 21 kkE kwkE diagkkE kE ssss N s sh h s s s ss s s s 已知 )()()(kwkwkw dm )(kwm )(kwd )(kh h 0)(kwE )()( )( )()(kkEkkkE

21、 h hh hh hh h )(ks s )(kh )(kw 梯度校正参数辩识方法33 第三类随机性辨识问题第三类随机性辨识问题 此问题不仅此问题不仅 与与 相关，而且相关，而且 也和也和 相关。相关。 )(kw )(kh h )(kh h )( k 梯度校正参数辩识方法 第三类随机性辨识问题第三类随机性辨识问题 34 )(ks )( kz )( kh )( kx )( ky )( kz )( kx )(kz )( k )( kw )( kw d )( kw m )( kr )( kr )(ks )( kh )( kx )( kx )( ky )( kw )( k)(kz )( kz )( k

22、z )( kw m )( kw d )( k 梯度校正参数辩识方法35 随机性问题的梯度校正参数辨识方法随机性问题的梯度校正参数辨识方法 基本思想与确定性问题一样，也是利用最速下降基本思想与确定性问题一样，也是利用最速下降 法原理，从给定的初始值法原理，从给定的初始值 出发，沿着准则函出发，沿着准则函 数数 的负梯度方向修正参数估计值的负梯度方向修正参数估计值 ，直至，直至 准则函数准则函数 达到最小值达到最小值 。基本公式：。基本公式： （A） 注意，此式给出的参数估计是渐近有偏估计，注注意，此式给出的参数估计是渐近有偏估计，注 意步长选择的原则是使第一、二类随机性辨识问意步长选择的原则是使

23、第一、二类随机性辨识问 题的条件（条件方差）：题的条件（条件方差）： 满足。满足。 )( )()()()()( )( kkkzkkklkx xx xR R )()( )( )()(kkEkkkE h hh hh hh h )0( ) (J)( k )(J ) (J 梯度校正参数辩识方法36 定理：对于第二类随机性辨识问题，利用（定理：对于第二类随机性辨识问题，利用（A） 式所获得的参数估计值是渐近有偏的估计值，式所获得的参数估计值是渐近有偏的估计值， 即：即： 其中：其中： 是过程的真实参数，且是过程的真实参数，且 002 1 )()()( lim TkE s k )()( )( )()( ,

24、)()( )()( 222 2 21 kkEkkkE diagkkE kwkET N ssss h hh hh hh h s ss s h h 0 梯度校正参数辩识方法37 推论：对于第一类随机性辨识问题，当输入向量推论：对于第一类随机性辨识问题，当输入向量 不含测量噪声时，利用（不含测量噪声时，利用（A）式所获得的参数）式所获得的参数 估计值是渐近无偏的估计值，即估计值是渐近无偏的估计值，即 0 )( lim kE k 梯度校正参数辩识方法38 1.第一类随机性辨识问题的梯度校正渐近第一类随机性辨识问题的梯度校正渐近 无偏估计算法无偏估计算法 由第一类问题的条件，由第一类问题的条件， 有，因

25、此有，因此 而而 0 2 T 0 1 )()( lim s k kE )( )()()( )( 0 kEkRkRkElkE s 因此，修正（因此，修正（A）式，在（）式，在（A）式的右边增加一项）式的右边增加一项 )( )(kkR s )( )()( )( 0 kEkRkElkE 梯度校正参数辩识方法39 此时有：此时有： 即即 是是 的渐近无偏估计。由此可以得到第一的渐近无偏估计。由此可以得到第一 类随机性辨识问题的梯度校正渐近无偏估计算类随机性辨识问题的梯度校正渐近无偏估计算 法如下：法如下： （P） 注意：注意： 是已知的，是已知的，l步长的选择必须满足条件步长的选择必须满足条件 （2）

26、。）。 0 )( lim kE k )( k 0 )( )()()()()( )()( kkkzkkRkkRlk s x xx xI I s 梯度校正参数辩识方法40 2. 第二类随机性辨识问题的梯度校正渐近无第二类随机性辨识问题的梯度校正渐近无 偏估计算法偏估计算法 由第二类问题的条件，有由第二类问题的条件，有 ，为了获得参数，为了获得参数 的渐近无偏估计，必须在（的渐近无偏估计，必须在（A）式中增加两项，）式中增加两项， 即需要增加即需要增加 ： 和和 两项。于是可得两项。于是可得 第二类随机性辨识问题的梯度校正渐近无偏估计第二类随机性辨识问题的梯度校正渐近无偏估计 算法如下：算法如下：

27、注意：此时要求注意：此时要求 和和 已知。已知。 0 2 T )( )(kkR s 2 )(TkR )( )()()()()()( )()( 2 kkkzkkRTkRkkRlk s x xx xI I s )()( 2 kwkETh h （B） 梯度校正参数辩识方法41 如果如果 与与 之间具有以下的线性关系：之间具有以下的线性关系： 其中：其中： 是是N维向量，维向量，M是是n阶方阵。阶方阵。 此时可用此时可用 来估计来估计 ，即取，即取 ，由此，由此， （B）式可以写成：）式可以写成： 此时有：此时有： 因此（因此（C）式可以作为第二类随机性辨识问题的梯度校正渐近）式可以作为第二类随机性辨

28、识问题的梯度校正渐近 无偏估计算法，此时的无偏估计算法，此时的 和和M为参变量，由实际问题可以唯为参变量，由实际问题可以唯 一确定。一确定。 02 MT )( kM 2 T )( 2 kMT )( )()()()()()( )()()( kkkzkkRkRkMkRkRlk s x xx xI I 0 )( lim kE k 0 )()( 2 kwkETh h （C） 梯度校正参数辩识方法42 3. 步长间隔的选择步长间隔的选择 选择的基本原则：使输入向量选择的基本原则：使输入向量 与参数估计值与参数估计值 不相关。不相关。 由估计式（由估计式（P）和（）和（C），我们有：），我们有： 其中其中

29、 代表函数关系代表函数关系 当当 时：时： 当当 时时 )(kh h )( k )(),(),(),( ()( kwkkkflks sh h )(f 0k )0(),0(),0(),0( ()0(),0(),0(),0( ()( 1 wgwfls sh hs sh h lk )(),(),(),0(),0(),0(),0( ( )(),(),(),0(),0(),0(),0( ()(),(),(),( ()2( 2 lwllwg lwllwflwlllfl s sh hs sh h s sh hs sh hs sh h 梯度校正参数辩识方法43 以此类推，得到：以此类推，得到： 由此可知，由此

30、可知， 时刻的参数估计值时刻的参数估计值 与时刻与时刻 以前的信息，即输入向量以前的信息，即输入向量 、输入测量噪、输入测量噪 声声 及输出测量噪声及输出测量噪声 是相关的。是相关的。 )(),(),(,),0(),0(),0(),0( ( )(),(),(),( ()( lmlwlmllmlwg lmlwlmllmllmlfml m s sh hs sh h s sh h mlk )( klk )(,),0(lk h hh h )(,),0(lk s ss s)(,),0(lkww 梯度校正参数辩识方法44 由此，选择步长间隔由此，选择步长间隔l使输入向量使输入向量 与参数估计值与参数估计值

31、 不相关的问题，可以转变成选择步长间隔不相关的问题，可以转变成选择步长间隔l使使 与时刻与时刻 以前的信息不相关的问题。以前的信息不相关的问题。 根据第一、二类随机性辨识问题的条件，已知根据第一、二类随机性辨识问题的条件，已知 与与 时刻以前的时刻以前的 和和 是不相关的，所以只是不相关的，所以只 要选择要选择l，使得，使得 与与 不相关，就可以使得条件（不相关，就可以使得条件（2） 成立，保证估计式（成立，保证估计式（P）和（）和（C）都是渐近无偏估计）都是渐近无偏估计。 )(kh h)( k )(kh h )(lk )(kh h)(lk )(is s lkiiw, 2 , 1),( )(k

32、h h)(lk h h 梯度校正参数辩识方法45 结论：选择结论：选择l，必须使得输入向量，必须使得输入向量 与与 统计不相关。统计不相关。 一般做法：过程是一般做法：过程是n阶的差分方程形式，则步阶的差分方程形式，则步 长长l选择不能低于阶次选择不能低于阶次n。 )(kh h )(lk h h 梯度校正参数辩识方法46 4.权矩阵的选择权矩阵的选择 估计式（估计式（P）和（）和（C）是第一、二类随机性辨识问题的渐）是第一、二类随机性辨识问题的渐 近无偏估计式，只要选择步长近无偏估计式，只要选择步长l，使得，使得 与与 不相不相 关即可。但此时估计式并不是均方一致估计或依概率一关即可。但此时估

33、计式并不是均方一致估计或依概率一 致估计，即有：致估计，即有： 但但 (D) 两式不一定成立。两式不一定成立。 0 )( lim kE k 1)( lim )( lim 0 2 0 0 0 kP kE k k )(kh h)(lk h h 梯度校正参数辩识方法47 问题：如何选择权矩阵使得（问题：如何选择权矩阵使得（D）式成立？）式成立？ 定理：假设步长选择满足定理：假设步长选择满足 与与 不相不相 关，且关，且 如果权矩阵选择如下形式如果权矩阵选择如下形式 )( )()( )( )()()( )( 2 2 2 2 kkwkE kkkkE kwE x x x xx xx x )(kh h )(

34、lk h h )(,),(),()()( 21 kkkdiagkckR N （E） 梯度校正参数辩识方法48 满足：满足： 则由（则由（P）和（）和（C）给出的参数估计值）给出的参数估计值 在在 均方意义下一致收敛或依概率均方意义下一致收敛或依概率1收敛。收敛。 1 2 1 )(,)( 0)(lim, 0)( dim, 2 , 1,)(0 kk k HiL kckc kckkc NNik )( lk 梯度校正参数辩识方法49 注意：注意： n条件（条件（E）是比较弱的条件，一般问题都）是比较弱的条件，一般问题都 能满足；能满足； n 中的中的 可取可取 n可以分段选择可以分段选择 ，加快收敛速

35、度。，加快收敛速度。 )(kR )(kc 0, 1 2 1 , 1 )(kp k kc p )(kR 梯度校正参数辩识方法50 6.4 状态方程的参数辨识（梯度校正法）状态方程的参数辨识（梯度校正法） 要解决的关键问题：为了处理第二类随机辨识问题，要解决的关键问题：为了处理第二类随机辨识问题， 其梯度校正渐近无偏递推估计算法为：其梯度校正渐近无偏递推估计算法为： 其中：其中： ，用，用 来估计来估计 ， 其中其中 ，因此如何选择参变量，因此如何选择参变量 和方和方 阵阵M是用此方法的关键。是用此方法的关键。 )( )()()()()()( )()()( kkkzkkRkRkMkRkRlk s

36、x xx xI I )()( 2 kwkETh h)( kM 2 T 02 MT 梯度校正参数辩识方法51 考虑考虑SISO过程，状态方程描述如下：过程，状态方程描述如下： （A） 其中：其中： )()( )()()() 1( kky kkukAk x xc c d db bx xx x 121 1000 0100 0010 aaaa A nnn 0, 0, 1 , , 21 21 c c d d b b n n ddd bbb 为均值为零，方差为为均值为零，方差为 的白噪声；的白噪声； 为噪声模型的参为噪声模型的参 数，为已知；数，为已知； 和和 为未知待辨识的参数。为未知待辨识的参数。 )

37、(k 2 d d A b b 梯度校正参数辩识方法52 设输入、输出变量设输入、输出变量 和和 对应的测量值可以记对应的测量值可以记 为：为： 其中：其中： 和和 分别为均值为零、方差为分别为均值为零、方差为 和和 的的 白噪声，且白噪声，且 和和 统计独立。统计独立。 )(ku )(ky )()()( )()()( kskukx kwkykz )(ks)(kw 2 s 2 w )(kw)(ks s 梯度校正参数辩识方法53 将状态方程（将状态方程（A）变换为差分方程，我们有：）变换为差分方程，我们有： 其中：其中： )() 1()() 1( )() 1()( 11 1 nkdkdnkbkub

38、 nkyakyaky nn n b bb bPbbb n , 21 d dd dPddd n , 21 1 01 1 121 12 1 aaa aa a P nn 梯度校正参数辩识方法54 若记：若记： 则有：则有： )(,),1()( )()()() 1()()( )(,),1(),(,),1()( , )(,),1(),(,),1()( )(,),1(),(,),1()( 1 11 nkkk kkwnkdkdkwke nksksnkwkwk bbaa nkxkxnkzkzk nkukunkykyk n nn d d s s x x h h )()()( )()()( kekkz kkk h

39、 h s sh hx x 梯度校正参数辩识方法55 这样就将状态方程模型辨识问题化为第二类随机这样就将状态方程模型辨识问题化为第二类随机 梯度校正参数辨识问题，因此可得参数的渐近无梯度校正参数辨识问题，因此可得参数的渐近无 偏估计算法：偏估计算法： )( )()()()()()( )()()( kkkzkkRkRkMkRkRlk s x xx xI I )2()2( 2 2 0 0 )()( nn ns nw s I I kkE s ss s nikkkp kkkdiag k kR HiL n p 2 , 2 , 1,)()()(0, 1 2 1 )(,),(),( 1 )( 221 并且参变

40、量并且参变量 和方阵和方阵M满足：满足： 02 )()(h hMkekET 梯度校正参数辩识方法 注意：向量注意：向量 可由输入、输出测量数据可由输入、输出测量数据 和和 获得；步长获得；步长l取大于取大于n的值，以保证的值，以保证 和和 不相关。不相关。 )(kx x )(x )(z )(kh h )(lk h h 梯度校正参数辩识方法 下面讨论参变量下面讨论参变量 和方阵和方阵M的具体求法的具体求法: (1) 求解状态方程（求解状态方程（A）得：）得： 及输出变量及输出变量 k i ikk iiuAAk 1 )1() 1()0()(d db bx xx x k i ikk iiuAAky

41、1 )1() 1()0()(d db bc cx xc c 梯度校正参数辩识方法58 (2) 确定确定 与与 的函数关系。的函数关系。 由（由（B）及（）及（1）的结果，注意到白噪声）的结果，注意到白噪声 和和 的统计特性，我们有：的统计特性，我们有： )(kw )(k d d d dd dc c 0 , 0 , , 0 )() 1()() 1( 21 1 1 1 2 1 1 1 22 1 1 1 2 121 2 1 1 1 ni i ii n i i n i ii n i i n k i ik ddddddd Pddd kiEAkekyE )()(kekEh h 0 梯度校正参数辩识方法 d

42、 d d dd dc c 0 , 0 , , 0 , 0 )() 1()() 2( 31 1 1 1 3 1 2 1 2 1 2 1 2 2 2 1 2 221 2 2 1 2 ni i ii n i i n i ii n i ii n i i n k i ik ddddddddd Pddd kiEAkekyE d d d dd dc c 0 , 0 , , 0 , 0 )() 1()() 1( 1 1 2 1 1 1 2 1 1 2 1 2 1 2 1 1 1 i ii i ini i in nk i ink ddddddd Pd kiEAkenkyE 0)()(kenkyE 梯度校正参数辩

43、识方法 将上面的式子写成矩阵形式，即有：将上面的式子写成矩阵形式，即有： 其中： 02 )()(h hMkekET 1)2( 1 1 1 2 1 2 1 1 1 2 n i nii n i ii n i ii dd dd dd 0 0 梯度校正参数辩识方法 0 0 00 00 1 1 2 1 1 3 3 1 1 2 1 2 1 1 2 3 1 2 2 1 1 1 1 2 2 i i i nii n i ii n i i i nii n i ii n i ii n i i d ddddd ddddddd M 梯度校正参数辩识方法 n上面的矩阵上面的矩阵M为为2n阶对称矩阵，并且可阶对称矩阵，并且

44、可 由噪声模型参数向量由噪声模型参数向量 唯一确定，参数唯一确定，参数 亦可由噪声模型参数向量亦可由噪声模型参数向量 唯一确定。唯一确定。 d d d d 梯度校正参数辩识方法 7.5 差分方程的参数辨识差分方程的参数辨识 下面直接辨识差分方程模型：下面直接辨识差分方程模型： 所有关于噪声的假设同上一节，并且噪声模型的所有关于噪声的假设同上一节，并且噪声模型的 参数已知，同上一节的推导过程一样，由：参数已知，同上一节的推导过程一样，由： )() 1()() 1( )() 1()( 11 1 nkdkdnkbkub nkyakyaky nn n k i ik iiuAAky 1 )1() 1()

45、0()(d db bc cx xc c 梯度校正参数辩识方法 因此，有：因此，有： d d d dd dc c d dd dc c 1 132 2 1 1 11 1 1 1 0 , )() 1( )() 1()() 1( Pdddd kiEPA kiEAkekyE nn k i ik k i ik 梯度校正参数辩识方法 d d d dd dc c d dd dc c 1 43 2 2 1 12 2 1 2 0 , 0 , )() 1( )() 1()()2( Pddd kiEPA kiEAkekyE n k i ik k i ik 梯度校正参数辩识方法 d d d dd dc c d dd d

46、c c 12 1 1 11 1 1 1 0 , 0 , 0 , 0 , )() 1( )() 1()() 1( Pd kiEPA kiEAkenkyE n nk i ink nk i ink 梯度校正参数辩识方法 最后，我们得到：最后，我们得到： 1)2( 1 1 43 1 132 2 2 0, 0 , 0, 0 , 0 , )()( n n n nn Pd Pddd Pdddd kekET 0 0 d d d d d d h h 梯度校正参数辩识方法 注意：当注意：当 时，上式时，上式 不能化为待辨识参数不能化为待辨识参数 的线性形式，因此不能确定参变量的线性形式，因此不能确定参变量 和方阵

47、和方阵 M。此时，如果在上式中，利用。此时，如果在上式中，利用 代替代替 P，则直接用以下算法：，则直接用以下算法： 估计模型参数估计模型参数 。 3n 2 T )( k PP )( )()()()()()( )()( 2 kkkzkkRTkRkkRlk s x xx xI I 梯度校正参数辩识方法 n当当 ，上式，上式 可以化为待辨识参数的线性可以化为待辨识参数的线性 形式，因此可以利用算法形式，因此可以利用算法 n估计模型参数估计模型参数 。 3n2 T )( )()()()()()( )()()( kkkzkkRkRkMkRkRlk s x xx xI I 梯度校正参数辩识方法 例如：当

48、例如：当 时，我们有：时，我们有： 因此有：因此有： 3n 13 321121 2 1 211 1 1 12 2 1 1 1 12 1 , 1 01 001 , 1 01 001 ddadada dda d dP aaa aP aa aP d d d d h hM dd ddadddd Pd Pdd kekET 0 0 0 0 0 0 0 0 0, 0 , 0 , )()( 31 3113221 2 1 3 1 32 2 2 梯度校正参数辩识方法 其中： 0 , 0 , 0 , 0 , 313221 2 dddddd 0 0 00 0 0 00000 31d d M , 321321 bbba

49、aa 梯度校正参数辩识方法72 7.5 随机逼近法随机逼近法 n随机逼近法随机逼近法 n梯度校正法的一种类型梯度校正法的一种类型 n颇受重视的参数估计方法颇受重视的参数估计方法 梯度校正参数辩识方法73 随机逼近原理随机逼近原理 n考虑如下模型的辩识问题考虑如下模型的辩识问题 n - 均值为零的噪声均值为零的噪声 n模型的参数辩识模型的参数辩识 n通过极小化通过极小化 的方差来实现的方差来实现 n即求参数即求参数 的估计值使下列准则函数达到极小值的估计值使下列准则函数达到极小值 )()()(kekhkz )(ke )(ke )()( 2 1 )( 2 1 )( 22 khkzEkeEJ 梯度校

50、正参数辩识方法74 n准则函数的一阶负梯度准则函数的一阶负梯度 n令其梯度为零令其梯度为零 )()()( )( khkzkhE J ( ) ( )( ) 0E h kz kh k 梯度校正参数辩识方法75 原则上原则上 n由由 式可以求得使式可以求得使 的参数估计值的参数估计值 n但，因为但，因为 的统计性质不知道的统计性质不知道 n因此因此 式实际上还是无法解的式实际上还是无法解的 min)(J )(ke 梯度校正参数辩识方法76 如果如果 式左边的数学期望用平均值来近似式左边的数学期望用平均值来近似 则有则有 这种近似使问题退化成最小二乘问题这种近似使问题退化成最小二乘问题 0)()()(

51、 1 1 L k khkzkh L L k L k kzkhkhkh 1 1 1 )()()()( 梯度校正参数辩识方法77 研究研究 式的随机逼近法解式的随机逼近法解 n设设 是标量，是标量， 是对应的随机变量是对应的随机变量 n 是是 条件下条件下 的概率密度函数的概率密度函数 n则随机变量则随机变量 关于关于 的条件数学期望为的条件数学期望为 n记作记作 n它是它是 的函数，称作回归函数的函数，称作回归函数 x)(xy )|(xypxy yx )|(|xyydpxyE |)(xyExh x 梯度校正参数辩识方法78 对于给定的对于给定的 设下列方程，具有唯一的解设下列方程，具有唯一的解

52、当当 函数的形式及条件概率密度函数函数的形式及条件概率密度函数 都不知道时，求上述方程的解析解是困难的，都不知道时，求上述方程的解析解是困难的， 可以利用可以利用随机逼近法求解。随机逼近法求解。 |)(xyExh )(xh )|(xyp 梯度校正参数辩识方法79 n随机逼近法随机逼近法 n利用变量利用变量 及其对应的随机变量及其对应的随机变量 n通过迭代计算通过迭代计算 n逐步逼近方程（逐步逼近方程（2929）式的解）式的解 , 21 xx ),(),( 21 xyxy 梯度校正参数辩识方法80 n常用的常用的迭代算法迭代算法 nRobbins Robbins Monro Monro 算法算法

53、 nKiefer Kiefer Wolfowitz Wolfowitz 算法算法 梯度校正参数辩识方法 Robbins Robbins Monro Monro 算法算法 n其中：其中： 称为收敛因子。如果满足：称为收敛因子。如果满足： n则由（则由（C）确定的）确定的 在均方意义下收敛于方在均方意义下收敛于方 程（程（29）式的解。）式的解。 )()()() 1(kxykkxkx （D） 1 2 1 )(;)( 0)(lim;,0)( kk k kk kkk )(k )(kx （C） 梯度校正参数辩识方法 一般一般 取：取： n另外：当满足以下条件时另外：当满足以下条件时 n由（由（C）确定的

54、满足：）确定的满足： )(k ka b k k k )(; 1 )( 0)(inf,0, )(,)();(,)( ,)( )()( 201 2121 00 2 xh xxxhxxxh xxdcxh xydpxhy xx 1)(limPr 0 xkxob k 梯度校正参数辩识方法 KieferWolfowitz算法：算法： n目的：确定回归函数目的：确定回归函数 的极值点。的极值点。 n若收敛因子若收敛因子 满足条件（满足条件（D），则由（），则由（E）确）确 定的收敛到回归函数的极值点。定的收敛到回归函数的极值点。 )( )()() 1( kx dx dy kkxkx )(k )(xh （E）

55、 梯度校正参数辩识方法 n考察准则函数考察准则函数 的极值问题，若的极值问题，若 在点上在点上 取得极值取得极值 ，则，则 的迭代算法为：的迭代算法为： n若收敛因子满足条件（若收敛因子满足条件（D），则），则 在均方意在均方意 义下收敛于真值义下收敛于真值 ，即，即 )( )( )()( ) 1( k J kkk )(J )(J 0)( )( lim 00 kkE k 0 （F） )( k 梯度校正参数辩识方法 随机逼近参数估计方法随机逼近参数估计方法 考察参数辨识问题：考察参数辨识问题： 设准则函数为：设准则函数为： 其中：其中： 为标量函数；为标量函数； 表示时刻表示时刻k以前的输入以前

56、的输入 输出数据集合。输出数据集合。 )()()(kekkzh h ),()( k hEJD D )(h k D D （G） 梯度校正参数辩识方法 准则函数的一阶负梯度为：准则函数的一阶负梯度为： 则参数辨识问题（则参数辨识问题（G）可以归结为求解以下方程）可以归结为求解以下方程 由随机逼近原理，可得：由随机逼近原理，可得： 其中其中 为满足条件（为满足条件（D）的收敛因子。）的收敛因子。 ),(),( )( kk hE J D Dq qD D 0 0D Dq q),( k ),1( ()() 1( )( k kkkkD Dq q )(k 梯度校正参数辩识方法 若具体的准则函数取：若具体的准则

57、函数取： n则有：则有： n下面考察以下参数辨识问题：下面考察以下参数辨识问题： n其中：其中： 是均值为零，方差为是均值为零，方差为 的白噪声的白噪声 ，输入输出带有噪声，即，输入输出带有噪声，即 )()( 2 1 )( 2 1 )( 22 h hkkzEkeEJ )1( )()()()() 1( )( kkkzkkkkh hh h )()()()()( 11 kvkuzBkyzA )()()( )()()( kskukx kwkykz )(kv 2 v （H） 梯度校正参数辩识方法 n其中其中 和和 分别是均值为零，方差为分别是均值为零，方差为 和和 的白噪声，并且的白噪声，并且 、 、 和和 两两两两 不相关，且不相关，且 令：令： b b a a n n n n zbzbzbzB zazazazA 2 2 1 1 1 2 2 1 1 1 )( 1)( )(ks )(kw 2 s 2 w )(kv )(ks )(kw)(ku )()()()()()( , )(,),1(),(,),1()( 11 2121 kvkszBkwzAke bbbaaa nkxkxnkzkzk ba nn ba h h 梯度校正参数辩识方法 则模型（则模型（H）化为最小二乘格式：）化为最小二乘格式： 其中的