梯度校正参数辩识方法ppt课件

1、第第1212章章 其他辨识方法其他辨识方法12.1 梯度校正参数辩识方法梯度校正参数辩识方法引言引言n最小二乘类参数辩识递推算法最小二乘类参数辩识递推算法n新的参数估计值新的参数估计值=老的参数估计值老的参数估计值+增益矩阵增益矩阵 新息新息n梯度校正参数辩识方法简称梯度校正法梯度校正参数辩识方法简称梯度校正法n递推算法同样具有递推算法同样具有 的构造的构造n根本原理不同于最小二乘类方法根本原理不同于最小二乘类方法n根本做法根本做法 沿着准那么函数的负梯度方向，逐沿着准那么函数的负梯度方向，逐渐修正模型参数估计值，直至准那么函数到达最渐修正模型参数估计值，直至准那么函数到达最小值。小值。主要内

2、容主要内容n确定性问题的梯度校正参数辩识方法确定性问题的梯度校正参数辩识方法n随机性问题的梯度校正参数辩识方法随机性问题的梯度校正参数辩识方法n随机逼近法随机逼近法确定性问题的梯度校正参数辩识方法确定性问题的梯度校正参数辩识方法n设过程的输出设过程的输出n参数参数 的线性组合的线性组合n假设输出假设输出 和输入和输入 是可以准确丈量的，那么是可以准确丈量的，那么 式过程称作确式过程称作确定性过程定性过程)(tyN,21NNthththty)()()()(2211)(ty)(,),(),(21thththNn确定性过程确定性过程n置置0NNthththth,)(,),(),()(2121过程 (

3、 )h k( )y kn假设过程参数的真值记作假设过程参数的真值记作n那么那么n在离散时间点可写成在离散时间点可写成n其中其中00)()(thty0)()(khky)(,),(),()(21khkhkhkhNn例如例如n用差分方程描画确实定性过程用差分方程描画确实定性过程n可以化成可以化成)() 1()(1nkyakyakyn)() 1(1nkubkubnnnbbbaaankukunkykykh,)(,),1(),(,),1()(2121n如今的问题如今的问题n如何利用输入输出数据如何利用输入输出数据 和和n确定参数确定参数 在在 时辰的估计值时辰的估计值n使准那么函数使准那么函数n式中式中)

4、(kh)(kyk)(kmin| ),(21| )()(2)(kkkJ)()(),(khkykn处理上述问题的方法处理上述问题的方法n可以是梯度校正法，通俗地说最速下降法可以是梯度校正法，通俗地说最速下降法n沿着沿着 的负梯度方向不断修正的负梯度方向不断修正 值值n直至直至 到达最小值到达最小值)(J)(k)(Jn数学表达式数学表达式n - 维的对称阵，称作加权阵维的对称阵，称作加权阵n - 准那么函数准那么函数 关于关于 的的梯度梯度)(|)()()() 1(kJgradkRkk)(Jgrad)(kRN)(Jn当准那么函数当准那么函数 取取 式时式时)(J)(2)(),(21|)(kkkddJ

5、grad)(),(khkk)()()()(khkkhkyn 式可写成式可写成n - - 确定性问题的梯度校正参数估计递推公确定性问题的梯度校正参数估计递推公式式n其中权矩阵的选择至关重要其中权矩阵的选择至关重要)()()()()()() 1(kkhkykhkRkk随机性问题的梯度校正参数辩识方法随机性问题的梯度校正参数辩识方法n随机性问题的提法随机性问题的提法n确定性问题的梯度校正法与其他辩识方法相比确定性问题的梯度校正法与其他辩识方法相比n最大的优点：计算简单最大的优点：计算简单n缺陷：假设过程的输入输出含有噪声，这种方缺陷：假设过程的输入输出含有噪声，这种方法不能用法不能用n随机性问题的梯

6、度校正法随机性问题的梯度校正法n特点：计算简单，可用于在线实时辩识特点：计算简单，可用于在线实时辩识n缺陷：事先必需知道噪声的一阶矩和二阶矩统缺陷：事先必需知道噪声的一阶矩和二阶矩统计特性计特性n随机性问题随机性问题n设过程的输出设过程的输出n模型参数模型参数 的线性组合的线性组合n输入输出数据含有丈量噪声输入输出数据含有丈量噪声)(kyN,21NNkhkhkhky)()()()(2211Nikskhkxkwkykziii, 2 , 1),()()()()()(n其中其中n 和和 为零均值的不相关随机噪声为零均值的不相关随机噪声)(kw)(ksijijiksksEsiii, 0,)()(2n置

7、置n那么那么NNNNkskskskskhkhkhkhkxkxkxkx,)(,),(),()()(,),(),()()(,),(),()(21212121)()()()()()(kwkhkzkskhkxn如今的问题如今的问题n利用输入输出数据利用输入输出数据 和和n确定参数确定参数 在在 时辰的估计值时辰的估计值n使准那么函数使准那么函数n其中其中)(kx)(kzk)(kmin| ),(21| )()(2)(kkkJ)()(),(kxkzk随机逼近法随机逼近法n随机逼近法随机逼近法n梯度校正法的一种类型梯度校正法的一种类型n颇受注重的参数估计方法颇受注重的参数估计方法随机逼近原理随机逼近原理n思

8、索如下模型的辩识问题思索如下模型的辩识问题n - 均值为零的噪声均值为零的噪声n模型的参数辩识模型的参数辩识n经过极小化经过极小化 的方差来实现的方差来实现n即求参数即求参数 的估计值使以下准那么函数到达的估计值使以下准那么函数到达极小值极小值)()()(kekhkz)(ke)(ke)()(21)(21)(22khkzEkeEJn准那么函数的一阶负梯度准那么函数的一阶负梯度n令其梯度为零令其梯度为零)()()()(khkzkhEJ ( ) ( )( ) 0E h kz kh k n原那么上原那么上n由由 式可以求得使式可以求得使 的参数估的参数估计值计值n但，由于但，由于 的统计性质不知道的统

9、计性质不知道n因此因此 式实践上还是无法解的式实践上还是无法解的min)(J)(ken假设假设n 式左边的数学期望用平均值来近似式左边的数学期望用平均值来近似n那么有那么有n这种近似使问题退化成最小二乘问题这种近似使问题退化成最小二乘问题0)()()(11LkkhkzkhLLkLkkzkhkhkh111)()()()(n研讨研讨 式的随机逼近法解式的随机逼近法解n设设 是标量，是标量， 是对应的随机变量是对应的随机变量n 是是 条件下条件下 的概率密度函数的概率密度函数n那么随机变量那么随机变量 关于关于 的条件数学期望的条件数学期望为为n记作记作n它是它是 的函数，称作回归函数的函数，称作回

10、归函数x)(xy)|(xyPxyyx)|(|xyydpxyE|)(xyExhxn对于给定的对于给定的n设以下方程，具有独一的解设以下方程，具有独一的解n当当 函数的方式及条件概率密度函数函数的方式及条件概率密度函数 都不知道时都不知道时n求以下方程的解释是困难的求以下方程的解释是困难的n可以利用随机逼近法求解可以利用随机逼近法求解|)(xyExh)(xh)|(xyP01 .PWLLSn随机逼近法随机逼近法n利用变量利用变量 及其对应的随机变量及其对应的随机变量n经过迭代计算经过迭代计算n逐渐逼近方程逐渐逼近方程 式的解式的解,21xx),(),(21xyxyn常用的迭代算法常用的迭代算法nRo

11、bbins Monro 算法算法nKiefer Wolfowitz 算法算法12.2 极大似然法和预告误差方法极大似然法和预告误差方法引言引言n极大似然法极大似然法n一种非常有用的传统估计方法一种非常有用的传统估计方法n由由 Fisher 开展起来的开展起来的n根本思想可追溯到高斯根本思想可追溯到高斯1809 年年n用于动态过程辩识可以获得良好的估计性质用于动态过程辩识可以获得良好的估计性质n最小二乘法和梯度校正法最小二乘法和梯度校正法n计算简单计算简单n参数估计具有优良的统计性质参数估计具有优良的统计性质n噪声的先验知识要求也不高噪声的先验知识要求也不高n极大似然法极大似然法n根本思想与最小

12、二乘法和梯度校正法完全不同根本思想与最小二乘法和梯度校正法完全不同n极大似然法极大似然法n需求构造一个以数据和未知参数为自变量的似需求构造一个以数据和未知参数为自变量的似然函数然函数n经过极大化似然函数获得模型的参数估计值经过极大化似然函数获得模型的参数估计值n意味着意味着n模型输出的概率分布将最大能够地逼近实践过模型输出的概率分布将最大能够地逼近实践过程输出的概率分布程输出的概率分布n通常要求具有可以写出输出量的条件概率密度通常要求具有可以写出输出量的条件概率密度函数的先验知识函数的先验知识n独立观测的条件下，必需知道输出量的概率分独立观测的条件下，必需知道输出量的概率分布布n在序贯观测的条

13、件下，需求确定基于在序贯观测的条件下，需求确定基于 时辰时辰以前的数据在以前的数据在 时辰输出量的条件概率时辰输出量的条件概率分布分布k) 1( kn预告误差方法预告误差方法n需求事先确定一个预告误差准那么函数需求事先确定一个预告误差准那么函数n利用预告误差的信息来确定模型的参数利用预告误差的信息来确定模型的参数n某种意义上某种意义上n与极大似然法等价的与极大似然法等价的n或极大似然法的一种推行或极大似然法的一种推行n极大似然法和预告误差方法极大似然法和预告误差方法n优点：参数估计量具有良好的渐近性质优点：参数估计量具有良好的渐近性质n缺陷：计算量比较大缺陷：计算量比较大极大似然原理极大似然原

14、理n设设 是一个随机变量是一个随机变量n在参数在参数 条件下条件下 的概率密度函数为的概率密度函数为n 的的 个观测值构成一个随机序列个观测值构成一个随机序列n 个观测值记作个观测值记作n那么那么 的结合概率密度为的结合概率密度为n 的极大似然估计就是使的极大似然估计就是使 的参数估计值的参数估计值z)|(zpzLz)(kzL)(,),2(),1 (LzzzzLLz)|(Lzpmax| )|(MLLzpn即有即有n或或0)|(MLLzp0)|(logMLLzpn对一组确定的数据对一组确定的数据n 只是参数只是参数 的函数的函数n已不再是概率密度函数已不再是概率密度函数n这时的这时的 称作称作

15、的似然函数的似然函数n以示区别有时记作以示区别有时记作n概率密度函数和似然函数有着不同的物理意义概率密度函数和似然函数有着不同的物理意义n但数学表达式是一致的但数学表达式是一致的Lz)|(Lzp)|(Lzp)|(LzL)|()|(LLzpzLn极大似然原理的数学表现极大似然原理的数学表现n或或n - 对数似然函数对数似然函数n - 极大似然参数估计值极大似然参数估计值n使得似然函数或对数似然函数到达最大值使得似然函数或对数似然函数到达最大值0)|(MLLzL0)|(logMLLzL)|(logLzLMLn物理意义极大似然原理的数学表现物理意义极大似然原理的数学表现n对一组确定的随机序列对一组确

16、定的随机序列n设法找到参数估计值设法找到参数估计值n使得随机变量使得随机变量 在在 条件下的概率密度条件下的概率密度函数最大能够地逼近随机变量函数最大能够地逼近随机变量 在在 真值条件下的概率密度函数真值条件下的概率密度函数n上式反映极大似然原理的本质，但数学上不好上式反映极大似然原理的本质，但数学上不好实现实现LzMLzMLz0)|()|(0maxzpzpML预告误差参数辩识方法预告误差参数辩识方法n极大似然法极大似然法n要求数据的概率分布是知的要求数据的概率分布是知的n通常都假设它们是服从高斯分布的通常都假设它们是服从高斯分布的n实践问题不一定满足这一假设实践问题不一定满足这一假设n假设数

17、据的概率分布不知道假设数据的概率分布不知道n运用极大似然法存在着一定的困难运用极大似然法存在着一定的困难n预告误差法预告误差法n不要求数据概率分布的先验知识不要求数据概率分布的先验知识n处理更加普通问题的一种辩识方法处理更加普通问题的一种辩识方法n极大似然法的一种推行极大似然法的一种推行n当数据的概率分布服从正态分布时当数据的概率分布服从正态分布时n等价与极大似然法等价与极大似然法预告误差准那么预告误差准那么n思索更加普通的模型思索更加普通的模型n - 维的输出向量维的输出向量n - 维的输入向量维的输入向量n - 模型的参数向量模型的参数向量n - 噪声项，其均值为零，协方差为噪声项，其均值

18、为零，协方差为n - 输出量的初始形状，计算输出量的初始形状，计算 的必要信息的必要信息)(),1 (,),1(),0(),1 (,),1()(keukuzzkzfkz)(kzm)(kur)(kee)0( z) 1 ( zn置置n那么模型那么模型 式写成式写成n 时辰的输出可以用时辰的输出可以用 时辰以前的数据来时辰以前的数据来刻划刻划) 1 (,),1() 1 (,),1()1()1(ukuuzkzzkk)(),()()1()1(keuzfkzkkkkn在获得数据在获得数据 和和 的条件下的条件下n对输出对输出 的的“最好预告可取它的条件数最好预告可取它的条件数学期望值学期望值n使得使得n这

19、种这种“最好的输出预告应是最好的输出预告应是“最好模型的输最好模型的输出出n可经过极小化预告误差准那么来获得可经过极小化预告误差准那么来获得)1( kz)1( ku)(kz,| )()|()1()1(kkuzkzEkzmin,|)|()(|)1()1(2kkuzkzkzEn常用的误差预告准那么常用的误差预告准那么n加权阵加权阵 - 预先选定的矩阵预先选定的矩阵n或或n其中其中 )()(1DTJ )(detlog)(2DJ),()()()()(1)()1()1(1kkLkuzfkzkekekeLDn当当 时时n 将收敛于将收敛于 的协方差阵的协方差阵n经过极小化经过极小化 或或 获得的参数估计获

20、得的参数估计值称作预告误差估计值称作预告误差估计n它用不着数据概率分布知识它用不着数据概率分布知识L)(D)(ke)(1J)(2J12.3 其他两种辩识方法其他两种辩识方法Bayes Bayes 方法方法n根本原理根本原理n所要估计的参数看作随机变量所要估计的参数看作随机变量n设法经过观测与该参数有关联的其他变量设法经过观测与该参数有关联的其他变量n以此来推断这个参数以此来推断这个参数n例如例如 Kalman Kalman 滤波器是典型的滤波器是典型的 Bayes Bayes 方法方法n不可观测的待估计的形状变量不可观测的待估计的形状变量 看作随机看作随机变量变量n形状变量与可观测的输入输出变

21、量是亲密相关形状变量与可观测的输入输出变量是亲密相关的的n正是基于这些可观测的输入输出变量正是基于这些可观测的输入输出变量n推断不可观测的形状变量推断不可观测的形状变量xn设设 是描画某一动态过程的模型是描画某一动态过程的模型n 是模型是模型 的参数，反映在动态过程的输的参数，反映在动态过程的输入输出观测值中入输出观测值中n假设过程的输出变量假设过程的输出变量 在参数在参数 及其历及其历史记录史记录 条件下的概率密度函数是知的条件下的概率密度函数是知的n记作记作n - - 时辰以前的输入输出集合时辰以前的输入输出集合)(kz)1( kD),| )()1( kDkzp)1( kD) 1( kn根

22、据根据 Bayes Bayes 观念，参数观念，参数 的估计问题表述成的估计问题表述成n参数参数 看作具有某种验前概率密度看作具有某种验前概率密度 的随机变量的随机变量n设法从输入输出数据中提取关于参数设法从输入输出数据中提取关于参数 的信的信息息n后者可以归结为参数后者可以归结为参数 的验后概率密度函数的验后概率密度函数 的计算问题的计算问题)|()1( kDp)|(kDpn其中其中n - - 时辰以前的输入输出数据集合时辰以前的输入输出数据集合n 与与 之间的关系之间的关系n 和和 - - 过程过程 时辰的输入输时辰的输入输出数据出数据kDkkD)1( kD),(),()1( kkDkuk

23、zD)(kz)(kukn假设假设 是确定的变量，利用是确定的变量，利用 Bayes Bayes 公式公式n参数参数 的验后概率密度函数可表示成的验后概率密度函数可表示成n参数参数 的验前概率密度函数的验前概率密度函数 及及数据的条件概率密度函数数据的条件概率密度函数 是是知的知的)(ku),(),(|()|()1( kkDkukzpDp),(|()1( kDkzpdDpDkzpDpDkzpkkkk)|(),| )()|(),| )()1()1()1()1()|()1( kDp),| )()1( kDkzpn原那么上原那么上n根据根据 式可以求得参数式可以求得参数 的验后概率密度函数的验后概率密度函数n实践上实践上n这是困难的这是困难的n只需在参数只需在参数 与数据之间的关系是线性的，噪声又是与数据之间的关系是线性的，噪声又是高斯分布的情况下高斯分布的情况下n才有能够得到才有能够得到 式的解析解式的解析解n求得参数求得参数 的验后概率密度函数后的验后概率密度函数后n可进一步求得参数可进一步求得参数 的估计值的估计值n常用的方法常用的方法n极大验后参数估计方法极大验后参数估计方法n条件期望参数估计方法条件期望参数估计方法n极大验后参数估计方法和条件期望参数估计方极大验后参数估计方法和条件