梯度校正参数辩识方法.ppt

1、1,第12章 其他辨识方法,2,12.1 梯度校正参数辩识方法,3,引言,最小二乘类参数辩识递推算法 新的参数估计值=老的参数估计值+增益矩阵 新息 梯度校正参数辩识方法（简称梯度校正法） 递推算法同样具有 的结构 基本原理不同于最小二乘类方法 基本做法 沿着准则函数的负梯度方向，逐步修正模型参数估计值，直至准则函数达到最小值。,4,主要内容,确定性问题的梯度校正参数辩识方法 随机性问题的梯度校正参数辩识方法 随机逼近法,5,确定性问题的梯度校正参数辩识方法,设过程的输出 参数 的线性组合 如果输出 和输入 是可以准确测量的，则 式过程称作确定性过程,6,确定性过程 置,过程,7,若过程参数的

2、真值记作 则 在离散时间点可写成 其中,8,例如 用差分方程描述的确定性过程 可以化成,9,现在的问题 如何利用输入输出数据 和 确定参数 在 时刻的估计值 使准则函数 式中,10,解决上述问题的方法 可以是梯度校正法，通俗地说最速下降法 沿着 的负梯度方向不断修正 值 直至 达到最小值,11,数学表达式 - 维的对称阵，称作加权阵 - 准则函数 关于 的梯度,12,当准则函数 取 式时,13,式可写成 - 确定性问题的梯度校正参数估计递推公式 其中权矩阵的选择至关重要,14,随机性问题的梯度校正参数辩识方法,随机性问题的提法 确定性问题的梯度校正法与其他辩识方法相比 最大的优点：计算简单 缺

3、点：如果过程的输入输出含有噪声，这种方法不能用 随机性问题的梯度校正法 特点：计算简单，可用于在线实时辩识 缺陷：事先必须知道噪声的一阶矩和二阶矩统计特性,15,随机性问题,16,设过程的输出 模型参数 的线性组合 输入输出数据含有测量噪声,17,其中 和 为零均值的不相关随机噪声,18,置 则,19,现在的问题 利用输入输出数据 和 确定参数 在 时刻的估计值 使准则函数 其中,20,随机逼近法,随机逼近法 梯度校正法的一种类型 颇受重视的参数估计方法,21,随机逼近原理,考虑如下模型的辩识问题 - 均值为零的噪声 模型的参数辩识 通过极小化 的方差来实现 即求参数 的估计值使下列准则函数达

4、到极小值,22,准则函数的一阶负梯度 令其梯度为零,23,原则上 由 式可以求得使 的参数估计值 但，因为 的统计性质不知道 因此 式实际上还是无法解的,24,如果 式左边的数学期望用平均值来近似 则有 这种近似使问题退化成最小二乘问题,25,研究 式的随机逼近法解 设 是标量， 是对应的随机变量 是 条件下 的概率密度函数 则随机变量 关于 的条件数学期望为 记作 它是 的函数，称作回归函数,26,对于给定的 设下列方程，具有唯一的解 当 函数的形式及条件概率密度函数 都不知道时 求下列方程的解释是困难的 可以利用随机逼近法求解,27,随机逼近法 利用变量 及其对应的随机变量 通过迭代计算

5、逐步逼近方程 式的解,28,常用的迭代算法 Robbins Monro 算法 Kiefer Wolfowitz 算法,29,12.2 极大似然法和预报误差方法,30,引言,极大似然法 一种非常有用的传统估计方法 由 Fisher 发展起来的 基本思想可追溯到高斯（1809 年） 用于动态过程辩识可以获得良好的估计性质,31,最小二乘法和梯度校正法 计算简单 参数估计具有优良的统计性质 噪声的先验知识要求也不高 极大似然法 基本思想与最小二乘法和梯度校正法完全不同,32,极大似然法 需要构造一个以数据和未知参数为自变量的似然函数 通过极大化似然函数获得模型的参数估计值,33,意味着 模型输出的概

6、率分布将最大可能地逼近实际过程输出的概率分布 通常要求具有能够写出输出量的条件概率密度函数的先验知识 独立观测的条件下，必须知道输出量的概率分布 在序贯观测的条件下，需要确定基于 时刻以前的数据在 时刻输出量的条件概率分布,34,预报误差方法 需要事先确定一个预报误差准则函数 利用预报误差的信息来确定模型的参数 某种意义上 与极大似然法等价的 或极大似然法的一种推广,35,极大似然法和预报误差方法 优点：参数估计量具有良好的渐近性质 缺点：计算量比较大,36,极大似然原理,设 是一个随机变量 在参数 条件下 的概率密度函数为 的 个观测值构成一个随机序列 个观测值记作 则 的联合概率密度为 的

7、极大似然估计就是使 的参数估计值,37,即有 或,38,对一组确定的数据 只是参数 的函数 已不再是概率密度函数 这时的 称作 的似然函数 以示区别有时记作 概率密度函数和似然函数有着不同的物理意义 但数学表达式是一致的,39,极大似然原理的数学表现 或 - 对数似然函数 - 极大似然参数估计值 使得似然函数或对数似然函数达到最大值,40,物理意义（极大似然原理的数学表现） 对一组确定的随机序列 设法找到参数估计值 使得随机变量 在 条件下的概率密度函数最大可能地逼近随机变量 在 （真值）条件下的概率密度函数 上式反映极大似然原理的本质，但数学上不好实现,41,预报误差参数辩识方法,极大似然法

8、 要求数据的概率分布是已知的 通常都假设它们是服从高斯分布的 实际问题不一定满足这一假设 如果数据的概率分布不知道 使用极大似然法存在着一定的困难,42,预报误差法 不要求数据概率分布的先验知识 解决更加一般问题的一种辩识方法 极大似然法的一种推广 当数据的概率分布服从正态分布时 等价与极大似然法,43,预报误差准则,考虑更加一般的模型 - 维的输出向量 - 维的输入向量 - 模型的参数向量 - 噪声项，其均值为零，协方差为 - 输出量的初始状态，计算 的必要信息,44,置 则模型 式写成 时刻的输出可以用 时刻以前的数据来刻划,45,在获得数据 和 的条件下 对输出 的“最好”预报可取它的条

9、件数学期望值 使得 这种“最好”的输出预报应是“最好”模型的输出 可通过极小化预报误差准则来获得,46,常用的误差预报准则 加权阵 - 预先选定的矩阵 或 其中,47,当 时 将收敛于 的协方差阵 通过极小化 或 获得的参数估计值称作预报误差估计 它用不着数据概率分布知识,48,12.3 其他两种辩识方法,49,Bayes 方法,基本原理 所要估计的参数看作随机变量 设法通过观测与该参数有关联的其他变量 以此来推断这个参数,50,例如 Kalman 滤波器是典型的 Bayes 方法 不可观测的待估计的状态变量 看作随机变量 状态变量与可观测的输入输出变量是密切相关的 正是基于这些可观测的输入输

10、出变量 推断不可观测的状态变量,51,设 是描述某一动态过程的模型 是模型 的参数，反映在动态过程的输入输出观测值中 如果过程的输出变量 在参数 及其历史记录 条件下的概率密度函数是已知的 记作 - 时刻以前的输入输出集合,52,根据 Bayes 观点，参数 的估计问题表述成 参数 看作具有某种验前概率密度 的随机变量 设法从输入输出数据中提取关于参数 的信息 后者可以归结为参数 的验后概率密度函数 的计算问题,53,其中 - 时刻以前的输入输出数据集合 与 之间的关系 和 - 过程 时刻的输入输出数据,54,如果 是确定的变量，利用 Bayes 公式 参数 的验后概率密度函数可表示成 参数

11、的验前概率密度函数 及数据的条件概率密度函数 是已知的,55,原则上 根据 式可以求得参数 的验后概率密度函数 实际上 这是困难的 只有在参数 与数据之间的关系是线性的，噪声又是高斯分布的情况下 才有可能得到 式的解析解,56,求得参数 的验后概率密度函数后 可进一步求得参数 的估计值 常用的方法 极大验后参数估计方法 条件期望参数估计方法 极大验后参数估计方法和条件期望参数估计方法统称为 Bayes 方法,57,模型参考自适应辩识方法,“模型参考” 概念 广泛用于自适应控制中 如果 控制系统希望达到的控制性能指标用一个称作参考模型的理想化控制系统的性能来描述 以 表示每一瞬间时实际过程与参考模型之间的特性的差异 根据差异 ，不断修改控制器参数 可使实系统的控制性能指标尽可能的接近参考模型,58,模型参考自适应控制原理,59,同样 “模型参考” 概念可用于实时在线辩识 模型参考自适应控制相反 被辩识的对象扮演参考模型的角色,60,模型参考自适应辩识原理,61,当可调模型