第06讲 SA法.ppt

第六讲SA法 1 3 第六讲随机逼近法 StochasticApproximation SA 前面讨论的辨识算法均属于LS类的估计算法 其优点是收敛速度快 精度高等 但其计算量大且占用计算机系统的内存较多等严重影响了其在实时辨识和在自适应系统中的运用 上述的这些方法的递推算法具有如下共同的结构新的参数估计值 老的参数估计值 增益矩阵 新息 1 第六讲SA法 2 3 该递推辨识算法结构体现了递推辨识的思想和算法结构 是一切递推辨识算法所具有的共同的结构 本讲讨论的随机逼近 StochasticApproximation SA 法同样具有式 1 所示的结构 但其基本原理却完全不同于LS类方法 而来源于随机方程数值解理论中的SA原理 第六讲SA法 3 3 SA法的基本思想是沿着准则函数的负梯度方向 用最优化方法逐步修正模型参数估计值而得到模型参数的递推估计值 其算法思想类似于数值优化方法中的最速下降法 其收敛速度亦类似于最速下降法 属1阶收敛 线性收敛 而前面介绍的递推LS法其算法思想和收敛速度则类似于数值优化中的牛顿法 收敛速度属2阶收敛 平方收敛 本讲讲授内容为 随机逼近原理SA参数估计法SA算法仿真程序与算例 1SA原理 1 5 1随机逼近原理考虑如下回归模型的辨识问题y k k 1 w k 2 式中y k 为过程输出 k 1 为观测数据向量 为回归参数向量 w k 为均值为零的噪声 1SA原理 2 5 该准则函数的一阶梯度为 J E k 1 y k k 1 4 根据最优化原理 欲求准则函数 3 的极小值 则令其梯度为零 即E k 1 y k k 1 0 5 显然 这种模型的参数估计问题可以通过极小化扰动w k 的方差来实现 即求参数 的估计值使下列准则函数达到极小值 1SA原理 3 5 原则上说 由 5 式可以求得使J 极小的参数估计值 但是 因为大部分实际系统w k 的统计性质不能预先知道 因此方程 5 实际上是无法求解的 解决该问题的方法则之一 是用式 5 左边的的数学期望用平均值来近似 即将 5 式近似写成 则有 显然 这种近似使得该问题退化成LS问题 7 式也就是前面讨论的LS解 1SA原理 4 5 下面 讨论式 5 的另一种解 即SA解 在介绍SA解之前 下面先介绍随机方程求解的SA原理 设x是自变量标量 y是随机因变量 p y x 是在x条件下的y的概率密度函数 则随机变量y关于x的条件数学期望为 定义h x E y x 它是x的函数 称作回归函数 1SA原理 5 5 SA原理所讨论的是 对于给定的 若对未知的h x 函数和条件概率密度函数p y x 方程h x E y x a 9 具有唯一解 那么 在已知变量x1 x2 及其相对应的随机变量y x1 y x2 则可通过递推计算 逐步逼近并求得方程 9 的数值解 下面 将讨论方程 9 的求解方法 Robbins Monro算法及其在随机函数优化应用 Kiefer Wolfowitz算法 1SA原理 Robbins Monro算法 1 3 一 Robbins Monro算法求解上述随机方程的常用的SA法有Robbins Monro算法 其基本递推算法结构为x k 1 x k k a y x k 10 其中y x k 为对应于x k 的y值 k 称为收敛因子 h x E y x a 1SA原理 Robbins Monro算法 2 3 则x k 在均方意义下收敛于方程 9 的解 满足上述条件的最简单的有 k 1 k和 k b k a 其中a b均大于0 可以证明 若收敛因子 k 满足下列条件 1SA原理 Robbins Monro算法 3 3 则递推解x k 满足 另外 当满足以下条件时 其中x0为该随机方程h x E y x a的真实解 1SA原理 Kiefer Wolfowitz算法 1 3 二 Kiefer Wolfowitz算法上述Robbins Monro算法是求解随机方程 9 的根 后来 Kiefer和Wolfowitz将它应用到求解回归函数h x 的极值 提出求解随机函数数值优化的Kiefer Wolfowitz算法 Kiefer Wolfowitz算法的思想为 如果h x 存在极值 那么在极值处的x应使dh x dx 0 根据Robbins Monro算法 Kiefer和Wolfowitz给出了如下求回归函数h x 的极值的迭代算法x k 1 x k k dy dx x k 12 h x E y x ax k 1 x k k a y x k 则上述算法是均方收敛的 即x k 的收敛值将使h x k 达到极值 1SA原理 Kiefer Wolfowitz算法 2 3 式中 若收敛因子 k 满足条件 若收敛因子 k 满足条件 则x k 以概率1一致收敛 1SA原理 Kiefer Wolfowitz算法 3 3 2SA参数估计法 1 5 2随机逼近参数估计法考虑模型 2 的参数估计问题 设准则函数为J E h q Dk 13 其中h 为某正性标量函数 Dk表示k时刻以前的输入输出数据集合 显然 准则函数的一阶负梯度为 2SA参数估计法 2 5 因此 模型 2 的参数估计问题可归结成如下方程的解E q q Dk 0 15 故 利用SA原理和Kiefer Wolfowitz算法 有如下递推SA参数估计算法q k q k 1 k q q k 1 Dk 16 其中 k 为收敛因子 必须满足收敛条件 11 h x E y x ax k 1 x k k a y x k 2SA参数估计法 3 5 如果 准则函数J q 具体取 3 式时 即则算法 16 可表为q k q k 1 k k 1 y k k 1 q k 1 17 该式是利用SA法解决模型 2 的参数估计问题的基本公式 q k q k 1 k q q k 1 Dk q q Dk h q Dk h q Dk y k k 1 q 2 2 2SA参数估计法 4 5 下面讨论收敛因子 k 的取值问题 1 对静态系统的参数估计问题 一般取 k 1 k和 k b k a 其中a b均大于0 可得到较好的估计值 2 对动态系统 考虑到系统输入输出信号的大小或强度并不能预先知道或经常处于变化之中 若收敛因子的选取与输入输出信号的大小或强度无关的话 则辨识结果的收敛性和精度将受较大影响 2SA参数估计法 5 5 因此 在动态系统的在线辨识或自适应控制中 上述基本SA算法 17 可修正为 不难证明 只要被辨识系统的观测数据向量 k 不以指数规律衰减 SA算法 18 19 的收敛因子 k 1 r k 1 必满足SA法的收敛条件 11 q k q k 1 k k 1 y k k 1 q k 1 17 2SA参数估计法 6 5 若考虑遗忘因子 则具有遗忘因子 的SA的辨识算法为 2SA参数估计法 7 5 SA算法 18 19 与递推LS法相比 显著的优点是结构简单易于实现 计算量小 参数估计值变化平稳等 其缺点为参数估计值收敛较慢 利用SA算法 18 19 亦可很方便地得到与LS类辨识算法中的ELS法和GLS法类似的改进SA辨识算法 这些SA法的其它改进算法作为习题由读者完成 在控制领域里动态系统的递推参数估计中 一般常用的SA法为式 18 19 尤其在自适应控制领域 由于SA法的计算量小且易于实现 而更具有优越之处 3SA算法仿真程序与算例 1 5 3SA算法仿真程序与算例综上所述 SA的基本计算步骤可总结如下 1 确定被辨识系统模型的结构 以及多项式A z 1 和B z 1 的阶次 2 设定递推参数初值 0 和r 1 3 采样获取新的观测数据y k 和u k 并组成观测数据向量 k 1 4 用式 18 19 所示的SA法计算当前参数递推估计值 k 5 采样次数k加1 然后转回到第3步骤继续循环 3SA算法仿真程序与算例 2 5 下面给出针对随机线性离散系统 XARMA 的SA在线辨识仿真程序伪代码 3SA算法仿真程序与算例 3 5 3SA算法仿真程序与算例 4 5 下面讨论SA辨识的仿真算例 例1例2 CARMA模型的扩展SA法辨识 3SA算法仿真程序与算例 5 5 下面讨论SA辨识的仿真算例 例1考虑如图1所示的仿真对象 3SA算法仿真程序与算例 例1 1 6 图中w k 是服从均值为零 方差为1的正态分布的不相关随机噪声 输入信号u k 采用伪随机二进制序列 通过控制 w值来改变数据的噪信比 辨识中 选择如下模型结构y k a1y k 1 a2y k 2 b1u k 1 b2u k 2 w k 数据长度L 10000 初始条件 r 1 10 6I 0 0 001 利用SA法可在线估计参数a1 a2 b1和b2 结果如表1所示 表1计算机仿真结果 3SA算法仿真程序与算例 例1 2 6 3SA算法仿真程序与算例 例1 3 6 递推辨识过程的辨识值如下图所示 噪信比 10 0 99时递推辨识结果 1 3SA算法仿真程序与算例 例1 4 6 噪信比 10 0 99时递推辨识结果 2 3SA算法仿真程序与算例 例1 5 6 噪信比 23 0 99时递推辨识结果 1 3SA算法仿真程序与算例 例1 6 6 噪信比 23 0 99时递推辨识结果 2 例2考虑如图2所示的CARMA仿真对象 3SA算法仿真程序与算例 例2 1 4 图中w k 是服从均值为零 方差为1的正态分布的不相关随机噪声 输入信号u k 采用伪随机二进制序列 通过控制 w值来改变数据的噪信比 类似于ELS 扩展最小二乘法 可以处理CARMA模型的辨识 这里也可将SA法改进为扩展SA法 辨识中 选择如下模型结构y k a1y k 1 a2y k 2 b1u