系统辨识与滤波最小二乘法辨识.ppt

第5章最小二乘法辨识 把待辨识的系统看作 黑箱 只考虑系统的输入 输出特性 而不强调系统的内部机理 本章主要讨论单输入 单输出系统的差分方程作为模型的系统辨识问题 差分方程模型的辨识问题包括阶的确定和参数估计2个方面 本章讨论采用最小二乘法进行参数估计 1 最小二乘法 设单输入 单输出线性定常系统的差分方程为 1 式中 为输入信号 为理论上的输出值 的观测值可表示为式中为随机干扰 则 将代入差分方程中 有 4 往往把看作白噪声设则式 4 可写成 5 假设不仅包含了的测量误差 而且还包含的测量误差和系统内部噪声 假定是不相关随机序列 现分别测出个输入输出值 列出 个方程为 设 可得到 8 式中 为N维输出向量 为N维噪声向量 为维参数向量 为测量矩阵 式 8 式一个含有个未知参数 由N个方程组成方程组 当 方程数少于未知数数目 则方程组的解是不定的 当 方程数正好与未知数相等 当噪声时 就能准确的解出 如果噪声 则从上式可以看出噪声对参数估计有影响 为了尽量减少噪声对估值的影响 应取此时 要采用数理统计的方法求的值 以减少噪声对估计值的影响 最小二乘估计算法 设表示的最优估值 表示的最优估值 则有式中 设表示与之差 即将称为残差 把分别代入上式可得残差 设则有 最小二乘估计要求残差的平方和为最小 即按照目标函数为最小来确定估值 求J对的偏导数并令其等于0 可得J为极小值的充分条件是即矩阵为正定矩阵 这种辨识方法称为一次完成的最小二乘估计 用来辨识的数据长度是 算法表明 全部组数据是一次计算完毕的 这种方法常用于离线辨识 优点 辨识精度高 缺点 每取到一组新数据后 都需要重新解方程组 每算一次都需要用全部数据 致使计算的存储量越来越大 计算量也逐渐增加 2 最小二乘递推算法 令则有 考虑目标函数极小化 可求得 10 当新数据取得时 有其中 令则应用矩阵求逆引理 可得和的递推关系式矩阵求逆引理 设A为矩阵 B和C为矩阵 并且A 和都是非奇异矩阵 则有矩阵恒等式 令 根据引理有由于为标量 则而 由于上式中第二项为把它代入原式 消去同类项 经整理得此式即为最小二乘的递推算式 利用此式计算 时要已知 前次估计值 历史数据 和新观测值 算法所需存贮空间分析 算法中 为2n 1个存贮单元 而是维矩阵 显然 将换成后 存贮量大为减少 因为n为模型的阶数 一般远远小于N 递推公式的直观意义 如果用表示预报值 那么表示预报误差 这就表明 新的参数估计值是根据预报偏差来对原估计值进行修正 修正的幅度大小是按最小二乘准则来确定的 为了进行递推计算 需要给出和的初值和 有两种给出初值的方法 1 设为N的初始值 则根据公式可算出初值2 假定是充分大的常数 为单位矩阵 则经过若干次递推之后能得到较好的参数估计 3 最小二乘估计量的统计特性 1 无偏性定理1 假设模型 5 式中的是均值为零的平稳独立随机序列 则最小二乘估计量是具有无偏性的 即其中表示参数的真实值 证明 令误差向量 由式 8 可知 将它代入 10 式得对上式两边取数学期望 并应用为独立 零均值得统计特性 可得证毕 2 误差协方差定理2 如果是均值为零 方差为的白噪声序列 则最小二乘估计误差的协方差矩阵是 证明 定义误差向量的协方差矩阵是证毕 上式可写为当时 上式为零 即以概率1趋近 因此 当为不相关随机序列时 最小二乘估计具有无偏性和一致性 如果系统的参数估计具有这种特性 就称系统具有可辨识性 现举例说明最小二乘法的估计精度例5 1 设单输入 单输出系统的差分方程为设是幅值为1的伪随机二位式序列 噪声是一个方差可调的正态分布随机序列 从方程中可看到 因此真实的为取观测数据长度 当噪声均方差取不同值时 系统参数的最小二乘估计值如下表 表5 1参数估值表 计算结果表明 当不存在噪声时 可以获得精确的估值 估值的均方差随着噪声均方差的增大而增大 3 渐进正态性定理3 假设是均值为零 方差为的正态白噪声 则最小二乘参数估计值服从正态分布 即4 有效性定理4 假设是均值为零 方差为的正态白噪声 则最小二乘参数估计量是有效估计量 即参数估计误差的协方差达到Cramer Rao不等式 克拉默 勞下限 的下界其中M为Fisher信息矩阵 4 适应算法 随着更多观测数据的处理 递推最小二乘法对线性定常系统的参数估计并非越来越精确 有时会发现由此得到的参数估计量与实际参数之间的误差越来越大 即出现 数据饱和 现象 这是因为是正定的 而中是非负定的 所以都是正定的 根据递推最小二乘法中公式 可得 所以随着递推次数的增加 越来越小 这会导致新采样值对参数估计的修正不再起作用 即产生 数据饱和 现象 另外 由于递推在有穷字长的计算机上实现时 每步都存在舍入误差 因此数据饱和后 由于这些原因致使新的采样值不仅对参数估计不起改进作用 反而可能使所计算的失去正定性 甚至失去对称性 造成参数的估计值和真实参数之间的偏差越来越大 为了克服数据饱和现象 可以用降低旧数据影响的办法来修正算法 而对于时变系统 估计k时刻的参数最好用k时刻附近的数据估计较准确 否则新数据所带来的信息将被就数据所淹没 几种算法 渐消记忆法 限定记忆法与振荡记忆法 1 渐消记忆法 该法的思想是对过去数据乘上加权因子 利用加权来人为地降低老数据的作用 考虑下列目标函数其中 当时就是标准的最小二乘算法 可以证明其递推算法是 4 1 a 4 1 b 4 1 c 证明 令则 利用矩阵求逆 令 证毕 一般情况下 比较适宜 太小了会降低 参数估计的精度 的一个很好的选择是令 典型取值 4 2 2 限定记忆法 这种估计算法只用最新的N个数据 在此前的数据 全部删除掉 如考虑一个固定长度为N的矩形窗 每一时刻一个新数据点增加进来 一个老数据点剔除出去 这样就保持了每次都只取最新的N组数据 用下标表示用第组直到组观测值计算到的各种变量 例如表示第组直到组一共N 1组观测数据计算到的参数估计值 而表示第组到组一共N组观测数据计算到的参数估计值 这样 递推方程 4 1 中 则可写成为了保持数据窗的长度等于N 要从上三式中剔除i时刻的观测值 即求其中 利用矩阵求逆运算 可得 该式就是限