最小二乘参数辨识方法及原理.ppt

系统辨识 第4章最小二乘参数辨识方法 1 最小二乘辨识的基本概念2 一般最小二乘辨识方法3 加权最小二乘辨识方法4 递推最小二乘参数辨识方法5 增广最小二乘辨识方法6 多变量最小二乘辨识方法 本章内容 本章的学习目的1 掌握最小二乘参数辨识方法的基本原理2 掌握常用的最小二乘辨识方法3 熟练应用最小二乘参数辨识方法进行模型参数辨识4 能够编程实现最小二乘参数辨识 1 问题的提出 1 问题的提出 辨识目的 根据过程所提供的测量信息 在某种准则意义下 估计模型的未知参数 Process Input Output 1 问题的提出 极大似然 构造一个以数据和未知参数为自变量的似然函数 Process Input Output 要求 独立观测条件下 知道输出量的概率分布 缺点 输出量概率密度分布未知 极大似然无法工作计算量大 得不到解析解 1 问题的提出 惯性器件标定 陀螺仪 加速度计 1 问题的提出 惯性器件标定 1 问题的提出 惯性器件标定 1 问题的提出 惯性器件标定 1 问题的提出 景像匹配 1 问题的提出 景像匹配 1 问题的提出 摄像机标定 1 问题的提出 摄像机标定 1 问题的提出 摄像机标定 1 问题的提出 摄像机标定 m次独立试验的数据 1 问题的提出 m次独立试验的数据 1795年 高斯提出了最小二乘方法 1 问题的提出 未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后的和为最小 1795年 高斯提出的最小二乘的基本原理是 1 问题的提出 Gauss 1777 1855 未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后的和为最小 1795年 高斯提出的最小二乘的基本原理是 1 问题的提出 Gauss 1777 1855 2 最小二乘辨识方法的基本概念 通过试验确定热敏电阻阻值和温度间的关系 当测量没有任何误差时 仅需2个测量值 每次测量总是存在随机误差 2 1利用最小二乘法求模型参数 根据最小二乘的准则有 根据求极值的方法 对上式求导 2 1利用最小二乘法求模型参数 2 2一般最小二乘法原理及算法 2 2一般最小二乘法原理及算法 若考虑被辨识系统或观测信息中含有噪声 如果定义 2 2一般最小二乘法原理及算法 2 2一般最小二乘法原理及算法 2 2一般最小二乘法原理及算法 2 2一般最小二乘法原理及算法 2 2一般最小二乘法原理及算法 2 2一般最小二乘法原理及算法 最小二乘法的几何解释 2 2一般最小二乘法原理及算法 最小二乘法的几何解释 2 2一般最小二乘法原理及算法 最小 证明 2 2一般最小二乘法原理及算法 如果由测量噪声及模型误差等引起的误差v的均值为0 且v与输入矢量X是统计独立的 最小二乘的估计值是无偏的 证明 根据第 1 式的证明 显然有 2 2一般最小二乘法原理及算法 证明 2 2一般最小二乘法原理及算法 2 2一般最小二乘法原理及算法 解 由题意得量测方程 2 2一般最小二乘法原理及算法 2 3加权最小二乘法原理及算法 一般最小二乘估计精度不高的原因之一是对测量数据同等对待各次测量数据很难在相同的条件下获得的有的测量值置信度高 有的测量值置信度低对不同置信度的测量值采用加权的办法分别对待置信度高的 权重取得大些 置信度低的 权重取的小些 2 3加权最小二乘法原理及算法 2 2加权最小二乘法原理及算法 2 3加权最小二乘法原理及算法 2 3加权最小二乘法原理及算法 马尔可夫估计 2 3加权最小二乘法原理及算法 例3 2用2台仪器对未知标量各直接测量一次 量测量分别为z1和z2 仪器的测量误差均值为0 方差分别为r和4r的随机量 求其最小二乘估计 并计算估计的均方误差 2 3加权最小二乘法原理及算法 解 由题意得量测方程 例3 4考虑仿真对象 选择如下的辨识模型进行一般的最小二乘参数辨识 2 3加权最小二乘法原理及算法 4阶M序列 输出信号 一般最小二乘参数辨识流程图 3 3递推最小二乘法原理及算法 一般最小二乘或加权最小二乘为一次完成算法或批处理算法 计算量大 存储大 不适合在线辨识 采用参数递推估计 递推最小二乘算法 3 3递推最小二乘法原理及算法 3 3递推最小二乘法原理及算法 3 3递推最小二乘法原理及算法 如果设 则有 3 3递推最小二乘法原理及算法 3 3递推最小二乘法原理及算法 3 3递推最小二乘法原理及算法 3 3递推最小二乘法原理及算法 令 3 3递推最小二乘法原理及算法 3 3递推最小二乘法原理及算法 3 3递推最小二乘法原理及算法 3 3递推最小二乘法原理及算法 3 3递推最小二乘法原理及算法 3 3递推最小二乘法原理及算法 例3 5对3 4采用递推最小二乘估计辨识模型参数 选择如下的辨识模型进行递推最小二乘参数辨识 3 3递推最小二乘法原理及算法 3 3递推最小二乘法原理及算法 数据饱和后 由于递推计算的舍入误差 不仅新的观测值对参数估计不起修正作用 反而使失去正定性 导致估计误差增加 3 3递推最小二乘法原理及算法 当系统参数随时间变化时 因新数据被旧数据所淹没 递推算法无法直接使用 为适应时变参数的情况 修改算法时旧数据的权重 降低 增加新数据的作用 主要方法有数据窗法和Kalman滤波法 数据窗法主要有矩形窗和指数窗 3 3递推最小二乘法原理及算法 矩形窗 3 3递推最小二乘法原理及算法 矩形窗 3 3递推最小二乘法原理及算法 指数窗 3 3递推最小二乘法原理及算法 3 3递推最小二乘法原理及算法 指数窗 3 4增广最小二乘法原理及算法 3 4增广最小二乘法原理及算法 3 4增广最小二乘法原理及算法 例3 6考虑理想数学模型为 选择如下的辨识模型进行增广递推最小二乘参数辨识 3 5 1多变量系统的最小二乘辨识的原理 MIMO系统 3 5 1多变量系统的最小二乘辨识的原理 MIMO系统的子系统 3 5 1多变量系统的最小二乘辨识的原理 3 5 1多变量系统的最小二乘辨识的原理 待辨识的参数 3 5 1多变量系统的最小二乘辨识的原理 3 5 2多变量系统的最小二乘辨识的算法与设计 3 5 2多变量系统的最小二乘辨识的算法与设计 3 5 2多变量系统的最小二乘辨识的算法与设计 3 5 2多变量系统的最小二乘辨识的算法与设计 3 5 2多变量系统的最小二乘辨识的算法与设计 3 5 2多变量系统的最小二乘辨识的算法与设计 3 5 2多变量系统的最小二乘辨识的算法与设计 多变量系统的最小二乘辨识的算法的递推形式 3 5 2多变量系统的最小二乘辨识的算法与设计 例3 8采用多变量系统的最小二乘辨识方法辨识如下MIMO系统的参数 3 5 2多变量系统的最小二乘辨识的算法与设计 3 6本章小结 输入 系统模型 输出 极值原理 测量值加权 批处理 在线 有偏估计时 对噪声辨识 SISO MIMO 估值精度低 作业1 作业1 答案 解