最小二乘曲线拟合与参数辨识.ppt

m次独立试验的数据 1 引言 1801年初 天文学家皮亚齐发现了谷神星 1801年末 天文爱好者奥博斯 在高斯预言的时间里 再次发现谷神星 1802年又成功地预测了智神星的轨道 高斯自己独创了一套行星轨道计算理论 高斯仅用1小时就算出了谷神星的轨道形状 并进行了预测 1794年 高斯提出了最小二乘的思想 未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后的和为最小 1794年 高斯提出的最小二乘的基本原理是 2 最小二乘辨识方法的基本概念 通过试验确定热敏电阻阻值和温度间的关系 当测量没有任何误差时 仅需2个测量值 每次测量总是存在随机误差 使最小 minimaxproblem 太复杂 使最小 不可导 求解困难 使最小 测量误差的平方和最小 常见做法 2 1利用最小二乘法求模型参数 根据最小二乘的准则有 根据求极值的方法 对上式求导 2 1利用最小二乘法求模型参数 2 2一般最小二乘法原理及算法 2 2一般最小二乘法原理及算法 若考虑被辨识系统或观测信息中含有噪声 如果定义 2 2一般最小二乘法原理及算法 2 2一般最小二乘法原理及算法 2 2一般最小二乘法原理及算法 2 2一般最小二乘法原理及算法 2 2一般最小二乘法原理及算法 证明 证明 根据第 1 式的证明 显然有 2 2一般最小二乘法原理及算法 解 由题意得量测方程 2 2一般最小二乘法原理及算法 2 3加权最小二乘法原理及算法 一般最小二乘估计精度不高的原因之一是对测量数据同等对待各次测量数据很难在相同的条件下获得的有的测量值置信度高 有的测量值置信度低的问题对不同置信度的测量值采用加权的办法分别对待置信度高的 权重取得大些 置信度低的 权重取的小些 2 3加权最小二乘法原理及算法 2 3加权最小二乘法原理及算法 2 3加权最小二乘法原理及算法 马尔可夫估计 2 3加权最小二乘法原理及算法 例3 2用2台仪器对未知标量各直接测量一次 量测量分别为z1和z2 仪器的测量误差均值为0 方差分别为r和4r的随机量 求其最小二乘估计 并计算估计的均方误差 2 3加权最小二乘法原理及算法 解 由题意得量测方程 例3 4考虑仿真对象 选择如下的辨识模型进行一般的最小二乘参数辨识 2 3加权最小二乘法原理及算法 4阶M序列 输出信号 一般最小二乘参数辨识流程图 1线性最小二乘问题 一 最小二乘问题的一般提法 在实际应用中 经常遇到下列数据处理问题 已知函数在m个点上的数据表 寻求其近似函数 设的近似函数为 其中是某函数族中的已知线性无关函数 称为残向量 寻求一组常数 要求 的2 范数达到最小 则得到最小二乘问题 上述问题的解也称为方程组的最小二乘解 当时称之为超定 或矛盾 方程组 所谓 曲线拟合 是指根据给定的数据表 寻找一个简单的表达式来 拟合 该组数据 此处的 拟合 的含义为 不要求该表达式对应的近似曲线完全通过所有的数据点 只要求该近似曲线能够反映数据的基本变化趋势 二 最小二乘多项式拟合 引例1 考察某种纤维的强度与其拉伸倍数的关系 下表是实际测定的24个纤维样品的强度与相应的拉伸倍数的数据记录 可以看出 纤维强度随拉伸倍数增加而增加 并且24个点大致分布在一条直线附近 该直线称为这一问题的数学模型 因此可认为强度与拉伸倍数之间的主要关系是线性关系 怎样确定a b 使得直线能较好地反映所给数据的基本 变化趋势 采用最小二乘的思想 令 问题转化为求参数使达到最小值 这种求线性函数y a bx的过程称为线性拟合 一般地 设的近似函数为 寻求 使得 则称为函数的多项式拟合 满足下列法方程组 非线性拟合 某些非线性拟合问题可转化为线性拟合问题 线性化处理 令 则 由线性拟合方法可得到和 从而得到和 又如 若非线性函数取为 令 其中 三 最小二乘问题解的存在性 唯一性 方程组相容的充要条件是 满秩分解 证明 记 不妨假设的前列线性无关 令 其中 满秩分解 其中 其中 因此 对任何阶矩阵总存在满秩分解 证明 充分性 设是的解 必要性 设是方程组的最小二乘解 记 由极值的必要条件知 即 方程组必存在最小二乘解 证明 记 则存在满秩分解 法方程组可写成 证明 由定理7 1 3知