最小二乘法基本原理与实践.ppt

延迟符 最小二乘法基本原理与实践 延迟符 PPT模板下载 行业PPT模板 节日PPT模板 PPT素材下载 PPT背景图片 PPT图表下载 优秀PPT下载 PPT教程 Word教程 Excel教程 资料下载 PPT课件下载 范文下载 试卷下载 教案下载 PPT论坛 最小二乘法基本概念及原理最小二乘法拟合的基本原理用MATLAB实现曲线拟合 延迟符 最小二乘法基本概念 最小二乘法 又称最小平方法 是一种数学优化技术 它通过最小化误差的平方和寻找数据的最佳函数匹配 利用最小二乘法可以简便地求得未知的数据 并使得这些求得的数据与实际数据之间误差的平方和为最小 延迟符 最小二乘法基本概念 通过对最小二乘法的定义可以看出来 最小二乘法是一种优化方法 求得目标函数的最优值 并且也可以用于曲线拟合 来解决回归问题 延迟符 最小二乘法思想 简单地说 最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小 这里的 二乘 指的是用平方来度量观测点与估计点的远近 在古汉语中 平方 称为 二乘 延迟符 最小二乘法解释 综合起来看 这条直线处于样本数据的中心位置最合理 选择最佳拟合曲线的标准可以确定为 使总的拟合误差 即总残差 达到最小 我们该以什么样的标准来度量拟合误差呢 延迟符 误差度量的三种标准 1 用 残差和最小 确定直线位置是一个途径 2 用 残差绝对值和最小 确定直线位置也是一个途径 存在不利于计算 不利于转化成可解问题等问题 3 最小二乘法的原则是以 残差平方和最小 确定直线位置 延迟符 问题思考 数据拟合中 为什么要让模型的预测数据与实际数据之差的平方和而不是绝对值和最小来优化模型参数 延迟符 最小二乘法解释 所选择的回归模型应该使所有观察值的残差平方和达到最小 Q为残差平方和 即采用平方损失函数 样本回归模型 其中ei为样本 xi yi 的误差 延迟符 最小二乘法解释 平方损失函数 则通过Q最小确定这条直线 即确定 以为变量 把它们看作是Q的函数 就变成了一个求极值的问题 延迟符 最小二乘法解释 求Q对两个待估参数的偏导数 延迟符 PPT模板下载 行业PPT模板 节日PPT模板 PPT素材下载 PPT背景图片 PPT图表下载 优秀PPT下载 PPT教程 Word教程 Excel教程 资料下载 PPT课件下载 范文下载 试卷下载 教案下载 PPT论坛 例1 假设我们收集到一些战舰的长度与宽度数据 延迟符 例1 根据这些数据我们可以借助MATLAB或者python画出散点图 延迟符 例1 假如我们取前两个点 238 32 4 152 15 5 就可以得到两个方程152 a b 15 5328 a b 32 4解这两个方程得a 0 197 b 14 48 延迟符 例1 根据解的a b的值得到回归直线 进而我们可以得到这样的拟合图 延迟符 例1 拟合图完成后 新的问题来了 这样的a b是不是最优解呢 a b是不是模型的最优化参数 在回答这个问题之前 我们先解决另外一个问题 a b满足什么条件才是最好的 用我们刚刚讲的最小二乘法的理论知识 答案是 保证所有数据偏差的平方和最小 延迟符 例1 先来看看怎么利用最小二乘法这个工具来计算最好的a和b 假设所有数据的平方和为M 则 延迟符 例1 我们现在要做的就是求使得M最小的a和b 请注意这个方程中 我们已知yi和xi那这个方程就是一个以 a b 为自变量 M为因变量的二元函数 延迟符 例1 在二元函数中 我们依然用导数 只不过这里的导数有了新的名字 偏导数 偏导数就是把两个变量中的一个视为常数来求导 通过对M来求偏导数 我们得到一个方程组 延迟符 例1 进一步化解得 延迟符 例1 这两个方程中xi和yi都是知道的 通过MATLAB很容易就求得a和b了 根据a b的值 画出最优的拟合图像 y 0 1612x 8 6451 如何在MATLAB中画出拟合曲线 延迟符 练习题 实验得到4个数据 x y 分别是 1 6 2 5 3 7 4 10 用最小二乘法思想计算找出一条和这四个点最匹配的直线 延迟符 最小二乘法曲线拟合原理 最小二乘法曲线拟合的基本思想是所有数据点与估计点 或称拟合点 的误差 如果是二维图形误差就是数据点与估计点的垂直距离 的平方和 如果所拟合的曲线能使该误差平方和最小 这就得到最小二乘法拟合曲线 延迟符 最小二乘法曲线拟合原理 其数学原理如下 对于给定的一组数据 xi yi i 1 2 3 m 若拟合曲线模型为 则第i误差距离为 所有点的平方和就是 进而求出的最小值对应的参数 因此得到拟合曲线 延迟符 曲线拟合的主要步骤 1 确定曲线的拟合模型在实际工程应用和科学实验中 有时很难确定参数之间存在着何种关系 是线性还是非线性 如果是非线性 那是多项式函数 幂函数 指数函数 对数函数等 甚至是它们的复合函数 有时还需要分段分析 因此在整个拟合过程中 拟合曲线函数模型的确定是最困难的 延迟符 PPT模板下载 行业PPT模板 节日PPT模板 PPT素材下载 PPT背景图片 PPT图表下载 优秀PPT下载 PPT教程 Word教程 Excel教程 资料下载 PPT课件下载 范文下载 试卷下载 教案下载 PPT论坛 拟合函数模型确定 对于拟合函数的模型确定 一般来说 主要有观察法 近似法以及计算法 目前用得较多的是观察法 观察法是利用数学专业知识对己知数据点的分布 初步确定其最可能的函数关系 该方法简单 直观 延迟符 曲线拟合的主要步骤 2 确定法方程求解参数实际是对误差平方和最小值的求解 假设己知数据点 为所有次数不超过m的多项式构成的函数类 现求使得 1 延迟符 曲线拟合的主要步骤 而公式 1 为多元函数 其最小值存在的必要条件是其对应偏导等于零 由此可得 延迟符 曲线拟合的主要步骤 即 3 公式3称为法方程 通过该方程可求出唯一解ak k 0 1 n 从而确定拟合函数 延迟符 PPT模板下载 行业PPT模板 节日PPT模板 PPT素材下载 PPT背景图片 PPT图表下载 优秀PPT下载 PPT教程 Word教程 Excel教程 资料下载 PPT课件下载 范文下载 试卷下载 教案下载 PPT论坛 曲线拟合的主要步骤 当k 1时为线性拟合 当k 1时 为多项式拟合 如果函数模型为其他非线性函数 在求解过程中应先将非线性函数转化为线性形式 再根据上面过程计算 延迟符 多项式拟合 假设给定数据点 为所有次数不超过n n m 的多项式构成的函数类 现求一 使得 延迟符 多项式拟合 当拟合函数为多项式时 称为多项式拟合 满足式 1 的称为最小二乘拟合多项式 显然 为的多元函数 因此上述问题即为求的极值问题 延迟符 多项式拟合 由多元函数求极值的必要条件 得即 延迟符 多项式拟合 3 式是关于的线性方程组 用矩阵表示为 延迟符 多项式拟合 可以证明 方程组 4 的系数矩阵是一个对称正定矩阵 故存在唯一解 从式 4 中解出 从而可得多项式 延迟符 多项式拟合 我们把称为最小二乘拟合多项式的平方误差 记作由 2 式可得 延迟符 多项式拟合 多项式拟合的一般方法可归纳为以下几步 1 由已知数据画出函数粗略的图形 散点图 确定拟合多项式的次数n 2 列表计算 3 写出正规方程组 求出 4 写出拟合多项式 延迟符 PPT模板下载 行业PPT模板 节日PPT模板 PPT素材下载 PPT背景图片 PPT图表下载 优秀PPT下载 PPT教程 Word教程 Excel教程 资料下载 PPT课件下载 范文下载 试卷下载 教案下载 PPT论坛 例2 已知实验数据如下表 试用最小二乘法求它的二次拟合多项式 延迟符 PPT模板下载 行业PPT模板 节日PPT模板 PPT素材下载 PPT背景图片 PPT图表下载 优秀PPT下载 PPT教程 Word教程 Excel教程 资料下载 PPT课件下载 范文下载 试卷下载 教案下载 PPT论坛 例2 设拟合曲线方程为 列表如下 延迟符 例2 得正规方程组 解得故拟合多项式为 延迟符 PPT模板下载 行业PPT模板 节日PPT模板 PPT素材下载 PPT背景图片 PPT图表下载 优秀PPT下载 PPT教程 Word教程 Excel教程 资料下载 PPT课件下载 范文下载 试卷下载 教案下载 PPT论坛 练习题 测得铜导线在温度 时的电阻如表 求电阻R与温度T的近似函数关系 延迟符 PPT模板下载 行业PPT模板 节日PPT模板 PPT素材下载 PPT背景图片 PPT图表下载 优秀PPT下载 PPT教程 Word教程 Excel教程 资料下载 PPT课件下载 范文下载 试卷下载 教案下载 PPT论坛 练习题 提示 画出散点图 确定拟合多项式次数n 可见测得的数据接近一条直线 故取n 1 拟合函数为 延迟符 PPT模板下载 行业PPT模板 节日PPT模板 PPT素材下载 PPT背景图片 PPT图表下载 优秀PPT下载 PPT教程 Word教程 Excel教程 资料下载 PPT课件下载 范文下载 试卷下载 教案下载 PPT论坛 练习题 列表如下 延迟符 曲线拟合应用举例 在摩擦实验中 当量电压为 285V时 伺服电机开启后 时间与速度关系如表所示 求速度与时间的拟合曲线及200ms时的加速度 10到500ms时的转速值 延迟符 曲线拟合应用举例 1 根据上述提供己知数据 以时间为横坐标 速度为纵坐标 在Matlab画出数据点示意图 如图所示 延迟符 曲线拟合应用举例 根据物理知识 当加速度一定时 时间和速度是成一定比例 但本题不知道加速度如何变化 所以时间和速度可能不是线性关系 另外从数据点示图上看不出明显的数学规律 所以我们对本题进行了线性 多项式二次 三次 幂函数 对数函数曲线拟合 从中得到最优拟合 延迟符 曲线拟合应用举例 2 对各函数模型进行曲线拟合a 线性拟合 得到线性拟合函数 误差平方和线性拟合示意图如下所示 延迟符 曲线拟合应用举例 线性拟合图 延迟符 曲线拟合应用举例 b 多项式二次拟合 得到拟合函数 误差平方和 延迟符 曲线拟合应用举例 多项式2次拟合 延迟符 曲线拟合应用举例 c 多项式三次拟合 得到拟合函数 误差平方和 延迟符 曲线拟合应用举例 多项式三次拟合 延迟符 曲线拟合应用举例 d 对数函数拟合 模型函数 令因此对数模型函数就转为线性函数的拟合得到拟合函数误差平方和 延迟符 曲线拟合应用举例 对数函数拟合 延迟符 曲线拟合应用举例 e 幂函数拟合 模型函数两边取对数得 因此指数函数就转为线性函数的拟合 得到拟合函数 误差平方和 延迟符 曲线拟合应用举例 指数函数拟合 延迟符 PPT模板下载 行业PPT模板 节日PPT模板 PPT素材下载 PPT背景图片 PPT图表下载 优秀PPT下载 PPT教程 Word教程 Excel教程 资料下载 PPT课件下载 范文下载 试卷下载 教案下载 PPT论坛 曲线拟合应用举例 各拟合函数比较表 延迟符 曲线拟合应用举例 从各拟合函数比较表中可以看出多项式二次 三次的拟合误差平方和是最小 因此两种曲线拟合是最优的 不过由于多项式拟合次数越高 计算量就越大 若取过高 会将噪声纳入模型中 引起更大的误差 延迟符 曲线拟合应用举例 结合本题实际及在误差相差很小的情况下 比较倾向选择多项式二次函数进行拟合 因此对拟合函数求导得电机加速度方程y 4 1048x 2 3786 把200ms代入 可得到200ms处加速度为1 5576m s2 延迟符 总结 在工程应用与科学实验中有广泛应用的最小二乘法 能否准确拟合出曲线是非常重要的 通过一个实例利用最小二乘法对己知数据进行线性及非线性拟合 借助Matlab这个强大的计算机工具快捷实现目标 整个过程详细 准确 为进一步研究曲线拟合打下基础 延迟符 在摩擦实验中 当量电压为 285V时 伺服电机开启后 时间与速度关系如例题中表所示 求速度与时间的拟合曲线及200ms时的加