第九节 曲线拟合的最小二乘法

1、内江师范学院数学与信息科学学院内江师范学院数学与信息科学学院 吴开腾吴开腾 制作制作 最小二乘法最小二乘法 最小二乘解的求法最小二乘解的求法 加权最小二乘法加权最小二乘法 主要内容主要内容 问题的提出问题的提出 内江师范学院数学与信息科学学院内江师范学院数学与信息科学学院 吴开腾吴开腾 制作制作 一、问题的提法一、问题的提法 怎样从给定的一组数据出发，在某个函数类中怎样从给定的一组数据出发，在某个函数类中 寻找一个寻找一个“最好最好”的函数来拟合这组数据。的函数来拟合这组数据。 二、目二、目 的的 在科学实验和生产实践中，经常要从一组实验数据在科学实验和生产实践中，经常要从一组实验数据 出发，

2、寻找函数出发，寻找函数y=f(x)的一个近似公式（称为经验公的一个近似公式（称为经验公 式）。已有的多项式插值法解决这类问题有明显的式）。已有的多项式插值法解决这类问题有明显的 缺陷：实验数据有误差；实验数据量大等。缺陷：实验数据有误差；实验数据量大等。 三、方三、方 法法 曲线拟合方法曲线拟合方法. 内江师范学院数学与信息科学学院内江师范学院数学与信息科学学院 吴开腾吴开腾 制作制作 一、基本概念：残差一、基本概念：残差 (1,2,) iii eyyiN 二、残差的选取方法（原则）二、残差的选取方法（原则） 1、选取、选取 ，使偏差绝对值之和最小，即，使偏差绝对值之和最小，即)(x 11 m

3、in NN iii ii eyy 拟合的目的：使得残差最小，其中拟合的目的：使得残差最小，其中 为所要找为所要找 的函数。的函数。 ( )yx 内江师范学院数学与信息科学学院内江师范学院数学与信息科学学院 吴开腾吴开腾 制作制作 3、选取、选取 ，使偏差平方之和最小，即，使偏差平方之和最小，即)(x 2、选取、选取 ，使偏差最大绝对值最小，即，使偏差最大绝对值最小，即)(x 22 11 min NN iii ii eyy maxmaxmin iii ii eyy 内江师范学院数学与信息科学学院内江师范学院数学与信息科学学院 吴开腾吴开腾 制作制作 三、最小二乘原则（方法）三、最小二乘原则（方法

4、） 1、定义：使、定义：使“偏差平方和最小偏差平方和最小”的原则的原则 称为最小二乘原则。称为最小二乘原则。 2、定义：按照最小二乘原则选取拟合曲、定义：按照最小二乘原则选取拟合曲 线的方法，称为线的方法，称为最小二乘法最小二乘法。 内江师范学院数学与信息科学学院内江师范学院数学与信息科学学院 吴开腾吴开腾 制作制作 3、线性最小二乘问题的提法、线性最小二乘问题的提法 对给定数据表对给定数据表 要求在某个函数类要求在某个函数类 中寻求一个函数（中寻求一个函数（线性构成线性构成） 使使 满足条件满足条件 12 12 N N x x xx y y yy 01 ( ),( ),( )() m xxx

5、mN * 0011 ( )( )( )( ) mm xaxaxax )( * x 22 ( ) 11 ( )min ( ) NN iiii x ii xyxy 式中，式中， 是函数类是函数类 中中 任一函数。任一函数。 0 01 1 ( )( )( )( ) m m xaxaxax 内江师范学院数学与信息科学学院内江师范学院数学与信息科学学院 吴开腾吴开腾 制作制作 满足上述关系式的函数满足上述关系式的函数 ，称为上述最小二乘，称为上述最小二乘 问题的问题的最小二乘解最小二乘解。 )( * x 如何求解最小二乘问题？如何求解最小二乘问题？ 22 ( ) 11 ( )min ( )(*) NN

6、iiii x ii xyxy 1、确定函数类、确定函数类 原则：根据实际问题与所给数据点的变化规律；原则：根据实际问题与所给数据点的变化规律； 有两个基本环节有两个基本环节 2、求解如下方程：、求解如下方程： 内江师范学院数学与信息科学学院内江师范学院数学与信息科学学院 吴开腾吴开腾 制作制作 一、求解的基本原理：极小值原理一、求解的基本原理：极小值原理 点点 是多元函数是多元函数 的极小值点，从而有的极小值点，从而有 满足方程组满足方程组 2 01 10 (,)( ) Nm mkkii ik S a aaaxy 01 (,) m a aa 01 , m a aa 0,(0,1,) k S k

7、m a 内江师范学院数学与信息科学学院内江师范学院数学与信息科学学院 吴开腾吴开腾 制作制作 二、正则（法）方程组二、正则（法）方程组 0001000 1011111 01 ( , ) ( , )( ,)( , ) ( , ) ( , )( ,)( , ) (*) ( , ) ( , )( ,)( , ) m m mmmmnm af af af 如果定义如果定义:对任意函数对任意函数 和和 ，引入记号，引入记号( )h x( )g x 1 ( , )( ) ( ) N ii i h gh x g x 内江师范学院数学与信息科学学院内江师范学院数学与信息科学学院 吴开腾吴开腾 制作制作 三、定理

8、（最小二乘解的存在唯一性定理）三、定理（最小二乘解的存在唯一性定理） 对于给定的一组实验数据对于给定的一组实验数据 ( 互异，互异， ）, 在函数类在函数类 （ 且且 线性无关）线性无关） 中，存在唯一的函数中，存在唯一的函数 使得关系式（使得关系式（*）成立，并且其系数）成立，并且其系数 可以通过解法方程组（可以通过解法方程组（*）得到。）得到。 ( ,) ii x y i x 1,2,iN 01 ( ), ( ),( ) m xxx 01 ( ),( ),( ) m xxx mN * 0011 ( )( )( )( ) mm xaxaxax * 01 , m a aa 内江师范学院数学与信

9、息科学学院内江师范学院数学与信息科学学院 吴开腾吴开腾 制作制作 作为一种应用，拟合曲线假设为代数曲线，即取作为一种应用，拟合曲线假设为代数曲线，即取: 01 ( )1,( ),( ) m m xxxxx 则有：则有： 11 (,)( ,0,1,) NN jkj k jkiii ii x xxj km 11 (,)(0,1,) NN kj k kiii ii fx yxkm 四、应用分析四、应用分析 内江师范学院数学与信息科学学院内江师范学院数学与信息科学学院 吴开腾吴开腾 制作制作 于是正则（法）方程组为：于是正则（法）方程组为： 111 0 21 1 1111 12 1111 NNN m

10、iii iii NNNN m iiiii iiii n NNNN mmmm iiiii iiii Nxxy a xxxax y a xxxx y 内江师范学院数学与信息科学学院内江师范学院数学与信息科学学院 吴开腾吴开腾 制作制作 五、应用举例五、应用举例 说明最小二乘法解决实际问题的具体步骤和某些技巧。说明最小二乘法解决实际问题的具体步骤和某些技巧。 例例1(补充补充) 某种铝合金的含铝量为某种铝合金的含铝量为x(),其熔解温度为其熔解温度为y （0C），由实验测得），由实验测得x与与y的数据如下表左边的三列。试的数据如下表左边的三列。试 用最小二乘法建立用最小二乘法建立x与与y的经验公式。

11、的经验公式。 解：解：1、将、将数据数据进行描图观察；进行描图观察； 2、确定拟合曲线的形式。这里根据所描图形分析，、确定拟合曲线的形式。这里根据所描图形分析， 拟合曲线接近于一直线，故可用拟合曲线接近于一直线，故可用进行拟进行拟 合这组数据；合这组数据； 3、建立法方程组；、建立法方程组； 4、解法方程组；、解法方程组； 5、检验拟合值与实测值之间的偏差（、检验拟合值与实测值之间的偏差（ ）：）： 内江师范学院数学与信息科学学院内江师范学院数学与信息科学学院 吴开腾吴开腾 制作制作 内江师范学院数学与信息科学学院内江师范学院数学与信息科学学院 吴开腾吴开腾 制作制作 内江师范学院数学与信息科

12、学学院内江师范学院数学与信息科学学院 吴开腾吴开腾 制作制作 6 1 6 1 6 1 2 6 1 6 1 6 i ii i i i i i i i i yx y b a xx x 法方程组法方程组 3 .10117628.283656 .396 14589 .3966 ba ba 对应的代数方程组：对应的代数方程组： 内江师范学院数学与信息科学学院内江师范学院数学与信息科学学院 吴开腾吴开腾 制作制作 在以多项式在以多项式 作为拟合函作为拟合函 数（曲线）数（曲线） 时，最小二时，最小二 乘法的计算乘法的计算 机实现步骤机实现步骤 为右框图。为右框图。 六、程序六、程序 化化 内江师范学院数学

13、与信息科学学院内江师范学院数学与信息科学学院 吴开腾吴开腾 制作制作 1、实际问题的解决中测得的数据并不都是等精度、等、实际问题的解决中测得的数据并不都是等精度、等 地位的。显然，对于精度高、地位重的数据应该以足够地位的。显然，对于精度高、地位重的数据应该以足够 的重视，在计算时，给以足够的、更大的权重，在这种的重视，在计算时，给以足够的、更大的权重，在这种 情况下，求给定的数据的拟合曲线，情况下，求给定的数据的拟合曲线， 2、利用最小二乘法原则上解决了最小二乘法意义下的、利用最小二乘法原则上解决了最小二乘法意义下的 曲线拟合问题，但在实际问题的解决时，曲线拟合问题，但在实际问题的解决时，n往往很大，往往很大， 法方程组往往是病态的，因而给求解带来了一定的困难，法方程组往往是病态的，因而给求解带来了一定的困难， 为了解决这一问题，近年来，产生了一些新方法来克服为了解决这一问题，近年来，产生了一些新方法来克服 这一困难，利用正交函数（正交多项式）作多项式的拟这一困难，利用正交函数（正交多项式）作多项式的拟 合。合。 小结小结 内江师范学院数学与信息科学学院内江师范学