曲线拟合的最小二乘法

第3章曲线拟合最小二乘法1拟合曲线给出一组离散点，确定一个函数迫近原函数，插值是这么一个伎俩。在实际中，数据不可防止会有误差，插值函数会将这些误差也包含在内。所以，我们需要一个新迫近原函数伎俩：①不要求过全部点（能够消除误差影响）；②尽可能表现数据趋势，靠近这些点。第1页第3章曲线拟合最小二乘法形式化描述依然是已知x1…xm

;y1…ym,求一个简单易算近似函数P(x)

来拟合这些数据。不过①m很大；②yi本身是测量值，不准确，即yi

f(xi)这时没必要取

P(xi)=yi,而要使

i=P(xi)

yi总体上尽可能地小。这种结构近似函数方法称为曲线拟合，P(x)

称为拟合函数称为“残差”第2页常见做法：使最小较复杂，使最小不可导，求解困难使最小“使

i

=P(xi)

yi尽可能地小”有不一样准则称为均方误差。因为计算其最小值方法轻易实现而被广泛采取。按均方误差到达极小结构拟合曲线方法称为最小二乘法。第3页1线性拟合和最小二乘拟合对于已知m+1对离散数据，记在连续函数空间C[a,b]中选定n+1个线性无关基函数

，并记由它们生成子空间为：若有使得第4页则称

为离散数据在子空间中最小二乘拟合。对于选定基函数，定义中拟合曲线即拟合模型，是待定参数线性函数，故称之为线性最小二乘问题。因为记：则最小二乘问题，即求极小值问题(1)解，也就是求多元二次函数极小值点，使得：第5页问题：极值问题(2)解是否存在，是否唯一，即最小二乘问题(1)解是否存在唯一？假如存在唯一，怎样求之？正规(法)方程和解存在唯一性因为是关于待定参数二次多项式函数，所以(2)式有解必要条件为：即：记m+1维向量:第6页其中为函数在点列处取值向量，由向量内积定义，可得：故方程(3)可写成:即：G方程称之为正规方程(或法方程)

。第7页由此可见，最小二乘问题存在唯一解必要条件就是正规方程系数矩阵G非奇异。显然G为对称矩阵，称为Gram矩阵.定理2：对于已知m+1对离散数据，选定n+1维连续函数空间，假如它有一组基在点列处值向量组线性无关，则最小二乘问题存在唯一解，其中为正规方程解.定理1：Gram矩阵G非奇异充要条件是向量组线性无关。注:

(1)最小二乘问题解与所选基函数无关。即对于n+1维连续函数空间任何基，只要它们在点列处值向量组线性无关，就能够用对应正规方程求解，从而得到相同拟合曲线。

第8页(2)

在离散点列中，对自变量序列没有尤其要求，既不需要有序，也能够重复。Gram矩阵G由子空间基函数和自变量序列确定，与离散点函数值无关。三多项式拟合在离散数据最小二乘拟合中，最简单也是最惯用数学模型就是多项式：即在多项式空间中作曲线拟合，称为多项式拟合。第9页特例：一次多项式拟合设一次多项式则由得第10页即解得则得拟合多项式。例：已知，求拟合直线.解：设拟合直线为，则法方程组为:解得所以所求拟合直线为:第11页普通多项式拟合设n次多项式则法方程为:注:数据代入多项式后所得矛盾方程组记为Aα=y,则上述正则方程即为,也就是矛盾方程组正则方程组.故也可经过求得拟合多项式各项系数.第12页例：已知函数观察数据为：304321用最小二乘法求形如经验公式使与题目数据拟合.解：正则方程组为:解得:所以拟合曲线为:第13页可化为线性模型曲线拟合1分式函数这种情形可令，则有此时法方程组为:2指数函数3幂函数第14页例：给定数据以下：

x1.01.41.82.22.6

y0.9310.4730.2970.2240.168求形如拟合曲线.解：令，则拟合函数转化为线性模型:此时数据转化为：

x1.01.41.82.22.6

z1.0742.1143.3674.4645.592用该线性模型拟合上述数据，对应正规方程为:解得:故所求拟合曲线为:第15页例：年人口预测问题.依据下表数据结构拟合函数，预测年时世界人口。（类似于书上例3.3，p76）年196019611962196319641965196619671968人口/亿29.7230.6131.5132.1332.3432.8533.5634.2034.83解：依据人口增加统计资料和人口理论数学模型可知，当人口总数N不是很大时，在不太长时期内，人口增加靠近于指数增加。所以采取指数函数对数据进行拟合。两边同时取对数，得：，令，变换后拟合函数为：

对人口数据取对数，计算得下表:年196019611962196319641965196619671968人口/亿3.39183.42133.45033.46983.47633.49203.51333.53223.5505第16页对应正规方程为:解得:故所求拟合函数为:经计算N()=64.1805亿，基本反应了人口改变趋势.第17页3解矛盾方程组设线性方程组或(1)当线性方程组(1)系数矩阵（A）和增广矩阵（A,

b）秩不相等时,方程组无解,这时称方程组为矛盾方程组.其中线性方程组称为上述矛盾方程法方程或者正则方程组。注意，矩阵对称。注意，矩阵对称，当时，法方程有唯一解。第18页定理:设是矛盾方程组法