曲线拟合的最小二乘法

关于曲线拟合的最小二乘法曲线拟合问题:

(建立试验数据的模型)

在实际应用中，往往并不需要曲线通过给定的数据点，而只要求用曲线(函数)近似代替给定的列表函数时，其

误差在某种度量意义下最小。函数逼近问题:

(连续函数的逼近)

在实际应用中常需为解析式子比较复杂的函数寻找一个简单函数来近似代替它，并要求其误差在某种度量意义下最小。可统称为最佳逼近问题§

3.1拟合与逼近问题第2页,共46页，2024年2月25日，星期天一.问题的提出插值法是使用插值多项式来逼近未知或复杂函数的，它要求插值函数与被插函数在插值节点上函数值相同，而在其他点上没有要求。在非插值节点上有时函数值会相差很大。若要求在被插函数的定义区间上都有较好的近似，就是最佳逼近问题。必须找到一种度量标准来衡量什么是最佳逼近.第3页,共46页，2024年2月25日，星期天

最佳一致逼近是在函数空间M中选P(x)满足

但由于绝对值函数不宜进行分析运算，常替之以来讨论，于是最佳逼近问题变为最佳平方逼近问题这即为连续函数的最佳平方逼近.对于离散的问题，最佳平方逼近问题为:就是常说的曲线拟合的最小二乘法.

最佳逼近第4页,共46页，2024年2月25日，星期天二.预备知识内积:第5页,共46页，2024年2月25日，星期天常采用的内积与范数第6页,共46页，2024年2月25日，星期天第7页,共46页，2024年2月25日，星期天第8页,共46页，2024年2月25日，星期天1.正交函数族与正交多项式

定义1

若f(x),g(x)∈C[a,b],ρ(x)为[a,b]上的权函数且满足:

则称f(x)与g(x)在[a,b]上带权ρ(x)正交。

正交多项式

第9页,共46页，2024年2月25日，星期天若函数族ψ0(x),ψ1(x),…,ψn(x),…满足关系

则称{ψk(x)}是[a,b]上带权ρ(x)的正交函数族。

例如，三角函数族

1,cosx,sinx,cos2x,sin2x,…

就是在区间[-π,π]上的正交函数族。

第10页,共46页，2024年2月25日，星期天定义2

设ψn(x)是[a,b]上首项系数an≠0的n次多项式,ρ(x)为[a,b]上权函数，如果多项式序列

满足关系式:

则称为多项式序列

为在[a,b]上带权ρ(x)正交，称ψn(x)为[a,b]上带权ρ(x)的n次正交多项式。

第11页,共46页，2024年2月25日，星期天

只要给定区间[a,b]及权函数ρ(x),均可由一族线性无关的幂函数

{1,x,…,xn,…}

利用逐个正交化手续(Gram-Schmidt正交化方法)：构造出正交多项式序列

。第12页,共46页，2024年2月25日，星期天2.勒让德多项式

定义3

当区间为[-1,1],权函数ρ(x)≡1时,由{1,x,…,xn,…}正交化得到的多项式就称为勒让德

(Legendre)多项式,并用P0(x),P1(x)，…，Pn(x)，…

表示。这是勒让德于1785年引进的。1814年罗德利克(Rodrigul)给出了简单的表达式：

第13页,共46页，2024年2月25日，星期天

由于(x2-1)n

是2n次多项式，求n阶导数后得到

于是得首项xn的系数显然最高项系数为1的勒让德多项式为:

第14页,共46页，2024年2月25日，星期天勒让德多项式有下述几个重要性质：性质1.

正交性性质2.奇偶性

pn(-x)=(-1)npn(x)

性质3.递推关系

(n+1)pn+1(x)=(2n+1)xpn(x)-npn-1(x)(n=1,2,……)(*)

由p0(x)=1，p1(x)=x，利用(*)就可推出pn(x)的表达式:

第15页,共46页，2024年2月25日，星期天性质4.

pn(x)

在区间[-1，1]内有n个不同的实零点。

第16页,共46页，2024年2月25日，星期天实例：考察某种纤维的强度y与其拉伸倍数x的关系，下表是实际测定的24个纤维样品的强度与相应的拉伸倍数的记录:一.实例讲解3.2曲线拟合(最小二乘法)第17页,共46页，2024年2月25日，星期天纤维强度随拉伸倍数增加而增加并且24个点大致分布在一条直线附近---------(1)第18页,共46页，2024年2月25日，星期天必须找到一种度量标准来衡量什么曲线最接近所有数据点.二、问题的提法第19页,共46页，2024年2月25日，星期天定义平方误差(偏差平方和):第20页,共46页，2024年2月25日，星期天我们选取的度量标准是---------(2)---------(3)使得第21页,共46页，2024年2月25日，星期天第22页,共46页，2024年2月25日，星期天三、法方程组由可知因此可假设因此求最小二乘解转化为二次函数第23页,共46页，2024年2月25日，星期天由多元函数取极值的必要条件得即第24页,共46页，2024年2月25日，星期天---------(4)即第25页,共46页，2024年2月25日，星期天引入记号则由内积的概念可知---------(5)---------(6)显然内积满足交换律第26页,共46页，2024年2月25日，星期天方程组(4)便可化为---------(7)将其表示成矩阵形式-----(8)第27页,共46页，2024年2月25日，星期天并且其系数矩阵为对称阵.根据Cramer法则,法方程组有唯一解第28页,共46页，2024年2月25日，星期天即是的最小值所以因此第29页,共46页，2024年2月25日，星期天作为一种简单的情况,基函数之间的内积为平方误差第30页,共46页，2024年2月25日，星期天例1.回到本节开始的实例，从散点图可以看出纤维强度和拉伸倍数之间近似与线性关系故可选取线性函数为拟合函数，其基函数为建立法方程组根据内积公式，可得第31页,共46页，2024年2月25日，星期天法方程组为解得平方误差为第32页,共46页，2024年2月25日，星期天拟合曲线与散点的关系如右图:第33页,共46页，2024年2月25日，星期天四、加权最小二乘法各点的重要性可能是不一样的权:即权重或者密度，统称为权系数.

定义加权平方误差为-----(9)第34页,共46页，2024年2月25日，星期天使得第35页,共46页，2024年2月25日，星期天由多元函数取极值的必要条件得即第36页,共46页，2024年2月25日，星期天引入记号定义加权内积-----(10)第37页,共46页，2024年2月25日，星期天矩阵形式(法方程组)为方程组(10)式化为-----(11)---(12)第38页,共46页，2024年2月25日，星期天平方误差为作为特殊情形,用多项式作拟合函数的法方程组为-----(13)第39页,共46页，2024年2月25日，星期天五、最小二乘原理的其他应用1、算术平均：最小二乘意义下误差最小2、超定方程组的最小二乘解

P103例3.3.3第40页,共46页，2024年2月25日，星期天

3.3连续函数的最佳平方逼近1.最佳平方逼近问题-----(14)第41页,共46页，2024年2月25日，星期天2.解法(法方程)-----(15)第42页,共46页，2024年2月25日，星期天第43页,共46页，2024年2月25日，星期天第44页,共46页，2024年2月25日，星期天最小二乘法方法评注