曲线拟合的最小二乘法

曲线拟合的最小二乘法1本节内容曲线拟合曲线拟合基本概念最小二乘算法

最小二乘拟合多项式2给出一组离散点，确定一个简单函数近似原函数，多项式插值提供了一种处理手段。然而，在实际问题中，给出的结点处的离散数据或多或少的都带有误差，插值要求多项式严格通过这些插值结点，无形之中就将这些点处的误差保留下来；尤其是当结点数目较多时，误差可能累积起来，从而对最终近似效果产生较大影响（这正是高次插值产生Runge现象的一个主要原因）；此外，即便给出的结点处的离散数据较为精确，但由于插值条件的限制，也导致多项式插值仅仅在处理结点附近的函数值近似问题时较为有效，即插值的局部近似效果好，整体逼近效果差。这些都促使我们考虑一种函数逼近的新方法——曲线拟合。3曲线拟合能否找到一个简单易算的p(x)

，使得f(x)

p(x)已知f(x)

在某些点的函数值：xx0x1…xm

f(x)y0y1…ym但是

m

通常很大

yi

本身是测量值，不准确，即yi

f(xi)

这时不要求p(xi)=yi,而只要

p(xi)

yi

总体上尽可能小

4

使最小

使最小曲线拟合

p(xi)

yi

总体上尽可能小

使最小

常见做法太复杂

不可导，求解困难

最小二乘法：目前最好的曲线拟合算法5最小二乘曲线拟合的最小二乘问题这个问题实质上是最佳平方逼近问题的离散形式。

可以将求连续函数的最佳平方逼近函数的方法直接用于求解该问题。已知函数值表(

xi,yi

)，在函数空间

中求S*(x)

，使得其中

i

是点xi处的权。6最小二乘求解对任意S(x)

=span{

0,

1,

,

n}，可设

S(x)=a0

0+a1

1+

···+

an

n(x)则求S*(x)等价于求下面的多元函数的最小值点k=0,1,…,n最小值点7最小二乘求解(k=0,1,…,n)这里的内积是离散带权内积，即，法方程G法方程8要使法方程有唯一解a0,a1,…,an,就要求矩阵G非奇异.必须指出,

0(x),

1(x),…,

n(x)在[a,b]上线性无关不能推出矩阵G非奇异.例如,令

0(x)=sinx,

1(x)=sin2x,x[0,2

],显然{

0(x),

1(x)}在[0,2]上线性无关,但若取点xk=k,k=0,1,2(n=1,m=2),那么有

0(xk)=

1(xk)=0,k=0,1,2,由此得出G==0(

0,

0)(

0,

1)(

1,

0)(

1,

1)为保证系数矩阵G非奇异，必须加上另外的条件.定义

设

0(x),

1(x),…

n(x)C[a,b]的任意线性组合在点集{xi,i=0,l,...,m}(m

n)上至多只有n个不同的零点,则称

0(x),

1(x),…,

n(x)在点集{xi,i=0,l,...,m}上满足哈尔(Haar)条件.

可以证明,如果

0(x),

1(x),…

n(x)C[a,b]在{xi}0m上满足哈尔(Haar)条件,则法方程的系数矩阵G非奇异.9最小二乘求解设法方程的解为：a0*,a1*,

,an*,则

S*(x)=a0*

0+a1*

1+

···+

an*

n(x)结论S*(x)是

f(x)在

中的最小二乘解10举例最小二乘问题中，如何选择数学模型很重要，即如何选取函数空间=span{

0,

1,

,

n}，通常需要根据物理意义，或所给数据的分布情况来选取合适的数学模型。11多项式拟合

＝Hn=span{1,x,...,xn},即

i=xi,

则相应的法方程为此时

为

f(x)的n

次最小二乘拟合多项式多项式最小二乘曲线拟合12例7已知一组实验数据如下，求它的拟合曲线.

解将所给数据在坐标纸上标出，见图3-5.图3-5选线性函数作拟合曲线令这里故13解得法方程所求拟合曲线为多项式拟合的Matlab现程序其中输入参数为要拟合的数据，为拟合多项式的次数，输出参数为拟合多项式的系数.上例的Matlab多项式拟合x=[11233345];f=[444.566688.5];aa=poly(x,f,1);y=polyval(aa,x);plot(x,f,’r+’,x,y,’k’)xlabel(‘x’);ylabel(‘y’);gtext(‘y=s1(x)’）14例：用来拟合，w1解：

0(x)=1，

1(x)=x，

2(x)=x27623)(463||||484,||||1==

-

=BcondBB正交多项式与最小二乘拟合15例：连续型拟合中，取则

Hilbert阵！改进：若能取函数族

={

0(x),

1(x),…,

n(x),…}，使得任意一对

i(x)和

j(x)两两（带权）正交，则B就化为对角阵！这时直接可算出ak=16正交多项式拟合带权正交（离散情形）给定点集以及各点的权系数，如果函数族满足则称关于点集带权正交若

0,

1,

,

n是多项式，则可得正交多项式族17正交多项式拟合用正交多项式做最小二乘设多项式

p0,p1,

,pn

关于点集x0,x1,

,xm带权

0,

1,

,

m正交，则f(x)

在Hn

中的最小二乘拟合多项式为其中k=0,1,…,n误差离散形式的2-范数18正交多项式的构造给定和权系数，如何构造正交多项式族可以证明：关于点集带权正交三项递推公式：k=1,…,n-1其中(k=0,1,…,n-1

)(k=1,2,…,n-1

)19几点注记可以将构造正交多项式族、解法方程、形成拟合多项式穿插进行；

n可以事先给定，或在计算过程中根据误差来决定；该方法非常适合编程实现，只用递推公式，并且当逼近次数增加时，只要将相应地增加程序中的循环次数即可。该方法是目前多项式拟合最好的计算方法，有通用程序。20例：用来拟合，w1解：通过正交多项式

0(x),

1(x),

2(x)求解设)()()(221100xaxaxayjjj++=1)(0=xj229),(),(0000==jjjya25),(),(00001==jjjjax25)()()(011-=-=xxxxjaj537),(),(1111==jjjya25),(),(11112==jjjjax45),(),(00111==jjjjb55)(45)()25()(2012+-=--=xxxxxxjjj21),(),(2222==jjjya与前例结果一致。注：手算时也可用待定系数法确定函数族。21三、可线性化的非线性最小二乘拟合曲线拟合问题的关键在于四点，其一是确定恰当拟合函数类型（这是最重要也是最困难的一点）；其二是确定最佳拟合的标准（例如最小二乘原理）；其三是确定拟合函数中的待定参数（利用函数极值理论建立并求解方程组）；其四是对拟合效果进行评价（如：利用偏差平方和、均方差等）。在前两目的学习中，我们看到最终确定拟合函数中的系数是利用线性方程组的求解来实现，因此我们将其称作是线性最小二乘拟合。若待定系数的确定需要用到非线性方程组，则称为是非线性最小二乘拟合。这类问题由于牵涉到非线性方程组的求解，因此变得有些困难。然而不少非线性拟合问题都可以利用某些手段（如变量代换）将其转化为线性拟合问题。22例3：在某化学反应里,测得生成物浓度y%与时间t的数据如下，试建立y关于t的经验公式t=1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16y=4.00,6.40,8.00,8.80,9.22,9.50,9.70,9.86,10.00,10.20,10.32,10.42,10.50,10.55,10.58,10.60解：第一步：画出生成物浓度与反应时间的散点图第二步：确定拟合函数类型。作为例题我们直接给出下面两种函数：（1）指数函数形式（2）双曲函数形式其中，a，b是待定系数23第三步：确定最佳拟合原则。这里我们依然采用最小二乘原理。我们以第一种函数类型为例：即确定一组系数a，b使得最小。第四步：利用多元函数极值理论，建立关于待定系数a，b的方程组。令24即，显然，上面的方程组整理之后，是关于a，b的非线性方程组（这就是非线性拟合的含义），这直接导致了a，b求解的困难。我们考虑用下面的变量代换手段