数值分析教学课件：ch06函数逼近与最小二乘法

第三章

函数逼近与曲线拟合函数逼近

问题

数值计算中经常要计算函数值，如计算机中计算基本

初等函数及其他特殊函数；(连续情形)

当函数只在有限点集上给定函数值，要在包含该点集

的区间上用公式给出函数的简单表达式.(离散情形)

这些都涉及到在已知区间上用简单函数逼近已

知复杂函数或未知函数的问题，这就是函数逼

近问题

插值方法就是一种逼近，要求在给定的节点处P(x)与f(x)相等（甚至导数值相等），因此在节点附近，逼近效果较好，而在远离节点的地方，由Runge现象知道，有时效果会很差。函数逼近

由观测得到的实验数据不可避免地带有误差，甚至是

较大的误差，此时要求近似函数P(x)过全部已知点，

相当于保留全部数据误差，所以使用插值法不合理。

对逼近函数P(x)不必要求过给定的点，只要求总体上

尽可能小，即要求P(x)尽可能反映给定数据点的总体

趋势，在某种意义（要求或标准）下与函数最“逼近”。函数逼近问题可叙述为：对函数类A中给定的函数f(x)

，需要在另一类较简单的便于计算的函数类B

（B∈A）中，找一个函数P(x)，使P(x)与f(x)

之差在某种度量意义下达到最小。最常见的两种度量标准

一致逼近（均匀逼近）

以

作为度量误差f(x)-P(x)的

“大小”标准。平方逼近（均方逼近）

以

作为度量误差f(x)-P(x)的

“大小”标准。

预备知识线性空间、线性相关、线性无关基、维数、有限维空间与无限维空间常见线性空间：Rn

、Hn、C[a,b]、Cm[a,b]赋范线性空间C[a,b]2-范数：-范数：1-范数：线性空间C[a,b]

，f(x)C[a,b]

，等号当且仅当u=0时成立内积空间内积空间设

X是数域K(R或C)上的线性空间，对

u,v

X有K中的一个数(u,v)

与之对应，且满足

称

(u,v)为X

上的内积，定义了内积的线性空间称为内积空间

u,v

正交(u,v)=0内积空间定理设

X是一个内积空间，对

u,v

X有Cauchy-Schwarz不等式定理设

X是内积空间，u1,u2,,un

X，定义矩阵则G

非奇异当且仅当

u1,u2,,un线性无关。Gram矩阵内积内积导出范数：例：Rn

上的内积：导出的范数为加权内积给定正实数1,2,,n,定义正实数

1,2,,n

称为加权系数内积例：Cn

上的内积：加权内积1,2,,n

为正实数例：C[a,b]

上的内积：权函数权函数设(x)

是[a,b]

上的非负函数，满足，存在且为有限值对[a,b]上的任意非负连续函数g(x)，则称(x)

是[a,b]

上一个权函数

[a,b]

可以是无限区间，即a,b可以是无穷大权函数与定义区间有关若，则(k=0,1,2,…)常见的权函数常见的权函数带权内积带权内积设(x)

是[a,b]

上的权函数，f(x),

g(x)

C[a,b]导出范数性质设0,1,,nC[a,b]，则0,1,,n线性无关当且仅当det(G)0，其中正交函数族定义设f(x),

g(x)

C[a,b]，(x)

是[a,b]

上的权函数，若则称f(x)

与g(x)

在[a,b]

上带权(x)正交定义若函数族0(x),1(x),,n(x)C[a,b]满足则称{k(x)}

是[a,b]

上带权(x)的正交函数族若所有Ak=1

，则称为标准正交函数族

举例例：三角函数系

1，cos

x，sinx，sin2x，cos2x，…在[-,]

上是带权(x)=1

的正交函数族证：(m,n=1,2,3,…)(m,n=0,1,2,…)正交多项式定义设n(x)

是首项系数不为0的n次多项式，若则称为[a,b]

上带权(x)

正交称n(x)

为n

次正交多项式设是[a,b]

上带权(x)的正交多项式族，则n(x)在(a,b)内有n

个不同的零点性质1正交多项式性质2设是[a,b]

上带权(x)的正交多项式族，则对p(x)Hn-1，有性质3设是首项系数为1的正交多项式族，则有其中0(x)=1,1(x)=x，，

n=1,2,…

只要给定区间[a,b]及权函数ρ(x),

均可由一族线性无关的幂函数{1,x,…,xn

,…}

利用逐个正交化手续(Gram-Schmidt正交化方法)：构造出正交多项式序列

。正交多项式Legendre多项式

Chebyshev

多项式第二类Chebyshev

多项式

Laguerre

多项式

Hermite

多项式几类重要的正交多项式Legendre多项式

Pn

(x)

的首项xn

的系数为：Legendre多项式在[-1,1]

上带权(x)=1

的正交多项式称为勒让德多项式x[-1,1]，n=1,2,…记号：P0,P1,P2,...

则是首项系数为1的勒让德多项式令Legendre多项式勒让德多项式有以下性质：(1)正交性：(3)递推公式：其中

P0(x)=1,P1(x)=x，n=1,2,…

(4)Pn(x)

在(-1,1)内有n

个不同的零点(2)奇偶性：(5)P2n(x)只含偶次幂，P2n+1(x)只含奇次幂Legendre多项式函数逼近记Hn为所有次数不超过n

的多项式组成的集合，给定函数f(x)C[a,b]，若P*(x)Hn

使得则称P*(x)为f(x)在C[a,b]上的最佳逼近多项式最佳逼近取不同的范数，就可以定义不同的最佳逼近方式函数逼近最佳平方逼近最佳一致逼近曲线拟合能否找到一个简单易算的p(x)

，使得f(x)

p(x)已知f(x)

在某些点的函数值：xx0x1…xmf(x)y0y1…ym但是

m

通常很大

yi

本身是测量值，不准确，即yi

f(xi)

这时不要求p(xi)=yi,而只要

p(xi)yi

总体上尽可能小

使最小

使最小曲线拟合

p(xi)yi

总体上尽可能小

使最小

常见做法太复杂不可导，求解困难最小二乘法：目前最好的多项式曲线拟合算法最小二乘曲线拟合的最小二乘问题这个问题实质上是最佳平方逼近问题的离散形式。

可以将求连续函数的最佳平方逼近函数的方法直接用于求解该问题。已知函数值表(

xi,yi

)，在函数空间

中求S*(x)

，使得其中i

是点xi处的权。注最小二乘问题中，如何选择数学模型很重要，即如何选取函数空间=span{0,1,,n}，通常需要根据物理意义，或所给数据的分布情况来选取合适的数学模型。最小二乘求解对任意S(x)

=span{0,1,,n}，可设

S(x)=a00+a11+···+

ann(x)则求S*(x)等价于求下面的多元函数的最小值点k=0,1,…,n最小值点最小二乘求解(k=0,1,…,n)这里的内积是离散带权内积，即，法方程G法方程最小二乘求解法方程存在唯一解det(G)0Haar条件0,1,,n的任意线性组合在点集x0,x1,,xm

上至多只有n

个不同的零点，则称0,1,,n

在点集x0,x1,,xm

上满足Haar

条件0,1,,n线性无关mn若0,1,,n

C[a,b]

在点集x0,x1,,xm

上满足Haar

条件，则法方程的解存在唯一最小二乘求解设法方程的解为：a0*,a1*,,an*,则

S*(x)=a0*

0+a1*

1+···+

an*

n(x)结论S*(x)是f(x)在中的最小二乘解举例例：给定函数值表，求f(x)的最小二乘拟合函数S*(x)

i123456789

13456789101054211234解：将所给数据点画在坐标纸上，如图可以看出即有这些点大致在一条抛物线上。设拟合曲线方程为相应的正规方程组为于是可得因而所求拟合多项式为

多项式拟合＝Hn=span{1,x,...,xn},即i=xi,

则相应的法方程为此时

为

f(x)的n

次最小二乘拟合多项式多项式最小二乘曲线拟合举例例：求下面数据表的二次最小二乘拟合多项式得法方程xi00.250.500.751.00f(xi)1.00001.28401.64872.11702.7183解：设二次拟合多项式为解得所以此组数据的二次最小二乘拟合多项式为(1)

若题目中没有给出各点的权值i，默认为i=1

(2)该方法不适合n

较大时的情形（病态问题）正交多项式拟合带权正交（离散情形）给定点集以及各点的权系数，如果函数族满足则称关于点集带权正交若0,1,,n是多项式，则可得正交多项式族正交多项式拟合用正交多项式做最小二乘设多项式

p0,p1,,pn

关于点集x0,x1,,xm带权0,1,,m正交，则f(x)

在Hn

中的最小二乘拟合多项式为其中k=0,1,…,n误差离散形式的2-范数正交多项式的构造给定和权系数，如何构造正交多项式族可以证明：关于点集带权正交三项递推公式：k=1,…,n-1其中(k=0,1,…,n-1

)(k=1,2,…,n-1

)几点注记可以将构造正交多项式族、解法方程、形成拟合多项式穿插进行；

n可以事先给定，或在计算过程中根据误差来决定；该方法非常适合编程实现，只用递推公式，并且当逼近次数增加时，只要将相应地增加程序中的循环次数即可。该方法是目前多项式拟合最好的计算方法，有通用程序。举例例：给定数据点及权系数，求二次最小二乘拟合多项式xi00.50.60.70.80.91.0yi

1.001.751.962.192.442.713.00i1111111解：通过直接计算，可得Matlab

正交多项式最小二乘拟合函数:polyfit(x,y,n)Matlab

曲线拟合工具箱：cftool非线性最小二乘有时需要其它函数，如，等拟合给定的数据，这时建立的法方程是一个非线性方程组，称这类拟合问题为非线性最小二乘问题。xi1.001.251.501.752.00yi

5.105.796.537.458.46xi0.10.20.30.40.50.60.70.8yi

0.61.11.61.82.01.91.71.3例：用指数函数拟合下面的数据例：用函数拟合表中的数据可化为线性拟合问题的常见函数类

拟合函数类型 变量代换 化成的拟合函数对于一些较特殊的非线性拟合函数类型，可以通过适当的变量代换后化为线性最小二乘问题

非线性拟合举例在某化学反应里，根据实验所得生成物的浓度与时间关系数据见下表，求浓度y与时间t的拟合曲线y=F(t)：

ti12345678yi(*10-3)

4.006.408.08.809.229.509.709.86ti910111213141516yi(*10-3)10.010.210.3210.4210.5210.5510.5810.6061086422yx1816141210840将数据标在坐标纸上如图（1）取拟合函数为双曲型

可见y关于参数a,b是非线性的为确定a,b可令：

则拟合函数化为y=a+bt，而将数据(ti

,

yi)相应地变，如下表：ti11/21/31/41/51/61/71/8yi(*10-3)0.25000.156250.125600.113640.108460.105260.103090.10142ti1/91/101/111/121/131/141/151/16yi(*10-3)0.101420.098040.096900.095970.095240.094790.094520.09434（2）取拟合函数为指数型

同拟合函数为双曲线型过程类似，先由(ti

,

yi)算出相应的(ti