函数逼近与曲线拟合课件

1、第三章 函数逼近与曲线拟合函数逼近的基本概念正交多项式Lagrange and Chebyshev最佳一致逼近多项式最佳平方逼近多项式曲线拟和的最小二乘法最佳平方三角逼近及有理逼近本章基本内容 本章继续讨论用简单函数近似代替较复杂函数的问题.上章提到的插值就是近似代替的方法之一,插值的近似标准是在插值点处误差为零. 但在实际应用中,有时不要求具体某些点误差为零,而要求考虑整体的误差限制 ,这就引出了拟合和逼近的概念.拟合与逼近 对函数类A中给定的函数 f(x),记作f(x)A, 要求在另一类简单的便于计算的函数类 B 中求函数 p(x)B ,使 p(x)与 f(x)的误差在 某种意义下最小.函

2、数类A通常是区间a, b 上的连续函数,记作Ca, b,称为函数逼近空 间;而函数B通常为n次多项式,有理函数或分 段低次多项式等. 什么是函数逼近数学上常把在各种集合中引入某一些不同的确定关系称为集合以某种空间结构赋予，并将这样的集合称为空间。例1、按向量的加法和数乘构成实数域 上的线性空间-例2、对次数不超过 n 的实系数多项式，按 加法和数乘构成数域上的多项式线性 空间- 例3、所有定义在 a,b 集合上的连续函数全体，按函数的加法和数乘构成连续函数空间-1)线性无关 设集合S是数域P上的线性空间,元素x1,x2,xnS,如果存在不全为零的数a1,a2,anP,使得 3.1 函数逼近的基

3、本概念则称x1,x2,xn线性无关. 2)范数的定义设S为线性空间,xS,若存在唯一实数 满足条件：(1)x0;当且仅当x0时,x0; (正定性)(2)x|x,R; (齐次性)(3)xyxy,x,yS. (三角不等式)则称 为线性空间S上的范数, S与 一起称为赋范线性空间,记为X. 在Rn上的向量 x(x1,x2,xn)TRn, 三种常用范数为称为： 3)几种常用范数类似的对连续函数空间Ca, b, 若fCa,b可定义以下三种常用函数的范数设X为一个内积空间,对 u,vX有 称为柯西施瓦次不等式 .柯西施瓦次不等式魏尔斯特拉斯定理 设f(x)Ca, b,则对任何0,总存在一个代数多项式p(x

4、),使 在a, b上一致成立 。定理：设X为一个内积空间,u1,u2,unX,矩阵称为格拉姆矩阵,则G非奇异的充分必要条件是u1,u2,un线性无关 。 记区间a,b上所有连续函数的全体为Ca,b,可以证明Ca,b是一个线性空间,把所有次数不超过n的多项式全体记为Pn,则 Pn是Ca,b的子空间.若(x),g(x)Ca,b, 则称 为(x)与g(x)的内积,记为(,g), 函数的内积满足(1)(,g)=(g,);若(,g)=0,称(x)与g(x)正交 ,记为g .(2)(c,g)=c(,g);(3)(1+2,g)=(1,g)+(2,g);利用内积可以定义函数的平方模(1) 20,而且2=0(x

5、)=0;(2) c2=|c|2;(3) +g22+g2(4) (,g)2 g2函数的平方模满足 考虑到(x)在区间a,b上各点的函数值比重不同, 常引进加权形式的定义 这里函数(x)是非负连续函数,称为a,b上的权函数.它的物理意义可以解释为密度函数. 权函数3.2 什么是正交多项式1) 正交的定义若f(x),g(x)Ca,b,(x)为a,b上的权函数且满足则称f(x)与g(x)在a,b上带权正交.若函数族满足关系 则称是a, b上带权 (x)正交函数族 ；若则称之为标准正交函数族。 设 是a, b上首相系数an0为零的n次多 项式, (x)为a,b上的权函数,如果多项式序列 满足关系式(2)

6、,则称多项式序 为在a,b上带权(x)正交,称 为a, b上带 权的 n 次正交多项式. 例如、 三角函数系：1，cosx，sinx，cos2x，sin2x，是 区间-，上的正交函数系，因为实际上，这就是付里叶(Fourier)逼近的基函数.2)如何构造正交多项式 只要给定区间a, b及权函数,均可由一组线性无关的幂函数1,x, xn,利用逐个正交化手续构造出正交多项式序列 如此得到的正交多项式有如下性质：(1) 是具有最高次项系数为1的n次(2)任何n次多项式Pn(x)Hn均可表示为 的线性组合.(3)当kj时, 与任一次数小于k的多项式正交. (4)成立递推关系 (5)设 是在a, b上带

7、权(x)的正交多项式序列, 则 (n1)的n个根都是在区间(a, b)内的单重实根.例题：利用 Gram-schmidt 方法构造 0,1 上带权 的前3个正交多项式 解：利用正交化公式来求 于是于是3）几种常用的正交多项式勒让德多项式当区间-1,1,权函数(x) 1时,由1,x,xn,正交化得到的多项式就称为勒让德多项式,并用P0(x),P1(x),Pn(x),表示. 其简单的表达式为最高项系数为1的勒让德多项式为 勒让德多项式的性质 (2)奇偶性(3)递推关系(1)正交性且有以下常用公式(4)在区间-1,1内有n个不同的实零点。时,由序列1,x,xn,正交化得到的多项式就是切比雪夫多项式,

8、它可表示为 Tn(x)=cos(narccosx), | x |1若令xcos，则Tn(x)=cosn， 0.切比雪夫多项式区间为-1,1当权函数(1)递推关系切比雪夫多项式的性质(2)切比雪夫多项式Tk(x)在区间-1,1上带权 正交且(3) T2k(x)只含x的偶次幂,T2k+1(x)只含x的奇次幂. (4) Tn(x)在区间-1,1上有n个零点 若将xn用T0(x),T1(x), ,Tn(x)的线性组合表示,则其公式为3.3 最佳一致逼近多项式最佳一致逼近多项式 是讨论 fCa, b,在Hn=span1,x,xn中求多项式 , 使其误差 这就是通常所指的最佳一致逼近或切比雪夫逼近问题.为

9、f(x)与Pn (x)在a, b上的偏差 . 显然 , 的全体组成一个集合,记为 ,它有下界0. 偏差为了说明这一概念,先给出以下定义.设Pn(x)Hn,f(x)Ca, b,称若记集合的下确界为 则称之为f(x)在a, b上的最小偏差 .最佳逼近多项式假定f(x)Ca, b,若存在Pn*(x)Hn使 (f, Pn*(x)En,则称Pn*(x)是f(x)在a, b上的最佳一致逼近多项式或最小偏差逼近多项式。 注意,定义并未说明最佳逼近多项式是否存在,但可以证明下面的存在定理.定理 ： 若f(x)Ca, b,则总存在Pn*(x)使其中偏差点定义 设f(x)Ca, b，P(x)Hn，若在xx0有就称

10、x0是P(x)对f(x)的偏差点.若 称x0为“正”偏差点 若 称x0为“负”偏差点.为了研究最佳逼近多项式的特性，先引进偏差点的定义. 由于函数P(x)f(x)在a, b上连续,因此,至少存在一个点x0a, b使 也就是说P(x)的偏差点总是存在的。下面给出反映最佳逼近多项式特征的切比雪夫定理.切比雪夫定理 Pn(x)Hn是f(x)Ca, b的最佳逼近多项式的充分必要条件是P(x)在a, b上至少有n+2个轮流为“正”，“负”的偏差点，即有n+2个点ax1x2.xn+2b，使 这样的点组称为切比雪夫交错点组 . 切比雪夫定理说明用P(x)逼近f(x)的误差曲线yP(x)f(x)是均匀分布的由

11、这个定理还可得以下重要推论. 推论 若f(x)Ca, b，则在Hn中存在唯一的最佳逼近多项式 利用切比雪夫定理可直接得到切比雪夫多项式Tn(x)的一个重要性质，即定理在区间-1,1上所有最高次项系数为1的n次多项式中,即可以理解为与零的偏差等于最小当且仅当与零的偏差最小，其偏差为最佳一次逼近多项式 切比雪夫定理 给出了最佳逼近多项式P(x)的特性,但要求出P(x)却相当困难. 下面讨论n=1的情形. 假定f(x)C2a, b. 且f(x)在(a,b)内不变号，我们要求最佳一次逼近多项式 P1(x)=a0 + a1x至少有3个点ax1x2x3b，使 由于 在a, b上不变号,故 单调,在(a,

12、b)内只有一个零点,记为x2,于是于是即另外两个偏差点必定是区间的端点由此得到代入到(2)得这就得到最佳一次逼近多项式P1(x)，其方程为有（1）式得有（1）式得例1、设 不超过2的多项式 使它为 的最佳一致逼近多项式。试在 -1，1 上寻找一个次数在 -1，1 上 应满足 由最小偏差定理解：所求 的首项系数为 4 从而例2、设 m , M 是 在 上的 min , max 值 ， 则 的零次最佳一致逼近多项式为 ，证明：的连续性知 使得 令 则 。由 ， 即 故 是 与 的偏差点，从而由 chebyshev 定理知 即当 时逼近多项式为 的零次最佳一致例3、求 在 0，1 上求三次最佳逼近多

13、项式。 则当 在 0,1 变化时 此时 设 为 解：令在 0,1 上的三次最佳一致逼近多项式由于 9. 设 的首相系数为 故有 即 3.4 最佳平方逼近 最佳平方逼近及其算法 考虑在区间a,b上一般的最佳平方逼近问题时对f(x)Ca,b及Ca,b中的一个子集 若存在 使下式成立 则称 是f(x)在子集 中的最佳平方逼近函数. 为了求 , 由(1)可知该问题等价于求多元函数 的最小值.由于 是关于 的二次函数, 利用多元函数求极值的必要条件即于是有是关于 的线性方程组,称为法方程,由于线性无关，故系数矩阵的行列式非奇异，即于是方程组(1)有唯一解从而有以下证明必定满足最佳平方逼近的定义即但我们只

14、需证明作即上式第二项积分为零。于是可得即得必定是所求函数的最佳平方多项式。则要在Hn中求n次最佳平方逼近多项式此时若取若用H表示对应的矩阵,即即 若用1,x,xn做基求最佳平方多项式, 计算简单，但当n较大时, 系数矩阵H是病态的,因此直接求解法方程是相当困难的,故通常是采用正交多项式做基底构造最佳平方多项式。则称H为希尔伯特(Hilbert)矩阵,若记向量则用正交函数族作最佳平方逼近 设故法方程组为非奇异对角阵,且法方程的解为于是f(x)Ca,b在中的最佳平方逼近函数为 可得均方误差为 由此可得贝塞尔(Bessel)不等式若f(x)Ca,b,按正交函数族展开，而系数按下式计算得级数称为f(x

15、)的广义傅立叶(Foureir)级数,系数称为广义傅立叶系数.是正交多项式,设可由正交化得到。则有下面的收敛定理；设f(x)Ca,b,S*(x)是由(3)给出的f(x)的最佳平方逼近多项式，其中是正交多项式族,则有下面考虑函数f(x)C-1,1,按勒让得多项式P0(x),P1(x),Pn(x)展开,由(2),(3)可得其中根据(4),平方误差为此时由定理结论可得：对首项系数为1的勒让德多项式有以下性质定理：在所有最高次项系数为1的n次多项式中,勒让德多项式在-1,1上与零的平方误差最小。即可以理解为与零的平方误差最小。最小等价于1. 问题的提出及最小二乘原理问题的提出：在函数的最佳平方逼近中，

16、要求函数是连续的，而实际问题中常常见到函数只是在一组离散点上给定，即科学实验中常见到的实验数据的曲线拟和，例如天气预报系统即为此例。求拟和曲线时首先要确定所找的拟和曲线的形式，这不是单纯的数学问题，还与所研究问题的运动规律及所得观测的数据有关；通常要从问题的运动规律及给定数据描图，确定函数的形式，并通过实际计算得到较好的结果，这类方法就称为曲线拟和的最小二乘法。用4次多项式拟和以下数据 x0=0:0.1:1; y0=-.447,1.978,3.11,5.25,5.02,4.66,4.01,4.58,3.45,5.35, 9.22; n=4; p=polyfit(x0,y0,n) xx=0:0.

17、01:1; yy=polyval(p,xx); plot(xx,yy,-b,x0,y0,.r, MarkerSize,20) xlabel(x) ylabel(y) 利用Matlab中的库函数进行拟和的数值例子：实验数据拟合方法与数据插值方法不同，它所处理的数据量大而且不能保证每一个数据没有误差所以要求一个函数严格通过每一个数据点是不合理的。数据拟合方法求拟合函数，插值方法求插值函数。这两类函数。 对拟合函数不要求它通过所给的数据点，而插值函数则必须通过每一个数据点.最大的不同之处是例如，在某化学反应中，测得生成物的质量浓度 y (10 3 g/cm3)与时间t （min）的关系如表所示t12

18、346810121416y4.006.418.018.799.539.8610.3310.4210.5310.61显然，连续函数关系y(t)是客观存在的。但是通过表中的数据不可能确切地得到这种关系。何况，由于仪器测量中所带的误差的影响，测量数据难免有误差。因此只能寻求一个近拟表达式寻求合理的近拟表达式，以反映数据变化的规律，这种方法就是数据拟合方法。数据拟合需要解决两个问题：第一，选择什么类型的函数作为拟合函数（数学模型）；第二，对于选定的拟合函数，如何确定拟合函数中的参数。 tx1x2x3x4x5x6x7x8x9x10yy1y2y3y4y5y6y7y8y9y10数学模型应建立在合理假设的基础

19、上，假设的合理性首先体现在选择某种类型的拟合函数使之符合数据变化的趋势（总体的变化规律）。拟合函数的选择比较灵活，可以选择线性函数、多项式函数、指数函数、三角函数或其它函数，这应根据数据分布的趋势作出选择。为了问题叙述的方便，将例1的数据表写成一般的形式假设拟合函数是线性函数，即拟合函数的图形是一条平面上的直线。而表中的数据点未能精确地落在一条直线上的原因是实验数据的误差。则下一步是确定函数y= a + b x中系数a和b各等于多少？从几何背景来考虑，就是要以a和b作为待定系数，确定一条平面直线使得表中数据所对应的10个点尽可能地靠近这条直线。一般来讲，数据点将不会全部落在这条直线上，如果第k

20、个点的数据恰好落在这条直线上，则这个点的坐标满足直线的方程，即a + b xk = y k如果这个点不在直线上，则它的坐标不满足直线方程，有一个绝对值为， 线性拟合（线性模型）的差异（残差）。这是关于a和b的一个二元函数，合理的做法是选取a和b ，使得这个函数取极小值。但是在实际求解问题时为了操作上的方便，常常是求a和b使得函数达到极小。为了求该函数的极小值点，令，得， 于是全部点处的总误差是这是关于未知数a和b的线性方程组。它们被称为法方程，又可以写成求解这个二元线性方程组便得待定系数a和b，从而得线性拟合函数y = a + b x。下图中直线是数据的线性拟合的结果。假设拟合函数不是线性函数

21、，而是一个二次多项式函数即拟合函数的图形是一条平面上的抛物线，而表中的数据点未能精确地落在这条抛物线上的原因是实验数据的误差。则下一步是确定函数二次函数拟合（二次多项式模型）中系数a0、a1和a2各等于多少？从几何背景来考虑就是要以a0、a1和a2为待定系数，确定二次曲线使得表中数据所对应的10个点尽可能地靠近这条曲线。一般来讲，数据点将不会全部落在这条曲线上，如果第k个点的数据恰好落在曲线上，则这个点的坐标满足二次曲线的方程，如果这个点不在曲线上，则它的坐标不满足曲线方程，有一个误差（残差）。于是全部点处的总误差用残差平方和表示这是关于a0、a1和a2的一个三元函数，合理的做法是选取a0、a

22、1和a2 ，使得这个函数取极小值。为了求该函数的极小值点，令求解这一方程组可得二次拟合函数中的三个待定系数。下图反映了例题所给数据的二次曲线拟合的结果 。3.5 曲线拟合的最小二乘法 如果f(x)只在一组离散点集xi,i=0,1,m上给定这就是科学实验中经常见到的实验数据(xi,yi),i=0,1,m的曲线拟合,这里yi=f(xi), i=0,1,m,要求一个函数y=S*(x)与所给数据(xi,yi),i=0,1, ,m拟合, 若记误差i = S*(x)-yi, i=0,1,m,= (0,1, ,m)T, 设是Ca,b上线性无关函数族,在 这就是一般的最小二乘逼近,用几何语言说,就称为曲线拟合

23、的最小二乘法. 中找一函数这里使误差平方和用最小二乘法求拟合曲线的问题,就是在形如(2)的S(x)中求一函数使加权平方和取得最小。它转化为求多元函数的极小点由求多元函数极值的必要条件,有 问题 .若记上式可改为这方程称为法方程,可写成矩阵形式要使法方程(3)有唯一解就要求矩阵G非奇异,其中 必须指出,在a,b上线性无关不能推出矩阵G非奇异。 为保证(3)的系数矩阵非奇异,必须加上另外的条件: 哈尔(Haar)条件设的任意线性组合在点集上至多只有n个不同的零点, 则称上满足哈尔(Haar)条件 。在点集显然在任意m(mn)个点上满足哈尔条件。所以一般为则一定可以保证系数矩阵非奇异，于是方程（3）

24、必存在唯一解从而得到函数的最小二乘解为：且成立下式即必为所求的最小二乘解。解：作散点图如下：从右图可以看出这些点接近一条抛物线，因此设所求公式为x012345y531123例4: 已知一组观测数据如表所示，试用最小二乘法求一个多项式拟合这组数据。由最小二乘法得如下式子：整理并代入表中的数据得：代入数据解之可得：故所求多项式为：例：由书中的数据表可以确定拟合曲线方程为它不是线性函数，可通过在上式两端取对数的方法将其化为线性表达式：也即故数据点转换为有最小二乘法取故得法方程组如下:用正交多项式做最小二乘拟合用最小二乘法得到的方程组其系数矩阵G是病态的,但如果是关于点集xi带权(xi)(i=0,1,m)正交函数族,即则方程(1)的解为现在我们根据给定节点x0,x1,xm及权函数(x)0,造出带权(x)正交的多项式Pn(x).注意nm,用递推公式表示Pk(x),即 且平方误差为这里是首项系数为1 的k次多项式，且由其正交性得：下面用归纳法证明这样给出的Pk(x)是正交的。由(3)第二式及(4)中的第一个表达式,有 下式成立。现假定均成立，要证(Pk+1,Ps)=0 对s=0,1,k均成立。由(3)有由归纳法假定,当时(Pk,Ps)=0，(Pk-1,Ps)=0另外,xPs(x)是首项系数为1的s+1次多项式,它