数据拟合方法gppt课件

1、数据拟合方法 Approximation Theory 引例 问题的提出 线性最小二乘问题的存在与独一 拟合模型的正规方程 非线性曲线拟合 拟合与插值比较引例 某种合成纤维的强度与其拉伸倍数有直接关系，下表是实践测定的24个纤维样品的强度与拉伸倍数的记录。编号拉伸倍数强度kg/mm2编号拉伸倍数强度kg/mm211.91.4135.05.522.01.3145.25.032.11.8156.05.542.52.5166.36.452.72.8176.56.062.72.5187.15.373.53.0198.06.583.52.7208.07.094.04.0218.98.5104.03.52

2、29.08.0114.54.2239.58.1124.63.52410.08.1 提示：将拉伸倍数作为x, 强度作为y,在座标纸上标出各点，可以发现什么?0 01 12 23 34 45 56 67 78 89 90 02 24 46 68 810101212 从上图中可以看出强度与拉伸倍数大致成线形关系，可用一条直线来表示两者之间的关系。 解：设 y*=a+bxi ，令=yi-y*i=yi-a-bxi，根据最小二乘原理，即使误差的平方和到达最小，也就是令 为最小 ，即求使 有最小值的a和b的值。24122412,iiiiibxaybaniiQ1260.73161.8295 .1271 .11

3、35 .12724baba定义1：向量范数映射：满足：0: RRn非负性00, 0XXX且齐次性XaaXRa,三角不等式YXYX称该映射为向量的一种范数预备知识我们定义两点的间隔为：YX 常见的范数有： ninniinniixxxXxXxxxXxXxxxXxX,max,)(,21211222111定义2：函数f，g的关于离散点列 niix0的离散内积为：niiiDxgxfgf0)()(),(定义3：函数f的离散范数为niiiDxfxff0)()(提示：该种内积，范数的定义与向量的2范数一致我们还可以定义函数的离散范数为：01010110(),(),()max(),(),()(),(),()()

4、nnDnniDiff xf xf xf xf xf xff xf xf xf x依然是知依然是知 x1 xm ; y1 ym, 求一个简单易求一个简单易算的近似函数算的近似函数 P(x) f(x)。但是但是 m 很大；很大； yi 本身是丈量值，不准确，即本身是丈量值，不准确，即 yi f (xi)这时没必要取这时没必要取 P(xi) = yi , 而要使而要使 P(xi) yi 总体上尽能够小。总体上尽能够小。常见做法：常见做法： 使使 最小最小 /* minimax problem */ |)(|max1iimiyxP 太复杂太复杂 使使 最小最小 miiiyxP1|)(|不可导，求解困难

5、不可导，求解困难 使使 最小最小 /* Least-Squares method */ miiiyxP12|)(|问题的提出问题的提出曲线拟合的最小二乘法曲线拟合的最小二乘法 最小二乘原理 当由实验提供了大量数据时,不能要求拟合函数 在数据点 处的偏向,即 (i=1,2,m) 严厉为零,但为了使近似曲线尽量反映所给数据点的变化趋势 ,需对偏向有所要求.通常要求偏向平方和 最小,此即称为最小二乘原理),(yxiiyxiii)(mimiiyxii1212)(|)(x 最小二乘法的求法yxxxxyxxaxyxayyaaaaaaiimijjikimijkjminkmiijiijikkmiijinkik

6、kmiiinnnfxxxy)(,)()(,:0)()()(2 :0)()(2 min)(),.,()(.)()( n)m组数据且m共有(:设近似方程为 111011012*101100* 若引入记号得 0:可得为零,对函数求偏导并令其aj 就是所求的拟合函数存在唯一解线性无关时当可知可得矩阵则有niiinnnnnnnnnjkjkxnixxxfffnjfaaaaa0i101010101110101000n0k)(),.1 , 0( , )(),.(),(,.,.,.,.,.,.,),.,1 , 0(,:a最小二乘法的几种特例)(),.,1 , 0(.n)mm(,.)(:,. 1102112221

7、0 xnimxxayxyxyaaaxxxxxxxxxaxaaaiiniiiinninininiiiniinn即可求得拟合函数由此可得到相应的系数组数据且共有的相应法方程组则以同样原理即拟合函数式拟合函数常为代数多项见情况作为曲线拟合的一种常最小二乘拟合多项式最小二乘拟合多项式 /* L-S approximating polynomials */确定多项式确定多项式 ，对于一组数，对于一组数据据(xi, yi) (i = 1, 2, , m) 使得使得 到达到达极小，这里极小，这里 n m。nnxaxaaxP .)(10 miiiyxP12)( naaa10 实践上是实践上是 a0, a1,

8、, an 的多元函数，即的多元函数，即 miinininyxaxaaaaa121010.),.,( 在在 的极值点应有的极值点应有nkak,., 0,0 kimiiikaxPyxPa )()(201 kiminjijijxyxa 102 njmikiimikjijxyxa0112记记 mikiikmikikxycxb11, nnnnnnccaabbbb.0000001 L-S Approximating Polynomials定理定理L-S 拟合多项式存在独一拟合多项式存在独一 (n m)。证明：记法方程组为证明：记法方程组为 Ba = c .BT 那么有那么有 其中其中ycT nmmmnx.

9、xx.x.xx2121111对恣意对恣意 ，必有，必有 。10 nRu0 u10 nRu0 u假设不然，那么假设不然，那么存在一个存在一个 使得使得 即即mkuxnjjjk,., 1,00 是是 n 阶多项式阶多项式mxx,.,1nnxuxuuxP .)(10的根的根那那么么0|22 uuuuBuTTT B为正定阵，那么非奇特，所以法方程组存在独一解。为正定阵，那么非奇特，所以法方程组存在独一解。即可解得即对于拟合函数拟合这就是用途最广的线性时特别的当bayxybaxxxxbayiiiiiim0000200,.,1n. 2例例 题题 下面举个例子以说明用最小二乘法解题的步骤。 例例 电流通过

10、2电阻，用伏安法侧得的电压电流如表 I(A) 1 2 4 6 8 10 V(V) 1.8 3.7 8.2 12.0 15.8 20.2 用最小二乘法处理数据。 解解 1.确定 V=(I)的形式。 将数据点描绘在坐标上 （如下图） ，可以看出这些点在一条直线的附近，故用线形拟合数据，即 2.建立方程组。 IaaV10曲线拟合问题最常用的解法曲线拟合问题最常用的解法最小二乘法的根本思绪最小二乘法的根本思绪第一步:先选定一组函数 r1(x), r2(x), rm(x), mn, 令 f(x)=a1r1(x)+a2r2(x)+ +amrm(x) 1其中 a1,a2, am 为待定系数。 第二步第二步:

11、 确定确定a1,a2, am 的准那么最小二乘准那么：的准那么最小二乘准那么：使使n个点个点xi,yi) 与曲线与曲线 y=f(x) 的间隔的间隔i 的平方和最小的平方和最小 。记记 )2()()(),(211211221iiknimkkininiiimyxrayxfaaaJ 问题归结为，求问题归结为，求 a1,a2, am 使使 J(a1,a2, am) 最小。最小。最小二乘法的求解：预备知识最小二乘法的求解：预备知识超定方程组：方程个数大于未知量个数的方程组超定方程组：方程个数大于未知量个数的方程组)( 221111212111mnyarararyarararnmnmnnmm即即 Ra=y

12、nmnmnnmyyyaaarrrrrrR112111211,其中其中超定方程普通是不存在解的矛盾方程组。超定方程普通是不存在解的矛盾方程组。 假设有向量假设有向量a使得使得 到达最小，到达最小，那么称那么称a为上述超定方程的最小二乘解。为上述超定方程的最小二乘解。 212211)(imniimiiyararar最小二乘法的求解最小二乘法的求解 定理：当定理：当RTRRTR可逆时，超定方程组可逆时，超定方程组3 3存在最小二乘解，存在最小二乘解，且即为方程组且即为方程组 RTRa=RTy RTRa=RTy的解：的解：a=(RTR)-1RTya=(RTR)-1RTy 所以，曲线拟合的最小二乘法要处

13、理的问题，实践上就是所以，曲线拟合的最小二乘法要处理的问题，实践上就是求以下超定方程组的最小二乘解的问题。求以下超定方程组的最小二乘解的问题。nmnmnmyyyaaaxrxrxrxrR111111,)()()()(其中其中Ra=y 3三 拟合模型的正规方程关于拟合模型必需能反映离散点分布根本特征。 常选取是拟合模型，既所属函数类为M =Span 0，1， n，其中 0，1， n 是线性无关的基函数 m于是 x= c j jx j=0通常选取每个j是次数j的简单多项式，即M 是次数 n 的n次多项式空间。取 jx=x j ， j=0，1，n M =Span1 ,x , x2，x n，从而x= C

14、0 +C1 x1 + + C n x n =Pn(x) n 设离散数据模型 x= c j jx j=0那么求解归结为 n+1元函数S的 极值问题: m n Sc0，c1，c n= i y i c j jxi 2 i=0 j=0显然S达最小值必要条件是 S m n =2 i y i c j jxi kx i= 0 C k i=0 j=0 k=0 ，1，n这是关于 c0，c1，c n 的方程组， n改写成 j ， k) c j =(y, k ) (k=0,1,2,n)称为正规方程组 j=0其中 m nj ， k )= i jxi kx i i=0 j=0普通，n m，函数 0，1，n，线性无关能保

15、证正规方程组的系数矩阵 0， 0 1， 0 ， n ， 0 G= ， (*) 0， n 1， n ， n ， n 的行列式不为零。因此正规方程组有独一解。设其解为 c j =c j *，j=0，1，n那么所要求的离散点的拟合函数(最正确平方逼近)为 n *x= c j *jx。 J=0对知延续函数f(x)的最正确平方逼近问题与离散点的最正确平方逼近有一样方式的正规方程组和结论,只不过内积公式变为 dxjxxxkbajk)()()(),( 表中提供离散数据x i ， y i，0i4 试用二次多项式进展拟合. i xi yi *xi yi - *xi 0 0 1.0000 1.0052 -0.00

16、52 1 0.25 1.2840 1.2740 0.0100 2 0.50 1.6487 1.6482 0.0005 3 0.75 2.1170 2.1279 -0.0109 4 1.00 2.7183 2.7130 0.0053四拟合模型举例解:取 M=Span1，x，x2 其三个基函数为 j x=x j j=0, 1, 2 拟合函数 是基函数的线性组合: x=c0+c1x+c2x2 取0=1=4=1 ,由公式 5 5 j，k= xi j+k， y， k= y i x i k ， i=1 i=1 j，k=0，1，2 可以算出 0 ，0 =5，1， 1=1.875， 2 ，2=1.3828 0

17、 ，1= 1 ，0=2.5,0 ，2= 2 ，0=1.8751 ，2= 2 ，1=1.5625y ， 0=8.7680，y，1=5.4514，y，2=4.4215 正规方程为5C0+2.5C1+1.875C2 =8.76802.5C0+1.875C1+1.5625C2 =5.45141.875C0+1.5625C1+1.3828C2=4.415解得 C0=1.0052，C1=0.8641，C2=0.8427所求延续模型 * 为， *x=1.0052+0.8641x+0.8437x2最小平方残差 5 | y *|22 = yi *x i)2 = 2.7610-4 i=1bxay DDDDDDxf

18、fbaxxxx,1 ,1 , 11 , 1第一步：函数空间的基x, 1，然后列出法方程baxy2 DDDDDDfxfbaxxxx1 ,1 , 1, 1, 1,22222第一步：函数空间的基1 ,2x，然后列出法方程例：baxy23703456334558.3ab 3212414.38.34.78.322.7xy第一步：函数空间的基1 ,2x，然后列出法方程DDDDDDfxfbaxxxx1 ,1 , 1, 1, 1,222220.8327167.49691ab bxaey 由bxay lnln，可以先做bxay*bxayeeey*3212414.38.34.78.322.7ln2.660262.

19、116261.547562.116263.12236xyy1,11,11,DDDDDDxfaxx xf xb 5011.56270342.9611ab 2.312540.0870912ab 由上述我 们曾经知到上述模型实践上是最小二乘法的推行，实践上也就是多项式逼近函数的问题。它不仅可以处理一元问题还可用于多元问题。除此外还可求解某些非线性问题。求解方法是将其经过一定的代数变换转换为可用线性模型求解的问题。 比如对方程 y=a e b x 取对数，得l n y=l n a+b x， 令 Y=lny, A= l n a, B=b 那么问题转化为解 Y=A+Bx的线性问题。 类似的再如，对y=a+

20、 b/ x拟和可对此方程取倒数，那么新变量1/y于x成线性关系。五 非线性曲线的拟合六最小二乘法方法评注曲曲 线线 拟拟 合合 问问 题题 的的 提提 法法知一组二维数据，即平面上知一组二维数据，即平面上 n n个点个点xi,yi) i=1,n, xi,yi) i=1,n, 寻求一个函数曲线寻求一个函数曲线y=f(x), y=f(x), 使使 f(x) f(x) 在某种准那么下在某种准那么下与一切数据点最为接近，即曲线拟合得最好。与一切数据点最为接近，即曲线拟合得最好。 +xyy=f(x)(xi,yi)i i 为点为点xi,yi) 与曲线与曲线 y=f(x) 的间隔的间隔拟合与插值的关系拟合与

21、插值的关系 函数插值与曲线拟合都是要根据一组数据构造一个函数作为近似，由于近似的要求不同，二者的数学方法上是完全不同的。 实例：下面数据是某次实验所得，希望得到实例：下面数据是某次实验所得，希望得到X和和 f之间的关系？之间的关系？x124791 21 31 51 7f1 .53 .96 .611 .71 5 .61 8 .81 9 .62 0 .62 1 .1问题：给定一批数据点，需确定满足特定要求的曲线或曲面问题：给定一批数据点，需确定满足特定要求的曲线或曲面处理方案：处理方案：假设不要求曲线面经过一切数据点，而是要求它反映对象整体的变化趋势，这就是数据拟合，又称曲线拟合或曲面拟合。假设要求所求曲线面经过所给一切数据点，就是插值问题；最临近插值、线性插值、样条插值与曲线拟合结果：最临近插值、线性