数值分析(21)离散数据最小二乘拟合

1、数值分析数值分析数值分析数值分析010101201,()(),(),(),.,( , )( )( ),( ()()min(1)imimmmiiiimxxxxf xf xf xf xs x cs xf xf xs x 给给定定个个数数据据点点及及权权系系数数, ,并并已已知知函函数数模模型型。用用给给定定的的数数据据点点，按按给给定定的的函函数数模模型型，构构造造拟拟合合函函数数逼逼近近未未知知函函数数使使此此问问题题称称为为最最小小二二乘乘曲曲线线拟拟合合，又又称称为为离离散散数数据据的的最最佳佳平平方方逼逼近近。使拟合误差的平方和最小使拟合误差的平方和最小最小二乘原理最小二乘原理第三节第三节

2、 离散数据的最小二乘曲线拟合离散数据的最小二乘曲线拟合一、问题的提法与计算一、问题的提法与计算数值分析数值分析数值分析数值分析201101( , )(,)2.( , )Tnnc xs x ccc cccs x cc xc e 是是关关于于系系数数的的非非线线性性函函数数。如如非非线线性性最最：小小二二乘乘曲曲线线拟拟合合两两种种拟拟合合问问题题21110011210( , )( , )(,)( , )1.nnnnnTnnxxxns x cc xcxc xcs x ccccccs x cc ec ec ec 如如：取取是是关关于于系系数数的的线线性性最最小小线线性性函函数数。这这是是多多项项式式

3、拟拟合合。若若取取，这这也也是是关关于于系系数数的的二二乘乘曲曲线线拟拟合合线线性性拟拟合合。数值分析数值分析数值分析数值分析数值分析数值分析数值分析数值分析( )(),0,1,.,iixxs xy im n ni ii ii i= =0 0若若求求s s( ( ) )= =c c，使使0000110001001111110011()()().()()()().()()()().()nnnnmmmnnmms xcxcxcxys xcxcxcxys xcxcxcxy YACY S S22minCACY 显显然然这这是是不不能能成成立立的的。只只能能求求出出使使ACY 线线性性最最小小二二乘乘问问

4、题题：求求矛矛盾盾方方程程组组的的最最小小二二乘乘解解。CACY 是是矛矛盾盾方方程程组组的的最最小小二二乘乘解解。2220min()minmiiiACYys x 数值分析数值分析数值分析数值分析连续函数最佳平方逼近问题的一般提法连续函数最佳平方逼近问题的一般提法 1222( ),( )( )( )baff xf xxf xdx 及及内内积积范范数数 , ( )(, )( ) ( ) ( )baC a bxf gx f x g x dx 在在中中，定定义义带带权权内内积积 , ( ) , ,( ),C a bf xC a bf x 在在内内积积空空间间中中，设设但但*0( )( )njjjsx

5、cx 在在中中寻寻找找一一个个函函数数22*22()( )( )min( )( )xf xsxf xx 使使得得*( ),( ) , xf xa b若若s s存存在在 则则称称其其为为在在上上的的最最佳佳平平方方逼逼近近函函数数。数值分析数值分析数值分析数值分析离散数据的最佳平方逼近问题的一般提法离散数据的最佳平方逼近问题的一般提法2*2( )( )minf xsx 使使得得*( ),( ) , xf xa b若若s s存存在在 则则称称其其为为在在上上的的最最佳佳平平方方逼逼近近函函数数（最最小小二二乘乘拟拟合合曲曲线线）。*20( ()()minmiiiif xsx 即即 , ( ) ,

6、,( ),C a bf xC a bf x 在在内内积积空空间间中中，设设但但*0( )( )njjjsxcx 在在中中寻寻找找一一个个函函数数数值分析数值分析数值分析数值分析 0010101 , (0,1,.,)( ), ( )() (), )(,.,)( (),(),.,()( (), (),., ()imTiiiimTmTmC a bimf xxf xxY WYWdiagYf xf xf xxxx 在在中中，定定义义带带权权的的内内积积（不不严严格格）其其中中数值分析数值分析数值分析数值分析 ( ),( ),.,( )( ),( ),.,( )( )xxxxxxxxx 0 01 1n n

7、n n0 01 1n ni ii ii i= =0 0求求s s( ( ) )s sp pa an n其其中中线线性性无无关关。s s( ( ) )= =c c000010100010111110011(,)(,)0(0,1, )(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)nkjjkinnnnnnnnnnfsfckncccfcccfcccf 由由得得法法方方程程线性最小二乘曲线拟合问题的法方程线性最小二乘曲线拟合问题的法方程数值分析数值分析数值分析数值分析 01( ),.jmxxxx 由由函函数数和和点点集集定定义义一一个个向向量量011()(),0,1,.,()j

8、jmjjmxxRjnx 01()()()mf xf xYf x 101(,),TnnCc ccRGCF 若若记记向向量量法法方方程程用用矩矩阵阵形形式式表表示示为为法方程法方程GC=FGC=F存在惟一解的充要条件显然是系数矩阵存在惟一解的充要条件显然是系数矩阵即即GramGram矩阵矩阵G G非奇异。非奇异。 数值分析数值分析数值分析数值分析 00100011110101(,)(,)(,)(,)(,)(,)(,)(,)(,)( ,)( ,)( ,)nnnnnnTnGFYYYGCF 法法方方程程其其中中00010100010111110011(,)(,)(,)( ,)(,)(,)(,)( ,)(

9、,)(,)(,)( ,)nnnnnnnnnncccYcccYcccY 法法方方程程可可改改写写为为数值分析数值分析数值分析数值分析定义定义 7-2 设点集0 miiXx，若存在不全为 0 的j使得 0011( )( )( )0,(0,1,)iinnixxxim 成立，则称0( )njjx在点集X上线性相关。否则称函数 系0( )njjx在点集X上线性无关。 函数系0( )njjx关于点集0 miiXx的线性无关性等价 于1mR中向量系0 njj的线性无关性，此亦等价于在点 集X中必存在1n（nm）个点01,jjjnxxxX， 使得行列式 001000111101()()()()()()0()(

10、)()jjnjjjnjjnjnnjnxxxxxxxxx数值分析数值分析数值分析数值分析 0101( )1( ),( ),.nnnxxxxxxxx 例例：取取，为为n n+ +1 1个个互互异异点点00111()(),0,1,.,()jjjjnjjnjnxxxxRjnxx 0101( ),( ),.,( ),.,mniimxxxxR 01n01n若若在在点点集集上上线线性性无无关关，且且nmnm，则则是是中中线线性性无无关关的的向向量量组组。,.,A 0 01 1n n设设 0011111det( )()01nnnijj i nnnnxxxxAxxxx 1,.,R n n0 01 1n n所所以

11、以是是中中线线性性无无关关的的向向量量组组。数值分析数值分析数值分析数值分析 010( ),( ),.,( )mniixxxx 要要使使在在点点集集上上线线性性无无关关，还还需需加加上上H Ha aa ar r条条件件。定义定义 7-3 若函数系0( )njjx于点集0 miiXx中任意 1n（nm）个点kjx， （0,1,kn） ，都有 001000111101()()()()()()0()()()jjnjjjnjjnjnnjnxxxxxxxxx成立，则称函数系0( )njjx于点集X上满足Haar条件。 010( ),( ),.,( ) , ()nmiixxxC a bxmnn 定定义义7

12、 7- -3 3等等价价于于的的任任意意线线性性组组合合在在点点集集上上至至多多只只有有 个个不不同同零零点点。数值分析数值分析数值分析数值分析 010( ),( ),.,( )mniixxxx 可可以以证证明明，如如果果在在上上满满足足H Ha aa ar r条条件件，则则法法方方程程的的系系数数矩矩阵阵非非奇奇异异。数值分析数值分析数值分析数值分析法方程的另一种形式法方程的另一种形式01(,.,),nTTAGA WAFA WY 记记由由矩矩阵阵乘乘法法可可知知，,TTWIA ACA Y 当当时时 法法方方程程为为TTA WACA WY 法法方方程程就就变变成成00001010,.,TTTn

13、TTnTTnnnTnA A 0000(,)(,)(,)(,)nnnnG 数值分析数值分析数值分析数值分析00( )nmjjiiTTTxXxAA AA ACA Y （1 1）若若于于上上满满足足H Ha aa ar r条条件件, ,则则 是是列列满满秩秩矩矩阵阵，所所以以是是( (n n+ +1 1) ) ( (n n+ +1 1) )的的对对称称正正定定阵阵，可可用用C Ch ho ol le es sk ky y分分解解法法求求解解法法方方程程 注注：。)TTGCFA ACA Y 法法方方程程( (或或存存在在唯唯一一解解. .TTGCF A ACA YACYAMatlabCA Y 法法方方

14、程程（）的的解解矛矛盾盾方方程程组组的的最最小小二二乘乘解解。称称 为为回回归归矩矩阵阵，在在中中可可用用左左除除法法求求解解0,(,)0TTxx A AxAx Ax 证证：数值分析数值分析数值分析数值分析010,(0,1,.,2 )mnnnkmiixxxxkn 实实际际计计算算中中要要计计算算，. . . .，当当数数据据点点数数值值很很大大时时，可可能能会会在在计计算算中中溢溢出出，可可以以采采用用下下面面的的方方法法处处理理。200021112( )1,( ),.,( ),111nnnnmmmxxxxxxxxxxxAxxx 01n01n（3 3）取取基基函函数数为为则则222()( )T

15、condA AcondA （2 2）且且有有因因此此，法法方方程程常常常常表表现现出出是是病病态态方方程程组组。数值分析数值分析数值分析数值分析0=1miiicicxxxxxm 2012( )()()()nccncs xcc xxcxxcxx 拟拟合合多多项项式式改改为为01234891011121.01.28401.64872.11702.7183iiixy 例例 给给出出数数据据点点01234210121.01.28401.64872.11702.7183iiixy 数数据据点点改改为为数值分析数值分析数值分析数值分析2220122210.01.00.010.251.28400.25,10

16、.51.64870.510.752.11700.7511.02.71831.0Y 2012340.051.01.01.28401.64872.11702.71831.01.01.01.01.0,iiiixywx x 给给出出数数据据点点试试用用1 1, ,构构造造二二次次最最佳佳平平方方逼逼近近多多项项式式。20122012( )( )1,( ),( )s xcc xc xxxxxx 设设解解：例例7-67-6数值分析数值分析数值分析数值分析000102101112202122( , ) ( , ) ( , )52.51.875( , ) ( , ) ( , )2.51.8

17、751.5625( , ) ( , ) ( , )1.875 1.5625 1.3825G (8.7680,5.4514,4.4015)TF GC=F0 01 12 2解解法法方方程程解解出出 c c = =1 1. .0 00 05 52 2, , c c = =0 0. .8 86 64 41 1, , c c = =0 0. .8 84 43 37 72( )1.00520.86410.8437s xxx 于于是是得得到到二二次次最最佳佳平平方方逼逼近近多多项项式式 数值分析数值分析数值分析数值分析 010101( ),( ),.,( ),.,.,0( ),( ),0nmmkjkjxxx

18、xxxwwwjkxxjk 若若函函数数组组是是关关于于点点集集和和带带权权的的正正交交函函数数1 1. .原原即即理理：组组, , 001101(,)(,)(,)( ,)( ,),( ,),( ,),(,)0,1,2,.,nnTknkkkGYFYYGCYcvknF 则则法法方方程程其其中中二、由正交函数组构造最佳平方逼近多项式二、由正交函数组构造最佳平方逼近多项式数值分析数值分析数值分析数值分析020()()( ,),(0,1,2, )(,)()miijijijmjjijiiw f xxYcjnvwx 0( )( )njjjS xcx 最最佳佳平平方方逼逼近近多多项项式式为为 20011111

19、, ,1( )1( )()( )( )(0,1,2,.)2mniikkkkkx xxxxxxxxk 由由构构造造关关于于点点集集的的首首 正正交交构构造造关关于于点点集集的的正正交交数数多多项项函函组组式式数值分析数值分析数值分析数值分析其中其中 020( ),( ),()()( ),( )()mkjkjikijiimkkiikiixxwxxxxxw xx 式式中中内内积积定定义义为为011( ),( )(0,1,2,)( ),( )( ),( )0,(1,2,)( ),( )kkkkkkkkkkxxxkxxxxkxx 数值分析数值分析数值分析数值分析 01210,0.25,0.5,0.75,

20、1.01,( ),( ),( ).:iwxxx （ ）先先构构造造关关于于点点集集和和权权的的正正交交函函数数组组解解011000100( )1,( )()( )( ),( )( ),( )xxxxxxxxx 用用关关于于点点集集的的正正交交函函数数组组构构造造二二次次最最佳佳平平方方逼逼近近多多项项式式。012340.051.01.01.28401.64872.11702.71831.01.01.01.01.0iiiixyw 给给出出数数据据点点例例7-77-7数值分析数值分析数值分析数值分析01200034000001000011010.25,10.510.7511(

21、),( )(,)2.51( ),( )(,)521( )2xxxxxxxxxxxx 数值分析数值分析数值分析数值分析)(),()(),(,)(),()(),()()()()(001111111201122xxxxxxxxxxxxx 81)21()(81,212212 xx 1110.5,0.25,0,0.25,0.50,0.625,0,0.1875,0.5TT 数值分析数值分析数值分析数值分析01210.50.1251.010.250.06251.2840,10.00.1251.648710.250.06252.117010.50.1252.7183Y 2012111()1,(),()()22

22、8xxxxx (1.0,1.2840,1.6487,2.1170,2.7183)TY 数值分析数值分析数值分析数值分析4400000044211110044222222200( ,) (,)118.768 51.753611( ,) ( ,)()()1.7078221111( ,) (,)()()28280.8437iiiiiiiiiiiiicYycYyxxcYyxx 2111( )1.75361.7078()0.8347()228s xxx 得得到到二二次次最最佳佳平平方方逼逼近近多多项项式式为为数值分析数值分析数值分析数值分析3.误差估计误差估计2200( ,)(,)(,)nnjjjjjj

23、Y YcYYcY 对对离离散散数数据据的的最最佳佳平平方方逼逼近近01(),(),()TmYfxfxfx 其其中中2( ,) (,), ( ,)jjjjjjjcYYc 如如果果用用正正交交函函数数组组构构造造最最佳佳平平方方逼逼近近元元，则则 2222njjYc j j= =0 0因因此此有有 2200(,)(,)( ,)(,)(,)(,)(,)nnjjjjjjfsfs fsffs fffcfffcf 由由最最佳佳平平方方逼逼近近的的误误差差估估计计式式数值分析数值分析数值分析数值分析误误差差递递推推关关系系0112122-1,nnnjjxxxYc j j= =0 0，用用 （ ） （ ）（

24、）作作逼逼近近，误误差差 第第一一步步2222211nnnnnc 即即有有 最最佳佳平平方方逼逼近近的的误误差差，随随着着选选择择的的拟拟合合基基函函数数个个数数增增加加而而减减少少 01122221222,nnnnjjnjjnnxxxxYcYcc j j= =0 0j j= =0 0，用用 （ ）（ ）（ ）, , （ ）作作逼逼近近，误误差差 第第二二步步数值分析数值分析数值分析数值分析 例例 某实验需要考察水分的渗透速度。今测得一组数某实验需要考察水分的渗透速度。今测得一组数据据,试用最小二乘法确定函数关系。试用最小二乘法确定函数关系。x=0 0.3010 0.6021 0.9031 1

25、.2041 1.5051 1.8062;y=0.6253 0.6042 0.5855 0.5551 0.5366 0.4800 0.4133;P=polyfit(x,y,4)pp=poly2str(P,x)polytool(x,y,4)数值分析数值分析数值分析数值分析三、多元线性拟合三、多元线性拟合 前面讨论的是一元线性拟合问题，用在一元线性前面讨论的是一元线性拟合问题，用在一元线性拟合上的最小二乘原理同样可以用在多元线性拟合的拟合上的最小二乘原理同样可以用在多元线性拟合的问题上。问题上。被拟合函数为)(21nxxxfy，经过m次观测或 实验给出数据表 x m 12nxxx )(21nxxxf

26、y， m21 mnmmnnxxxxxxxxx212222111211 11112122122212()()()nnmmmmnyf xxxyf xxxyf xxx， ， ， ， ， ， ， 数值分析数值分析数值分析数值分析拟合函数拟合函数S(x,c)的的类型类型 01 122(1)()nnS xccc xc xc x；其中Tnxxxx)(21， ，01( ,)Tncc cc，是待求的拟合系数。 01 12212121111 1(2)()nnnnnnnS xccc xc xc x xc x xc xc x；（3） 选择逼近空间01( ),( ),( )nspanxxx 其中：12( )( ,)(0

27、,1, )iinxx xxin 数值分析数值分析数值分析数值分析定义函数关于点阵()ijm nXx的及权系数1()miiw的离散内积 0110( ( ), ( )( ( ), ( )( ) ( )(,) (,)mwdiiiimiiiniinig x h xg x h xw g x h xw g xxh xx22100( )( ( ), ( )( )(,)mmwdiiiiiniig xg x g xwgxwgxx及相应的导出范数及相应的导出范数数值分析数值分析数值分析数值分析第四节第四节 非线性最小二乘曲线拟合非线性最小二乘曲线拟合一、非线性最小二乘曲线拟合问题的提法一、非线性最小二乘曲线拟合问

28、题的提法010101201,.,( ;)( ),(;)min(1)imimmmiiiimxxxxyyyyf x Cf xyf x C 给给定定个个数数据据点点 及及权权系系数数, ,并并已已知知函函数数模模型型。用用给给定定的的数数据据点点，按按给给定定的的函函数数模模型型，构构造造拟拟合合函函数数使使此此问问题题称称为为最最小小二二乘乘曲曲线线拟拟合合. .其中)(Cxf；是关于拟合系数C是非线性关系。 数值分析数值分析数值分析数值分析2201202010(,)(; )()imiiiimc xiiiig c c cyf x cyc xc e 记记012012,(,)minc c cg c c

29、 c 非非线线性性最最小小二二乘乘曲曲线线拟拟合合问问题题求求使使无无约约束束优优化化问问题题非非线线性性最最小小二二乘乘问问题题223011451( ; ),()c xc xcxf x Cc xc ef xCc xcc x 如如：；数值分析数值分析数值分析数值分析0011(, )(, )(, )mmf x cyf x cyf xcy 非非线线性性最最小小二二乘乘问问题题，即即求求矛矛盾盾方方程程组组的的最最小小二二乘乘解解220212010010011101( ; ),mc xc xc xc xmmf x cc xc ec xc eyc xc eyc xc ey 如如：矛矛盾盾方方程程组组为

30、为数值分析数值分析数值分析数值分析 常用解法为常用解法为高斯高斯牛顿法牛顿法：（1）采用局部线性化思想，将非线性最小二乘曲线）采用局部线性化思想，将非线性最小二乘曲线 拟合问题转化为线性最小二乘曲线拟合问题。拟合问题转化为线性最小二乘曲线拟合问题。 P272（2）采用采用无约束优化方法。无约束优化方法。 数值分析数值分析数值分析数值分析MATLAB调用格式：调用格式：多项式拟合多项式拟合 (1) pn=polyfit(x,y,n), y0=polyval(pn,x0), polt(x,y,x0,y0) (2) pn=polytool(x,y,n)多元线性拟合多元线性拟合 （1）利用回归矩阵建立拟合函数，）利用回归矩阵建立拟合函数，c=Ay (2) c=re