北京理工大学数值分析课件6

1、2021/6/211 第六章第六章 函数逼近函数逼近 插值法 - 近似函数经过给定数据点 函数逼近 - 最小二乘法 - 残差最小 2021/6/212 ), 2 , 1( ),( : niyx ii 已已知知数数据据表表问问题题 . ),( 趋趋势势 反反映映数数据据点点的的基基本本 地地好好使使其其尽尽可可能能 求求一一近近似似函函数数x 插插值值 2021/6/213 )( ), 2 , 1)(,(xniyx ii 近近似似函函数数为为，已已知知数数据据表表 ), 2 , 1( )( nixy iii 残残差差： 2021/6/214 的的常常用用规规则则：求求逼逼近近函函数数)(x mi

2、n1 1 n i i 、 min 2 1 2 n i i 、最佳平方逼近（最小二乘拟合）最佳平方逼近（最小二乘拟合） minmax3 1 i ni 、 最佳一致逼近最佳一致逼近 2021/6/215 1 1数据拟合的最小二乘法数据拟合的最小二乘法 H选选定定近近似似函函数数类类 )(使使得得，求求Hx n i ii H n i ii xyxy 1 2 1 2 )(min)( 的的最最小小二二乘乘函函数数称称为为数数据据组组), 2 , 1)(,()(niyxx ii 这种确定近似函数的方法这种确定近似函数的方法 称为数据拟合的最小二乘法。称为数据拟合的最小二乘法。 ，问问题题：已已知知数数据据

3、组组), 2 , 1)(,(niyx ii 2021/6/216 )( nmmH 次次多多项项式式全全体体至至多多 满满足足如如果果 m k k km xaxP 0 )( n i m k k iki Raaa n i m k k iki xayxay m 1 2 0 , 1 2 0 10 min )(次次拟拟合合多多项项式式。为为数数据据组组的的最最小小二二乘乘称称mxPm 1.1 多项式拟合多项式拟合 2021/6/217 n i m k k iki Raaa n i m k k iki xayxay m 1 2 0 , 1 2 0 10 min 满满足足条条件件，极极值值点点由由多多元元函

4、函数数极极值值的的必必要要),( 10m aaa n i k i m k kim xayaaaF 1 2 0 10 ),( 记记 , 1 ,0 ,0 mk a F k 的的极极小小值值点点求求拟拟合合多多项项式式相相当当于于求求),( 10m aaaF 0 2 10 n i k i l i m l li k xxay a F , 1 ,0mk 2021/6/218 m i n i i n i m im n i m i n i m i n i m i i n i i n i m im n i i n i i n i i n i n i i m im n i i n i i xyxaxaxaxa

5、xyxaxaxaxa yxaxaxana 11 2 1 2 2 1 1 1 1 0 11 1 1 3 2 1 2 1 1 0 111 2 2 1 10 称此方程组为正则方程法方程组。称此方程组为正则方程法方程组。 0 2 10 n i k i l i m l li k xxay a F , 1 ,0mk 2021/6/219 超定线性方程组的最小二乘解超定线性方程组的最小二乘解 mnmnmm nn nn bxaxaxa bxaxaxa bxaxaxa 2211 22222121 11212111 , )(),( 1 2 1 21 的的极极小小值值点点 m i n j jijin xabxxxF

6、 .的解的解是正则方程组的是正则方程组的bAAxA TT ,时为超定方程组时为超定方程组当当nm :其其最最小小二二乘乘解解为为 2021/6/2110 , ),2 , 1( ),( 方方程程组组的的最最小小二二乘乘解解次次多多项项式式等等价价于于解解超超定定 的的最最小小二二乘乘拟拟合合求求数数据据表表 m niyx ii n m n mm n m m nn m m m n mm n y y y xxx xxx a a a xx xx xx xxx xxx 2 1 21 211 0 22 11 21 21 111 1 1 1 111 :正则方程组为正则方程组为 1 10 22210 1111

7、0 mn yxaxaa yxaxaa yxaxaa n m nmn m m m m 2021/6/2111 m i n i i n i i n i i m n i m i n i m i n i m i n i m i n i i n i i n i m i n i i xy xy y a a a xxx xxx xxn 1 1 1 1 0 1 2 1 1 1 1 1 1 2 1 11 2021/6/2112 n i m k k iki aa xay m 1 2 0 0 min 求求极极小小值值点点 )()2()1()0( 2 2 2 222 1 2 111 1 1 1 m m nnnn m

8、m xxxxy xxxy xxxy xxxy n k k nm yy Rxxy 1 2 2 2 )()0( , 另另一一种种解解释释方方法法 2 2 0 )( 1 2 0 00 minmin m k k k aa n i m k k iki aa xayxay mm 2021/6/2113 n i m k k iki aa xay m 1 2 0 0 min 求求 mlxxayHxay l m k k k m k k k 1 , 0 , , )( 0 )( 0 )( 即即 拟拟合合多多项项式式系系数数满满足足利利用用最最佳佳逼逼近近的的性性质质 : 0 )( m k k k xaHy中中的的最

9、最佳佳逼逼近近元元在在求求等等价价于于 mlxxayxxay n i l i m k k iki m k lk k 1 , 0 0)(),( 100 )()( 即即 , )()1()0(m xxxspanH 令令 2 2 0 )( 0 min m k k k aa xay m 2021/6/2114 mlxxayxxay n i l i m k k iki m k lk k 1 , 0 0)(),( 100 )()( 拟拟合合多多项项式式系系数数满满足足 ),(),(),(),( ),(),(),(),( ),(),(),(),( )()()( 1 )()1( 0 )()0( )1()1()(

10、 1 )1()1( 0 )1()0( )0()0()( 1 )0()1( 0 )0()0( m m mmmm m m m m xyaxxaxxaxx xyaxxaxxaxx xyaxxaxxaxx 等等价价于于 n i ml i ml n i l ii l xxxxyxy 1 )()( 1 )( ),( ),( 2021/6/2115 结论：正则方程组存在唯一解，结论：正则方程组存在唯一解， .), 2 , 1( ),( 次次拟拟合合多多项项式式的的最最小小二二乘乘 已已知知数数据据组组且且解解所所对对应应的的多多项项式式为为 mni yx ii :)(,解解公公式式最最小小二二乘乘拟拟合合多

11、多项项式式求求线线性性一一次次特特别别地地 n i ii n i i n i i n i i n i i yxaxax yaxna 1 1 1 2 0 1 1 1 1 0 , , , 1 0 1111 2 xy y xxx x n i iyi n i ixy n i ix n i ixx S S a a SS Sn ySyxSxSxS令令 2021/6/2116 . 5 . 50 . 65 . 30 . 40 . 25 . 25 . 0 7654321 : 合合多多项项式式求求它它的的一一次次最最小小二二乘乘拟拟 已已知知数数据据表表例例 i i y x 5 .1195 .380 .365 .

12、170 .160 . 60 . 55 . 0 14049362516941 0 .245 . 50 . 65 . 30 . 40 . 25 . 25 . 0 287654321 : : 2 xyii xxi yi xi Syx Sx Sy Sx 表表据据数数列列 解解 2021/6/2117 8393. 0 ,0714. 0 5 .119 24 14028 287 : 10 1 0 1 0 aa a a S S a a SS Sn xy y xxx x 此此问问题题的的正正则则方方程程组组为为 5 .1195 .380 .365 .170 .160 . 60 . 55 . 0 14049362

13、516941 0 .245 . 50 . 65 . 30 . 40 . 25 . 25 . 0 287654321 : 2 xyii xxi yi xi Syx Sx Sy Sx 表表据据数数列列 xxP8393. 00714. 0)( : 1 乘乘拟拟合合多多项项式式为为此此数数据据表表的的一一次次最最小小二二 2021/6/2118 二次最小二乘拟合多项式二次最小二乘拟合多项式 用平方根方法求解方程组用平方根方法求解方程组 用用 MATLAB 函数函数z = Ar n 1i i 2 i n 1i ii n 1i i 2 1 0 n 1i 4 i n 1i 3 i n 1i 2 i n 1i

14、 3 i n 1i 2 i n 1i i n 1i 2 i n 1i i yx yx y a a a xxx xxx xxn 2021/6/2119 1.2 指数拟合指数拟合 ,RbabeH ax 取取为指数拟合为指数拟合. .的的最最小小二二乘乘拟拟和和函函数数求求已已知知数数据据组组形形如如 ax bey 使使得得求求利利用用最最小小二二乘乘原原理理ba , , n i ax i Rba n i xa i ii beyeby 1 2 , 1 2 min 的的极极小小值值点点即即求求 n i ax i i beybaF 1 2 ),( 导导出出非非线线性性方方程程组组由由 0 ,0 b F

15、a F 2021/6/2120 的的最最小小二二乘乘拟拟和和函函数数按按最最小小二二乘乘法法求求数数据据)ln,(. 2 ii yx xaaxaa eeey 1010 .3 .),(数数的的最最小小二二乘乘拟拟和和指指数数函函为为数数据据组组 ii yx ), 2 , 1( )ln,(. 1niyx ii 列列表表 .的的最最小小二二乘乘拟拟合合函函数数求求已已知知数数据据组组形形如如 ax bey 实际计算步骤为：实际计算步骤为： axby lnln将非线性关系线性化将非线性关系线性化 xaay 10 ln 2021/6/2121 b axy yx 是幂指数关系：是幂指数关系：与与 xbay

16、 xy lnlnln :lnln 是是线线性性关关系系与与 2021/6/2122 非线性关系线性化非线性关系线性化 2021/6/2123 iiii xb yxyx xbay eay , ln, lnln 11 1 1 代代替替用用 iii b yxyx xbay xay , ln, ln lnln ln i 22 2 2 代代替替用用 指数关系指数关系 幂指数幂指数 2021/6/2124 ii i i yx y x bxa ybxa y , 1 , 1 1 44 44 代替代替用用 i ii y yx xa b ayxb x ay ,x 1 , 1 111 i 3 3 33 3 代代替替

17、用用 饱和增长率饱和增长率 有理函数有理函数 2021/6/2125 )( 1 168.0224.0297.0473.0931.0 6 .22 .28 .14 .10 .1 54321 : 保保留留四四位位小小数数的的拟拟合合函函数数求求形形如如 已已知知一一组组数数据据例例 bax y y x i i i ., 1 , 1 :baxY y Y bax y 则则有有令令因因为为解解 3922.354762.158214. 90606. 69598. 20741. 1 8000.177600. 68400. 42400. 39600. 10000. 1 9719.169524. 54643. 4

18、3670. 31142. 20741. 1 168. 0224. 0297. 0473. 0931. 0 0 . 96 . 22 . 28 . 14 . 10 . 1 : 2 xYii xxi Yi i xi SYx Sx SY y Sx 列数据表列数据表 0267. 3 0537. 2 3922.35 9719.16 8 .179 95 :, a b a b ba满足正则方程组满足正则方程组 0537. 20267. 3 1 : x y 数据的拟合函数为数据的拟合函数为 2021/6/2126 使使得得即即取取 函函数数小小的的原原则则确确定定最最小小二二乘乘实实际际中中常常按按加加权权方方

19、差差最最 ), 2 , 1( 0 ,. 1 ni i n i iii H n i iii xyxy 1 2 1 2 )(min)( .,7.2正正则则方方程程组组是是病病态态的的时时当当 m 说明：说明： 2021/6/2127 1.3 线性最小二乘法的一般形式线性最小二乘法的一般形式 ), 2 , 1( ),()1(:niyx ii 数数据据组组已已知知 1 , 0, )()(: )( : 0 mkRaxaxxH k m k kk 即即 使使得得即即求求 )( )( )( 0 m k kk xaxHx n i m k ikkii aaa n i m k ikkii xayxay m 1 2

20、0 , 1 2 0 )(min)( 10 )(),(),(,)2( 10 xxxba m 上上的的线线性性无无关关函函数数组组区区间间 , 10m spanH 令令 2021/6/2128 n i m k ikkiim xayaaaF 1 2 0 10 )(),( 记记 导导出出正正则则方方程程组组由由 ), 1 , 0( 0 mj a F j )10 )()()( 101 m,(jxyxxa n i ijii m k n i ijikik n i ijjij n i ijikijk xyyxx 11 )(),( , )()(),( 正则方程组可改写成形式正则方程组可改写成形式 ),( ),(

21、 ),( ),(),(),( ),(),(),( ),(),(),( 1 0 1 0 10 11101 01000 mmmmmm m m y y y a a a 记记 2021/6/2129 注：注： 上述多项式拟合是线性拟合的特例，上述多项式拟合是线性拟合的特例， 指数拟合化为线性拟合指数拟合化为线性拟合 例如例如: 关于系数关于系数ai 是线性的，但函数是线性的，但函数 i 是非线性的是非线性的 xaxay tataay sin sin cos 1 2 0 210 2021/6/2130 m k kk m xax aaa 0 10 )()( ,:1 . 6 则则是是正正则则方方程程组组的的

22、解解若若定定理理 ), 2 , 1)(,(的的最最小小二二乘乘函函数数。是是niyx ii . ),( ,: 10 正正则则方方程程组组存存在在惟惟一一解解 陆陆金金甫甫关关治治条条件件时时满满足足在在当当注注Haarx n i m k 2021/6/2131 使使其其满满足足，若若选选取取 )(,),(),( 10 xxx m (*) 0 0 ),( kj kj k jk 则正则方程组成对角形，其解为则正则方程组成对角形，其解为 ),( ),( kk k k y a 最最小小二二乘乘函函数数为为 的的正正交交函函数数组组。 为为权权，关关于于点点集集为为以以 条条件件的的函函数数组组满满足足

23、 , n)1,2,(i )(,),(),( (*) 21 10 ni m xxx xxx ),( ),( ),( ),(),(),( ),(),(),( ),(),(),( 1 0 1 0 10 11101 01000 mmmmmm m m y y y a a a )( ),( ),( )( 0 x y x k m k kk k 注：注： 当当m较大时，正则方程组往往是病态的。较大时，正则方程组往往是病态的。 2021/6/2132 ., ), 2 , 1( ), 3 , 2( )()()()( )( , 1)( 21 21 110 的的正正交交函函数数族族关关于于点点集集 为为权权，是是以以

24、 多多项项式式 n i kkkkk xxx ni kxxxx xxx ), 3 , 2( )( )( ),( ),( ), 2 , 1( )( )( ),( ),( 1 2 2 1 2 1 22 11 1 2 1 1 2 1 11 11 k x x k x xx x n i iki n i iki kk kk k n i iki n i ikii kk kk k 其中其中 2021/6/2133 622),(182),(581),( 354),(301),( 30),(101),( 100),(411),( 2 4 1 10 4 1 4 4 1 22 2 20 4 1 2 4 1 1110 4

25、 1 2 4 1 2100 yyyy xx xx xx i i i i i i i i i i i ii i 622 182 58 35410030 1003010 30104 2 1 0 a a a 2 1 , 10 49 , 2 3 210 aaa 2 3 10 49 2 1 )( 2 xxxPy 拟合拟合用用例例 2 210 :xaxaay 2 210 )(,)(, 1)(:1xxxxx 取取解解 2021/6/2134 拟合拟合用用例例 2 210 :xaxaay ),( ),( kk k k y a ), 3 , 2( )()()()( )( , 1)( 21 110 kxxxx x

26、xx kkkkk ),( ),( ),( ),( 22 11 11 11 kk kk k kk kk k x 求解求解通过正交多项式通过正交多项式解解)(),(),(:2 210 xxx )()()()( 221100 xaxaxaxy 设设 1)( 0 x 2 29 4 58 ),( ),( 00 0 0 y a 2021/6/2135 2 3 10 49 2 1 )55( 2 1 ) 2 5 ( 5 37 1 2 29 2 2 xx xxxy 1)( 0 x 2 29 ),( ),( 00 0 0 y a 2 5 ),( ),( 00 00 1 x 2 5 )()( 11 xxx 5 37

27、 )6 . 2( )6 . 2( ),( ),( 4 1 2 4 1 11 1 1 i i i ii x yx y a 2 5 ),( ),( 11 11 2 x 4 5 ),( ),( 00 11 2 55)( 4 5 )() 2 5 ()( 2 012 xxxxxx 2 1 ),( ),( 22 2 2 y a )()()()( )( , 1)( 21 110 xxxx xxx kkkkk ),( ),( ),( ),( 22 11 11 11 kk kk k kk kk k x 2021/6/2136 3 3 函数的最佳平方逼近函数的最佳平方逼近 ), 1 , 0(,)(,)(:3 .

28、6mibaCxbaCxf i 设设定定义义 b aH b a dxxxfxdxxxfx 22 )()()(min)()()( . )()()( 最最佳佳平平方方逼逼近近函函数数 的的中中关关于于权权函函数数在在为为则则称称xHxfx .)( )()(,)( 的的最最佳佳平平方方逼逼近近多多项项式式关关于于权权函函数数 中中在在为为则则称称次次多多项项式式时时为为当当 x Hxfxkx k 使使得得若若, )()( 0 m i ii xax ,)( 10mi SpanHx 线线性性无无关关 2021/6/2137 ,)()()( 0 的的最最佳佳平平方方逼逼近近函函数数的的形形如如求求 m k

29、kk xaxxf .),( 10 的的极极小小值值点点即即求求 m aaaF 得得正正则则方方程程组组由由), 1 , 0(0mj a F j dxxxfxdxxxxa b a j m k b a jkk )()()()()()( 0 dxxaxfxaaaF b a m k kkm 2 0 10 )()()(),( 令令 使使得得即即确确定定系系数数, 10m aaa .)()()( 2 0 最最小小dxxaxfx b a m k kk ), 1 , 0(mj 2021/6/2138 ), 1 , 0( )()()()()()( 0 mjdxxxfxdxxxxa b a j m k b a j

30、kk :,正正则则方方程程组组为为所所以以 ), 1 , 0( )()()(),( ), 1 , 0,( )()()(),( mjdxxxfxf mjkdxxxx b a jj b a jkjk 其中 ),( ),( ),( ),(),(),( ),(),(),( ),(),(),( 1 0 1 0 10 11101 01000 mmmmmm m m f f f a a a n i ijjij n i ijikijk xyyxx 11 )(),( , )()(),( :离散情形 2021/6/2139 正正则则方方程程组组存存在在唯唯一一解解线线性性无无关关 m , 10 m k kk xax

31、 0 )()(满满足足其其解解 ),(),( 0 j m k jkk fa (*) , 1 , 0 0),( mjf j 即即 且是唯一的。且是唯一的。 ，的最佳平方逼近多项式的最佳平方逼近多项式关于权函数关于权函数 中，中，在在是是表明正则方程组的解表明正则方程组的解定理定理 )( )()(5 . 6 x Hxfx (*)( ,)( )()( 5 . 6 0 的的充充要要条条件件的的最最佳佳平平方方逼逼近近多多项项式式权权函函数数 中中关关于于在在是是定定理理 x HbaCxfxax m k kk ),( j 2021/6/2140 .1 , 0sin)(:多多项项式式上上的的二二次次最最佳

32、佳平平方方逼逼近近在在求求例例xxf ,1:1 2 210 xx 若若取取解解 3 2 1 0 41 1 2 5 1 4 1 3 1 4 1 3 1 2 1 3 1 2 1 1 : a a a 正正则则方方程程组组 正则方程组系数矩阵是三阶正则方程组系数矩阵是三阶Hilbert方程组。方程组。 41 sin),( 1 sin),( , 2 sin),( 3 1 0 2 2 1 0 1 1 0 0 xdxxf xdxxf xdxf 5 1 ),( 4 1 ),( 3 1 ),( 4 1 ),( 3 1 ),( 2 1 ),( 3 1 ),( 2 1 ),( 1),( 221202 211101

33、201000 2 333 3 2 3 1 3 0 ) 72060 () 60720 ( 12012 )( , 72060 , 60720 , 12012 xxx aaa )()()()( 221100 xaxaxax 设设 2021/6/2141 jk jka k kj m 0 0 ),( , 10 使使得得若若取取 )( ),( ),( )( 0 x f x k m k kk k 的的最最佳佳平平方方逼逼近近函函数数为为中中关关于于权权函函数数在在)()(xHxf ,为为对对角角形形则则正正则则方方程程组组系系数数矩矩阵阵:其其解解为为 ), 1 , 0( ),( ),( mk f a kk

34、 k k 2021/6/2142 2 2 正交多项式正交多项式 2.1 基本概念基本概念 满满足足定定义义：如如果果函函数数 ),(,),(),( 10 xxx n ), 2 , 1 , 0( 0 0 )()()(, j,k kj kj dxxxx k b a kjkj 的的正正交交函函数数系系。上上关关于于权权函函数数称称此此函函数数系系为为区区间间0)(, xba .), 2 , 1 , 0( 1则则为为标标准准正正交交函函数数系系若若 k k 1)( 20 ,2sin,2cos,sin,cos, 1 的的正正交交函函数数系系。关关于于权权函函数数 上上，为为例例如如： x xxxx 20

35、21/6/2143 . : 则则称称为为正正交交多多项项式式系系 均均为为代代数数多多项项式式中中的的若若正正交交函函数数系系注注 ii . )(,:2 . 6 一一定定是是线线性性无无关关的的 的的正正交交函函数数系系上上关关于于权权函函数数区区间间定定理理xba 均均有有次次多多项项式式对对于于任任意意至至多多 件件的的正正交交多多项项式式的的充充要要条条上上关关于于权权函函数数是是则则 次次多多项项式式的的是是最最高高次次项项系系数数不不为为零零设设 定定理理 ),(1 :)(,)( ,), 2 , 1 , 0( )( :3 . 6 1 xQk xbax kkx k k k ), 2 ,

36、 1( 0)()()(, 11 kdxxQxxQ b a kkkk 2021/6/2144 2.2. GramSchmidt方法方法 ), 3 , 2( )()()()( )( 1)( 4 . 6 21 110 kxxxx xxx kkkkk ：定定理理 )2,3,( )()( )()( ),( ),( )1,2,( )()( )()( ),( ),( 2 2 2 1 22 11 2 1 2 1 11 11 k dxxx dxxx k dxxx dxxxx x b a k b a k kk kk k b a k b a k kk kk k )(,的的正正交交多多项项式式系系。上上关关于于权权函

37、函数数是是xba 其中其中 2021/6/2145 .1 , 0sin)(:多多项项式式上上的的二二次次最最佳佳平平方方逼逼近近在在求求例例xxf 项项式式正正交交化化方方法法构构造造正正交交多多利利用用解解SchmidtGram :2 , 2 sin),( 1 0 0 xdxf 1)( 0 x , 1),( 00 2 1 ) 2 1 ( ) 2 1 ( ),( ),( 1 0 2 1 0 2 11 11 2 dxx dxxx x 2 1 ),( ),( 00 00 1 x 2 1 )( 1 xx 12 1 ) 2 1 ( ),( ),( 1 0 1 0 2 00 11 2 dx dxx 12

38、 1 ) 2 1 ()()()()( 2 02122 xxxxx 2 333 ) 72060 () 60720 ( 12012 )(xxx 0)sin 2 1 (),( 1 0 1 xdxxf 3 12 )sin 6 1 (),( 3 2 1 0 2 2 xdxxxf 2 ),( ),( 00 0 0 f a , 12 1 ) 2 1 (),( 1 0 2 11 dxx 0 1 a , 180 1 ),( 22 3 2 2 )12(60 a 2021/6/2146 2.3 常用的正交多项式常用的正交多项式 ), 2 , 1 , 0( ) 1( !2 1 )( )( 1)( 2 10 nx dx d n xP xxPxP n n n