最小二乘法的基本原理和多项式拟合

1、最小二乘法的基本原理和多项式拟合最小二乘法的基本原理和多项式拟合一最小二乘法的基本原理)(xp同所给数据点yxpr1, , nJ的大小，常用的方法有以下三种：一是误差从整体上考虑近似函数 ),(iiyx(i=O, 1, , m)误差iiiiiiyw )U , hi)绝对值的最大值讪i丁伽遠，即误差 向量mTrn r-r-rr-), ,(10的范数； 二是误差绝对值的和m2 iirO，即误差向量r的1范数；三是误差平方和 方法简 单、自然，但不便于微分运算，后一种方法相当于考虑2范数 的平方，川讥曲的算术平方根， 即误差向量r的2范数；前两种因此在曲线拟合中常采用误差平方和体大小。i i ?02

2、 来度量误差ir(i=0 ，1， m)的整数据拟合的具体作法是：对给定数据)匸使误差),(iiyx (i=0, 1,，m)，在取定的函数类中，求 i i iyxpri=0, ls , m)的平方和最小，即miir02=从几何意义上讲，就是寻求与给定点(图 6-1)。函数)(xp的方法称为曲线拟合的最小二乘法。在曲线拟合中， 函数类 可有不同的选取方法.),(iiyx(i=0, 1, , m)的距离平方和为最小的曲线)(xp称为拟合函数或最小二乘解，求拟合函数61二多项式拟合假设给定数据点）,（iiyx（i=O, 1, , m）,为所有次数不超过nkknxaxO,使得 ）的多项式构成的函数类，

3、现求一 k p）（ min） （00202i1 mmnk i k i k iinvxayxp（1）imi iyxp02rin）（当拟合函数为多项式时，称为多项式拟合，满足式（1）的拟合多项式。特别地，当n=1时，称为线性拟合或直线拟合。显然）（xpn 称为最小二乘i（） rnr.k'ki kyxal20）（丨为由多元函数求极值的必要条件，得120n aaa , J0的多元函数，因此上述问题即为求）,（I On 0 I的极值问题。njxyxaarni jinkikikj, , 1 ? 0, 0） （0（2）即 njyx<Lxrik mi i j ' kmi k j i, ,

4、1 ， 0,）（00（）（3）是关于口皿以 10的线性方程组，用矩阵表示为mniixxOOi i in i i i i i i in in mini i Illi! i 1式（3）或式（4）称为正规方程组或法方程组。可以证明，方程组（4）的系数矩阵是一个对称正定矩阵，故存在唯一解从式(4)中解出k a(k=O, 1, n),从而可得多项式k kknx) (5) pn可以证明， 式(5)中的mxpO)(xpn满足式(1)，即)(x为所求的拟合多项式。我们把i称为最小二乘拟合多项式)(xpn的平方误差， 记作i rni i nyxpr(222)(由式(2)可得i k i rririnikik

5、9;y.xciyr()()()222) 多项式拟合的一般方法可归纳为以下几步：(1)由已知数据画出函数粗略的图形散点图，确定拟合多项式的次数n ；mj injxO 和J仆 列表计算, 1 , Z mi i j irijyx()2 , , 1 , 0 (；(3) 写出正规方程组，求出n a；(4)写出拟合多项式在实际应用中，顿插值多项式。k nkkrixE-LX)O)。H 或皿1；当时所得的拟合多项式就是拉格朗日或牛例1测得铜导线在温度的近似函数关系。i 19. 1 iT( C)时的电阻)iR如表6-1 ,求电阻R与 温度 TO 1 2 3 4 5 6 iT( °C) 25. 0 30

6、. 1 36. 0 40. 0 45. 1 50.()j ( iR 76. 30 77. 80 79. 25 80. 80 82. 35 83. 90 85. 10解画出散点图(图6-2 ),可见测得的数据接近一条直线， 故取n=1 , 拟合函数为咖 列表如下i iT Ta!0 i R 2订iiRT 0 1 2 3 4 56 19. 1 25. 0 30. 1 36. 0 40. 0 45. 1 50. 0 245. 3 76. 30 77.80 79. 25 80. 80 82. 35 83. 90 85. 10 565. 5 364. 81 625. 00906. 01 1296. 00

7、1600. 00 2034. 01 2500. 00 9325. 83 1457. 3301945. 000 2385. 425 2908. 800 3294. 000 3783. 890 4255. 000 20199.445正 规 方 程 组 为445J-01995 .56583.93253 .2453 .245710aa 解方程组得 92L 0,572.7010 财 故得 R 与T的拟合直线为 TR921.05芒利用上述关系式， 可以 预测不同温度时铜导线的电阻值。例如， 由R=0得T=-242. 5，即预测温度T=- 242. 5C时，铜导线无电阻。6-2 例2例2 已知实验数据如下表

8、 i 0 1 1 32 4 3 5 4 6 5 7 6 8 7 9 8 10 ix iy 10 5 4 2 1 1 2 3 4试用最小二乘法求它的二次拟合多项式。解 设拟合曲线方程为 2210xaxaa.y列表如下I ix iy 2ix 3ix 4ix iiyx iiyx2 0 1 2 3 4 5 6 7 8 1 3 4 5 6 78 9 10 53 10 5 4 2 1 1 2 3 4 32 1 9 16 25 36 49 64 81 100 3811 27 64 125 216 343 512 729 1000 3017 1 81 256 625 1296 24014096 6561 10

9、000 25317 10 15 16 10 6 7 16 27 40 147 10 45 64 5036491282434001025 得正规方程组解得 2676.06053. 3 . -1597.13210曲3 故拟合多项式为 22676. 06053.3-1597.13xy*三 最小二乘拟合多项式的存在唯一性xx,10定理1 设节点证 由克莱姆法则，只需证明方程组（4）的系数 矩阵非奇异即可。用反证法，设方程组（4）的系数矩阵奇异，则其所对应的齐次方程组mniiiOOO nx,互异，则法方程组（4）的解存在唯一。ni i i i 1iiiiniiimiinnininininminiinii

10、ni（7）有非零解式t (7)可写为Ilnjaxkkmikjij,1 ,0,0) (00（8）将式（8）中第j个方程乘以ja(j=0, 1,，n)然后将新得到的n+1个方程左nnmkjijxaOOO右两端分别相加，得jkkiaOO)(因为IlclOid11kjJOj其中k0mmininnkiknji jnnkkji jknkmikji jxpxHXciXr.ia;-ixOOO2O19O) 0)(0( k nkknxrixpO)( 所 以0)( inxp(i-(), 1血 )(xpn是次数不超过n的多项式，aa它有m+1> n个相异零点，由代数基本定理，必010 与齐次方程组有非零解的假设

11、矛盾。因此正规方程组(4)须有n a必有唯一解。定理2 设是满足式(1)的最小二乘拟合多项式。n込汕丄0 是正规方程组(4) 的解，则k rikkrixcix)(l)(证只需证明，对任意一组数n b,bb,1,0 组成的多项式 k nkknxbxljOJ， 恒有i imi inmi i nyxpyxQ0202)()(即可。JiO iO k i i i inmjinkikikjjmnjnikikjijjiinmininmininmiinmiinxyxaabyxaxabyxpxpxQxpxQyxpyxQ000000202022)(20)()()(2)()()()(因为k a(k=0, 1,，n)是

12、正规方程组(4)的解，所以满足式(2)，因 此 有minyxQ()(0202i i i ini invxp 故* 四 多项式拟合中克服正规方程组的病态在多项式拟合中，当拟合多项式的次数较高时， 其正规方程组往往是病态的。而且正规方程组系数矩阵的阶数越高，病态越严重； 拟合节点分布的区间 XX，偏离原点越远， 病态越严 重； )(xpn为最小二乘拟合多项式。m(为了克服以上缺点，一般采用以下措施： 尽量少作高次拟合多项式，而作不同的分段低次拟合；ix（i=O, 1,， m）的数量级相差越大，病态越严重。 不使用原始节点作拟合，将节点分布区间作平移，使新的节点称，可大大降低正规方程组的条件数，从而

13、减低病态程度。平移公式为：xxxxii2ix 关于原 点对 mil%, 1 ,0,0 对平移后的节点ix（i=0, 1,，m）,再作压缩或扩张处理：mixpxii, 1,0,（ 10） 其中1-iTii ri Xiiip2（1 （7（ r 是拟合次数）（11）经过这样调整可以使ihxxi IX的数量级不太大也不 太小，特别 对 于 等距节 点），作式（10）和式（11）两 项变换后，其正规方程组的系数矩阵设为A ,则对14次多项式拟合，条件数都不太大，都可以得到满意的结果。变换后的条件数上限表如下：拟合次数 I 2 - I 9 . I 3（）i3 4 ）乩:门皿 5（）. 3 435 在实际应

14、用中还可以利用正交多项式求拟合多项式。一种方法是构造离散正交多项式；另一种方法是利用切比雪夫节点求出函数值后再使用正交多项式。这两种方法都使正规方程组的系数矩阵为对角矩阵，从而避免了正规方程组的病态。我们只介绍第一种，见第三节。例如 m=19,作二次多项式拟合时 0x=328, h=1,1x=0x+ih , i=0,1, , 19, 即节点 分布在328, 347， 直接用ix构造正规方程组系数矩阵0 A,计算可得 1025.2） 1602（Acond严重病态，拟合结果完全不能用。 作平移变换3-17328 xxiii9, T 1 , （）T 2 i用ix构造正规方程组系数矩阵1 A， 计算可得 483868. 小 A161210 cond比 取压缩因子 ）（02Acon