最小二乘法的基本原理和多项式拟合

1、最小二乘法的基本原理和多项式拟合一最小二乘法的基本原理从整体上考虑近似函数同所给数据点:(i=0,1,m)误差-(i=0,1，,m)駅必(i=o,i,m)绝对值的最大值黑驚，即误差向量r和- 的算术平方根，即误差向量r的2范数；前两种方法简单、自然，但不便 于微分运算，后一种方法相当于考虑2范数的平方，因此在曲线拟合中常采用误W审r.差平方和- 来度量误差.(i=0,1,，m)的整体大小。数据拟合的具体作法是：对给定数据=(i=0,1,，m)，在取定的函数类二中,求匸二-小，使误差:.-(i=0,1,m)的平方和最小，即=从几何意义上讲，就是寻求与给定点-L：:(i=0,1,m)的距离平方和为

2、最小的曲线“(图6-1)。函数匚二称为拟合函数或最小二乘解，求拟合函数匚二的方法称为曲线拟合的最小二乘 法。可有不同的选取方法二多项式拟合假设给定数据点(i=0,1,m)，为所有次数不超过二汕的多项式构成二工亡的范数；二是误差绝对值的和Zhi-0,即误差向量r的1范数；三是误差平方的函数类，现求一二i,使得W）!-0当拟合函数为多项式时，称为多项式拟合，满足式（ 多项式。特别地，当n=1时，称为线性拟合或直线拟合。 显然MK/二-乃）为II的多元函数，因此上述问题即为求 元函数求极值的必要条件，得矿二2工QX卅-升眉二Q孔i-0 JUO話 能wJU） ij-0（3）是关于J的线性方程组，用矩阵

3、表示为i-0m,?-0（5）可以证明，式（5）中的-满足式（1），即匕：为所求的拟合多项式。i-0称为最小二乘拟合多项式心的平方误差，记作!-0由式（2）可得H；二2；-2（2加i-d Z id多项式拟合的一般方法可归纳为以下几步：（1）由已知数据画出函数粗略的图形 一一散点图，确定拟合多项式的次数=min（1）1）的八称为最小二乘拟合丄小的极值问题。由多故存在唯一解从式式（3）或式（4）称为正规方程组或法方程组。可以证明，方程组（4）的系数矩阵是一个对称正定矩阵,我们把n；EyEyy ytsts掃BlBlftft I I二2 2 2 2 -?-?+1+1 XXXX- -“7(3)写出正规方程

4、组，求出：! ：;*(4)写出拟合多项式.：7。在实际应用中，或二二;当-汽时所得的拟合多项式就是拉格朗日或牛顿插值多项式。例1测得铜导线在温度丄)时的电阻二二如表6-1，求电阻R与温度T的 近似函数关系。i0123456爲(C)19.125.030.136.040.045.150.0耳(G)76.3077.879.2580.882.3583.985.1解画 出 散 点 图 ( 图6-2) ， 可 见 测 得 的 数 据 接 近 一 条 直 线 ， 故 取n=1， 拟 合 函 数 为+aj列表如下iT.R.019.176.30364.811457.330125.077.80625.001945

5、.000230.179.25906.012385.425336.080.801296.002908.800440.082.351600.003294.000545.183.902034.013783.890650.085.102500.004255.000Z245.3565.59325.8320029.445正规方程组为 7245.3 Ta/565.5 :24539325.83_20029.445解方程组得術二70572, = 0 921故得R与T的拟合直线为5 = 70.572+0.9217利用上述关系式，可以预测不同温度时铜导线的电阻值。例如，由R=O得T=-242.5，即预测温度T=-2

6、42.5 C时，铜导线无电阻。列表计算匚(J二0丄，勿)和丫胃刈和剤-75 -6-2例2已知实验数据如下表i01234567813456789101054211234试用最小二乘法求它的二次拟合多项式 解设拟合曲线方程为二吗+时+码卡列表如下I旳乍彳利i501101111010135927811545244166425616643522512562510504613621612966365714934324017496826451240961612879381729656127243810410010001000040400253323813017253171471025得正规方程组_9523

7、81_垃0 32_523813017二1473813017253171025解得30=114597, flj = -3.6053 aa= 0.2576故拟合多项式为 = 13.4597-3.6053+0.2676?*三最小二乘拟合多项式的存在唯一性定理1设节点互异，则法方程组（4）的解存在唯一证 由克莱姆法则，只需证明方程组（4）的系数矩阵非奇异即可。 用反证法，设方程组式可写为Jr播JU）i-0端分别相加，得0船 Z因为所以M!牌+1 喘常！-0Mi觀2必i-09j-0V7-0电i2-011L?-o2严J-0_ !-0 _(8)将式（8）中第j个方程乘以：；（j=o,i,，n），然后将新得到

8、的n+1个方程左右两有非零解m另送护滋wr=sk)33其中（4）的系数矩阵奇异，则其所对应的齐次方程组八0丄/P&）二0（i=0,1,m）二J是次数不超过n的多项式，它有m+1 n个相异零点，由代数基本定理，必须有冷=二1有唯一解。定理2设是正规方程组（4）的解，则 足式（1）的最小二乘拟合多项式。L rA2（x）二另如d证只需证明，对任意一组数I组成的多项式，恒有刃 E）1J辽以山）t 刀Fi-02-0即可。1+1探Z【2（互）- ”F -也（珂）-另fi-0i-0=ZeR（西）-FOF+空bo-几（禹）此（码）-丹i-Or-0o+辽挖（-幻）彳別*彳-Mi-1 y-0LJU）J J

9、-OJ-O Lv-07 J因为（k=0,1,，n）是正规方程组（4）的解，所以满足式（2）,因此有Z【2（曲）-Epn厲）-朋也故匚为最小二乘拟合多项式。*四多项式拟合中克服正规方程组的病态在多项式拟合中，当拟合多项式的次数较高时，其正规方程组往往是病态的。而且1正规方程组系数矩阵的阶数越高，病态越严重；2拟合节点分布的区间一.偏离原点越远，病态越严重;3I （i=0,1,，m）的数量级相差越大，病态越严重。 为了克服以上缺点，一般采用以下措施：1尽量少作高次拟合多项式，而作不同的分段低次拟合；不使用原始节点作拟合，将节点分布区间作平移，使新的节点关于原 点对称,可大大降低正规方程组的条件数，

10、从而减低病态程度。平移公式为：伴f（9）对平移后的节点】（i=0,1,，m）,再作压缩或扩张处理：，与齐次方程组有非零解的假设矛盾。因此正规方程组（4）必二二汐是满 - - - （10）防（切+1）/刀（珀严其中-,（r是拟合次数）（11）经过这样调整可以使二的数量级不太大也不太小，特别对于等距节点 : 上 - T，作式（10）和式（11）两项变换后，其正规方程组的 系数矩阵设 为A,则对14次多项式拟合，条件数都不太大，都可以得到满意的结 果。变换后的条件数上限表如下：拟合次数1234=19.950.34354在实际应用中还可以利用正交多项式求拟合多项式。一种方法是构造离散正交多 项式；另一种方法是利用切比雪夫节点求出函数值后再使用正交多项式。这两种方 法都使正规方程 组的系数矩阵为对角矩阵，从而避免了正规方程组的病态。我们只 介绍第一种，见第三节。例如m=19/ i =328,h=1, =+ih,i=0,1,，19,即节点 分布在328,347,作二次多项式拟合时 直接用构造正规方程组系数矩阵,计算可得CMrfa(4) = 225xlOu严重病态，拟合结果完全不能用。2作平移变换i=0,V-J9申：构造正规方程组系数矩阵7，计算可得=