56第五章 最小二乘解

CH5曲线拟合和函数逼近,1最小二乘原理和多项式拟合2一般最小二乘拟合3正交多项式曲线拟合4最佳平方逼近,给出一组离散点，确定一个函数逼近原函数，插值是的一种手段。但在实际问题中，数据不可避免的会有误差，插值函数会将这些误差也包括在内。因此，我们需要一种新的逼近原函数的手段：不要求过所有的点（可以减小误差影响）；尽可能表现数据的趋势，靠近这些点。如：5个风景点，要修一条公路主干道S使得S为直线，且到所有风景点的距离和最小，而不要求公路通过所有的风景点。,实例：考察某种纤维的强度与其拉伸倍数的关系,下表是实际测定的24个纤维样品的强度与相应的拉伸倍数的记录:,1最小二乘法,纤维强度随拉伸倍数增加而增加，并且24个点大致分布在一条直线附近，因此可以认为强度y与拉伸倍数x的主要关系应是线性关系。,-(1),找一种度量标准来衡量什么曲线最接近所有数据点,一、最小二乘法原理,一般使用,在回归分析中称为残差,称为平方误差,从而确定(1)中的待定系数，求解y(x)。,仍然定义平方误差,二、线性最小二乘拟合,基本思想,给定，设x,y的关系为,-(2),称满足条件(2)的求函数的方法为线性最小二乘拟合。,称为最小二乘解的最小偏差。,法方程组,由,可知,因此可假设,因此求最小二乘解转化为,二次函数,的最小值点的问题,由多元函数取极值的必要条件,得,即,-(4),即,引入记号,则由内积的概念可知,-(5),-(6),显然内积满足交换律,方程组(4)便可化为,-(7),将其表示成矩阵形式,-(8),记,则(8)可表示为,利用线性代数知识易证关于矩阵的秩成立：,又由关于秩的不等式得：,从而,几点备注：,证明：即证,最小二乘多项式拟合,基函数之间的内积为,用多项式作为的拟合函数，它的基函数为,则最小二乘多项式拟合的法方程组为,-(9),最小二乘拟合多项式的存在唯一性,定理1设点互异，则法方程组(9)的解存在且唯一。,定理2设是法方程组(9)的，则,是最小二乘拟合多项式，即,例1.回到本节开始的实例，从散点图可以看出,纤维强度和拉伸倍数之间近似与线性关系,故可选取线性函数,为拟合函数，其基函数为,建立法方程组,根据内积公式，可得,法方程组为,解得,最小偏差为,拟合曲线与散点的关系如下图:,例2.求拟合下列数据的最小二乘解,x=.24.65.951.241.732.012.232.522.772.99y=.23-.26-1.10-.45.27.10-.29.24.561,解:,从数据的散点图可以看出,6.7941-5.347563.2589-5.34755.1084-49.008663.2589-49.00861002.5,1.6163-2.382726.7728,通过计算,得法方程组的系数矩阵及常数项矩阵为,用Gauss列主元消去法,得,-1.0410-1.26130.030735,拟合的最小偏差为,例3.求拟合下列数据的最小二乘解(用二次多项式),x=-2-1012y=0-2-112,练习,解得最小二乘拟合为：,三、非线性最小二乘拟合,思想：非线性线性化,例如,对拟合函数,两边取对数,例4.,在某化学反应里,测得生成物浓度y%与时间t的数据如下，试建立y关于t的经验公式,t=1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,y=4.00,6.40,8.00,8.80,9.22,9.50,9.70,9.86,10.00,10.20,10.32,10.42,10.50,10.55,10.58,10.60,解:,具有图示的图形的曲线很多，本题特提供两种形式,两边取对数,得,得,即为拟合函数,基函数为,解法方程组得,平方误差为,用最小二乘法得,即,无论从图形还是从平方误差考虑，在本例中指数函数拟合比双曲线拟合要好。,平方误差为,四、利用最小二乘原理求解矛盾方程组(不相容),例如,求不相容方程组,3正交多项式曲线拟合,一、函数的最佳逼近,给定线性无关,对在中找使得,称为在a,b上的最佳逼近函数。,例如,4最佳平方逼近,预备知识：连续函数空间Ca,b,1)定义1设在区间a,b上的非负函数(x)满足：,存在,则称(x)为a,b上的权函数(权)。,函数的内积,定义2设是a,b上的权函数，则积分称为函数f(x),g(x)在a,b,上以(x)为权函数的内积。定义了内积运算的连续函数空间称为内积空间。,定义3如果f(x),g(x)Ca,b，且满足：,则称f(x)与g(x)在a,b上关于权(x)正交；,则称是a,b上带权(x)的正交函数族；,若a,b上的连续函数系满足,2.正交函数族,则称是a,b上带权(x)的正交函数族；,若a,b上的连续函数系满足,是首项次数不为零的k次多项式时，,时，为标准正交函数族；,为a,b上带权(x)的正交多项式系。,如：1，cosx，sinx，cos2x，sin2x，connx，sinnx，是-,的正交函数族！,正交多项式的性质,区间a,b上关于权(x)的n次正交多项式与任意次数小于n的多项式在a,b上带权(x)正交；,(2)区间a,b上的n次正交多项式有n个互异的实零点，且全在a,b内。,3.函数的范数,正交化得到的多项式称为Legendre多项式,当区间为1,1，权函数(x)1时，由,(1785年引进的)，1814年Rodrigul给出勒简单表达式。,4.勒让德(Legendre)多项式,其首项系数,性质1(正交性),其首项系数,性质2(奇偶性),性质3(三项递推关系),则可得,性质4对任意首项系数为1的n次多项式f(x)，Legendre多项式满足：,性质5在-1,1上有n个不同的实零点。,即与零的平方误差最小,例1求在-1,1上二次最佳平方逼近多项式。,由性质4，应有,5.切比雪夫(Chebyshev)多项式,正交化后的多项式称为Chebyshev,当区间为1,1，权函数为时,由,多项式。它可以表示为,若令，则,性质1(正交性),在-1,1上带权正交，且,若令，则于是,性质2(三项递推关系),由三角恒等式,令，即可得,性质3Tn(x)对零的偏差最小,在区间-1,1上所有首项系数为1的n次多项式中，,与零的偏差最小，且偏差为,性质4Tn(x)在区间-1,1上有n个零点,例2求在-1,1上的最佳一致逼近多项式。,二、函数的最佳平方逼近,1.最佳平方逼近函数的求法,问题：求，满足,称是f(x)的最佳平方逼近。,-法方