第3章曲线拟的最小二乘法000001

1、数 学 系university of science and technology of chinadepartment of mathematics第3章 曲线拟合的最小二乘法 给出一组离散点，确定一个函数逼近原函数，插值是这样的一种手段。在实际中，数据不可避免的会有误差，插值函数会将这些误差也包括在内。 因此，我们需要一种新的逼近原函数的手段：不要求过所有的点（可以消除误差影响）；尽可能表现数据的趋势，靠近这些点。数 学 系university of science and technology of chinadepartment of mathematics 有时候，问题本身不要求构造

2、的函数过所有的点。如：5个风景点，要修一条公路s使得s为直线，且到所有风景点的距离和最小。先讲些预备知识 对如上2类问题，有一个共同的数学提法：找函数空间上的函数g，使得g到f的距离最小。数 学 系university of science and technology of chinadepartment of mathematics向量范数向量范数映射：满足：0: rrn非负性00, 0xxx且齐次性xaaxra,三角不等式yxyx称该映射为向量的一种范数范数预备知识我们定义两点的距离距离为：yx 定义定义数 学 系university of science and technology

3、of chinadepartment of mathematics常见的范数有：nniixxxxxx,)(21122nixxxxxx,max21nniixxxxxx,2111定理（范数等价性）：设 pqxx和为任意两种范数，则存在与x无关的正常数c1和c2，使得12,qpqc xxcxx数 学 系university of science and technology of chinadepartment of mathematics定义：函数f，g的关于离散点列 niix0的离散内积离散内积为：niiidxgxfgf0)()(),(常用范数的等价关系：212xxn x2xxn x1xxn x

4、数 学 系university of science and technology of chinadepartment of mathematics定义：函数 f 的离散范数离散范数为niiidxfxff0)()(提示：该种内积，范数的定义与向量的 2 范数一致我们还可以定义函数的离散范数为：01010110(),(),()max(),(),()(),(),()( )nndnnidiff xf xf xf xf xf xff xf xf xf x数 学 系university of science and technology of chinadepartment of mathematic

5、sf(x)为定义在区间a,b上的函数， 为区间上n+1个互不相同的点， 为给定的某一函数类。求 上的函数 g(x) 满足 f(x) 和 g(x) 的距离最小 0niix如果这种距离取为2范数的话，称为最小二乘问题曲线拟合的最小二乘问题定义定义数 学 系university of science and technology of chinadepartment of mathematics下面我们来看看最小二乘问题：求 使得 最小)(xgniiixfxgr022)()(设01,mspan 00( )( )( )mmg xaxax00( )( )( )mmdfxaxaxddxfxxfxg)()(

6、min)()(最小则即关于系数01,maaa数 学 系university of science and technology of chinadepartment of mathematics20020020020,001 ( )( )( )2(,( )( ) ( )( )2,(,)mmdmmddmmdmmkkikikdki kmfxaxaxff axaxaxaxfafa aq aaa由于它关于系数01,maaa最小，因此有：0,0,iqima即0(,)(,),0,mkikikafim 数 学 系university of science and technology of chinadep

7、artment of mathematics写成矩阵形式有：000000,mdddmmmmmdddafaf 法方程法方程由01,m的线性无关性，知道该方程存在唯一解数 学 系university of science and technology of chinadepartment of mathematicsbxay ddddddxffbaxxxx,1 ,1 , 11 , 1第一步：函数空间的基x, 1，然后列出法方程baxy2 ddddddfxfbaxxxx1 ,1 , 1, 1, 1,22222第一步：函数空间的基1 ,2x，然后列出法方程例：数 学 系university of sc

8、ience and technology of chinadepartment of mathematicsbaxy23703456334558.3ab 3212414.38.34.78.322.7xy第一步：函数空间的基1 ,2x，然后列出法方程ddddddfxfbaxxxx1 ,1 , 1, 1, 1,222220.8327167.49691ab 数 学 系university of science and technology of chinadepartment of mathematicsbxaey 由bxay lnln，可以先做bxay*bxayeeey*3212414.38.34

9、.78.322.7ln2.660262.116261.547562.116263.12236xyy1,11,11,ddddddxfaxx xf xb 5011.56270342.9611ab 2.312540.0870912ab 数 学 系university of science and technology of chinadepartment of mathematics求解一个矛盾方程组，计算的是在均方误差22minbax 极小意义下的解也就是最小二乘问题。我们有：矛盾方程组恒有解，且2222minbaybaxbaaxanrytt矛盾方程组的求解数 学 系university of s

10、cience and technology of chinadepartment of mathematics定义：矩阵范数矩阵范数axxaxaxrxxrxnn1,0,supsup矩阵范数，是由向量的范数定义的矩阵范数和条件数矩阵范数和条件数矩阵范数也是等价的数 学 系university of science and technology of chinadepartment of mathematics对应于3种常见的向量范数，有3种矩阵范数niijnjaa111max列和的最大值njijniaa11max行和的最大值)(2aaat矩阵范数的一些性质：00,&,0aaaraa,nr

11、bababa, , nrbabaab, , nrxxaax,数 学 系university of science and technology of chinadepartment of mathematics定理：若为a的特征值，则a证：xaxxaxxaxaxxxxaax为a的特征向量#证毕定义：谱半径谱半径rnra1max)(易知：aa )(数 学 系university of science and technology of chinadepartment of mathematics条件数和病态矩阵条件数和病态矩阵定义：条件数pppaaacond1)(p 表示某种范数设bax ，a引

12、入误差 后a，解引入误差x，则bxxaa)(xaxaaxbxaa)( xaaax1)(aaaxx1)(aaaai111)(111)()(aaaaia数 学 系university of science and technology of chinadepartment of mathematicsaaaai111)(注意到注意到bbib11)(11因为：bdddbiibid)(1 )(1)1 (bddbdaaaaxx1111 数 学 系university of science and technology of chinadepartment of mathematicsaaaaaaaaaa

13、aa111111条件数很小aaaa1条件数表示了对误差的放大率同样，类似有bbaaxxbxabbxxa1)( 数 学 系university of science and technology of chinadepartment of mathematics注：注：一般判断矩阵是否病态，并不计算一般判断矩阵是否病态，并不计算a 1，而由经验得，而由经验得出。出。 行列式很大或很小（如某些行、列近似相关）；行列式很大或很小（如某些行、列近似相关）； 元素间相差大数量级，且无规则；元素间相差大数量级，且无规则； 主元消去过程中出现小主元；主元消去过程中出现小主元； 特征值相差大数量级。特征值相差

14、大数量级。精确解精确解为为.11 x例例 97.199.1,98.099.099.01ba计算计算cond (a)2 。 10000990099009800a 1 = 数 学 系university of science and technology of chinadepartment of mathematics解：解：考察考察 a 的特征根的特征根 0)det(ai 000050504. 0980050504. 121 212)( acond 39206 1 测试病态程度：测试病态程度：给一个扰动给一个扰动b 3410106.01097.0b ，其相对误差为，其相对误差为%01.010513.0|422 bb 此时此时精确解精确解为为