最小二乘(LS)问题

1、数 学 系University of Science and Technology of ChinaDEPARTMENT OF MATHEMATICS第3章 曲线拟合的最小二乘法 给出一组离散点，确定一个函数逼近原函数，插值是这样的一种手段。在实际中，数据不可避免的会有误差，插值函数会将这些误差也包括在内。 因此，我们需要一种新的逼近原函数的手段：不要求过所有的点（可以消除误差影响）；尽可能表现数据的趋势，靠近这些点。数 学 系University of Science and Technology of ChinaDEPARTMENT OF MATHEMATICS 有时候，问题本身不要求构造

2、的函数过所有的点。如：5个风景点，要修一条公路S使得S为直线，且到所有风景点的距离和最小。先讲些预备知识 对如上2类问题，有一个共同的数学提法：找函数空间上的函数g，使得g到f的距离最小。数 学 系University of Science and Technology of ChinaDEPARTMENT OF MATHEMATICS定义1：向量范数向量范数映射：满足：0: RRn非负性00, 0XXX且齐次性XaaXRa,三角不等式YXYX称该映射为向量的一种范数范数预备知识我们定义两点的距离距离为：YX 数 学 系University of Science and Technology

3、of ChinaDEPARTMENT OF MATHEMATICS常见的范数有：nniixxxXxX,)(21122nixxxXxX,max21nniixxxXxX,2111定义2：函数f，g的关于离散点列 niix0的离散内积离散内积为：niiiDxgxfgf0)()(),(数 学 系University of Science and Technology of ChinaDEPARTMENT OF MATHEMATICS定义3：函数f的离散范数离散范数为niiiDxfxff0)()(提示：该种内积，范数的定义与向量的2范数一致我们还可以定义函数的离散范数为：01010110(),(),()

4、max(),(),()(),(),()( )nnDnniDiff xf xf xf xf xf xff xf xf xf x数 学 系University of Science and Technology of ChinaDEPARTMENT OF MATHEMATICSf(x)为定义在区间a,b上的函数， 为区间上n+1个互不相同的点， 为给定的某一函数类。求 上的函数g(x)满足f(x)和g(x)的距离最小 0niix如果这种距离取为2范数的话，称为最小二乘问题曲线拟合的最小二乘问题定义定义数 学 系University of Science and Technology of Chin

5、aDEPARTMENT OF MATHEMATICS下面我们来看看最小二乘问题：求 使得 最小)(xgniiixfxgR022)()(设,10nspan)()()(00 xaxaxgnnDnnxaxaxf)()()(00DDxfxxfxg)()(min)()(最小则即关于系数,10naaa数 学 系University of Science and Technology of ChinaDEPARTMENT OF MATHEMATICS20020020020,001 ( )( )( )2(,( )( ) ( )( )2,(,)nnDnnDDnnDnnkkikikDki knfxaxaxff a

6、xaxaxaxfafa aQ aaa由于它关于系数,10naaa最小，因此有：niaQi, 0, 0即nifainkkik, 0),(),(0数 学 系University of Science and Technology of ChinaDEPARTMENT OF MATHEMATICS写成矩阵形式有：DnDnDnnDnDnDffaa,000000法方程法方程由,10n的线性无关性，知道该方程存在唯一解数 学 系University of Science and Technology of ChinaDEPARTMENT OF MATHEMATICSbxay DDDDDDxffbaxxxx

7、,1 ,1 , 11 , 1第一步：函数空间的基x, 1，然后列出法方程baxy2 DDDDDDfxfbaxxxx1 ,1 , 1, 1, 1,22222第一步：函数空间的基1 ,2x，然后列出法方程例：数 学 系University of Science and Technology of ChinaDEPARTMENT OF MATHEMATICSbaxy23703456334558.3ab 3212414.38.34.78.322.7xy第一步：函数空间的基1 ,2x，然后列出法方程DDDDDDfxfbaxxxx1 ,1 , 1, 1, 1,222220.8327167.49691ab 数 学 系University of Science and Technology of ChinaDEPARTMENT OF MATHEMATICSbxaey 由bxay lnln，可以先做bxay*bxayeeey*3212414.38.34.78.322.7ln2.660262.116261.547562.116263.12236xyy1,11,11,DDDDDDxfaxx xf xb 5011.56270342.9611ab 2.312540.0870912ab 数 学 系University of Science and Technolog