曲线拟合及线性最小二乘问题

1、1 线性最小二乘问题线性最小二乘问题一、一、最小二乘最小二乘问题问题的一般提法的一般提法 ix()if x1x1f2x2fmxmf在实际应用中，经常遇到下列在实际应用中，经常遇到下列数据处理数据处理问题：问题：已知函数已知函数 在在m个点上的数据表，寻求其个点上的数据表，寻求其近似函数近似函数。( )f x1122( )( )( )( )nnF xxxx 设设 的的近似函数近似函数为为( )f x其中其中 是某是某函数族函数族中的已知中的已知线性无关线性无关函数。函数。1( )niix 第第五五章章 曲线拟合曲线拟合与线性最小二乘与线性最小二乘问题问题 /*Curve Fitting and

2、Linear Least Square Problem*/称为称为残向量残向量寻求一组常数寻求一组常数 ，要求，要求12(, )iin 111222()()()()()()mmmrf xF xrf xF xrrf xF x 的的2-范数达到最小。范数达到最小。2minr 如果如果m=n，且，且以及以及0r 即多项式即多项式插值插值1( )iixx 11()x A 21()x 1()nx 12()x 22()x 2()nx 1()mx 2()mx ()nmx 记记1fb 2fmf12(,)Tnx 则得到则得到最小二乘最小二乘问题：问题：2222minm nrbAxAR 上述问题的解也称为方程组上

3、述问题的解也称为方程组 的的最小二乘最小二乘解解Axb 当当 时称之为时称之为超定超定（或（或矛盾矛盾）方程组。）方程组。mn 二二、最小二乘最小二乘问题解的存在性、唯一性问题解的存在性、唯一性1Def设设 ，若存在，若存在 精确精确地满足地满足m nAR nxR Axb ，则称该方程组是，则称该方程组是相容相容的。的。1 1 .ThAxb 方程组方程组 相容（有解）相容（有解）的的充要条件是充要条件是()(, )rank ArankA b AFG 引理引理1.10()rank Ar 设设 ，且，且m nAR ,m rFR 则总存在分解则总存在分解其中其中,()()r nGRrank Fran

4、k Gr 满秩满秩分解分解证明：证明： 记记12,nAa aa 不妨不妨假设假设 的前的前 列列 线性无关线性无关 Ar12,ra aa11221 2;, ,jjjrjraaaajn 令令1212,;,rnFa aaGg gg其中其中121 2, (, , )Tjjjrjgjn 1 2;, ,jjaFgjn 1212,nnAa aaFg FgFg12,nF g gg FG (满秩分解满秩分解)对任何秩为对任何秩为 的矩阵，存在排列阵的矩阵，存在排列阵 ，使得，使得 的的前前 列线性无关，从而由列线性无关，从而由知：知：rPAPr11APFG 1,m rFR 其中其中111,()()r nGRr

5、ank Frank Gr 111AFG P FG 1,FF 其中其中11,()( )GG Prank Frank Gr 因此，对任何因此，对任何 阶矩阵总存在阶矩阵总存在满秩满秩分解分解mn 1 2 .ThnR 二乘二乘解解的充要条件是的充要条件是 为方程组为方程组 的解。的解。 ;m nAxb AR 是方程组是方程组 的的最小最小TTA AxA b 证明证明：略：略 称称 为方程组为方程组 的的法方程组法方程组TTA AxA b Axb 推论推论1.1 若若 ，则方程组有，则方程组有唯一唯一()rankAn nm 的最小二乘解的最小二乘解: :1()TTA AA b 1 3 .Th;m nA

6、xb AR 方程组方程组 必存在必存在最小二乘解最小二乘解。证明：证明： 记记0( )rank Ar 则存在则存在满秩满秩分解分解AFG 法法方程组可写成：方程组可写成：TTTTG F FGxG F b 可以验证可以验证11() ()TTTTxGGGF FF b 是是法法方程组的一个解，故是原方程组的一个方程组的一个解，故是原方程组的一个最小二乘解最小二乘解推论推论1.2 若若 ，则方程组，则方程组rankArn 有有无穷无穷多个多个最小二乘解最小二乘解。Axb 2Def方程组方程组 的所有的所有最小二乘解最小二乘解中中2-范数最小范数最小Axb 者者称为方程组的称为方程组的极小极小最小二乘解

7、最小二乘解。1 4 .ThAxb 方程组方程组 存在唯一的存在唯一的极小极小最小二乘解最小二乘解, ,且可以表示为且可以表示为11() ()TTTTxGGGF FF b 其中其中 为为满秩满秩分解分解AFG 证明证明：略：略 例例1 1：求下列方程组的求下列方程组的最小二乘解最小二乘解111x2x3x 4 2 36 01 1234 447 1解：解：34( )( , )rank Arank A bTA A 2123277038 38 2343 43 TA b 26 4928 757887697x 平方根平方根法法解：解：例例2 2：求一个形如求一个形如 ( ( 为常数为常数) )的经验公的经验

8、公 式，使它能和下表给出的数据相拟合式，使它能和下表给出的数据相拟合: : byax ( , )a b x 2.2 2.6 3.4 4.0 y 65 61 54 50对对 两边取对数得两边取对数得 byax lnlnlnyabx ln ,ln ,lnYy Xx ca 令令YcbX0.7885 0.9555 1.22381.3863 4.1744 4.1109 3.9890 3.9120 iXiY此时此时12( )1,( )xxX写出写出法方程组法方程组TTA AxA b 其中其中1121122213231424()()()()()()()()XXXXAXXXX 1 0.78851 0.9555

9、1 1.22381 1.3836 12344.17444.11093.98903.9120YYbYY 4.04.351416.18634.35144.946717.5139cb 4.52860.4431cb 92.6247,0.4431caeb 2 广义逆矩阵与最小二乘解广义逆矩阵与最小二乘解/*Generalized Inverse Matrix and Least Squares Solution */一、一、广义逆广义逆的定义的定义广义逆矩阵广义逆矩阵是通常意义下的逆矩阵的是通常意义下的逆矩阵的推广推广1234()()()()()()HHAXAAPXAXXPAXAXPXAXAP 之为之为

10、Penrose方程方程方程（方程（P1P4) )称称设设 ，满足下列矩阵方程组的解，满足下列矩阵方程组的解 ，m nAC XA称为矩阵称为矩阵 的的Moore-Penrose广义逆矩阵广义逆矩阵, ,记作记作A 3Def2 1 .Thm nAC 设设 ，则方程组（，则方程组（P1P4) )有唯一解。有唯一解。首先证明解的首先证明解的存在性存在性：证明：证明： 记记0( )rank Ar 则存在则存在满秩满秩分解分解 和和非奇异非奇异矩阵矩阵AFG 令令11() ()HHHHXGGGF FF 易验证它满足方程易验证它满足方程（P1P4) )，故存在性得证，故存在性得证其次证明解的其次证明解的唯一

11、性唯一性：11() ()HHHHAGGGF FF MP广义逆广义逆()()TTAXAAXAXXAXAXXAXA 若若 ，则，则Penrose方程变为方程变为m nAR 若若m=n，且，且 非奇异非奇异，则，则A1AA 11() ()TTTTAGGGF FF Axb 方程组方程组 的的极极小最小二乘解小最小二乘解xA b 定理定理1.4二、二、广义逆广义逆的分类的分类4Def仅满足第（仅满足第（Pi) )个方程的个方程的 阶矩阵阶矩阵 ，称，称nm X为矩阵为矩阵 的的 广义逆；记作广义逆；记作A i ( ) iXA 仅满足（仅满足（Pi) )和（和（Pj) )个方程的个方程的 阶矩阵阶矩阵 ，

12、称为，称为n m X矩阵矩阵 的的 广义逆；记作广义逆；记作A , i j ( , )i jXA 仅满足（仅满足（Pi) )、（、（Pj) )和（和（Pk) )个方程的个方程的 阶矩阵阶矩阵nm X ，称为矩阵，称为矩阵 的的 广义逆；记作广义逆；记作A , ,i j k ( , , )i j kXA 广义逆广义逆矩阵共有矩阵共有 种种1234444415CCCC三、三、广义逆广义逆矩阵矩阵 的性质的性质A 2 3 .Thm nAC 的的广义逆广义逆矩阵矩阵 具有下列性质：具有下列性质：A ();()() ;()()HHTTAA AAAAAFG ()()HHA XAAXA XXA XA XXAXA ()A 根据定义，根据定义，满足下列满足下列是是方程的方程的解解11() ()HHHHAGGGF FF 将将 代代入易验证成立入易验证成立XA ( )()()()rank Arank Arank A Arank AA ()();()()HHHHAA