第五章线性参数的最小二乘法处理ppt课件

1、第5章 线性参数的最小二乘法 最小二乘法最小二乘法least square methodleast square method 1805年，勒让德Legendre运用“最小二乘法，确定了慧星的轨道和地球子午线段。 1809年，高斯Gauss论证其解的最正确性。 经典最小二乘法即代数最小二乘法 现代最小二乘法即矩阵最小二乘法 线性参数的最小二乘法 大纲要求v掌握最小二乘原理。掌握最小二乘原理。v掌握正规方程掌握正规方程: :v 等精度丈量线性参数的最小二乘处置等精度丈量线性参数的最小二乘处置v 不等精度丈量线性参数的最小二乘处置不等精度丈量线性参数的最小二乘处置v掌握最小二乘精度估计方法。掌握最

2、小二乘精度估计方法。 第一节最小二乘法原理第一节最小二乘法原理 设有一金属尺，在温度设有一金属尺，在温度t时长度可表示为时长度可表示为yt=y01+t，其中，其中，y0为温度零度时的准确长度。为温度零度时的准确长度。为金属资料的线膨胀系数，求为金属资料的线膨胀系数，求y0与与的数值的数值 l1= y01+t1 l2= y01+t2y0与 一、最小二乘法原理一、最小二乘法原理 引题引题:求规范米尺线膨胀系数求规范米尺线膨胀系数 求规范米尺线膨胀系数求规范米尺线膨胀系数 设在设在t1，t2，t3.tn温度条件下分别测得金属尺温度条件下分别测得金属尺的长度的长度l1，l2，l3 . ln共共n个结果

3、，可列出方程组个结果，可列出方程组 l1= y01+t1 l2= y01+t2 ln= y01+tn 1 当当n2，方程组无解。，方程组无解。 最小二乘法22212nvvv最小v1= l1-y1v2= l2-y2 ， yn为最小二乘为最小二乘估计量估计量 . .vn= ln-yn y0与与最最可信任可信任 值值？一、最小二乘法原理一、最小二乘法原理 待丈量难以直接丈量：待丈量难以直接丈量：tXXX,21直接丈量量：直接丈量量：nYYY,21),(),(),(212122221111tnnnttXXXfYlXXXfYlXXXfYl问题：如何根据和丈量方程解得待测问题：如何根据和丈量方程解得待测

4、量的估计值？量的估计值？nlll,21txxx,21一、最小二乘法原理一、最小二乘法原理 为确定t个不可直接丈量的末知量 的估计量 ，可对与该t个末知量有函数关系的直接丈量量Y进展n次丈量，得丈量数据 nt并设有如下函数关系： tXXX,21txxx,21nlll,21丈量方程丈量方程 : tn 直接求得。直接求得。txxx,21: tn 有利于减小随机误差，方程组有利于减小随机误差，方程组有冗余，采用最小二乘原理求有冗余，采用最小二乘原理求 。txxx,21讨论：讨论：最小二乘原理：最小二乘原理：最可信任值应使剩余误差平方和最小。最可信任值应使剩余误差平方和最小。一、最小二乘法原理一、最小二

5、乘法原理 设直接丈量量 的估计量分别为 nYYY21,nyyy21,),(),(),(2121222111tnnttxxxfyxxxfyxxxfy5-2一、最小二乘法原理一、最小二乘法原理 由此得丈量数据由此得丈量数据 的残差为：的残差为： nlll,21v1= l1-y1v2= l2-y2. . 5-3vn= ln-yn即即 ),(),(),(212122221111tnnnttxxxflvxxxflvxxxflv5-4残差方程式残差方程式误差方程式误差方程式 12,n 假设丈量数据假设丈量数据 , ,不存在系统误差和粗大不存在系统误差和粗大误差，相互独立，且服从正态分布误差，相互独立，且服

6、从正态分布, ,其规范差为其规范差为 nlll,21那么各丈量结果那么各丈量结果 出现于相应真值附近出现于相应真值附近 区域内的概率分别为：区域内的概率分别为： ndddd.321,nlll,21nnnnnndedfPnn22221)(一、最小二乘法原理一、最小二乘法原理 各误差相互独立，由概率乘法定理，各丈量数据同时分别出如各误差相互独立，由概率乘法定理，各丈量数据同时分别出如今相应区域的概率应为：今相应区域的概率应为： nnnndddeppppnn21)222(21212222222121)2(1, 一、最小二乘法原理一、最小二乘法原理 最小2222222121nn最小2222222121

7、nnvvv)55(2222211最小nnvpvpvp等精度丈量等精度丈量 ：)65(22221最小nvvv最小二最小二乘原理乘原理的代数的代数方式方式丈量值丈量值 曾经出现，有理由以为这曾经出现，有理由以为这n n个丈量值个丈量值出现于相应区间的概率出现于相应区间的概率P P为最大。要使为最大。要使P P最大，应有最大，应有nlll,21由于结果只是接近真值的估计值，因此上述条件应为由于结果只是接近真值的估计值，因此上述条件应为引入权引入权 必需指出:上述最小二乘原理是在丈量误差无偏、正态分布和相互独立的条件下推导出的，但在不严厉服从正态分布的情形下也常被运用。实践上，按误差或残差平方和为最小

8、进展统计推断已构成一种准那么。一、最小二乘法原理一、最小二乘法原理 最小二乘原理最小二乘原理:丈量结果的最可信任值应使剩余丈量结果的最可信任值应使剩余误差平方和或加权剩余误差平方和最小。误差平方和或加权剩余误差平方和最小。 二、线性参数的最小二乘法处置二、线性参数的最小二乘法处置 线性参数的丈量方程线性参数的丈量方程tntnnnttttXaXaXaYXaXaXaYXaXaXaY22112222121212121111相应的估计值相应的估计值 tntnnnttttxaxaxayxaxaxayxaxaxay22112222121212121111其误差方程：其误差方程： )()()(2211222

9、212122121211111tntnnnnttttxaxaxalvxaxaxalvxaxaxalv第一节最小二乘法原理 二、线性参数的最小二乘法处置二、线性参数的最小二乘法处置 线性参数的最小二乘原理的矩阵方式线性参数的最小二乘原理的矩阵方式 实测值矩阵实测值矩阵 nlllL21估计值矩阵估计值矩阵 txxxX21 残差矩阵残差矩阵 nvvvV21误差方程误差方程系数矩阵系数矩阵 ntnnttaaaaaaaaaA,212222111211误差方程的矩阵方式误差方程的矩阵方式 XALV)()()(2211222212122121211111tntnnnnttttxaxaxalvxaxaxalv

10、xaxaxalv误差方程误差方程 二、线性参数的最小二乘法处置二、线性参数的最小二乘法处置 线性参数的最小二乘原理的矩阵方式线性参数的最小二乘原理的矩阵方式 误差方程的矩阵方式误差方程的矩阵方式 XALV1 1等精度丈量线性参数的最小二乘原理的矩阵方式等精度丈量线性参数的最小二乘原理的矩阵方式 最小VVT或 最小)()(XALXALT或 2 2不等精度丈量线性参数的最小二乘原理的矩阵方式不等精度丈量线性参数的最小二乘原理的矩阵方式 TV PV 最小()()TLAXP LAX=最小2222221200000000000021nnpppP其中：其中： 不等精度不等精度 等精度等精度iptnntnn

11、nnnnnnttttxpaxpaxpaplpvxpaxpaxpaplpvxpaxpaxpaplpv22112222221221222211211211111111ivil1 ia2iaita不等精度丈量线性参数的最小二乘原理的矩阵方式不等精度丈量线性参数的最小二乘原理的矩阵方式1122nlLlP Ll 1122nvVvP Vv11112121222212ttnnntaaaaaaAP Aaaa 二、线性参数的最小二乘法处置二、线性参数的最小二乘法处置 线性参数的不等精度丈量转化为等精度的方式：线性参数的不等精度丈量转化为等精度的方式： 最小VVT1122nlLlP Ll 1122nvVvP Vv

12、11112121222212ttnnntaaaaaaAP AaaaXALV 误差误差方程方程 正规方程正规方程法方程法方程 最小二乘法最小二乘法 最小VVT(方程数方程数n末末知数个数知数个数t) (n=t) 求解求解线性线性方程方程组组 txxx,21求极值求极值的方法的方法线性参数的最小二乘法处置程序线性参数的最小二乘法处置程序 正规方程：误差方程按最小二乘法原理转化得到的正规方程：误差方程按最小二乘法原理转化得到的有确定解的代数方程组。有确定解的代数方程组。第二节、正规方程一、等精度丈量线性参数最小二乘法的正规方程二、不等精度丈量线性参数最小二乘法的正规方程三、非线性参数最小二乘法处置的

13、正规方程略四、最小二乘法与算术平均值的关系 第二节正规方程 一、等精度丈量线性参数最小二乘处置的正规方程一、等精度丈量线性参数最小二乘处置的正规方程tntnnnnttttxaxaxalvxaxaxalvxaxaxalv2211222212122121211111最小22221nvvv0)(0)(12112tniiniixvxv0.0022222212txvxvxv且且 第二节正规方程 正规方程：正规方程：tniititniiitniiitiniittniitiniiiniiiiniitniitiniiiniiiiniixaaxaaxaalaxaaxaaxaalaxaaxaaxaala12121

14、111122122111212112121111111特点：特点：主对角线分布着平方项系数，正数相对于主对角线对称分布的各系数两两相等(5-19) 看正规方程组中第看正规方程组中第r r个方程：个方程：012121111tniitirniiirniiiriniirxaaxaaxaala02211nnrrrvavava那么正规方程可写成那么正规方程可写成000221122221121221111nntttnnnnvavavavavavavavava0VAT第二节正规方程 即即正规方程的矩阵方式正规方程的矩阵方式 第二节正规方程 将代入到中，得XALV0VAT0XAALATTLAXAATTAACT

15、LAXCTLACXT1 的数学期望为：的数学期望为： XXXAAAAAXACYACLEACLACEXETTTTTT)()()()(11111可见可见 为为X的无偏估计。的无偏估计。 X 由最小二乘法求最正确解由最小二乘法求最正确解系数矩阵系数矩阵A-误差方程，丈量方程误差方程，丈量方程 实测值矩阵实测值矩阵L-直接测得直接测得 例题例题 5-1 X 的最正确估计值的最正确估计值LACXT1 第二节正规方程 例例5.1 知铜棒的长度和温度之间具有线性关系：，为知铜棒的长度和温度之间具有线性关系：，为。为获得。为获得时铜棒的长度时铜棒的长度和铜的线膨胀系数，现测得不同温度下铜和铜的线膨胀系数，现测

16、得不同温度下铜棒的长度，如下表，求，的最可信任值。棒的长度，如下表，求，的最可信任值。)1 (0tyyt0y0y1020253040452000.362000.722000.82019.072019.482000.60Cti0/mmli/ 最小niiivp120)(0)(12112nniiiniiixvpxvp由此可得不等精度丈量线性参数最小二乘处置的正规方程：二、不等精度丈量线性参数二、不等精度丈量线性参数最小二乘法处置的正规方程最小二乘法处置的正规方程 tntnnnnttttxaxaxalvxaxaxalvxaxaxalv2211222212122121211111 tniititinii

17、itiniiitiiniititniitiiniiiiniiiiiniiitniitiiniiiiniiiiiniiixaapxaapxaaplapxaapxaapxaaplapxaapxaapxaaplap12121111122122111212112121111111整理得：整理得：000222111222221121122121111nntnttnnnnnnvapvapvapvapvapvapvapvapvap(5-19)(5-25)0PVAT不等精度的正规方程不等精度的正规方程 即0PVAT不等精度的正规方程不等精度的正规方程将代入上式，得XALV0XPAAPLATTPLAXPAATT

18、PAACTPLAXCTPLACXT1PLACXPAAAACTTT1书中： 的数学期望为：的数学期望为： X可见可见 为为X的无偏估计。的无偏估计。 XXXPAAPAAPAXACPYACLPEACPLACEXETTTTTT)()()()(11111 由最小二乘法求最正确由最小二乘法求最正确解解系数矩阵系数矩阵A-误差方程，丈量方程误差方程，丈量方程丈量值矩阵丈量值矩阵L-直接测得直接测得 权矩阵权矩阵P例题例题 5-2 X 的最正确估计值的最正确估计值PLAPAAXTT1)(PLACT1 例例5.2 5.2 某丈量过程有误差方程式及相应的规范差：某丈量过程有误差方程式及相应的规范差： 08. 0

19、)5(27.1508. 0)4(22.1308. 0)3(81.1006. 0)2(60. 806. 0)(44. 652154214321322121211xxvxxvxxvxxvxxv试求试求 的最可信任值。的最可信任值。21,xx解：首先确定各式的权解：首先确定各式的权9:9:9:16:161:1:1:1:1:252423222154321ppppp 令61514131211127.1522.1381.1060. 844. 621AxxXL900000900000900000160000016nnP227. 2186. 4)(121PLAPAAxxXTT 四、最小二乘法与算术平均值的关系

20、四、最小二乘法与算术平均值的关系 为确定一个量为确定一个量X X的估计值的估计值x x，对它进展，对它进展n n次直接丈量，得次直接丈量，得到到n n个数据个数据 , ,相应的权分别为相应的权分别为 。nlll,21最正确估计值最正确估计值 nPPP,2111ni iiniiPlPx运用最小二乘法求运用最小二乘法求 PLAPAAXTT1)( PLAPAAXTT1)( 误差方程：误差方程： xlvxlvxlvn11211系数矩阵系数矩阵 11111A(1 1 . 1)TA 权矩阵：权矩阵： 12000000nppPp 实测值矩阵实测值矩阵 nlllL2111ni iiniiPlPx 对等精度丈量

21、：对等精度丈量： ppppn21nlnplllpxn)(2111ni iiniiPlPx 与前面结果一致。与前面结果一致。 此式与等精度丈量时算术平均值原理给出的结果一此式与等精度丈量时算术平均值原理给出的结果一样，由此可见，最小二乘法原理与算术平均值原理是一样，由此可见，最小二乘法原理与算术平均值原理是一致的，算术平均值原理可以看作是最小二乘法的特例。致的，算术平均值原理可以看作是最小二乘法的特例。 第三节 精度估计一、直接丈量数据一、直接丈量数据 的精度估计的精度估计 二、最小二乘估计量二、最小二乘估计量 的精度估计的精度估计 nlll,21nxxx,21 第三节精度估计 一、丈量数据精度

22、估计一、丈量数据精度估计(一等精度丈量数据的精度估计一等精度丈量数据的精度估计2可以证明可以证明 是自在度是自在度nt的的 变量。变量。根据根据 变量的性质，有变量的性质，有212/ )(niiv22tnvEnii212212tnvEnii对包含对包含t个末知量的线性参数个末知量的线性参数Y( )进展进展n次次等精度丈量得等精度丈量得 ，其残差，其残差 得得 的估的估计量。计量。),(21txxxfYnlll,21nvvv,21 那么可取那么可取tnvnii122作为作为 的无偏估计量。的无偏估计量。2因此丈量数据的规范差的估计量为因此丈量数据的规范差的估计量为丈量次数未知量个数残差平方和tn

23、v2当当t=1时？时？ (二二) 不等精度丈量数据的精度估计不等精度丈量数据的精度估计 一、直接丈量数据一、直接丈量数据 的精度估计的精度估计 nlll,21丈量数据的单位权规范差丈量数据的单位权规范差 加权未知量个数方程个数残差平方和tnpv2当当t=1时？时？ 直接丈量量的规范差1TA A对角元素不定系数 二、最小二乘估计量二、最小二乘估计量 的精度估计的精度估计 nxxx,211 1、等精度丈量时估计量的精度估计、等精度丈量时估计量的精度估计 ttxxxdddt221121ttttttTdddddddddAA2122221112111)( 单位权的规范差 对角元素不定系数 二、最小二乘估

24、计量二、最小二乘估计量 的精度估计的精度估计 nxxx,212、不等精度丈量估计量的精度估计、不等精度丈量估计量的精度估计 ttxxxdddt22112111)(PAACTttttttTdddddddddPAA2122221112111)(第四节组合丈量combined measurement的最小二乘法处置 组合丈量根本概念组合丈量是经过直接丈量待测参数的各种组合量普组合丈量是经过直接丈量待测参数的各种组合量普通是等精度丈量，然后对这些丈量数据进展处置，通是等精度丈量，然后对这些丈量数据进展处置，从而求得待测参数的估计值，并给出其精度估计。从而求得待测参数的估计值，并给出其精度估计。 通常组合丈量数据是用最小二乘法进展处置，他通常组合丈量数据是用最小二乘法进展处置，他是最小二乘法在精细测试中的一种重要运用。是最小二乘法在精细测试中的一种重要运用。t个被个被丈量丈量 n个误个误差方差方程式程式 求解求解 n种种组合组合测得测得 nlll,21最小最小二乘法二乘法 组合丈量根本概念如为精细测定1号、2号和3号电容器的电容量 1x2x3x测得值误差方程 待求量为了获得更可靠的结果，丈量次数总要多于未知参数的数目1l2l3l4l)()(32443133222111xxlvxxlvxlvxlv 组合丈量根本概念优点：精度较高。组合