第7讲 有偏估计

1、Introduction（thequestion）

2、RidgeEstimation3、GeneralizedRidgeEstimation第七讲有偏估计（BiasedEstimationofParameters）

一、概述

第七讲有偏估计（BiasedEstimationofParameters）LS估计最优的条件：观测值服从正态分布；观测方程系数阵满秩；无病态病态：由于复共线性造成的矩阵行列式的值很小接近于零（奇异）

一、概述

第七讲有偏估计（BiasedEstimationofParameters）引起的后果：法方程的解很不稳定表现为：法方程中，系数或常数项存在舍入误差而产生微小变化时，会引起解的差异很大可能的原因：（1）过度参数化（2）空间图形变化小Ifillcondition

一、概述

第七讲有偏估计（BiasedEstimationofParameters）例：（GPS动态定位仿真计算），历元间隔为2秒，观测卫星数为5颗，用4个历元解算整周模糊度，误差方程为系数阵A＝

一、概述

第七讲有偏估计（BiasedEstimationofParameters）设参数真值为以模拟真值反算观测值Li，设设计矩阵无误差，Li即为观测值的真值。实际观测中，观测值总是含有误差，于是我们在算得的观测值真值上加入小误差，使其接近真实情况真值、真误差、仿真观测值12345678161514131211109-4.8586-4.850.008612.230912.21-0.006112.205212.220.0048-4.8581-4.840.0181

一、概述

第七讲有偏估计（BiasedEstimationofParameters）组成法方程，以有误差观测值求取自由项解得参数真值

一、概述

第七讲有偏估计（BiasedEstimationofParameters）解决问题的方法：有偏估计岭估计（RidgeEstimation）广义岭估计（GeneralizedRidgeEstimation）主成分估计（PrincipleComponentEstimation）

一、概述

第七讲有偏估计（BiasedEstimationofParameters）关于均方误差定义方差均方误差均方误差表明了估值偏离真值的大小（离散度），称之为精确度

一、概述

第七讲有偏估计（BiasedEstimationofParameters）均方差和方差的关系

一、概述

第七讲有偏估计（BiasedEstimationofParameters）均方差和方差的关系方差和偏差平方和1)DefinitionofPrecisionThedegreeofclosenessofrepeatedmeasurementsmadeundersimilarconditionsaregroupedtogether.2)DefinitionofExactnessThedegreeofclosenessofameasurement’sexpectationtotruevalue.3)DefinitionofAccuracyThedegreeofclosenessofameasurementtothetruevalue.1、What’smeanaboutthefollowedfigures?

一、概述

第七讲有偏估计（BiasedEstimationofParameters）均方差和方差的关系方差和偏差平方和只有等式右边两项都小时，估计量性质才好最小二乘估计中无偏

一、概述

第七讲有偏估计（BiasedEstimationofParameters）于是设求迹矩阵的特征根有

一、概述

第七讲有偏估计（BiasedEstimationofParameters）如果系数阵病态，即其行列式接近于零，就一定至少有一个特征值就近于零，于是估值的均方差很大，此时，估值也不再是一个性质良好的估值

一、概述

第七讲有偏估计（BiasedEstimationofParameters）作有偏估计方差和偏差平方和这时，虽然均方差中增加了后一项，但前一项的值会大幅度减小，从而达到优化估计量性质的目的

二、岭估计

第七讲有偏估计（BiasedEstimationofParameters）1、基本思想

利用原来最小二乘估计的数学模型，在其法方程系数阵的对角线上加上一个适当的很小正数，以便减少系数阵列向量之间的相关程度，改善系数阵的状态，从而提高所估参数的精度和稳定性。

二、岭估计

第七讲有偏估计（BiasedEstimationofParameters）2、岭估计解的形式误差方程参数岭估计的解定义为岭估计的解满足

二、岭估计

第七讲有偏估计（BiasedEstimationofParameters）2、岭估计解的形式说明1、k称为岭参数（RidgeParameter）2、估值有偏3、估值精确度有提高

二、岭估计

第七讲有偏估计（BiasedEstimationofParameters）3、岭估计解的性质1、参数的岭估计是最小二乘估计的线性变换矩阵反演

二、岭估计

第七讲有偏估计（BiasedEstimationofParameters）3、岭估计解的性质2、参数的岭估计是有偏估计只要就有

二、岭估计

第七讲有偏估计（BiasedEstimationofParameters）3、岭估计解的性质3、如果N的特征根为：那么：N－1的特征根N＋kI的特征根（N＋kI）－1的特征根（I＋kN－1）的特征根

二、岭估计

第七讲有偏估计（BiasedEstimationofParameters）3、岭估计解的性质4、一定存在k>0，使得证明：将式中第一项表示成最小二乘解的形式式中于是将式中第二项也表示成真值的形式式中对称矩阵做正交分解令均方差表达式对k求导当k＝0时表明均方差是k的递减函数，并且所以一定存在k>0，使得

二、岭估计

第七讲有偏估计（BiasedEstimationofParameters）4、岭参数的选择方法很多：岭迹法，方差扩大因子法，双h公式，特征根法。MSE准则下的岭参数k的最优值依赖于未知参数，而且这种依赖关系没有显式表示，使得k的确定变得很困难。但没有一种方法一致优于其它各种方法！

二、岭估计

第七讲有偏估计（BiasedEstimationofParameters）4、岭参数的选择岭迹法：以岭估计值各个分量作为k的函数，将t条岭迹画出函数图象。K值选取的方法是使得t条岭迹都处于大体稳定状态的那个k值，这种选择方法具有随意性，但应用方便

二、岭估计

第七讲有偏估计（BiasedEstimationofParameters）4、岭参数的选择例：平差问题中，有偏估计k值从0.1到2.0取值，对应的7个未知参数各自取值都不同，可作7条岭迹图

二、岭估计

第七讲有偏估计（BiasedEstimationofParameters）4、岭参数的选择kK＝0.7

三、广义岭估计

第七讲有偏估计（BiasedEstimationofParameters）1、线性模型的典则形式在线性模型设G为正交阵，使得引入参数并设，B＝AG，则有称其为典则形式，a为典则参数

三、广义岭估计

第七讲有偏估计（BiasedEstimationofParameters）1、线性模型的典则形式参数a的最小二乘和岭估计分别为

三、广义岭估计

第七讲有偏估计（BiasedEstimationofParameters）2、广义岭估计定义或者证明两种定义方式的等价性！

三、广义岭估计

第七讲有偏估计（BiasedEstimationofParameters）3、广义岭估计的性质1、岭估计是广义岭估计的特殊形式2、广义岭估计是最小二乘估计的线性组合3、广义岭估计有偏4、存在ki>0，使得

三、广义岭估计

第七讲有偏估计（BiasedEstimationofParameters）3、广义岭估