岭回归分析中广义岭估计的一种改进方法

-精选财经经济类资料- -最新财经经济资料-感谢阅读- 1 岭回归分析中广义岭估计的一种改 进方法 【摘要】对于多重共线性条件下 线性回归模型系数的有偏估计，统计学 家提出了岭回归估计，Hoerl 和 Kennard 提出了广义岭估计1. 本文主要讨论广 义岭估计的进一步推广，基于均方误差 和均方残差的比较，给出一种解决问题 的新方法. 中国论文网 /9/view-13002887.htm 【关键词】线性回归模型；广义 岭估计；均方误差；均方残差 一、引言 为消除或减弱设计阵的复共线性 对参数估计的不良影响，国内外学者提 出了各种有偏估计，如，岭估计2、主 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 2 成分估计等等，这些估计在均方误差意 义下可以优于 LS 估3.但是，在某种 情况下还有一定的缺陷. 定义 14我们引进线性回归模型 的典则形式： Y=Z+，E（）=0，Cov（） =2In， （1） 这里，Z=X 称为典则变量， = 称为典则参数，其中 =（1，2，p） ，且 1， 2， p 为 XX 的对应特征根 12p0 的标准化特征向量.所以 ZZ=diag（1，2，p）.则 的 LS 估计为=（ZZ）-1ZY=-1ZY.其 狭义岭估计为（k）=（+kI）- 1ZY=（+kI）-1XY.在岭回归估计 法的基础上，有学者提出了广义岭回归 估计法，定义为 （k） =（XX+K）-1XY ，其中 K=diag（k1，k2，kp）0. 本文主要是在前人提出的广义岭 估计的基础上，对其中的一部分做了进 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 3 一步的探讨与研究，并加以改进.首先， 讨论广义岭估计的主要缺陷. 第一，只有在较小特征根所对应 的特征向量的方向上估计才是不精确的， 而在大的特征根所对应的特征向量的方 向上估计是准确的.因此，我们只需要修 正 XX 全部对角元的一部分就可以，也 就是只对 XX 的接近于 0 的特征根进行 修正.广义岭估计其实是对 进行了过分 的压缩. 第二，广义岭估计的残差平方和 为 RSS（K）=（Y-X（K） ）（Y- X） =（Y-X ）（Y-X ）+ （ （K ） -）XX （ （K）-） =RSSmin+RSS. 这说明广义岭估计在降低均方误 差的同时，又使得残差平方和增大.为了 得到良好的拟合效果，我们当然要降低 均方误差以使估计更接近真值，但又不 能不顾及残差平方和的增大. -精选财经经济类资料- -最新财经经济资料-感谢阅读- 4 定义 25对于线性回顾模型，定 义 1-k 型广义岭估计 1-k（K） =（XX+K0）-1XY. 其中， K0=11ki+1kp，k0 ，i=t，t+1 ，p. 设 XX 的较大的特征根有 t 个， t 为正整数，且 0tp，则需要修正的小 特征根有（p-t）个.在多重共线性的情 况下，XX 的特征根发生两极分化的结 果可以人为地确定该对哪些特征根进行 修正.由定义可以看出，1-k（K）是广 义岭估计类 （K）的一种估计.当 ki=0，i=1 ，2，p 时，1-k（K）即 化为 LS 估计.对于线性回归方程典则形 式（1） ，定义 1-k 型广义岭估计 1- k（K）= （+K0）-1ZY 式中， Z=X，=，其中 =（1，2，p） ，且 1， 2， p 为 XX 的对应特征根 12p0 的标准化特征向量.所以 ZZ=diag（1，2，p）.K0 定 义同上. -精选财经经济类资料- -最新财经经济资料-感谢阅读- 5 二、对 1-k（K）与 （K）的均 方误差（MSE ）进行比较分析 因为 1-k（K）是 （K）的一种 特殊情况，先来看 （K）的 MSE. MSE（ （K） ） =2pi=1i（i+ki ） 2+pi=1k2i2i（i+ki ）2 . 其中， K=diag（k1，k2，kp）0，对 ki（i=1，2，p）求偏导数，并令其 偏导数为 0，得 MSE（ K） ） ki=22ikii（i+ki）3-22i（i+ki） 3=0.解出，当 ki=22i（i=1，2，p）时， MSE（K） ）达到最小. 将上式中正定对角阵 K 用本文提 出的 K0 替换，即得 MSE（ 1-k（K0） ）=E1- k（K0）-2 =trCov（1-k （K0 ） ）+（E1- k（K0） ）-（E（1-k （K0 ） ）-） =2tr （+K0）-1（+K0）- -精选财经经济类资料- -最新财经经济资料-感谢阅读- 6 1）+tr（+K0）-1-I） （+K0）-1-I） =2ti=1i（i+1 ） 2+2pi=t+1i（i+ki） 2+pi=t+1k2i2i（i+ki）2 . 同理，当 ki=22i（i=t+1，t+2，p）时， MSE（1-k （K0） ）达到最小.此时，将 ki=22i（i=1，2，t）代入，得 MSE（ （K） ）-MSE （1- k（K0） ） =2ti=1i（i+ki） 2+ti=1k2i2i（i+ki ）2- 2ti=1i（i+1）2 =ti=11+2i-kii（1+i） 2（i+ki ）.（2） 另外，当 ki0（i=1，2，p）时， MSE（K） ）ki=22ikii （i+ki）3- 22i（ i+ki）3MSR（1-k（K0） ） ， t 需要 k2i1. 综上所述，当 11i+2 时， -精选财经经济类资料- -最新财经经济资料-感谢阅读- 7 MSE（ （K） ）MSE （K0） ） MSE（ ） ， MSR（）MSR （1-k（K） ） MSE（ （K）