现代统计方法-回归诊断

1、回归分析,现代统计方法,回归诊断,回归分析,异方差及其处理,异方差问题的提出 异方差产生的经济背景和原因 异方差带来的主要问题 异方差的诊断 异方差问题的处理方法,回归分析,异方差问题的提出,在回归模型的基本前提中，假定随机误差 项具有相同的方差。即：对于每个样本点有： 但在实际中，此项假设往往不成立，即有： 这就是所谓的异方差问题。,回归分析,异方差产生的经济背景和原因,1、总体内部的各个部分差异较大 2、大量地应用横截面数据（生产函数） 3、在一定时期内观测对象较大的变动 4、利用样本平均数作为样本数据,回归分析,异方差带来的主要问题,参数估计值虽然是无偏的，但是不是有效的，也不满足渐进有

2、效性 参数的显著性检验失效 回归方程的应用效果极不理想,回归分析,异方差的诊断,1、残差分析图法： 正常残差图,回归分析,异方差的诊断,异方差残差图,回归分析,异方差的诊断,2、等级相关系数法： 1）、根据回归方程求出i的估计值：,回归分析,异方差的诊断,3）、进行统计假设：设总体的等级相关系数为 H0：=0 H1： 0 4）、检验统计量； 5）、检验规则： 若t t/2(n-2) 则接受替换假设，即：异方差存在,回归分析,异方差的诊断,在多元线性回归方程中，可对于任意一个自变量xj做等级相关检验，如果通不过，则判定整个方程存在异方差。 3、格来斯尔（Gleiser)检验 该检验的中心思想是：

3、在存在异方差的前提下， i的估 计值ei是自变量的函数，即： 具体的步骤有： 1）、首先根据回归方程估计出i 的估计值ei 2）、以e为被解释变量，并以xj为解释变量建立如下方程： 分别估计参数后，对方程进行显著性检验，若拒绝H0则显示有 异方差。,回归分析,异方差的诊断,上述的的变量既可以是各个自变量逐个试算，也可以用多个变量解释e,常见的试算形式有：,回归分析,异方差问题的处理方法,1、加权最小二乘法（Weighted Least Square) 基本的思想是在平方和中加入适当的权数，使方差大的权数小，而方差小的权数大，从而使各个方差趋同。,回归分析,异方差问题的处理方法,通常的情况是，误

4、差项方差常常与的幂函数成比例即： 因此。权数可以确定为： 上式中M为待定参数，由相关软件确定。,回归分析,异方差问题的处理方法,对于多元的回归方程，运用有：,回归分析,异方差问题的处理方法,多元线性回归方程有多个自变量，通常其权数取为某一自变量j(j=1,2,P)的幂函数，即：w=xm.在实际的应用中，一般计算每个自变量与普通残差的等级相关系数，以最大的等级相关系数的自变量构造权函数。,回归分析,异方差问题的处理方法,、方差稳定变换方法： ）、如果i与（yi）存在一定的比例关系，则变换为： ）、如果i与（yi）存在一定的比例关系，则变换为 ）、如果i与（yi）存在一定的比例关系，则变换为,回归

5、分析,SPSS与异方差处理,1、研究生案例-异方差（见案例资料） 储蓄与居民收入- （VAR2） LINER-SPERMAN（0.686） WLS-SPERMAN（0.683） 方差稳定变换 -（LGY 1/Y，SQURT（Y） -SQRTY-sperman(0.125),回归分析,SPSS与异方差处理,2、研究生案例-异方差（见案例资料） 保费与人数-VAR3 liner-sperman0.432 sig0.017 WLS-sperman-0.369 sig0.045 方差稳定变换 -（LGY 1/Y，SQURT（Y） sperman-(-0.004,sig=0.984),回归分析,SPSS

6、与异方差处理,具体计算步骤： 1、打开异方差案例选取 储蓄与居民收入- （VAR2）-文件 2、运用SPSS中的liner回归进行估计。,回归分析,VAR2的LINER分析后的主要参数,回归分析,在LINER分析后的SPAERMAN检验,首先在liner分析时，在save选项内选择保存残差,回归分析,在LINER分析后的SPAERMAN检验,回归分析,回归分析,进行数据转换,回归分析,回归分析,回归分析,相关分析,回归分析,回归分析,SPAERMAN检验结果,回归分析,WLS估计的程序,回归分析,回归分析,回归分析,回归分析,回归分析,回归分析,回归分析,SPAERMAN检验结果,回归分析,方

7、差稳定变换,常见的变换： 设Y=lgy Y=1/y Y=,回归分析,回归分析,回归分析,回归分析,SPAERMAN检验结果,回归分析,SPSS与异方差处理,3、研究生案例-异方差 MVAR-多元异方差 1）、相关性选择：LINER 招商企业注册资本SPERMAN 0.721 2）、WLS：SPERMAN-0.593(807) 3）、方差稳定变化： SQRTYSPERMAN（0.432，SIG0.108）,回归分析,自相关问题及其处理,问题的提出 产生的原因和背景 自相关带来的问题 自相关的诊断 自相关问题的处理,回归分析,问题的提出,在回归方程建模时，其基本的假定有： 但是，在实际的建模过程中

8、，如果出现： 则称随机误差项之间存在着自相关现象。 或称出现序列相关,回归分析,产生的原因和背景,1、遗漏关键变量 2、经济变量的滞后性 3、采用了错误的回归函数形式 4、蛛网现象（cobweb phenomenon) 5、因数据的加工整理而导致误差项之间产 生自相关,回归分析,自相关带来的问题,1、参数的估计值不再具有blue性质 2、均方误差MSE可能低估误差项方差 3、容易导致对t 值评价过高，从而使F检 验和t检验失效。 4、OLSE估计量对样本的波动极其敏感 5、运用OLSE估计的回归模型和结构分析将会 有较大的方差，甚至产生错误解释。,回归分析,自相关的诊断,1、绘图法 （1）、绘

9、制et和et-1的散点图 （2）、绘制et与t的散点图,回归分析,et,et-1,et,et-1,正相关序列,负相关序列,et,t,t,et,负相关序列,正相关序列,回归分析,自相关的诊断,2、自相关系数检验 对于样本观测值有自相关系数： 显然该系数的绝对值越靠近1，则存在序列 相关，通常，可以通过回归系数的显著性 检验来判断,回归分析,自相关的诊断,3、DW检验： 主要用于检验具有一阶自回归形式的序列 相关即： 1） 2）定义DW统计量：,回归分析,自相关的诊断,3）在求出DW的值以后，根据样本容量n和自变量的个数k查DW分布表得dl和du,并依据下表决定相关的性质：,回归分析,自相关的诊断

10、,结合上表，有下图：,dl,du,4-du,4-dl,正,不,无,不,负,回归分析,自相关的诊断,此方法的缺点： 1，DW有两个不能确定的区域，此时只能扩大样本或使用其他方法检验 2，DW统计量的样本容量必须大于15 3，DW检验不适用具有高阶自相关的情况,回归分析,自相关问题的处理,1、迭代法： 设一元线性回归方程的误差具有一阶自相关：,回归分析,在上述的方程中，由于： E(ut)=0 2 t=s Cov(ut，us)= 0 ts 因此就已经消除了自相关问题，可以用 OLSE估计，并满足BLUE,自相关问题的处理,回归分析,自相关问题的处理,2、 差分法： 当线性回归方程存在较高程度的一阶自

11、相关，即1时，由迭代法的迭代公式有：,回归分析,自相关问题的处理,很显然，一阶差分法运用的条件是1，在此情况下，用差分法更有效率。,回归分析,SPSS与自相关,序列相关-研究生案例SC 人均国民收入与人均消费 首先，按照一般回归程序进行初步建模： 要点：在回归分析的statistics选项中选择DW和在 save选项中残差项选择。,回归分析,在Statistics中选择D-W,回归分析,在SAVE选项中残差类型选择,回归分析,初步结果,回归分析,SPSS与自相关,E与X的相关图示,D-W=0.88, 查表得： Dl=1.18, Du=1.40 n=19 k=2 根据判别原则，具有正的序列相关,

12、回归分析,自相关图的画法,回归分析,自相关图的画法,回归分析,回归分析,残差图,回归分析,迭代法,回归分析,回归分析,SPSS与自相关,迭代法： Y=16.43+0.456X Yt=16.43+0.56Yt-1+0.456Xt-0.256Xt-1 DW=1.38,dl=1.16,du=1.39 n=18 k=2 =1-1/2dw=0.311 临界值0.468-5% 0.59-1%,回归分析,SPSS与自相关,差分法 Y=0.465 X（无常数项） Yt=Yt-1+0.465(Xt-Xt-1) DW=1.583du=1.39 故：无自相关,回归分析,多重共线性研究,多重共线性的概念 产生的经济背

13、景和原因 多重共线性带来的问题 多重共线性的诊断 消除多重共线性的方法,回归分析,多重共线性的概念,在多元线性回归模型中，如果设计矩阵X中的列向量存在密切的线性关系，那么各个解释变量x1,x2,xp之间就存在密切的线性关系，这种情况称为多重共线性（Multi-Collinearity）。 当Y=XB+存在完全的MC时，有： Rk(X)p+1,回归分析,多重共线性的概念,在实际的应用当中，经常出现的是近似的多重共线性问题，即：,回归分析,产生的经济背景和原因,1、影响因素之间本身存在的相互联系 2、由于经济变量随时间推移存在共同变 化的趋势,回归分析,多重共线性带来的问题,当X中的列向量线性相关

14、或近似线性相关时，X呈病态即：,回归分析,多重共线性的诊断,一般情况下，当回归方程的解释变量存在着很强的线性关系时，回归方程的检验又高度相关，此时如果有些回归系数不能通过显著性检验，甚至出现回归系数的符号与实际经济意义不符，我们就认为存在多重共线性问题。,回归分析,多重共线性的诊断,1、方差因子扩大法： 对于线性回归方程的自变量作了中心标准化后，则有： X*/X*=（rij)为自变量的相关矩阵记： 称其对角线元素Cjj =VIFj为自变量xj的方差扩大因子 （Variance Inflation Factor).如果记R2为自变量Xj与其P-1个 变量的复决定系数，可以证明：,回归分析,多重共

15、线性的诊断,很显然，VIFj越靠近1，说明xj 与其余P-1个自变量之间的相关程度就越低，一般地，VIFj10时，就说明自变量xj与其余的自变量之间具有多重共线性。,回归分析,多重共线性的诊断,2、特征根判别法： 1）、特征根的性质： 当矩阵X/X有一个特征根近似等于零，设计矩阵 的列向量必然存在多重共线性，并且该矩阵有多 少个特征根接近于零，X就有多少个多重共线性 关系,回归分析,多重共线性的诊断,2）、特征根指数：(Condition Index) 记X/X的最大特征根为m,称： 为特征根的条件数。当0100时，具有强烈的M-C。,回归分析,多重共线性的诊断,3、直观判别法： 1）、当增加或剔除一个变量或改变一个观测值，回归系数的 估计值发生较大的变动。 2）、从定性分析角度，一些重要的变量在回归方程中没有通 过显著性检验 3）、自变量的回归系数所带有的符号与定性分析结果相背。 4）、自变量的相关矩阵中，自变量的相关系数较大时。 5）、一些重要的自变量回归系数的标准误差太大时。,回归分析,消除多重共线性的方法,1、剔除一些不重要的解释变量 2、增大样本容量 3、回归系数的有偏估计 4、改变变量的定义形式差分法：,回归分析,SPSS与多重共线性,研究生案例-民航客运预测（MC） TOLERN-容忍度=1-R2 （系统默认0.0