实用回归分析课件

1、5.1 残差与残差图残差与残差图 一、残差概念与残差图一、残差概念与残差图 iiiiixyyye10残差 误差项iiixy10 残差ei是误差项i的估计值。 5.1 残差与残差图残差与残差图一、残差概念与一、残差概念与 5.1 残差与残差图残差与残差图一、残差概念与一、残差概念与 5.1 残差与残差图残差与残差图一、残差概念与一、残差概念与 5.1 残差与残差图残差与残差图一、残差概念与一、残差概念与 5.2 残差的性质残差的性质一一、残差的性质、残差的性质 性质性质1 E (ei)=0 证明:0)()()()()(1010iiiiixExyEyEeE5.2 残差的性质残差的性质一一、残差的性

2、质、残差的性质 性质性质22)1 ( )var(iiihexxiiiLxxnh2)(1,其中.差较小附近的点相应的残差方远离差较大，附近的点相应的残差方靠近xx称为杠杆值称为杠杆值 5.2 残差的性质残差的性质一一、残差的性质、残差的性质 性质性质3. 残差满足约束条件: 0011niiiniiexe5.2 残差的性质残差的性质二二、改进的残差、改进的残差 5.3 异常值与强影响值异常值与强影响值异常值分为两种情况： 一种是关于因变量y异常； 另一种是关于自变量x异常。5.3 异常值与强影响值异常值与强影响值一、关于因变量一、关于因变量y的异常值的异常值标准化残差iieZRE 学生化残差iii

3、iheSRE1/3iiZRESRE 观测数据判定为异常值存在y的异常观测值，普通/标准化/学生化残差都不适用5.3 异常值与强影响值异常值与强影响值5.3 异常值与强影响值异常值与强影响值)()(iiiyye可以证明： iiiihee1)(5.3 异常值与强影响值异常值与强影响值212)(221pnSREpnpnSRESREiii5.3 异常值与强影响值异常值与强影响值二、关于自变量二、关于自变量x的异常值的异常值回归的杠杆值hii也是表示自变量的第i次观测值与自变量平均值之间距离的远近。杠杆值大的样本点称为2)1 ( )var(iiihe2()1iiixxxxhnL杠杆值11p+12(3)

4、,=niiiiihhhhnn其中判断为强影响点5.3 异常值与强影响值异常值与强影响值二、关于自变量二、关于自变量x的异常值的异常值npchnchniii112(3)iichch判断为强影响点 强影响点不一定是y的异常值点，不能单纯根据杠杆值hii的大小判断强影响点是否异常 利用Cook距离，来判断强影响点是否为y的异常值点.5.3 异常值与强影响值异常值与强影响值222)1 () 1(iiiiiihhpeD5.3 异常值与强影响值异常值与强影响值三、异常值实例分析三、异常值实例分析 例例5.1 做异常值的诊断分析做异常值的诊断分析。分别计算普通残差ei，学生化残差SREi，删除残差e（i），

5、删除学生化残差SRE（i），杠杆值chii，库克距离Di5.3 异常值与强影响值异常值与强影响值5.3 异常值与强影响值异常值与强影响值5.3 异常值与强影响值异常值与强影响值RES-残差eDRE-删除残差ZRE-标准化残差SRE 学生化残差SREiSDR 删除学生化残差SRE(i)COO-库克距离Dii LEV-中心化杠杆值chii5.3 异常值与强影响值异常值与强影响值5.3 异常值与强影响值异常值与强影响值异常值原因异常值消除方法1.数据登记误差，存在抄写或录入的错误重新核实数据2.数据测量误差重新测量数据3.数据随机误差删除或重新观测异常值数据4.缺少重要自变量增加必要的自变量5.缺少

6、观测数据增加观测数据，适当扩大自变量取值范围6.存在异方差采用加权线性回归7.模型选用错误，线性模型不适用改用非线性回归模型5.3 异常值与强影响值异常值与强影响值 学生化删除残差、杠杆值、学生化删除残差、杠杆值、CookCook距离距离采取的措施：1. ，有时异常观测值是正确的，它说明回归模型的失败，失败的原因可能是遗漏了一个重要变量，或者选择了不正确的回归函数形式.2.如果异常值数据时准确的，但是找不到对它合理的解释，与剔除这个观测值相比，一个更稳健的方法是它的影响.3.是一种稳健估计方法，它具有对异常值和不合适模型不敏感性质.四、异常值问题补充四、异常值问题补充5.3 异常值与强影响值异

7、常值与强影响值 01201201122101122,1(,) minpnpiiipipiniiipipiQyxxxyxxx 012p， ， ，称回归参数的最小绝对离差和估计违背基本假设的情况违背基本假设的情况 关于异方差性问题 关于自相关性问题 关于多重共相关问题第六章第六章 关于异方差性问题关于异方差性问题 jiji),var()var(第六章第六章 关于异方差性问题关于异方差性问题 6.1 异方差性产生的背景6.2 异方差性的诊断6.3 异方差问题的建模处理 ),2, 1,()( , 2, 1,)(ni ,j j0 , ij , i,cov n0, iE2jiiGauss-Markov条件

8、 第六章第六章 关于异方差性问题关于异方差性问题6.1 异方差性产生的背景异方差性产生的背景 一、异方差产生的原因一、异方差产生的原因 例例6 6.1 .1 居民收入与消费水平有着密切的关系。用xi表示第i户的收入量,yi表示第i户的消费额,一个简单的消费模型为:yi=0+1xi+i，i=1,2,n收入不同，消费观念和习惯差异，导致消费模型的随机项i具有不同的方差。低收入的家庭购买差异性比较小,高收入的家庭购买行为差异就很大。6.1 异方差性产生的背景异方差性产生的背景 二、异方差性带来的问题二、异方差性带来的问题 当存在异方差时，普通最小二乘估计存在以下问题:(1)参数估计值虽是无偏的,但不

9、是最小方差线性无偏估计;(2)参数的显著性检验失效;(3)回归方程的应用效果极不理想。6.2 异方差性的诊断异方差性的诊断 一、异方差性的检验一、异方差性的检验（一）残差图分析法（一）残差图分析法 直观、方便的分析法 以残差ei为纵坐标，其他适宜变量为横坐标画散点图，横坐标有三种选择： 拟合值 xi 观测时间或序号6.2 异方差性的诊断异方差性的诊断 一、异方差性的检验一、异方差性的检验（一）残差图分析法（一）残差图分析法 图5.1（b)存在异方差一般情况下，当回归模型满足所有假定时，残差图上的n个点散布应是随机的，无任何规律；存在异方差时，残差图上的点散布呈现相应的趋势.6.2 异方差性的诊

10、断异方差性的诊断 一、异方差性的检验一、异方差性的检验（二）等级相关系数法（二）等级相关系数法 等级相关系数检验法又称斯皮尔曼(Spearman)检验,是一种应用较广泛的方法。这种检验方法既可用于大样本,也可用于小样本。进行等级相关系数检验通常有三个步骤。 第一步,作y关于x的普通最小二乘回归,求出i的估计值,即ei的值。6.2 异方差性的诊断异方差性的诊断 （二）等级相关系数法（二）等级相关系数法 第二步,取ei的绝对值,分别把xi和|ei|按递增（或递减）的次序分成等级,按下式计算出等级相关系数:niisdnnr122) 1(61其中,n为样本容量,di为对应于xi和|ei|的等级的差数。6.2 异方差