实用回归分析课件.ppt

5.1残差与残差图,一、残差概念与残差图,残差,误差项,残差ei是误差项ei的估计值。,5.1残差与残差图,一、残差概念与残差图,*一般认为，如果一个回归模型满足所给出的基本假定，所有残差应在e=0附近随机变化，并在变化幅度不大的一条带子内.*如果残差都落在变化幅度不大一条带子内，也就可以说明回归模型满足基本假设.,5.1残差与残差图,一、残差概念与残差图,*y观测值的方差并非相同，随x增加而增加.【消除异方差】,5.1残差与残差图,一、残差概念与残差图,*y与x之间并非线性关系.可能y与x是曲线关系可能y存在自相关,5.1残差与残差图,一、残差概念与残差图,*蛛网现象(y具有自相关),5.2残差的性质,一、残差的性质,性质1E(ei)=0,证明:,5.2残差的性质,一、残差的性质,性质2,称为杠杆值,5.2残差的性质,一、残差的性质,性质3.残差满足约束条件:,5.2残差的性质,二、改进的残差,5.3异常值与强影响值,异常值分为两种情况：一种是关于因变量y异常；另一种是关于自变量x异常。,5.3异常值与强影响值,一、关于因变量y的异常值,标准化残差,学生化残差,存在y的异常观测值，普通/标准化/学生化残差都不适用,5.3异常值与强影响值,5.3异常值与强影响值,可以证明：,5.3异常值与强影响值,5.3异常值与强影响值,二、关于自变量x的异常值,回归的杠杆值hii也是表示自变量的第i次观测值与自变量平均值之间距离的远近。杠杆值大的样本点称为强影响点。,5.3异常值与强影响值,二、关于自变量x的异常值,强影响点不一定是y的异常值点，不能单纯根据杠杆值hii的大小判断强影响点是否异常利用Cook距离，来判断强影响点是否为y的异常值点.,5.3异常值与强影响值,5.3异常值与强影响值,三、异常值实例分析,例5.1做异常值的诊断分析。分别计算普通残差ei，学生化残差SREi，删除残差e（i），删除学生化残差SRE（i），杠杆值chii，库克距离Di,5.3异常值与强影响值,5.3异常值与强影响值,5.3异常值与强影响值,RES-残差eDRE-删除残差ZRE-标准化残差SRE学生化残差SREiSDR删除学生化残差SRE(i)COO-库克距离DiiLEV-中心化杠杆值chii,5.3异常值与强影响值,5.3异常值与强影响值,删除第19组数据,5.3异常值与强影响值,学生化删除残差、杠杆值、Cook距离识别异常值采取的措施：1.不能简单的剔除，有时异常观测值是正确的，它说明回归模型的失败，失败的原因可能是遗漏了一个重要变量，或者选择了不正确的回归函数形式.2.如果异常值数据时准确的，但是找不到对它合理的解释，与剔除这个观测值相比，一个更稳健的方法是抑制它的影响.3.最小绝对离差和法是一种稳健估计方法，它具有对异常值和不合适模型不敏感性质.,四、异常值问题补充,5.3异常值与强影响值,最小绝对离差和法,违背基本假设的情况,第六章关于异方差性问题第七章关于自相关性问题第八章关于多重共相关问题,第六章关于异方差性问题,第六章关于异方差性问题,6.1异方差性产生的背景6.2异方差性的诊断6.3异方差问题的建模处理,Gauss-Markov条件,第六章关于异方差性问题,6.1异方差性产生的背景,一、异方差产生的原因例6.1居民收入与消费水平有着密切的关系。用xi表示第i户的收入量,yi表示第i户的消费额,一个简单的消费模型为:yi=0+1xi+i，i=1,2,n收入不同，消费观念和习惯差异，导致消费模型的随机项i具有不同的方差。低收入的家庭购买差异性比较小,高收入的家庭购买行为差异就很大。,6.1异方差性产生的背景,二、异方差性带来的问题当存在异方差时，普通最小二乘估计存在以下问题:(1)参数估计值虽是无偏的,但不是最小方差线性无偏估计;(2)参数的显著性检验失效;(3)回归方程的应用效果极不理想。,6.2异方差性的诊断,一、异方差性的检验（一）残差图分析法,直观、方便的分析法以残差ei为纵坐标，其他适宜变量为横坐标画散点图，横坐标有三种选择：拟合值xi观测时间或序号,6.2异方差性的诊断,一、异方差性的检验（一）残差图分析法,图5.1（b)存在异方差,一般情况下，当回归模型满足所有假定时，残差图上的n个点散布应是随机的，无任何规律；存在异方差时，残差图上的点散布呈现相应的趋势.,6.2异方差性的诊断,一、异方差性的检验（二）等级相关系数法等级相关系数检验法又称斯皮尔曼(Spearman)检验,是一种应用较广泛的方法。这种检验方法既可用于大样本,也可用于小样本。进行等级相关系数检验通常有三个步骤。第一步,作y关于x的普通最小二乘回归,求出ei的估计值,即ei的值。,6.2异方差性的诊断,（二）等级相关系数法第二步,取ei的绝对值,分别把xi和|ei|按递增（或递减）的次序分成等级,按下式计算出等级相关系数:,其中,n为样本容量,di为对应于xi和|ei|的等级的差数。,6.2异方差性的诊断,（二）等级相关系数法第三步,做等级相