残差分析--数据分析.ppt

2.3 残差分析,前面讨论的是线性回归模型的参数估计和有关的统计推断，这些讨论都是在对模型作了一定的假设进行的，其中最重要的是回归关系的线性假设，误差项的独立同正态分布假设。当给定了一批数据后，如何考察这些数据满足假设是回归分析的一个重要环节。,这些假设涉及到误差项，而误差是不可测的，我们能够使用的是其估计量残差。,2.3.1 误差项的正态性检验,一、学生化残差,从误差的估计值（残差）出发分析关于误差项假定的合理性以及线性回归关系的假定的可行性称为残差分析。,假设误差向量,则残差向量,其中H是n阶对称幂等矩阵,故,其中,是H主对角线的第i个元素，称为杠杆量。,由于残差的方差和杠杆量有关，故一般情况下，残差的方差不相等，这不利于残差的应用，因此我们将残差标准化。,称为学生化残差，当n较大时，可认为其服从标准正态分布。这是检验误差项独立同正态分布的基础。,二、残差正态性的频率检验,残差正态性的频率检验是一种很直观的检验方法，其基本思想是学生化残差落入一些范围的频率与标准正态分布在相应范围内的概率做比较，若二者相差较大，则认为残差（从而模型误差）不服从正态分布。,在实际应用中，一般取几个具有代表性的区间进行比较。例如（-1，1）（1.5，1.5）（2，2）,服从标准正态分布的随机变量取值在（-1，1）内的概率为0.68；在(-1.5,1.5)内的概率为0.87；在（-2，2）内为0.95，因此若模型误差项独立同正态分布，则当n较大时，学生化残差中应大约有68%的点落在在（-1，1）内；大约有87%在(-1.5,1.5)内，大约95%在（-2，2）内。,若在某个区间内差异较大，则有理由怀疑误差独立同正态分布的假设的合理性。,三、残差的正态qq图检验,（1）学生化残差正态qq图做法,则所得的散点图即为学生化残差的正态qq图，利用正态qq图可以直观检验误差正态性假设的合理性,（2）相关系数检验。,除了上述直观检验外，我们还可以构造两者的相关系数来度量二者之间线性关系的强弱。其相关系数估计为,通过考察不同类型残差图可以对误差项分布的正态性，等方差性以及回归关系的线性性等假定的合理性作出直观检测，还可以对回归方程是否有必要引进自变量的高次项、交叉项等提供参考。,2.3.2 残差图的分析,残差图是以残差为纵坐标，以其他有关量为横坐标的散点图。,（1）以因变量Y的拟合值为横坐标的散点图。,若线性回归关系正确且误差服从正态分布，则因变量的拟合值与残差向量相互独立。这时残差图中的点应大致在一个水平的带状区域内，没有任何明显地趋势，如下图：,（2）以自变量观测值为横坐标的散点图。,（3）以观测时间或观测值序号横坐标的散点图。,还可以用以下坐标做残差图，两种残差图原理与上一个相同,通过残差分析可以发现所给数据的某些特点和模型 假定的一些不足之处，接下来的问题就是要采取相应的 措施改进其不足，以建立更好的回归模型。,一个常用的改进措施就是Box-Cox变换，它通过 对因变量Y做适当变换，使原数据尽可能满足线性回归 模型的条件。,2.3.2 Box-Cox变换,Box-Cox变换对因变量Y做如下变换：,也就是说，我们通过因变量的变换，使得变换后 因变量与自变量有线性相关关系，且满足误差项的 假设。,回归方程的选取包括回归方程类型的选取和回归 方程类型确定后自变量的选取。我们主要讨论自变量 的选取,人们在建立线性回归模型时，会考虑用全部可能 的自变量建立回归方程，这样做的问题有 ：,2.4 回归方程的选取,（1）会将一些对因变量影响很小甚至根本无影响 的自变量也包含在回归方程中，从而使计算量增加， 并会导致回归参数估计和因变量预测值的精度下降。,（2）自变量太多不利于应用回归方程对实际问题 做出合理的解释，也会造成数据收集和模型应用 代价的不必要的增大。,因此在实际应用中，从与因变量有线形关系的 自变量集合中，选取一个最优的子集，以建立一个 合理而又简单的回归方程十分重要。,一，穷举法,穷举法就是从与因变量有线性关系的所有可能 自变量的所有子集所拟合的回归方程中，按照一定 的准则选取最优的一个或几个。,下面是sas提供选择的几个穷举法的选取准则,(1) 复相关系数准则,P是回归系数的个数,(2) 修正的复相关系数准则,(3) Cp准则,二，逐步回归法,穷举法从理论上讲是选择回归方程最好的方法， 但是，穷举法所拟合的方程个数随自变量数目的增加 而成倍增加。其计算量非常大。,逐步回归法的基本思想是依次拟合一系列回归方程， 后一个回归方程是在前一个的基础上增加或删除一个 自变量，其增加和删除的原则是用残差平方和的相对 减少或增加量来衡量。,偏F统计量：,若某个自变量对因变量影响显著,则其偏F统计量 不应太小.,Sas常用的检验准则:,(1)前向选择法,从仅含常数项的回归模型开始,逐个加入自变量 其准则是将反应各自变量加入时,描述残差平方和 减少量的偏F统计量的p值与给定的控制水平相比较.,若所有不在模型中的自变量所对应的统计量p值 均大于给定控制水平(影响均不显著).则选择结束. 否则将具有最大偏F值的自变量引入模型.然后重复 上述过程,(2)后向选择法,首先拟合一个包含所有自变量的线性回归模型, 然后根据偏F统计量的p值与给定的控制水平相