ch07相关与回归分析

Ch7相关与回归分析,统计学原理,7.1相关与回归的基本概念7.2相关分析7.3一元线性回归分析7.4多元线性回归分析(new)7.5回归诊断与残差分析(new),主要介绍：相关分析，回归技术，回归诊断方法。,Ch7主要内容,Ch7相关与回归分析7.1相关与回归的基本概念7.2相关分析7.3一元线性回归分析7.4多元线性回归分析(new)7.5回归诊断与残差分析(new),Ch7学习目的,1，掌握相关与回归的基本概念2，掌握相关分析技术3，掌握一元线性回归方法4，掌握多元线性回归方法5，掌握回归诊断方法,Ch7相关与回归分析7.1相关与回归的基本概念7.2相关分析7.3一元线性回归分析7.4多元线性回归分析(new)7.5回归诊断与残差分析(new),Ch7相关与回归分析,统计学原理,7.1相关与回归的基本概念7.2相关分析7.3一元线性回归分析7.4多元线性回归分析(new)7.5回归诊断与残差分析(new),7.1相关与回归的基本概念,7.1.1确定性关系与相关关系7.1.2回归函数与经验方程7.1.3相关与回归分析7.1.4相关表与相关图7.1.5相关关系的种类,Ch7相关与回归分析7.1相关与回归的基本概念7.2相关分析7.3一元线性回归分析7.4多元线性回归分析(new)7.5回归诊断与残差分析(new),返回,关系,给定一个X，就可以确定一个Y，Y值随X的值变化。Y(X=Xt)是这两个变量之间的函数表达式。这个函数表达式，对应着一个具体的因果数学定理。,特征是，“2个以上变量的变化方向大致是规则的”，变量Y,X之间的近似规则关系，只是一个经验关系是Y与(X=Xt)的偏差，且总假定E()=0,7.1.1确定性关系与相关关系,Ch7相关与回归分析7.1相关与回归的基本概念,7.1.1确定性关系与相关关系,确定性关系也叫函数关系。Y(X=Xt)，(7.1.1)即只要给定一个X，就可以确定一个Y，Y值随X的值变化，则变量Y,X之间，就是一种确定性的函数关系。Y(X=Xt)是这两个变量之间的函数表达式。这个函数表达式，对应着一个具体的因果数学定理。相关关系也叫统计关系或者经验关系。相关关系的特征是，“2个以上变量的变化方向大致是规则的”，变量Y,X之间的某种近似规则关系，不是一种精确的确定性关系，只是一个经验关系Y(X=Xt)+；(7.1.2)是Y与(X=Xt)的偏差，且总假定E()=0。这种经验关系就是统计相关关系。统计相关关系，常常表现为一种统计定律。统计定律和相关关系，是相关回归分析的主要研究对象。,Ch7相关与回归分析7.1相关与回归的基本概念,返回,7.1.2回归函数与经验方程,存在统计相关关系的变量Y,X之间，有Y(X=Xt)+；(7.1.2)因为，E()=0，所以，E(Y|X=Xt)(Xt)是给定X=Xt条件下Y的期望值，(Xt)就是Y关于X的期望函数。它实际反映的是Y,X之间存在的统计规律。因为统计规律，总是可以在日常的实践过程中，不断回归重现。于是，期望函数，也称为Y关于X的回归方程或回归函数，记为(X=Xt)E(Y|X=Xt)(7.1.3)回归函数的具体表达式，通常也叫经验函数或者经验公式。,Ch7相关与回归分析7.1相关与回归的基本概念,返回,7.1.3相关与回归分析,相关与回归分析：是研究相关关系的一种有力数学工具。它是建立在对客观事物进行大量试验和观察的基础上，在不确定的现象中，寻找隐藏的统计规律性的数理统计方法。具体步骤是：第一步，根据研究的目的，通过观察和实验取得资料。第二步，整理资料。分组编制相关表，以便进行分析。第三步，绘制相关图。把成对的相关资料，绘成散布图或曲线图，从图形中，初步判断变量之间是否存在相关关系，以及相关的基本形式。第四步，相关关系的解析。建立回归方程，计算估计标准误差、相关系数等，以反映变量之间的关系、误差大小及密切程度，并运用数理统计方法，进行检验和评价。,Ch7相关与回归分析7.1相关与回归的基本概念,返回,7.1.4相关表与相关图,相关表与相关图，是研究相关关系的直观工具。一般在进行详细的定量分析之前，可以先利用它们，对现象之间存在的相关方向、形式和密切程度，作大致的判断。相关表，是一种反映变量之间相关关系的统计表。将某一变量，按其取值的大小顺序排列，然后再将与其相关的另一变量的值，对应排列，便可得到简单的相关表。利用相关表，便可得到相关图。相关图又称散布图。它是以直角坐标系的横轴代表变量X，纵轴代表变量Y，将两个变量的值，用坐标点(Xt,Yt)的形式描绘出来，用来反映两变量之间相关关系的图形。,Ch7相关与回归分析7.1相关与回归的基本概念,7.1.4相关表与相关图,【例7-1】利用某国1951-1970年的消费Y和可支配收入X数据，可整理得相关表与相关图。,Ch7相关与回归分析7.1相关与回归的基本概念,返回,7.1.5相关关系的种类,按相关的程度可分为完全相关、不完全相关、不相关按相关的方向可分为正相关、负相关按相关的形式可分为线性相关和非线性相关按所研究的变量的多少可分为单相关、复相关和偏相关,Ch7相关与回归分析7.1相关与回归的基本概念,返回,7.2相关分析,7.2.1相关系数7.2.2相关系数与相关程度7.2.3相关系数的检验7.2.4等级相关系数及其检验,Ch7相关与回归分析7.1相关与回归的基本概念7.2相关分析7.3一元线性回归分析7.4多元线性回归分析(new)7.5回归诊断与残差分析(new),返回,7.2.1相关系数,相关系数也叫单相关系数。它是在线性相关的条件下，用来测定变量Y,X之间相关程度的一个重要指标。通常以表示总体的相关系数，以表示样本的相关系数。存在线性相关的变量总体(Y,X)，定义为(7.2.1)式中：Cov(X,Y)是变量X和Y的协方差，Var(X)和Var(Y)分别是X和Y的方差。对来自总体(Y,X)的n组样本观察值(Yt,Xt)，t=1,2,3,n-1,n，记为(7.2.2)其中SX,Y=Cov(Xt,Yt)是样本(Yt,Xt)的协方差，SX和SY分别是X和Y的样本标准差。样本相关系数，是根据样本观察值计算的。,Ch7相关与回归分析7.2相关分析,7.2.1相关系数,总体值为常数，在很多情况下，是无法直接按定义计算的，只能通过样本相关系数，去估计值。容易证明，样本相关系数，是总体相关系数的一致估计量。可以证明，存在线性相关的变量之间，不论是总体相关系数，还是样本相关系数，均有0|1，0|1。为便于计算，引进如下符号：(7.2.3),Ch7相关与回归分析7.2相关分析,7.2.1相关系数,【例7-2】利用某国1951-1970年的消费Y和可支配收入X数据，计算它们之间的相关系数。解：根据相关系数的公式，有于是,Ch7相关与回归分析7.2相关分析,返回,7.2.2相关系数与相关程度,如果|=1，表明(Y,X)之间是完全线性相关，完全线性相关，是一种精确的线性函数关系；如果|=0，表明(Y,X)之间没有关系或者线性无关；如果0|1，(Y,X)是一种线性统计关系，线性统计关系，是最常见的相关关系；01是正的线性相关；-10是负的线性相关。|值越大，则线性关比较系密切，反之，则线性关系不密切。同理，|=1，表示样本(Yt,Xt)为完全线性相关；=1，表示(Yt,Xt)为完全正线性相关，样本的所有点(Yt,Xt)都在一条直线上；=-1，表示(Yt,Xt)为完全负线性相关，样本的所有点(Yt,Xt)也都在一条直线上；=0，表示样本点(Yt,Xt)在散点图上的分布是杂乱无章的，(Yt,Xt)之间无相关关系；0|t/2，拒绝H0，表示Y,X之间相关显著。,Ch7相关与回归分析7.2相关分析,7.2.3相关系数的检验,F统计量检验作统计假设零假设H0：=0，备择假设H1：0。计算样本相关系数的F值，选择显著性水平，取=1%或者=5%。根据和自由度1,n-2，求F分布的两个临界值F1-/2(1,n-2),F/2(1,n-2)，且F1-/2(1,n-2)F/2(1,n-2)或Ft/2=2.102，所以拒绝H0，表示Y,X之间相关显著。,Ch7相关与回归分析7.2相关分析,返回,7.2.4等级相关系数及其检验,等级相关系数（又称为顺序相关系数）。设有Xt和Yt两个数列，依数量的大小或者品质的优劣，分为1,2,3,n-1,n个等级，以VX,t表示各个Xt的等级数，以VY,t表示各个Yt的等级数，则等级相关系数s为(7.2.6)式中，n是样本容量。该公式可由两个等级变量的相关系数，推导而来。与相关系数类似，s的取值范围为0|s|1。s为正值，存在正的等级相关关系，s取负值，存在负的等级相关。s=1，表明两种现象的等级完全相同，存在完全正相关；s=-1，表明两种现象的等级完全相反，存在完全负相关。,Ch7相关与回归分析7.2相关分析,非参数相关分析。多做定性研究。,7.2.4等级相关系数及其检验,等级相关系数检验。当样本容量n20时，可利用以下的t统计量，进行s的检验(7.2.7)当总体等级相关系数s=0时，可以证明：t统计量服从自由度为n-2的t分布。在给定显著性水平下，如果|t|t/2(n-2)，接受H0，表示Y,X之间相关不显著；若|t|t/2(n-2)，拒绝H0，表示Y,X之间相关显著。同样也可以参照样本相关系数的检验方法，构造新的统计量t2去进行F检验，或者直接查相关系数表检验。,Ch7相关与回归分析7.2相关分析,7.2.4等级相关系数及其检验,【例7-4】某校对学生某专业课程的复习时间和考试成绩进行调查。抽查10同学的有关数据如下表。计算复习时间与考试成绩的相关系数和等级相关系数。根据以上结果，能否得出复习时间越长考试成绩越高的结论。解：,Ch7相关与回归分析7.2相关分析,7.2.4等级相关系数及其检验,解：首先对复习时间X与考试成绩Y按从小到大的顺序确定等级。对于Xt或者Yt相同的，取其应得等级的平均数。其次，计算相关系数。根据公式，得=0.587，t=2.05。在=5%、自由度=n-2=8条件下，得t/2(n-2)=2.306。因为|t|=2.05t/2(n-2)=2.306，表示Y,X之间相关不显著，难以判断复习时间X与考试成绩Y之间存在显著的线性关系。最后，计算等级相关系数s。根据公式，得s=0.9848，ts=16.04。在=5%、自由度=n-2=8条件下，得t/2(n-2)=2.306。因为|ts|=16.04t/2(n-2)=2.306，表示Y,X之间相关显著，存在复习时间越长考试成绩越高的现象。,Ch7相关与回归分析7.2相关分析,返回,7.3一元线性回归分析,7.3.1标准的一元线性回归模型7.3.2一元线性回归模型的估计7.3.3一元线性回归模型的检验7.3.4误差项t的自相关检验7.3.5一元线性回归模型的预测,Ch7相关与回归分析7.1相关与回归的基本概念7.2相关分析7.3一元线性回归分析7.4多元线性回归分析(new)7.5回归诊断与残差分析(new),返回,7.3.1标准的一元线性回归模型,总体回归函数设因变量为Y，自变量为X；若Y的数学期望存在，且服从如下的分布YN(1+2X,2)(7.3.1)式中1，2和2是不依赖于X的未知参数。则方程Y=1+2X+u;uN(0，2)(7.3.2)就称为一元线性回归模型（或称为相关方程）。其中，是随机误差项，E()=0。又由于Y的数学期望是X的函数，E(YX)=1+2X(7.3.3)Y的取值主要由X的取值决定，因此，E(YX)是一个关于X的回归期望，它从平均意义上表达了Y与X的统计规律性，于是，E(YX)也可以作为Y的估计，故X=1+2X(7.3.4)称为总体一元回归估计方程或者回归估计函数，1，2是这个回归方程中的回归系数，其图形表现为一条直线。,Ch7相关与回归分析7.3一元线性回归分析,7.3.1标准的一元线性回归模型,误差项的标准假定误差项的期望值恒为零，即E(tXt)=0(7.3.5)误差项的方差是同观察时点t无关的常数，即Var(tXt)=E(t2Xt)=2(7.3.6)时点不同的误差项之间不相关，即Cov(t,s)=E(ts)=0;ts(7.3.7)t的概率分布与1，2和X无关。X是给定的变量（确定变量），即X,不是有统计从属关系的随机变量。Cov(Xt,t)=E(Xtt)=0(7.3.8)t服从正态分布，即tN(0，2)(7.3.9)以上假定最早是由德国数学家高斯提出来的，也称为高斯假定或者标准假定。,Ch7相关与回归分析7.3一元线性回归分析,7.3.1标准的一元线性回归模型,满足以上假定的一元线性回归模型，称为标准的一元线性回归模型。满足假定的一元线性回归模型，称为标准线性正态回归模型。应当指出的是，在现实的情况是由于种种原因，以上假定常常不能得到满足。其最一般的模型及回归函数为Y=1+2X+u,X=E(YX)=1+2X(7.3.10)u为随机误差项，E(u)=0,E(2)=2，Y与u同分布，且均为非正态分布，我们以下的讨论均以(7.3.10)式为基础，其余变量的解释如前。,Ch7相关与回归分析7.3一元线性回归分析,7.3.1标准的一元线性回归模型,样本回归函数，就是根据样本资料(Yt,Xt)，对总体回归函数进行拟合的估计函数。由于样本(Yt,Xt)来源于总体(Y,X)，因此，样本回归线与总体回归线，有相同的函数形式。由样本关系方程(7.3.11)有样本回归函数(7.3.12)式中，Yt和Xt分别是Y和X的第t次观察值；t为样本回归线上与Xt相对应的值，它是对E(YtXt)的估计；为样本回归系数，是对总体回归系数的1，2的估计；t=Ytt是实际观察值与样本估计值之差，亦称残差，是一个可计算的量；n为样本容量；是对2的估计。样本回归函数是总体回归函数的近似反映。回归分析的主要任务，就是充分利用样本的信息，采用适当的方法，使得样本回归函数，尽可能接近真实的总体回归函数。,Ch7相关与回归分析7.3一元线性回归分析,返回,7.3.2一元线性回归模型的估计,回归系数的估计最小二乘法，简记为OLS法。它的准则是使t的平方和最小，即(7.3.15)由极值条件，有联立方程(7.3.16)整理得正规方程组(7.3.17),Ch7相关与回归分析7.3一元线性回归分析,7.3.2一元线性回归模型的估计,回归系数的估计（续）求解正规方程组，得(7.3.18)利用(7.2.3)式，则最小二乘估计量，又可简写为(7.3.19),Ch7相关与回归分析7.3一元线性回归分析,7.3.2一元线性回归模型的估计,【例7-5】利用某国1951-1970年的消费Y和可支配收入X数据，建立消费对可支配收入的回归估计方程。解：因为消费Y和可支配收入X之间是显著线性相关，所以，可以建立Y,X之间的一元回归估计模型Y=1+2X+u,X=E(YX)=1+2X根据最小二乘估计方法，得回归估计方程X=5.168775+0.900324X，S=3.174108481,2=0.9993781(2.205544043)(0.005293811)d=1.225513,Ch7相关与回归分析7.3一元线性回归分析,7.3.2一元线性回归模型的估计,最小二乘估计量的性质可以证明，在高斯假定能够得到满足的条件下，(7.3.20)其方差(7.3.21)回归系数的最小二乘估计量，是最优的线性无偏估计量和一致估计量。以上性质，在文献中被称为高斯马尔可夫定理。该定理表明，在高斯假定条件下，最小二乘估计量，是一种最佳的估计方式。,Ch7相关与回归分析7.3一元线性回归分析,7.3.2一元线性回归模型的估计,随机误差项的方差估计数学上可以证明，2的无偏估计S2可由下式给出：(7.3.23)在一元线性回归模型中，残差t必须满足1，2最小二乘估计要求所导出的两个约束条件：(7.3.24)因而失去了2个自由度，所以，残差t的自由度为n-2。S越小，表明实际观测点与所拟的样本回归线的离差程度越小，即回归线具有较强的代表性；反之，S越大，表明实际观测点与所拟合的样本回归的离差程度越大，即回归线的代表性较差。因此，S又叫做回归估计的标准误差。,Ch7相关与回归分析7.3一元线性回归分析,7.3.2一元线性回归模型的估计,【例7-6】利用例7-2、例7-5的有关数据，计算其消费对可支配收入回归估计方程的回归估计标准误差。解：已知n=20,(Y)=7206.3,(Y2)=2888129,(XY)=3166305,(2)=(Y2)-5.168775(Y)-0.900324(XY)=2888129-5.1687757206.3-0.9003243166305=181.3493637S2=(2)/(n-2)=181.3493637/18=10.07496465S=3.174108481LXX=359506.4,(X)=7889.3,(X)/n=394.465另外可计算回归系数1，2估计值的标准差分别为(2.205544043)和(0.005293811)。上述结果如果用Excel软件计算将更为简单。,Ch7相关与回归分析7.3一元线性回归分析,返回,7.3.3一元线性回归模型的检验,回归模型检验的种类包括理论意义检验、一级检验和二级检验。理论意义检验，主要涉及参数估计值的符号和取值区间，如果它们与实质性科学的理论及其人们的经验不相符，就说明模型不能很好地解释现实的现象。一级检验，又称为统计学检验，它是利用统计学的抽样理论，来检验回归方程的可靠性，具体可分为拟合程度评价和显著性检验。一级检验，是所有回归分析必须通过的检验。二级检验，又称为经济计量学检验，它是对标准线性回归模型中的高斯假定条件能否满足，进行检验，具体包括序列相关、异方差性检验等。,Ch7相关与回归分析7.3一元线性回归分析,7.3.3一元线性回归模型的检验,由于(7.3.30)LYY是实际观察值与其样本均值的总的离差平方和，SSR是由回归直线解释的那部分离差平方和，称为回归平方和，SSE是残差平方和，是用回归直线无法解释的部分离差平方和。公式两端同除以LYY，则(7.3.31)显然，各个样本观察值与样本回归线靠得愈近，SSR在LYY中的比例就越大。因此，可定义这一比例为可决系数(7.3.32),Ch7相关与回归分析7.3一元线性回归分析,7.3.3一元线性回归模型的检验,可决系数2，是对回归模型拟合程度的综合度量指标，2越大，模型拟合程度越高；2越小，模型拟合程度越差。可决系数2具有如下性质：021；当样本观察值(Yt,Xt)都处于回归直线上时，SSE=0，2=1；当观察值(Yt,Xt)并不全部处于回归直线上时，SSE0，02t/2，拒绝零假设H0，表示Y,X之间相关显著。对一元线性回归模型，利用(7.3.18)，有(7.3.36)可以证明：检验H0：2=0等价于检验H0：=0，如果检验认为20，就意味着0，即认为X对Y的解释作用是真实的。由于tt(n-2)，可以证明，t2=FF(1,n-2)，于是在一元线性回归模型中，对2的t检验和对LYY的解释平方和做F检验也是完全等效的。,Ch7相关与回归分析7.3一元线性回归分析,返回,7.3.4误差项t的自相关检验,自相关或称序列相关：如果误差项之间存在相关关系，Cov(t,s)=E(ts)0;ts;ts(7.3.37)则称这种现象为误差项t的自相关或称序列相关。如果进一步有t=et-1+t;tN(0,2);且E(ts)=0;ts;ts。(7.3.38)其中-1e0;ts；如果散布图有一种异号残差相随的倾向，就表明存在负相关E(ts)0;t0，则记为“+”，若残差t|t|。,Ch7相关与回归分析7.3一元线性回归分析,7.3.4误差项t的自相关检验,为了进一步判定在各种情况下，是否存在正的或负的自相关的问题，Durbin-Waston对任意的样本容量n和多达5个解释变量的情形，给出了d的分布及d的两个值dL（下界）和dU（上界）。如果d值落在0,dL范围内，则认为存在正自相关；如果d值落入dU,4-dU范围内，则认为存在负自相关；而当d落入dU,4-dU范围内时，则认定不存在自相关；但当d落入dL,dU或者4-dL,4-dU范围内时，则不能认定是否存在自相关。,Ch7相关与回归分析7.3一元线性回归分析,7.3.4误差项t的自相关检验,D-W双侧检验的具体步骤：作统计假设H0：e=0，H1：e0。计算样本残差t，计算(7.3.41)式d统计量。选择显著性水平，取=1%或者=5%。根据，查d统计量表求临界值dL/2，dU/2，若d4-dU/2，拒绝H0选择H1存在自相关；若dU/2d4-dU/2，则接受H0，表示不存在自相关；如果dL/2ddU/2，或者4-dL/20，记符号为“+”，若t0，记符号为“”，则一个残差序列t,t=1,2,3,n可获得一个符号序列，连续同号的点称为一个游程或者一个连窜，一个游程中符号的个数叫做游程的长度。利用游程的个数及游程的长度，可以检查数据是否有周期性变化或者明显的倾向。如果游程的随机检验不能通过，则有理由怀疑数据和模型有问题。有关符号检验的方法参见第六章。,Ch7相关与回归分析7.5回归诊断与残差分析(new),7.5.1残差分析,检查回归模型是否合适。记e=Y，由(7.4.3)式，如果X和Y之间有线性关系，则Y=X+u;uN(0，2I)(7.5.3)=X=X(XX)-1XY=HY(7.5.4)其中H=X(XX)-1X，于是有e=Y=(IH)Y=(IH)u，(7.5.5)此处应用了(IH)X=0，则有E(e)=0，Cov(e,e)=2(IH)，Cov(,e)=0，(7.5.6)如果X和Y之间有非线性关系，则有Cov(,e)0，(7.5.7)e与相关。编制以t=Ytt作为纵坐标、以t为横坐标的残差图并观察之。如果残差图出现一段全为负（或正），紧接着一段全为正（或负），然后又接着一段全为负（或正）的现象；则说明回归模型选择不当，应改用非线性模型去拟合它。,Ch7相关与回归分析7.5回归诊断与残差分析(new),7.5.1残差分析,异方差性的检验所谓的异方差性，是指E(u2)2I，而是E(u2)=2a2(t)，其中a2(t)是随序号t变化的正数。由于在E(u2)=2I条件下，有Cov(e,e)=2(IH)，Cov(,e)=0；于是如果E(u)2I，则Cov(e,e)2(IH)；且Cov(,e)0，(7.5.8)编制以t2作为纵坐标、以t为横坐标的残差图并观察之。如果t2和t之间出现有规则的或者系统性的类型，而且这种有规则的或者系统性的类型，又是可以通过数据变换消除掉的，则表明模型有异方差性存在。误差项t的序列相关检验在回归模型中，通常假定t是相互独立的，但如果变量数列特别是时间数列，不满足独立性这一要求，则误差项之间可能存在相关关系，这种现象称为误差项t的自相关或称序列相关。自相关最简单的情形是一阶自回归过程t=et-1+t(7.5.9)其中-10为正的自相关，e0为负的自相关；而新的误差项t符合高斯假设，即E(t)=0，E(t2)=2I，且E(ts)=0;ts。关于误差项的序列相关检验，参见本章第三节。,Ch7相关与回归分析7.5回归诊断与残差分析(new),返回,7.5.2异方差性的补救措施,异方差性并不破坏OLSE的无偏性和一致性，但估计不是有效的或者渐近有效的。由于缺乏有效性，使得通常的假设检验不太可靠。补救的方法分为两类：当E(u2)=2a2(t)为已知时，设异方差线性回归模型为Y=X+u,E(u2)=2a2(t)=2t(7.5.10)由于E(u2)=2t已知，用t去除(7.5.10)式的两端，有(7.5.11)在这个新的模型中，误差项u/t满足高斯假定，因此可利用OLSE对去进行有效估计。如果E(u2)=2a2(t)=2t为未知时，可对2t进行一些合理的假定，将原来的模型变换成能满足同方差性假定的模型。通常的做法是设E(u2)=2t=2XI(7.5.12)或者E(u2)=2t=2XXI(7.5.13)或者E(u2)=2t=2E(Y)=2(X)(7.5.14)用t去除(7.5.10)式的两端，也可以得(7.5.11)式，再利用OLSE，可求得的有效估计。在2t为未知时的另一种做法是，不对Y=X+u进行估计，而对lnY=lnX+u(7.5.15)进行回归。这种方法叫对数变换。对数变换可以降低异方差性的程度。,Ch7相关与回归分析7.5回归诊断与残差分析(new),返回,7.5.3序列相关的补救措施,出现序列相关，OLSE不再是有效的。因此，必须寻求补救的办法。补救的方法也分为两类：序列相关的结构为已知时序列相关的结构为未知时,Ch7相关与回归分析7.5回归诊断与残差分析(new),7.5.3序列相关的补救措施,序列相关的结构为已知时：如设序列相关的结构为(7.5.9)式，且e为已知。因为在时间t内可以有Yt=Xt+ut(7.5.16)于是在时间t-1内也有Yt-1=Xt-1+ut-1(7.5.17)用e去乘(7.5.17)式的两端，有eYt-1=eXt-1+eut-1(7.5.18)(7.5.16)式减(7.5.18)式，有Yt-eYt-1=(Xt-eXt-1)+t(7.5.20)由于t满足OLSE假定，所以可用OLSE方法对(7.5.20)式进行估计。回归方程(7.5.20)式称为广义差分方程。它是一个差分形式的Y对X的回归。特别地，如果e=1，可得到一阶差分算子方程Yt-Yt-1=(Xt-Xt-1)+tYt=Xt+t(7.5.21)如果e=-1，则得到2期移动平均回归模型Yt+Yt-1=(Xt+Xt-1)+t(7.5.22)即(7.5.23)它是一个移动平均数对另一个移动平均数的回归。,Ch7相关与回归分析7.5回归诊断与残差分析(new),7.5.3序列相关的补救措施,序列相关的结构为已知时：如设序列相关的结构为(7.5.9)式，且e为未知。此时e的值需要估计猜测。传统的做法是，先利用Y对X进行回归，计算出第一次的回归残差et=Ytt，然后进行Durbin-Waston检验，再利用d和e的近似关系(7.5.25)求得e的估计值e，做Y*t=Yt-eYt-1和X*t=Xt-eXt-1变换，再以Y*和X*做OLSE回归，Yt-eYt-1=(