专题二__古典线性回归模型的扩展.ppt

高级计量经济学,专题二 古典线性模型的扩展,黄炳艺 厦门大学管理学院会计系,专题二 古典线性模型的扩展,第一章 多重共线性,3,第一节 多重共线性的概述,一、多重共线性的概念 对于模型 yi=0+1x1i+2x2i+kxki+i （i=1,2,n） 其基本假设之一是解释变量是互相独立的。 如果某两个或多个解释变量之间出现了相关性，则称为多重共线性（multicollinearity） 如果存在 c1x1i+c2x2i+ckxki=0 i=1,2,n 其中: ci不全为0，则称为解释变量间存在完全多重共线性（perfect multicollinearity）。 如果存在 c1x1i+c2x2i+ckxki +vi=0 =0 i=1,2,n 其中ci不全为0，vi为随机误差项，则称为不完全多重共线性 或称近似共线性（approximate multicollinearity）,4,在矩阵表示的线性回归模型 y=x+ 中，完全共线性指：秩(x)k+1，即,中，至少有一列向量可由其他列向量（不包括第一列）线性表 如：x2= x1，则x2对y的作用可由x1代替。,5,二、多重共线性的来源： 1、解释变量受同一因素的影响，如经济发展、政治事件、时间趋势等 2、经济变量之间的内在联系 3、解释变量中含有当期和滞后变量。 在经济计量模型中，往往需要引入滞后经济变量来反映真实的经济关系。例如，消费=f(当期收入, 前期收入） 显然，两期收入间有较强的线性相关性。,6,一、完全多重共线性 以两个解释变量的回归模型为例，假定回归模型为：,如果采用ols估计，则有：,根据最小平方和原则，并求解正规方程组，可得到：,第二节 多重共线性的影响,7,如果x2与x3存在完全共线性，即 ,则：,8,因此，存在完全共线性时，不能利用ols估计参数，参数的方差变为无限大。,9,二、不完全多重共线性 假定x2，x3 间存在不完全多重共线性， 以离差形式表示为： 。其中vi为随机项。则:,10,11,多重共线性的影响:,（1）参数估计值的方差增大，估计量的精度大大降低。影响预测结果（准确度和置信区间）。 （2）参数估计值的标准差增大，使的 t 检验值变小，增大了接受h0，舍弃对因变量有显著影响的变量。 （3）尽管t 检验不显著，但是r2仍可能非常高。 （4）ols估计量对观测值的轻微变化相当敏感。,显然，当解释变量x2、x3 之间的相关系数 r23 的绝对值越大，共线性程度就越高，参数估计值的方差就越大，越不准确，且随着相关系数的增大，方差以更大的幅度增加。,12,多重共线性检验的任务是： （1）检验多重共线性是否存在； （2）估计多重共线性的范围，即判断哪些变量之间存在共线性。 1根据回归结果判别 判别是否存在多重共线性的最简单方法是分析回归结果。 如果发现: 系数估计值的符号不对； 某些重要的解释变量t值低，而r2不低； 当一不太重要的解释变量被删除后，回归结果显著变化。 则可能存在多重共线性。其中上述第二种现象是多重共线性存在的典型迹象。 方法简便易行，因而是实践中最常用的方法，缺点是无法确诊。,第三节 多重共线性的检验,13,2使用相关矩阵检验 统计软件一般提供各解释变量两两之间的相关系数矩阵，如发现某些相关系数高（绝对值高于0.8或0.90），则表明多重共线性存在。但即使解释变量两两之间的相关系数都低，也不能排除存在多重共线性的可能性。 3通过条件指数检验 条件（病态）数（condition number）和条件（病态）指数（condition index）分别是xx矩阵的最大和最小特征根之比的及其平方根，条件指数高，表明存在多重共线性。至于什么程度算高，也没有一个绝对的标准。通常认为大于10即存在多重共线性，大于30表明存在严重多重共线性。,14,4、f检验 可以采用辅助回归的方法，分别以k-1个解释变量中的第i个对其他变量进行回归，可得到k-2个回归方程的判定系数：r22，r32，rk2。假定这些判定系数中rj2最大且接近1，则变量xj 与其他解释变量中的一个或多个有较高相关程度，因此回归方程出现高度多重共线性。 可以进行f检验确定其显著性：,选择显著水平 ，计算f 统计量的值，与f分布表中的临界值进行比较，若f检验值小于临界值，则多重共线性不显著，反之，则多重共线性显著。,15,5. 使用vif检验 vif是方差膨胀因子的英文 (variance inflation factors) 缩写, 这是一种比较正规的检验方法。该方法通过检查指定的解释变量能够被回归方程中其它全部解释变量所解释的程度来检测多重共线性。 方程中每个解释变量有一个vif，该vif是关于多重共线性使相应的系数估计值的方差增大了多少的一个估计值。高vif表明多重共线性增大了系数估计值的方差，从而产生一个减小了的t值。,16,vif检验的具体步骤如下： 设原方程为： y = 1 + 2x2 + 3x3 + + kxk + u 我们需要计算k个不同的vif，每个xi一个。为指定xi计算vif涉及以下三步： （1）xi 对原方程中其它全部解释变量进行ols回归，例如，若i =2，则回归下面的方程： x2 = 1 + 2x3 + + k-1xk +v （2）计算方差膨胀因子(vif)： 其中ri2是第一步辅助回归的决定系数。,17,（3）分析多重共线性的程度 vif越高, 多重共线性的影响越严重。 由于没有vif临界值表，我们只能使用经验法则： 若 ，则存在严重多重共线性。 6、容忍度（tolerance） 与vif等价的指标，其定义为： 显然， ；当 与其他解释变量高度相关时， 。因此，一般当 时，认为存在较严重的多重共线性。,18,第四节 多重共线性的处理,如果发现变量之间存在高度得多重共线性，就必须消除这种多重共线性的影响，保证模型的正确性和估计的有效性。有以下几种解决方法。 一、样本的处理 1、增加样本容量 如果多重共线性是由样本引起，增加样本容量可以减少多重共线性的程度。以二元线性回归方程为例，根据第二节的结果，参数估计值的方差为：,当样本容量增大时， 增大，方差将减小，可以提高参数估计的精度。,19,2、横截面数据与时间序列数据并用 如果时间序列数据中，解释变量间存在高度相关，可以先使用横截面数据估计出存在高度相关解释变量中的一个或多个，然后再在时间序列数据中剔除这些变量，在消除多重共线性影响下估计因变量与剩余变量间的回归式。,例如，为了估计汽车需求的价格弹性和收入弹性，得到销售量、平均价格、消费者收入的时间序列数据。设定回归式：,新的回归式中消除了多重共线性的影响。,由于在时间序列数据中价格pt、收入it 一般都具有高度共线的趋势。因此，直接估计上面的回归式将存在问题。由于在同一时点上，价格与收入的相关程度不高，可以先利用截面数据估计出收入弹性 ，再利用这一估计结果修改原回归式，变为：,20,二、模型的处理,如果作为解释变量的某些经济变量间出现高度相关，而进行回归分析的目的是为了预测，不是研究单个经济变量对因变量的影响时，可以根据实际问题，改变模型模型的形式。,如果时间序列数据中，解释变量间存在高度相关，那么这些变量的差分之间不一定相关。因此利用差分进行回归能降低多重共线性的程度。,21,三、解释变量的处理,1、除去不重要的变量 把回归模型中引起多重共线性，而对因变量的影响不大的变量删除。（但是变量的剔除可能导致模型的设定偏误） 2、解释变量加工 3、主成分回归: 可将共线性变量组合在一起形成一个综合指数(变量)，用它来代表这组变量。构造综合指数的最常用方法是主成分法。,22,主成分的特点是，各主成分之间互不相关，并且，用很少几个主成分就可以解释全部x变量的绝大部分方差，因而在出现多重共线性时，可以用主成分替代原有解释变量进行回归计算，然后再将所得到的系数还原成原模型中的参数估计值。 4、逐步回归法 以y为被解释变量，逐个引入解释变量，构成回归模型，进行模型估计。根据拟合优度的变化（或其他标准）决定新引入的变量是否独立。 如果拟合优度变化显著，则说明新引入的变量是一个独立解释变量； 如果拟合优度变化很不显著，则说明新引入的变量与其它变量之间存在共线性关系。,23,筛选变量方法： 1、向前回归法（forward）：该法将先比较选择其中最好的一个自变量纳入回归方程，然后再选择另一个最好的加人回归方程，直至所有符合标准的变量全部进入回归模型。 2、向后回归法（backward）：该法将所有变量一次纳入回归方程，然后根据标准删除一个最不显著变量，再做一次回归判断其余变量的取舍，直至保留变量都达到要求。 3、逐步回归（stepwise）：结合向前回归法和向后回归法。,24,引入自变量的显著性水平1 剔除自变量的显著性水平2,对不在方程中的 自变量能否引入？,引入自变量,对已在方程中的 自变量能否剔除？,剔除自变量,筛选结束,能,否,能,否,逐步回归的基本步骤,25,四、案例中国粮食生产函数,根据理论和经验分析，影响粮食生产（y）的主要因素有：农业化肥施用量（x1）、粮食播种面积(x2)、成灾面积(x3)、农业机械总动力(x4)、农业劳动力(x5) 已知中国粮食生产的相关数据，建立中国粮食生产函数： y=0+1 x1 +2 x2 +3 x3 +4 x4 +4 x5 +,26,27,28,29,30,31,32,专题二 古典线性模型的扩展,第二章 异方差,34,一. 异方差性 yi = 0 + 1 x1i + 2x2i + + k xki + i i =1, 2, 3,n y1 = 0 + 1 x11 + 2x21 + + k xk1 + 1 y2 = 0 + 1 x12 + 2x22 + + k xk2 + 2 y3 = 0 + 1 x13 + 2x23 + + k xk3 + 3 yn = 0 + 1 x1n + 2x2n + + k xkn + n 同方差性 d(i) = e(i2) = 2 for i =1, 2, 3,n 对于不同的样本点，随机误差项的离散程度相同,第一节 异方差性及其产生原因,35,随机误差项的分布曲线,prf: yi = 0 + 1 xi + i e(yi) = 0 + 1 xi , i = yi - e (yi) = yi (0 + 1 xi) xi 为设定值, i和yi 分布相同 d(yi) = d(i),xi , yi (i) 的分布曲线形状相同 d(i) = 2,36,yi,xi,x1 x2 x3,e(yi) = 0 + 1 xi,xi , yi (i)围绕prf均匀散布,37,x d(i)=i2,x1,x2,x3,38,yi,xi,x1 x2 x3,prf: e(yi) = 0 + 1 xi,39,二、产生异方差性的原因 （1）模型中遗漏了某些重要的解释变量 （2）模型函数形式的设定误差 （3）截面数据中总体各单位的差异。 使用截面数据估计模型时，在不同样本点上（解释变量以外）其它因素影响的差异较大，比时间序列数据更易产生异方差性,40,三、 异方差性的影响,41,第二节 异方差性的检验,由于异方差性就是相对于不同的解释变量观测值，随机误差项具有不同的方差。那么：检验异方差性，也就是检验随机误差项的方差与解释变量观测值之间的相关性及其相关的“形式”。 一、图示法 由于在存在异方差的情况下，随机项ui 的方差与解释变量的取值有关，因此可以画出因变量y与解释变量x的散点图，或同方差假定下以ols估计得到的残差平方与x或y(多变量模型中)的散点图，据此对异方差做出直观的近似判断。,43,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,43,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,44,二、帕克（park）检验,45,三、格兰奇（glejser）检验,46,如果回归结果表明异方差与多个变量有关，可以引入多个变量进行回归，并进行检验。 格兰奇（glejser）检验的优点在于，在检验异方差的同时，可以得到异方差形式的信息（与解释变量的关系），在后续分析中据此处理样本数据和回归模型，以得到blue估计。,g-q检验适用于大样本、随机项的方差与某一解释变量存在正相关的情况。检验的前提条件是：随机项服从正态分布；无序列相关。步骤：,三、戈德菲尔德匡特（goldfied-quandt）检验,47,48,如果同方差，则 f 1 ；如果存在以方差性，根据正相关的假设，f1。f越大（超过临界值），说明存在以方差性的可能性就越大。,49,四、breusch-pagan检验,50,注：只有能够识别zs时，才能够使用bp检验,51,f(2),95% 接受域,20.05,5%拒绝域,0,2,2分布,52,五、 怀特（white）检验,53,54,1 arch 过程 设arch 过程为 为arch过程的阶数,并且 为随机误差。 2 检验的基本思想 在时间序列数据中，可认为存在的异方差性为arch过程，并通过检验这一过程是否成立去判断时间序列是否存在异方差。,六、arch检验,55,3.1.提出原假设 3.2.参数估计并计算 对原模型作ols估计，求出残差 ，并计算 残差平方序列 ，以分别作为对 的估计。,3 arch 检验的基本步骤,56,3.3.求辅助回归 3.4.检验 计算辅助回归的可决系数 与 的乘积 。在 成立时，基于大样本， 渐进服从 分布。 给定显著性水平 ，查 分布表得临界值 ，如果 ，则拒绝原假 设，表明模型中得随机误差存在异方差。,57,4 检验的特点 变量的样本值为大样本 数据是时间序列数据 只能判断模型中是否存在异方差，而不能诊断出哪一个变量引起的异方差。,58,如果检验证明存在随机误差项存在异方差性，首先分析模型中是否遗漏重要解释变量，或者模型函数形式是否合适；然后再考虑使用以下方法消除异方差性的不利影响： 原理：通过模型转换，使随机误差项的方差由异方差变为同方差，从而符合古典回归模型的基本假设。转换后的模型成为古典回归模型，就可以使用普通最小二乘法进行参数估计（得到最优线性无偏估计量）以及假设检验 1加权最小二乘法（wls） 假设模型为一元线性回归模型,第三节、异方差性的处理,59,60,61,62,上述过程称为加权最小二乘法（weighted least square wls），所得到的a,b的估计量称为加权最小二乘估计量，加权最小二乘法是广义最小二乘法（generalized least square gls）的特殊形式。,63,2. 模型变换法 （实质为加权最小二乘法） （异方差性具体形式已知情况下） 首先需确定异方差性的具体形式假设模型为一元线性回归模型： yi = a + bxi + i,64,65,使用模型变换法注意事项 对于多元线性回归模型，可能不知道异方差性的具体形式 谬误回归问题。即使在原始模型中y, x不相关，在转换后的模型中y*, x* 可能相关 例如 yi=a+ bxi+i 在原始模型中y, x不相关 yi/xi= b+ a(1/xi)+ i/xi yi/xi 和1/xi可能相关 3. t 检验和f 检验只在大样本条件下正确,66,3.变量对数变换法,如果原模型为一元线性回归模型： yi = a + bxi + i ，对变量做对数变换：lnyi = a + blnxi + i ,通常可以降低异方差。 （1）变量值的尺度缩小，数值间差异缩小 （2）对数变换后的模型残差为相对误差，而相对误差往往具 有较小的误差,67,predict r,residuals gen e2=r2 scatter r2 x breusch-pagan拉格朗日乘数异方差检验 estat hettest regress y xw=1/abs(r),专题二 古典线性模型的扩展,第三章 自相关相关,69,一、序列相关性概念,如果对于不同的样本点，随机误差项之间不再是不相关的，而是存在某种相关性，则认为出现了序列相关性。,对于模型 yi=0+1x1i+2x2i+kxki+i i=1,2, ,n,随机项互不相关的基本假设表现为 cov(i , j)=0 ij, i,j=1,2, ,n,70,或,71,1、简单记号 2、自相关系数,72,3、方差与协方差,73,4、一阶自回归ar(1)扰动项的特性,74,（1）经济变量的惯性时间序列变量的自相关导致干扰项的自相关（如消费） （2）应进入模型的变量未被引入模型，能引起自相关 （3）回归模型的的形式设定存在错误 （4）蛛网现象：因变量对自变量的反应滞后 （5）滞后效应：因变量受其前几期取值的影响 （6）数据“编造”。数据的加工过程（如季度数据）或推算过程（根据某种假定获得未调查数据）引起自相关 （7）随机项自身可能存在“真正自相关”性（偶然性冲击（如战争）对变量的长期影响）,二、序列相关性的来源,75,计量经济学模型一旦出现序列相关性，如果仍采用ols法估计模型参数，会产生下列不良后果：,三、序列相关性的后果,1、参数估计量非有效（无偏） 2、变量的显著性检验失去意义 3、模型的预测失效,76,77,右边第一项是忽略自相关并使用ols下的参数估计量的方差 ，如果 是正的，并且x值是正相关的（大多数经济时间序列都是如此），则右边第二项也是正的，则有： 就是说，通常的 的ols方差低估了ar(1)下的方差。,78,然后，通过分析这些“近似估计量”之间的相关性，以判断随机误差项是否具有序列相关性。,基本思路: 序列相关性检验方法有多种，但基本思路相同：,四、序列相关性的检验,79,1、图示法,80,2、回归检验法,如果存在某一种函数形式，使得方程显著成立，则说明原模型存在序列相关性。 回归检验法的优点是：（1）能够确定序列相关的形式，（2）适用于任何类型序列相关性问题的检验。,81,3、杜宾-瓦森 （durbin-watson）检验法,d-w检验是杜宾（j.durbin）和瓦森(g.s. watson)于1951年提出的一种检验序列自相关的方法，该方法的假定条件是：,（1）解释变量x非随机； （2）随机误差项i为一阶自回归形式： i=i-1+i （3）回归模型中不应含有滞后应变量作为解释变量，即不应出现下列形式： yi=0+1x1i+kxki+yi-1+i （4）回归含有截距项,82,该统计量的分布与出现在给定样本中的x值有复杂的关系，因此其精确的分布很难得到。但是，他们成功地导出了临界值的下限dl和上限du ，且这些上下限只与样本的容量n和解释变量的个数k有关，而与解释变量x的取值无关。,杜宾和瓦森针对原假设：h0: =0， 即不存在一阶自回归，构造如下造统计量：,d.w. 统计量:,83,d.w检验步骤:,（1）计算dw值 （2）给定，由n和k的大小查dw分布表，得临界值dl和du （3）比较、判断,若 0d.w.dl 存在正自相关 dld.w.du 不能确定 du d.w.4du 无自相关 4du d.w.4 dl 不能确定 4dl d.w.4 存在负自相关,84,dl,2,4,4-dl,0,du,4-du,正相关,无自相关,负相关,d,当d.w.值在2左右时，模型不存在一阶自相关。,85,证明： 展开d.w.统计量：,(*),86,如果存在完全一阶正相关，即=1，则 d.w. 0 完全一阶负相关，即= -1, 则 d.w. 4 完全不相关， 即=0，则 d.w.2,这里，,为一阶自回归模型 i=i-1+i 的参数估计。,87,4、拉格朗日乘数 （lagrange multiplier）检验,拉格朗日乘数检验克服了dw检验的缺陷，适合于高阶序列相关以及模型中存在滞后被解释变量的情形。 它是由布劳殊（breusch）与戈弗雷（godfrey）于1978年提出的，也被称为gb检验。,对于模型,如果怀疑随机扰动项