多元线性回归模型常见问题及解决方法

1、多元线性回归模型,基本假设 (1)随机扰动项ui数学期望（均值）为零。E(ui)=0 (2)随机扰动项ui的同方差性且无自相关Var(ui)=2 (3)解释变量X列线性无关。R(Xnk)=K (4)随机扰动项ui与解释变量X不相关。cov(ui,X)=0,异方差性的定义,对于线性回归模型 同方差性假设为 如果出现 即对于不同的样本点，随机误差项的方差不再是常数，而是互不相同，则认为出现了异方差性(Heteroscedasticity)。,实际经济问题中的异方差性,（1）研究居民家庭的储蓄行为 Yi=0+1Xi+ui Y-储蓄额 X-可支配收入 ui的方差单调递增 （2）居民消费函数 Ci=0+

2、1Yi+ui 将居民收入等距离分成n组，取组平均数作为样本观测值。 Y服从正态分布。人数多的组平均数误差小。 样本观测值的观测误差随解释变量观测值改变。,异方差性的检验,异方差性，即相对于不同的样本点，也就是相对于不同的解释变量观测值，随机误差项具有不同的方差。 检验异方差性，就是检验随机误差项的方差与解释变量观测值之间的相关性。 问题在于随机误差项的方差如何估计？,一般处理方法是先采用普通最小二乘法估计模型，得到随机误差项的估计量，用 表示，称为近似估计量。即,检验方法,（1）图示检验法大概判断 （2）帕克检验与戈里瑟检验 （3）GQ检验 （4）怀特检验,怀特(White)检验,以两个解释变

3、量的回归模型为例，说明怀特检验的基本思想与步骤。 设回归模型为 Yi=0+1X1i+2X2i+i 先对模型作普通最小二乘回归，得到 ，然后作辅助回归：,在同方差性假设下，辅助回归的可决系数R2与样本容量n的乘积，渐进地服从自由度为辅助回归方程中解释变量个数的2分布，即 nR22 在大样本下，对统计量nR2进行相应的2检验。 若存在异方差性，表明 与解释变量的某种组合有显著的相关性，这时往往有较大的可决系数R2，并且某一参数的t检验值较大。,加权最小二乘法(WLS),加权最小二乘法(Weighted Least Squares, WLS)是对原模型加权，使之变成一个新的不存在异方差性的模型，然后

4、采用普通最小二乘法估计其参数。 加权的基本思想：在采用普通最小二乘法时，对较小的残差平方赋予较大的权数，对较大的赋予较小的权数，从而对残差提供的信息的重要程度作校正，提高参数估计的精度。,加权最小二乘法就是对加了权重的残差平方和实施普通最小二乘法。 记wi为权数，则加了权重的残差平方和为 如在异方差检验过程中已知 即随机误差项的方差 与解释变量Xji之间存在相关性。,可以用 去除原模型，使之变为如下形式新模型：,在新模型中， 即满足同方差性，可用普通最小二乘法估计其参数，得到参数0,1,k的无偏、有效估计量。,上述即为加权最小二乘法，其中权数为 。 普通最小二乘法只是加权最小二乘法中权数恒取1

5、的一种特例，加权最小二乘法具有比普通最小二乘法更普遍的意义。 加权最小二乘法也称为广义最小二乘法(Generalized Least Squares, GLS)。,加权最小二乘法的关键是寻找适当的权，或者说是寻找随机误差项的方差与解释变量之间适当的函数形式。如发现 则加权最小二乘法中的权即为 。,序列相关性的定义,对于线性回归模型 在其他假设仍成立的条件下，随机误差项序列相关即Cov(i,j)=E(ij)0 序列相关性经常出现在以时间序列为样本的模型里。自相关现象是指一个变量前后期数值之间存在的相关关系。t=t-1+t,序列相关性产生的原因,经济变量故有的惯性（物价指数，消费） 模型设定的偏误

6、 数据的编造 （由已知数据生成）,(一)经济变量故有的惯性,消费函数模型： 消费习惯没有包括在解释变量中，其对消费的影响包含在随机误差项中，产生序列相关性。,(二)模型设定的偏误,模型设定偏误指所设定的模型不正确，表现为遗漏了重要解释变量或模型函数形式有偏误。 如应估计模型 但将模型设定为,序列相关性的检验,序列相关性检验的思路：首先采用普通最小二乘法估计模型，以求得随机误差项的近似估计量，用 表示： 然后通过分析这些近似估计量之间的相关性，以达到判断随机误差项是否具有序列相关性的目的。 序列相关性的检验方法有：回归检验法、D.W.检验法、冯诺曼比检验法等。,回归检验法,以 为被解释变量，以各

7、种可能的相关量，如 等为解释变量，建立各种方程： 对方程进行估计并进行显著性检验，如存在某一种函数形式，使方程显著成立，则说明原模型存在序列相关性。,D.W.检验法,D.W.检验由杜宾(J. Durbin)和瓦森(G. S. Watson)于1951年提出，用于检验序列自相关。 D.W.检验的假定条件是： (1)解释变量X非随机； (2)随机误差项t为一阶自回归形式： t=t-1+t,(3)回归模型中不含有滞后因变量作为解释变量，即不出现以下形式： (4)回归模型含有截距项。 D.W.检验的原假设为：H0: =0，即t不存在一阶自回归。,构造统计量： 该统计量的分布与给定样本中的X值有复杂关系

8、，其精确分布很难得到。,但可导出临界值的上限dU与下限dL，且上下限只与样本容量n和解释变量的个数k有关，而与解释变量的取值无关。 根据样本容量n和解释变量的个数k查D.W.分布表，得到临界值dU和dL，按照下列准则判断模型的自相关状态：,若0D.W.dL，则存在正自相关； 若dLD.W.dU，则不能确定； 若dUD.W.4-dU，则无自相关； 若4-dUD.W.4-dL，则不能确定； 若4-dLD.W.4，则存在负自相关。,如果存在完全一阶正相关，则1，D.W.0； 如果存在完全一阶负相关，则-1，D.W.4； 如果完全不相关，则=0，D.W.=2； 从判断准则看，存在一个不能确定的D.W.

9、值区域，这是该检验方法的一个缺陷。 D.W.检验只能检验一阶自相关，且对存在滞后被解释变量的模型无法检验。,序列相关性的修正,（1）回归模型选用不当，改用适当的回归模型。 （2）缺少重要的自变量，增加自变量。 （3）以上都不行，则采用广义最小二乘法、广义差分法。,广义最小二乘法,广义最小二乘法是最具有普遍意义的最小二乘法，普通最小二乘法和加权最小二乘法是它的特例。 对于模型 Y=X+ 若存在序列相关性，同时存在异方差性，即有,其中，为对称正定矩阵，故存在一可逆矩阵D，使得 =DD 用D-1左乘模型两边，得到新模型： D-1Y=D-1X+D-1 即Y*=X*+*,由于 故，可用普通最小二乘法估计

10、新模型，记参数估计量为 ，则 此即原模型的广义最小二乘估计量，是无偏、有效估计量。,由上可知，只要知道随机误差项的方差-协方差矩阵2，就可采用广义最小二乘法得到参数的最佳线性无偏估计量。,矩阵？ 下面的证明出自潘文卿李子奈版计量课后习题答案P62。,需要对随机误差项的自相关结构进行特殊设定，才能得到其估计值。一般假设随机误差项具有一阶序列相关性： t=t-1+t; -11 此时，,于是,多重共线性,多元线性回归模型 其基本假设之一是解释变量X1,X2,Xk相互独立。 如果某两个或多个解释变量之间出现了相关性，则成为存在多重共线性(Multicollinearity)。,实际经济问题中的多重共线

11、性,服装需求函数模型： Qi=f(Ii,Pi,.) I-收入 P-价格 直观判断，收入与价格不相关。 调查数据表明，二者有一定的相关性。,多重共线性的后果,完全共线性下参数估计量不存在 近似共线性下普通最小二乘法参数估计量的方差变大 参数估计量经济含义不合理 （若出现参数估计值的经济意义明显不合理的情况，应首先怀疑是否存在多重共线性。 ） 变量的显著性检验和模型的预测功能失去意义,多重共线性的检验,多重共线性表现为解释变量之间具有相关关系。 多重共线性检验的任务： (1)检验多重共线性是否存在； (2)判明存在多重共线性的范围。（哪些变量之间存在多重共线性） 多重共线性检验的方法：判定系数检验

12、法、逐步回归检验法等。,(一)检验多重共线性是否存在,(1)对两个解释变量的模型，采用简单相关系数法：求出X1与X2的简单相关系数r，若r接近1，说明两变量存在较强的多重共线性。 (2)对多个解释变量的模型，采用综合统计检验 若在普通最小二乘法下，模型的R2与F值较大，但各参数估计值的t检验值较小，说明各解释变量对Y的联合线性作用显著。 各解释变量间存在共线性使得它们对Y的独立作用不能分辨，使t检验不显著。,(二)判明存在多重共线性的范围,确定多重共线性由哪些变量引起。 判定系数检验法 将模型中每个解释变量分别以其余解释变量为解释变量进行回归，计算相应的拟合优度，也称为判定系数。 若某一种形式的判定系数较大，说明该形式中作为被解释变量的Xj可以用其他解释变量的线性组合替代，即Xj与其他解释变量间存在共线性。,对出现较大判定系数的回归方程作F检验： 其中， 为第j个解释变量对其他解释变量的回归方程的判定系数。 若存在较强的共线性，则 较大且接近于1，此时1- 较小，从而Fj的值较大。,随机解释变量问题,多元线性回归模型 若cov(Xi,i)0,即扰动项与解释变量无关性假设不成立，则最小二乘估计量的无偏性和一致性也不成立。该解释变量具有内生性。 假设E(iXi)=i,对于多元线性回归模型，其矩阵形式为 Y=X+