Chapter1_线性回归模型的OLS估计

1、第1章 线性回归模型线性回归模型用于考察多个自变量对一个因变量的影响。例如施肥量、土质与作物产量的关系；受教育年数、工龄、性别对收入的影响，警察数量、下岗职工对城市犯罪率的影响等。以双变量为例。x1、x2对y存在影响，同时x1和x2之间也存在相关关系。如图所示。X1X2y1.1 模型设定假定变量yt与k个变量xt j, j = 1, , k，存在线性关系。多元线性回归模型表示为， 1.1其中yt是被解释变量（因变量），xj t是解释变量（自变量），ut是随机误差项，bi, i = 0, 1, , k是回归参数（通常未知）。这说明xj t, j = 1, , k, 是yt的重要解释变量。ut代表

2、其他影响yt变化的随机因素。 给定一个样本（yt , xt1, xt2 , xt k），t = 1, 2, , T，上述模型表示为， 1.2令 , , 则(3.3) 式可以写为， y = Xb + u 1.31.2 参数估计1.2.1 参数的点估计1 最小二乘法（OLS）设残差平方和用Q表示， 1.4上式中，因为和是一个标量（）的结果是一个数值标量，而不是向量，同理也是标量；向量是既有大小又有方向的量），所以有。求Q对的一阶偏导数，并令其为零， 1.5化简得， 假定1 解释变量之间线性无关。Rank(XX) = Rank(X) = K1 1.6其中Rank()表示矩阵的秩，矩阵的秩等于它所含的

3、线性无关的列向量的最大数目，有:秩(A)= 秩(A)min(行数，列数)，。即解释变量之间彼此线性无关。如果假定1成立，可以直接得到的最小二乘估计量， 1.7Stata程序实现的例子：*begin1/*下面是最简单的一元回归，操作一下看结果*/use consume, clear /使用consume.dta数据文件regress consume income /*用reg命令回归，常数项是stata自动加入的*/reg consume income if income300 /对收入（income）大于300的样本进行回归reg consume income in 5/11 /对第5至11个

4、样本进行回归regress consume income /再对全部回归样本回归一次，因为下面要用到回归的预测值predict y, xb /根据X预测y的拟合值predict e, residual /预测回归残差值list /列出所有变量/*根据公式估计*/local N = _N /取得样本个数，_N是系统变量，其值等于样本数量gen cons = 1 /生成一列值全为1的向量，对应于式1.1中的常数项0mkmat consume, mat(y) /将数据库中的consume列定义为矩阵y（此时y是向量）mkmat income cons, mat(X) /将数据库中的imcome列和新

5、生成的定义为矩阵Xmat b = inv(X*X)*X*y / 式的stata实现mat list b /列出向量值，和reg结果比较看是否一样mat list y /列出y的观测值，和前面是一样的mat list X /列出X矩阵的值，注意到它有一列是1，即常数项取值为1（对应0）*over1表示y的拟合值，表示残差项。拟合值和残差项经常表示为另外一种形式： 1.8 1.9其中，称为映射矩阵。Py表示y对X回归的拟合值。，称为零化子矩阵。My表示y对X的残差项。因此，y总是可以表示为y=Py+My。可以证明，P和M都是对称幂等矩阵，即 M = M ，P = P M2 = M M = M ，P

6、 2 = P P = P 1.10且有 PX=X， MX=0 1.11M+P=I，PM=0 由正规方程组可得，即。进而可得。即1.2.2 FML定理接下来我们介绍OLS估计量的一个重要性质，即FML定理（Frisch and Waugh(1933)、Lovell (1963)）。这一定理体现了线性回归模型参数的经济含义。在虚拟变量等问题的处理中重要的应用。将所有的解释变量拆分为两部分。模型表述为： 1.12残差平方和为： 1.13其中和为标量（可以看到，所有的矩阵表达式结果均为标量，但值不一样，只能把和这二个标量值相同的项合并），同样，对应的正规方程组为： 1.14由（1）式可得： 1.15由

7、此可以看出，如果，则。即当X2与X1正交时，模型与的参数估计量是完全相同的。将（1.15）式带入正规方程（2）可得到解： 1.16其中，M1表示X1的零化矩阵，根据零化矩阵的性质， 1.17其中，表示X2对X1回归的残差项，表示y对X1回归的残差项。由此得到如下定理。Frisch-Waugh定理：与得到相同的估计量和残差。（式1.12两边左乘MX1，然后再回到式1.17，估计过程可参考http:/personal.rhul.ac.uk/uhte/006/ec5040/FrischWaugh.pdf）即，y对X1、X2的回归方程中，X2的参数估计量等价于y对X1回归的残差项对X2对X1回归的残差

8、项进行回归得到的参数估计量，二者的残差也是相同的。这一定理表明，多元回归模型中，回归参数2体现了“排除”（partial out）X1影响后的“净”影响。因此，2也称作“偏回归系数”，体现了X2对y的净影响，称之为“偏影响”（partial effect）。也正是由于回归参数2体现了排除X1影响后的“净”影响，因此把X1称作“控制变量”。也就是说，虽然实际经济环境中，我们几乎不能控制X1的变化。但在多元回归模型中，2已经把X1的影响排除掉了，因此2理解为“当其他条件不变的情况下”，X2对y的边际影响。对于如下结构关系：X1X2y如果回归模型，参数b1的估计量不会显著，因为将x2的影响排除后，x

9、1对y不存在任何影响。例：*begin2/Consider an OLS regression of wage on education and ageuse womenwk.dta, clear /使用womenwk.dta数据文件keep if work=1 /保留已工作妇女的样本数据（即删除未工作妇女样本）reg wage education age / 估计多元回归方程reg wage education /首先求出教育年限、年龄的对工资的影响系数reg wage education /求education对wage的偏影响predict yhat2 if e(sample), res

10、id /得出上面ols回归的残差并保存为变量yhat2reg age education /求education对age的偏影响predict xhat2 if e(sample), resid /得出上面ols回归的残差并保存为变量xhat2；if e(sample)指Obtain predictions for just the sample on which we fit the modelreg yhat2 xhat2 /用xhat2对yhat2回归，此时注意xhat2的系数与多元回归方程中education的系数是一致的predict ahat if e(sample) sort x

11、hat2two (scatter yhat2 xhat2) (line ahat xhat2) /Graphing this relationship*over21.2.3 参数估计量的分布特征设真实的DGP为y = Xb0 + u其中，b0为真实的参数。如果模型设定准确的话，即y = Xb + u我们来看参数估计量的统计特征。对于模型错误设定的情况，请参见本章“模型的设定分析”部分。1 一致性设模型的参数为，估计量为。如果，则称具有一致性。一致性意味着随着样本量的增加，参数估计量可以无限接近真实参数，即估计量的分布为真实参数那一点。也就是说，随着样本量的增加，我们可以对真实参数作出越来越精确

12、的推断。一致性是对参数估计量的最低要求。如果估计误差与样本量没有关系，那么很难建立真实参数与参数估计量之间的关系。 1.18由假定Rank(X)=K和大数定律，样本均值的概率极限等于总体均值，可得： 1.19又由Slustky定理，。由此可得 1.202 的无偏性的随机性来源于u的随机性，因此，将写为关于u的表达式。 1.21即是随机向量u的线性组合。如果X为确定性变量，则的期望为： 1.22因此，是b的线性无偏估计量。但将X做为确定性变量过于简单。大多数情况下，X与y一样，具有明显的随机特征。假定2 u关于X的条件期望为0。Eu|X=0。假定2也称作X具有严格外生性。具有两个基本含义。第一个

13、含义是，u的无条件均值也为0。这一特征可以通过迭代期望公式直接导出。E(u|X) = 0 E(u) = EE(u| X) = 0 1.23第二个含义是，u与X以及X的任何函数正交，不相关。 1.24Cov(g(X), u) = Eg(X)-E(g(X)u- E(u)= E(X-E(X)u=E g(X)-E(g(X)u = E g(X)u Eg(X)u = Eg(X)u- Eg(X)E(u) = 0当g(X)= X时，u与X正交，u与X不相关。E(Xu| X)= XE(u| X) = 0, E(Xu) = EE(Xu|X) = E(X) E(u| X) = 0Cov(X, u) = E(X-E(

14、X)(u- E(u)= E(X-E(X)u= EXu- E(X)E(u) = 0的条件期望为： 1.25当然，的无条件期望为： 1.26因此，是b0的线性无偏估计量，具有无偏性。与之相关的另外一个较弱的假定是，ut关于Xt的条件期望为0。Eut|Xt=0。3 的有效性假定3 随机误差项向量u是同方差、无序列相关的。即协方差矩阵为：Var (u|X) = s 2I = s 2 1.27OLS估计量的方差矩阵为： 1.28其中，s 2 (X X)-1第i行第j列的元素表示第i个参数估计量和和第j个参数估计量的协方差。当i=j时（即对角线上的元素），表示第i个（包括常数项）参数估计量的标准差。高斯马

15、尔科夫定理：在假定13成立的条件下，OLS估计量是最有效的线性无偏估计量。即：设是OLS估计量，为其他无偏估计量，那么。根据迭代期望公式，可以得到。将线性回归模型中OLS估计量称之为最佳线性无偏估计量（BLUE）。4 方差来源的方差对于统计推断以及经济解释都是至关重要的。方差越大，说明估计量越不精确，因此参数的置信区间就越大，假设检验也就越不准确。假设关注变量x2，设DGP为，模型设定为。根据FML定理， 其方差为：其中，表示x2对X1回归的残差平方和。因此，方差也可以表述为： 1.29其中，SSE2、R22表示x2对X1回归的残差平方和与可决系数，表示x2的离差平方和。因此，的方差来源于三部

16、份：回归标准差02、解释变量之间的相关性、x2的波动。回归标准差02体现了模型中噪音的成分，噪音越多（02越大），那么解释变量的影响就越难以判断，估计量的就越不准确。02是一个总体概念，与样本无关。但它是未知的，在后面的章节推导出其无偏估计量。给定被解释变量y，要想降低2，那就需要将更多的成分从随机扰动项中提取出来，方法只有一个：加入新的解释变量。但加入新的变量并不总是有效的，后面的章节还会详细地加以解释。Ri2体现了xi与其他解释变量的线性相关程度。相关程度越高，Ri2就越高，就越大。当Ri21时，。这时，我们称之为多重共线性(multicollinearity)。当然，如果部分解释变量之间

17、存在多重共线性，不会影响其他的参数估计。比如，在下面的模型中：yt = b0 + b1 x1t + b2 x2t+ b3 x3t + ut如果x2t与x3t高度相关，那么和会比较大。但x2t与x3t的相关性对没有影响。事实上，如果x1t、x2t都与x3t不相关，即R120，那么2/SST1，与x2t、x3t之间的相关性没有任何关系。因此，如果模型关注的是x1t，那么就没有必要在乎x2t、x3t之间的多重共线性问题。给定其他条件不变的情况下，xi的离差平方和越大，的方差越小。提高xi的离差平方和的方法是增加样本容量。当样本容量不断增加时，离差平方和可以无限大，可以有力地降低的方差。Arthur

18、Goldberger针对人们面临多重共线性问题的困扰提出了小样本问题（micronumerosity），参见Goldberger(1991)。1.2.4 区间估计我们已经知道了的分布形式，如果进行区间估计的话，还需要估计s 2。根据前文所述，= Mu。残差平方和为 1.30则残差的方差估计量 1.31因s2是一个标量，所以有 1.32其中tr() 表示矩阵的迹。tr(I ) = T，tr(X ( X X)-1 X ) = k+1。因为对于矩阵A B C有tr(ABC) = tr(BCA)= tr(CAB)，所以tr(X (X X )-1 X ) = tr( (X X)-1 X X ) = tr

19、(I ) = k+1。由此可见s 2是s 2的无偏估计量。/*估计s 2的Stata程序*/ *begin3/接bigin1local K = colsof(X) / colsof(X)函数取得矩阵X的列数（注意，不是行，行数即样本数）mat e = y - X*b /*残差*/ mat s2 = (1/(N-K)*(e*e) /*即式1.32的Stata表达*/mat list s2*over3得到了的方差估计量，就可以构建区间估计了。/*回归系数的标准误差s.e.(bj)*/ *begin4/接bigin3mat Var_b = s2*inv(X*X) /求出系数的协方差矩阵Var(b)m

20、at list Var_b /列出协方差矩阵dis sqrt(0. 00099544) /结果和reg结果中变量income的系数S.E值一样dis sqrt(90800.216) /结果和reg结果中常数项的S.E值一样/*矩阵解析*/mat se_b = cholesky(diag(vecdiag(Var_b) / 这条命令将回归系数协方差矩阵中的对角元素开平方，结果和上面两个开平方结果相等，只是以矩阵形式表达。其中，函数diag(v)：将列向量转化成对角方阵，对角线元素为列向量各元素；vecdiag(v):与diag(v)正好相反，将矩阵中的对角元素提出生成列向量；cholesky(v)

21、为矩阵开平方；mat list se_b /列出回归系数标准差向量reg consume income /reg命令是上面所有分析过程的集成*over4回归系数t值的计算。公式：t = 系数/标准误*begin5use consume, clearregress consume incomedis %4.2f 0.74711 /0.0315506 /*income 的 t 值*/dis %4.2f 201.3083 / 301.3307 /*常数项 的 t 值*/*下面这条命令非常重要，以后都要涉及到*/eret list /列出reg命令估计后的内存里的所有变量* 矩阵解析mat b0 =

22、diag(b) /将系数向量转化为对角阵mat list b0 /列出上面的矩阵mat inv_se_b = inv(se_b) /将回归系数标准差矩阵求逆(数值变成分母)mat list inv_se_b /列出系数标准差逆矩阵mat t= hadamard(b0, inv_se_b) /将系数对角阵与标准差逆矩阵相乘（事实上相当于前者除以系数标准差矩阵），生成t值矩阵mat list t mat t = vecdiag(t) /将t值矩阵对角线元素提出reg consume income /上面的结果等同于reg命令结出的结果。*over51.2.5 残差的分布接下来我们进一步考察残差的特

23、征。上面我们利用残差估计随机误差项的方差，后面很多统计检验都要利用残差。由， 可以得到几个基本结论。（1）每个残差都是所有误差项的线性组合。因此，虽然u同方差、无序列相关，但是异方差、存在序列相关的。（2）。因此，残差的方差小于随机误差项的方差。杠杆越高的观测值，残差的方差越小。与之相关联的另外两种残差为标准化残差与学生化残差。标准化残差为，学生化残差为。其中，表示删除第i个观测值后误差项的标准差。1.2.6 标准化的回归系数参数估计量是有量纲的，因此不能直接比较不同解释变量的相对重要性。如果要比较不同变量的相对重要性，可以首先将所有的解释变量进行标准化，这样便将其转换为没有量纲的概念了。,

24、, 然后利用标准化后的解释变量进行回归， 标准化的回归系数消除了量纲，可以直接用于比较不同变量重要性。思考题：标准化的回归系数与最初模型的回归系数(b0,b0, , bk) 存在什么关系？例 1.1 考察CEO年薪方程Salary=b0+b1roe+b2sale+b3ros+u 其中，salary表示CEO年薪（千美元），roe为前三年的平均资产收益率（%），sale表示公司销售额（百万美元），ros表示股票收益率（%）。（数据文件：ceosal1，http:/gul.gu.se/public/courseId/56281/coursePath/39029/56278/ecp/lang-en/

25、publicPage.do?item=22024223）（1）计算OLS估计量、95%的置信区间。. regress salary roe sale ros, level(95) noheader（2）计算残差、标准化残差、学生化残差；观察每个指标的描述指标. predict res, residual. predict res_std, rstandard. predict res_stu, rstudent. summ res res_*例 1.2 估计工资收入方程，wage=b0+b1educ+b2exper+b3tenure+u 其中，wage表示工资（千美元），educ表示接受教育的

26、程度（年），exper表示工龄（年），tenure表示在现有岗位的任职时间（年）。（数据文件：wage1）（1）计算OLS估计量、99%的置信区间。. regress wage educ exper expersq age, level(99) noheader（2）计算标准化的回归系数. regress wage educ exper expersq age, beta level(95) noheader1.3 模型检验1.3.1 拟合优度y的变化由两部分引起，一是解释变量X=（x1, x2 , x k）（注意，X不包括常数项），二是随机误差项。那么解释变量与误差项对y的变化所作的贡献如何

27、衡量呢？拟合优度即回归线对散点的拟合程度。回归线拟合散点的程度越好，则表明解释变量对y的解释能力就越强。1 可决系数考虑如下两个模型：模型中不包括X只有常数项时，的OLS估计量为，残差为。将X纳入模型之后，得到的残差项为。由于X的加入，使得模型的误差项缩小了。这即是被X所解释的部分。因此，可以通过被X所解释的部分在y的离差中所占比例来衡量X对y 的解释能力。总离差平方和, 1.33回归平方和为 由回归直线的性质：y与的均值相同，可得，因此回归平方和又可以写为： 1.34残差平方和为 1.35则有如下关系存在， SST = SSR + SSE 1.36证明： 由于，因此 1.37平方和除以它相应

28、的自由度称为均方。回归均方定义为MSR = SSR / k，误差均方定义为MSE = SSE / (T - k - 1)（即随机误差项的方差估计量），误差均方平方 (RMSE，Root Mean Squared Error, RMSE），RMSE越小越好。Stata求SST、SSR、SSE、RMSE的程序如下：*begin6*方差分析* Total sum of square = Model sum of square + Residual sum of square* y 的总波动 = 模型能够解释的波动 + 残差的波动sysuse auto, clear /使用系统自带的auto.dta数

29、据文件reg price weight lengthpredict yhat /*price的拟合值*/predict e, res /*残差*/foreach v of varlist price weight length /注意到这个循环语句用法，v可自定义egen avg_v = mean(v) /varlist指后面指定的所有变量gen dif_v = v - avg_v /egen和gen为生成新变量 /最终生成各个变量值与其均值之差的新列变量qui reg dif_price dif_wei dif_len, nocons /对新生成的变量进行回归，其中qui(quietly)放

30、在回归命令reg前表示不显示回归结果predict yhatd /*dif_price的拟合值*/* 公式TSS = MSS + RSS* 根据式1.33：TSS = sum of yd2 yd = y - mean(y)gen dprice2 = dif_price2 /生成新变量dprice2，为上面刚生成变量dif_price的平方qui sum dprice2 /命令sum统计单变量汇总数据，运行后运行return list，看内存统计摘要dis SST = %12.0f r(sum) /r(sum)就是引用sum命令后生成的r(sum)结果。许多命令执行后都会有一批结果放在内存里，需

31、要时可随时调出来scalar SST = r(sum) /将r(sum)赋值给变量TSS，这里不用命令gen* 根据式1.34：SSR = sum of yhatd2，即(y-y)2， yhatd = Xdbgen yhatd2 = yhatd2 qui sum yhatd2dis SSR = %12.0f r(sum)scalar SSR = r(sum)* SSE = sum of e2 e = y-yhat = y-Xb = yd - Xdb gen e2 = e2qui sum e2dis SSE = %12.0f r(sum)scalar SSE = r(sum)reg price

32、weight length* MSR = SSR / (k-1) MSR: mean of SSR square回归均方 dis MSR = %12.0f SSR/2* MSE = SSE / (N-k) MSE：误差均方dis MSE = SSE/71* MST = SST / (N-1)dis MST = SST/73 reg price weight length * Root MSE(mean square error): sqrt(s2)qui sum e2scalar Root_MSE = sqrt(r(sum)/(74-3) dis Root MSE = Root_MSE*ove

33、r62 拟合优度R2计算的变差占y的变差的比值是评价一个估计模型优劣的方法之一。多重可决系数定义如下： 1.38显然有0 R 2 1。R 2越接近1，估计的回归函数对样本点的拟合优度越好，即解释变量对被解释变量的解释作用越强。3 调整的拟合优度对于给定的样本值yt，总离差平方和是固定不变的。但随着模型中解释变量个数的增加，残差平方和逐渐减小，因此可决系数R 2逐渐增加。结论1：增加解释变量时，残差平方和的变化。在模型中加入新的解释变量z时，的残差平方和为： 1.39其中，表示的残差平方和，表示的残差平方和，表示z对X回归的残差平方和。证明：设的回归结果为。根据分块矩阵的估计公式， ，可得： 1

34、.40因此， 1.41新模型的残差平方和为： 1.42根据Frisch-Waugh定理， 1.43即。因此， 1.44结论2：增加解释变量时，可决系数的变化由上述结论， 1.45其中，表示控制变量X时y与z的偏相关系数。上式两边同时除以总离差平方和，可得 1.46因此，当模型中加入新的解释变量的时候，模型的残差平方和总是递减的，可决系数总是递增的。为考虑模型中解释变量个数的变化对R 2的影响，定义调整的多重可决系数如下， 1.47当在模型中增加解释变量时，SSE将减小，同时 T- k - 1也减小。从而使SSE的减小量得到一定补偿。通常的值比R 2小。有时还会出现取负值的情况。增加新的解释变量

35、时，可能会增加，也可能会降低。这取决于新的解释变量对y的解释能力。结论3：增加解释变量时，调整的可决系数的变化。如果新增加的变量的t统计量大于（小于）1，则模型的调整的可决系数会增加（下降）。Stata求R 2和的程序如下：*begin7* R2 与 adj-R2* R2 的基本定义scalar R2a = SSE / SST /*模型能够解释的波动占总波动的比例*/dis R2ascalar R2b = 1 - SSE/SSTdis R2b* 对 R2 的第二种理解reg price weight length predict price_hatcorr price price_hatloc

36、al R2 = r(rho)2dis R2 = R2* 调整后的 R2local adj_R2 = R2 - (3-1)/(74-3)*(1-R2) dis adj-R2 = adj_R2*over74 非中心化的R2当模型中没有常数项时，的均值不一定为0，y与的均值也不一定相同。因此，等式SST = SSR + SSE不一定成立，即总离差平方和（SST）不能分解为回归平方和（SSR）与残差平方和（SSE）两部分。这时R2可能会出现负值或者大于1的情况。这时可采用非中心化的拟合优度。我们知道，（2.44）式总是成立的，即y的平方和恰好分解为拟合值的平方和与残差平方和。定义非中心化的可决系数为： 1.48对比可决系数与非中心化的可决系数可以看出，如果模型中存在常数项