计量经济学简单回归模型课件

1、第二章 简单回归模型2.1 简单回归模型的定义简单回归模型的定义2.2 普通最小二乘法的推导普通最小二乘法的推导2.3 OLS的操作技巧的操作技巧2.4 度量单位的函数形式度量单位的函数形式2.5 OLS估计量的期望值和方差估计量的期望值和方差2.6 过原点回归过原点回归2.1 简单回归模型的定义 简单回归模型（即一元线性回归）用来研究两个变量之间的关系。 y和x是两个代表某个总体的变量，我们感兴趣的是用x来解释y，或研究y如何随x而变化。 在建立计量经济学模型前，我们会面临三个问题：y y和和x x的函数关系是怎样的呢？的函数关系是怎样的呢？我们应该如何考虑其他影响我们应该如何考虑其他影响y

2、 y的因素呢？的因素呢？我们何以确定我们在其他条件不变的情况下刻画了我们何以确定我们在其他条件不变的情况下刻画了y y和和x x之间的关系之间的关系？术语注解y 通常被称为：通常被称为：Dependent Variable因变量Left-Hand Side Variable左边变量Explained Variable被解释变量Response Variable响应变量Predicted Variable被预测变量Regressand回归子x通常被称为：通常被称为： Independent Variable自变量 Right-Hand Side Variable右边变量 Explanatory

3、Variable解释变量 Regressor回归元 Control Variable控制变量 Predictor Variable预测变量 Covariate协变量术语注解例 一个简单的工资方程 wage= b b0 + b b1 educ+ u 上述简单工资函数描述了工资和受教育年限，以及其他不可观测因素u之间的关系. b1 衡量的是，在其他因素(包含在误差项u里面）不变的情况下，多接受一年教育，可以增加多少工资. 其他因素包括：劳动力市场经验、内在的能力、目前所从事工作的工龄、职业道德, 以及其他许多因素。包含在u中.几点说明6简单回归模型的一个重要假定：零条件均值假定零条件均值假定 Ze

4、ro Conditional Mean Assumption 一个重要问题 在简单回归模型中, y = b0 + b1x + u, b1 衡量的是，在其他因素(包含在误差项u中)不变的情况下, x对于y的影响（ceteris paribus effect of x on y）. y = b1x , if u=0l但是，在实际中，包含于误差项u中的其他因素往往是不确定的, 也就是说，u是一个随机变量。一个重要问题l如果我们忽略包含于误差项u中的其他因素，能否通过简单回归模型，得到x对于y的其他因素不变情况下的影响（ceteris paribus effect of x on y）呢？l不能。l需

5、要对u和x的关系作出假定，或者是说，假定x与y的关系符合一定的条件，才能通过上述模型估计x对于y的其他因素不变情况下的影响(ceteris paribus effect of x on y)。关于关于u的一个简单假定的一个简单假定 假定总体（population）中误差项u的平均值为零,即: E(u) = 0(2.5) Is it very restrictive? 该假定对于模型是否具有很大的限制性呢?关于u的一个简单假定：一个例子 只要简单回归模型中包含常数项，我们总可以等价变换，使得误差项u均值为0 举一个例子： 对于一个简单回归模型： y = b0 + b1x + u, (a) 假如

6、E(u)=1， 则可以进行如下变换： y = (b0 +1) + b1x + (u-1) = b0+ b1x + u (b)这里, E(u) = E(u-1) = E(u)-1 = 0. 上述推导说明，我们总可以通过调整常数项b0，来实现误差项u的均值为零, 因此，假定E(u)=0，对于模型的限制性不大。Zero Conditional Mean Assumption 零条件均值假定 单纯对u作出零值假定是不够的。 我们需要对u和 x之间的关系做一个关键假定。 我们所希望的状况是，u的期望值不依赖于x的数值，也就是，无论x 的取值是多少，u的期望值不变。即： E(u|x) = E(u) 换句话

7、说，我们需要 u 和 x 完全不相关。 零条件期望假定 在前面我们已经假定了E(u) = 0，因此，零条件均值假定可以表述为： E(u|x) = E(u) = 0 (2.6) What does it mean? 该假定是何含义？零条件均值假定: 例1 在简单工资-教育方程中： 工资= b0 + b1 教育年限 + u 假定u 代表“内在能力”，零条件均值假定则表示， E(内在能力|教育年限 =6) = E(内在能力|教育年限 =18) = E(内在能力) 即: 对于不同教育年限的人，他们的内在能力的平均值相同。 零条件均值假定：例2 假设期末成绩分数(score)取决于出勤次数(attend

8、)，以及其他不可观测的因素u。则可以写出一个简单二元回归模型, 成绩 =b0 + b1 出勤次数 + u 假定u 代表“心理素质”，零条件均值假定则表示， E(心理素质|出勤次数 =1) = E(心理素质|出勤次数 =18) = E(心理素质) 即: 对于不同出勤次数的同学，他们的心理素质的平均值相同。零条件均值假定：对b1 的另一种解释 对于简单二元回归模型： y = b0 + b1x + u 对y求关于x的条件期望，则 E(y|x) = E (b0 + b1x + u)| x = b0 + b1x + E(u|x) 注： E(b1x|x)= b1x 由零条件均值假定E(u|x)=0, 得

9、E(y|x) = b0 + b1x. 该方程是x的线性函数，即y对于x的条件期望是x的线性函数。又称总体回归函数(Population regression function, PRF)b1表示,在零条件均值假定的条件下，相对于x的一个单位的变化，y的期望值的变化数量.x1=1x2 =2E(y|x) = b0 + b1xyE(y|x=x2)E(y|x=x1)总体回归线（PRF）： E(y|x) = b0 + b1xx2.2 普通最小二乘法（OLS）的推导普通最小二乘法（OLS）的推导：方法一：矩估计方法 零条件均值假定： E(u|x) = E(u) = 0 有两个意义： (1) E(u) =

10、0 (2) E(u|x) = E(u), 根据本书附录中条件期望性质5（Property CE.5，p.719）,由（2）可得: Cov(u,x)=0 因为：Cov(u,x) = E(u-E(u)x-E(x) = E(ux) - E(u)E(x) = E(ux) 由（1）得故有： E(ux) =0总体矩条件 假定对于一个总体（population），存在简单回归方程： y = b0 + b1x + u 假定零条件均值假定成立: E(u|x) = E(u) = 0 于是有: (1) E(u)=0， (2) E(ux)=0 将u = y -b0 - b1x代入上述等式(1) (2)： (3) E(

11、y -b0 - b1x)=0 (4) Ex(y -b0 - b1x)=0 (3) (4) 称为总体的矩条件。将总体矩条件应用于样本 从总体中随机抽取一个样本容量为n的随机样本，用(xi,yi): i=1, ,n ，i表示单个样本（observation）的编号，n是样本总量。xi,yi表示第i个样本的相应的变量。 每一观测样本i均应满足： yi = b0 + b1xi + ui 将前面所假定的总体矩条件(3)(4)应用于样本中，这种方法称为矩估计法（method of moments）.选择参数值b0, b1, 使得样本的矩条件成立 与总体中的矩条件(3)(4)相对应，在样本中相应的矩条件(s

12、ample counterparts)为： 现在的问题就是，通过选择参数值 , 使得样本相应的矩条件(3)(4)成立。 即：求解关于 的方程组(3)(4)。0)4(0)3(11011101niiiiniiixyxnxynbbbb10,bb10,bb普通普通最小二乘法的推导最小二乘法的推导 根据样本均值的定义以及加总的性质，可将第一个条件 变换为 代入到第二个矩条件中，xyxy1010or,bbbb0)3(1101niiixynbb0)4(1101niiiixyxnbb普通普通最小二乘法的推导最小二乘法的推导niiiniiniiiniiiniiiiniiiixxyyxxdxxxyyxcxxyyx

13、bxxyyxa121111111111)()(0)()()(0)(bbbbb因此，OLS估计的斜率为0 :121211niiniiniiixxxxyyxx假定b关于OLS斜率估计量 斜率估计量b1等于样本中x 和 y 的协方差除以x的方差。 若x 和 y 正相关，则斜率为正；反之，为负。 唯一需要假定的是，x的样本方差不为零，或者说，在样本中，x的观测值必须要有变化。拟合值(fitted value)与残差(residual) 用样本观测值估计出的回归方程的参数记作 根据样本估计参数值和样本观测值xi，我们可计算相应的yi的拟合值(fitted value): 实际样本观测值yi 与其拟合值

14、之间的差值，称为残差残差(residual). 它可以看作是利用样本回归后，估计出来的误差项。10,bbiixy10bbiiiiixyyyu10bbiy 样本回归函数(sample regression fucntion ，SRF) 同时，根据特定样本估计出的参数 , 我们可以写出一个与总体回归函数(PRF)相对应的样本回归函数(sample regression fucntion，SRF): 对于一个特定的总体而言，总体回归函数(PRF)是固定的，是未知的。 样本回归函数(SRF)则是根据实际的样本数据回归所得到的，是总体回归函数(PRF)的一个估计形式。 它随着样本的不同而不同。用不同的方

15、法所得到的样本回归函数，可能也会有差异。xy10bb10,bb 家庭人均消费 = 395.96 + 0.48 家庭人均收入2003年四川省农户调查样本，n=100 ；消费和收入单位：元0200040006000800010000consumption(RMB)0200040006000800010000income(RMB).y4y1y2y3x1x2x3x41234xy理解：样本回归线，样本数据点和残差xy10bby33 y3 y关于OLS的一点说明 残差平方和 OLS估计方法实际上就是，找到一条直线，使得残差的平方和(Q)最小。(因此，得名“普通最小二乘法”(Ordinary Least S

16、quares, OLS ) niiiniixyuQ121012bbOLS推导方法二 经典OLS估计方法：解一个最小化问题，即通过选取参数 ,使下列残差平方和最小： niiiniixyuQ12101210),(bbbb10,bb推导方法二 对上述残差平方和Q分别对 求偏导数，可以得到此最小化问题的一阶条件： 这两个方程与前面的矩条件完全一致，可以用相同的方法求解参数02) 4(02) 3(11011100niiiiniiixyxQxyQbbbbbb10,bb10,bb总结 介绍简单线性回归模型的结构、术语、含义 零值条件期望假定 如何利用矩估计法和经典普通最小二乘法，估计简单回归模型的截矩和斜率

17、参数2.3 OLS的操作技巧),(yxOLS的操作技巧拟合值和残差ixy10ibbiiixyu10bbiuiuOLS的操作技巧OLS统计量的代数性质 OLS残差和及其样本均值均为零残差和及其样本均值均为零 代数表示代数表示 由由OLS的一阶条件得出的一阶条件得出 01niiu10110niiinyxbbOLS的操作技巧OLS统计量的代数性质 回归元和回归元和OLS残差的样本协方差为零残差的样本协方差为零 代数表示代数表示 由由OLS的一阶条件得出的一阶条件得出10niiix u01101niiiixyxnbbOLS的操作技巧OLS统计量的代数性质 点点 总在总在OLS回归线上回归线上 代数表示

18、代数表示 可以可以由由 推导推导出出xy10bb),(yx01101niiixynbbOLS的操作技巧OLS统计量的代数性质OLS的操作技巧的操作技巧拟合优度拟合优度 定义定义 总平方和总平方和SST 解释平方和解释平方和SSE 残差平方和残差平方和SSR 2yyi 2yyi 2iu总平方和SST 总平方和: 总平方和(SST), 是y在样本中所有变动的测度指标，即它度量了y在样本中的总分散程度。 将总平方和除以n-1,可得到y的样本方差。21()niiSSTyy解释平方和 SSE 回归模型所解释的平方和 (SSE): 回归模型所解释的平方和 (SSE),是yi的拟合值yi的在样本中的变动程度

19、的测度指标。 有时记作：MSS21()niiSSEyy残差平方和SSR 残差平方和(SSR) 残差平方和(SSR)是残差ui的样本变异程度的测度指标，表示模型所未解释的y的变动。 有时记作：RSSSSR=2iu SST= SSE+SSR y 的总变动SST等于模型所解释的变动SSE与模型所未解释的变动SSR之和，即 SST=SSE+SSROLS的操作技巧的操作技巧拟合优度拟合优度 SST=SSE+SSR的证明的证明，所以得证0 又因为SSE 2SSR 222222yyuyyuyyyyuuyyuyyyyyyiiiiiiiiiiiiii拟合优度 的定义(Goodness-of-Fit) 想要衡量样

20、本回归线是否很好地拟合了样本数据。 R-平方：回归模型所解释的平方和SSE占总平方和SST的比例： R2 = SSE/SST = 1 SSR/SST R-平方 (R2, R-squared) 决定系数(coefficient of determination)拟合优度的意义 R2是模型所解释的变动SSE占所有变动SST的比例. 可以看作是y的样本变动中可以被x解释的部分的比例. R2 的取值在0和1之间. 一个接近于1的判定系数表明OLS给出了一个良好的拟合，一个于0的判定系数表明OLS给出了一个糟糕的拟合一点说明：拟合优度 在社会科学中，尤其是在截面数据分析中, 一些回归方程的R2，有时很低

21、。 但是，较低的R2，不一定说明OLS回归方程没有价值的。2.4 度量单位和函数形式度量单位和函数形式 改变度量单位对改变度量单位对OLS统计量的影响统计量的影响 在简单回归中加入非线性因素在简单回归中加入非线性因素 “线性线性”回归的含义回归的含义改变度量单位对OLS统计量的影响 一般而言，当因变量乘上常数一般而言，当因变量乘上常数c，而自变量，而自变量不不改变改变时，时，OLS 的的截距和截距和斜率估计量也要乘斜率估计量也要乘上上c 例：用千美元来计算年薪salary = 963.191 + 18.501roe salardol=963191 + 18501roe (千美元） 若自变量被除

22、以或乘以一个非零常数若自变量被除以或乘以一个非零常数c，则，则OLS斜率系数也会分别被乘以或者除以斜率系数也会分别被乘以或者除以c 定义roedec = roe/100，那么样本回归线将会从(estimated salary)=963.191 + 18.501roe 改变到(estimated salary)=963.191 + 1850.1roedec可见，改变自变量的度量单位一般不改变截距值可见，改变自变量的度量单位一般不改变截距值在简单回归中加入非线性因素 非线性因素的必要性：线性关系非线性因素的必要性：线性关系并不适合并不适合所有的经济学运所有的经济学运用用 通过通过对因变量和自变量进

23、行恰当的对因变量和自变量进行恰当的定义定义，我们我们可以在简单回归分析中非常容易地处可以在简单回归分析中非常容易地处理理许多许多y和和x之间的非线性之间的非线性关系关系 例子：工资例子：工资教育模型，见下页教育模型，见下页在简单回归中加入非线性因素自然对数形式例：工资与教育之间的非线性关系: 9初中 12高中 15大专Y3Y2y1wage = exp(b0 + b1edu + u), with b10对数工资方程 对数工资方程：假定每增加一年的教育，工资的增长率都相同。 log(工资) = b0 + b1教育 + u 半弹性模型(semi-elasticity) (log-level) ：b1

24、衡量的是(其他不变)每增加一年的教育，工资的增长率。 y/y = b1 x, if u=0 比较： 在以前所举的工资方程中， 工资= b0 + b1教育 + u, 工资= b1教育, if u=0b1衡量的是(其他不变)每增加一年的教育，工资的增长数量(元) 。 估计弹性 有时，我们想要知道：y对于x的弹性，即x变化1个百分点时，y变化多少个百分点。 (y/y)/(x/x) = b1=？ 不变弹性模型(constant elasticity)：假定y对x的弹性为常数，对x和y进行对数变换，建立简单回归模型： log(y)= b0 + b1log(x) + u y/y = b1x/x, if u

25、=0 例：收入增加1%，消费增加b1%? log(消费) = b0 + b1log(收入) + u在简单回归中加入非线性因素自然对数形式例：消费与收入的关系 收入增加1元，消费增加多少元(1) ？ Level-level: y = b0 + b1x + u 收入增加1%，消费增加多少元（1）?level-log: y = b0 + b1 log(x) + u 收入增加1元，消费增加比率是多少(1100% )？半弹性:Log-level: log(y) = b0 + b1x + u 收入增加1%，消费增加1%？不变弹性:Log-log: log(y) = b0 + b1 log(x) + u问题

26、：什么是线性？“线性”回归的含义OLS估计量的期望值和方差 OLS的无偏性的无偏性 OLS估计量的方差估计量的方差OLS的无偏性的无偏性我们首先在一组简单假定的基础上构建OLS的无偏性。 假定假定SLR.1(线性于参数线性于参数)在总体模型中，因变量y与自变量x的误差项u的关系如下： 其中， 和 分别表示总体的截矩和斜率参数。01yxubb0b1bOLS的无偏性的无偏性 假定假定SLR.2(随机抽样随机抽样)我们具有一个服从从整体模型方程 的随机样本 : i=1,2n，其样本容量为n.01yxubb),(iiyxOLS的无偏性的无偏性 假定假定SLR.3(解释变量的样本有变异解释变量的样本有变

27、异)x的样本结果即 ,i=1,n 不是完全相同的数值。i ix xOLS的无偏性的无偏性 假定假定SLR.4(零零条件均值条件均值)给定解释变量的任何值，误差的期望值都是零。换言之, E(u|x)=0恒成立OLS的无偏性的无偏性 定理定理2.1 OLS的无偏性的无偏性 利用假定SLR.1-SLR.4,对 的任何值，我们都有 ,换言之公式的推导：引理: 1 10 0b bb b和和0011(),()EEbbbb0011,bbbb对而言是无偏的对而言是无偏的1(1)(- )0niix x1111(2)( - )()( - )()( - )nnnniiiiiiiiiiix xyyx x yxnx y

28、x x y1111(3)()()()()( - )nnnnxiiiiiiiiiiiSSTxxxxxx xxnx xx x xOLS的无偏性的无偏性 0111111( - )()( - )( - )()()()nnniiiiiiiiiinxxiiix xyyx x yx xxuSSTSSTxx xxbbb0111111111=(- )+(- )+(- )0(- )(- )(- )nnniiiiiiiinniiiiiinxiiix xx xxx x ux x xx x uSSTx x ubbbb分子OLS的无偏性的无偏性 于是有1111111( - )1()( - )1()-nxiiniiiixx

29、niiiiixSSTx x ux x uSSTSSTd udx xSSTbbbb其中1111111111()()()()( )1()*0nniiiiiixxniixEE d ud E uSSTSSTdSSTbbbbbOLS的无偏性的无偏性010110110011011011()()()=E()+E()( )()0(.()2.1yxxuxxuExE uEEbbbbbbbbbbbbbbbbbb故有利用至此，定理证毕OLS估计量的方差估计量的方差 除了知道除了知道 的抽样分布是以的抽样分布是以 为中心的以为中心的以外，知道我们预期的外，知道我们预期的 究竟离究竟离 多远也非多远也非常重要。在其他条件不变的情况下，这常重要。在其他条件不变的情况下，这就容许我们从所有