第3章一元线性回归模型计量经济学.ppt

1、在第二章，我们以人为设计的收入与消费数据，讨论了总体回归模型与样本回归模型。本章分析一元线性回归模型的经典假定，以及经典假设下的最小二乘估计方法和估计量的统计性质、区间估计、假设检验，并运用蒙特卡洛模拟直观认识和验证最小二乘估计量的统计性质。,回归分析,回归的古典意义： 高尔顿遗传学的回归概念 (父母身高与子女身高的关系) 子女的身高有向人的平均身高回归的趋势 回归的现代意义： 一个被解释变量对若干个 解释变量依存关系的研究 回归的目的（实质）： 由解释变量去估计被解释变 量的平均值,被解释变量Y的条件分布和条件概率： 当解释变量X取某固定值时（条件），Y 的值不确定，Y的不同取值会形成一定的

2、分布，这是 Y 的条件分布。 X取某固定值时，Y 取不同值的概率称为条件概率。 被解释变量 Y 的条件期望： 对于 X 的每一个取值， 对 Y 所形成的分布确 定其期望或均值，称 为 Y 的条件期望或条件均 值，用 表示。注意:Y的条件期望是随X的变动而变动的,Y,X,明确几个概念（为深刻理解“回归”）,4,回归线：对于每一个X的取值 ，都有Y的条件期望 与之对应，代表Y的条件期望的点的轨迹形成的直线或曲线称为回归线。 回归函数：被解释变量Y 的条件期望 随 解释变量X的变化而有规律 的变化，如果把Y的条件期 望表现为 X 的某种函数 ， 这个函数称为回归函数。 回归函数分为：总体回归函数和样

3、本回归函数,X,Y,5,1、总体回归函数的概念 前提：假如已知所研究的经济现象的总体的被解释变量Y 和解释变量X的每个观测值（通常这是不可能的！），那 么，可以计算出总体被解释变量Y的条件期望 ， 并将其表现为解释变量X的某种函数 这个函数称为总体回归函数（PRF） 本质:总体回归函数实际上表现的是特定总体中被解释变 量随解释变量的变动而变动的某种规律性。 计量经济学的根本目的是要探寻变量间数量关系的规律,也 就要努力去寻求总体回归函数。,6,条件期望表现形式 例如Y的条件期望 是解 释变量X的线性函数，可表示为： 个别值表现形式（随机设定形式） 对于一定的 ，Y的各个别值 并不一定等于条件期

4、望，而 是分布在 的周围，若令各个 与条件期望 的 偏差为 ，显然 是个随机变量，则有,2.总体回归函数的表现形式,PRF,作为总体运行的客观规律，总体回归函数是客观存在的，但在实际的经济研究中总体回归函数通常是未知的，只能根据经济理论和实践经验去设定。计量经济学研究中“计量”的根本目的就是要寻求总体回归函数。 我们所设定的计量模型实际就是在设定总体回归函数的具体形式。 总体回归函数中 Y 与 X 的关系可以是线性的，也可以是非线性的。,7,3、如何理解总体回归函数,概念 在总体回归函数中，各个 的值与其条件期望 的偏差 有很重 要的意义。若只有 的影响， 与 不应有偏差。若偏 差 存在，说明

5、还有其他影响因素。 实际代表了排除在模型以外的所有因素对 Y 的影响。 性质： 是期望为 0 有一定分布的随机变量。 重要性：随机扰动项的性质决定着计量经济分析结果的性质和计量经济方法的选择。,1、随机扰动项, 是未知影响因素的代表(理论的模糊性) 是无法取得数据的已知影响因素的代表(数据欠缺) 是众多细小影响因素的综合代表(非系统性影响) 模型可能存在设定误差(变量、函数形式的设定） 模型中变量可能存在观测误差(变量数据不符合实际) 变量可能有内在随机性(人类经济行为的内在随机性),9,2、引入随机扰动项 的原因,样本回归线： 对于X的一定值，取得Y的样本观测值，可计算其条件均值，样本观测值

6、条件均值的轨迹，称为样本回归线。 样本回归函数： 如果把被解释变量Y的样本条件 均值表示为解释变量X的某种函 数，这个函数称为样本回归函 数（SRF）。,10,X,Y,SRF,1、样本回归函数（SRF）,11,样本回归函数如果为线性函数，可表示为 其中： 是与 相对应的 Y 的样本条件均值 和 分别是样本回归函数的参数 个别值（实际值）形式： 被解释变量Y的实际观测值 不完全等于样本条件均值 ，二者之差用 表示， 称为剩余项或残差项： 则 或,2、样本回归函数的函数形式,条件均值形式：,样本回归线随抽样波动而变化:每次抽样都能获得一个样本，就可以拟合一条样本回归线（SRF不唯一)。 样本回归函

7、数的函数形式 应与设定的总体回归函数的 函数形式一致。 样本回归线只是样本条件均 值的轨迹，还不是总体回归 线，它至多只是未知的总体 回归线的近似表现。,12,3、样本回归函数的特点,SRF1,SRF2,Y,X,A X,13,PRF,SRF,4、样本回归函数与总体回归函数的关系,如果能够通过某种方式获得 和 的数值，显然: 和 是对总体回归函数参数 和 的估计 是对总体条件期望 的估计 在概念上类似总体回归函数中的 ，可视 为对 的估计。,14,对比： 总体回归函数 样本回归函数,4、对样本回归的理解,第三章 一元线性回归模型,3.4 例子：中国消费函数, 3.5 对最小二乘估计量统计性质的直

8、观认识-蒙特卡洛模拟,3.3 回归参数的区间估计和假设检验,3.2 拟合优度,3.1 一元线性回归模型参数的估计,本章小结,3.1 一元线性回归模型参数的估计,一元线性回归模型是指模型中只有一个解释变量的模型，也称为简单线性回归模型，其一般形式是：,（3.1.1）,Y为被解释变量，X为解释变量。因为模型中共有两个变量，所以，模型（3.1.1）也被称为双变量线性回归模型，0与1为待估参数，ui为随机误差项或随机扰动项。,一、基本假定,1、对模型与变量的假定,假定1：回归模型对参数（系数） 而言是线性模型。,所谓线性回归模型是指关于参数是线性的模型。无论关于变量是线性还是非线性的模型，只要它关于参

9、数（系数）是线性模型，都称为线性回归模型。比如：,(1)变量、参数均为“线性”，这是线性回归模型；,(2)参数“线性”，变量“非线性”，这也是线性回归模型；,(3)变量“线性”，参数“非线性”，这就是一个非线性回归模型。,(2),(3),(1),假定2：解释变量X是外生变量。即在重复抽样中，X取固定不变的值。这一假定意味着回归分析是条件回归分析，就是以解释变量X的给定值作为条件的。根据这一假定，有解释变量X与随机扰动项ui不相关，即：,假定3：模型是正确设定的。,i=1，2，N,以上这些对随机扰动项的假定是由德国数学家高斯（Gauss）最早提出的，也称为线性回归模型的经典假定或高斯假定，满足上

10、述假定的线性回归模型，称为经典线性回归模型,一、基本假定,2、对随机扰动项的假定,假定6：无自相关假定。,假定5：同方差假定。在给定X的条件下，ui的条件方差为某个常数,i=1，2，N,19,二、普通最小二乘法（OLS）,Yi的变化可以分为两部分，一部分是可以由Xi的变化解释的，另一部分来自随机扰动。Yi向Xi所解释的“平均水平”回归，这就是“回归”的含义。而斜率系数1是指，Xi每变化一个单位，Yi平均变化1个单位。0是样本回归直线的截距。,基于假定3，我们对模型（3.1.1）取条件期望，则有：,（3.1.6）,即：,第一步 构造含有待估计系数的残差平方和 并对其求最小,第二步 对残差平方和求

11、两个系数的偏导数 （一阶条件）,对第二步的进一步演算,在（3.1.9）式中，令 ， ，xi和yi分别称为Xi和Yi的离差形式，也可称为对Xi和Yi的中心化处理。为方便，我们 以下分析过程中，将和号简写。容易证明： （3.1.10） （3.1.11） 于是，估计量（3.1.9）可以表示为离差形式： （3.1.12） 在计量经济学中，往往以小写字母表示对均值的离差。由于 和 是从最小二乘原理推导出来的，故称为普通最小二乘估计量。将样本数据代入估计量的计算公式（3.1.12）即可求得参数的估计值。,例3.1.1,题目,表3.1.1 2008年中国各地区城市居民人均年消费支出和可支配收入,数据来源：中

12、国统计年鉴2009,请回答：我国宏观经济中的边际消费倾向是多少？,例3.1.1,解答,我们设定样本回归模型 其中Yi为城市居民家庭平均每人每年消费支出；Xi为城市居民人均年可支配收入。使用这组样本数据，对(3.1.13)做最小二乘估计，结果为 从样本回归函数可知，边际消费倾向 ， 也就是说收入每增加1元，消费平均增加0.6647元。,（3.1.13）,（3.1.14）,例3.1.1,思考,25,三、最小二乘估计量的统计性质,参数估计量的主要性质,无偏性,有效性,线性性,即估计量是随机样本数据的线性函数；,即估计量的期望等于总体的真实值， 即：,即估计量 在所有线性无偏估计量 中具有最小方差，也

13、称为最小方 差性，即：,最优线性无偏估计量,估计 量的 有限 样本 性质,26,三、最小二乘估计量的统计性质,参数估计量的主要性质,渐近无偏性,渐近有效性,一致性,即样本容量趋于无穷大时，估计量的期望趋于总体真实值，即：,即样本容量趋于无穷大时，估计量依概率收剑于总体的真实值，即：,其中：符号“Plim”表示概率极限，因 为随机变量没有极限值，只能求概率 极限。,即样本容量趋于无穷大时，估计量 在所有的一致估计量 中具有最小的渐近方差，即：,估计 量的 大样本性质或 渐近 性质,高斯-马尔可夫定理,由以上分析可以看出，普通最小二乘估计量（ordinary least squares estim

14、ators）在经典假定下具有线性性、无偏性和最小方差性等性质，称具有这些性质的估计量为最优线性无偏估计量（ best linear unbiased estimator ，BLUE）。 高斯-马尔可夫定理（Gauss-Markov theorem） 在经典假定下，普通最小二乘估计量具有线性性、无偏性和最小方差性（ BLUE） 。,3.2 拟合优度,如图3.2.1（a）和（b）中的直线，它们分别表示由散点表示的样本数据所对应的样本回归直线（OLS估计的样本回归直线），它们都是通过残差平方和最小而产生的直线，但是二者对样本观测值的拟合程度显然是不同的。这两条直线，谁拟合得更好？这就需要使用拟合优度

15、的概念。,3.2.1,一、总离差平方和的分解,已知由一组样本观测值 得到如下样本回归直线： Y的第 个观测值与样本均值的离差 可分解为两部分之和,（3.2.1）,（3.2.2）,图3.2.2 总离差的分解示意图,RSS称为残差平方和（residual sum of squares，RSS），反映样本观测值与估计值偏离的大小，也是模型中解释变量未解释的离差。,（3.2.7),（3.2.6),ESS称为回归平方和（explained sum of squares，ESS），反映由模型中解释变量所解释的那部分离差的大小。,TSS称为总平方和（total sum of squares，TSS），它反映

16、样本观测值总体离差的大小。,对于所有样本点，由于 可以证明 ，所以有,（3.2.3),（3.2.5),（3.2.4）,二、拟合优度,ESS占Y的总离差平方和的比例,度量了回归直线对样本观测值的拟合优度。这一比例记为R2 ，被称为判定系数。,（3.2.8）,如果样本回归直线与样本观测值完全拟合，或者说，所有的样本点全部落在样本回归直线上，则有R2=1。但是，由于样本的随机性，样本回归直线（或者估计的模型）与样本观测值完全拟合，亦即R2=1的情况很少发生。R2越大，说明在总变差中由回归解释的部分所占比重越大，拟合优度越高。反之，R2越小，说明估计的模型对样本观测值的拟合程度越差。,3.3 回归参数

17、的区间估计和假设检验,一、回归参数估计量的概率分布,的概率分布,在ui服从正态分布的假设下，即： uiN(0,2) 则Yi服从正态分布，所以 也服从正态分布，其分布特征由其均值和方差唯一决定，即,（3.3.2）,（3.3.1）,3.3 回归参数的区间估计和假设检验,一、回归参数估计量的概率分布,的标准差,于是， 的标准差分别为,（3.3.3）,（3.3.4）,3.3 回归参数的区间估计和假设检验,一、回归参数估计量的概率分布,的标准化变换,（3.3.6）,（3.3.5）,若将正态随机变量 做标准化变换 即经过标准化变换的 均服从标准正态分布。,3.3 回归参数的区间估计和假设检验,一、回归参数

18、估计量的概率分布,的标准误,我们定义：,用 代替 的标准差中的2，得到估计量的标准差的估计，为区别起见，称为标准误：,可以证明，用标准误对 作标准化变换，所得到的 和 已经不再服从 ，而是服从 ，即,（3.3.8）,（3.3.10）,（3.3.11）,（3.3.7）,（3.3.9）,二、回归参数的区间估计,参数估计中的区间估计,选择一个显著性水平(01)，并求一个正数，使得随机区间( )包含参数 （真实值）的概率为1-，即 其中，1- 称为置信系数（置信度、置信水平）, 称为显著性水平，而 ( )称为具有置信水平 1- 的置信区间，也就是说，我们有 1- 的“把握”认为，置信区间覆盖了真值 。

19、这个区间也称为 的区间估计。置信区间的两个端点称为置信上限和置信下限。,二、回归参数的区间估计,具体构造参数的区间估计,给定置信度1-，从t 分布表中查得自由度为 的临界值 ，那么t 值处在（- ， ）内的概率是 1-（图3.3.1的中间空白区域面积），即 整理（3.3.14）式得,于是得到 的置信度为1- 的置信区间,（3.3.13）,（3.3.15）,（3.3.16）,（3.3.14）,图3.3.1 t分布的1- 置信区间,三、变量的显著性检验：t 检验,为检验收入（X）是否显著地解释了消费（Y）的平均变化，设定假设检验的原假设（虚拟假设）和备择假设（对立假设）分别是 : , : 如果收入

20、（X）显著地解释了消费（Y）的平均变化，那么参数 的估计值应该显著不为0，也就是说，我们应该以某种显著性水平拒绝原假设 。 由（3.3.11）式我们已经知道，在随机误差项的正态性假定下，有 将原假设代入以上的 t 统计量中，有 给定一个显著性水平=0.05，在 t 分布表中可以查到一个对应的临界值 ，于是， 所界定的区间为接受域（严格意义上应该称为不拒绝域），而 称为拒绝域。 同理，如果原假设和备选假设分别是 ： ， ： 将原假设代入（3.3.10）中，有,图3.3.2 t检验法和p值检验法等价示意图-双侧检验,（3.3.17）,（3.3.18）,四、检验统计量的 p 值,对回归参数的假设检验

21、是在给定的显著性水平下做出的，因此当给定的显著性水平不同时，检验所得的结论很可能不同，甚至会产生相反的结论。在原假设既定、t 统计量已确定的情况下，对参数假设检验的结论与显著性水平息息相关。如何避免选择 的主观性?一个简单的方法是，在既定原假设下，计算t统计量的值，记为 ，在t分布表中可以查到 所对应的双尾（在概率趋于0的方向）的概率值，这个概率值即为t统计量的值等于 时的p值。p值参看图3.3.2，用公式表示，即为 使用这个p值就勿需人为地选择显著性水平，即可方便的做出拒绝或者不拒绝原假设的结论。,当原假设不是等于某个值，而是大于等于或者小于等于某个值时，就要使用单侧检验，包括：（1）左侧检

22、验： ： ， ： ， 。此时临界值是 ，拒绝域是 。或者使用p值产生检验结论，见图3.3.3； （2）右侧检验： ： ， ： ， 。此时临界值是 ，拒绝域是 。或者用p值做出拒绝或者不拒绝原假设的结论，见图3.3.4。,图3.3.4 t检验法和p值检验法等价示意图-右侧检验,图3.3.3 t检验法和p值检验法等价示意图-左侧检验,单侧检验,3.4 例子：中国消费函数,表3.1.1 2008年中国各地区城市居民人均年消费支出和可支配收入,数据来源：中国统计年鉴2009,数 据,3.4 例子：中国消费函数,模型估计,根据凯恩斯消费理论,对于表3.1.1中的消费和收入的数据，回归模型设定为： Y城市

23、居民家庭平均每人每年消费支出(元) X城市居民人均年可支配收入(元) 基于表3.1.1的数据， 运用OLS估计结果如下: 其中，第一行是估计的回归方程，第二行是对应估计量的标准误，第三行是对应参数在原假设下的t值，最后一行是拟合优度。,（3.4.1）,（3.4.2）,3.4 例子：中国消费函数,估计检验 与 经济解释,从估计的结果看,估计的斜率系数为 0.6647，说明城镇居民人均可支配收入每增加 1元，人均消费支出平均增加 0.6647元，即边际消费倾向的估计值 ，这一结果不仅符合经济理论中关于对边际消费倾向的假定，同时也说明，如果提高收入水平，能比较明显的扩大消费。估计的截距为 725.3

24、459，可以认为是自主性消费支出，即当收入为零的时候还存在的消费。但是，在计量经济学中，一般对截距不做解释，因为解释变量为 0几乎没有经济学意义。以上对估计结果的分析表明，估计结果不仅与相关经济理论一致，也体现了比较明显的现实经济意义。 由（3.3.19）式和（3.3.20）式可知 的 t值为 22.496， 的 t值为 1.589，给定显著性水平 ，查表得临界值为 。由 ，拒绝原假设，说明斜率 在 5%的显著性水平下显著不为 0，这表明，可支配收入对消费有显著影响。而 ，不能拒绝截距为零的原假设。等价地，p值分别为 0.0000和 0.1229分别小于和大于 0.05，结论和 t值检验一样。

25、 拟合优度为 =0.946，说明模型整体上对样本数据拟合较好，即解释变量“城市居民人均年可支配收入”解释了被解释变量“城市居民人均年消费支出”的平均变化的 94.6%。,我国居民消费主要取决于居民可支配收入。但我国个人收入在国民收入的初次分配 (在初次分配中，国民收入被分解为三个基本的部分：国家收入、企业收入、个人收入)中的占比长期偏低。因此提高消费的关键在于收入分配的改革。基于边际消费倾向的估计值，就可以得到相关乘数，由 ，投资乘数 ，表示当投资增加1个单位时，将导致总产出平均增加 2.982个单位。以上的分析为制定收入分配改革的政策和制定投资规模提供了重要的信息。,政策分析与评价,模型应用

26、,3.5 对最小二乘估计量统计性质的直观认识 蒙特卡洛模拟,由前述，在一元线性回归模型中，满足经典假设的最小二乘估计量，具有无偏性，最小方差性，随机误差项服从正态分布的假定下，估计量也服从正态分布。本节我们设计一个简单的蒙特卡洛仿真实验，以验证OLS估计量的统计性质。,具体步骤,第一步,第二步,设定一个“真实”的总体回归模型： 其中 服从标准正态分布，样本容量N =20,其中Xi 分别取值如下：16、13、90、88、10、11、97、86、19、11、15、95、12、87、11、88、94、99、15、96。,(3.5.1),从标准正态分布中随机抽取 值，将X的值代入模型（3.5.1）并生成数据集 。,具体步骤,第三步,第四步,设定样本回归模型 以生成的数据集 为被解释变量的样本值，对Xi 做OLS 回归，获得 和 的估计值 和 。,和 为满足线性无偏的非OLS估计量，其中 为满足下述(3.5.2)条件的任意随机数，在本例中, 是通过从标准正态分布抽取的随机数乘以0.01得到,而 和 则是通过满足(3.5.2)式条件下解方程组获取(感兴趣读者可尝试用