清华计量 1 回归分析与模型设定

1、高级计量经济学高级计量经济学(I) 清华大学经济管理学院清华大学经济管理学院 潘文卿潘文卿 Email: panwqsem, Email: panwqsem, 计量经济学 经典 计量 初级中级高级 微观 计量 非参数/ 半参数 时间 序列 Panel data 高级计量经济学高级计量经济学(I) 课程学习目标课程学习目标 本课程是博士生博士生课程，通过该门课程的学 习，学生应掌握现代计量经济学的基本理 论与基本方法，尤其是在基础理论方面有尤其是在基础理论方面有 一个较大的提高一个较大的提高，以为其独立研究打下坚 实的基础。 高级计量经济学高级计量

2、经济学(I) 第一章、回归分析与模型设定第一章、回归分析与模型设定 第二章、经典线性回归模型：假设与估计第二章、经典线性回归模型：假设与估计 第三章、经典线性回归模型第三章、经典线性回归模型：统计检验：统计检验 第四章、经典线性回归模型：第四章、经典线性回归模型：计量检验计量检验 第五章、非线性模型第五章、非线性模型 第六章、第六章、GMM估计估计 第七章、第七章、ML估计估计 参考书：参考书： Davidson and Mackinnon: Econometric Theory and Methods William H. Greene: Econometric Analysis Jeffr

3、ey M. Wooldridge: Econometric Analysis of Cross Section and Panel Data Goldberger: A course in econometrics Fumio Hayashi: Econometrics 李子奈，叶阿忠：高等计量经济学高等计量经济学 李子奈，潘文卿：计量经济学（第三版）计量经济学（第三版） 第一章第一章 回归分析与线性模型回归分析与线性模型 设定设定 回归分析：问题的引入回归分析：问题的引入 回归分析回归分析 线性回归模型线性回归模型 附：附：渐进分布理论简介渐进分布理论简介 一、一、 总体均值与样本均值总体均

4、值与样本均值 How to find the relationship between X and Y? 理论上应寻找总体回归函数总体回归函数( PRF),即在给定X时， Y的条件均值条件均值的函数 : Y|x=E(Y|X)=F(X) 1.1 回归分析回归分析:问题的引入问题的引入 回归分析（回归分析（Regression Analysis）:一种最常用的统计分析一种最常用的统计分析 工具，用来分析一个变量关于其他变量的依赖关系。工具，用来分析一个变量关于其他变量的依赖关系。 X 与与 Y 间的回归关系可用来研究间的回归关系可用来研究X对对Y的影响，或用的影响，或用X来预测来预测Y。 但我们往

5、往只能得到样本数据。因此自然想到用 样本均值样本均值来估计总体均值，总体均值， 并寻找样本回归函数样本回归函数 (SRF): mY|x=f(X) PRF SRF X Y We hope the SRF is a good estimate of the PRF. X Y6.78.812.517.5 0.500.0010.0110.0070.0060.0050.0050.0080.0090.0140.004 0.400.0010.0020.0060.0070.0100.0070.0080.0090.0080.007 0.250.0020.0060.0040.0

6、070.0100.0110.0200.0190.0130.006 0.150.0020.0090.0090.0120.0160.0200.0420.0540.0240.020 0.050.0100.0230.0330.0310.0410.0290.0470.0390.0420.007 0.000.0130.0130.0000.0020.0010.0000.0000.0000.0000.000 -0.050.0010.0120.0110.0050.0120.0160.0170.0140.0040.003 -0.180.0020.0080.0130.0060.0090.0080.0080.0080

7、.0060.002 -0.250.0090.0090.0100.0060.0090.0070.0050.0030.0020.003 p(x)0.0410.0930.0930.0820.1130.1030.1550.1550.1130.052 Table 2.1 Joint frequency distribution of X=income and Y=saving rate A simple illustration: how to find the sample mean 表 2.1 是1960年美国1027个家庭关于收入X(1000$) 与储蓄率Y(%)的联合频率分布. p(xi,yj)

8、 =the proportion of the 1027 families who reported the combination (X=xi and Y=yj). The conditional mean of Y given X=xi is j i ji j j ijjxY xp yxp yxypym i )( ),( )|( | mY|X Conditional mean function of Y on X -0.05 0.000.00 6.78.812.517.5 Income(thousands of dollars)

9、Savings Rate Fig 2.1 同样地,如果可获得总体数据，就可得到给出X值 时Y的总体条件均值总体条件均值 (population conditional means ) (xi,yj) =joint frequencies of the population (xi)=j (xi,yj) =marginal frequencies of X (yj|xi)=(xi,yj)/(xi) =conditional frequencies of Y given X X= i xi(xi) =population mean of X Y|X= j yi(yj|xi) =population

10、 conditional mean of Y given X Y|x=E(Y|X)=F(X) mY|x=f(X) Question: how to get f(x)? 如果经济理论表明如果经济理论表明: Y|X=+X 但表2.1显示 mY|X 并非一条直线 - 我们是保持 mY|X 的原样呢? 还是对样本的 mY|X通过一条 直线来平滑: m*Y|X=a+bX -如果用平滑线, 如何寻找该直线? -用平滑线m*Y|X估计总体均值，要比用样本均值mY|X估计 的效果更好吗? 如果经济理论表明如果经济理论表明: Y|X=X - 如何寻找该曲线(curve)? 平滑的样本曲线 m*Y|X 仍能告知

11、有关 Y|X的相关信息吗？ 二、条件分布二、条件分布 假设(X,Y)的联合概率密度函数联合概率密度函数( joint probability density function , pdf ) 为 f(x,y) ，则 X的边际密度函数边际密度函数(marginal pdf ): fX(x) =f(x,y)dy Y在 X=x 的条件密度函数条件密度函数( conditional pdf ): fY|X(y|x)=f(x,y)/fX(x) 条件 pdf fY|X(y|x) 完全描述 了Y 对 X的依赖关系。 已知条件条件pdf, 可计算: 条件期望条件期望(The conditional mean)

12、 dyxyyfxXYExYE XY )|()|()|( | 条件方差条件方差(The conditional variance) 22 | 2 )|()|( )|()|( )|()|( xYExYE dyxyfxYEy xXYVarxYVar XY 条件偏度条件偏度 (The conditional skewness) 条件峰度条件峰度 (The conditional kurtosis) 2/3 3 )|( |)|( )|( xYVar xxYEYE xYS 2/4 4 )|( |)|( )|( xYVar xxYEYE xYK 1.2 回归分析回归分析 What statistical p

13、roperties does E(Y|X) possess? 一、回归函数及其性质一、回归函数及其性质 定义定义 Regression Function: 称条件期望 E(Y|X)为总总 体体Y关于 X 的回归函数回归函数(regression function )。 Lemma Law of iterated expectation: EE(Y|X)=E(Y) 例例: 设 Y=工资, X=1 (女性) and X=0 (男性)，则 E(Y|X=1) = 女性员工平均工资 E(Y|X=0) = 男性员工平均工资 EE(Y|X) =P(X=1)E(Y|X=1)+P(X=0)E(Y|X=0) =

14、全体平均工资 =E(Y) 一般地: 记Z=h(X,Y)，则 E(Z)=EXE(Z|X) Question: Why is E(Y|X) important from a statistical Perspective? 假设我们希望使用X的函数g(X)来预测Y，且使用 均方误均方误( Mean Square Error ,MSE) 准则来评估 g(X) 逼近Y的程度。 则均方误准则均方误准则（ MSE criterion ）下 的最优预测就是条件期望E(Y|X)。 定义定义 MSE: The mean square error of function g(X) used to predict

15、Y is defined as MSE(g)=EY-g(X)2 记 g0(X)=E(Y|X) 则 MSE(g)=EY-g(X)2 =EY-g0(X) + g0(X)-g(X)2 =EY-g0(X)2 + Eg0(X)-g(X)2 +2EY-g0(X)g0(X)-g(X) = EY-g0(X)2 + Eg0(X)-g(X)2 = 方差 + 偏误2 方差方差测度了Y对其期望期望的真实误差真实误差( true error)。 偏误20，且 g(X)=g0(X)时等号成立. 因此，选择 g(X)=E(Y|X) 可使 MSE(g)达到极小。 证明证明: 使用方差与偏误平方分解技术 问题：Why EY-g

16、0(X)g0(X)-g(X)=0 ? Theorem Regression Identity: 给定 E(Y|X), 总有 如下等价式： Y = E(Y|X)+ = Y-E(Y|X) 这里 称为回归扰动项回归扰动项(regression disturbance)且满足 E(|X)=0 证明: 定义 = Y-E(Y|X)，则 E(|X)=EY-E(Y|X)|X =E(Y|X) E(Y|X)=0 二、回归函数的等价形式二、回归函数的等价形式 注意注意: (a) 回归函数 E(Y|X)可用来通过X的信息预测Y的 均值; (b) E(|X)=0 意味着回归误差 不包含X的任何可 用来预测Y的信息。 换

17、言之, 所有可用来预测Y期望值的信息都完全包 含在 E(Y|X)之中。 条件 E(|X)=0 对模型参数经济含义的解释至关重至关重 要要(crucial )。 (c) E(|X)=0 意味着 E()=EE(|X)=0 且 E(X)=EE(X|X)=EXE(|X)=EX0=0 1.3 线性回归模型线性回归模型 但总起来看, 回归函数 E(Y|X) 的函数形式未知。 Question: How to model E(Y|X)? 一、一、 建立条件期望建立条件期望 E(Y|X)的模型的模型 在经典计量经济学中在经典计量经济学中： By restricting the class of functio

18、ns F, we solve the MSE-minimization problem 一般地, 当用线性函数线性函数(linear functions)来近似 g0(X)： E(Y|X)=0+1X1+kXk 时，也称该式为非随机线性回归模型非随机线性回归模型。其等价的随随 机线性回归模型机线性回归模型为 Y= 0+1X1+kXk+ 同样地, 当用非线性函数非线性函数来近似 g0(X)=E(Y|X)： E(Y|X)=h(Y,X, ) 时，可以用类似的方法来得到E(Y|X) 的非线性回归非线性回归 函数。函数。 因此，可通过求解如下最小化问题 ： min EY-(0+ 1X1+kXk)2 得到回

19、归函数E(Y|X)的线性函数式。 由于总体的数据往往无法得到，一般是在一个有由于总体的数据往往无法得到，一般是在一个有 限容量下的样本来限容量下的样本来线性回归函数线性回归函数。 二、二、 抽样数据下的样本线性回归模型抽样数据下的样本线性回归模型 样本回归函数与总体回归函数图样本回归函数与总体回归函数图 渐进分布理论简介渐进分布理论简介 一、引论一、引论 高级计量经济学高级计量经济学大都依赖于渐近分布理论渐近分布理论。本节 介绍相关的知识。 根据抽样分布理论，简单随机抽样的样本分布 依赖于总体及样本容量的大小： 附：附： 另一方面，对标准化样本均值标准化样本均值(standardized sa

20、mple mean ) 称样本均值的分布样本均值的分布在点退化退化（n）。 有(对任意n): E(Z)=0, Var(Z)=1 二、三种类型的收敛：二、三种类型的收敛： 记Xn为一随机变量序列： cumulative distribution function(cdf): Fn(x)=P(Xnx) , expectation: E(Xn) , Variances: Var(Xn) lim P(|Xn-c| )=0 对所有0 Convergence in Mean Square. 如果存在常数c，使得 lim E(Xn-c)2=0， 则称Xn依均方收敛依均方收敛于c。 推论1： 对随机变量Xn，

21、如果 limE(Xn)=c, limVar(Xn)=0 则Xn依均方收敛于c. 证：E(Xn-c)2=E(Xn-E(Xn)+E(Xn)-c2 =EXn-E(Xn)2+EE(Xn)-c2+2E(Xn-E(Xn)(E(Xn)-c) =Var(Xn)+E(Xn)-c2+2(E(Xn)-c)EXn-E(Xn) =Var(Xn)+E(Xn)-c2 取极限: limE(Xn-c)2=0+0=0 证；证；记An=|Xn-c|，其中0。由Chebyshev 不等式有： 0P(An)E(Xn-c)2/2 取极限： 0 limP(An) 0 即有： lim P|Xn-c|=0 推论2： 如果Xn依均方收敛于c，则

22、必依概率收敛于c。 注意：注意： 依概率收敛是依分布收敛的特例，这时极限分布退 化为一个点。 三、样本均值的渐近性三、样本均值的渐近性 Law of Large Numbers (LLN): In random sampling from any population with E(X)=,Var(X)=2, the Sample mean convergences in probability to the population mean: Plim(1/n)Xi=E(X)= 1 1、大数定理、大数定理 在更弱化的条件下，LLN仍可以使用。 主要的弱化：针对Xi的简单随机抽样简单随机抽样这一条件(独立同分布性独立同分布性 (independent identically distribution