计量经济学简单回归模型PPT课件.ppt

第二章简单回归模型 2 1简单回归模型的定义 简单回归模型 即一元线性回归 用来研究两个变量之间的关系 y和x是两个代表某个总体的变量 我们感兴趣的是用x来解释y 或研究y如何随x而变化 在建立计量经济学模型前 我们会面临三个问题 y和x的函数关系是怎样的呢 我们应该如何考虑其他影响y的因素呢 我们何以确定我们在其他条件不变的情况下刻画了y和x之间的关系 术语注解 基本形式 y通常被称为 DependentVariable因变量Left HandSideVariable左边变量ExplainedVariable被解释变量ResponseVariable响应变量PredictedVariable被预测变量Regressand回归子 x通常被称为 IndependentVariable自变量Right HandSideVariable右边变量ExplanatoryVariable解释变量Regressor回归元ControlVariable控制变量PredictorVariable预测变量Covariate协变量 术语注解 u 误差项或者干扰项 代表了除了x之外 可以影响y的其他所有因素 包括没有观测到的 unobserved 或不可观测的因素 unobservable 截矩参数 斜率参数 代表了回归元x的边际效果 是研究的主要兴趣所在 例一个简单的工资方程 wage b0 b1 educ u上述简单工资函数描述了工资和受教育年限 以及其他不可观测因素u之间的关系 b1衡量的是 在其他因素 包含在误差项u里面 不变的情况下 多接受一年教育 可以增加多少工资 其他因素包括 劳动力市场经验 内在的能力 目前所从事工作的工龄 职业道德 以及其他许多因素 包含在u中 几点说明 2 1 方程给出了y和x之间的函数关系 若u中的其他因素都保持不变 即 u 0 则x对y具有线性影响 即 y b1 x 线性形式意味着 不管x的初始值为多少 它的任何一单位变化对y的影响都是相同的 最困难的问题是 模型 2 1 是否真的能让我们得到关于x如何在其他条件不变的情况下影响y的结论 简单回归模型的一个重要假定 零条件均值假定ZeroConditionalMeanAssumption 一个重要问题 在简单回归模型中 y b0 b1x u b1衡量的是 在其他因素 包含在误差项u中 不变的情况下 x对于y的影响 ceterisparibuseffectofxony y b1 x if u 0 但是 在实际中 包含于误差项u中的其他因素往往是不确定的 也就是说 u是一个随机变量 一个重要问题 如果我们忽略包含于误差项u中的其他因素 能否通过简单回归模型 得到x对于y的其他因素不变情况下的影响 ceterisparibuseffectofxony 呢 不能 需要对u和x的关系作出假定 或者是说 假定x与y的关系符合一定的条件 才能通过上述模型估计x对于y的其他因素不变情况下的影响 ceterisparibuseffectofxony 关于u的一个简单假定 假定总体 population 中误差项u的平均值为零 即 E u 0 2 5 Isitveryrestrictive 该假定对于模型是否具有很大的限制性呢 关于u的一个简单假定 一个例子 只要简单回归模型中包含常数项 我们总可以等价变换 使得误差项u均值为0举一个例子 对于一个简单回归模型 y b0 b1x u a 假如E u 1 则可以进行如下变换 y b0 1 b1x u 1 b0 b1x u b 这里 E u E u 1 E u 1 0 上述推导说明 我们总可以通过调整常数项b0 来实现误差项u的均值为零 因此 假定E u 0 对于模型的限制性不大 ZeroConditionalMeanAssumption零条件均值假定 单纯对u作出零值假定是不够的 我们需要对u和x之间的关系做一个关键假定 我们所希望的状况是 u的期望值不依赖于x的数值 也就是 无论x的取值是多少 u的期望值不变 即 E u x E u 换句话说 我们需要u和x完全不相关 零条件期望假定 在前面我们已经假定了E u 0 因此 零条件均值假定可以表述为 E u x E u 0 2 6 Whatdoesitmean 该假定是何含义 零条件均值假定 例1 在简单工资 教育方程中 工资 b0 b1 教育年限 u假定u代表 内在能力 零条件均值假定则表示 E 内在能力 教育年限 6 E 内在能力 教育年限 18 E 内在能力 即 对于不同教育年限的人 他们的内在能力的平均值相同 零条件均值假定 例2 假设期末成绩分数 score 取决于出勤次数 attend 以及其他不可观测的因素u 则可以写出一个简单二元回归模型 成绩 b0 b1 出勤次数 u假定u代表 心理素质 零条件均值假定则表示 E 心理素质 出勤次数 1 E 心理素质 出勤次数 18 E 心理素质 即 对于不同出勤次数的同学 他们的心理素质的平均值相同 零条件均值假定 对b1的另一种解释 对于简单二元回归模型 y b0 b1x u对y求关于x的条件期望 则E y x E b0 b1x u x b0 b1x E u x 注 E b1x x b1x 由零条件均值假定E u x 0 得E y x b0 b1x 该方程是x的线性函数 即y对于x的条件期望是x的线性函数 又称总体回归函数 Populationregressionfunction PRF b1表示 在零条件均值假定的条件下 相对于x的一个单位的变化 y的期望值的变化数量 x1 1 x2 2 E y x b0 b1x y E y x x2 E y x x1 总体回归线 PRF E y x b0 b1x x 2 2普通最小二乘法 OLS 的推导 普通最小二乘法 OLS 的推导 方法一 矩估计方法 零条件均值假定 E u x E u 0有两个意义 1 E u 0 2 E u x E u 根据本书附录中条件期望性质5 PropertyCE 5 p 719 由 2 可得 Cov u x 0因为 Cov u x E u E u x E x E ux E u E x E ux 由 1 得 故有 E ux 0 总体矩条件 假定对于一个总体 population 存在简单回归方程 y b0 b1x u假定零条件均值假定成立 E u x E u 0于是有 1 E u 0 2 E ux 0将u y b0 b1x代入上述等式 1 2 3 E y b0 b1x 0 4 E x y b0 b1x 0 3 4 称为总体的矩条件 将总体矩条件应用于样本 从总体中随机抽取一个样本容量为n的随机样本 用 xi yi i 1 n i表示单个样本 observation 的编号 n是样本总量 xi yi表示第i个样本的相应的变量 每一观测样本i均应满足 yi b0 b1xi ui将前面所假定的总体矩条件 3 4 应用于样本中 这种方法称为矩估计法 methodofmoments 选择参数值b0 b1 使得样本的矩条件成立 与总体中的矩条件 3 4 相对应 在样本中相应的矩条件 samplecounterparts 为 现在的问题就是 通过选择参数值 使得样本相应的矩条件 3 4 成立 即 求解关于的方程组 3 4 普通最小二乘法的推导 根据样本均值的定义以及加总的性质 可将第一个条件变换为代入到第二个矩条件中 普通最小二乘法的推导 因此 OLS估计的斜率为 关于OLS斜率估计量 斜率估计量b1等于样本中x和y的协方差除以x的方差 若x和y正相关 则斜率为正 反之 为负 唯一需要假定的是 x的样本方差不为零 或者说 在样本中 x的观测值必须要有变化 拟合值 fittedvalue 与残差 residual 用样本观测值估计出的回归方程的参数记作根据样本估计参数值和样本观测值xi 我们可计算相应的yi的拟合值 fittedvalue 实际样本观测值yi与其拟合值之间的差值 称为残差 residual 它可以看作是利用样本回归后 估计出来的误差项 样本回归函数 sampleregressionfucntion SRF 同时 根据特定样本估计出的参数 我们可以写出一个与总体回归函数 PRF 相对应的样本回归函数 sampleregressionfucntion SRF 对于一个特定的总体而言 总体回归函数 PRF 是固定的 是未知的 样本回归函数 SRF 则是根据实际的样本数据回归所得到的 是总体回归函数 PRF 的一个估计形式 它随着样本的不同而不同 用不同的方法所得到的样本回归函数 可能也会有差异 家庭人均消费 395 96 0 48 家庭人均收入2003年四川省农户调查样本 n 100 消费和收入单位 元 y4 y1 y2 y3 x1 x2 x3 x4 1 2 3 4 x y 理解 样本回归线 样本数据点和残差 y3 关于OLS的一点说明 残差平方和OLS估计方法实际上就是 找到一条直线 使得残差的平方和 Q 最小 因此 得名 普通最小二乘法 OrdinaryLeastSquares OLS OLS推导方法二 经典OLS估计方法 解一个最小化问题 即通过选取参数 使下列残差平方和最小 推导方法二 对上述残差平方和Q分别对求偏导数 可以得到此最小化问题的一阶条件 这两个方程与前面的矩条件完全一致 可以用相同的方法求解参数 总结 介绍简单线性回归模型的结构 术语 含义零值条件期望假定如何利用矩估计法和经典普通最小二乘法 估计简单回归模型的截矩和斜率参数 2 3OLS的操作技巧 拟合值和残差OLS统计量的代数性质OLS残差和及样本均值都为零回归元和OLS残差的样本协方差为零点总在OLS回归线上拟合值的样本平均值与 的样本均值相等拟合值与残差之间的样本协方差为零拟合优度 OLS的操作技巧 拟合值和残差 拟合值 定义y在x 时的拟合值为残差 第i次观测的残差是 与其拟合值的差若为正 则回归线低估了 若为负 则回归线高估了 换言之 实际上没有一个数据点必须在OLS线上 OLS的操作技巧 OLS统计量的代数性质 OLS残差和及其样本均值均为零代数表示由OLS的一阶条件得出 OLS的操作技巧 OLS统计量的代数性质 回归元和OLS残差的样本协方差为零代数表示由OLS的一阶条件得出 OLS的操作技巧 OLS统计量的代数性质 点总在OLS回归线上代数表示可以由推导出 OLS的操作技巧 OLS统计量的代数性质 拟合值的样本平均值与 的样本均值相等代数表示 拟合值与残差之间的样本协方差为零 OLS的操作技巧 拟合优度 定义总平方和SST解释平方和SSE残差平方和SSR 总平方和SST 总平方和 总平方和 SST 是y在样本中所有变动的测度指标 即它度量了y在样本中的总分散程度 将总平方和除以n 1 可得到y的样本方差 解释平方和SSE 回归模型所解释的平方和 SSE 回归模型所解释的平方和 SSE 是yi的拟合值 yi的在样本中的变动程度的测度指标 有时记作 MSS 残差平方和SSR 残差平方和 SSR 残差平方和 SSR 是残差 ui的样本变异程度的测度指标 表示模型所未解释的y的变动 有时记作 RSS SST SSE SSR y的总变动SST等于模型所解释的变动SSE与模型所未解释的变动SSR之和 即SST SSE SSR OLS的操作技巧 拟合优度 SST SSE SSR的证明 拟合优度的定义 Goodness of Fit 想要衡量样本回归线是否很好地拟合了样本数据 R 平方 回归模型所解释的平方和SSE占总平方和SST的比例 R2 SSE SST 1 SSR SSTR 平方 R2 R squared 决定系数 coefficientofdetermination 拟合优度的意义 R2是模型所解释的变动SSE占所有变动SST的比例 可以看作是y的样本变动中可以被x解释的部分的比例 R2的取值在0和1之间 一个接近于1的判定系数表明OLS给出了一个良好的拟合 一个于0的判定系数表明OLS给出了一个糟糕的拟合 一点说明 拟合优度 在社会科学中 尤其是在截面数据分析中 一些回归方程的R2 有时很低 但是 较低的R2 不一定说明OLS回归方程没有价值的 2 4度量单位和函数形式 改变度量单位对OLS统计量的影响在简单回归中加入非线性因素 线性 回归的含义 改变度量单位对OLS统计量的影响 一般而言 当因变量乘上常数c 而自变量不改变时 OLS的截距和斜率估计量也要乘上c例 用千美元来计算年薪salary 963 191 18 501roesalardol 963191 18501roe 千美元 若自变量被除以或乘以一个非零常数c 则OLS斜率系数也会分别被乘以或者除以c定义roedec roe 100 那么样本回归线将会从 estimatedsalary 963 191 18 501roe改变到 estimatedsalary 963 191 1850 1roedec可见 改变自变量的度量单位一般不改变截距值 在简单回归中加入非线性因素 非线性因素的必要性 线性关系并不适合所有的经济学运用通过对因变量和自变量进行恰当的定义 我们可以在简单回归分析中非常容易地处理许多y和x之间的非线性关系例子 工资 教育模型 见下页 在简单回归中加入非线性因素 自然对数形式 模型 在工资 教育的例子中 假定每增加一年的教育 工资的百分比增长都是相同的能够给出不变的百分比的模型是log wage educ u如果 全微分得出 经济含义是多接受一年教育时工资变化的百分比 例 工资与教育之间的非线性关系 9初中12高中15大专 Y3Y2y1 wage exp b0 b1 edu u withb1 0 对数工资方程 对数工资方程 假定每增加一年的教育 工资的增长率都相同 log 工资 b0 b1 教育 u半弹性模型 semi elasticity log level b1衡量的是 其他不变 每增加一年的教育 工资的增长率 y y b1 x if u 0比较 在以前所举的工资方程中 工资 b0 b1 教育 u 工资 b1 教育 if u 0b1衡量的是 其他不变 每增加一年的教育 工资的增长数量 元 估计弹性 有时 我们想要知道 y对于x的弹性 即x变化1个百分点时 y变化多少个百分点 y y x x b1 不变弹性模型 constantelasticity 假定y对x的弹性为常数 对x和y进行对数变换 建立简单回归模型 log y b0 b1 log x u y y b1 x x if u 0例 收入增加1 消费增加b1 log 消费 b0 b1 log 收入 u 在简单回归中加入非线性因素 自然对数形式 例 消费与收入的关系 收入增加1元 消费增加多少元 1 Level level y b0 b1x u收入增加1 消费增加多少元 1 level log y b0 b1log x u收入增加1元 消费增加比率是多少 1 100 半弹性 Log level log y b0 b1x u收入增加1 消费增加 1 不变弹性 Log log log y b0 b1log x u 问题 什么是线性 线性 回归的含义 我们在本章研究的简单回归模型又被称为简单线性回归模型 看一下方程 就会明白 关键是 方程中的参数 和 是线性的 至于y和x与我们关注的被解释变量和解释变量有何联系 并没有限制 比方说 用简单回归去估计一个诸如 的模型也是毫无问题的 OLS估计量的期望值和方差 OLS的无偏性OLS估计量的方差 OLS的无偏性 我们首先在一组简单假定的基础上构建OLS的无偏性 假定SLR 1 线性于参数 在总体模型中 因变量y与自变量x的误差项u的关系如下 其中 和分别表示总体的截矩和斜率参数 OLS的无偏性 假定SLR 2 随机抽样 我们具有一个服从从整体模型方程的随机样本 i 1 2 n 其样本容量为n OLS的无偏性 假定SLR 3 解释变量的样本有变异 x的样本结果即 i 1 n 不是完全相同的数值 OLS的无偏性 假定SLR 4 零条件均值 给定解释变量的任何值 误差的期望值都是零 换言之 E u x 0恒成立 OLS的无偏性 定理2 1OLS的无偏性利用假定SLR 1 SLR 4 对的任何值 我们都有 换言之公式的推导 引理 OLS的无偏