研究生计量经济学课件第二章.ppt

计量经济模型化过程分析 理论的计量经济模型 不合格 第二章简单回归模型 ChapterOutline本章大纲 DefinitionoftheSimpleRegressionModel简单回归模型的定义DerivingtheOrdinaryLeastSquaresEstimates普通最小二乘法的推导MechanicsofOLSOLS的操作技巧UnitsofMeasurementandFunctionalForm测量单位和函数形式ExpectedValuesandVariancesoftheOLSestimatorsOLS估计量的期望值和方差RegressionthroughtheOrigin过原点回归 回归分析 regressionanalysis 是研究一个变量关于另一个 些 变量的具体依赖关系的计算方法和理论 其用意 在于通过后者的已知或设定值 去估计和 或 预测前者的 总体 均值 回归分析的基本概念 回归分析构成计量经济学的方法论基础 其主要内容包括 1 根据样本观察值对经济计量模型参数进行估计 求得回归方程 2 对回归方程 参数估计值进行显著性检验 3 利用回归方程进行分析 评价及预测 简单回归模型 y b0 b1x u等式只有一个非常数解释变量 我们称之为简单回归模型 一元线性回归模型 SomeTerminology术语注解 SomeTerminology术语注解 简单回归模型 y b0 b1x uy通常被称为 因变量 DependentVariable 左边变量 Left HandSideVariable 被解释变量 ExplainedVariable 回归子 Regressand 响应变量 responsevariable 被预测变量 predictedvariable 术语注解 简单回归模型 y b0 b1x ux通常被称为 自变量 independentVariable 右边变量 right HandSideVariable 解释变量 explanatoryVariable 回归元 regressor 控制变量 controlvariable 预测变量 predictorvariable 术语注解 在简单回归模型 y b0 b1x ub0 b1被称为回归系数 regressioncoefficients b0也被称为常数项或截矩项 interceptterm 或截矩参数 interceptparameter b1代表了解释变量x的边际效果 也被成为斜率参数 slopeparameter 术语注解 在简单回归模型 y b0 b1x uu为误差项 errorterm 或扰动 disturbance 它代表了除了x之外可以影响y的因素 随机误差项主要包括下列因素的影响 1 在解释变量中被忽略的因素的影响 2 变量观测值的观测误差的影响 3 模型关系的设定误差的影响 4 其它随机因素的影响 产生并设计随机误差项的主要原因 1 理论的含糊性 2 数据的欠缺 3 节省原则 术语注解 线性回归的含义 P45 y和x之间并不一定存在线性关系 但是 只要通过转换可以使y的转换形式和x的转换形式存在相对于参数的线性关系 该模型即称为线性模型 Forexample y eb0 b1x u 转化为 log y b0 b1x uForexample Forexample 简单回归模型例子 例2 2 Asimplewageequationwage b0 b1educ u上述简单工资函数描述了受教育年限和工资之间的关系 educ用受教育的年限来度量u 包含了其他非观测因素 如劳动经验 天生素质 任现职时间等 b1 衡量了在其他条件不变的情况下 多接受一年教育 工资可以增加多少 ASimpleAssumption关于u的假定 我们假定总体中误差项u的平均值为零 E u 0 2 5 思考 该假定是否具有很大的限制性 restrictive 呢 ASimpleAssumption关于u的假定 Ifforexample E u 5 Theny b0 5 b1x u 5 therefore E u E u 5 0 上述推导说明我们总可以通过调整常数项来实现误差项的均值为零 因此该假定的限制性不大 ZeroConditionalMeanAssumption条件期望零值假定 y b0 b1x u我们需要对u和x之间的关系做一个关键假定 理想状况是对x的了解并不增加对u的任何信息 换句话说 我们需要u和x相互独立 E u x E u 0 条件期望 令 X Y 代表一个工人总体 X是受教育程度 Y为小时工资 则 E Y x 12 是总体中所有受了12年教育的工人的平均小时工资 E Y x 16 是总体中所有受了16年教育的工人的平均小时工资 那么E Y X 可能 f X ZeroConditionalMeanAssumption条件期望零值假定 由于我们已经假定了E u 0 因此有 E u x E u 0 2 6 思考 该假定是何含义 思考 为什么有这种条件期望的假定 而不直接给出cov x u 0的形式 思考 为什么有这种条件期望的假定 而不直接给出cov x u 0的形式 cov x u 0表示不相关 但在统计学中其含义是无线性相关 不能保证无非线性相关 ZeroConditionalMeanAssumption条件期望零值假定 简单回归模型 y b0 b1x uE u x E u 0 2 6 2 6 说明总体回归函数应满足E y x b0 b1x E y x 是x的线性函数 y的分布以它为中心 x1 5 x2 10 E y x b0 b1x y f y 给定x时y的条件分布 下标的使用惯例 横截面数据 i时间序列数据 t 例2 一个假想的社区有100户家庭组成 要研究该社区每月家庭消费支出Y与每月家庭可支配收入X的关系 PopulationRegressionFunction PRF总体回归函数 为达到此目的 将该100户家庭划分为组内收入差不多的10组 以分析每一收入组的家庭消费支出 1 由于不确定因素的影响 对同一收入水平X 不同家庭的消费支出不完全相同 2 但由于调查的完备性 给定收入水平X的消费支出Y的分布是确定的 即以X的给定值为条件的Y的条件分布 Conditionaldistribution 是已知的 如 P Y 561 X 800 1 4 因此 给定收入X的值Xi 可得消费支出Y的条件期望 conditionalexpectation E Y X Xi 该例中 E Y X 800 605 分析 描出散点图发现 随着收入的增加 消费 平均地说 也在增加 且Y的条件均值均落在一根正斜率的直线上 这条直线称为总体回归线 概念 在给定解释变量Xi条件下被解释变量Yi的期望轨迹称为总体回归线 populationregressionline 或更一般地称为总体回归曲线 populationregressioncurve 称为 双变量 总体回归函数 populationregressionfunction PRF 相应的函数 例2中 个别家庭的消费支出为 式称为总体回归函数 方程 PRF的随机设定形式 表明被解释变量除了受解释变量的系统性影响外 还受其他因素的随机性影响 又称为总体回归模型 1 该收入水平下所有家庭的平均消费支出E Y Xi 称为系统性 systematic 或确定性 deterministic 部分 2 其他随机或非确定性 nonsystematic 部分ui 即 给定收入水平Xi 个别家庭的支出可表示为两部分之和 SampleRegressionFunction SRF样本回归函数 问题 能从一次抽样中获得总体的近似的信息吗 如果可以 如何从抽样中获得总体的近似信息 问 能否从该样本估计总体回归函数PRF 回答 能 例2 2 在例2 1的总体中有如下一个样本 总体的信息往往无法掌握 现实的情况只能是在一次观测中得到总体的一个样本 核样本的散点图 scatterdiagram 样本散点图近似于一条直线 画一条直线以尽好地拟合该散点图 由于样本取自总体 可以该线近似地代表总体回归线 该线称为样本回归线 sampleregressionlines 记样本回归线的函数形式为 称为样本回归函数 sampleregressionfunction SRF 这里将样本回归线看成总体回归线的近似替代 注意 样本回归函数的随机形式 样本回归模型 同样地 样本回归函数也有如下的随机形式 由于方程中引入了随机项 称为样本回归模型 sampleregressionmodel 回归分析的主要目的 根据样本回归函数SRF 估计总体回归函数PRF 注意 这里PRF可能永远无法知道 即 根据 估计 四个概念 总体回归模型总体回归函数样本回归模型样本回归函数 四个概念 总体回归模型总体回归函数样本回归模型样本回归函数 估计 DerivingtheOrdinaryLeastSquaresEstimates普通最小二乘法的推导 回归的基本思想是从样本去估计总体参数 我们用 xi yi i 1 n 来表示一个随机样本 并假定每一观测值满足yi b0 b1xi ui 估计方法有多种 其种最广泛使用的是普通最小二乘法 ordinaryleastsquares OLS y4 y1 y2 y3 x1 x2 x3 x4 u1 u2 u3 u4 x y Populationregressionline sampledatapointsandtheassociatederrorterms总体回归线 样本观察点和相应误差 E y x b0 b1x DerivingOLSEstimates普通最小二乘法的推导 假定 E u x E u 0可以得到 Cov x u E xu 0sinceu y b0 b1x 所以有 E y b0 b1x 0E x y b0 b1x 0Thesearecalledmoment 矩 restrictions DerivingOLSusingM O M 使用矩方法推导普通最小二乘法 矩方法是将总体的矩限制应用于样本中 目标是通过选择参数值 使得在样本中矩条件也可以成立 Thesampleversionsareasfollows DerivationofOLS普通最小二乘法的推导 根据样本均值的定义以及加总的性质 可将第一个条件写为 DerivationofOLS普通最小二乘法的推导 第二个条件 SotheOLSestimatedslopeis因此OLS估计出的斜率为 思考 条件说明什么 斜率估计量等于样本中x和y的协方差除以x的方差 若x和y正相关则斜率为正 反之为负 Alternateapproachtoderivation推导方法二 给定一组样本观测值 Xi Yi i 1 2 n 要求样本回归函数尽可能好地拟合这组值 普通最小二乘法 Ordinaryleastsquares OLS 给出的判断标准是 二者之差的平方和最小 方程组 称为正规方程组 normalequations 为什么不是残差的其他某个函数的最小化 UsingEviewsforOLSregressions使用Eviews进行OLS回归 我们已经推导出公式计算参数的OLS估计值 所幸的是我们不必亲手去计算它们 在Eviews中进行回归非常简单 例2 4工资和受教育程度 526个样本的OLS估计结果 例2 5投票结果和竞选支出 1988年美国众议院173次两党竞选的选举结果 voteA为候选人A所得票数的百分比 shareA为候选人A在竞选支出中所占百分比 Example2 3 CEOSalaryandReturnonEquity例 首席执行官的薪水和资本权益报酬率 Example CEOSalaryandReturnonEquity例 CEO的薪水和资本权益报酬率 变量salary衡量了以1000美元为单位的年薪 其最小值 均值和最大值分别如下 min mean max 223 1281 14822 Roe 净收入 所有者权益 为三年平均值 其最小值 均值和最大值分别为 0 5 17 18 56 3 salary对roe的回归方程为 Example CEOSalaryandReturnonEquity例 CEO的薪水和资本权益报酬率 对估计量的解释 963 19 常数项的估计值衡量了当roe为零时CEO的薪水 18 5 b1的估计值反应了ROE若增加一个百分点工资将平均增加18500美元 Ifroe 30 whatistheestimatedsalary 思考 两条线分别代表什么意思 拟合值和残差 Salaryhat是拟合值 uhat是残差 第二章简单回归模型 2 ChapterOutline本章大纲 DefinitionoftheSimpleRegressionModel简单回归模型的定义DerivingtheOrdinaryLeastSquaresEstimates推导普通最小二乘法的估计量MechanicsofOLSOLS的操作技巧UnitesofMeasurementandFunctionalForm测量单位和回归方程形式ExpectedValuesandVariancesoftheOLSestimatorsOLS估计量的期望值和方差 AlgebraicPropertiesofOLSOLS的代数性质 1 OLS残差和为零 一阶条件 因此OLS的样本残差平均值也为零 AlgebraicPropertiesofOLSOLS的代数性质 2 回归元 解释变量 和OLS残差之间的样本协方差为零 一阶条件 3 OLS回归线总是通过样本的均值 AlgebraicPropertiesofOLSOLS的代数性质 我们可把每一次观测看作由被解释部分和未解释部分构成 4 预测值和残差在样本中是不相关的 自己推导 AlgebraicPropertiesofOLSOLS的代数性质 常用的推导条件 拟合优度 Goodnessoffit MoreTerminology更多术语 定义总平方和 totalsumofsquares SST 为 总平方和是对y在样本中所有变动的度量 即它度量了y在样本中的分散程度 将总平方和除以n 1 我们得到y的样本方差 MoreTerminology更多术语 解释平方和 ExplainedSumofSquares SSE 定义为它度量了y的预测值的在样本中的变动 MoreTerminology更多术语 残差平方和 ResidualSumofSquares SSR 定义为残差平方和度量了残差的样本变异 注意 SSR SSE没有统一的定义 SST SSRandSSE y的总变动可以表示为已解释的变动SSE和未解释的变动SSR之和 即SST SSE SSR 证明SST SSE SSR Goodness of Fit拟合优度 我们如何衡量样本回归线是否很好地拟合了样本数据呢 称R2为 样本 判定系数 coefficientofdetermination 被看作是y的样本变动中被可以被x解释的部分 判定系数的取值范围 0 1 R2越接近1 说明实际观测点离样本线越近 拟合优度越高 Goodness of Fit拟合优度 注意 在社会科学中 特别是在截面数据分析中 回归方程得到低的R2并不罕见 值得强调的是表面上低的R2不一定说明OLS回归方程是没有价值的 Goodness of Fit拟合优度 Example2 8CEO薪水和股本回报Example2 9VotingoutcomesandCampaignExpenditures竞选结果和选举活动开支 2 4度量单位和函数形式 UnitsofMeasurement度量单位 例2 3 首席执行官的薪水和资本权益报酬率其中 salary衡量了以1000美元为单位的年薪 假定薪水的单位是美元 而不是千美元 在Salarys对roe进行回归时OLS截距和斜率的估计值是多少 UnitsofMeasurement度量单位 新的回归方程 一般而言 当因变量乘上常数c 而自变量不改变时 OLS的截距和斜率估计量也要乘上c UnitsofMeasurement测量单位 如果定义roedec roe 100 那么新的回归线变为 一般而言 如果自变量除以或乘上某个非零常数c 那么OLS斜率将乘以或除以c 而截距则不改变 R2呢 UnitsofMeasurement测量单位 结论 改变因变量的度量单位 会以同等倍数改变斜率和截距 改变自变量的度量单位 截距不变 斜率会以相反的方式改变 R2不依赖于度量单位 在简单回归中加入非线性 线性关系并不适合所有的经济学运用然而 通过对因变量和自变量进行恰当的定义 我们可以在简单回归分析中非常容易地处理许多y和x之间的非线性关系 TheNaturalLogarithm自然对数 Log log形式 弹性 Log level形式 半弹性 Level log形式 变量的原始形式和其自然对数的不同组合 在工资 教育的例子中 wage b0 b1educ u估计得到 即每增加一年的教育 工资的增长都是相同的 即0 54美元 合理性 假定每增加一年的教育 工资增长的百分比都是相同的 能够给出不变的百分比效果的模型是If wehave Example2 10 AlogWageEquation将对数工资方程Comparedto和原方程相比 每多接受一年的教育 工资会有8 3 的提高 递增的教育回报 当受教育程度提高时 工资的变化量也随之增加 自然对数的另一个重要用途是用于获得弹性为常数的模型在CEO的薪水和企业销售额的例子中 常数弹性模型是 1是y对x的弹性 这里薪水对销售额的弹性估计量为0 257 2 5OLS估计量的期望值和方差 补充 抽样与抽样分布 什么是推断统计 ThepurposeofStatisticsinference 统计推断 istoobtaininformationaboutapopulationfrominformationcontainedinsample 例1一汽车轮胎制造商生产一种被认为寿命更长的新型轮胎 120个样本 测试 平均里程 36 500公里 推断 新轮胎平均寿命 36 500公里 400个样本 支持人数 160 推断 支持该候选人的选民占全部选民的比例 160 400 40 例2 某党派想支持某一候选人参选美国某州议员 为了决定是否支持该候选人 该党派领导需要估计支持该候选人的民众占全部登记投票人总数的比例 由于时间及财力的限制 主要用在下列两种情况 主要内容 1 抽样估计 estimation 2 假设检验 hypothesistesting 注意 抽样估计只得到对总体特征的近似测度 因此 抽样估计还必须同时考察所得结果的 可能范围 与 可靠程度 1 对所考查的总体不可能进行全部测度 2 从理论上说可以对所考查的总体进行全部测度 但实践上由于人力 财力 时间等方面的原因 无法 不划算 进行全部测度 第一节抽样 随机样本 第二节点估计与抽样分布 例 某大公司人事部经理整理其2500个中层干部的档案 其中一项内容是考察这些中层干部的平均年薪及参加过公司培训计划的比例 总体 2500名中层干部 population 如果 上述情况可由每个人的个人档案中得知 可容易地测出这2500名中层干部的平均年薪及标准差 假如有1500人参加了公司培训 得到了如下的结果 总体均值 populationmean 51800总体标准差 Populationstandarddeviation 400参加公司培训计划的比例为 P 1500 2500 0 60 参数是总体的数值特征Aparameterisanumericalcharacteristicofapopulation 一 点估计 假如随机抽取了一个容量为30的样本 AnnualSalaryManagementTrainingProgram 49094 3Yes53263 9Yes49643 5Yes 根据该样本求得的年薪样本平均数 标准差及参加过培训计划人数的比例分别为 一 点估计 上述估计总体参数的过程被称为点估计 pointestimation 由于点估计量是由样本测算的 因此也称为样本统计量 估计量和估计值 样本的 不包含未知总体参数的 函数称为统计量 由于一个统计量对于不同的样本取值不同 所以 估计量也是随机变量 并有其分布 如果样本已经得到 把数据带入之后 估计量就有了一个数值 称为该估计量的一个实现 realization 也称为一个估计值 estimate 二 抽样分布 在上述某公司30个中层干部的简单随机抽样中 如果再一次抽样的样本与前一次的不同 则可得到另外的平均年薪样本均值 标准差以及受训干部的比例 同样地 如果多次抽样 则可得到多个不同的结果 下表是一个假设的经过500次抽样后的情况表 500个的频数分布与相对频数分布 图500个的相对频数分布 这里 的相对频数分布 就称为的抽样分布 样本统计量的概率分布 是一种理论分布在重复选取容量为n的样本时 由该统计量的所有可能取值形成的相对频数分布随机变量是样本统计量样本均值 样本比例 样本方差等结果来自容量相同的所有可能样本 抽样分布 samplingdistribution 抽样分布的形成过程 samplingdistribution 总体 1 样本均值的抽样分布 1 样本均值的抽样分布 SamplingDistributionof 样本均值的抽样分布 例 设一个总体 含有4个元素 个体 即总体单位数N 4 4个个体分别为x1 1 x2 2 x3 3 x4 4 总体的均值 方差及分布如下 均值和方差 样本均值的抽样分布 现从总体中抽取n 2的简单随机样本 在重复抽样条件下 共有42 16个样本 所有样本的结果为 3 4 样本均值的抽样分布 计算出各样本的均值 如下表 并给出样本均值的抽样分布 样本均值的分布与总体分布的比较 2 5 2 1 25 总体分布 考察样本均值的概率分布形式 分两种况 1 总体分布已知且为正态分布 2 总体分布未知 1 当总体分布已知且为正态分布或接近正态分布时 则无论样本容量大小如何 样本均值都为正态分布 样本均值的抽样分布 当总体服从正态分布N 2 时 来自该总体的所有容量为n的样本的均值 x也服从正态分布 x的数学期望为 方差为 2 n 即 x N 2 n 2 当总体分布未知时 需要用到中心极限定理 CentrallimitTheorem 对容量为n的简单随机样本 样本均值的分布随样本容量的增大而趋于正态分布 经验上验证 当样本容量等于或大于30时 无论总体的分布如何 样本均值的分布则非常接近正态分布 因此统计上常称容量在30 含30 以上的样本为大样本 large sample size 中心极限定理 centrallimittheorem 从均值为 方差为 2的一个任意总体中抽取容量为n的样本 当n充分大时 样本均值的抽样分布近似服从均值为 方差为 2 n的正态分布 中心极限定理 centrallimittheorem x的分布趋于正态分布的过程 三 点估计量的性质 估计量优劣的衡量 用样本统计量 samplestatistics 可以作为其对应的总体的点估计量 pointestimator 但要估计总体的某一指标 并非只能用一个样本指标 而可能有多个指标可供选择 即对同一总体参数 可能会有不同的估计量 点估计量的性质 估计量优劣的衡量 作为一个好的点估计量 统计量必须具有如下性质 无偏性 有效性 一致性 无偏性 unbiasedness 无偏性 估计量抽样分布的数学期望等于被估计的总体参数 有效性 efficiency 有效性 对同一总体参数的两个无偏点估计量 有更小标准差的估计量更有效 一致性 consistency 一致性 随着样本容量的增大 估计量的值越来越接近被估计的总体参数 为什么要研究最小二乘估计量的性质 当模型参数估计出后 需考虑参数估计值的精度 即是否能代表总体参数的真值 或者说需考察参数估计量的统计性质 一个用于考察总体的估计量 可从如下几个方面考察其优劣性 1 线性性 即它是否是另一随机变量的线性函数 2 无偏性 即它的均值或期望值是否等于总体的真实值 3 有效性 即它是否在所有线性无偏估计量中具有最小方差 4 渐近无偏性 即样本容量趋于无穷大时 是否它的均值序列趋于总体真值 5 一致性 即样本容量趋于无穷大时 它是否依概率收敛于总体的真值 6 渐近有效性 即样本容量趋于无穷大时 是否它在所有的一致估计量中具有最小的渐近方差 这三个准则也称作估计量的小样本性质 拥有这类性质的估计量称为最佳线性无偏估计量 bestlinerunbiasedestimator BLUE 当不满足小样本性质时 需进一步考察估计量的大样本或渐近性质 ExpectedValuesandVariancesoftheOLSEstimatorsOLS估计量的期望值和方差 从总体中抽取的不同的随机样本可得到不同的OLS估计量 我们将研究这些OLS估计量的分布 首先 我们在一些假定下证明OLS的无偏性 AssumptionSLR 1 LinearinParameters 假定SLR 1 关于参数是线性的 在总体模型中 因变量y和自变量x和误差u的关系可写作y b0 b1x u 其中b0和b1分别是总体的截距参数和斜率参数 AssumptionSLR 2 RandomSampling 假定SLR 2 随机抽样 假定我们从总体模型随机抽取容量为n的样本 xi yi i 1 2 n 那么可以写出样本模型为yi b0 b1xi ui AssumptionsSLR 3andSLR 4假定SLR 3和SLR 4 假定SLR 3 解释变量的样本有变异在样本中 自变量x并不等于一个不变常数 假定SLR 4 零条件期望 假定E u x 0 那么在随机样本中我们有E ui xi 0 Theorem2 1 UnbiasednessofOLS 定理2 1 OLS的无偏性 使用假定SLR 1到SLR 4 我们可以得到无论b0 和b1取什么值 它们的OLS估计量的期望值等于它们各自的真值 Proof 证明 最后 UnbiasednessSummary无偏性总结 b1和b0的OLS估计量是无偏的无偏性的证明依赖于我们的四个假定 如果任何假定不成立 OLS未必是无偏的记住无偏性是对估计量的描述 对于一个给定的样本我们可能靠近也可能远离真实的参数值 例2 12 学生的数学成绩和学校的午餐项目 该例研究了是否参加学校的免费午餐项目是否能够提高学生在数学考试中的成绩weestimatedthatPredictedmath10 32 14 0 319lnchprg Math10来表示10年级学生的数学成绩Lnchprg表示可以参加学校的免费午餐项目的学生的比例 思考 估计所得方程说明参加免费午餐的学生的比例越多 他们的成绩越差 可信吗 PerformanceandtheSchoolLunchProgram学生的数学成绩和学校的免费午餐项目 产生上述结果的一个可能是u和x是相关的 比如 u包括了贫困率 它影响学生的学习表现 又和是否有资格参加免费午餐项目高度相关 SamplingVarianceoftheOLSEstimatorsOLS估计量的抽样方差 我们知道估计量的随机抽样分布以真值为中心 现在想知道的是这个分布散开的程度了解这一点 分布的分散程度 将对我们如何能够在所有的估计量中 是否有效具有一定的指导意义 SamplingVarianceoftheOLSEstimatorsOLS估计量的抽样方差 在一个附加假定下计算这个方差会容易的多 因此有AssumeSLR 5 Homoskedasticity 假定SLR 5 同方差性 Var u x s2 x1 x2 HomoskedasticCase同方差的情形 E y x b0 b1x y f y x x x1 x2 y f y x HeteroskedasticCase异方差的情形 x3 E y x b0 b1x SamplingVarianceofOLS cont OLS的抽样方差 继续 s2也是无条件方差 被称作误差方差 errorva