第二章简单线性回归

第二章 一元线性（简单）回归模型计量经济学附录：几个 数学和统计概念1.总体和样本 总体：所研究问题中涉及到的全部个体的总和。又称为样本空间。 样本：总体中的一部分。2.概率与随机变量 令 A表示样本空间中的一个事件。概率 P(A)指在重复实验中时间 A将出现次数的比例。 P（ A）的性质： （ 1）对每个 A有 0P（ A） 1 （ 2）如果 A,B,C. 构成事件的穷举集，则P(A+B+C+)=1, 其中 A+B+C表示 A或 B或 C （ 3）如果 A， B， C. 是互斥事件，则 P(A+B+C+)=P(A)+P(B)+P(C)+.概率：例 考虑投掷一颗骰子的实验。样本空间由结果 1， 2， 36 构成。这 6个事件穷举了整个样本空间。任一结果都有相同的概率出现，P(1)=P(2)=P(3)=1/6 。 由于穷尽， P(1)+P(2)+P(6)=1 又由于互斥， P(1+2+3+6)= P(1)+P(2)+P(6)=13.随机变量 在数学上，一个变量如果它的值由随机试验的结果决定，就称为随机变量。 随机变量分为离散和连续随机变量两种。 离散随机变量只取有限多个值， 例如投掷两颗骰子，将随机变量 X定义为两骰子出现的数字之和，则 X将取如下数字之一：2， 3， 4， 5.12. 连续随机变量可以取某一区间的任何值。4.概率密度函数 （ 1）离散随机变量的概率密度函数 令 X为取 x1， x2， x n的一个离散随机变量，则函数：f(x)=P(X=xi） 对于 i=1,2,n=0 对于 xxi叫做 X的离散概率密度函数，其中 P(X=xi）表示离散变量 X取值 xi的概率例：两颗骰子 定义随机变量 X表示投掷两颗骰子所出现的数字之和，可取的数值共有 11个。此变量的概率密度函数可表示如下：x= 2 3 4 5 6 7 8 9 10 11 12f(x) 1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36(2)连续随机变量的概率密度函数 令 X为一连续随机变量，如果满足以下条件，则称 f(x)是 X的概率密度函数 ：P(ax b)是指 x落在 a到 b区间上的概率 .例：连续随机变量的概率密度分布 考虑如下密度分布 验证上述条件 ,并求 X落在（ 0， 1）区间上的概率。5.集中趋势的度量：期望（均值） 对于随机变量 X，其期望值 E(X)就是对 X的所有可能值得加权平均，权数为概率密度函数。 当 X为离散时容易说明。如 假定 X分别以概率 1/8， 1/2和 3/8取值 -1,0,2则 E（ X） =(-1)1/8+01/2+23/8=5/8期望 对于一个随机变量，其期望 E(X)为 离散变量：其中连续变量：例续：期望的性质 性质 1： E(c)=c,c为常数 性质 2： E(aX+b)=aE(x)+b 性质 3： E(iaiXi)=iaiE(Xi),i=1,2,n6.变异性的度量：方差 对于随机变量 X，通常记期望 E(X)=,反映集中情况 方差则度量 X距离其期望多远。 Var(X)=E(X- )2 有用的表述： Var(X)=E(X2)- 2 标准差：是方差的正的平方根7：样本方差和标准误 从样本实际计算估计总体方差和标准差。 样本方差： 标准误：方差的性质 性质 1： var(c)=0 性质 2： var(aX+b)=a2var(X)均值相同方差不同的两个概率密度函数第一节 模型的建立和假设条件 一、简单回归模型的定义 最基本的计量分析研究如下问题： y和 x是两个代表某个总体的变量，如中国居民的储蓄和收入。感兴趣的是在其他条件不变的情况下， x对 y的影响，或研究 y如何随 x变化。 一般性的，可表示为 y=f(x)。有三个问题 ：（ 1） y和 x的确切关系；（ 2）其他影响 y的因素；（ 3）如何保证是在其他条件不变的情况下刻画了 y和 x之间的关系？简单回归方程 y = b0 + b1x + u 或 yi = b0 + b1xi + ui 上式定义了简单线性回归方程，简单 回 归 的 术语y x因 变 量被解 释变 量响 应变 量回 归 子自 变 量解 释变 量控制 变 量回 归 元简单线性回归y = b0 + b1x + u 简单：只有 2个变量，因此也称为双变量线性回归模型。 线性： y和 x之间、 y和 b之间为线性关系 。 从表达式中可以看出，对于三个基本问题，第一个问题由线性函数解决；第二个问题由误差项 u解决，将其他因素都归入其中；第三个问题由假设 Du=0解决。如果 Du=0， Dy= b1Dx ,参数 b1称为斜率参数，反映了其他条件不变时 x对 y的影响 ；参数 b1称为截距参数。例 2.1 大豆收成与施肥量 农业研究者常假设大豆收成由以下模型决定： yield=b0+b1fertilizer+u yield表示大豆收成（ y）； fertilizer表示施肥量（ x）。感兴趣的是，在其他因素不变的情况下，施肥量如何影响大豆收成。这一影响由 b1给出，误差项 u包括了诸如土地质量、降雨量等因素。系数 b1度量了在其他条件不变的情况下，施肥量对产出量的影响： Dyield= b1Dfertilizer 例 2.2 工资与教育程度 许多研究都分析了工资与受教育程度之间的关系，我们一般预计，受教育程度越高，收入也越高。以下模型表示一个人的工资水平与他的受教育程度及其他不可观测因素之间的关系： 如果工资和教育分别以每小时美元数和受教育的年数来度量，则 b1度量了在其他条件不变的情况下，多接受一年教育导致的小时工资的增长量。强调：线性 线形一词是指参数和干扰项进入方程的方式，而不一定是指变量之间的关系。如 y = b0 + b1x + u, y = b0 + b1cos(x) + u, y = b0 + b1/x + u, ln(y) = b0 + b1ln(x) + u 等均为线形方程。关于误差项 加入 u的原因： （ 1）省略的变量 （ 2）随机行为 （ 3）数学模型近似 （ 4）总量误差 （ 5）测量误差二、总体回归线 先看一个重要结论。 只要方程中包含截距项 b0 ，我们总可以假设E(u)=0。 E为期望符号。 为什么？ 对 y = b0 + b1x + u求期望 ， 由于和的期望等于期望的和 , 因此， E(y)= b0 +b1x+E(u) 如果 E(u)=a0，令 b b0+a,则 E(y)= b+b1x+E(u)-a=b+b1x25.y4y1y2y3x1 x2 x3 x4u1u2u3u4xy简单回归方程的分解：ui=yi (b0 + b1xi )总体回归线： E(y)b0 + b1x三、关于误差项的假设条件 1.零均值假定 为了能够估计未知参数 b，需要作出 u和 x之间关系的一个根本假设： 假设 1： E(u|x) = E(u) = 0 第一个等式说的是给定 x， u的条件期望等于 0，它表明，对于任意给定的 x，无法观测因素的平均值（期望）都相等，并因此必然与总体中 u的平均值也相等，该假定称为 “零条件均值假定 ”。 在该假定下，总体回归线往往表示为：E(y|x)b0 + b1x27.x1 x2总体回归线 E(y|x)是 x的线性函数，对于任何给定的 x， y的分布都 以直线 E(y|x) = b0 + b1x为中心。E(y|x) = b0 + b1xyf(y|x)总体回归线关于给定 X例 2.2（续） 为简化，假定 u就是不可观测的天生能力。零 条件均值的假定有什么含义呢？ 该假定要求，无论受教育程度如何，能力的平均水平都相同。例如 E(abil|9)表示受过 9年义务教育者的平均能力， E(abil|16)表示受过 16年教育（本科生）的平均能力，零条件均值假定意味着两者相等。事实上 所有教育程度的人都具有相同的平均能力。 如果我们认为平均能力随着受教育程度的增加