第二章 一元线性回归

Econometrics计 量 经 济 学第二章 一元线性回归2.1 最小二乘法的基本思想及参数估计一、问题的提出 必要性n 如果两个变量之间存在线性变化关系，那么这种关系的具体表现形式是什么？n 最好用数学表达式将这种关系尽可能准确、严谨的表示出来 y= a+bx+u 把它们之间的内在联系挖掘出来。也就是直线中的截距 a=？； 直线的斜率 b=？二、解决问题的思路 可能性n 寻找变量之间直线关系的方法很多。于是如何从众多方法中，寻找一种优良的方法求出线性模型 y= a+bx+u中的截距 a=？； 直线的斜率 b=？n 根据该方法所得，即表现变量之间线性关系的直线有些什么特性？n 所得直线可靠吗？怎样衡量所得直线的可靠性？三、最小二乘法的数学原理n 纵向距离是 Y的实际值与拟合值之差，差异大拟合不好，差异小拟合好，所以又称为拟合误差或残差。n 将所有纵向距离平方后相加，即得误差平方和， “最好 ”直线就是使误差平方和最小的直线。n 于是可以运用求极值的原理，将求最好拟合直线问题转换为求误差平方和最小。数学推证过程拟合直线的性质n 拟合直线过 Y和 X的平均数点n 估计残差和为零n Y的真实值和拟合值有共同的均值n 估计残差与自变量不相关n 估计残差与拟合值不相关残差和 =0平均数相等拟合值与残差不相关 自变量与残差不相关注意：这里的残差与随机扰动项不是一个概念。随机扰动项是总体的残差。估计残差与自变量不相关估计残差与拟合值不相关2.2 线性回归模型的基本假设n 自变量（解释变量）是非随机的确定性的变量，而且彼此之间不相关（对于多个自变量），即n 解释变量与随机误差项之间不相关。n 随机误差项具有零均值和同方差，即n 随机误差项之间不相关，即n （当样本容量趋于无强大时，由中心极限定理，对于任何实际模型都是满足） 以上假设也称为线性回归模型的 经典假设 或高斯（ Gauss） 假设 ，满足该假设的线性回归模型，也称为 经典线性回归模型 （ Classical Linear Regression Model, CLRM）。 几个补充问题（ 1）样本序列的正态性检验n 检验样本序列的正态性可采用 Jarque-Bera检验。该检验的零假设是样本服从正态分布，检验统计量为n 其中 m是产生样本序列时用到的估计系数的个数。在零假设下 JB统计量服从 2(2) 分布。n Jarque-Bera检验n 总体分布的正态性检验一般采取 Jarque-Bera检验。正态分布的偏度（三阶矩） S=0，峰度（四阶矩） K=3，若样本来自正态总体，则他们分别在 0， 3附近。基于此构造一个包含 x2(卡方 )统计量： n n为样本容量 ,k为自由度 . n Jarque和 Bera证明了在正态性假定下，如果 J-B统计量的相伴概率值小于设定的概率水平，则拒绝原假设，不认样本概率服从正态分布；反之，则接受原假设。 n Matlab实现： h=jbtest(female(2,:); %正态性检验 n 若 h=0 接受正态性假设 n Matlab命令： h =jbtest(x)， h,p,jbstat,cv =jbtest(x,alpha)。 n 例如： 样本序列取 2002年我国 30个地区以 1978年为基衡量的实际人均 GDP， 采用 Eviews软件计算有S 2.32 K=8.53 JB=65.29 p-value=0.00则 2002年各地区人均 GDP呈现右偏、尖峰的分布形态，并且在 99%的置信水平下拒绝零假设，即序列不服从正态分布。（ 2）检验的显著性水平虚拟假设： H0； 对立假设： H1。 在假设检验中存在两类错误：拒绝一个其实是真的虚拟假设，即第 类错误；第 类错误是指 H0实际上是错误的，但没有拒绝它。检验的显著性水平（ significance level） 则定义为第 类错误的概率，用符号表示为： P(拒绝 H0 | H0)即当 H0为真时拒绝 H0的概率。（ 3）检验的 p值检验的 p值 (p-value)是指给定 t统计量的观测值，能拒绝虚拟假设的最小显著性水平。小的 p值是拒绝虚拟假设的证据。例 ： df=40, t=1.85（检验统计量的数值），则针对双侧对立假设来检验虚拟假设 的 p值为n 以上 p值意味着，如果虚拟假设正确，那么我们约有7.2%次观察到 t统计量的绝对值至少和 1.85一样大。可以看出， p值越小，对应的统计量值 t应该越大，越可能拒绝 H0。面积 0.0359-1.85 1.85面积 0.0359面积 0.9282n 如果用 表示检验的显著性水平（小数形式），那么 p值 时， 则 拒绝虚拟假设，否则在 100 %显著性水平下，不能拒绝 H0。n 注意（ 1） 对于线性回归方程，一般软件包报告了回归系数及标准误，并且给出了针对双侧对立假设的 p值，将其除以 2，即可得到单侧对立假设的 p值；（ 2） 随着样本容量的扩大，一般使用较小的显著性水平，以作为抵偿标准误越来越小的一种办法；对于小样本容量，可以接受较大的显著性水平，可以让大到 0.202.3 最小二乘估计量的性质当模型参数估计出后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。 考察标准（ 1） 线性性 ，即是否是另一随机变量的线性函数；（ 2） 无偏性 ，即均值或期望值是否等于总体的真实值；（ 3） 有效性 ，即是否在所有线性无偏估计量中具有最小方差。这三个准则也称作估计量的小样本性质。拥有这类性质的估计量称为最佳线性无偏估计量（ best liner unbiased estimator, BLUE）。当不满足小样本性质时，需进一步考察估计量的 大样本 或渐近性质 ：（ 4）渐近无偏性 ，即样本容量趋于无穷大时，是否它的均值序列趋于总体真值；（ 5）一致性 ，即样本容量趋于无穷大时，它是否依概率收敛于总体的真值；（ 6）渐近有效性 ，即样本容量趋于无穷大时，是否它在所有的一致估计量中具有最小的渐近方差。高斯 马尔可夫定理 (Gauss-Markov theorem)在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量。最小 二乘估计量（ 1）线性性，即估计量 是 Yi的线性组合证：易知故同样地，容易得出 （ 2）无偏性，即估计量 的均值等于总体回归参数真值（ 3）有效性（最小方差性，即在所有线性无偏估计量中，最小二乘估计量 具有最小方差先 求 的方差证明最小方差性其中， ci=ki+di， di为不全为零的常数，则容易证明普通最小二乘估计量 （ ordinary least Squares Estimators） 称为 最佳线性无偏估计量