双变量模型假设检验

1、第3章 双变量模型：假设检验本章主要讲授如下内容：3.1 经典线性回归模型3.2 OLS估计量的方差与标准差3.3 OLS估计量的性质3.4 OLS估计量的抽样分布或概率分布3.5 假设检验3.6 拟合优度检验：判定系数R23.7 正态性检验3.8 预测3.1 经典线性回归模型经典线性回归模型有如下假定：1回归模型是参数线性的，但不一定是变量线性的。2解释变量与扰动误差项不相关，即cov(Xi，ui)=0。3给定Xi，扰动项的期望或均值为0，即E(u|Xi)=0。如图3-1所示。4ui的方差为常数（或同方差），即var(ui)=2。如图3-2所示。5无自相关假定，即cov(ui, uj)=0,

2、 ij。如图3-3所示。6回归模型是正确设定的。3.2 OLS估计量的方差与标准差 3.3 OLS估计量的性质1高斯马尔柯夫定理如果满足经典线性回归模型的基本假定，则在所有线性估计量中，OLS估计量具有最小方差性。即OLS估计量是最优线性无偏估计量（BLUE）。2OLS估计量的性质(1)b1和b2是线性估计量，即它们是随机变量Y的线性函数。 证明： （这里，）其中，。 同样可得：其中，。(2)b1和b2是无偏估计量，即E(b1)=B1，E(b2)=B2。对于b2，证明易知，所以故得 对于b1，证明 易知，。所以故得(3)b1和b2是有效估计量，即在所有线性无偏估计量中最小二乘估计量b1和b2具

3、有最小方差。b1和b2方差求解证明：假设是用其他方法得到的关于B2的线性无偏估计量，。由无偏性，可得：比较等式两边，得：， 而且有：故：同理，可证得：(4)误差方差的OLS估计量是无偏的，即。证明：前面已经提及，现在要证明。对于模型，其离差形式为：根据样本回归函数，其离差形式为：所以故有：因为所以从而 3蒙特卡罗实验 (1)假定给定下列信息Yi = B1 +B2Xi + ui =1.5 +2.0Xi + ui这里，ui N(0, 4)(2) 假定再给Xi 的10个值：1,2,3,4,5,6,7,8,9,10；(3) 使用统计软件产生均值为零和方差为4的随机误差项ui 的10个随机数；(4) 利

4、用上面所给的方程得到Y 的10个值；(5)将Yi 对X 进行回归，得到b1, b2, 和；(6)重复上述步骤21 次，得到如表3-2所示（Table 3-2）的结果。结论：假如反复利用最小二乘法求解参数的估计值，所估计出的参数的平均值将等于其真值。也就是说，OLS 估计量是无偏的。例 题例题1 没有截距项的一元回归模型称之为过原点回归。试证明：（1）如果通过相应的样本回归模型可以得到通常的正规方程组则可得到B2的两个不同的估计值：， （2）在基本假设E(ui)=0下，和均为无偏估计量。（3）拟合线通常不会经过均值点（），但拟合线则经过。（4）只有是B2的OLS估计量。证明：（1）由第一个正规方

5、程，得或求解，得由第二个正规方程，得或求解，得（2）对于，求期望对于，求期望（3）要想拟合线通过点（），必须等于。但通常不等于。因此，点（）不太可能位于直线上。相反地，由于，所以直线经过点（）。（4）OLS方法要求残差平方和最小，即对求偏导，得经整理，得可见，是B2的OLS估计量。例题2 对一元线性回归模型试证明证明：例题3在一元线性回归模型中（1）用不为零的常数去乘每一个X值，这样会不会改变Y的拟合值和残差？（2）如果对每个X都加大一个非零常数，会不会改变Y的拟合值和残差？解：（1）记原总体模型对应的样本回归模型为则有， Yi的拟合值与残差分别为记，则有记新总体模型对应的样本回归模型为则有于

6、是，在新的回归模型下，Y的拟合值与残差分别为可见，对X乘非零常数后，不改变Y的拟合值与模型的残差。（2）如果记则有，于是，新模型的回归参数分别为在新的回归模型下，Y的拟合值与残差分别为可见，对每个X都加大一个非零常数，也不会改变Y的拟合值和残差。例题4 假设有人做了如下的回归其中，yi，xi分别为Yi，Xi关于各自均值的离差。问b1和b2将分别取何值？解：记，则易知于是可见，在离差形式下，没有截距项，只有斜率项。例题5 令bYX和bXY分别为Y对X回归和X对Y的回归中的斜率，证明：bYX bXY= r2其中，r为X与Y之间的线性相关系数。证：容易知道，在上述两个回归中，斜率项分别为， 于是例题

7、6 对于过原点的回归模型，试证明证明：模型的参数b2的OLS估计量为：可得故 例题7 证明：仅当时，Y对X的线性回归的斜率估计量等于X对Y的线性回归的斜率估计量的倒数。证明：设，则有再设，则有于是所以，即两斜率互为倒数。例题8 证明：相关系数的另一个表达式是其中，b2为一元线性回归模型一次项系数的估计值，SX、SY分别为样本标准差。证明：因所以例题9 设回归模型为，这里满足所有的基本假设。现提出B的三个估计量：，请回答以下问题：（1）证明三个估计量都是B的无偏估计量；（2）推导各个估计量的方差，并确定哪个是最小的（如果有的话）？证明：（1）因满足所有的基本假定，所以有因此，可得：（2）因所以3

8、.4 OLS估计量的抽样分布或概率分布1两个定理（1）中心极限定理 大量独立同分布的随机变量的累计结果倾向于正态分布。（2）引理 任何正态分布变量的线性组合也呈现正态分布。 2随机误差项的分布在总体回归函数中，根据经典假设，误差项服从均值为0，方差为的正态分布。即3估计量b1和b2的分布由于OLS估计量是随机误差项的线性组合，根据中心极限定理及其引理，可得3.5 假设检验 1假设检验的含义 首先假定解释变量X对被解释变量Y没有影响，即 如果零假设为真，则没有必要把X纳入模型。2置信区间检验为了确定估计的bi对真实的Bi的“靠近”程度，可设法找出两个正数和（其中0 因此，bi的置信区间为 3显著

9、性检验（1）核心思想 构造检验统计量，以及零假设下检验统计量的抽样分布，根据从样本数据求得的检验统计量的值，决定接受或拒绝零假设。（2）检验方法构造统计量做出检验假设通常假定。根据样本数据，求出t统计量的值比较计算出的t统计值和临界值的大小。如果t值大于临界值，则检验结果显著，即解释变量对被解释变量有显著的影响；否则，影响不显著。3.6 拟合优度检验：判定系数 1判定系数（coefficient of determination）判别估计的回归线拟合真实的Y值的优劣程度。 2总平方和的分解=总平方和（，total sum of squares）=解释平方和（，explained sum of

10、squares）归于回归线=残差平方和（，residual sum of squares）归于随机因素 如图3-8所示。 3判定系数公式= 定义 的两个性质：（1）非负性；（2） 4相关系数（sample coefficient of correlation）3.7 正态性检验 1残差直方图 在水平轴上，将残差值划分成适当的区间，以每个区间中所含观察数的频率为直方图的高度。然后，用正态分布曲线图叠加在频率直方图上，以检验是否呈现正态分布。 2正态概率图利用标准的正态概率纸来画图进行检验。具体方法是，在水平轴上依次分别画出各个不同的残差的值，然后分别以前面的残差值的平均数【如e1，(e1+e2)

11、/2，(e1+e2+e3)/3，】作为纵轴上的值，这样就可以画出一条曲线。如果该曲线接近一条直线，则可以认为残差是正态分布的。 3雅克-贝拉检验雅克和贝拉构建了以下检验统计值：这里，n是样本容量，S表示偏度，K表示峰度。零假设H0：ui是正态分布变量假如计算出的卡方值大于给定检验水平上的临界值，就拒绝正态分布的零假设，即残差是非正态的。否则，接受零假设，即残差呈现正态分布。3.8 预测 1概念预测就是利用所估计的样本回归方程，用解释变量预测期的已知值或预测值，对被解释变量的预测值或样本以外的值作出定量的估计。预测分为点预测和区间预测两种。（1）点预测 点预测就是给定解释变量的值，利用样本回归方程求出相应的样本拟合值，以此作为被解释变量的实际值和其均值的估计值。（2）区间预测 就是对被解释变量的实际值和其均值的可能取值范围作出预测。 2点预测 （1）是条件均值的一个无偏估计在总体回归函数为的情况下，Y在X=X0时的条件均值为通过样本