3多元线性回归模型.ppt

1、第三章 多元线性回归模型,模型的建立及其假定条件 最小二乘估计 最小二乘估计量的统计特性 样本可决系数（R2） 模型参数的检验与置信区间 预测 案例分析,受教育年限与每小时工资：,实际中影响每小时工资的可能还有工作经验、性别、种族和个人能力等。综合考虑这些因素，可以建立下面的多元回归模型：,其中，0为截距， 1、2、 3、4和5称为偏回归系数，表示其他因素不变的情况下，对应解释变量的变化对被解释变量的影响。 例如， 1反映了在性别、种族、工作经验和个人能力不变的情况下，受教育年限每增加1年，每小时收入增加1美元。,多元回归模型的引入,3.1 模型的建立及其假定条件,基本概念 1、多元线性总体回

2、归模型 2、多元线性总体回归直线 3、多元线性样本回归模型 4、多元线性样本回归直线,假定条件 14、随机误差项无序列相关且 同分布 ui N (0,2)； Cov(ui,uj)=0; 5、解释变量与随机误差项彼此不相关 Cov(uj, Xij) =0 ； 6、解释变量之间不存在完全共线性 rank（X）=k1n。,1、总体回归模型,Y = 0 +1X1 + 2X2 + kX k + u 设（X1i,X2i ,X ki），i1,2n是对总体（X1 ,X2 ,X k）的n次独立样本的观测值，则样本结构形式的多元线性回归模型为n个方程、k1个未知数构成的方程组： Y1 = 0 + 1X11 + 2

3、X21 + kXk1 + u1 Y2 = 0 + 1X12 + 2X22 + kXk2 + u2 . Yn = 0 + 1X1n+ 2X2n + kXkn+ un,因此： 这个模型相应的矩阵表示形式为：Y = X + u,2、总体回归方程 E(Y|X1,Xk) = 0 +1X1 + kX k 矩阵形式为： E(Y) = X 3、样本回归模型 矩阵形式为： 4、样本回归方程 矩阵形式为：,其中： 表示被解释变量样本观测值的拟合值的列向量； 表示未知参数估计值的列向量； 表示残差（随机误差项估计值）的列向量。,二、假定条件（与一元线性回归模型相似）,假定1： E(ui) = 0 i1,2n,这样，

4、被解释变量Yi的期望值 为：E(Yi) = 0 +1X1 i+ 2X2i + kX ki,假定2：Var(ui) = Eui - E(ui) 2 = E(ui)2 = 2 i1,2n,这样Yi的方差也相同，且等于 2，即：Var(Yi) = 2 i1,2n,假定3：Cov(ui, uj) = E(ui - E(ui) ) ( uj - E(uj) ) = E(ui, uj) = 0,(i j ) i，j1,2n,即：随机误差项无序列相关。,假定2和假定3可以由下列矩阵表示：,上式称为随机误差向量u的方差协方差矩阵。,假定4：随机误差项服从正态分布，即uiN（0, 2）,同时，被解释变量也服从正

5、态分布： YiN(0 +1X1 i+ 2X2i + kX ki, 2),即样本观测值矩阵X必须是满秩矩阵，应满足：,假定5：Cov(uj, Xij) =0 i1,2k；i，j1,2n,即 ui 与Xi 彼此不相关。,rank（X）=k1n,假定6：解释变量X1 ,X2 ,X k之间不存在完全的线性关系，,3.2 最小二乘法,一、参数的最小二乘估计 二、离差形式参数的最小二乘估计 三、随机误差项方差2的估计量,一、参数的最小二乘估计,根据最小二乘准则：,根据多元函数求极值的必要条件， 应满足下列线 性方程组：,即：,整理得：,矩阵形式：,因为：,于是有：,的最小二乘（OLS）估计量为：,三、随机

6、误差项方差2的估计量,首先，残差的表示形式：,其中： 为一幂等矩阵。即: M=M M=M2=M3=Mn,那么残差的平方和为：,于是：,注：符号 tr 表示矩阵的 迹，它等于矩阵主 对角线上元素之和,所以，随机误差项方差2的无偏估计为：,Se 回归标准差 或残差标准差,3.3 最小二乘估计量的统计特性,线性特性 无偏性 最小方差性（有效性） 高斯马尔可夫（Gauss-Markov）定理,一、线性特性,线性特性：是指最小二乘估计量 是被解释变量观测值Y1,Y2,Yn 的线性函数。,A为一个非随机（确定的）（k1）n阶常数矩阵。,设：,则：,二、无偏性,如果估计量是无偏估计量，则其期望等于真值。 证

7、明：,注：证明过程中利用了随机误差项的基本假定1和解释变量与随机误差项 彼此不相关的假定5。,三、最小方差性（有效性）,最小方差估计量：指该估计量的方差在所有无偏估计量中方差是最小的。,这里，我们只对估计量的方差协方差矩阵的矩阵表示形式予以解证， 关于有效性的证明从略。,（0，1，k） 估计量的方差协方差矩阵.,另：,记：,这里，(Cij)是一个（k1）阶矩阵，而Cij表示位于矩阵C(XX)-1的第i+1行,第j+1列处的元素，例如，C11表示矩阵内第2行、第2列的元素。,因此：,其中，i,j=0,1,2,k,四、高斯马尔可夫（Gauss-Markov）定理,如果基本假定15成立，则最小二乘估

8、计量是的最优线性无偏估计量（Best Linear Unbiased Estimate,简记BLUE）。,由于在的最小二乘估计量的方差（ ）中，2是未知的，因此可以用2无偏估计量S2来代替，这样，有：,3.4 可决系数,总离差平方和的分解 多元样本可决系数（R2） 调整的样本可决系数,一、总离差平方和的分解,对于多元线性回归模型的情形，一元线性回归模型的总离差平方和的分解公式依然成立。即： TSS = RSS+ ESS 其中：,总离差平方和,回归平方和,残差平方和,即：,二、多元样本可决系数,与一元线性回归模型相同： R2 ,样本可决系数是对样本观测值拟合优度的检验，其取值区间为0,1,R2的

9、值越趋近于1，被解释变量的变动由解释变量的变动解释部分越多。表明估计的样本回归方程对样本观测值的拟合程度越好。,三、调整的样本可决系数,R2的一个重要性质是：随着样本解释变量个数的增加， R2的值越来越高，（即R2是解释变量个数的增函数）。也就是说，在样本不变的情况，模型中增加新的解释变量不会改变总离差平方和（TSS），但会增加回归平方和（RSS），减少残差平方和（ESS）,从而可能改变模型的解释功能。,其中：,随机误差项u的样本方差,被解释变量的Y的样本方差,这样，容易形成一种误解，即要想得到较好的拟合程度，只要增加解释变量即可，因此， R2并不能真实反映回归模型对观测数据的拟合程度。,据此

10、得到调整的R2：,样本可决系数与调整的样本可决系数之间的关系,样本容量（T）一定时，调整的R2具有如下性质： 1、若k1，则 2、调整的R2可能出现负值。在这种情况下，我们取其值为0。,注：在实际应用中，不能仅仅根据R2的大小来选择模型。,3.5 模型的显著性检验与区间估计,回归方程的限制条件检验F检验 （若干回归系数为0、Chow检验等） 回归方程的显著性检验（F检验） 回归系数的显著性检验（t检验） 回归系数的置信区间,一、回归方程的限制条件检验（F检验）,含义：是指在一定的显著性水平下，对总体参数之间是否满足一定的限制条件进行检验，例如若干回归系数为0的检验，不同样本回归系数是否相等的检

11、验，回归系数线性约束的检验等。 给定总体回归模型： Y = 0 +1X1 + 2X2 + kX k + u (1)提出假设： H0: 参数满足某个限定条件 H1: 参数不满足该限定条件 (2)估计两个回归模型，首先，对不加限制条件(unrestricted)的回归模型进行估计，得到无限制的残差平方和ESSur；然后，对施加了限制的模型进行估计，得到有限制（restricted）的残差平方和ESSr。在此基础上，计算F统计量：,其中，q表示模型中限制条件的个数。,(3)给定显著性水平查找临界值进行判断（或根据p-值）： 若：F）,不能拒绝原假设H0，认为限制条件成立。 FF （p）,拒绝原假设H

12、0，认为限制条件不成立。, ：不同的限制条件，其有限制模型与无限制模型的形式是不同的，在检验 时一定要合理得设定模型形式。,（1）关于若干个回归系数是否为0的检验,H0: 1=2=q=0 （共有kq） H1: 至少有一个j (j=1,2,q)不等于0,无限制回归模型：,有限制回归模型：,（2）利用不同样本得到的回归系数是否相同（chow检验）,H0: 0=0 1=1 k=k H1: 至少有一个组jj (j=1,2,k),根据第一个样本（容量为n1）估计下面的回归模型，得残差平方和ESS1:,根据第二个样本（容量为n2）估计下面的回归模型为，得残差平方和ESS2:,根据全部样本（容量为nn1n2

13、）估计的回归模型为,得残差平方和ESS合：,附：F分布,F分布：如果X和Z是相互独立的，分别服从分布自由度为n1、n2的2分布 那么：,根据F分别的含义，我们可以推导出： 其中：,F分布可用于检验两个方差是否相等： (1) H0: H1: (2) 假设接受H0，计算F统计量得： (3) 给定显著性水平，比较临界值，进行判断： FF,拒绝原假设H0，认为X、Z来自方差不同的总体。,二、回归方程的显著性检验（F检验）,含义：是指在一定的显著性水平下，从总体上对模型中解释变量与被 解释变量之间的线性关系是否显著成立进行的一种统计检验。 给定总体回归模型： Y = 0 +1X1 + 2X2 + kX

14、k + u (1)提出假设： H0: 1=2=k=0 H1: 至少有一个j(j=1,2,k)不等于0 (2)在H0成立的条件下，计算F统计量： F(k,n-k-1) (3)给定显著性水平查找临界值（或根据p-值）进行判断： 若：F ）,不能拒绝原假设H0,认为总体回归方程不是显著线性的。 FF （p）,拒绝原假设H0,认为总体回归方程是显著线性的。,分子RSS/k表示被解释变量Y拟合值的样本方差； 分母ESS/(T-k-1)表示残差的样本方差即回归方差。,三、回归系数的显著性检验（t检验）,在上述F检验中，若结果拒绝H0，并不代表所有的解释变量X1,X2,Xk 都对解释变量Y有显著影响，因此需

15、要对每一个解释变量进行显著性检验。 t 检验的步骤： （1）提出假设：H0:j0 H1: j0 j=1,2,k （2）在接受H0的情况下，计算 t 统计量： 其中 是 标准差的估计量。 （3） 给定显著性水平，比较临界值(或p-值)，进行判断： （ p）不能拒绝原假设H0， 认为解释变量对被解释变量Y无显著影响； （ p）拒绝原假设H0， 认为解释变量对被解释变量Y有显著影响。,三、回归系数的置信区间,根据：,对于显著性水平，可以从自由度表中查出相应的自由度为（n-k-1）的双侧分位数t/2(n-k-1)，则可求得j的置信区间为：,有：,3.6 预 测,点预测 区间预测 1、E(Y/X)的区间

16、预测 2、Y的区间预测,一、点预测,点预测：就是将解释变量X1,X2,Xk的一组特定值： X0=(1,X10,X20,Xk0) 带入估计的回归方程中，计算出被解释变量Y0 的点预测值： 即：,与一元情形一样，对 有两种解释：,（1）看作Y的条件期望E(Y0/X0)的点估计 （2）看作Y的个别值（真值）Y0的点估计,二、区间预测,1、E(Y0/X0)的区间预测P89,2、真值Y0的区间预测P91,Eviews输出结果说明,Estimation Output 三部分,2、估计结果：系数 、标准差、t统计量及其对应的p-值.,1、作业记录,3、检验统计量,1、作业记录,因变量： 方法： 日期： 时间： 样本区间：1988 1998 包括的观察值个数：11,2、估计结果,t 统计量(2)：检验单 个回归系数是否显著,=（XX）-1XY,