应用统计多元线性回归.ppt

1、2020/9/12,中国人民大学六西格玛质量管理研究中心,1,第5章 多元线性回归,5.1 多元线性回归模型 5.2 多元回归参数的估计 5.3 参数估计量的性质 5.4 回归方程的显著性检验 5.5 中心化和标准化 5.6 相关阵与偏相关系数 5.7 建模总结与评注,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,2,第5章 多元线性回归,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,3,5.1 多元线性回归模型,一、多元线性回归模型的一般形式,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西

2、格玛质量管理研究中心,4,5.1 多元线性回归模型,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,5,5.1 多元线性回归模型,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,6,5.1 多元线性回归模型,矩阵X是一n(p+1)矩阵,称X为回归设计矩阵或资料矩阵。在实验设计中，X的元素是预先设定并可以控制的,人的主观因素可作用其中,因而称X为设计矩阵。 二、多元线性回归模型的基本假定 为了方便地进行模型的参数估计,对回归方程（5.4）式有如下一些基本假定。,目录 上页 下页 返回 结束,2020/9/12,中国人

3、民大学六西格玛质量管理研究中心,7,5.1 多元线性回归模型,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,8,5.1 多元线性回归模型,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,9,5.1 多元线性回归模型,三、多元线性回归方程的解释 为了给多元线性回归方程及其回归系数一个解释,下面以p=2的一个微观经济问题为例给出回归方程的几何解释和回归系数的经济意义。,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,10,5.1 多元线性回归模型,目录 上页 下页 返回 结束,

4、2020/9/12,中国人民大学六西格玛质量管理研究中心,11,5.1 多元线性回归模型,对于回归方程（5.13）式的图形,已不像一元线性回归时那样,是一条直线,而是一个回归平面。而对一般情况的回归方程（5.3）式，当p2时，回归方程是一个超平面，无法用几何图形表示。,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,12,5.2 多元回归参数的估计,一、回归参数的普通最小二乘估计,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,13,5.2 多元回归参数的估计,目录 上页 下页 返回 结束,2020/9/12,中国

5、人民大学六西格玛质量管理研究中心,14,5.2 多元回归参数的估计,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,15,5.2 多元回归参数的估计,二、回归值与残差,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,16,5.2 多元回归参数的估计,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,17,5.2 多元回归参数的估计,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,18,5.2 多元回归参数的估计,目录 上页 下页 返回 结

6、束,2020/9/12,中国人民大学六西格玛质量管理研究中心,19,5.2 多元回归参数的估计,这是一个重要的结论,我们在多元线性回归模型的基本假定中曾经用过它,这里就更可清楚这个假定的重要意义。结论说明,要想用OLSE估计多元线性回归模型的未知参数,样本容量必须不少于模型中参数的个数。在后边关于回归方程的假设检验中也少不了这一假设,否则检验无任何意义。,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,20,5.2 多元回归参数的估计,三、实例分析 例5.1生产总值是衡量一个国家或地区经济发展状况的重要指标，影响一个国家或地区生产总值的因素包括资本、资源

7、、科技、劳动力、进出口、国家基础设施建设等多方面的因素。本例研究财政支出对生产总值的影响。中国统计年鉴把财政支出划分为31个组成部分。,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,21,5.2 多元回归参数的估计,采用2005年我国31个省、市、自治区的数据，以地区生产总值（万元）为因变量y，以如上13种支出为自变量做多元线性回归，数据见表5.1，其中自变量单位为万元人民币。 用SPSS软件计算出回归系数表见表5.2：,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,22,5.2 多元回归参数的估计,这一回归方

8、程并不理想,所选自变量数目过多，回归系数的显著性检验不能通过，自变量间存在共线性，回归系数的经济意义不好解释,这里只是作为多元线性回归参数估计的一例,后边我们将要进一步完善这一问题模型的建立。,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,23,5.3 参数估计量的性质,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,24,5.3 参数估计量的性质,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,25,5.3 参数估计量的性质,目录 上页 下页 返回 结束,2020/9/1

9、2,中国人民大学六西格玛质量管理研究中心,26,5.3 参数估计量的性质,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,27,5.3 参数估计量的性质,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,28,5.3 参数估计量的性质,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,29,5.3 参数估计量的性质,性质4 Gauss-Markov定理,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,30,5.3 参数估计量的性质,目录 上

10、页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,31,5.4 回归方程的显著性检验,当求出线性回归方程后,还需对回归方程进行显著性检验。多元线性回归方程的显著性检验与一元线性回归方程的显著性检验既有相同之处，也有不同之处。 下面介绍两种统计检验方法,一是回归方程显著性的F检验,另一个是回归系数显著性的t检验。同时介绍衡量回归拟合程度的拟合优度检验。 一、F检验,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,32,5.4 回归方程的显著性检验,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研

11、究中心,33,5.4 回归方程的显著性检验,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,34,5.4 回归方程的显著性检验,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,35,5.4 回归方程的显著性检验,对例5.1题的数据,用SPSS软件计算出的方差分析表如下：,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,36,5.4 回归方程的显著性检验,二、回归系数的显著性检验 在多元线性回归中,回归方程显著并不意味着每个自变量对y的影响都显著,因此我们总想从回归方程中剔除那

12、些次要的、可有可无的变量,重新建立更为简单的回归方程。所以就需要对每个自变量进行显著性检验。,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,37,5.4 回归方程的显著性检验,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,38,5.4 回归方程的显著性检验,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,39,5.4 回归方程的显著性检验,由于某些自变量不显著，因而在多元回归中并不是包含在回归方程中的自变量越多越好，这个问题将在第七章逐步回归中做详细讨论。,目录 上页 下

13、页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,40,5.4 回归方程的显著性检验,在此仅介绍一种简单的剔除多余变量的方法后退法。当有多个自变量对因变量y无显著性影响时,由于自变量之间的交互作用,不能一次剔除掉所有不显著的变量。原则上每次只剔除一个变量,先剔除其中|t|值最小的（或P值最大的）一个变量,然后再对求得的新的回归方程进行检验,有不显著变量再剔除,直到保留的变量都对y有显著影响为止。也可根据对问题的定性分析选择t值较小的变量先剔除。,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,41,5.4 回归方程的显著性检验,目

14、录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,42,5.4 回归方程的显著性检验,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,43,5.4 回归方程的显著性检验,在一元线性回归中，回归系数显著性的t检验与回归方程显著性的F检验是等价的，而在多元线性回归中，这两种检验不同。,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,44,5.4 回归方程的显著性检验,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,45,5.4 回归方程的显著性

15、检验,三、拟合优度,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,46,5.4 回归方程的显著性检验,在两个变量的简单相关系数中,相关系数有正负之分,而复相关系数表示的是因变量y与全体自变量之间的线性关系,它的符号不能由某一个自变量的回归系数的符号来确定,因而复相关系数都取正号。,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,47,5.4 回归方程的显著性检验,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,48,5.5 中心化和标准化,在多元线性回归分析中,因为涉及到多

16、个自变量,自变量的单位往往不同,给利用回归方程进行结构分析带来一定困难。再因为多元回归涉及的数据量很大,就可能由于舍入误差而使计算结果不理想。尽管计算机能使我们保留更多位的小数,但舍入误差肯定还会出现。因此,对原始数据进行一些处理,尽量避免大的误差是有实际意义的。,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,49,5.5 中心化和标准化,一、中心化,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,50,5.5 中心化和标准化,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心

17、,51,5.5 中心化和标准化,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,52,5.5 中心化和标准化,二、标准化回归系数 在上述中心化的基础上,可进一步给出变量的标准化和标准化回归系数。,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,53,5.5 中心化和标准化,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,54,5.5 中心化和标准化,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,55,5.5 中心化和标准化,当自变量所

18、使用的单位不同时,用普通最小二乘估计建立的回归方程,其回归系数不具有可比性，得不到合理的解释。,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,56,5.5 中心化和标准化,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,57,5.5 中心化和标准化,标准化回归系数是比较自变量对y影响程度相对重要性的一种较为理想的方法，有了标准化回归系数后,变量的相对重要性就容易进行比较了。但是,我们仍提醒人们对回归系数的解释须采取谨慎的态度,这是因为当自变量相关时会影响标准化回归系数的大小。参见参考文献13。 几乎所有的统计软件

19、在建立多元线性回归方程时都会自动给出标准化回归系数，通常他们称为贝它（Beta）值。,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,58,5.6相关阵与偏相关系数,一、样本相关阵,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,59,5.6相关阵与偏相关系数,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,60,5.6相关阵与偏相关系数,用SPSS软件计算出的例5.1生产总值数据的增广样本相关阵为,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管

20、理研究中心,61,5.6相关阵与偏相关系数,二、偏判定系数 在多元线性回归分析中,当其他变量被固定后,给定的任两个变量之间的相关系数,叫偏相关系数。,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,62,5.6相关阵与偏相关系数,在讲偏相关系数之前，首先引入偏判定系数。 1两个自变量的偏判定系数,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,63,5.6相关阵与偏相关系数,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,64,5.6相关阵与偏相关系数,2.一般情况,其余情况

21、依此类推。由习题知，偏判定系数与回归系数显著性检验的F值是等价的。 三、偏相关系数 偏判定系数的平方根称为偏相关系数，其符号与相应的回归系数的符号相同。偏相关系数与回归系数显著性检验的t值是等价的。,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,65,5.6相关阵与偏相关系数,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,66,5.6相关阵与偏相关系数,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,67,5.6相关阵与偏相关系数,目录 上页 下页 返回 结束,2020/

22、9/12,中国人民大学六西格玛质量管理研究中心,68,5.6相关阵与偏相关系数,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,69,5.6相关阵与偏相关系数,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,70,5.6相关阵与偏相关系数,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,71,5.7 建模总结与评注,一、多元线性回归模型的建立过程 本章结合两个经济问题实例介绍了多元线性回归模型的建立过程,在此,我们再结合一个实例,把多元线性回归模型的建立过程与应用做一个完整的

23、介绍。,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,72,5.7 建模总结与评注,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,73,5.7 建模总结与评注,第一步，提出因变量与自变量，搜集数据，如例5.3所示。 第二步,做相关分析，设定理论模型。用SPSS软件计算增广相关阵，自变量的偏相关阵，输出结果如下：,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,74,5.7 建模总结与评注,一般认为铁路客运量与民航客运量之间应呈负相关,铁路和民航共同拥有旅客,乘了火车就乘不

24、了飞机。但就中国的实际情况分析,我国居民的收入还很低,一般人外出旅游、出差都乘火车。近年来乘飞机的人也逐渐增多,但我国民航客运量最大的一部分是来华旅游入境人数。国内尽管有些客人乘坐飞机,但对火车客运量不会有大的影响,一是铁路运力不足,十分紧张;二是近年来外出民工增多,而民工主要乘火车,所以不会因民航客运量增加而导致火车客运量下降。因此铁路客运量与民航客运量之间的关系不密切是正常的。,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,75,5.7 建模总结与评注,第三步,用软件计算，输出计算结果。本例采用SPSS软件对原始数据作回归分析，输出结果如下：,目录

25、 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,76,5.7 建模总结与评注,第四步，回归诊断 1.回归方程为,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,77,5.7 建模总结与评注,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,78,5.7 建模总结与评注,第五步，回归应用,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,79,5.7 建模总结与评注,二、评注 对于多元线性回归模型未知参数向量的估计最主要的方法是普通最小二乘估计OLSE。在运用OLSE估计未知参数时应首先看具体问题的样本数据是否满足模型的基本假定,只有满足基本假定的模型才能应用OLSE。,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,80,5.7 建模总结与评注,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,81,5.7 建模总结与评注,目录 上页 下页 返回 结束,2020/9/12,中国人民大学六西格玛质量管理研究中心,8