第五章(多元回归分析)

2023/2/2中国人民大学六西格玛质量管理研究中心1第5章多元线性回归

§5.1多元线性回归模型§5.2多元回归参数的估计§5.3参数估计量的性质§5.4回归方程的显著性检验§5.5中心化和标准化§5.6相关阵与偏相关系数§5.7建模总结与评注

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心2第5章多元线性回归目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心3§5.1多元线性回归模型一、多元线性回归模型的一般形式

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心4§5.1多元线性回归模型目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心5§5.1多元线性回归模型目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心6§5.1多元线性回归模型矩阵X是一n×(p+1)矩阵,称X为回归设计矩阵或资料矩阵。在实验设计中，X的元素是预先设定并可以控制的,人的主观因素可作用其中,因而称X为设计矩阵。二、多元线性回归模型的基本假定为了方便地进行模型的参数估计,对回归方程（5.4）式有如下一些基本假定。

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心7§5.1多元线性回归模型目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心8§5.1多元线性回归模型目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心9§5.1多元线性回归模型三、多元线性回归方程的解释

为了给多元线性回归方程及其回归系数一个解释,下面以p=2的一个微观经济问题为例给出回归方程的几何解释和回归系数的经济意义。

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心10§5.1多元线性回归模型目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心11§5.1多元线性回归模型对于回归方程（5.13）式的图形,已不像一元线性回归时那样,是一条直线,而是一个回归平面。而对一般情况的回归方程（5.3）式，当p>2时，回归方程是一个超平面，无法用几何图形表示。目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心12§5.2多元回归参数的估计

一、回归参数的普通最小二乘估计目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心13§5.2多元回归参数的估计

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心14§5.2多元回归参数的估计

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心15§5.2多元回归参数的估计

二、回归值与残差目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心16§5.2多元回归参数的估计

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心17§5.2多元回归参数的估计

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心18§5.2多元回归参数的估计

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心19§5.2多元回归参数的估计

这是一个重要的结论,我们在多元线性回归模型的基本假定中曾经用过它,这里就更可清楚这个假定的重要意义。结论说明,要想用OLSE估计多元线性回归模型的未知参数,样本容量必须不少于模型中参数的个数。在后边关于回归方程的假设检验中也少不了这一假设,否则检验无任何意义。目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心20§5.2多元回归参数的估计三、实例分析例5.1生产总值是衡量一个国家或地区经济发展状况的重要指标，影响一个国家或地区生产总值的因素包括资本、资源、科技、劳动力、进出口、国家基础设施建设等多方面的因素。本例研究财政支出对生产总值的影响。《中国统计年鉴》把财政支出划分为31个组成部分。

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心21§5.2多元回归参数的估计

采用2005年我国31个省、市、自治区的数据，以地区生产总值（万元）为因变量y，以如上13种支出为自变量做多元线性回归，数据见表5.1，其中自变量单位为万元人民币。用SPSS软件计算出回归系数表见表5.2：目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心22§5.2多元回归参数的估计

这一回归方程并不理想,所选自变量数目过多，回归系数的显著性检验不能通过，自变量间存在共线性，回归系数的经济意义不好解释,这里只是作为多元线性回归参数估计的一例,后边我们将要进一步完善这一问题模型的建立。目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心23§5.3参数估计量的性质

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心24§5.3参数估计量的性质

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心25§5.3参数估计量的性质

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心26§5.3参数估计量的性质

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心27§5.3参数估计量的性质

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心28§5.3参数估计量的性质

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心29§5.3参数估计量的性质

性质4Gauss-Markov定理目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心30§5.3参数估计量的性质

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心31§5.4回归方程的显著性检验当求出线性回归方程后,还需对回归方程进行显著性检验。多元线性回归方程的显著性检验与一元线性回归方程的显著性检验既有相同之处，也有不同之处。下面介绍两种统计检验方法,一是回归方程显著性的F检验,另一个是回归系数显著性的t检验。同时介绍衡量回归拟合程度的拟合优度检验。一、F检验目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心32§5.4回归方程的显著性检验目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心33§5.4回归方程的显著性检验目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心34§5.4回归方程的显著性检验目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心35§5.4回归方程的显著性检验对例5.1题的数据,用SPSS软件计算出的方差分析表如下：

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心36§5.4回归方程的显著性检验二、回归系数的显著性检验在多元线性回归中,回归方程显著并不意味着每个自变量对y的影响都显著,因此我们总想从回归方程中剔除那些次要的、可有可无的变量,重新建立更为简单的回归方程。所以就需要对每个自变量进行显著性检验。

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心37§5.4回归方程的显著性检验目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心38§5.4回归方程的显著性检验目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心39§5.4回归方程的显著性检验由于某些自变量不显著，因而在多元回归中并不是包含在回归方程中的自变量越多越好，这个问题将在第七章逐步回归中做详细讨论。目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心40§5.4回归方程的显著性检验在此仅介绍一种简单的剔除多余变量的方法—后退法。当有多个自变量对因变量y无显著性影响时,由于自变量之间的交互作用,不能一次剔除掉所有不显著的变量。原则上每次只剔除一个变量,先剔除其中|t|值最小的（或P值最大的）一个变量,然后再对求得的新的回归方程进行检验,有不显著变量再剔除,直到保留的变量都对y有显著影响为止。也可根据对问题的定性分析选择t值较小的变量先剔除。目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心41§5.4回归方程的显著性检验目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心42§5.4回归方程的显著性检验目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心43§5.4回归方程的显著性检验在一元线性回归中，回归系数显著性的t检验与回归方程显著性的F检验是等价的，而在多元线性回归中，这两种检验不同。目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心44§5.4回归方程的显著性检验目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心45§5.4回归方程的显著性检验三、拟合优度

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心46§5.4回归方程的显著性检验在两个变量的简单相关系数中,相关系数有正负之分,而复相关系数表示的是因变量y与全体自变量之间的线性关系,它的符号不能由某一个自变量的回归系数的符号来确定,因而复相关系数都取正号。

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心47§5.4回归方程的显著性检验目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心48§5.5中心化和标准化

在多元线性回归分析中,因为涉及到多个自变量,自变量的单位往往不同,给利用回归方程进行结构分析带来一定困难。再因为多元回归涉及的数据量很大,就可能由于舍入误差而使计算结果不理想。尽管计算机能使我们保留更多位的小数,但舍入误差肯定还会出现。因此,对原始数据进行一些处理,尽量避免大的误差是有实际意义的。目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心49§5.5中心化和标准化

一、中心化目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心50§5.5中心化和标准化

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心51§5.5中心化和标准化

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心52§5.5中心化和标准化

二、标准化回归系数在上述中心化的基础上,可进一步给出变量的标准化和标准化回归系数。

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心53§5.5中心化和标准化

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心54§5.5中心化和标准化

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心55§5.5中心化和标准化

当自变量所使用的单位不同时,用普通最小二乘估计建立的回归方程,其回归系数不具有可比性，得不到合理的解释。

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心56§5.5中心化和标准化

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心57§5.5中心化和标准化

标准化回归系数是比较自变量对y影响程度相对重要性的一种较为理想的方法，有了标准化回归系数后,变量的相对重要性就容易进行比较了。但是,我们仍提醒人们对回归系数的解释须采取谨慎的态度,这是因为当自变量相关时会影响标准化回归系数的大小。参见参考文献［13］。几乎所有的统计软件在建立多元线性回归方程时都会自动给出标准化回归系数，通常他们称为贝它（Beta）值。目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心58§5.6相关阵与偏相关系数一、样本相关阵

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心59§5.6相关阵与偏相关系数目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心60§5.6相关阵与偏相关系数用SPSS软件计算出的例5.1生产总值数据的增广样本相关阵为目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心61§5.6相关阵与偏相关系数二、偏判定系数在多元线性回归分析中,当其他变量被固定后,给定的任两个变量之间的相关系数,叫偏相关系数。

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心62§5.6相关阵与偏相关系数在讲偏相关系数之前，首先引入偏判定系数。1．两个自变量的偏判定系数目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心63§5.6相关阵与偏相关系数目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心64§5.6相关阵与偏相关系数2.一般情况其余情况依此类推。由习题知，偏判定系数与回归系数显著性检验的F值是等价的。

三、偏相关系数偏判定系数的平方根称为偏相关系数，其符号与相应的回归系数的符号相同。偏相关系数与回归系数显著性检验的t值是等价的。

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心65§5.6相关阵与偏相关系数目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心66§5.6相关阵与偏相关系数目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心67§5.6相关阵与偏相关系数目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心68§5.6相关阵与偏相关系数目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心69§5.6相关阵与偏相关系数目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心70§5.6相关阵与偏相关系数目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心71§5.7建模总结与评注

一、多元线性回归模型的建立过程本章结合两个经济问题实例介绍了多元线性回归模型的建立过程,在此,我们再结合一个实例,把多元线性回归模型的建立过程与应用做一个完整的介绍。目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心72§5.7建模总结与评注

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心73§5.7建模总结与评注

第一步，提出因变量与自变量，搜集数据，如例5.3所示。第二步,做相关分析，设定理论模型。用SPSS软件计算增广相关阵，自变量的偏相关阵，输出结果如下：

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心74§5.7建模总结与评注

一般认为铁路客运量与民航客运量之间应呈负相关,铁路和民航共同拥有旅客,乘了火车就乘不了飞机。但就中国的实际情况分析,我国居民的收入还很低,一般人外出旅游、出差都乘火车。近年来乘飞机的人也逐渐增多,但我国民航客运量最大的一部分是来华旅游入境人数。国内尽管有些客人乘坐飞机,但对火车客运量不会有大的影响,一是铁路运力不足,十分紧张;二是近年来外出民工增多,而民工主要乘火车,所以不会因民航客运量增加而导致火车客运量下降。因此铁路客运量与民航客运量之间的关系不密切是正常的。目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心75§5.7建模总结与评注

第三步,用软件计算，输出计算结果。本例采用SPSS软件对原始数据作回归分析，输出结果如下：目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心76§5.7建模总结与评注

第四步，回归诊断1.回归方程为目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心77§5.7建模总结与评注

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心78§5.7建模总结与评注

第五步，回归应用

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心79§5.7建模总结与评注

二、评注对于多元线性回归模型未知参数向量β的估计最主要的方法是普通最小二乘估计OLSE。在运用OLSE估计未知参数时应首先看具体问题的样本数据是否满足模型的基本假定,只有满足基本假定的模型才能应用OLSE。目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心80§5.7建模总结与评注

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中心81§5.7建模总结与评注

目录上页下页返回结束2023/2/2中国人民大学六西格玛质量管理研究中