多元回归分析法的介绍及具体应用

多元回归分析法的介绍及具体应用在数量分析中，经常会看到变量与变量之间存在着一定的联系。要了解变量之间如何发生相互影响的，就需要利用相关分析和回归分析。回归分析的主要类型：一元线性回归分析、多元线性回归分析、非线性回归分析、曲线估计、时间序列的曲线估计、含虚拟自变量的回归分析以及逻辑回归分析等。这里主要讲的是多元线性回归分析法。1. 多元线性回归的定义说到多元线性回归分析前，首先介绍下医院回归线性分析，一元线性回归分析是在排除其他影响因素或假定其他影响因素确定的条件下，分析某一个因素（自变量）是如何影响另一事物（因变量）的过程，所进行的分析是比较理想化的。其实，在现实社会生活中，任何一个事物（因变量）总是受到其他多种事物（多个自变量）的影响。一元线性回归分析讨论的回归问题只涉及了一个自变量，但在实际问题中，影响因变量的因素往往有多个。例如，商品的需求除了受自身价格的影响外，还要受到消费者收入、其他商品的价格、消费者偏好等因素的影响；影响水果产量的外界因素有平均气温、平均日照时数、平均湿度等。因此，在许多场合，仅仅考虑单个变量是不够的，还需要就一个因变量与多个自变量的联系来进行考察，才能获得比较满意的结果。这就产生了测定多因素之间相关关系的问题。研究在线性相关条件下，两个或两个以上自变量对一个因变量的数量变化关系，称为多元线性回归分析，表现这一数量关系的数学公式，称为多元线性回归模型。多元线性回归模型是一元线性回归模型的扩展，其基本原理与一元线性回归模型类似，只是在计算上更为复杂，一般需借助计算机来完成。2. 多元回归线性分析的运用具体地说，多元线性回归分析主要解决以下几方面的问题。（1） 、确定几个特定的变量之间是否存在相关关系，如果存在的话，找出它们之间合适的数学表达式；（2） 、根据一个或几个变量的值，预测或控制另一个变量的取值，并且可以知道这种预测或控制能达到什么样的精确度；（3） 、进行因素分析。例如在对于共同影响一个变量的许多变量（因素）之间，找出哪些是重要因素，哪些是次要因素，这些因素之间又有什么关系等等。3. 多元线性回归分析3.1 多元线性回归分析的原理回归分析是一种处理变量的统计相关关系的一种数理统计方法。回归分析的基本思想是： 虽然自变量和因变量之间没有严格的、确定性的函数关系，但可以设法找出最能代表它们之间关系的数学表达形式。3.2 多元线性回归模型及其矩阵表示设 是一个可观测的随机变量，它受到 个非随机因索 , , 和随机y p1x2p因素 的影响，若 与 , , 有如下线性关系：y1x2p（1.1）px10其中 , , 是 个未知参数， 是不可测的随机误差，且通常假定01p.我们称式（ 1.1）为多元线性回归模型 .称 为被解释变量（因），（ 2N y变量） ， 为解释变量（自变量）.),(ix称 pxyE10（1.2）为理论回归方程.对于一个实际问题，要建立多元回归方程，首先要估计出未知参数 ,0，1, ,为此我们要进行 次独立观测，得到 组样本数据 ，pnn);,(21ipiyx，他们满足式（ 1.1） ，即有ni,2（1.3）npnn pxxy 210 222 112101其中 相互独立且都服从 .,21 ),0(N式（1.3）又可表示成矩阵形式： XY（1.4）这里， ， ， ，TnyY),(21Tp),(10 Tn),(21， 为 阶单位矩阵.),0(2nnIN npnpxxX 212112阶矩阵 称为资料矩阵或设计矩阵，并假设它是列满秩的，即)1(pn.Xrak由模型（1.3）以及多元正态分布的性质可知， 仍服从 维正态分布，它Yn的期望向量为 ，方差和协方差阵为 ，即 .nI2),(2IXN3.3 参数的最小二乘估计及其表示1. 参数的最小二乘估计与一元线性回归时的一样，多元线性回归方程中的未知参数 仍p,10然可用最小二乘法来估计，即我们选择 使误差平方和Tp),(10 ni ipiii TTi xxyXYQ1 22102 )()( 达到最小.由于 是关于 的非负二次函数，因而必定存在最小值，)(p,10利用微积分的极值求法，得 ni ipiiipni ikpiiikni ipiiii iiii xxyQxxyQ121012101 121010 0)(2)( )()( 0)(2)( 这里 是 的最小二乘估计.上述对 求偏导，),10(i ),pi )(Q求得正规方程组的过程可用矩阵代数运算进行，得到正规方程组的矩阵表示： 0)(XYT移项得 T（.）称此方程组为正规方程组依据假定 ，所以 故 存在解1)(pXR1)(pXRT 1)(XT正规方程组（.）得YT1)(（.）称 为经验回归方程pxxy2102误差方差 的估计将自变量的各组观测值代入回归方程，可得因变量的估计量（拟合值）为 ),(221XyYp向量 称为残差向量，其YHIXIYe nTn )()( 1中 为 阶对称幂等矩阵， 为 阶单位阵TXH1)( nI称数 为残差平方和（rror Sum of Squares,简YHIeTTnT )(写为 SSE） 由于 且 ，则YE)(0)(In)()()( TnnTT EHItrItrEe 12TX)(trT12pn从而 为 的一个无偏估计epnT1223.4 逐步回归 当自变量的个数不多时，利用某种准则，从所有可能的回归模型中寻找最优回归方程是可行的.但若自变量的数目较多时，求出所有的回归方程式很不容易的.为此，人们提出了一些较为简便实用的快速选择最优方程的方法，我们先根据“前进法”和“后退法”的思想，再详细介绍“逐步回归法” 。1.前进法和后退法前进法：设所考虑的回归问题中，对因变量 有影响的自变共有 个，首ym先将这 个自变量分别与 建立 个一元线性回归方程，并分别计算出这 个mym一元回归方程的偏 检验值，记为 ，若其中偏 值最大者F(1)(1)2,mF F（为方便叙述起见，不妨设为 ）所对应的一元线性回归方程都不能通过显()1著性检验，则可以认为这些自变量不能与 建立线性回归方程；若该一元方程y通过了显著性检验，则首先将变量 引入回归方程；接下来由 与 以及其他1xy1x自变量 建立 个二元线性回归方程对这 个二元回归方程中的(1)jxm1m的回归系数做偏 检验，检验值记为 ，若其中最23,m F(2)(2)3,mF大者（不妨设为 ）通过了显著性检验，则又将变量 引入回归方程，依此(2) 2x方法继续下去，直到所有未被引入方程的自变量的偏 值都小于显著性检验的临界值，即再也没有自变量能够引入 回归方程为止.得到的回归方程就是最终确定的方程.后退法：首先用 个自变量与 建立一个回归方程，然后在这个方程中剔my除一个最不重要的自变量，接着又利用剩下的 个自变量与 建立线性回归1my方程，再剔除一个最不重要的自变量，依次进行下去，直到没有自变量能够剔除为止.前进法和后退法都有其不足，人们为了吸收这两种方法的优点，克服它们的不足，提出了逐步回归法.2. 逐步回归法逐步回归法的基本思想是有进有出，具体做法是将变量一个一个得引入，引入变量的条件是通过了偏 统计量的检验.同时，每引入一个新的变量后，对F已入选方程的老变量进行检验，将经检验认为不显著的变量剔除，此过程经过若干步，直到既不能引入新变量，又不能剔除老变量为止.设模型中已有 个自变量，记这 个自变量的集合为 ，当不在 中的1l1lA一个自变量 加入到这个模型中时，偏 统计量的一般形式为kxF（2.1）()()(,),1,kkkSRxSEAFxnlME如下逐步回归法的具体步骤：首先，根据一定显著水平，给出偏 统计量的两个临界值，一个用作选取自变量，记为 ；EF另一个用作剔除自变量，记为 .一般地，取 ，然后按下列步骤进行.DFEDF第一步：对每个自变量 ，拟合 个一元线性回归模型(1)ixm(2.2)0iy这时，相当于统计量（2.1）中集合 为空集，因此， ，故A()SEAT， ，对每一个 ，计算()()iiSRxASx(,)()iiMExSi（2.3）(1),12,()iiRFm设 11()()maxiii若 ，则选择含自变量 的回归模型为当前模型，否则，没有自变1()iEF1i量能进入模型，选择过程结束，即认为所有自变量对 的影响均不显著.第二步：在第一步的选出模型的基础上，再将其余的 个自变量分别加1m入到此模型中个，得到 个二元回归方程，计算1m1(2) 1(),MSEiiRxFi（2.4）设 21()(2)maxiiiF若 ，则选取过程结束.第一步选择的模型为最优模型.若 ，2()iE 2()iEF则将自变量 选入模型中，即得第二步的模型2ix120iiyx（2.5）进一步考察，当 进入模型后， 对 的影响是否仍然显著.为此计算2i 1iy（2.6）121()()MSE,iiRxF若 ，则剔除 .这时仅含有 的回归模型为当前模型.2()iD1i 2ix第三步：在第二步所选模型的基础上，在将余下的 个自变量逐个加入，2m拟合各个模型并计算 统计量值，与 比较决定是否有新变量引入，如果有新FEF变量进入模型，还需要检验原模型中的老变量是否因这个新变量的进入而不再显著，那样就应该被剔除.重复以上步骤，直到没有新的自变量能进入模型，同时在模型之中的老变量都不能剔除，则结束选择过程，最后一个模型即为所求的最优回归模型。4. 多元线性回归分析实现过程多元线性回归分析实现过程如下图：建立模型模型总结参数估计方差分析模型预测模型检验5. 多元线性回归分析案例利用多元线性回归分析研究此后影响中国人口自然增长的主要原因，分析全国人口增长规律，与猜测中国未来的增长趋势。为了全面反映中国“人口自然增长率”的全貌，选择人口自然增长率作为被解释变量，以反映中国人口的增长；选择“国名收入”及“人均 GDP”作为经济整体增长的代表；选择“居民消费价格指数增长率”作为居民消费水平的代表。国名总收入，居民消费价格指数增长率，人均 GDP 作为解释变量暂不考虑文化程度及人口分布的影响。通过对表 1 的数据进行分析，建立模型。其模型表达式为：（i=1，2，,3）iiiii uXXY32其中 Y 表示人口自然增长率，X 1 表示国名总收入，X 2表示居民消费价格指数增长率，X 3表示人均 GDP，根据以往经验和对调查资料的初步分析可知，Y与 X1，X 2 ，X3 呈线性关系，因此建立上述三元线性总体回归模型。Xi 则表示各解释变量对税收增长的贡献。i 表示随机误差项。通过上式，我们可以了解到，每个解释变量增长亿元，粮食总产值会如何变化，从而进行财政收入预测。 （如下图表 1）年份人口自然增长率（%。)Y国民总收入（亿元）X1居民消费价格指数增长率（CPI）%X2人均GDP（元）X31988 15.73 15037 18.8 13661989 15.04 17001 18 15191990 14.39 18718 3.1 16441991 12.98 21826 3.4 18931992 11.6 26937 6.4 23111993 11.45 35260 14.7 29981994 11.21 48108 24.1 40441995 10.55 59811 17.1 50461996 10.42 70142 8.3 58461997 10.06 78061 2.8 64201998 9.14 83024 -0.8 67961999 8.18 88479 -1.4 71592000 7.58 98000 0.4 78582001 6.95 108068 0.7 86222002 6.45 119096 -0.8 93982003 6.01 135174 1.2 105422004 5.87 159587 3.9 123362005 5.89 184089 1.8 140402006 5.38 213132 1.5 160242007 5.24 235367 1.7 175352008 5.45 277654 1.9 19264利用上表中的数据，运用 eview 软件，采用最小二乘法，对表中的数据进行线性回归，对所建模型进行估计从估计结果可得模型： 3