应用回归分析 主成分分析案例.docx

应用回归分析 摘 要 近年来物价上涨成明显，给我国居民生活带来了种种问题。在多番稳物价、防通胀的调控措施下，2011年8月份以来我国居民消费价格指数同比增幅不断回落。多数专家分析认为，2012年我国物价总水平上涨压力明显降低，全年CPI涨幅预计在4%左右。但在国际政治经济环境日趋复杂，国内生产资料和劳动力成本不断上涨的背景下，今年抗通胀稳物价的工作不可松懈，防止CPI过度增长。基于现实背景本文想就居民消费价格指数与商品零售价格指数,农业生产资料指数,工业品出厂价格指数,原材料、燃料及动力购进价格指数,固定资产投资价格指数这5个指标之间的关系,通过收集相关数据,建立多元回归模型，来分析河南省居民消费体价格指数变化的趋势。运用SPSS软件对河南省居民消费价格总指数进行多元回归分析,希望得到线性关系，从而预测CPI走势。在建立回归的过程中，本文通过对5个指标的多重线性的检验，发现其五者之间存在很强的相关性，学习解决多重共线性的方法，使用主成分分析方法重构回归模型，得出了改进后的回归方程。关键词：多元回归 SPSS 居民消费价格指数 主成分分析摘 要1 1、研究背景3 2、多元线性回归原理3 2.1多元线性回归模型的一般形式3 2.2回归参数的普通最小二乘估计4 2.3 F检验5 2.4 回归系数的显著性检验5 3、构造多元回归模型7 3.1运用SPSS对数据进行分析及检验8 3.2试验结果分析10 3.3多重共线性检验113.4利用主成分分析法改进模型11 4、总 结15 参考文献16 1、研究背景 消费物价指数英文缩写为CPI，是根据与居民生活有关的产品及劳务价格统计出来的物价变动指标，通常作为观察通货膨胀水平的重要指标,也是国民经济核算中的缩减指标.一般说来, CPI稳定,就业充分及GDP增长是政府重要的社会经济目标，由于CPI影响着政府制定货币、财政、消费、价格等政策,因此准确地分析CPI的变化规律,具有重要意义2。本文希望通过商品零售价格总指数，农业生产资料总指数，工业品出厂价格总指数，原材料、燃料及动力购进价格总指数，固定资产投资价格总指数5个指标组成评价指标体系，运用SPSS软件对其进行多元回归分析1，以获得河南省居民消费价格总指数与这5个指标之间关系。如果模型能够很好的得出回归方程，那么我们将能利用得出的结论预测河南省CPI走势，如果通过检测发现得出的回归方程通不过检验，则需提出解决办法，改进模型，得出改进后的回归方程。2、多元线性回归原理2.1多元线性回归模型的一般形式设随机变量与一般变量的线性回归模型为 （2.1）其中，是p+1个未知参数，称为回归常数，称为回归系数。称为被解释变量（因变量），而是p个可以精确测量并可控制的一般变量，称为解释变量（自变量）。P=1时，（2.1）式即为一元线性回归模型，p2时，我们就称（2.1）式即为多元线性回归模型。是随机误差。对于一个实际问题，如果我们获得n组观测值则线性回归模型（2.1）式可表示为y1=0+1x11+2x12+px1p+1y2=0+1x21+2x22+px2p+2yn=0+1xn1+2xn2+pxnp+n写成矩阵形式为 （2.2）其中 矩阵是一矩阵，称X为回归设计矩阵或资料矩阵。2.2回归参数的普通最小二乘估计 对于（2.2）式矩阵表示的回归模型，所谓的最小二乘法3，就是寻找参数的估计值 ，使离差平方和Q0，1，p=i=1n（yi-0-1xi1-2xi2-pxip）2(2.3)达到极小，即寻找 满足Q0，1，p=i=1n（yi-0-1xi1-2xi2-pxip）2 (2.4)=min0，1，pi=1n（yi-0-1xi1-2xi2-pxip）2 依照（2.4）式求出的就称为回归参数的最小二乘估计。 运用微积分中求极值的原理，应满足下列方程Q0|0=0=-2i=1nyi-0-1xi1-2xi2-pxip=0Q1|1=1=-2i=1nyi-0-1xi1-2xi2-pxip=0Qp|p=p=-2i=1nyi-0-1xi1-2xi2-pxip=0(2.5)以上方程组经整理后，得用矩阵形式表示的最小二乘估计为移项得当存在时，既得回归参数的最小二乘估计为称 为经验回归方程。2.3 F检验对多元线性回归方程的显著性检验就是要看自变量从整体上对随机变量是否有明显的影响。为此提出原假设 如果被接受，则表明随机变量与之间的关系由线性回归模型表示不合适。类似一元线性回归检验，为了建立对进行检验的F统计量，仍然利用总离差平方和的分解式，即 (2.6)简写为SST=SSR+SSE,构造F检验统计量如下 F=SSR/pSSE/(n-p-1) (2.7)在正态假设下，当原假设成立时，F服从自由度为（p，n-p-1）的F分布。于是，可以利用给出数据求出相应的量，可以得出以下方差分析表，再由给定的显著水平，查F分布表得临界值。 表格 1 方差分析表方差来源自由度平方和均方F值P值回归pSSRSSR/pSSR/pSSE/(n-p-1)P(FF值)=P值残差n-p-1SSESSE（n-p-1)总和n-pSST当时，拒绝原假设,认为在显著水平下，对x1,x2,xp有显著的线性关系，也即回归方程是显著的。反之，当时，则认为回归方程不显著。2.4 回归系数的显著性检验 检验变量是否显著，等价于检验假设，j=1,2,p。如果接受原假设，则不显著；如果拒绝原假设，则是显著的。 记 i,j=0,1,2,p于是有 Ej=j ， varj=cij2 jN,2cij ,j=0,1,2,p据此可以构造t统计量 tj=jcij (2.7)其中 =1n-p-1i=1nei2=1n-p-1i=1n(yi-yi)2 是回归标准差。当原假设成立时，（2.7）式构造的统计量服从自由度为n-p-1的t分布。给定显著水平，查出双侧检验的临界值。当时拒绝原假设，认为显著不为零，自变量对因变量的线性显著；当时接受原假设，认为为零，自变量对因变量的线性不显著。2.5 拟合优度拟合优度用于检验回归方程对样本观测值的拟合程度。定义样本决定系数为R2=SSRSST=1-SSESST样本决定系数越接近1，表明回归拟合的效果越好；越接近0，表明回归拟合的效果越差。与F检验相比，可以更清楚直观地反映回归拟合的效果。称R=R2=SSRSST为样本的复相关系数。在多元线性回归的实际应用中，人们用复相关系数来表示回归方程对原有数据拟合程度的好坏。偏决定系数二元线性回归模型为 i=0,1,2,n记是模型中只含有自变量时的残差平方和，是模型中同时含有自变量和时的残差平方和。因此，模型中已含有时，再加入使的剩余变量的相对减少量为ry1;22=SSEx2-SSE(x1，x2)SSEx2此即模型中已含有时，与的偏决定系数。同样地，模型中已含有时，与的偏决定系数ry2;12=SSEx1-SSE(x1，x2)SSEx1偏决定系数与回归系数显著性检验的偏F值是等价的。偏相关系数 偏决定系数的平方根称为偏相关系数。偏相关系数与回归系数显著性检验的t值是等价的。所以当我们运用偏相关系数的时候，当它的值越小的时候，则模型中的变量间所起的作用就越好。3、构造多元回归模型 查阅河南省2011年统计年鉴,收集河南省19902010年的“历年各种物价定基指数,选取的主要因素有:y为居民消费价格总指数;x1为商品零售价格总指数;x2为农业生产资料总指数;x3为工业品出厂价格总指数;x4为原材料、燃料及动力购进价格总指数;x5为固定资产投资价格总指数.以y为因变量，x1,x2,x3,x4,x5为自变量，利用SPSS软件，建立多元线性回归模型，数据见表格2.表格 2 河南省1990-2010年各物价指数年份yx1x2x3x4x51990185.1186.5201.1126.3137.21001991189.4190.2201.3131.7143.2109.41992199.6199.7203.7139.9157.5131.11993220.4216.3222.4165.2209.5166.11994275.9260.8276.7205255.61761995321.4299.7348.1235.8291.6186.41996355.2323.4375.6245.4309.1193.71997367.6325373246.9310.9199.31998358.4314351.3235.3294.8196.71999347.3302336.2224.5278192.82000344.6297.5334.9233.5292.2198.42001347296.9331.9234.6297.7199.12002347.3294.5334.5231.4290.5196.62003352.9298.4340.92433132042004371.9315.4379.7267.9362224.62005379.7320.7409.7284.1392227.82006384.7323.6414.7296.3412.7231.32007405.5337.8440311.8439.22422008433.9363.1532349.6491.3263.72009431.3360.9521.9331.8477.2254.22010446.4374.3538.1357.7525.9263.1 数据来源于河南省2011年统计年鉴3.1运用SPSS对数据进行分析及检验操作步骤：1、 首先从外部调入数据，将表格1内容导入SPSS软件，其方法为Fileopendata , 数据类型（Files of type）选择为excel,选择所需excel文档调入。2、 导入数据后，首先对数据进行相关性分析，通过软件导出相关性矩阵，通过相关系数判断y与自变量之间的线性关系如何，对于多元回归是否可行。其方法为在SPSS Data Editor 窗口中选择Analyzecorrelatebivariate Correlations(双变量相关)将y,x1,x2,x3,x4,x5导入Variable选怎框中对其之间的相关性进行分析，输出结果如下。表格 3 相关阵Correlationsyx1x2x3x4x5yPearson Correlation1.993*.956*.967*.942*.965*Sig. (2-tailed).000.000.000.000.000N212121212121x1Pearson Correlation.993*1.955*.960*.932*.954*Sig. (2-tailed).000.000.000.000.000N212121212121x2Pearson Correlation.956*.955*1.988*.983*.950*Sig. (2-tailed).000.000.000.000.000N212121212121x3Pearson Correlation.967*.960*.988*1.995*.980*Sig. (2-tailed).000.000.000.000.000N212121212121x4Pearson Correlation.942*.932*.983*.995*1.972*Sig. (2-tailed).000.000.000.000.000N212121212121x5Pearson Correlation.965*.954*.950*.980*.972*1Sig. (2-tailed).000.000.000.000.000N212121212121*. Correlation is significant at the 0.01 level (2-tailed).其中相应的行列对应的表中数值为相应变量之间的相关系数。3、 接第二步中，如果变量之间存在线性关系，进一步做回归分析，其方法为在SPSS Data Editor 窗口中选择Analyzeregressionlinear regression,将y导入Dependent框作为因变量，将x1,x2,x3,x4导入Independent框作为自变量，在Statistic中选择你需要进行操作的内容，输出结果如下。表格 4 输入参数Variables Entered/RemovedbModelVariables EnteredVariables RemovedMethod1x5, x2, x1, x4, x3a.Entera. All requested variables entered.b. Dependent Variable: y表格 5 模型总结表Model SummarybModelRR SquareAdjusted R SquareStd. Error of the EstimateDurbin-Watson1.995a.989.9869.4717294.396a. Predictors: (Constant), x5, x2, x1, x4, x3b. Dependent Variable: y其中R Square为可决系数，Adjusted R Square为调整可决系数，Std.Error of the Estimate为估计的标准残差，Dubrin-Watson为检验异方差的数值。表格 6 方差分析表ANOVAbModelSum of SquaresdfMean SquareFSig.1Regression122565.868524513.174273.238.000aResidual1345.7051589.714Total123911.57220a. Predictors: (Constant), x5, x2, x1, x4, x3b. Dependent Variable: y其中数据分别为Sum of Squares为各指标平方和,df为自由度,Mean Square均方,Sig为P值。表格 7 系数表CoefficientsaModelUnstandardized CoefficientsStandardized CoefficientstSig.BStd. ErrorBeta1(Constant)-72.87019.259-3.784.002x11.094.305.7633.588.003x2-.053.195-.068-.274.788x3.318.806.267.395.699x4-.091.397-.127-.230.821x5.289.336.164.862.402a. Dependent Variable: y 其中数据Unstandaerdized Coefficients(非标准化参数)，Standardized Coefficents(标准化系数)，t为单个自变量对y的解释程度，sig为P值。表格 8Residuals StatisticsaMinimumMaximumMeanStd. DeviationNPredicted Value1.769147E24.495738E23.364524E278.283417021Residual-1.7179214E11.2029671E1.00000008.202758321Std. Predicted Value-2.0381.445.0001.00021Std. Residual-1.8141.270.000.86621a. Dependent Variable: y3.2试验结果分析1、 从表格2相关阵中看出，y与x1,x2,x3,x4,x5的相关系数都在0.9以上，说明所选自变量与y高度相关。2、 在回归诊断过程中，从表格5看出复相关系数R=0.995，决定系数R2=0.989，由决定系数看回归方程高度显著。从表格7系数表得出回归方程3、 方差分析表，F=273.238，P值=0.000，给定a=0.05,查F分布表（5，15）=2.9，F（5，15）这表明x1,x2,x3,x4,x5在整体上对y有高度显著的线性影响。4、 回归系数的显著行检验时，双侧 ，从表格7看出t统计量的值上，只有x1通过t检验，其余均没有通过检验，但是决定系数R2=0.989且F=273.8，说明自变量之间呈现高度的相关性。 从以上结果看出虽然x1,x2,x3,x4,x5在整体上对y有很高的显著性,但是x1,x2,x3,x4,x5自变量之间却存在着很强的共线性，如何消除共线性改进得到新的回归方程是我们下面要处理的。3.3多重共线性检验 从上述结论，可以清楚的看到，自变量之间存在严重的多重共线性，他会使得我们的拟合和检验不显著，不能进行很好的预测。下面将用方差膨胀因子的方法检验多重共线性的存在性，并且用SPSS软件中的主成分分析法处理多重共线性问题。通过多重共线性诊断可以明显的看出，方差膨胀因子VIF均比较大，而且容忍度很低，由此可以验证多重共线性的存在。3.4利用主成分分析法改进模型 处理多重共线性的方法有很多，比如增加样本容量，逐项回归，剔除法，主成分分析法和岭回归方法。这里选取主成分分析法进行处理，找出对因变量影响最大的因素。主成分分析通过降维的思想来精简变量，它将多个相关的原始变量指标转化为几个独立的综合指标。主成分是原始变量指标的线性组合，其转换的理念是让原始变量指标的线性组合的变异达到数据的大部分变异，同时简化问题。该方法能更好地揭示事物内部变量之间的规律，提高分析效率。用SPSS进行主成分分析。输出结果如下所示表格 9 主成分分析总方差解释Total Variance ExplainedComponentInitial EigenvaluesExtraction Sums of Squared LoadingsTotal% of VarianceCumulative %Total% of VarianceCumulative %14.86897.35497.3544.86897.35497.3542.0761.51798.871.0761.51798.8713.0501.00799.878.0501.00799.8784.005.10399.980.005.10399.9805.001.020100.000.001.020100.000Extraction Method: Principal Component Analysis.结果中有5个主成分特征值(Eigenvalues),最大的是，最小的是。方差百分比% of Variance反应主成分分所能解释数据变异的比例。从表格中看出，第一个主成分即x1占全部方差比为97.354%，第二个主成分为1.517%。选取x1为第一主成分，x2为第二主成分，且这两个主成分含有全部5个变量信息的98.871%，即基本保留了原来指标的信息，这样由原来的5个指标转化为2个新指标。表格 10 因子载荷阵Component MatrixaComponent12345x1.973.227-.039-.017.006x2.988-.049-.136.045.000x3.998-.050-.005-.030-.024x4.990-.139.006-.029.019x5.984.016.174.032.000Extraction Method: Principal Component Analysis.a. 5 components extracted.表格 11 标准化处理FAC1_1FAC2_1FAC3_1FAC4_1FAC5_1-1.84728-1.18562-1.92662-0.535320.2184-1.763-1.09614-1.25874-0.24509-0.3779-1.57347-0.814660.224390.89486-0.00065-1.142-0.992082.215071.362111.36228-0.61677-0.045010.88991-1.18779-0.40857-0.121980.74929-0.7713-0.50142-1.474170.114931.50668-1.2728-0.29850.591610.148841.59152-0.79308-0.080560.50428-0.012561.50633-0.258620.207950.82049-0.1691.321940.011280.920370.5576-0.108330.783770.544880.30248-0.8065-0.099750.670560.69182-0.21291-0.28009-0.137870.664230.460130.4781-0.664070.00050.376880.81309-0.39288-0.596610.401960.078731.144570.019730.424380.60215-0.475540.52357-0.252670.153550.71495-0.802470.6236-1.68188-0.383620.96329-0.74160.57952-1.62676-0.024471.55279-1.1062-0.557971.77199-2.697211.40003-0.79097-0.980912.044051.289871.69259-1.19963-0.90179-0.985841.79142变量计算出主成分表格 12 主成分prin1prin2-4.08-0.33-3.89-0.3-3.47-0.22-2.52-0.27-1.36-0.01-0.270.210.250.420.330.44-0.030.42-0.370.36-0.240.22-0.220.18-0.30.1800.10.890.021.33-0.131.58-0.222.13-0.23.43-0.33.09-0.223.73-0.33再用得到的主成分做回归。表格 13ANOVAbModelSum of SquaresdfMean SquareFSig.1Regression122530.291261265.145798.369.000aResidual1381.2821876.738Total123911.57220a. Predictors: (Constant), print2, print1b. Dependent Variable: y得到的结果通过F检验。表格 14 主成分分析后回归系数CoefficientsaModelUnstandardized CoefficientsStandardized CoefficientstSig.BStd. ErrorBeta1(Constant)336.