第24章多元线性回归

第 24章多元线性回归与相关一、建立回归方程n 多元线性回归方程n b1,b2 bk: 为偏回归系数 partial regression coefficient。表示在其他自变量固定的条件下， xi 改变一个单位时应变量的改变量n 采用最小二乘法计算偏回归系数n 见 P310,例 24-1二、回归方程的假设检验n H0：各总体偏回归系数均为 0n H1：各总体偏回归系数不等于 0或不全为 0n FF0.05，则多元回归有统计学意义三、标准化偏回归系数n 由于自变量单位不同，不能用偏回归系数的大小来说明各变量的重要性。需进行标准化变换，再用上述的方法计算多元回归方程的回归系数，即为标准偏回归系数n 即每一个变量值都减去该变量的平均数后再除以该变量的标准差（ Z变换）所得的商就称为标准化量。用标准化量计算得到偏回归系数，没有单位，其绝对值大小在一定程度上反映了各自变量的重要性。四、偏回归系数的统计意义检验n 不仅要对整个回归方程进行统计意义检验n 还需对每个自变量的作用，即偏回归系数作统计意义检验n x1 的偏回归平方和：是该回归方程中由于除去变量x1后回归平方和的减少量n 以 P310例题为例，采用 SPSS进行分析n 数据库见： multiple linear regressionn Analyze regression linearn Dependent框： yn Independent框： x1、 x2、 x3n Method: 选择 系 统 默 认 的 enter(强 制 纳 入回 归模型 )n OK五、复相关系数和偏相关系数n 1、复相关系数 multiple correlation coefficient：表明多个变量间的相关程度SPSS计算复相关系数n 采用典型相关分析：是研究两组变量之间相关关系的一种多元统计分析方法。常有两方法，其一为：采用类似于主成分分析的方法，在每一组变量中都选择若干个有代表性的综合指标（变量的线性组合），通过研究两组综合指标之间的关系来反映两组变量之间的相关关系。怎样寻找综合指标，使它们之间具有最大的相关性，这就是典型（则）相关 canonical correlationn 当两个变量组均只有一个变量时，典型相关系数即简单相关系数，当一组变量只有一个变量时，典型相关系数即为复相关系数。n SPSS可采用 Manova过程来拟合，或采用专门提供的宏程序来拟合（使用非常简单，结果又非常详细，故常用后一种方法）n IncludeSPSS所在路径 canonical correlation.sps.n Cancorr set1=第一组变量列表n /set2=第二组变量列表 .n Run all即可n Correlations for Set-1n yn y 1.0000n Correlations for Set-2n x1 x2 x3n x1 1.0000 .1718 .6409n x2 .1718 1.0000 .4522n x3 .6409 .4522 1.0000n Correlations Between Set-1 and Set-2n x1 x2 x3n y .6945 .5864 .7288n Canonical Correlationsn 1 .859n Test that remaining correlations are zero:n Wilks Chi-SQ DF Sig.n 1 .263 8.692 3.000 .034n Standardized Canonical Coefficients for Set-1n 1n y 1.000n Raw Canonical Coefficients for Set-1n 1n y .002n Standardized Canonical Coefficients for Set-2n 1n x1 .541n x2 .456n x3 .296n Raw Canonical Coefficients for Set-2n 1n x1 .163n x2 .101n x3 .272n Canonical Loadings for Set-1n 1n y 1.000n Cross Loadings for Set-1n 1n y .859n Canonical Loadings for Set-2n 1n x1 .809n x2 .683n x3 .849n Cross Loadings for Set-2n 1n x1 .695n x2 .586n x3 .729 n Redundancy Analysis:n Proportion of Variance of Set-1 Explained by Its Own Can. Var.n Prop Varn CV1-1 1.000n Proportion of Variance of Set-1 Explained by Opposite Can.Var.n Prop Varn CV2-1 .737n Proportion of Variance of Set-2 Explained by Its Own Can. Var.n Prop Varn CV2-1 .614n Proportion of Variance of Set-2 Explained by Opposite Can. Var.n Prop Varn CV1-1 .452n - END MATRIX -n 2、偏相关系数：固定其他变量，分析某两个变量间的相关关系n 偏相关系数有效的条件：n 原始数据必须是多元正态分布n 数据的取得必须都是随机的n 不分自变量和应变量SPSS实现偏相关分析n Analyze correlate partialn Variables框： x1 x2n Controlling for 框： x3n Options: 选 中 zero order correlation: continuen OK六、逐步回归stepwise regression analysisn 多元回归分析中，较理想的回归方程，应包括所有对应变量作用有统计意义的自变量，而不包括作用无统计意义的自变量逐步回归分析的基本原理n 按每个变量在方程中对应变量作用的大小，由大到小依次引入回归方程。n 具体作法：n 每引入一个自变量都要对回归方程中每一个已引入的自变量的作用作统计意义检验，n 当发现一个或几个已被引入的自变量的作用无统计意义时，即行剔除。n 每剔除一个自变量后，也要对仍留在回归方程中的自变量逐个作统计意义检验。n 如果发现方程中还存在作用无统计意义的自变量时，也就剔除，直到没有变是可引入，也无剔除时为止七、 SPSS中的逐步回归方法n 1、 Enter:所有纳入自变量框的自变量均进入模型，不涉及变量的筛选问题，为默认选项n 2、 Forward前进法：分别对 k个自变量拟合它与应变量的简单线性模型，将 P值最小的引入模型，若均无意义停止。第二步，在已引入模型的基础上，再分别拟合 k-1个线性回归模型（分别包含已引入变量和其他变量），再取 P值最小者，若均无统计意义则停止，反之。重复以上步骤，直到模型外的自变量均无统计学意义为止n 3、 Backward后退法：先拟合包含 k个变量的模型，将其中 P值最大者剔出模型，若所有自变量 P值均有统计意义，则停止。反之重复以上步骤。n 4、 Stepwise逐步法：将上述两种方法结合应用。前两步同前进法，第三步，考察第一步引入模型的自变量是否仍有意义，无统计意义，则剔除。拟合包含第二步引入模型的自变量与除第一步引入的自变量外的 k-2个自变量的模型，将其中最小P值者引入，若均无统计意义，则停止。若第一步引的自变量有意义，则进行第四步，在前两个变量的基础上，引入 k-2个模型，如此反复n 5、 Remove移去：规定为 Remove的自变量被强制剔除出模型。但 SPSS会给出如果将其引入模型的参数估计及检验结果八、补充说明n 1、统计学意义，以 options控钮中的 entry、removal选项所规定的 P值为准， SPSS默认分别为 0.05和 0.10。实际中，剔除的 P值应大于或等于引入的 P值，否则为死循环n 2、自变量组合不同，偏回归系数的检验结果不同，有可能出现有些自变量在前几步中引入模型，而在后面的运算中被剔除n 3、前进、后退、逐步法的侧重点不同。n 当自变量间不存在简单线性相关时，三种方法计算结果一致。n 当自变量间存在一定的简单线性相关时：n 前进法侧重于向模型中引入单独作用较强的变量n 后退法侧重于向模型中引入联合作用较强的变量n 逐步法介于两者之间n 4、对于不同的自变量纳入方法，在 SPSS中可通过 “NEXT”按钮将其分为不同的 “Block”，决定其进入模型的方式，同一 Block中的自变量进入模型的方式相同九、强影响点识别与处理n 1、强影响点：指对多重线性回归模型参数估计有很强影响的数据点n 2、标准化残差大于 3时几乎可以肯定该条记录为强影响点n 3、强影响点统计量：除残差外， SPSS中还可通过 Save子对话框中的 Influence statistics复选框提供， 5种，标准参与 P112说明n 4、检测到数据中有强影响点时，可通过以下途径解决：n 1）首先，考虑该条记录在数据记录、录入时是否有错误，如果是，应改正。查不到原始记录不能修正者，应将该条记录删除n 2）考虑该记录是否与数据库中的其他记录分属于不同亚群，若是则应删除n 3）以上两条不满足是，不宜武断删除，应再审散点图矩阵，考