多重线性回归相关.ppt

多重线性回归与相关 多因素分析的优点 1 资料易收集 2 可同时研究多个因素 3 既可考察各因素的独立作用 又可研究因素间的交互作用 第一节多重线性回归的概念 多重线性回归是研究一个应变量与多个自变量之间线性依存关系的统计方法 是一元直线回归分析的推广 式中b0是常数项 bi i 1 2 m 称为偏回归系数 b0是常数项 是各自变量都等于0时 应变量的估计值 有时 人们称它为本底值 b1 b2 bp是偏回归系数 pertialregressioncoefficient 其统计学意义是在其它所有自变量不变的情况下 某一自变量每变化一个单位 应变量平均变化的单位数 与直线回归一样 建立多重回归方程常用最小二乘法 leastsquaremethod 原理求bi i 1 2 m 再求b0 即求出使估计值与观测值y之间差异的平方和达到最小的一组解作为bi的估计值 多重线性回归模型的前提条件 1 线性 linear 2 独立 independent 3 正态 normal 4 等方差性 equalvariance 例1同样身高的20名健康男子的收缩压 kPa 年龄 岁 和体重之间的多元线性回归方程 编号收缩压年龄体重yx1x2115 605076 0218 802091 5316 532085 5416 803082 5515 603079 0616 675080 5716 406079 0816 675079 0917 604085 01016 405076 5 表120名健康男子的收缩压 年龄和体重测定值 n 20 X1 44 05 X2 82 80 Y 17 82 Y 356 35 X1 881 X2 1656 0 X12 41467 X22 137953 5 Y2 6408 2049 X1Y 15788 50 X2Y 29653 27 X1X2 72669 5 由样本计算得到得偏回归系数bi是总体偏回归系数 i的估计值 即使总体偏回归系数等于0 但由于抽样误差 仍可使样本偏回归系数bi不等于0 因此仍要作假设检验 以判断其是否有统计学意义 假设检验包括方程的假设检验和每个偏回归系数的假设检验 一 多元回归方程的假设检验1 建立假设和确定检验水准 H0 1 2 3 m 0H1 1 2 3 m不全为0 0 05 假设检验 总 n 1 回归 m 剩余 n m 1 SS误差 SS总 SS回归 总 20 1 19 回归 2 剩余 20 2 1 17 SS误差 SS总 SS回归 25 2829 n 20 X1 44 05 X2 82 80 Y 17 82 Y 356 35 X1 881 X2 1656 0 X12 41467 X22 137953 5 Y2 6408 2049 X1Y 15788 50 X2Y 29653 27 X1X2 72669 5 查F界值表得 F0 05 2 17 3 59 F F0 05 2 17 P 0 05 因此在 0 05水平上 拒绝H0 可以认为收缩压与年龄和体重之间有回归关系 所建立的回归方程有意义 二 回归系数的假设检验1 建立假设和确定检验水准 H0 i 0H1 i 0 0 052 计算统计量t 查t界值表得 t0 05 17 2 110 t1 t0 05 17 P 0 05 因此在 0 05水平上 拒绝H0 可以认为收缩压与年龄之间有线性回归关系 查t界值表得 t0 05 17 2 110 t2 t0 05 17 P 0 05 因此在 0 05水平上 拒绝H0 可以认为收缩压与体重之间有线性回归关系 因为m个自变量都具有各自的计量单位以及不同的变异度 所以不能直接用偏回归系数的数值大小来反映方程中各个自变量对应变量Y的贡献大小 为此 可计算标准化回归系数 标准化回归系数 复相关系数 R2称为决定系数 可定量评价y的总变异能被自变量解释的比重 偏相关系数 扣除其他变量的影响后 变量y与x的相关 称为y与x的偏相关系数 如 r12 3 在一个有统计学意义的方程中 可能某些自变量对应变量影响较大 而另一些影响很弱甚至完全没有意义 为使回归方程中仅包含有意义的自变量 有必要对偏回归系数作检验和进行自变量筛选 自变量筛选的常用方法1 所有可能自变量子集选择 2 向前选择法 3 向后剔除法 4 逐步选择法 自变量筛选的原则 残差均方缩小或调整决定系数 Ra2 增大 多重线性回归的注意事项 1 自变量必须是相互独立的 2 自变量的联合作用 3 样本含量 4 正确看待选入和未选入的自变量 多重共线性问题及对策 多重共线性指的是自变量间存在着近似的线性关系 即某个自变量可以近似地用其他自变量的线