多元线性回归与相关分析.ppt

第十章多元线性回归与相关分析 第一节多元线性回归分析第二节多元线性相关分析 第一节多元线性回归分析 一 多元回归方程二 多元回归的假设测验三 最优多元线性回归方程的统计选择四 自变数的相对重要性 一 多元回归方程多元回归或复回归 multipleregression 依变数依两个或两个以上自变数的回归 一 多元回归的线性模型和多元回归方程式若依变数Y同时受到m个自变数X1 X2 Xm的影响 且这m个自变数皆与Y成线性关系 则这m 1个变数的关系就形成m元线性回归 一个m元线性回归总体的线性模型为 其中 N 0 一个m元线性回归的样本观察值组成为 10 1 10 2 一个m元线性回归方程可给定为 b0是x1 x2 xm都为0时y的点估计值 b1是by1 23 m的简写 它是在x2 x3 xm皆保持一定时 x1每增加一个单位对y的效应 称为x2 x3 xm不变 取常量 时x1对y的偏回归系数 partialregressioncoefficient 10 3 二 多元回归统计数的计算 10 2 用矩阵表示为 即Y Xb e 10 4 其中 三 多元回归方程的估计标准误Qy 12 m称为多元离回归平方和或多元回归剩余平方和 它反映了回归估计值和实测值y之间的差异 最小自由度 n m 1 10 5 sy 12 m 10 6 二 多元回归的假设测验 一 多元回归关系的假设测验测验m个自变数的综合对Y的效应是否显著 若令回归方程中b1 b2 bm的总体回归系数为 则这一测验所对应的假设为H0 0对HA 不全为0 由于多元回归下SSy可分解为Uy 12 m和Qy 12 m两部分 Uy 12 m由x1 x2 xm的不同所引起 具有 m Qy 12 m与x1 x2 xm的不同无关 具有 n m 1 由之构成的F值 10 8 二 偏回归关系的假设测验 偏回归系数的假设测验 就是测验各个偏回归系数bi i 1 2 m 来自 0的总体的概率 所作的假设为H0 0对HA 0 测验方法有两种 1 t测验 服从的t分布 可测验bi的显著性 10 9 sy 12 m 10 10 10 11 2 F测验 10 12 就是y对xi的偏回归平方和 10 13 三 最优多元线性回归方程的统计选择 剔除不显著自变数的过程称为自变数的统计选择 所得的仅包含显著自变数的多元回归方程 叫做最优的多元线性回归方程 逐步回归 stepwiseregression 为了获得最优方程 回归计算就要一步一步做下去 直至所有不显著的自变数皆被剔除为止 自变数统计选择的具体步骤为 第一步 m个自变数的回归分析 一直进行到偏回归的假设测验 第二步 m 1个自变数的回归分析 也是一直进行到偏回归的假设测验 第三步 m 2个自变数的回归分析 又一直进行到偏回归的假设测验 如此重复进行 直至留下的所有自变数的偏回归都显著 即得最优多元线性回归方程 四 自变数的相对重要性 偏回归系数bi本身并不能反映自变数的相对重要性 其原因有二 bi是带有具体单位的 单位不同则无从比较 即使单位相同 若Xi的变异度不同 也不能比较 通径系数 pathcoefficient 记作pi 即对bi进行标准化 在分子和分母分别除以Y和Xi的标准差 从而消除单位和变异度不同的影响 获得一个表示Xi对Y相对重要性的统计数 通径系数pi统计意义是 若Xi增加一个标准差单位 Y将增加 pi 0 或减少 pi 0 pi个标准差单位 10 14 第二节多元线性相关分析 一 多元相关二 偏相关 一 多元相关 多元相关或复相关 multiplecorrelation 在M m 1个变数中 m个变数的综合和1个变数的相关 偏相关 partialcorrelation 在其余M 2个变数皆固定时 指定的两个变数间的相关 一 多元相关系数在m个自变数和1个依变数的多元相关中 多元相关系数记作Ry 12 m 读作依变数y和m个自变数的多元相关系数 Ry 12 m 10 15 多元相关系数为多元回归平方和与总变异平方和之比的平方根 Ry 12 m的存在区间为 0 1 二 多元相关系数的假设测验令总体的多元相关系数为 则对多元相关系数的假设测验为H0 对HA F测验 其中的 m n m 1 R2为的简写 10 16 二 偏相关 一 偏相关系数偏相关系数 表示在其它M 2个变数都保持一定时 指定的两个变数间相关的密切程度 偏相关系数以r带右下标表示 如有X1 X2 X33个变数 则r12 3表示X3变数保持一定时 X1和X2变数的偏相关系数 若有M个变数 则偏相关系数共有M M 1 2个 偏相关系数的取值范围是 1 1 偏相关系数解法是 由简单相关系数rij i j 1 2 M 组成的相关矩阵 求得其逆矩阵 令xi和xj