多元线性回归分析正式

1、关于多元线性回归分析正式第1页，共62页，2022年，5月20日，19点37分，星期三2讲课内容第一节 多元线性回归(重点)第二节 自变量选择方法(重点)第三节 多元线性回归的应用及注 意事项第2页，共62页，2022年，5月20日，19点37分，星期三3第一节 多元线性回归一、多元线性回归模型第3页，共62页，2022年，5月20日，19点37分，星期三4第4页，共62页，2022年，5月20日，19点37分，星期三5多元回归：多个Y，多个X多重回归：一个Y，多个X第5页，共62页，2022年，5月20日，19点37分，星期三6 0 常数项j 偏回归系数(partial regression

2、 coefficient)： 在其它自变量保持不变时，Xj增加或减少 一个单位时Y的平均变化量。e 去除m个自变量对Y影响后的随机误差。第6页，共62页，2022年，5月20日，19点37分，星期三7 多元线性回归模型应用条件：1.Y与X1，X2，Xm之间具有线性关系；2.各个Yi间相互独立；3.e服从均数为0、方差为2的正态分布。第7页，共62页，2022年，5月20日，19点37分，星期三8多元线性回归分析步骤：1.根据样本数据求得模型参数估计值：2.对回归方程及各Xj作假设检验。第8页，共62页，2022年，5月20日，19点37分，星期三9二、多元线性回归方程的建立第9页，共62页，2

3、022年，5月20日，19点37分，星期三10YX第10页，共62页，2022年，5月20日，19点37分，星期三11第11页，共62页，2022年，5月20日，19点37分，星期三12X1X2Y第12页，共62页，2022年，5月20日，19点37分，星期三13用最小二乘法解正规方程组，使残差平方和Q最小。第13页，共62页，2022年，5月20日，19点37分，星期三14第14页，共62页，2022年，5月20日，19点37分，星期三15用最小二乘法解正规方程组，使残差平方和Q最小。第15页，共62页，2022年，5月20日，19点37分，星期三16 第16页，共62页，2022年，5月2

4、0日，19点37分，星期三17 第17页，共62页，2022年，5月20日，19点37分，星期三18 第18页，共62页，2022年，5月20日，19点37分，星期三19 三、多元线性回归方程的 假设检验及评价第19页，共62页，2022年，5月20日，19点37分，星期三20 （一）回归方程的假设检验及评价1.方差分析法不全为0。第20页，共62页，2022年，5月20日，19点37分，星期三21 第21页，共62页，2022年，5月20日，19点37分，星期三22 第22页，共62页，2022年，5月20日，19点37分，星期三23 2.决定系数R2血糖含量变异的60%可由总胆固醇、甘油三

5、酯、胰岛素和糖化血红蛋白的变异解释。第23页，共62页，2022年，5月20日，19点37分，星期三243.复相关系数RY与多个自变量间的线性相关程度；Y与估计值 间的Pearson相关系数r。第24页，共62页，2022年，5月20日，19点37分，星期三25 （二）各自变量的假设检验及评价1.偏回归平方和表示模型中含有其它m-1个自变量的条件下该自变量对Y的回归贡献。其值愈大说明相应的自变量愈重要。第25页，共62页，2022年，5月20日，19点37分，星期三26 第26页，共62页，2022年，5月20日，19点37分，星期三27 0.6129+11.9627+20.0635+27.7

6、939133.7107第27页，共62页，2022年，5月20日，19点37分，星期三28 胰岛素(X3)与糖化血红蛋白(X4)与血糖(Y)有线性回归关系。第28页，共62页，2022年，5月20日，19点37分，星期三29 2.t检验法第29页，共62页，2022年，5月20日，19点37分，星期三30 胰岛素(X3)与糖化血红蛋白(X4)与血糖(Y)有线性回归关系。第30页，共62页，2022年，5月20日，19点37分，星期三31 标准化回归系数bj 的绝对值用来比较各个自变量Xj 对Y的影响程度大小；绝对值越大影响越大。标准化回归方程的截距为0。3.标准化回归系数标准化回归系数与一般回

7、归方程的回归系 数的关系：标准化回归方程 第31页，共62页，2022年，5月20日，19点37分，星期三32对血糖影响大小的顺序依次为糖化血红蛋白(X4)、胰岛素(X3)、甘油三酯(X2)与总胆固醇 (X1)。胰岛素为负向影响。第32页，共62页，2022年，5月20日，19点37分，星期三33 第二节 自变量选择方法第33页，共62页，2022年，5月20日，19点37分，星期三34 一、全局选择法对自变量各种不同的组合所建立的回归方程进行比较，从全部组合中挑出一个“最优”的回归方程。第34页，共62页，2022年，5月20日，19点37分，星期三35 R2可用来评价回归方程优劣。随着自变

8、量增加，R2不断增大，对两个不 同个数自变量回归方程比较，须考虑方程 包含自变量个数影响，应对R2进行校正。所谓“最优”回归方程指 最大者。1.校正决定系数 选择法第35页，共62页，2022年，5月20日，19点37分，星期三36 P为方程中自变量个数。最优方程的Cp期望值是p+1。 应选择Cp最接近P+1的回归方程为最优。2. 选择法第36页，共62页，2022年，5月20日，19点37分，星期三37 第37页，共62页，2022年，5月20日，19点37分，星期三38 二、逐步选择法全局选择计算量很大： 6个变量，计算26-1=63个方程； 10个变量，计算210-1=1023个方程。按

9、选入变量顺序不同分前进法、后退法 与逐步回归法，共同特点是每一步只引 入或剔除一个自变量Xj。第38页，共62页，2022年，5月20日，19点37分，星期三39对Xj的取舍要进行F检验：计算进行到第l步时：p :方程中自变量个数SS回：Xj的偏回归平方和SS残：残差平方和第39页，共62页，2022年，5月20日，19点37分，星期三40 1.前进法（只选不剔）开始方程中无自变量，然后从方程外选取偏回归平方和最大的自变量作F检验以决定是否选入方程，直至无自变量可以引入方程为止。缺点：后续变量的引入可能使先前引入的变量变的不重要。Xj入选第40页，共62页，2022年，5月20日，19点37分

10、，星期三41 2.后退法（只剔不选）开始方程中包含全部自变量，然后从方程中选取偏回归平方和最小的自变量作F检验以决定是否从方程中剔除，直至无自变量可以从方程中剔除为止。缺点：当某些自变量高度相关时，可能得不 出正确结果。Xj剔除第41页，共62页，2022年，5月20日，19点37分，星期三42 3.逐步回归法（先选后剔，双向筛选）开始方程中无自变量，从方程外选取偏回归平方和最大的自变量作F检验以决定是否选入方程；每引一个自变量进入方程后，从方程中选取偏回归平方和最小的自变量作F检验以决定是否从方程中剔除；直至方程外无自变量可引入，方程内无自变量可剔除为止。第42页，共62页，2022年，5月

11、20日，19点37分，星期三43 Xj剔除内剔Xj入选外引入值定的越小选取自变量标准越严，被选 入方程内自变量数越少。 入值越大则反之。小样本：入=0.05，出=0.10。 大样本：入=0.10，出=0.15。 入出，以免Xj上一步剔除后下一步又被选入第43页，共62页，2022年，5月20日，19点37分，星期三44 选X4前先建立4个直线回归方程；选X1前先建立1个含3个自变量、 3个含2个 自变量的多元线性回归方程。第44页，共62页，2022年，5月20日，19点37分，星期三45 第45页，共62页，2022年，5月20日，19点37分，星期三46 第46页，共62页，2022年，5

12、月20日，19点37分，星期三47 第47页，共62页，2022年，5月20日，19点37分，星期三48 第48页，共62页，2022年，5月20日，19点37分，星期三49 第49页，共62页，2022年，5月20日，19点37分，星期三50 第三节 多元线性回归的应用及注意事项第50页，共62页，2022年，5月20日，19点37分，星期三51 一、多元线性回归的应用 1.影响因素分析 年龄(X1)饮食习惯(X2)吸烟状况(X3)工作紧张度(X4)家族史(X5) 高血压(Y)bj的意义为在其它自变量保持不变时，Xj增加或减少一个单位时Y的平均变化量。故可排除混杂因素。第51页，共62页，2

13、022年，5月20日，19点37分，星期三52 2.估计与预测心脏表面积(Y)=b0+b1心脏横径(X1) + b2心脏纵径(X2)+ b3心脏宽径(X3)新生儿体重(Y)=b0+b1胎儿孕龄(X1)+ b2 胎儿 头径(X2)+ b3胎儿胸径(X3)+ b4胎儿腹径(X4)第52页，共62页，2022年，5月20日，19点37分，星期三53 3.统计控制利用回归方程进行逆估计，确定Y后控制X 。采用射频治疗仪治疗脑肿瘤：脑皮质毁损半径(Y) =b0+b1射频温度(X1)+ b2照射时间(X2)第53页，共62页，2022年，5月20日，19点37分，星期三54 二、多元线性回归应用的注意事项

14、 1.指标的数量化 应变量Y为连续变量自变量X可为连续、有序分类或无序分类变量 (1)连续变量：X (2)有序分类变量： 1 轻 X= 2 中 3 重第54页，共62页，2022年，5月20日，19点37分，星期三55 (3)无序分类变量哑变量(dummy variables)第55页，共62页，2022年，5月20日，19点37分，星期三56 2.样本含量 n至少是X个数m的510倍3.多重共线性 实际应用中非常普遍，可使最小二乘法建 立的回归方程失效； 消除方法：主成分回归；剔除某个造成共 线性的自变量。第56页，共62页，2022年，5月20日，19点37分，星期三57 4.变量间的交互作用某一自变量对Y的作用大小与另一自变量的取值有关。 血糖(Y)与总胆固醇 (X1)、甘油三酯(X2)、胰岛素(X3)、糖化血红蛋白(X4)间逐步回归方程：X3与X4间有交互作用：第57页，共62页，2022年，5月20日，19点37分，星期三58 5.残差分析标准化残差第58页，共6