多元线性回归分析l论.ppt

多元线性回归分析,温医公卫学院,例15-127名糖尿病人的血清总胆固醇、甘油三脂、空腹胰岛素、糖化血红蛋白、空腹血糖的测量值列于表15-2中，试分析哪些指标能影响血糖水平，并血糖建立与其它几项关系的这些指标的回归关系。,多元线性回归分析,一、多元回归方程的概念二、多元回归分析步骤三、标准化偏回归系数四、自变量的筛选五、回归方程的总体评价六、多元线性回归的应用七、应用多元线性回归分析时需注意的事项,b0为回归方程的常数项；p为自变量的个数；b1、b2、bp为偏回归系数（Partialregressioncoefficient）意义：如b1表示在X2、X3Xp固定条件下，X1每增减一个单位对Y的效应（Y增减b个单位）。,表达式：,一.多元回归方程的概念,二.多元回归分析步骤,（1）用各变量的数据建立回归方程；,由上表得到如下多元线性回归方程：,（2）对总的方程进行假设检验,结果无显著性1）表明所观察的自变量与应变量不存在线性回归关系；2）也可能由于样本例数过少；结果有显著性表明至少有一个自变量与应变量之间存在线性回归关系。,（3）当总的方程有显著性意义时,应对每个自变量的偏回归系数再进行假设检验，若某个自变量的偏回归系数无显著性，则应把该变量剔除，重新建立不包含该变量的多元回归方程。对新建立的多元回归方程及偏回归系数按上述程序进行检验，直到余下的偏回归系数都具有统计意义为止。最后得到最优方程。,上例资料多元回归方程1的偏回归系数检验结果如下：,有上表可知，X1被剔除。注意：通常每次只剔除关系最弱的一个因素。由方程中剔除因素的标准（通常=0.10）,重新建立不包含剔除因素的回归方程,对新建立的回归方程进行检验,检验结果有显著性意义,对新方程的偏回归系数进行检验,检验结果有意义，因此回归方程保留因素X2、X3、X4最后获得回归方程为：,三.标准化偏回归系数,定义：消除测量单位影响后的偏回归系数。意义：在许多情况下需要比较各自变量对因变量的相对贡献大小。但由于各自变量的测量单位不同，单从各偏回归系数的绝对值大小来评价是不妥的，必须对各偏回归系数进行标准化处理，即消除测量单位的影响后，才能进行比较。,举例,例y=14+4X是17岁儿童以年龄X(岁)估计体重Y(市斤)的回归方程。若体重单位由市斤换成公斤，则回归系数是否发生改变？,若年龄单位为月？,标准偏回归系数计算,bj=bjSj/SYbj为X的偏回归系数;Sj为自变量的标准差;SY为因变量的标准差;若将各变量先经标准状态化处理后，再进行多元回归，则所得到的偏回归系数即为标准偏回归系数。,上例资料，已知X2、X3与X4对血糖有影响，但其对血糖的相对作用大小如何？,比较三个标准偏回归系数0.3540.3600.41311.021.17（倍）糖化血红蛋白对血糖的影响强度约为甘油三脂的1.17倍。,四.自变量的筛选,（1）向前筛选法（Forwardselection）（2）向后剔除法（Backwardelimination）（3）逐步法（Stepwise）,（1）向前筛选法（Forwardselection）,事先给定一个入选标准（通常=0.05），然后根据各因素偏回归平方和从大到小，依次逐个引入回归方程至无显著性自变量可以入选为止，因素一旦入选便始终保留在方程中而不被剔除。,优缺点：可自动去除高度相关的自变量，但后续变量引入会使得方程中已存在的变量重要性发生改变。,因变量与各自变量相关系数大小,向前筛选法，=0.05,向前筛选法，=0.10,为什么总胆固醇会从有意义因素变为无意义？,首先建立全部自变量的全回归方程，给定剔除标准（通常=0.10），根据各因素偏回归平方从小到大，依次逐个将无显著性的自变量从回归方程中剔除。,（2）向后剔除法（Backwardelimination）,优缺点：方程不会保留无意义自变量，但可能存在共线性问题。,向后筛选法，=0.10,（3）逐步法（Stepwise）,给出入选标准（通常1=0.05）和剔除标准（通常2=0.10），每次选入一个在方程外且最具统计学意义的自变量后，就对原在方程中的自变量做剔除检验，这个过程逐步进行，直到没有统计意义的自变量可以入选，也没有无统计学意义的自变量保留在方程中为止。,实际工作中，多采用逐步法。,逐步法入选标准1=0.05和剔除标准2=0.10,逐步法入选标准1=0.10和剔除标准2=0.15,五、回归方程的总体评价,以确定系数（R2）越大越优，但由于R2是随自变量的增加而增大，因此，在相近的情况下，以包含的自变量少者为优，也可用校正确定系数（R2a）作为评价标准。R2a不会随无意义的自变量增加而增大。校正确定系数的计算：,P为方程中包含的自变量个数。,六、多元线性回归的应用,影响因素（多因素）分析（1）多因素的筛选；1）哪些是主要因素？2）各因素的作用大小？（2）混杂因素的控制。例分析某预防措施对社区人群肠道传染病的防制效果估计和预测由于考虑到多个因素，可以显著提高估计和预测的精度。统计控制,七.应用多元线性回归分析时需注意的事项,（1）资料要求：因变量Y为连续变量，服从正态分布。自变量X可为连续或分类变量。Y与X1、X2、Xm之间具有线性关系。残差e服从（0，）正态分布。,指观察值与估计值之差。,七.应用多元线性回归分析时需注意的事项,（2）做预报时，只能在自变量X的观察值范围内进行；例如：建立儿童期体表面积（Y）与身高（X1）、体重（X2）的线性回归方程，但不能利用该方程来推算某一身高、体重的成人的体表面积。（3）注意资料的特异点；,（5）观测值重新量化问题。,（4）样本含量一般应使样本含量是自变量数的510倍。,（6）自变量筛选过程中引入和剔除变量时检验的水准确定1）引入变量检验的水准小于剔除变量时检验的水准2）通常引入变量检验的水准为0.05，剔除变量时0.10，但不绝对。,（7）自变量的联合作用分析若要考虑X1、X2对应变量y的联合作用，可设置一个新变量X3=X1X2上例中，如考虑胰岛素（X3）与糖化血红蛋白（X4）存在交互作用，则设置新变量X5=X3X4经检验后，有意义，得：,（8）自变量的共线性当自变量之间存在较强的相关关系时，称之为共线性，对一组存在共线性的自变量进行多元回归分析时，偏回归系数的估计值容易失真。（9）结果分析1）因变量的变异可由自变量解释的比例（R2）即R2=SS回/SS总2）正确分析入选方程的自变量与因变量之间的关系3）正确分析未入选方程的自变量与因变量之间的关系,（10）残差分析,指观察值与估计值之差。在正常情况下ei服从均值为0的正态分布。对上例资料建立的回归方程作残差图分析,第二节多元线性相关,资料要求：Y与p个自变量X都服从正态分布。1.复相关系数（多元相关系数）R,如果FF(p,n-p-1),则在水平上拒绝H0,表示p个自变量共同对应变量的相关密切程度。R波动范围在01之间，它与r值不同，没有负值。R值越接近1，相关越密切。R值随引入回归方程内的自变量个数增加而增大。,确定系数(R2)即R2=SS回/SS总,回归变异占总变异的比值.它表明由于引入有显著性相关的自变量，使总平方和减少的部分。,2.校正复相关系数（Ra）和校正确定系数（R2a）复相关系数随方程中变量数的增加而增大，即使无显著性的变