《多元回归分析》PPT课件.ppt

六西格玛绿带培训教材 多元回归分析,12-1,结束对本章节的学习后，学员将可以： 解释什么是多项式回归和多元回归 进行多项式回归分析 进行多元回归分析,学习目的,定义:回归是确定一个响应变量(或输出)与一个或多个因变量(或输入)之 间的统计关系的方法。 Y=f(X1,X2,.Xn),回归分析,其中：,Y是响应变量,X1到Xn是因变量,12-2,定义：决定两个来自不同变量根源的响应（或输出）之间线性关系的 方法。 也代表两个变量间的线性关联程度。由一个相关系数(R)来衡量两个变 量间的联系强度，在这里-1R1。 按照惯例，R表示真实的系数，R表示我们的最佳估算。,相关,回归分析 回归分析建立关于因变量与 响应变量之间关系的估计方 程式(公式)。,回归与相关,12-3,相关分析 量华两个变量之间的线性关系的程 度，即等式的适合性如何？,VS,预测 系统模型 因子筛选 参数估算,回归的应用,在前一节，我们讲解了一般线性回归方法。但是，常常会遇到响应量Y 与因变量X之间的关系并非线性的情况。可能是平方或立方的关系。,多项式回归,这种情况下，一般线性回归模式就不是一个好的选择。 模型可能是： Y=a+b1x+b2x2+b3x3,12-4,多项式回归模型是带有更高次方因变量的一般线性回归模式的另外 一种形式。 对于多项式模型是否适用于分析响应变量的变异，“残差与拟合值” 和“残差与因变量”图可以提供提示。 这些图中的曲线部分通常表示多项式模型对于响应变量能够提供一 个更好的拟合。,多项式回归,一组实验要研究高强度水泥中的各种杨灰含量对水泥强度的影响， 在0到60%的不同扬灰含量下获得18个水泥样本。 数据在Concrete strength.mtw,例1,12-5,建立一次，二次和三次回归模型，并进行对比。,Minitab:统计回归拟合线图,例1A.一次模型,Minitab:统计回归拟合线图,例1B.二次模型,12-6,例1B.二次模型,例1C.三次模型,12-7,多项式回归是否产生更好的拟合？,以更高次的因变量拟合响应变量总是会改善测定系数。 但是，这也伴随着自由度降低的代价。 为了比较高次方模型是否会提供较佳的拟合，可以做如下两种 其它比较方法： a)修正测定系数(R2调修正) b)估计值的标准误,例1D,模式比较,12-9,Model Adj R2 S Linear 13.2% 460.8 Quadratic 60.2% 312.1 Cubic 85.3% 189.4,问题：哪一个是最佳拟合模型？,多元线性回归,12-9,如果我们怀疑/知道多个变量与响应变量Y有关,我们 可建立一个多元回归模型. 使用两个或多个输入变量如X1、X2等，模型将变得很复杂，但他们 可能产生更有用的信息，且比较单变量模型提供更精确的预测。,12-10,一般线性回归,一般线性回归模型,Y是响应,Bis是回归系数,Y=a+b1x1+b2x2+b3x3+bkxk,Xis是预测因子,a)k=1:一般线性回归或一般回归 b)k1:多元性回归或多元回归,Xs可以是高次方多项式项，不同 的变量，或不同变量的交叉项 (例如X3=X1*X2),多元回归,12-10,当需要考虑超过一个预测因子时，多元回归分析可以看作是一般回归分 析（其中只含有一个预测因子）的扩展。 在当今的工艺技术中，很难找到单一响应变量单一预测因子的模型。 因以下的原因：多元回归比一般回归分析更加困难： 最佳模型的选定 模型拟合的直观度 对拟合模型的理解 对拟合模型的计算,如何选择最佳模型,12-11,选择标准 残差均方（MSEp) 测定系数（R2） 修正的测定系数,例2：多元回归,数据在Multi Reg.mtw y=化学溶液的杂质百分数 x1=温度() x2=杀菌时间（分）,12-13,例2：多元回归,我们的目标是建立回归模型，然后预测当时间为15分，温度为120, 及使用它预测平均杂质百分数。 方法： 建议使用模型 运行回归程序，包含所有模型的检验程序 当模型被确认使用后，使用/解释该模型。,例2:与时间对应的杂质百分数,12-14,例2:与温度对应的杂质百分数,例2:尝试线性模型,12-15,例2:尝试线性模型,例2:Minitab输出,回归分析：%lmp与Time, Temp 回归方程为 %lmp=2.74+0.0503Time -0.0147Temp 自变量 系数 系数标准误 T P 常量 2.7400 0.1944 14.09 0.000 Time 0.050333 0.009041 5.57 0.000 Temp -0.014650 0.001107 -13.23 0.000 S=0.0782949 R-Sq=95.8% R-Sq(调整)=94.9%,在其他变量都被包含在模型内的情况下,每一个变量都显著,模型包括了94.9%变异,12-16,例2: Minitab输出(续),方差分析 来源 自由度 SS MS F P 回归 2 1.26312 0.63156 103.03 0.000 残差误差 9 0.05517 0.00613 合计 11 1.31829 来源 自由度 Seq SS Time 1 0.19001 Temp 1 1.07311 新观测值的预测值 新观 拟合值 测值 拟合值 标准误 95%置信区间 95%预测区间 1 1.7370 0.0389 (1.6490,1.8250) (1.5392,1.9348) 新观 测值 Time Temp 1 15.0 120,94.9%是显著的,总方差SST=1.31829,它的1.07311是基于温度,另外的0.19001是基于时间,当温度为1200,时间为15分时,平均杂质百分比预测是1.7370,例2:残差分析,三个残差图被检验(紧接三张幻灯片) 相对时间残差 相对温度残差 相对拟合值残差 残差图显示模型没问题,12-17,相关变量问题, 在多元回归里，如果输入变量X1、X2等是不相关，分析比变量相关时更一般。 通常在设计实验里，跟这些例子的情况一样，变量是不相关或几乎不相关。 在此事例，相关系数X1、X2=0,我们有R2(adj)=94.9%的y=2.74-0.147X1+0.0503X2,非相关变量-加和R2S, 回归分析:%lmp与Temp 回归方程为%lmp=3.62-0.0147Temp 自变量 系数 系数标准误 T P 常量 3.6208 0.2260 16.02 0.000 Temp -0.014650 0.002214-6.62 0.000 S=0.156582 R-Sq=81.4% R-Sq(调整)=79.5% 只考虑X2的回归方程:%lmp=3.62-0.0147 Temp with R2=79.5% 只考虑X2的回归方程: y=1.40+.0433X2 with R2=5.9% %lmp=1.28+0.0503 Time