化学试验设计法中的回归分析市公开课获奖课件

1、164 多元线性回归 一元线性和非线性回归办法对单原因试验很管用，但是我们在试验中经常碰到是多原因情况。譬如分析化学中常见多组分分析问题，如何做？老式办法是采用化学掩蔽或分离等办法，将其转化为单原因进行研究。但这样经常费时费力，还得到不一定是最好条件。尚有如前面提到均匀设计法数据分析，要求出多个原因最优水平，如何做？在这时就必须采用多元回归。第1页第1页2多元回归有各种，除了多元线性、非线性回归外，其它如化学计量学中主成份分析、偏最小二乘法、聚类分析等也是比较惯用回归分析办法。多元线性回归是一个使用非常广泛校正办法，在均匀设计中就要用到。第2页第2页3对于一个多原因（X1、X2、Xn）试验，试

2、验响应指标为Y，假如Y与各原因之间为线性关系，则有： （11） 这里，b0为常数项，b1、bn称为多元线性回归偏回归系数。和一元线性回归办法类似，用最小二乘法来拟定建立模型系数，从而能够建立起Y对Xi线性回归方程。 第3页第3页4当Xi取不同水平（如m个水平）时，经过试验能够得到不同响应指标值Yi： （12） 注意这里mn1，想一想为何？ 方程组（12）能够用最小二乘法来拟定b0bn值。第4页第4页5即： （13） 同样，为了得到极小值，对（13）式求导： （14） 第5页第5页6方程组（14）可变形为： (14) (14)称为正规方程组，其方程数目与未知数数目相等。 第6页第6页7方程组(1

3、4)右边系数矩阵为： XTXm而左边为： XTY第7页第7页8因此(14)式矩阵形式就是： XTYXTXB （15） 假如XTX逆矩阵(XTX)-1存在，则系数矩阵为： B(XTX)-1 XTY (16) 假如将（16）式代入（12）式，则有： YXBX(XTX)-1XTY (17) (17)式表示了试验值Yi与拟和值Yi关系，也许很靠近，也也许不相符，甚至相差很大。因而也需要对拟和结果进行检查。第8页第8页9对于多元回归分析，通常采用复相关系数r来评价拟和值Yi和试验值Yi之间关系。 依据方差分析思想，将Y总差方和ssT（total）分解为两部分，一部分是由自变量改变引起Y波动，即回归差方和

4、ssReg（regression）；另一部分是随机误差或其它未知原因引起波动，即残余差平方和ssRes（residual）。 第9页第9页10（18） ssT、ssReg、ssRes自由度分别是m-1, n, 和m-n-1。 （19） r越靠近1，阐明Y与自变量相关性越好。 r在回归分析中是非常主要指标。 但是应注意：r不但是回归方程中自变量个数n函数，还与观测水平数m相关。当 m相对于n不很大时，常有较大r，尤其是当mn+1时，即使n个自变量与y不相关，也恒有r=1 (Q= 0)。因而在实际计算中，要注意m和n百分比问题。 普通认为，m至少为n5倍。第10页第10页1165 多元非线性回归

5、多元非线性回归是另一个很惯用回归办法，其回归原理也和一元非线性回归相同。 普通有两种办法： （1） 变量代换法。 （2）非线性最小二乘法，它就是采用最小二乘法预计非线性模型中参数，从而建立非线性回归模型。 普通，当我们不知道回归模型时，则多元非线性回归可转化成多元多次多项式进行拟合，这是基于泰勒展开基础。通过这样转换即可对其进行多元非线性拟合 。第11页第11页1266 逐步回归分析法简介（stepwise regression） 在上一节中讨论了多元回归分析。当我们不知道指标（因变量）和多个原因（自变量）之间关系模型时，如何进行回归分析？ 尚有， 在一些实际问题中也许有这样情况：参与回归n个

6、变量x1、x2、 xn 中，单独观测，有些原因与因变量y相关程度很密切，但当综合观测n个原因与y相关性时，这些原因也许显得不太主要。第12页第12页13若把这些变量保留，不但增长计算工作量，并且会增长回归方程不稳定性，因此希望从n个变量中选出与y最密切、最具代表性变量来描述y改变情况。即希望所得回归方程包括一切对y作用明显原因，不包括对y不明显变量。原因：这些原因与n个变量中其它变量之间本来就有相关关系，当做回归时，它们对y作用被其它因子替换了。这时候就要用到逐步回归分析法。逐步回归分析是在多元回归基础上派生出来一个算法技巧。第13页第13页14逐步回归办法基本思想：对所有自变量x1,x2,.

7、,xn,按它们对Y奉献大小进行比较，并通过F检查法，选择偏回归平方和明显变量进入回归方程，每一步只引入一个变量，同时建立一个偏回归方程。当一个变量被引入后，对原已引入回归方程变量，逐一检查他们偏回归平方和。假如由于引入新变量而使得已进入方程变量变为不明显时，则及时从偏回归方程中剔除。上面简介是“逐步引入”办法。另外尚有“逐步剔除”、“有进有出”等办法。第14页第14页15自变量x明显性如何检查？假定在n个自变量中已经建立了x1、x2、xL对y回归方程，对各变量奉献进行比较，找出最小奉献xj，要检查xj明显性，则可由xj对y方差奉献Qj来衡量。通惯用Qj与x1、x2、xL整体方差Q之比Qj/Q来

8、量度。采用F检查：FFa，阐明xj奉献较大，保留；FFa，则剔除xj。第15页第15页16在引入了两个自变量以后，便开始考虑是否有需要剔除变量。只有当回归方程中所有自变量对Y都有明显影响而不需要剔除时，再考虑从未选入方程自变量中，挑选对Y有明显影响新变量进入方程。无论引入还是剔除一个变量都称为一步。这一过程不断被重复，直至无法剔除已引入变量，也无法再引入新自变量时，逐步回归过程结束。普通逐步回归分析都需要借助专用软件完毕。 第16页第16页17逐步回归分析逻辑结构图输入基本参数、读入原始数据计算各变量均值、离差矩阵、相关矩阵开始逐步计算是否为前三步？是否引入处理剔除处理是否剔除？是否是否引入？

9、否结束处理，打印计算结果对相关阵进行变换是否有待预报样品？否结束预报计算是第17页第17页18多元线性回归举例。例14. 已知水泥在凝固过程中放出热量y(J/g)与下列四种成份含量相关：x1: 3CaOSiO2; x2: 2CaOSiO2; x3: 3CaOAl2O3; x4: 4CaOAl2O3Fe2O3;原始数据下列表：详细处理见EXCEL表。第18页第18页19试验号mx1x2x3x4y(J/g)172666078.52129155274.331156820104.34113184787.6575263395.961155922105.27371176102.78131224472.59

10、254182293.1102147426115.911140233483.8121160912113.3131068812109.4第19页第19页2067 回归分析法惯用软件简介 1. EXCEL2. Origin3. SPSS5. MatLab4. Dab/第20页第20页21第21页第21页22第22页第22页23第23页第23页24第24页第24页25第25页第25页26第26页第26页27第27页第27页28第28页第28页29SPSS(Statistical Package for the Social Science)社会科学应用软件包是世界上著名统计分析软件之一。它和SAS（Statistical Analysis System，统计分析系统）、BMDP（Biomedical Programs，生物医学程序）并称为国际上最有影响三大统计软件。 Dab/浙江大学， 唐启义第29页第29页30MatLab Matlab是一个广泛应用于工程计算及数值分析领域新型高级语言。自 1984 年推向市场以来，历经二十多年发展与竞争，现已成为国际公认最优秀工程应用开发环境。 在欧美各高等院校，Matlab 已经成为线性代数、数值分析、数理统计、自动控制理论、数字信号处理、时间序列分析、动态系统仿