matlab第十讲.ppt

MATLAB的方差与回归分析 MATLAB数据处理与应用 2011 2012学年选修课 第十讲 王文健wwj527 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 2 主要内容 方差分析回归分析聚类分析判别分析 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 3 MATLAB方差与回归分析 方差分析任何事物总受多种因素的影响 但各个因素对事物的影响可能是不相同的 而且同一个因素不同水平的影响也可能不通利用测量数据分析各个因素对该事物的影响是否显著 这种数据处理方法即为数理统计中的方差分析如果仅考虑某一因素A对事件的影响 在试验时让其他因素保持不变 只改变因素A 这样试样称为单因素试验 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 4 MATLAB方差与回归分析 方差分析如果考虑两个及以上的因素A B等对事件的影响 则称为双因素或多因素试验A B等因素所处的状态称为水平利用试验数据分析各因素对事件的影响是否显著的方法则响应称为单因子方差分析 双因子方差分析 多因子方差分析 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 5 MATLAB方差与回归分析 单因子方差分析anova1 单因子方差分析p anova1 X group p为零假设存在的概率 一般p小于0 05或0 01时 认为结果显著 当X为矩阵时 利用group变量作为X中样本箱形图的标签p anova1 X group displayopt displayopt为0时 则激活anoval表和箱形图的显示 p table anova1 返回单元数组表中的anoval表 p table stats anoval 返回stats结构 用于多元比较检验 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 6 MATLAB方差与回归分析 单因子方差分析有反应A P 现研究反应温度对反应速度的影响 固定其他因素 在三个温度水平进行试验 得到如下结果 请分析温度对反应速度的影响温度35 40 46 145565924252633465165 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 7 MATLAB方差与回归分析 单因子方差分析x 454246 565251 596365 anova1 x ans 4 8095e 004结果表明零假设存在的概率小于0 05 所以拒绝零假设 即各列均值之间有显著差异 结果说明温度对反应速度的影响相关大 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 8 MATLAB方差与回归分析 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 9 MATLAB方差与回归分析 单因子方差分析方差分析表第一列为误差来源 第二列显示每一个误差来源的平方和 第三列显示与每一个误差来源相关的自由度 第四列显示均值平方和 它是误差来源平方和自由度的比值 第五列显示F统计值 为均值平方和的比值 第六列显示p值箱形图 中心线上较大的差异对应于较大的F值和较小的p值 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 10 MATLAB方差与回归分析 双因子方差分析当有两个因素同时影响事件时 采用因子方差分析 因素即为变量 变量的不同取值或说因素的不同情况为因素水平因素水平的改变所造成的试验结果的改变称为主效应当某一因素的效应随另一因素的水平不同而改变时 则称这两个因素存在交互作用 由于交互作用引起的试验结果的改变称为交互效应是否存在交互效应 可通过专门的数学方法进行检验 也可通过交互图来判断 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 11 MATLAB方差与回归分析 双因子方差分析anova2 双因子方差分析p anova2 X repsdisplayopt 比较X中两列以上和两行以上的均值 不同列中的数据代表一个因子A的变化 不同行中的数据代表因子B的变化 p为零假设的概率 当小于0 05或0 01时 一般认为可以拒绝零假设 当displayopt为on时 则显示方差分析表和箱形图 p table anova2 返回单元数组表中的anova表 p table stats anova2 返回stats结构 用于多元检验 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 12 MATLAB方差与回归分析 双因子方差分析举例 为了考察固化时及固化温度对胶粘剂粘结材料强度的影响 进行12次试验得到如下结果 分析固化时间和固化温度的不同是否对粘结强度有显著影响时间25 50 90 1052 3 58 9136 8 132 1230 5 224 83083 6 85 3157 3 153 4260 4 264 860115 6 112 9187 9 185 2323 8 329 9 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 13 MATLAB方差与回归分析 双因子方差分析x 52 358 983 685 3115 6112 9 136 8132 1157 3153 4187 9185 2 230 5224 8260 4264 8323 8329 9 anova2 x 2 ans 1 0e 004 0 00000 00000 1794通过结果分析可知 固化时间 固化温度及二者交互作用对反应的p值都远小于0 05 所以拒绝三个零假设 认为固化温度 固化时间和二者交互作用对粘结强度具有显著影响 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 14 MATLAB方差与回归分析 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 15 MATLAB方差与回归分析 多因素方差分析anovan N因素方差分析p anovan X group 比较X中对应于N个不同因子的观察值的均值 因子水平由单元数group指定 group中N个单元中的每一个包含一些列因子水平 确定相对于N个因子中的某一个X的观察值 p为零假设的概率 一般小于0 05或0 01时 可认为拒绝零假设p anovan X group model 用model指定的模型进行方差分析 其中model可以是linear interaction full 一个向量或整数 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 16 MATLAB方差与回归分析 多因素方差分析p anovan X group model sstype 用于根据sstype指定的平方和类型计算方差分析 它可以是1 2或3 默认为3 sstype的取值只影响非平衡数据的计算p anovan X group model sstype gnames 用字符数组标注方差分析表中的N个试验因子p anovan X group model sstype gnames displayopt 当displayopt显示on时 显示anova表和箱形图 p table anovan 返回单元数组表中的anova表 p table stats anovan 返回stats结构 用于多元检验 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 17 MATLAB方差与回归分析 多因素方差分析为了达到排放标注 逆采用空气催化氧化法处理废液 试验研究了影响空气催化氧化法效果的各种因素 测定了催化剂投加量 空气量 通气时间等因素对偏二甲菁去除率的影响 试分析影响处理效果的因素序号催化剂投加量空气量通气时间偏二甲氰去除率120200133220200162320400137420400363540200158640200375740400163840400380 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 18 MATLAB方差与回归分析 多因素方差分析x 3362376358756380 group cat1 cat1 cat1 cat1 cat2 cat2 cat2 cat2 air1 air1 air2 air2 air1 air1 air2 air2 time1 time2 time1 time2 time1 time2 time1 time2 anovan x group 2 3 cat air time ans 0 02360 12570 02150 34400 09030 5000通过结果分析 催化剂和氧化时间对处理效果具有显著影响 而空气量影响不显著 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 19 MATLAB方差与回归分析 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 20 MATLAB方差与回归分析 多元方差分析单因素多元方差分析检验某变量是否受到其它一个或多个变量的影响 利用该分析过程可以分析因素之间的主效应 也可以分析因素之间的交互效应manova1 单因素多元方差分析d manova1 X group alpha 对group分组中的X各列的多变量均值以显著性指标alpha进行单因素多元分析 返回d 它是包含组均值的空间维数的估计manovacluter 分组聚类manovacluter stats 进行多元分析后 生成均值的树形图 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 21 MATLAB方差与回归分析 多元方差分析manovacluter stats method 使用method指定的方法进行分类H manovacluter stats method 返回图中直线的句柄向量multcompare 均值或其它估计的多元比较检验c multcompare stats alpha displayopt 在alpha显著性水平下用stats结构中的信息进行多元比较检验 返回比较结果的矩阵c multcompare stats alpha displayopt ctype estimate 指定进行比较的估计 并指定临界值 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 22 MATLAB方差与回归分析 多元方差分析举例 某工厂排出的污水属于第二类污染物 为了达到国家污水排放标准 工厂对污水进行了处理 为了考察处理工艺参数对处理效果的影响 对污水进行监测 某段时间的监测结果如下 试进行多元方差分析参数Ph值悬浮物CODCrBOD5参数16 3167360286参数16 8172371280参数17 0169362374参数16 5175366270参数27 4201387289参数27 0214375283参数27 3210381278参数26 9208390279参数37 6187359261参数37 2193357267 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 23 MATLAB方差与回归分析 多元方差分析x 6 3167360286 6 8172371280 7 0169362274 6 5175366270 7 4201387289 7 0214375283 7 3210381278 6 9208390279 7 6187359261 7 2193357267 group 参数1 参数1 参数1 参数1 参数2 参数2 参数2 参数2 参数3 参数3 d p manova1 x group d p stats manova1 x group manovacluster stats 结果表明 各均值可能位于相同的平面上 但没有位于同一条直线上 即处理方法参数1 3两者之间对处理结果没有显著性差异 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 24 MATLAB方差与回归分析 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 25 MATLAB方差与回归分析 回归分析在许多问题中 常常会遇到许多相互联系 相互制约的变量 常见的变量之间的关系有两类确定性关系非确定性关系回归一词由美国的高尔顿于1886年首先提出来 他在研究家族成员质检单遗传规律时发现此种现象研究一个随机变量与一个可控变量之间的相关关系的统计方法称为回归分析一元回归分析 多元回归分析 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 26 MATLAB方差与回归分析 回归分析回归分析研究内容从一组数据从发 确立变量间是否存在相关关系 如存在相关关系 确定他们之间的合适的数学表达式 并对可信程度做统计分析从共同影响一个变量的许多变量中 判断哪些变量的影响是显著的 哪些变量的影响是不显著的利用所确定的回归方程进行预测与控制 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 27 MATLAB方差与回归分析 回归分析rcoplot残差个案排序图rcoplot r rint 在回归得到残差处显示一个置信区间的误差条图 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 28 MATLAB方差与回归分析 回归分析regress多元线性回归b regress y x 返回X处的最小二乘拟合值 b bint r rint stats regress y x 在b中返回B的估计 r为残差 stats包含R2统计量 回归的F值和p值 b bint r rint stats regress y x alpha 给出bint和rint的100 1 alpha 的置信区间 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 29 MATLAB方差与回归分析 回归分析leverage生成回归的中心化杠杆值 以衡量由于给定观察值在输入空间中的位置而引起的对回归的影响h leverage data 找到data矩阵中每一行的中心化杠杆值h leverage data model 找到回归的中心化杠杆值 并使用model指定的模型类型model可以是以下任何一种 interactioin包含常数项 线性项和交互项 quadratic交互项加上平方项 purequadratic包含常数项 线性项和平方项 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 30 MATLAB方差与回归分析 回归分析regstats回归诊断图形用户界面regstats responses data 对带常数项的线性回归模型进行回归诊断 它创建一个图形窗口regstats responses data model 控制回归模型的级次 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 31 MATLAB方差与回归分析 回归分析stepwise逐步回归的交互式环境stepwise x y 拟合y与x的列之间的回归模型stepwise x y inmodel 允许控制初始回归模型的项目 inmodel是X中的选定系数 包含在初始模型中stepwise x y inmodel alpha 允许控制拟合系数的置信区间宽度 默认时alpah 1 1 0 025 1 p p为x中的列数 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 32 MATLAB方差与回归分析 回归分析glmfit广义线性拟合b glmfit x y distr 用响应Y 预测变量X和分布distr拟合广义线性模型b glmfit x y distr link estdisp offset pwts const 对于拟合提供其他控制 link变量指定分布参数和预测变量组合之间的线性关系 b dev stats glmfit 返回附加输出dev和stats TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 33 MATLAB方差与回归分析 回归分析polyfit多项式线性曲线拟合 p s polyfit x y n 拟合n次多项式的最小二乘意义上的系数估计值 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 34 MATLAB方差与回归分析 回归分析robust稳健回归b robust x y 用稳健回归来拟合 它受异常值的影响小 b stats robust x y 返回stats结构 b stats robust x y wfun tune cost 指定一个加权函数 一个协调常数和是否显示常数项 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 35 MATLAB方差与回归分析 回归分析lscov已知方差下进行拟合最小二乘运算X LSCOV A B V 返回解向量X X DX LSCOV A B V 返回标准误差DX TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 36 MATLAB方差与回归分析 回归分析rstool交互式拟合及响应面的可视化rstool x y 显示95 置信区间的交互式预测图rstool x y model 允许控制初始回归模型rstool x y model alpha xname yname 在图中标注x轴和y轴 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 37 MATLAB方差与回归分析 回归分析x2fx将一个因子设置矩阵转换为一个设计矩阵D x2fx x 为带常数项线性模型将系统输入矩阵转换为设计矩阵D x2fx x model 允许控制回归模型的级次 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 38 MATLAB方差与回归分析 回归分析测定了苯甲醛和9个一取代甲氰化合物的有机碳吸附系数K1和正辛醇水分配系数K2 试找出二者之间的关系12345678910K12 152 222 302 312 291 601 591 451 571 81K21 601 591 451 571 812 252 242 242 272 45 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 39 MATLAB方差与回归分析 回归分析x 1 601 591 451 571 812 252 242 242 272 45 y 2 152 222 302 312 292 442 522 522 582 60 rstool x y regress x y betarmseresidualsd x2fx x regress y d TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 40 MATLAB方差与回归分析 回归分析regstats y x b bint r rint stats regress y x TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 41 MATLAB方差与回归分析 回归分析多元线性回归regress若y 2 0 5x b b N 0 0 12 x rand 10 1 x ones 10 1 x y x 2 0 5 0 1 randn 10 1 b bint r rint stats regress y x b statsrcoplot r rint TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 42 MATLAB方差与回归分析 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 43 MATLAB方差与回归分析 非回归分析nlinfit非线性最小二乘数据拟合beta nlinfit x y model beta0 返回model中描述的非线性函数的系数 期中model是一个自定义函数 beta r J nlinfit x y model beta0 返回拟合系数 残差和雅可比矩阵 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 44 MATLAB方差与回归分析 非回归分析nlintool非线性拟合GUInlintool x y model beta0 alpha 为预测图 提供非线性曲线拟合 置信区间为100 1 alpha 缺省95 nlintool x y model beta0 alpha xname yname 用字符标注x和y轴 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 45 MATLAB方差与回归分析 非回归分析nlpredci计算非线性模型预测值的置信区间ypred nlpredci f inputs beta r J 给定beta 残差r和雅可比矩阵J 拟合参数兵返回预测响应 ypred delta nlpredci f inputs beta r J 返回参数delta 用于计算非线性最小二乘预测的置信区间ypred nlpredci f inputs beta r J simpot predopt 控制置信区间的类型 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 46 MATLAB方差与回归分析 非回归分析nlparci非线性参数估计的置信区间ci nlparci beta r J 给定拟合参数beta 残差r和雅可比矩阵J 返回非线性最小二乘参数估计beta的95 置信区间ci TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 47 MATLAB方差与回归分析 非回归分析在研究过程反应过程中 建立了一个反应速率和反应物含量的数学模型 形式为 其中是未知的参数 x1 x2 x3是三种反应物的含量 y是反应速率 今测得一组数据如下表 试确定参数 参考值为 1 0 05 0 02 0 1 2 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 48 MATLAB方差与回归分析 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 49 MATLAB方差与回归分析 非回归分析x 470285470470470100100470100100100285285 3008030080801908019030030080300190 1010120120101065655412012010120 y 8 553 794 820 022 7514 392 544 35138 50 0511 323 13 beta0 10 050 020 12 beta R J nlinfit x y eg9 2fun beta0 betabetaci nlparci beta R J ypre delta nlpredci eg9 2fun x beta R J plot x 1 y o x 1 ypre TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 50 MATLAB方差与回归分析 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 51 MATLAB方差与回归分析 异常数据的处理若确认列状数据为来自同一总体的样本 那么绝大部分数据应该在均值的4或5个标准差之内 因一些外在的因素往往会有一些坏数据混杂其中 这些坏数据往往会严重影响统计量的计算结果 从而影响统计推断的正确性 所以应该去除这些坏数据可以个别处理 也可以按一定百分比剔除掉最大和最小的一部分数据 如上下各剔除2 5 坏数据除去后 统计量应该重新计算 TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 52 MATLAB方差与回归分析 异常数据的处理trimmean data percent 忽略数据上下个percent 2 后的均值 期中0 percent 100设列状数据为cdata 可用下列M文件trim m去除坏数据clearc nan ones 100 1 inf 100 mean c trimmean c 5 c trim c mean c TribologyResearchInstituteSOUTHWESTJIAOTONGUNIVERSITY 53 MATLAB方差与回归分析 异常数据的处理functiondata trim data outval ifnargin1 data any outliers elsedata fin