第2章++常用统计技术（中级）.ppt

第二章常用统计技术 中级 方差分析回归分析试验设计 上海质量教育培训中心 2005年 第一节方差分析 一 几个概念二 单因子方差分析 一 几个概念 在试验中改变状态的因素称为因子 常用大写英文字母A B C 等表示 因子在试验中所处的状态称为因子的水平 用代表因子的字母加下标表示 记为A1 A2 Ak 试验中所考察的指标 可以是质量特性也可以是产量特性或其它 用Y表示 Y是一个随机变量 单因子试验 若试验中所考察的因子只有一个 例2 1 1 现有甲 乙 丙三个工厂生产同一种零件 为了了解不同工厂的零件的强度有无明显的差异 现分别从每一个工厂随机抽取四个零件测定其强度 数据如表所示 试问三个工厂的零件的平均强度是否相同 三个工厂的零件强度 在这一例子中 考察一个因子 因子A 工厂该因子有三个水平 甲 乙 丙试验指标是 零件强度 这是一个单因子试验的问题 每一水平下的试验结果构成一个总体 现在需要比较三个总体均值是否一致 如果每一个总体的分布都是正态分布 并且各个总体的方差相等 那么比较各个总体均值是否一致的问题可以用方差分析方法来解决 二 单因子方差分析 假定因子A有r个水平 在Ai水平下指标服从正态分布 其均值为 方差为 i 1 2 r 每一水平下的指标全体便构成一个总体 共有r个总体 这时比较各个总体的问题就变成比较各个总体的均值是否相同的问题了 即要检验如下假设是否为真 当不真时 表示不同水平下的指标的均值有显著差异 此时称因子A是显著的 否则称因子A不显著 检验这一假设的分析方法便是方差分析 方差分析的三个基本假定 1 在水平下 指标服从正态分布 2 在不同水平下 各方差相等 3 各数据相互独立 设在一个试验中只考察一个因子A 它有r个水平 在每一水平下进行m次重复试验 其结果用表示 i 1 2 r 常常把数据列成如下表格形式 单因子试验数据表 记第i水平下的数据均值为 总均值为 此时共有n rm个数据 这n个数据不全相同 它们的波动 差异 可以用总离差平方和ST去表示 记第i水平下的数据和为Ti 引起数据波动 差异 的原因不外如下两个 一是由于因子A的水平不同 当假设H0不真时 各个水平下指标的均值不同 这必然会使试验结果不同 我们可以用组间离差平方和来表示 也称因子A的离差平方和 这里乘以m是因为每一水平下进行了m次试验 二是由于存在随机误差 即使在同一水平下获得的数据间也有差异 这是除了因子A的水平外的一切原因引起的 我们将它们归结为随机误差 可以用组内离差平方和表示 Se 也称为误差的离差平方和 可以证明有如下平方和分解式 ST SA Se的自由度分别用 表示 它们也有分解式 其中 因子或误差的离差平方和与相应的自由度之比称为因子或误差的均方和 并分别记为 两者的比记为 当时认为在显著性水平上因子A是显著的 其中是自由度为的F分布的1 分位数 单因子方差分析表 各个离差平方和的计算 其中是第i个水平下的数据和 T表示所有n rm个数据的总和 进行方差分析的步骤如下 1 计算因子A的每一水平下数据的和T1 T2 Tr及总和T 2 计算各类数据的平方和 3 依次计算ST SA Se 4 填写方差分析表 5 对于给定的显著性水平 将求得的F值与F分布表中的临界值比较 当时认为因子A是显著的 否则认为因子A是不显著的 对上例的分析 1 计算各类和 每一水平下的数据和为 数据的总和为T 1200 2 计算各类平方和 原始数据的平方和为 每一水平下数据和的平方和为 3 计算各离差平方和 ST 121492 12002 12 1492 fT 3 4 1 11SA 485216 4 12002 12 1304 fA 3 1 2Se 1492 1304 188 fe 11 2 9 4 列方差分析表 例2 1 1 的方差分析表 5 如果给定 0 05 从F分布表查得 由于F 4 26 所以在 0 05水平上结论是因子A是显著的 这表明不同的工厂生产的零件强度有明显的差异 当因子A是显著时 我们还可以给出每一水平下指标均值的估计 以便找出最好的水平 在单因子试验的场合 第i个水平指标均值的估计为 在本例中 三个工厂生产的零件的平均强度的的估计分别为 由此可见 乙厂生产的零件的强度的均值最大 如果我们需要强度大的零件 那么购买乙厂的为好 而从工厂来讲 甲厂与丙厂应该设法提高零件的强度 误差方差的估计 这里方差的估计是MSe 在本例中 的估计是20 9 的估计是 例2 1 2 略 见教材P92 三 重复数不等的情况 若在每一水平下重复试验次数不同 假定在Ai水平下进行次试验 那么进行方差分析的步骤仍然同上 只是在计算中有两个改动 例2 1 3某型号化油器原中小喉管的结构使油耗较大 为节约能源 设想了两种改进方案以降低油耗 油耗的多少用比油耗进行度量 现在对用各种结构的中小喉管制造的化油器分别测定其比油耗 数据如表所列 试问中小喉管的结构 记为因子A 对平均比油油耗的影响是否显著 这里假定每一种结构下的油耗服从等方差的正态分布 例2 1 3 的试验结果 为简化计算 这里一切数据均减去220 不影响F比的计算及最后分析因子的显著性 1 各水平下的重复试验次数及数据和分别为 A1 m1 8 T1 69 5A2 m2 4 T2 6 0A3 m3 4 T3 15 4 总的试验次数n 16 数据的总和为T 90 9 2 计算各类平方和 3 计算各离差平方和 ST 757 41 516 43 240 98 fT 16 1 15SA 672 07 516 43 155 64 fA 3 1 2Se 240 98 155 64 85 34 fe 15 2 13 4 列方差分析表 例2 1 3 方差分析表 5 如果给定 0 05 从F分布表查得 由于F 3 81 所以在 0 05水平上我们的结论是因子A是显著的 这表明不同的中小喉管结构生产的化油器的平均比油耗有明显的差异 我们还可以给出不同结构生产的化油器的平均比油耗的估计 这里加上220是因为在原数据中减去了220的缘故 由此可见 从比油耗的角度看 两种改进结构都比原来的好 特别是改进结构1 在本例中误差方差的估计为6 56 标准差的估计为2 56 第二节回归分析 例2 2 1合金的强度y与合金中的碳含量x有关 为了生产出强度满足顾客需要的合金 在冶炼时应该如何控制碳含量 如果在冶炼过程中通过化验得到了碳含量 能否预测合金的强度 这时需要研究两个变量间的关系 首先是收集数据 xi yi i 1 2 n 现从生产中收集到表2 2 1所示的数据 表2 2 1数据表 一 散布图 例2 2 1 的散布图 二 相关系数 1 相关系数的定义 在散布图上n个点在一条直线附近 但又不全在一条直线上 称为两个变量有线性相关关系 可以用相关系数r去描述它们线性关系的密切程度 其中 性质 表示n个点在一条直线上 这时两个变量间完全线性相关 r 0表示当x增加时y也增大 称为正相关 r 0表示当x增加时y减小 称为负相关 r 0表示两个变量间没有线性相关关系 但并不排斥两者间有其它函数关系 2 相关系数的检验 若记两个变量x和y理论的相关系数为 其中x为一般变量 y服从等方差的正态分布 则 对给定的显著性水平 当可以认为两者间存在一定的线性相关关系 可以从表2 2 2中查出 其中n为样本量 3 具体计算 求上例的相关系数 步骤如下 1 计算变量x与y的数据和 Tx 1 90 Ty 590 5 2 计算各变量的平方和与乘积和 3 计算Lxx Lyy Lxy Lxy 95 9250 1 90 590 5 12 2 4292 Lxx 0 3194 1 902 12 0 0186 Lyy 29392 75 590 52 12 335 2292 4 计算r 在 0 05时 由于r 0 576 说明两个变量间有 正 线性相关关系 四 一元线性回归方程 1 一元线性回归方程的求法 一元线性回归方程的表达式为 其中a与b使下列离差平方和达到最小 通过微分学原理 可知 称这种估计为最小二乘估计 b称为回归系数 a一般称为常数项 求一元线性回归方程的步骤如下 1 计算变量x与y的数据和Tx Ty 2 计算各变量的平方和与乘积和 3 计算Lxx Lxy 4 求出b与a 利用前面的数据 可得 b 2 4392 0 0186 130 6022 a 590 5 12 130 6022 1 90 12 28 5297 5 写出回归方程 画出的回归直线一定通过 0 a 与两点 上例 或 2 回归方程的显著性检验 有两种方法 一是用上述的相关系数 二是用方差分析方法 为便于推广到多元线性回归的场合 将总的离差平方和分解成两个部分 回归平方和与离差平方和 总的离差平方和 回归平方和 离差平方和 且有ST SR SE 其中 它们的自由度分别为 fT n 1 fR 1 fE n 2 fT fR 计算F比 对给定的显著性水平 当时认为回归方程是显著的 即回归方程是有意义的 一般也列成方差分析表 对上面的例子 作方差分析的步骤如下 根据前面的计算 1 计算各类平方和 ST Lyy 335 2292 fT 12 1 11SR bLxy 130 6022 2 4292 317 2589 fR 1SE 335 2292 317 2589 17 9703 fE 11 1 10 2 列方差分析表 例2 2 1 的方差分析表 对给定的显著性水平 0 05 有 F0 95 1 10 4 96 由于F 4 96 所以在0 05水平上认为回归方程是显著的 有意义的 3 利用回归方程进行预测 对给定的 y的预测值为 概率为的y的预测区间是 其中 当n较大 与相差不大 那么可给出近似的预测区间 此时 进行预测的步骤如下 1 对给出的x0求预测值 上例 设x0 0 16 则 2 求的估计 上例有 3 求 上例n 12 如果求概率为95 的预测区间 那么t0 975 10 2 228 所以 4 写出预测区间 上例为 49 43 3 11 49 43 3 11 46 32 52 54 由于u0 975 1 96 故概率为0 95的近似的预测区间为 所求区间 49 43 2 63 49 43 2 63 46 80 52 06 相差较大的原因总n较小 四 可化为一元线性回归的曲线回归 在两个重复的散布图上 n个点的散布不一定都在一条直线附近波动 有时可能在某条曲线附近波动 这时以建立曲线回方程为好 1 确定曲线回归方程形式 2 曲线回归方程中参数的估计 通过适当的变换 化为一元线性回归的形式 再利用一元线性回归中的最小二乘估计方法获得 回归曲线的形式 1 a 0 b 0 2 b 0 3 b 0 4 b 0 3 曲线回归方程的比较 常用的比较准则 1 要求相关指数R大 其平方也称为决定系数 它被定义为 2 要求剩余标准差s小 它被定义为 第三节试验设计 一 试验设计的基本概念与正交表 一 试验设计 多因素试验遇到的最大困难是试验次数太多 若十个因素对产品质量有影响 每个因素取两个不同状态进行比较 有210 1024 如果每个因素取三个不同状态310 59049个不同的试验条件 选择部分条件进行试验 再通过数据分析来寻找好的条件 这便是试验设计问题 通过少量的试验获得较多的信息 达到试验的目的 利用正交表进行试验设计的方法就是正交试验设计 二 正交表 L 表示正交表 9 是表的行数 在试验中表示试验的条件数 4 是列数 在试验中表示可以安排的因子的最多个数 3 是表的主体只有三个不同数字 在试验中表示每一因子可以取的水平数 正交表具有正交性 这是指它有如下两个特点 1 每列中每个数字重复次数相同 在表L9 34 中 每列有3个不同数字 1 2 3 每一个出现3次 2 将任意两列的同行数字看成一个数对 那么一切可能数对重复次数相同 在表L9 34 中 任意两列有9种可能的数对 1 1 1 2 1 3 2 1 2 2 2 3 3 1 3 2 3 3 每一对出现一次 常用的正交表有两大类 1 一类正交表的行数n 列数p 水平数q间有如下关系 n qk k 2 3 4 p n 1 q 1 如 L4 23 L8 27 L16 215 L32 231 等 可以考察因子间的交互作用 2 另一类正交表的行数 列数 水平数之间不满足上述的两个关系 如 L12 211 L18 37 L20 219 L36 313 等 这类正交表不能用来考察因子间的交互作用 常用正交表见附录 二 无交互作用的正交设计与数据分析 试验设计一般有四个步骤 1 试验设计2 进行试验获得试验结果3 数据分析4 验证试验 例2 3 1磁鼓电机是彩色录像机磁鼓组件的关键部件之一 按质量要求其输出力矩应大于210g cm 某生产厂过去这项指标的合格率较低 从而希望通过试验找出好的条件 以提高磁鼓电机的输出力矩 一 试验的设计 在安排试验时 一般应考虑如下几步 1 明确试验目的 2 明确试验指标 3 确定因子与水平 4 选用合适的正交表 进行表头设计 列出试验计划 在本例中 试验目的 提高磁鼓电机的输出力矩 试验指标 输出力矩 确定因子与水平 经分析影响输出力矩的可能因子及水平见表2 3 2 表2 3 2因子水平表 选表 首先根据因子的水平数 找出一类正交表 再根据因子的个数确定具体的表 把因子放到表的列上去 称为表头设计把放因子的列中的数字改为因子的真实水平 便成为一张试验计划表 每一行便是一个试验条件 在正交设计中n个试验条件是一起给出的的 称为 整体设计 并且均匀分布在试验空间中 试验计划与试验结果 9个试验点的分布 二 进行试验 并记录试验结果 在进行试验时 要注意几点 1 除了所考察的因子外的其它条件 尽可能保持相同 2 试验次序最好要随机化 3 必要时可以设置区组因子 三 数据分析 1 数据的直观分析 1 寻找最好的试验条件 在A1水平下进行了三次试验 1 2 3 而在这三次试验中因子B的三个水平各进行了一次试验 因子C的三个水平也各进行了一次试验 在A2水平下进行了三次试验 4 5 6 在这三次试验中因子B与C的三个水平各进行了一次试验 在A3水平下进行了三次试验 7 8 9 在这三次试验中因子B与C的三个水平各进行了一次试验 将全部试验分成三个组 那么这三组数据间的差异就反映了因子A的三个水平的差异 为此计算各组数据的和与平均 T1 y1 y2 y3 160 215 180 555 T1 3 185 T2 y4 y5 y6 168 236 190 594 T2 3 198 T3 y7 y8 y9 157 205 140 502 T3 3 167 3 同理 对因子B与C将数据分成三组分别比较 所有计算列在下面的计算表中 例2 3 1直观分析计算表 2 各因子对指标影响程度大小的分析极差的大小反映了因子水平改变时对试验结果的影响大小 这里因子的极差是指各水平平均值的最大值与最小值之差 譬如对因子A来讲 RA 198 167 3 30 7 其它的结果也列在上表中 从三个因子的极差可知因子B的影响最大 其次是因子A 而因子C的影响最小 3 各因子不同水平对指标的影响图 从图上可以明显地看出每一因子的最好水平A2 B2 C3 也可以看出每个因子对指标影响的大小RB RA RC 图2 3 2因子各水平对输出力矩的影响 由于正交表的特点 使试验条件均匀分布在试验空间中 因此使数据间具有整齐可比性 上述的直观分析可以进行 但是极差大到什么程度可以认为水平的差异确实是有影响的呢 2 数据的方差分析 要把引起数据波动的原因进行分解 数据的波动可以用离差平方和来表示 正交表中第j列的离差平方和的计算公式 其中Tij为第j列第i水平的数据和 T为数据总和 n为正交表的行数 q为该列的水平数 该列表头是哪个因子 则该Sj即为该因子的离差平方和 譬如SA S1 正交表总的离差平方和为 在这里有 例2 3 1 的方差分析计算表 第4列上没有放因子 称为空白列 S4仅反映由误差造成的数据波动 称为误差平方和 Se S4 利用可以验证平方和的计算是否正确 例2 3 1 的方差分析表 因子A与B在显著性0 10与0 05上都是显著的 而因子C不显著 3 最佳条件的选择 对显著因子应该取最好的水平 对不显著因子的水平可以任意选取 在实际中通常从降低成本 操作方便等角度加以选择 上面的例子中对因子A与B应该选择A2B2 因子C可以任选 譬如为节约材料可选择C1 4 贡献率分析方法 当试验指标不服从正态分布时 进行方差分析的依据就不够充足 此时可通过比较各因子的 贡献率 来衡量因子作用的大小 由于S因中除因子的效应外 还包含误差 从而称S因 f因Ve为因子的纯离差平方和 将因子的纯离差平方和与ST的比称为因子的贡献率 四 验证试验 对A2B2C1进行三次试验 结果为 234 240 220 平均值为231 3此结果是满意的 三 有交互作用的正交设计