3变异源分析-方差分析.ppt

变异源分析 方差分析 例如 比较各省籍 台湾 大陆 客家人 人士在收入及教育年数上的差异 大学中各年级的同学智商是否有别 三种不同的教学方法对于学生的成绩是否有影响 变异源分析的一般方法 变异源分析是指通过对过程的有关数据的统计分析 得出变异由哪几部分原因组成 并且定量给出每部分原因所产生的变异在总变异中占的比例 主要是分析问题 尚未考虑解决问题 主要统计工具就是 方差分析 和更深入的有关差分量的计算 一般方法 1 采用按不同因子的不同水平有计划进行分层 然后抽样 不得影响现有的生产条件 2 对数据进行详尽的分析得到各因子在产生响应变量的变异方面的贡献率 确认减少变异的主攻方向 例如 我们关心生产的螺钉的直径的波动 到仓库随机抽取200颗 发现方差大得超出我的想象 但随机收集的数据能说明什么呢 只能说明产品性能的总体波动太大 而我们希望更进一步的信息 到底什么原因造成这么大波动 必须从不同维度有计划的分层抽样 目录 ANOVA 方差分析 的概念OnewayANOVA的概念ANOVA的原理应用MINITAB实习 弹射器再多想一想简要及附录 一 方差分析的基本思想方差分析的基本思想借助以下例题予以说明 例9 1为研究煤矿粉尘作业环境对尘肺的影响 将18只大鼠随机分到甲 乙 丙3个组 每组6只 分别在地面办公楼 煤炭仓库和矿井下染尘 12周后测量大鼠全肺湿重 g 数据见表9 2 问不同环境下大鼠全肺湿重有无差别 从以上资料可看出 三个组的数据各不相同 这种差异 总变异 可以分解成两部分 即 1 组间变异 甲 乙 丙三个组大鼠全肺湿重各不相等 此变异反映了处理因素的作用 以及随机误差的作用 2 组内变异 各组内部大鼠的全肺湿重各不相等 此变异主要反映的是随机误差的作用 各部分变异的计算 总变异 全部试验数据间大小不等 用总离均差平方和来表示 其中 组间变异 由于所接受的处理因素不同而致各组间大小不等 用组间离均差平方和来表示 各组均数之间相差越大 它们与总均数的差值就越大 越大 反之 越小 组内变异 同一处理组内部试验数据大小不等 用组内离均差平方和来表示 三个变异之间的关系 其中 离均差平方和只能反映变异的绝对大小 变异程度除与离均差平方和的大小有关外 还与其自由度有关 由于各部分自由度不相等 因此各部分离均差平方和不能直接比较 须除以相应的自由度 该比值称均方差 简称均方 MS 的大小就反映了各部分变异的平均大小 方差分析就是通过比较组内均方和组间均方的大小关系来判断处理因素有无效应 检验统计量 如果各组的总体均数相等 即无处理因素的作用 则组内变异和组间变异都只反映随机误差的大小 此时组间均方和组内均方大小相当 即F值则接近1 各组均数间的差异没有统计学意义 反之 如果处理有作用 则组间变异不仅包含随机误差 还有处理因素引起的变异 组间变异主要反映处理因素的作用 此时组间均方远大于组内均方 则F值远大于1 各组均数间的差异有统计学意义 故依据F值的大小可判断各组之间有无差别 可见 方差分析的基本思想就是根据实验设计的类型 将全部测量值总的变异分解成两个或多个部分 每个部分的变异可由某个因素的作用 或某几个因素的作用 加以解释 通过比较各部分的均方与随机误差项均方的大小 借助F分布来推断各研究因素对实验结果有无影响 二 方差分析的应用条件 1 各观测值相互独立 并且服从正态分布 2 各组总体方差相等 即方差齐性 例如 某企业为分析研究成品车间的产品质量控制问题 对车间的5个班组产品合格率进行抽查 在每个班组独立抽取5个合格品率数据构成随机样本 指出方差分析的因素 水平和观察值 班组是分析的因素 不同组即水平 合格率观察值关键产品质量特性 研究班组间的差异是随机性的还是系统性的 就是方差分析研究的内容 总变异 每一观察值与总均值的离差的平方的总和 总变异 组内离差 组间离差在方差分析中 假定组内差异 每一班组的方差 是随机性的 组间的差异 每一班组均值与总均值的方差 有随机性也有系统性的 也就是系统性的 辨别方法 如果在一定显著水平下 组间不存在显著差异 在概率程度上认为组间差异是随机的 如过是系统的 说明差异是影响的主要原因 练习 ANOVA的概念 1 ANOVA是什么 在什么情况下使用 当有3个以上水平时检验均值差异 OnewayANOVA当有2个以上因子时检验均值的差异 Two Three wayANOVA用什么原理分析 把所有实验结果的方差 对几个因子的方差和其他误差的方差来区分 并分析均值的差异的方法利用 总方差 因子效果的方差 误差方差 目的 提供一种比较两个以上总体均值的客观方法 X数据 有1个X变量 有多个X变量 Y数据 有1个Y变量 有多个Y变量 XData 离散型 连续型 YData 离散型 连续型 One wayANOVAMeans MediansTests XData 离散型 连续型 YData 离散型 连续型 Chi Square Regression MultipleRegression MediansTests 2 3 4way ANOVA ANOVA的概念 2 包含在哪里 当X是离散型或连续型 Y是连续型变量时使用 是对 均值是否相等 的检验方法 ANOVA的概念 3 路径分析 包含3个以上水平X变量的均值比较 稳定性 分布的形态 散布 Spread 中心的位置 Centering ANOVA 2samplettest 1samplettest 我们要观察的一个input变量 因子 有多个样本时 我们实际上在实施单因子实验 SingleFactorExperiment 我们要分析对象的因子是否有水平间的差异确定3个供应商的平均交货期是否有差异确定某个机器的设定值在5个水平间变化时 零件的尺寸是否不同现在开始做第一次实验 观察 OnewayANOVA的概念 1 概要 ANOVA的原理 1 总变动 因子A的水平是I个 各水平的反复数都是m次 则数据矩阵排列成下面的样子 总均值是用右边的公式求 利用各个DATA和总均值把总均值分解为两个 同下表示 左边和右边平方时同下 ANOVA的原理 2 总变动 上面的第三项变为如下 SS total SS error SS factor 同样第8页式从写如下 这意义的略写SS SumofSquares 来表示 ANOVA的原理 3 总变动 SS total 的自由度是 SS factor 的自由度是 SS error 的自由度是 因此 ANOVA的原理 4 自由度 在一个系统中不影响其他变量能够独立移动的数Ex a b c 4这式中变量的自由度是2 假如a b定为1 2 c必须是2 即能够自然的移动的变量 自由度是 自由度的计算 ANOVA的原理 5 方差分析表 方差分析表的制作 对错误的均值平方因子 利用A的均值平方的大小观察A效果的大小 F越大A效果越大 利用F分布确认P value ANOVA的原理 6 F分布 F分布的参考 自由度k1 k2的变量的F值的F k1 k2 按 的大小占有面积 发生概率 显著水平 F k1 k2 F k1 k2 F 分布 6 5 4 3 2 1 0 0 7 0 6 0 5 0 4 0 3 0 2 0 1 0 0 S c o r e s P r o b 10 1 5 Exercise 某个coating工程认为反应温度对生产的产品的强度有影响 所以对反应温度变化强度有什么变化 还有温度在什么水平时强度最好 进行了实验 反应温度设为因子水平 各温度反复3回 总共12回实验数据随机整理 这结果同下表 制作方差分析表 ANOVAtable 参考Excelsheet ANOVA的原理 7 例题 ANOVAtable ANOVA的原理 8 例题 F分布表中F是 3 8 0 05 4 07 F 3 8 0 01 7 59 那么A是显著水平1 中是否采用零假设 还是推翻 要推翻 检验三组大鼠全肺湿重的总体均数是否相同 解 建立假设 并确定检验水准 H0 H1 不等或不全相等 ANOVA的原理 8 例题 计算F值 表9 2三组大鼠的全肺湿重 g 本例 以上计算结果代入方差分析表 并求出相应的MS及F值 方差分析表 查F界值表 确定P值并作结论 由附表5查得F0 05 2 15 3 68 F 4 70 F0 05 2 15 故P 0 05 按 0 05水准拒绝H0 接受H1 差别有统计学意义 可认为不同粉尘环境影响大鼠的全肺湿重 当g 2时 方差分析的结果与两样本均数比较的t检验等价 且有 ANOVA的原理 9 统计的假定 输出的总体方差在给定因子所有水平上都相等 方差均一性TestforEqualVariance 我们可以用统计 方差分析 等方差检验程序来检验这个假设 响应均值是独立的 并服从正态分布 如果使用随机化和适当的样本数 这个假设一般有效 警告 在化学过程中 均值相关的风险很高 应永远考虑随机化 残差 数学模型的误差 是独立的 其分布是均值 0 方差为恒量的正态分布 单一因子实验分析 实验结果移动到MINITABWorksheet 数据有没有异常点利用管理图进行确认 稳定性分析 利用统计 方差分析 等方差检验程序进行等方差检验 方差同一时实施 p value方差分析 单因子方差分析进行分析 所有的数据在1列时 Stacked One way按水平别数据分几列时 Unstacked 采用One way Unstacked 解释F ratio F value高p value显著水平时 一般5 10 推翻零假设 Ho 推翻零假设时 利用统计 方差分析 主效应图或统计 方差分析 区间图对均值差异利用区间图说明 利用Minitab的Anova视窗中的残差项目 残差Plot 对残差实施评价 为测试实际的显著性 对有影响的Epsilon Squared进行计算 根据分析结果找出方案 应用MINITAB分析 1 分析顺序 零假设 Ho 3名作业者刷漆厚度相同 备择假设 Ha 作业者中至少有一名刷的厚度与其他作业者刷的厚度不同 或大或小 应用MINITAB分析 1 老板的思考 是谁刷漆刷的这么厚 Bob Jane Walt 一定要查找出来 显著水平设为5 设置假设 按照下列样式在Minitab中输入数据 打开 ANOVA MPJ 的 3LevelANOVA worksheet BobJaneWalt25 836425 455328 200524 306925 197427 652024 905227 662727 508724 992824 636528 545523 796725 667928 7149 应用MINITAB分析 2 输入数据 1 判信 2 判量 参考 MSA 章节 参考 抽样与样本大小 章节 应用MINITAB分析 3 稳定性分析 目的 确认各水平数据中是否有异常现象 逃逸点 不随机等 路径 统计 控制图 参考下图 3 判异 应用MINITAB分析 3 稳定性分析 输出结果 结论各水平中的数据没发现有异常点可继续往后分析 应用MINITAB分析 4 正态性分析 目的 确认各水平数据是否服从正态分布 路径 统计 基本统计量 正态检验 参考下图 4 判形 应用MINITAB分析 4 正态性分析 输出结果 结论各水平中的数据都服从正态分布可继续往后分析 应用MINITAB分析 5 等方差检验 目的 确认各水平数据之间方差是否相等 数据堆栈 路径 数据 堆叠 堆叠列 参考下图 5 判散 应用MINITAB分析 5 等方差检验 等方差检验路径 统计 方差分析 等方差检验 参考下图 P值大于0 05 输出结果 结论 故3个人所油漆的厚度数据方差相等 应用MINITAB分析 5 等方差检验 应用MINITAB分析 6 均值检验 目的 确认各水平数据集所对应的总体均值是否相等 路径 堆叠型 统计 方差分析 单因子 参考左下图 非堆叠型 统计 方差分析 单因子 未堆叠存放 6 判中 应用MINITAB分析 6 均值检验 应用MINITAB分析 6 均值检验 均值检验输出结果 均值检验结论各水平数据集所对应的总体之间的均值至少有一个不相等 单因子方差分析 厚度与作业者来源自由度SSMSFP作业者280 38640 19344 760 000误差8778 1160 898合计89158 502S 0 9476R Sq 50 72 R Sq 调整 49 58 P值小于显著水平5 时 得到至少有一个总体均值与其他总体均值不同的结论 推翻零假设 这时 推翻所有总体均值相同的零假设 Ho 即至少有一个均值不同 因随机现象得到这样大的F 值 实际上其概率不足1 10 000 这与抛硬币时 10次连续相同的情况是相同的 群间方差与群内方差相近时 F值接近1 本例中 F 值很大 子群大小相同时共有标准差 应用MINITAB分析 7 残差分析 目的 二次检验前面的分析是否有不可信的证据 残差有异常现象 路径 统计 方差分析 单因子 点击图形 点四合一 7 判差 应用MINITAB分析 7 残差分析 残差输出结果 残差分析结论 没有足够的证据证明其残差分析有异常 主效果图 箱图及区间图 应用MINITAB分析 8 Plots 8 附图 主效果图及箱图 应用MINITAB分析 8 Plots 统计 方差分析 主效应图 图形 箱线图 IntervalPlot 95 置信区间 区间图 应用MINITAB分析 8 Plots Epsilon Squared虽然是一个有争议的统计量 但其结果提供实质性的显著性情报 Epsilon Squared根据适当的input变量说明的output变量的大小 该统计量很容易计算 这值是Sum of Squares Effect Sum of Squares Total 在采取措施以前应经常要确认这值 应用MINITAB分析 9 Squared 厚度的变动中有51 是由作业者的差异引起的 8 判重 知道了是谁刷的厚 单因子方差分析的P value 0 05 可采用备择假设 Ha 作业者中至少有一名刷的厚度与其他不同 或大或小 这厚度差异 作业者实际影响的效果占51 在95 的置信水平中 显著水平为5 确认为Walt有所不同 决定对Walt进行再教育 参考区间图或主效应图 应用MINITAB分析 10 结论 9 判实 特点 1 该设计包含两个因素 一个是区组因素 一个是处理因素 2 各区组及处理组的受试对象数相等 各处理组的受试对象生物学特性较均衡 可减少试验误差 提高假设检验的效率 此类资料的方差分析 其应用条件同前 即资料满足正态性及方差齐性的要求 根据因素之间的效应是否独立 分为两种类型 1 无交互作用的双因素方差分析 2 有交互作用的双因素方差分析 双因子方差分析 因为随机区组设计可以将区组间变异从完全随机设计的组内变异中分离出来以反映不同区组对结果的影响 所以随机区组设计全部测量值总的变异相应地就分成三部分 各种变异之间的关系是 其中 二 变异分解 1 总变异 反映全部试验数据间大小不等的状况 2 处理组间变异 甲 乙 丙三个组间测量值的均数大小不等 3 区组间变异 12个区组间测量值的均数大小不等 4 误差变异 反映随机误差产生的变异 表9 5随机区组设计的方差分析表 变异来源自由度SSMSF总变异处理间区组间误差 二 分析步骤结合例9 2 例9 2研究甲 乙 丙三种营养素对小白鼠体重增加的影响 已知窝别为影响因素 拟用6窝小白鼠 每窝3只 随机地安排喂养甲 乙 丙三种营养素之一种 8周后观察小白鼠体重增加情况 数据见表9 6 问 1 不同营养素之间小白鼠的体重增加是否不同 2 不同窝别之间小白鼠的体重增加是否不同 二 分析步骤结合例9 2 例9 2研究甲 乙 丙三种营养素对小白鼠体重增加的影响 已知窝别为影响因素 拟用6窝小白鼠 每窝3只 随机地安排喂养甲 乙 丙三种营养素之一种 8周后观察小