统计学-假设检验与方差分析ppt课件

假设检验与方差分析 第一节假设检验的基本概念第二节一个总体参数的检验第四节单因素试验的方差分析 学习目标 1 了解假设检验的基本思想和假设检验的两类错误2 掌握假设检验方法 正确给出原假设和备择假设 给出拒绝区间 3 学会一个总体参数的检验 4 理解方差分析的统计思想 掌握其具体方法 第一节假设检验的基本概念 假设检验的概念与思想 什么是假设 对总体参数的一种看法总体参数包括总体均值 比例 方差等分析之前必需陈述 我认为该企业生产的零件的平均长度为4厘米 什么是假设检验 概念事先对总体参数或分布函数作出某种假设然后利用样本信息来判断原假设是否成立类型参数假设检验非参数假设检验特点采用逻辑上的反证法先认为假设为真 观察在此前提下所抽到样本的出现是否合理 若合理则判断假设可接受 反之拒绝假设 依据统计上的小概率原理 假设检验的基本思想 例1 某工厂质检部门规定该厂次品率不超过4 方能出厂 今从1000件产品中抽出10件 经检验有4件次品 问这批产品是否能出厂 假设 这批产品可以出厂 则这批产品的次品率P 0 04假设检验 A 抽到10件产品有4件次品 如果次品率P 0 04 则事件A的概率是相当小的 1000次可能出现一次 这种可能性极小 但在一次抽样中发生了 显然不合理 这种不合理性源于推论的假设前提 故上述假设不能接受 例2某企业生产一种零件原来的平均长度为4cm 标准差为0 02cm 改革生产工艺后 抽查了100件零件 样本的平均长度为3 948 改革后的零件的平均长度是否发生了显著变化 假设检验 结论 小概率事件在一次试验中发生了 这是不合理的 其根源在于假设零件的平均长度为4cm 因此应拒绝原假设 即该企业改革生产工艺前后 零件的长度有显著性差异 假设检验中的小概率原理 什么小概率 1 在一次试验中 一个几乎不可能发生的事件发生的概率2 小概率原理 小概率事件在一次试验 观察 中几乎不可能发生 3 在一次试验中小概率事件一旦发生 我们就有理由拒绝原假设 反之接受原假设4 小概率由研究者事先确定 通常用表示 又称为检验的显著性水平 什么是小概率 假设检验的过程 提出假设 抽取样本 作出决策 假设检验的步骤提出原假设和备择假设确定适当的检验统计量及其分布规定显著性水平 计算检验统计量的值或P值作出统计决策 提出原假设和备择假设 什么是原假设 NullHypothesis 待检验的假设 又称 0假设 用H0表示 什么是备择假设 AlternativeHypothesis 与原假设对立的假设 表示为H1 事实上 对某个问题提出了原假设 也就同时给出了备择假设 原假设的提出应本着 保守 或 不轻易拒绝原假设 的原则 假设的三种形式 什么检验统计量 1 用于假设检验问题的统计量2 选择统计量的方法与参数估计相同 需考虑待检验的参数是什么是大样本还是小样本总体方差已知还是未知3 常用的检验统计量有 Z t 卡方 F统计量等 如 确定适当的检验统计量及其分布 规定显著性水平 什么显著性水平 原假设为真时 拒绝原假设的概率 记为 常用的 值有0 01 0 05 0 10 注意 给定了 也就确定了临界值 原假设的接受区域与拒绝区域的分界点 根据检验统计量的分布 对于给定的 查相应的概率分布表 即得临界值 如采用Z统计量 当 0 05时对应的临界Z0 05 1 645 计算检验统计量的值 根据样本资料计算出检验统计量的值或P值 P值的解释 作出统计决策 将检验统计量的值与显著性水平 的临界值进行比较 得出接受或拒绝原假设的结论 2 当检验统计量的值落在拒绝区域 则拒绝原假设 反之 接受或不能拒绝原假设 对于P值 若计算所得的P值小于显著性水平 则拒绝原假设 否则接受原假设 1 第一类错误 弃真错误或拒真错误 原假设为真时拒绝原假设犯第一类错误的概率为 称为显著性水平 P 拒绝H0 H0为真 2 第二类错误 取伪错误或采伪错误 原假设为假时接受原假设犯第二类错误的概率为 Beta P 接受H0 H0不真 假设检验中的两类错误 决策风险 H0 无罪 假设检验中的两类错误 决策结果 假设检验就好像一场审判过程 统计检验过程 错误和 错误的关系 注意 在检验中人们总希望犯两类错误的可能性都很小 然而 在其它条件不变的情况下 a和 不可能同时减小 实践中 哪一类错误带来的后果越严重 危害越大 就应该作为首要的控制目标 在假设检验中 一般都首先控制第一类错误 确定 时须考虑的因素 视两类错误所产生的后果轻重而定当犯第一类错误的后果严重时 则希望尽可能不犯第一类错误 宁愿犯第二类错误 此时 宜小 当犯第二类错误的后果严重时 则希望尽可能不犯第二类错误 宁愿犯第一类错误 此时 不宜太小 事前对原假设的信念对原假设越有信心 则 越小 反之则 越大 影响 错误的因素 1 总体参数的真值随着总体参数的假设值与真实值的差异缩小而增大2 显著性水平 当 减少时增大3 总体标准差 当 增大时增大4 样本容量n当n减少时增大 双侧检验与单侧检验 假设的形式 双侧检验 原假设与备择假设的确定 双侧检验属于决策中的假设检验 也就是说 不论是拒绝H0还是接受H0 我们都必需采取相应的行动措施例如 某种零件的尺寸 要求其平均长度为10厘米 大于或小于10厘米均属于不合格建立的原假设与备择假设应为H0 10H1 10 双侧检验 确定假设的步骤 1 例如问题为 检验该企业生产的零件平均长度为4厘米2 步骤从统计角度陈述问题 4 从统计角度提出相反的问题 4 必需互斥和穷尽提出原假设 4 提出备择假设 4 提出原假设 H0 4提出备择假设 H1 4 该企业生产的零件平均长度是4厘米吗 属于决策中的假设 双侧检验 例子 双侧检验 显著性水平与拒绝域 双侧检验 显著性水平与拒绝域 双侧检验 显著性水平与拒绝域 双侧检验 显著性水平与拒绝域 单侧检验 原假设与备择假设的确定 检验研究中的假设将所研究的假设作为备择假设H1将认为研究结果是无效的说法或理论作为原假设H0 或者说 把希望 想要 证明的假设作为备择假设先确立备择假设H1 单侧检验 原假设与备择假设的确定 例如 采用新技术生产后 将会使产品的使用寿命明显延长到1500小时以上属于研究中的假设建立的原假设与备择假设应为H0 1500H1 1500例如 改进生产工艺后 会使产品的废品率降低到2 以下属于研究中的假设建立的原假设与备择假设应为H0 2 H1 2 单侧检验 原假设与备择假设的确定 检验某项声明的有效性将所作出的说明 声明 作为原假设对该说明的质疑作为备择假设先确立原假设H0除非我们有证据表明 声明 无效 否则就应认为该 声明 是有效的 单侧检验 原假设与备择假设的确定 例如 某灯泡制造商声称 该企业所生产的灯泡的平均使用寿命在1000小时以上除非样本能提供证据表明使用寿命在1000小时以下 否则就应认为厂商的声称是正确的建立的原假设与备择假设应为H0 1000H1 1000 提出原假设 H0 1000选择备择假设 H1 1000 该批产品的平均使用寿命超过1000小时吗 属于检验声明的有效性 先提出原假设 单侧检验 例子 提出原假设 H0 25选择备择假设 H1 25 学生中经常上网的人数超过25 吗 属于研究中的假设 先提出备择假设 单侧检验 例子 单侧检验 显著性水平与拒绝域 左侧检验 显著性水平与拒绝域 左侧检验 显著性水平与拒绝域 右侧检验 显著性水平与拒绝域 右侧检验 显著性水平与拒绝域 第二节一个正态总体的参数检验 一 方差已知时单一正态总体均值检验 z检验法二 方差未知时单一正态总体均值检验 t检验法三 单一正态总体方差检验 卡方检验法四 单一总体成数检验 z检验法 一个总体的检验 检验的步骤 陈述原假设H0 陈述备择假设H1 选择显著性水平 选择检验统计量 选择n 给出临界值 搜集数据 计算检验统计量 进行统计决策 表述决策结果 1 假定条件总体服从正态分布若不服从正态分布 可用正态分布来近 n 30 2 原假设为 备择假设为 3 使用z 统计量 方差已知时单一正态总体均值检验 均值的双侧Z检验 均值的单侧Z检验 均值的双侧Z检验 实例 例 某机床厂加工一种零件 根据经验知道 该厂加工零件的椭圆度近似服从正态分布 其总体均值为 0 0 081mm 总体标准差为 0 025 今换一种新机床进行加工 抽取n 200个零件进行检验 得到的椭圆度为0 076mm 试问新机床加工零件的椭圆度的均值与以前有无显著差异 0 05 均值的双侧Z检验 计算结果 H0 0 081H1 0 081 0 05n 200临界值 s 检验统计量 决策 结论 有证据表明新机床加工的零件的椭圆度与以前有显著差异 均值的单侧Z检验 实例 例 某批发商欲从生产厂家购进一批灯泡 根据合同规定 灯泡的使用寿命平均不能低于1000小时 已知灯泡使用寿命服从正态分布 标准差为20小时 在总体中随机抽取100只灯泡 测得样本均值为960小时 批发商是否应该购买这批灯泡 0 05 均值的单侧Z检验 计算结果 H0 1000H1 1000 0 05n 100临界值 s 检验统计量 有证据表明这批灯泡的使用寿命低于1000小时 决策 结论 均值的单侧Z检验 实例 例 根据过去大量资料 某厂生产的灯泡的使用寿命服从正态分布N 1020 1002 现从最近生产的一批产品中随机抽取16只 测得样本平均寿命为1080小时 试在0 05的显著性水平下判断这批产品的使用寿命是否有显著提高 0 05 均值的单侧Z检验 计算结果 H0 1020H1 1020 0 05n 16临界值 s 检验统计量 有证据表明这批灯泡的使用寿命有显著提高 决策 结论 2未知 1 假定条件总体为正态分布小样本2 3 使用t统计量 总体方差未知时的均值检验 均值的双侧t检验 实例 例 某厂采用自动包装机分装产品 假定每包产品的重量服从正态分布 每包标准重量为1000克 某日随机抽查9包 测得样本平均重量为986克 样本标准差为24克 试问在0 05的显著性水平上 能否认为这天自动包装机工作正常 均值的双侧t检验 计算结果 H0 1000H1 1000 0 05df 9 1 8临界值 s 检验统计量 有证据表明这天自动包装机工作正常 决策 结论 均值的单侧t检验 实例 例 一个汽车轮胎制造商声称 某一等级的轮胎的平均寿命在一定的汽车重量和正常行驶条件下大于40000公里 对一个由20个轮胎组成的随机样本作了试验 测得平均值为41000公里 标准差为5000公里 已知轮胎寿命的公里数服从正态分布 我们能否根据这些数据作出结论 该制造商的产品同他所说的标准相符 0 05 均值的单侧t检验 计算结果 H0 40000H1 40000 0 05df 20 1 19临界值 s 检验统计量 有证据表明轮胎使用寿命显著地大于40000公里 决策 结论 总体成数的假设检验 Z检验 一个总体成数的Z检验 假定条件有两类结果总体服从二项分布可用正态分布来近似大样本原假设 备择假设 P0为假设的总体成数 p为样本成数 一个总体成数的Z检验 实例 例 某研究者估计本市居民家庭的电脑拥有率为30 现随机抽查了200的家庭 其中68个家庭拥有电脑 试问研究者的估计是否可信 0 05 一个样本成数的Z检验 结果 H0 p 0 3H1 p 0 3 0 05n 200临界值 s 检验统计量 有证据表明研究者的估计可信 决策 结论 一个正态总体方差的检验 2检验 方差的卡方 2 检验 1 检验一个总体的方差2 假设总体近似服从正态分布为小样本3 原假设为H0 2 024 检验统计量 卡方 2 检验实例 例 根据长期正常生产的资料可知 某厂所产维尼纶的纤度服从正态分布 其方差为0 0025 现从某日产品中随机抽取20根 测得样本方差为0 0042 试判断该日纤度的波动与平日有无显著差异 0 05 卡方 2 检验计算结果 H0 2 0 0025H1 2 0 0025 0 05df 20 1 19临界值 s 统计量 33 6 32 852 在 0 05的水平上拒绝H0 有证据表明该日纤度的波动比平时有显著差异 决策 结论 注意 第四节单因素试验的方差分析 实际生活中 常常需要观察一种或多种因素发生变化时 是否对生产或销售有显著性的影响 例1 某饮料生产企业研制出一种新型饮料 饮料的颜色共有四种 分别为橘黄色 粉色 绿色和无色透明 这四种饮料的营养含量 味道 价格 包装等可能影响销售量的因素全部相同 现从地理位置相似 经营规模相仿的五家超级市场上收集了前一时期该饮料的销售情况 见下表 试分析饮料的颜色是否对销售量产生影响 分析这一类问题的方法为 方差分析 费歇尔创立 什么是方差分析 检验多个总体均值是否相等通过对各观察数据误差来源的分析来判断多个总体均值是否相等变量一个定类尺度的自变量2个或多个 k个 处理水平或分类一个定距或比例尺度的因变量用于分析完全随机化试验设计 检验饮料的颜色对销售量是否有影响 也就是检验四种颜色饮料的平均销售量是否相同检验上述假设所采用的方法就是方差分析 分析 因素或因子所要检验的对象称为因素要分析饮料的颜色对销售量是否有影响 颜色是要检验的因素或因子水平因素的具体表现称为水平橘黄色 粉色 绿色和无色透明四种颜色就是因素的水平观察值在每个因素水平下得到的样本值每种颜色饮料的销售量就是观察值 基本概念 单因素试验一项试验中只有一个因素在改变 而其他因素保持不变的试验 总体因素的每一个水平可以看作是一个总体比如橘黄色 粉色 绿色和无色透明四种颜色可以看作是四个总体样本数据上面的数据可以看作是从这四个总体中抽取的样本数据 方差分析中的基本假定 每个总体都应服从正态分布对于因素的每一个水平 其观察值是来自服从正态分布总体的简单随机样本比如 每种颜色饮料的销售量必需服从正态分布各个总体的方差必须相同对于各组观察数据 是从具有相同方差的总体中抽取的比如 四种颜色饮料的销售量的方差都相同观察值是独立的比如 每个超市的销售量都与其他超市的销售量独立 如何进行方差分析 在试验中固定其他因素 观察所研究因素的变异对试验的结果是否产生影响 以及影响的程度 方差分析的两类误差 条件误差 系统误差 试验因素的变化所引起的试验结果的数量差异 表现 同一家超市 不同颜色饮料的销售量也是不同的试验误差 随机误差 试验中 不能控制的 偶然因素 所引起的试验结果的差异表现 同一种颜色的饮料在不同超市上的销售量是不同的 如何判断引起观测数值的差异的原因 条件误差或者说是试验误差 分析实验结果所得数据的差异 可以判断有无条件误差的存在 进而说明所考察的变异因素对试验结果是否产生显著的作用或是效应 单因素方差分析的数据结构 例1中所讨论的4种不同颜色对销售量的影响 颜色为影响因素 4种不同的颜色是4个不同的水平方差分析数据 ppt 考察水平的改变是否影响总体 即诸是否全相等 如何检验上述假设 分析 如何检验这两种误差的存在 总离差平方和 反映了全部观察值对于总平均数的离散程度 总离差平方和 组内平方和 组间离差平方和 组内平方和 误差平方和 反映了各相同水平下观察值之间的分散程度 该平方和反映的是随机误差的大小 组间离差平方和 反映了各水平下样本均值之间的差异程度 该平方和既包括随机误差 也包括系统误差 SS反映了全部数据总的误差程度 SSE反映了随机误差的大小 SSA反映了随机误差和系统误差的大小 如果原假设成立 即为真 则表明没有系统误差 组间平方和SSA除以自由度后的组间方差与组内平方和SSE和除以自由度后的组内方差的差异就不会太大 如果组间方差显著地大于组内方差 说明各水平 总体 之间的差异不仅有随机误差 还有系统误差 判断因素的水平是否对其观察值有影响 实际上就是比较组间方差与组内方差之间差异的大小 组间方差 记为MSA计算公式为 组内方差 记为MSE计算公式为 选择统计量 计算F值