统计学-假设检验与方差分析.ppt

1、假设检验与方差分析,第一节 假设检验的基本概念 第二节 一个总体参数的检验 第四节 单因素试验的方差分析,学习目标,1.了解假设检验的基本思想和假设检验的两类错误 2.掌握假设检验方法，正确给出原假设和备择假设，给出拒绝区间； 3.学会一个总体参数的检验； 4.理解方差分析的统计思想，掌握其具体方法。,第一节 假设检验的基本概念,假设检验的概念与思想,什么是假设?, 对总体参数的一种看法 总体参数包括总体均值、比例、方差等 分析之前必需陈述,我认为该企业生产的零件的平均长度为4厘米!,什么是假设检验？,概念 事先对总体参数或分布函数作出某种假设 然后利用样本信息来判断原假设是否成立 类型 参数

2、假设检验 非参数假设检验 特点 采用逻辑上的反证法 先认为假设为真，观察在此前提下所抽到样本的出现是否合理。若合理则判断假设可接受，反之拒绝假设。 依据统计上的小概率原理,假设检验的基本思想,例1，某工厂质检部门规定该厂次品率不超过4方能出厂。今从1000件产品中抽出10件，经检验有4件次品，问这批产品是否能出厂？ 假设：这批产品可以出厂，则这批产品的次品率P0.04 假设检验： A：抽到10件产品有4件次品,如果次品率P0.04，则事件A的概率是相当小的，1000次可能出现一次。这种可能性极小，但在一次抽样中发生了，显然不合理。这种不合理性源于推论的假设前提，故上述假设不能接受。,例2 某企

3、业生产一种零件原来的平均长度为4 cm，标准差为0.02 cm。改革生产工艺后，抽查了100件零件，样本的平均长度为3.948。改革后的零件的平均长度是否发生了显著变化？,假设检验：,结论：小概率事件在一次试验中发生了，这是不合理的，其根源在于假设零件的平均长度为4cm。因此应拒绝原假设，即该企业改革生产工艺前后，零件的长度有显著性差异。,假设检验中的小概率原理, 什么小概率？ 1. 在一次试验中，一个几乎不可能发生的事件发生的概率 2.小概率原理：小概率事件在一次试验（观察）中几乎不可能发生。 3. 在一次试验中小概率事件一旦发生，我们就有理由拒绝原假设，反之接受原假设 4. 小概率由研究者

4、事先确定，通常用 表示，又称为检验的显著性水平。,什么是小概率,假设检验的过程 （提出假设抽取样本作出决策）,假设检验的步骤 提出原假设和备择假设 确定适当的检验统计量及其分布 规定显著性水平 计算检验统计量的值或P值 作出统计决策,提出原假设和备择假设, 什么是原假设？(Null Hypothesis) 待检验的假设，又称“0假设”,用 H0表示。, 什么是备择假设？(AlternativeHypothesis) 与原假设对立的假设，表示为 H1,事实上，对某个问题提出了原假设，也就同时给出了备择假设。原假设的提出应本着“保守”或“不轻易拒绝原假设”的原则。,假设的三种形式：, 什么检验统计

5、量？ 1. 用于假设检验问题的统计量 2. 选择统计量的方法与参数估计相同，需考虑 待检验的参数是什么 是大样本还是小样本 总体方差已知还是未知 3.常用的检验统计量有：Z、t、卡方、F统计量等。如,确定适当的检验统计量及其分布,规定显著性水平, 什么显著性水平？ 原假设为真时，拒绝原假设的概率。记为 ，常用的 值有0.01, 0.05, 0.10。 注意： 给定了，也就确定了临界值原假设的接受区域与拒绝区域的分界点。根据检验统计量的分布，对于给定的 查相应的概率分布表，即得临界值。如 采用Z统计量，当=0.05时对应的临界Z0.05=1.645,计算检验统计量的值,根据样本资料计算出检验统计

6、量的值或P值。 P值的解释,作出统计决策,将检验统计量的值与显著性水平 的临界值进行比较，得出接受或拒绝原假设的结论； 2. 当检验统计量的值落在拒绝区域，则拒绝原假设；反之，接受或不能拒绝原假设。对于P值，若计算所得的P值小于显著性水平 ，则拒绝原假设，否则接受原假设。,1. 第一类错误（弃真错误或拒真错误） 原假设为真时拒绝原假设 犯第一类错误的概率为(称为显著性水平） P（拒绝H0 / H0为真）= 2. 第二类错误（取伪错误或采伪错误） 原假设为假时接受原假设 犯第二类错误的概率为(Beta) P（接受H0 / H0不真）= ,假设检验中的两类错误 （决策风险）,H0: 无罪,假设检验

7、中的两类错误 （决策结果）,假设检验就好像一场审判过程,统计检验过程, 错误和 错误的关系,注意： 在检验中人们总希望犯两类错误的可能性都很小，然而，在其它条件不变的情况下， a和不可能同时减小。 实践中，哪一类错误带来的后果越严重、危害越大，就应该作为首要的控制目标. 在假设检验中，一般都首先控制第一类错误.,确定时须考虑的因素,视两类错误所产生的后果轻重而定 当犯第一类错误的后果严重时，则希望尽可能不犯第一类错误，宁愿犯第二类错误，此时宜小。 当犯第二类错误的后果严重时，则希望尽可能不犯第二类错误，宁愿犯第一类错误，此时不宜太小。 事前对原假设的信念 对原假设越有信心，则越小；反之则越大,

8、影响 错误的因素,1. 总体参数的真值 随着总体参数的假设值与真实值的差异缩小而增大 2. 显著性水平 当 减少时增大 3. 总体标准差 当 增大时增大 4. 样本容量 n 当 n 减少时增大,双侧检验与单侧检验 (假设的形式),双侧检验 （原假设与备择假设的确定）,双侧检验属于决策中的假设检验。也就是说，不论是拒绝H0还是接受H0，我们都必需采取相应的行动措施 例如，某种零件的尺寸，要求其平均长度为10厘米，大于或小于10厘米均属于不合格 建立的原假设与备择假设应为 H0: = 10 H1: 10,双侧检验 （确定假设的步骤）,1. 例如问题为: 检验该企业生产的零件平均长度为4厘米 2.

9、步骤 从统计角度陈述问题 ( = 4) 从统计角度提出相反的问题 ( 4) 必需互斥和穷尽 提出原假设 ( = 4) 提出备择假设 ( 4),提出原假设: H0: = 4 提出备择假设: H1: 4,该企业生产的零件平均长度是4厘米吗? (属于决策中的假设),双侧检验 （例子）,双侧检验 （显著性水平与拒绝域 ）,双侧检验 （显著性水平与拒绝域 ）,双侧检验 （显著性水平与拒绝域 ）,双侧检验 （显著性水平与拒绝域 ）,单侧检验 （原假设与备择假设的确定）, 检验研究中的假设 将所研究的假设作为备择假设H1 将认为研究结果是无效的说法或理论作为原假设H0。或者说，把希望(想要)证明的假设作为备

10、择假设 先确立备择假设H1,单侧检验 （原假设与备择假设的确定）,例如，采用新技术生产后，将会使产品的使用寿命明显延长到1500小时以上 属于研究中的假设 建立的原假设与备择假设应为 H0: 1500 H1: 1500 例如，改进生产工艺后，会使产品的废品率降低到2%以下 属于研究中的假设 建立的原假设与备择假设应为 H0: 2% H1: 2%,单侧检验 （原假设与备择假设的确定）,检验某项声明的有效性 将所作出的说明(声明)作为原假设 对该说明的质疑作为备择假设 先确立原假设H0 除非我们有证据表明“声明”无效，否则就应认为该“声明”是有效的,单侧检验 （原假设与备择假设的确定）,例如，某灯

11、泡制造商声称，该企业所生产的灯泡的平均使用寿命在1000小时以上 除非样本能提供证据表明使用寿命在1000小时以下，否则就应认为厂商的声称是正确的 建立的原假设与备择假设应为 H0: 1000 H1: 1000,提出原假设: H0: 1000 选择备择假设: H1: 1000,该批产品的平均使用寿命超过1000小时吗? (属于检验声明的有效性，先提出原假设),单侧检验 （例子）,提出原假设: H0: 25 选择备择假设: H1: : 25,学生中经常上网的人数超过25%吗? （属于研究中的假设，先提出备择假设）,单侧检验 （例子）,单侧检验 （显著性水平与拒绝域 ）,左侧检验 （显著性水平与拒

12、绝域 ）,左侧检验 （显著性水平与拒绝域 ）,右侧检验 （显著性水平与拒绝域 ）,右侧检验 （显著性水平与拒绝域 ）,第二节 一个正态总体的参数检验,一、方差已知时单一正态总体均值检验 z检验法 二、方差未知时单一正态总体均值检验 t检验法 三、单一正态总体方差检验 卡方检验法 四、单一总体成数检验 z检验法,一个总体的检验,检验的步骤, 陈述原假设 H0 陈述备择假设 H1 选择显著性水平 选择检验统计量 选择n, 给出临界值 搜集数据 计算检验统计量 进行统计决策 表述决策结果,1.假定条件 总体服从正态分布 若不服从正态分布, 可用正态分布来近(n30) 2.原假设为: 备择假设为: 3

13、.使用z-统计量,方差已知时单一正态总体均值检验,均值的双侧 Z 检验,均值的单侧 Z 检验,均值的双侧Z 检验 (实例),【例】某机床厂加工一种零件，根据经验知道，该厂加工零件的椭圆度近似服从正态分布，其总体均值为0=0.081mm，总体标准差为= 0.025 。今换一种新机床进行加工，抽取n=200个零件进行检验，得到的椭圆度为0.076mm。试问新机床加工零件的椭圆度的均值与以前有无显著差异？（0.05）,均值的双侧 Z 检验 （计算结果）,H0: = 0.081 H1: 0.081 = 0.05 n = 200 临界值(s):,检验统计量:,决策:,结论:,有证据表明新机床加工的零件的

14、椭圆度与以前有显著差异,均值的单侧Z检验 （实例）,【例】某批发商欲从生产厂家购进一批灯泡，根据合同规定，灯泡的使用寿命平均不能低于1000小时。已知灯泡使用寿命服从正态分布，标准差为20小时。在总体中随机抽取100只灯泡，测得样本均值为960小时。批发商是否应该购买这批灯泡？ (0.05),均值的单侧Z检验 （计算结果）,H0: 1000 H1: 1020 = 0.05 n = 16 临界值(s):,检验统计量:,有证据表明这批灯泡的使用寿命有显著提高,决策:,结论:,(2 未知),1. 假定条件 总体为正态分布小样本 2. 3.使用t 统计量,总体方差未知时的均值检验,均值的双侧 t 检验

15、 （实例）,【例】某厂采用自动包装机分装产品，假定每包产品的重量服从正态分布，每包标准重量为1000克。某日随机抽查9包，测得样本平均重量为986克，样本标准差为24克。试问在0.05的显著性水平上，能否认为这天自动包装机工作正常？,均值的双侧 t 检验 （计算结果）,H0: = 1000 H1: 1000 = 0.05 df = 9 - 1 = 8 临界值(s):,检验统计量:,有证据表明这天自动包装机工作正常,决策：,结论：,均值的单侧 t 检验 （实例）,【例】一个汽车轮胎制造商声称，某一等级的轮胎的平均寿命在一定的汽车重量和正常行驶条件下大于40000公里，对一个由20个轮胎组成的随机

16、样本作了试验，测得平均值为41000公里，标准差为5000公里。已知轮胎寿命的公里数服从正态分布，我们能否根据这些数据作出结论，该制造商的产品同他所说的标准相符？( = 0.05),均值的单侧 t 检验 （计算结果）,H0: 40000 H1: 32.852,在 = 0.05的水平上拒绝H0,有证据表明该日纤度的波动比平时有显著差异,决策:,结论:,注意：,第四节 单因素试验的方差分析,实际生活中，常常需要观察一种或多种因素发生变化时，是否对生产或销售有显著性的影响？,【例1】某饮料生产企业研制出一种新型饮料。饮料的颜色共有四种，分别为橘黄色、粉色、绿色和无色透明。这四种饮料的营养含量、味道、

17、价格、包装等可能影响销售量的因素全部相同。现从地理位置相似、经营规模相仿的五家超级市场上收集了前一时期该饮料的销售情况，见下表。试分析饮料的颜色是否对销售量产生影响。,分析这一类问题的方法为：方差分析（费歇尔创立）。,什么是方差分析?,检验多个总体均值是否相等 通过对各观察数据误差来源的分析来判断多个总体均值是否相等 变量 一个定类尺度的自变量 2个或多个 (k 个) 处理水平或分类 一个定距或比例尺度的因变量 用于分析完全随机化试验设计,检验饮料的颜色对销售量是否有影响，也就是检验四种颜色饮料的平均销售量是否相同 检验上述假设所采用的方法就是方差分析,分析：,因素或因子 所要检验的对象称为因

18、素 要分析饮料的颜色对销售量是否有影响，颜色是要检验的因素或因子 水平 因素的具体表现称为水平 橘黄色、粉色、绿色和无色透明四种颜色就是因素的水平 观察值 在每个因素水平下得到的样本值 每种颜色饮料的销售量就是观察值,基本概念：,单因素试验 一项试验中只有一个因素在改变，而其他因素保持不变的试验。 总体 因素的每一个水平可以看作是一个总体 比如橘黄色、粉色、绿色和无色透明四种颜色可以看作是四个总体 样本数据 上面的数据可以看作是从这四个总体中抽取的样本数据,方差分析中的基本假定,每个总体都应服从正态分布 对于因素的每一个水平，其观察值是来自服从正态分布总体的简单随机样本 比如，每种颜色饮料的销

19、售量必需服从正态分布 各个总体的方差必须相同 对于各组观察数据，是从具有相同方差的总体中抽取的 比如，四种颜色饮料的销售量的方差都相同 观察值是独立的 比如，每个超市的销售量都与其他超市的销售量独立,如何进行方差分析？,在试验中固定其他因素，观察所研究因素的变异对试验的结果是否产生影响，以及影响的程度.,方差分析的两类误差：,条件误差(系统误差) 试验因素的变化所引起的试验结果的数量差异。 表现：同一家超市，不同颜色饮料的销售量也是不同的 试验误差(随机误差) 试验中，不能控制的“偶然因素”所引起的试验结果的差异 表现：同一种颜色的饮料在不同超市上的销售量是不同的,如何判断引起观测数值的差异的

20、原因？条件误差或者说是试验误差？,分析实验结果所得数据的差异，可以判断有无条件误 差的存在，进而说明所考察的变异因素对试验结果是 否产生显著的作用或是效应。,单因素方差分析的数据结构,例1中所讨论的4种不同颜色对销售量的影响，颜色为影响因素，4种不同的颜色是4个不同的水平方差分析数据.ppt,考察水平的改变是否影响总体，即诸 是否全相等？,如何检验上述假设？,分析：,如何检验这两种误差的存在？,总离差平方和：,反映了全部观察值对于总平均数的离散程度。,总离差平方和,组内平方和,组间离差平方和,组内平方和(误差平方和)：,反映了各相同水平下观察值之间的分散程度，该平方和反映的是随机误差的大小。,

21、组间离差平方和：,反映了各水平下样本均值之间的差异程度，该平方和既包括随机误差，也包括系统误差。,SS反映了全部数据总的误差程度；SSE反映了随 机误差的大小；SSA反映了随机误差和系统误差的 大小； 如果原假设成立，即 为真，则 表明没有系统误差，组间平方和SSA除以自由度后的 组间方差与组内平方和SSE和除以自由度后的组内方 差的差异就不会太大；如果组间方差显著地大于组内 方差，说明各水平(总体)之间的差异不仅有随机误差， 还有系统误差； 判断因素的水平是否对其观察值有影响，实际上就是 比较组间方差与组内方差之间差异的大小,组间方差记为MSA 计算公式为：,组内方差记为MSE 计算公式为：,选择统计量：,计算F值：,查找临界值：,作出决策：,单因素方差分析表 (基本结构),MSE