假设检验基础知识讲义.ppt

1、2011年,本资料来源,数据分析(方法与案例),作者 贾俊平,统计学基础,Fundamental Statistics,第 5 章 假设检验,5.1 假设检验的基本原理 5.2 总体均值的检验 5.3 总体比例的检验,hypothesis test,2011年,学习目标,假设检验的基本思想和原理 总体均值的检验 总体比例的检验 P值的计算与应用,2011年,正常人的平均体温是37oC吗？,当问起健康的成年人体温是多少时，多数人的回答是37oC，这似乎已经成了一种共识。下面是一个研究人员测量的50个健康成年人的体温数据,2011年,正常人的平均体温是37oC吗？,根据样本数据计算的平均值是36.

2、8oC ，标准差为0.36oC 根据参数估计方法得到的健康成年人平均体温的95%的置信区间为(36.7，36.9)。研究人员发现这个区间内并没有包括37oC 因此提出“不应该再把37oC作为正常人体温的一个有任何特定意义的概念” 我们应该放弃“正常人的平均体温是37oC”这个共识吗？本章的内容就将提供一套标准统计程序来检验这样的观点,5.1 假设检验的基本原理 5.1.1 假设的陈述 5.1.2 两类错误与显著性水平 5.1.3 检验统计量与拒绝域 5.1.3 利用P值进行决策,第 5 章 假设检验,5.1.1 假设的陈述,5.1 假设检验的基本原理,2011年,什么是假设?(hypothes

3、is),在参数检验中，对总体参数的具体数值所作的陈述 就一个总体而言，总体参数包括总体均值、比例、方差等 分析之前必需陈述,我认为这种新药的疗效比原有的药物更有效!,2011年,什么是假设检验? (hypothesis test),先对总体的参数(或分布形式)提出某种假设，然后利用样本信息判断假设是否成立的统计方法 有参数检验和非参数检验 逻辑上运用反证法，统计上依据小概率原理 小概率是在一次试验中，一个几乎不可能发生的事件发生的概率 在一次试验中小概率事件一旦发生，我们就有理由拒绝原假设,2011年,原假设(null hypothesis),又称“0假设”，研究者想收集证据予以反对的假设，用

4、H0表示 所表达的含义总是指参数没有变化或变量之间没有关系 最初被假设是成立的，之后根据样本数据确定是否有足够的证据拒绝它 总是有符号 , 或 H0 ： = 某一数值 H0 ： 某一数值 H0 ： 某一数值 例如, H0 ： 10cm,null,2011年,也称“研究假设”,研究者想收集证据予以支持的假设，用H1或Ha表示 所表达的含义是总体参数发生了变化或变量之间有某种关系 备择假设通常用于表达研究者自己倾向于支持的看法，然后就是想办法收集证据拒绝原假设，以支持备择假设 总是有符号 , 或 H1 ： 某一数值 H1 ： 某一数值 H1 ： 某一数值,备择假设 (alternative hyp

5、othesis),2011年,【例6.1】一种零件的生产标准是直径应为10cm，为对生产过程进行控制，质量监测人员定期对一台加工机床检查，确定这台机床生产的零件是否符合标准要求。如果零件的平均直径大于或小于10cm，则表明生产过程不正常，必须进行调整。试陈述用来检验生产过程是否正常的原假设和被择假设,提出假设 (例题分析),解：研究者想收集证据予以证明的假设应该是“生产过程不正常”。建立的原假设和备择假设为 H0 ： 10cm H1 ： 10cm,2011年,【例6.2】某品牌洗涤剂在它的产品说明书中声称：平均净含量不少于500克。从消费者的利益出发，有关研究人员要通过抽检其中的一批产品来验证

6、该产品制造商的说明是否属实。试陈述用于检验的原假设与备择假设,提出假设 (例题分析),解：研究者抽检的意图是倾向于证实这种洗涤剂的平均净含量并不符合说明书中的陈述 。建立的原假设和备择假设为 H0 ： 500 H1 ： 500,2011年,【例6.3】一家研究机构估计，某城市中家庭拥有汽车的比例超过30%。为验证这一估计是否正确，该研究机构随机抽取了一个样本进行检验。试陈述用于检验的原假设与备择假设,提出假设 (例题分析),解：研究者想收集证据予以支持的假设是“该城市中家庭拥有汽车的比例超过30%”。建立的原假设和备择假设为 H0 ： 30% H1 ： 30%,2011年,原假设和备择假设是一

7、个完备事件组，而且相互对立 在一项假设检验中，原假设和备择假设必有一个成立，而且只有一个成立 先确定备择假设，再确定原假设 等号“=”总是放在原假设上 因研究目的不同，对同一问题可能提出不同的假设(也可能得出不同的结论),提出假设 (结论与建议),2011年,备择假设没有特定的方向性，并含有符号“”的假设检验，称为双侧检验或双尾检验(two-tailed test) 备择假设具有特定的方向性，并含有符号“”或“”，称为右侧检验,双侧检验与单侧检验,2011年,双侧检验与单侧检验 (假设的形式),以总体均值的检验为例,5.1.2 两类错误与显著性水平,5.1 假设检验的基本原理,2011年,两类

8、错误与显著性水平,研究者总是希望能做出正确的决策，但由于决策是建立在样本信息的基础之上，而样本又是随机的，因而就有可能犯错误 原假设和备择假设不能同时成立，决策的结果要么拒绝H0，要么不拒绝H0。决策时总是希望当原假设正确时没有拒绝它，当原假设不正确时拒绝它，但实际上很难保证不犯错误 第类错误(错误) 原假设为正确时拒绝原假设 第类错误的概率记为，被称为显著性水平 2.第类错误(错误) 原假设为错误时未拒绝原假设 第类错误的概率记为(Beta),2011年, 错误和 错误的关系,你要同时减少两类 错误的惟一办法 是增加样本量,和 的关系就像翘翘板，小 就大， 大 就小,2011年,两类错误的控

9、制,一般来说，对于一个给定的样本，如果犯第类错误的代价比犯第类错误的代价相对较高，则将犯第类错误的概率定得低些较为合理；反之，如果犯第类错误的代价比犯第类错误的代价相对较低，则将犯第类错误的概率定得高些 一般来说，发生哪一类错误的后果更为严重，就应该首要控制哪类错误发生的概率。但由于犯第类错误的概率是可以由研究者控制的，因此在假设检验中，人们往往先控制第类错误的发生概率,2011年,显著性水平 (significant level),事先确定的用于拒绝原假设H0时所必须的证据 能够容忍的犯第类错误的最大概率(上限值) 2.原假设为真时，拒绝原假设的概率 抽样分布的拒绝域 3.表示为 (alph

10、a) 常用的 值有0.01, 0.05, 0.10 4.由研究者事先确定,5.1.3 检验统计量与拒绝域,5.1 假设检验的基本原理,2011年,依据什么做出决策？,若假设为H0：=500，H1：500。样本均值为495，拒绝H0吗？样本均值为502，拒绝H0吗？ 做出拒绝或不拒绝原假设的依据是什么？ 传统上，做出决策所依据的是样本统计量，现代检验中人们直接使用由统计量算出的犯第类错误的概率，即所谓的P值,2011年,根据样本观测结果计算出对原假设和备择假设做出决策某个样本统计量 对样本估计量的标准化结果 原假设H0为真 点估计量的抽样分布,检验统计量 (test statistic),标准化

11、的检验统计量,2011年,用统计量决策(双侧检验 ),2011年,用统计量决策(左侧检验 ),抽样分布,H0,临界值,a,拒绝H0,1 - ,置信水平,Region of Rejection,Region of Nonrejection,2011年,用统计量决策(右侧检验 ),抽样分布,H0,临界值,拒绝H0,1 - ,置信水平,Region of Nonrejection,Region of Rejection,2011年,统计量决策规则,给定显著性水平，查表得出相应的临界值z或z/2，t或t/2 将检验统计量的值与 水平的临界值进行比较 作出决策 双侧检验：I统计量I 临界值，拒绝H0 左

12、侧检验：统计量 临界值，拒绝H0,5.1.4 利用P值进行决策,5.1 假设检验的基本原理,2011年,用P 值决策 (P-value),如果原假设为真，所得到的样本结果会像实际观测结果那么极端或更极端的概率 P值告诉我们：如果原假设是正确的话，我们得到得到目前这个样本数据的可能性有多大，如果这个可能性很小，就应该拒绝原假设 被称为观察到的(或实测的)显著性水平 决策规则：若p值, 拒绝 H0,2011年,双侧检验的P 值,2011年,左侧检验的P 值,Z,拒绝H0,0,临界值,计算出的样本统计量,1/2 P 值,2011年,右侧检验的P 值,Z,拒绝H0,0,计算出的样本统计量,临界值,1/

13、2 P 值,2011年,P值是关于数据的概率,P值原假设的对或错的概率无关 它反映的是在某个总体的许多样本中某一类数据出现的经常程度，它是当原假设正确时，得到目前这个样本数据的概率 比如，要检验全校学生的平均生活费支出是否等于500元，检验的假设为H0：=500；H0：500 。假定抽出一个样本算出的样本均值600元，得到的值为P=0.02，这个0.02是指如果平均生活费支出真的是500元的话，那么，从该总体中抽出一个均值为600的样本的概率仅为0.02。如果你认为这个概率太小了，就可以拒绝原假设，因为如果原假设正确的话，几乎不可能抓到这样的一个样本，既然抓到了，就表明这样的样本不在少数，所以

14、原假设是不对的 值越小，你拒绝原假设的理由就越充分,2011年, 要证明原假设不正确，P值要多小，才能令人信服呢？ 原假设的可信度又多高？如果H0所代表的假设是人们多年来一直相信的，就需要很强的证据(小的P值)才能说服他们 拒绝的结论是什么？如果拒绝H0而肯定H1 ，你就需要有很强的证据显示要支持H1。比如，H1代表要花很多钱把产品包装改换成另一种包装，你就要有很强的证据显示新包装一定会增加销售量(因为拒绝H0要花很高的成本),多大的P 值合适?,2011年,用P值进行检验比根据统计量检验提供更多的信息 统计量检验是我们事先给出的一个显著性水平，以此为标准进行决策，无法知道实际的显著性水平究竟

15、是多少 比如，根据统计量进行检验时，只要统计量的值落在拒绝域，我们拒绝原假设得出的结论都是一样的，即结果显著。但实际上，统计量落在拒绝域不同的地方，实际的显著性是不同的。比如，统计量落在临界值附近与落在远离临界值的地方，实际的显著性就有较大差异。而P值给出的是实际算出的显著水平，它告诉我们实际的显著性水平是多少,P 值决策与统计量的比较,2011年,拒绝H0,P 值决策与统计量的比较,拒绝H0的两个统计量的不同显著性,Z,拒绝H0,0,统计量1,P1 值,统计量2,P2 值,拒绝H0,临界值,2011年,假设检验结论的表述(“显著”与“不显著”),当拒绝原假设时，我们称样本结果是统计上显著的

16、拒绝原假设时结论是清楚的 当不拒绝原假设时，我们称样本结果是统计上不显著的 不拒绝原假设时，并未给出明确的结论，不能说原假设是正确的，也不能说它不是正确的,2011年,假设检验结论的表述(“显著”与“不显著”),当拒绝原假设时，我们称样本结果是统计上显著的 拒绝原假设时结论是清楚的 当不拒绝原假设时，我们称样本结果是统计上不显著的 不拒绝原假设时，并未给出明确的结论，不能说原假设是正确的，也不能说它不是正确的,2011年,假设检验结论的表述( “不拒绝” 不等于“接受”),假设检验的目的在于试图找到证据拒绝原假设，而不在于证明什么是正确的 当没有足够证据拒绝原假设时，不采用“接受原假设”的表述

17、，而采用“不拒绝原假设”的表述。“不拒绝”的表述实际上意为着并未给出明确的结论，我们没有说原假设正确，也没有说它不正确 “接受”的说法有时会产生误导，因为这种说法似乎暗示着原假设已经被证明是正确的了。但实事上，H0的真实值我们永远也无法知道，H0只是对总体真实值的一个假定值，由样本提供的信息也就自然无法证明它是否正确,2011年,假设检验步骤的总结,陈述原假设和备择假设 从所研究的总体中抽出一个随机样本 确定一个适当的检验统计量，并利用样本数据算出其具体数值 确定一个适当的显著性水平，并计算出其临界值，指定拒绝域 将统计量的值与临界值进行比较，作出决策 统计量的值落在拒绝域，拒绝H0，否则不拒

18、绝H0 也可以直接利用P值作出决策,5.2 总体均值的检验 5.2.1 大样本的检验方法 5.2.2 小样本的检验方法,第 5 章 假设检验,5.2.1 大样本的检验方法,5.2 总体均值的检验,2011年,总体均值的检验 (大样本),1.假定条件 大样本(n30) 使用z检验统计量 2 已知： 2 未知：,2011年,总体均值的检验( 2 已知)(例题分析大样本),【例6.4】一种罐装饮料采用自动生产线生产，每罐的容量是255ml，标准差为5ml。为检验每罐容量是否符合要求，质检人员在某天生产的饮料中随机抽取了40罐进行检验，测得每罐平均容量为255.8ml。取显著性水平=0.05 ，检验该

19、天生产的饮料容量是否符合标准要求？,双侧检验,2011年,总体均值的检验( 2 已知)(例题分析大样本),H0 ： = 255 H1 ： 255 = 0.05 n = 40 临界值(c):,检验统计量:,决策:,结论:,用Excel中的【NORMSDIST】函数得到的双尾检验P=0.312945不拒绝H0,没有证据表明该天生产的饮料不符合标准要求,2011年,总体均值的检验(z检验) (P 值的计算与应用),第1步：进入Excel表格界面，直接点击【fx】 第2步：在函数分类中点击【统计】，并在函数名 菜单下选择【NORMSDIST】，然后【确定】 第3步：将 z 的绝对值1.01录入，得到的

20、函数值为 0.843752345 P值=2(1-0.843752345)=0.312495 P值远远大于，故不拒绝H0,2011年,总体均值的检验( 2 未知) (例题分析大样本),【例6.5】一种机床加工的零件尺寸绝对平均误差为1.35mm。生产厂家现采用一种新的机床进行加工以期进一步降低误差。为检验新机床加工的零件平均误差与旧机床相比是否有显著降低，从某天生产的零件中随机抽取50个进行检验。利用这些样本数据，检验新机床加工的零件尺寸的平均误差与旧机床相比是否有显著降低？ (=0.01),左侧检验,2011年,总体均值的检验(例题分析大样本),H0 ： 1.35 H1 ： 1.35 = 0.

21、01 n = 50 临界值(c):,检验统计量:,拒绝H0,新机床加工的零件尺寸的平均误差与旧机床相比有显著降低,决策:,结论:,2011年,总体均值的检验 (P 值的计算与应用大样本),第1步：进入Excel表格界面，直接点击【fx】 第2步：在函数分类中点击【统计】，并在函数名的菜单下选 择【ZTEST】，然后【确定】 第3步：在所出现的对话框【Array】框中，输入原始数据所 在区域 ；在【X】后输入参数的某一假定值(这里为 1.35)；在【Sigma】后输入已知的总体标准差(若总 体标准差未知则可忽略不填，系统将自动使用样本 标准差代替) 第4步：用1减去得到的函数值0.9954210

22、23 即为P值 P值=1-0.995421023=0.004579 P值=0.01，拒绝H0,计算P值,Excel,2011年,总体均值的检验 (P 值的图示),计算出的样本统计量=2.6061,P=0.004579,Z,拒绝H0,0,临界值,P 值,2011年,总体均值的检验( 2 未知)(例题分析),【例6.6】某一小麦品种的平均产量为5200kg/hm2 。一家研究机构对小麦品种进行了改良以期提高产量。为检验改良后的新品种产量是否有显著提高，随机抽取了36个地块进行试种，得到的样本平均产量为5275kg/hm2，标准差为120/hm2 。试检验改良后的新品种产量是否有显著提高？ (=0.

23、05),右侧检验,2011年,总体均值的检验( 2 未知)(例题分析),H0 ： 5200 H1 ： 5200 = 0.05 n = 36 临界值(c):,检验统计量:,拒绝H0 (P = 0.000088 = 0.05),改良后的新品种产量有显著提高,决策:,结论:,2011年,总体均值的检验(z检验) (P 值的图示),2011年,总体均值的检验 (大样本检验方法的总结),5.2.2 小样本的检验方法,5.2 总体均值的检验,2011年,总体均值的检验 (小样本),1.假定条件 总体服从正态分布 小样本(n 30) 检验统计量 2 已知： 2 未知：,2011年,总体均值的检验 (小样本检

24、验方法的总结),注： 已知的拒绝域同大样本,2011年,总体均值的检验 (例题分析小样本),【例6.7】一种汽车配件的平均长度要求为12cm，高于或低于该标准均被认为是不合格的。汽车生产企业在购进配件时，通常是经过招标，然后对中标的配件提供商提供的样品进行检验，以决定是否购进。现对一个配件提供商提供的10个样本进行了检验。假定该供货商生产的配件长度服从正态分布，在0.05的显著性水平下，检验该供货商提供的配件是否符合要求？,2011年,总体均值的检验 (例题分析小样本),H0 ： =12 H1 ： 12 = 0.05 df = 10 - 1= 9 临界值(c):,检验统计量:,不拒绝H0,没有证据表明该供货商提供的零件不符合要求,决策：,结论：,2011年,总体均值的检验 (P 值的计算与应用t 检验),第1步：