钱小军《概率论与数理统计》chapter09hypothesistesting

2020/4/30,Tsinghua-CUHKFinanceMBA2008,1,Chapter9HypothesisTesting第九章假设检验,钱小军清华大学经济管理学院伟伦楼456B电话:62789934电子邮箱：qianxj,2020/4/30,Tsinghua-CUHKFinanceMBA2008,2,Problem1问题一,问题：即便由公平居住条例及其法律条例，美国大部分黑人和白人仍然选择隔离而居。当一个社区的黑人比例过高时，白人常常会搬走。多年以来白人的态度是否有所改变？现在，当黑人家庭陆续迁入时，是不是有更多白人愿意留下？底特律区域研究机构于1976年访问了底特律大都会区1104位成人组成随机样本，又在1992年另外访问了1543位成人的随机样本。底特律是美国大城市中隔离问题最严重的，所以该项研究仔细探讨了对于不同种族住在同一社区的看法。有一个问题是要白种人先想象他们住在一个全是白人的社区，如图1所显示的那样。对这项研究有回应的人中，的确大部分都是住在全白人社区。然后，在给他们看图2，图上的15栋房屋中有3栋是由黑人居住，这是整个底特律地区真正的黑人比例。他们会想搬离这样的社区吗？,2020/4/30,Tsinghua-CUHKFinanceMBA2008,3,图1你的邻居都是白人,你家的位置,2020/4/30,Tsinghua-CUHKFinanceMBA2008,4,图2你的邻居中有三户是黑人,你家的位置,2020/4/30,Tsinghua-CUHKFinanceMBA2008,5,1976年的样本中，有24的白人会想搬走。到1992年，这个百分比降到了15。看起来似乎态度上有所改变，有可能使得“白人迁移”现象比以前较少发生。（这里我们假设被调查者说的是实话。）这些结果是根据两个大小适度的样本得来的。我们的问题是：这两个样本观测值的差别可不可能只是因为随机选择受访者而碰巧发生的？换句话说，就是观测值的差异是否足以让我们得到白人对待黑人的态度在这16年间的确发生了变化？我们怎样利用样本数据来回答这个问题？,2020/4/30,Tsinghua-CUHKFinanceMBA2008,6,Problem2问题二,某公司一直以来认为自己生产的产品废品率不超过1。最近该公司接到一个客户的投诉，说在他们购买的该公司的50个该种产品中，竟然有2个是废品。由此，该客户认为公司有欺骗行为。我们的问题是：客户能不能根据这个事实就认定公司的产品废品率超过1？这个客户问题是因为随机抽样所产生的误差还是因为实际废品率确实高于公司所认为的1%?解决这类问题的统计方法称为假设检验。,2020/4/30,Tsinghua-CUHKFinanceMBA2008,7,HypothesisTest假设检验,TwoTypesofHypothesisTests两类假设检验问题ParametricHypothesisTest参数的假设检验Testingforpopulationparameters关于总体参数的假设检验Requiresmoremeasurementsaboutpopulations,e.g.,distributionofpopulation对总体的要求比较多，比如总体的分布Applicableforonlyquantitativedata只能应用于数量型数据Non-parametricHypothesisTest非参数的假设检验Requireslessmeasurementsaboutpopulations对总体的要求比较少Applicableforquantitativeandqualitativedata可以应用于数量型和品质型数据,2020/4/30,Tsinghua-CUHKFinanceMBA2008,8,HypothesisTest假设检验,ParametricHT参数的假设检验举例Whetherapopulationmeanisequaltoagivennumber总体的均值是否等于一个给定的数值Whetherapopulationproportionisbiggerthanagivennumber总体比率是否大于一个给定的数值Whethertwopopulationmeansareequal两个总体的均值是否相等Whetheronepopulationproportionisequaltooneofanotherpopulation一个总体的比率是否等于另一个总体的比率,2020/4/30,Tsinghua-CUHKFinanceMBA2008,9,HypothesisTest假设检验,NonparametricHT(someexamples)非参数的假设检验Whetherthemeansoftwonon-normallydistributedpopulationsareequal(WilcoxonSigned-RankTest)两个非正态分布总体的均值是否相等（威尔科克森符号秩检验）Whetheragivensetofdatacomesfromanormallydistributedpopulation(2test)数据是否来自于正态分布（卡方检验）Whethertwopopulationsarethesame（Mann-Whitney-WilcoxonTest)两个总体是否相同（曼-惠特尼-威尔科克森检验）Dopeoplelikeoneproductmorethananother(SignTest)人们是否更喜欢两个产品中的一个（符号检验）,2020/4/30,Tsinghua-CUHKFinanceMBA2008,10,Agenda主要内容,DevelopingNullandAlternativeHypotheses假设和备择假设的设立TypeIandTypeIIErrors第一类错误和第二类错误HypothesesTestsaboutaPopulationMeanwithKnown总体均值的假设检验(已知)TheStepsofHypothesisTesting假设检验的步骤HypothesesTestsaboutaPopulationMeanwithUnknown总体均值的假设检验(未知),2020/4/30,Tsinghua-CUHKFinanceMBA2008,11,Agenda主要内容（续）,TestsaboutaPopulationProportion总体比率的检验HypothesisTestingandDecisionMaking假设检验及决策CalculatingtheProbabilityofaTypeIIError计算第二类错误的概率DeterminingtheSampleSizeforaHypothesisTestAboutaPopulationMean对总体均值进行假设检验时样本容量的确定,2020/4/30,Tsinghua-CUHKFinanceMBA2008,12,DevelopingNullandAlternativeHypotheses原假设和备择假设的设立,Hypothesistestingcanbeusedtodeterminewhetherastatementaboutthevalueofapopulationparametershouldorshouldnotberejected假设检验用于判定是否应当拒绝关于总体参数的假定。Thenullhypothesis,denotedbyH0,isatentativeassumptionaboutapopulationparameter.原假设是对总体参数的一个尝试性的假设，记作H0。Thealternativehypothesis,denotedbyHa,istheoppositeofwhatisstatedinthenullhypothesis备择假设是与原假设完全相反的假设，记作Ha。,2020/4/30,Tsinghua-CUHKFinanceMBA2008,13,DevelopingNullandAlternativeHypotheses原假设和备择假设的建立,Hypothesistestingissimilartoacriminaltrial.Thehypothesesare:H0:ThedefendantisinnocentHa:Thedefendantisguilty假设检验与对犯罪的审判很相似。对一项犯罪审判，假设为：H0:被告是清白的Ha:被告是有罪的上述假设的内涵是：如果在审判过程中，我们没有足够的证据证明被告是有罪的，则只能认为他是清白的。所以，如果检验的结果是不能拒绝原假设，我们只能认为我们还没有充分的证据来拒绝原假设。我们一般不说“接受原假设”，而说“不能拒绝原假设”。,2020/4/30,Tsinghua-CUHKFinanceMBA2008,14,回到我们的问题1(BacktoProblem1),Ournullhypothesisandalternativehypothesisshouldbe:H0：attitudeofwhitepeopletowardsblackpeopleisunchangedH1：attitudeofwhitepeopletowardsblackpeoplehasbeenchanges我们的假设是：H0：白人对黑人的态度没有变化H1：白人对黑人的态度有变化如果我们观测到的数据足以证明白人对黑人的态度有变化，则我们就拒绝原假设；否则，就不能拒绝原假设，认为白人对黑人的态度有变化。,2020/4/30,Tsinghua-CUHKFinanceMBA2008,15,DevelopingNullandAlternativeHypotheses原假设和备择假设的设立,ASummaryofFormsforNullandAlternativeHypothesesaboutaPopulationMean有关原假设和备择假设形式Ingeneral,ahypothesistestaboutthevalueofapopulationmeanmusttakeoneofthefollowingthreeforms(where0isthehypothesizedvalueofthepopulationmean)关于总体均值值的假设检验，必定采取如下三种形式之一：H0:0H0:0Ha:0它们分别对应着左侧检验、右侧检验和双测检验。表达式中的等号总是出现在原假设中（=，）。,2020/4/30,Tsinghua-CUHKFinanceMBA2008,16,DevelopingNullandAlternativeHypotheses原假设和备择假设的设立,1.Ingeneral,alternativehypothesisrepresentsachange,whilenullhypothesisstandsforusualorhistoricstate(Englishp327,1)备择假设一般代表改变，而原假设代表通常或历史状态，如第216页第1题2.Thehypothesissupportedbysampledatashouldbealternativeone样本数据所支持的假设应当作为备择假设，如第228页第16题Ifnullhypothesisisrejected,thenwegettheconclusionthatthechangeissignificant.如果原假设被拒绝，我们就可以得到“有显著性的变化”的结论。否则，就不能认为有显著性的变化，即“没有显著性的变化”。,2020/4/30,Tsinghua-CUHKFinanceMBA2008,17,DevelopingNullandAlternativeHypotheses原假设和备择假设的设立,3.TestingResearchHypothesis检验研究中的假设Theresearchhypothesisshouldbeexpressedasthealternativehypothesis.(Englishp327,2)研究中的假设将被表达为备择假设。如第217页第2题。Theconclusionthattheresearchhypothesisistruecomesfromsampledatathatcontradictthenullhypothesis如果样本的数据与原假设相矛盾，则研究中的假设被认为成立，研究者将根据检验结论采取行动。否则不能拒绝原假设，也许应该进行更深入的研究和检验，就像判案一样。,2020/4/30,Tsinghua-CUHKFinanceMBA2008,18,DevelopingNullandAlternativeHypotheses原假设和备择假设的设立,4.TestingtheValidityofaClaim检验某声明的有效性Manufacturersclaimsareusuallygiventhebenefitofthedoubtandstatedasthenullhypothesis.在检验某项声明有效性时，我们通常将认为说明为真的假设作为原假设。除非样本能够提供足够的证据，否则我们通常认为该声明是真的。如第216页第1题。Theconclusionthattheclaimisfalsecomesfromsampledatathatcontradictthenullhypothesis.检验统计量与原假设相违背时，原假设不成立，即该项声明无效，应采取措施纠正。但是如果样本数据不足以证明原假设不成立，则我们不能对该声明提出异议。,2020/4/30,Tsinghua-CUHKFinanceMBA2008,19,DevelopingNullandAlternativeHypotheses原假设和备择假设的建立,TestinginDecision-MakingSituations决策中的假设检验Adecisionmakermighthavetochoosebetweentwocoursesofaction,oneassociatedwiththenullhypothesisandanotherassociatedwiththealternativehypothesis.对于原假设和备择假设，决策者有不同的行动方案与之对应。Example:Qualitycontrolprocess.(Englishp327,3)例如：质量控制问题（如第217页第3题）。这样的假设检验一般是双测检验，既不能太大也不能太小，太小或太大都是不能接受的。,2020/4/30,Tsinghua-CUHKFinanceMBA2008,20,Exercises练习,P218，6P329,6P218，7P329,7P218，8P329,8,中文版EnglishVersion,2020/4/30,Tsinghua-CUHKFinanceMBA2008,21,购买铝合金板,你是某轻型飞机制造厂的原料采购员，需要购买平均厚度为20毫米的铝合金板。某生产厂家保证他们生产的铝合金板平均厚度为20毫米，你想对这种说法进行检验，你从该厂生产的铝板中随机抽取了50块铝板，测得样本的平均厚度为21毫米。你是否认为该厂生产的铝板符合你的要求？,2020/4/30,Tsinghua-CUHKFinanceMBA2008,22,购买铝合金板,可以认为：该厂生产的铝板的厚度服从正态分布，而且根据历史数据可以认为，铝板厚度的总体标准差为3毫米。该问题的假设和备择假设为：为什么是这样的假设？,2020/4/30,Tsinghua-CUHKFinanceMBA2008,23,统计中的反证法,我们在原假设是正确的前提下（即总体均值就是20），可以认为，任何样本均值的观测值都应该在总体均值20的附近出现。但是，如果样本均值的观测值偏离20太远（包括过小和过大），我们就有理由认为出现了某种错误，而这种错误的出现是由于我们假设了原假设是正确的。因此，我们可以认为“原假设是正确的”观点是不正确的，从而做出接受备择假设的决定。如何判断“过大”和“过小”？,2020/4/30,Tsinghua-CUHKFinanceMBA2008,24,购买铝合金板,2020/4/30,Tsinghua-CUHKFinanceMBA2008,25,购买铝合金板,2020/4/30,Tsinghua-CUHKFinanceMBA2008,26,购买铝合金板,2020/4/30,Tsinghua-CUHKFinanceMBA2008,27,购买铝合金板,2020/4/30,Tsinghua-CUHKFinanceMBA2008,28,TypeIandTypeIIErrors第一类错误和第二类错误,Sincehypothesistestsarebasedonsampledata,wemustallowforthepossibilityoferrors.由于假设检验是基于样本数据进行的，因此我们必须允许误差出现的可能性。ATypeIerrorisrejectingH0whenitistrue.如果H0为真，我们却拒绝了它，那么就发生了第一类错误（以真为假）。ATypeIIerrorisacceptingH0whenitisfalse.如果H0为假，我们却没有拒绝它，那么就发生了第二类错误（以假为真）。,2020/4/30,Tsinghua-CUHKFinanceMBA2008,29,TypeIandTypeIIErrors第一类错误和第二类错误,总体的实际情况假设检验的结论H0是真的Ha是真的接受H0结论正确第二类错误拒绝H0第一类错误结论正确,以真为假的错误,以假为真的错误,2020/4/30,Tsinghua-CUHKFinanceMBA2008,30,TypeIandTypeIIErrors第一类错误和第二类错误,ThepersonconductingthehypothesistestspecifiesthemaximumallowableprobabilityofmakingaTypeIerror,denotedbyandcalledthelevelofsignificance.实践中，将人们在进行假设检验时所发生的第一类错误的概率的最大允许值称为检验的显著性水平。Generally,wedontcontroltheprobabilityofmakingaTypeIIerror,denotedby.一般来讲，我们并不对第二类错误进行控制。,2020/4/30,Tsinghua-CUHKFinanceMBA2008,31,TypeIandTypeIIErrors第一类错误和第二类错误,StatisticianavoidstheriskofmakingaTypeIIerrorbyusing“donotrejectH0”andnot“acceptH0”.由于第二类错误发生具有不确定性，所以统计学家建议我们在叙述中采用“不能拒绝H0”，而不采用“接受H0”这种说法。TypeIIerrorcanbecontrolledbymakingsamplesizelargeenough.可以通过加大样本容量来达到控制第二类错误的目的。,2020/4/30,Tsinghua-CUHKFinanceMBA2008,32,HypothesisTestsaboutaPopulationMeanwithKnown总体均值的假设检验(已知),前面我们已经讨论过已知的情况，在应用中，我们可以根据历史数据或者其他信息，在抽样前得到总体标准差的一个很好的估计。在这种情形下，出于应用的目的，总体标准差可以认为是已知的。下面的方法是样本来自正态分布总体的条件下进行的。如果关于总体分布的正态假设不成立，则只有在样本容量足够大的情况下，下面的方法才是有效的。,2020/4/30,Tsinghua-CUHKFinanceMBA2008,33,Two-TailedTestsaboutaPopulationMeanwithKnown总体均值的双侧检验(已知),假设检验统计量原假设为真情况下服从标准正态分布拒绝法则如果|z|z，拒绝H0,2020/4/30,Tsinghua-CUHKFinanceMBA2008,34,0,标准正态分布,拒绝区域,H0:Ha:(双侧检验),拒绝区域,2020/4/30,Tsinghua-CUHKFinanceMBA2008,35,某种产品的生产线上，产品填充重量的均值为16盎司，过多或过少都会发生严重的问题，导致生产线停产。以往数据表明，已知为0.8盎司。质量控制监督员每两小时检验30件产品，确定该生产线是否需要停产进行调整。在0.05的显著性水平下，假设检验程序中的拒绝规则是什么？如果样本均值盎司，你将建议采取什么措施？如果样本均值盎司，你将建议采取什么措施？,2020/4/30,Tsinghua-CUHKFinanceMBA2008,36,解：设产品平均填充量为，则原假设和备择假设分别为已知：大样本情况且标准差已知，检验统计量为检验的拒绝规则：当时，拒绝原假设。,2020/4/30,Tsinghua-CUHKFinanceMBA2008,37,当时，检验统计量的值满足因为，所以应当拒绝原假设，认为产品填充量与设计填充量有显著差异，应当停产进行调整。,2020/4/30,Tsinghua-CUHKFinanceMBA2008,38,当时，检验统计量的值满足因为，所以不应当拒绝原假设，认为产品填充量与设计填充量没有显著差异，无需停产进行调整。,2020/4/30,Tsinghua-CUHKFinanceMBA2008,39,双侧检验的实测显著性水平p值,0,标准正态分布,拒绝区域,拒绝区域,2020/4/30,Tsinghua-CUHKFinanceMBA2008,40,当时，检验统计量的值满足因为，所以应当拒绝原假设，认为产品填充量与设计填充量有显著差异，应当停产进行调整。上述检验的实测显著性水平p值,2020/4/30,Tsinghua-CUHKFinanceMBA2008,41,z=2.19,-2.19,p=0.0286,双侧检验：两侧概率的和为p-值,2020/4/30,Tsinghua-CUHKFinanceMBA2008,42,当时，检验统计量的值满足因为，所以不应当拒绝原假设，认为产品填充量与设计填充量没有显著差异，无需停产进行调整。上述检验的实测显著性水平p值,2020/4/30,Tsinghua-CUHKFinanceMBA2008,43,z=1.23,-1.23,p=0.2186,双侧检验：两侧概率和为p-值,2020/4/30,Tsinghua-CUHKFinanceMBA2008,44,Thedefinitionanduseofp-Valuesp-值的定义和应用,Thep-valuecanbeusedtomakethedecisioninahypothesistestbynotingthat:在假设检验中用p-值进行决策时应当注意以下几点：ifthep-valueislessthanthelevelofsignificance,thevalueoftheteststatisticisintherejectionregion.如果p-值小于显著性水平，那么检验统计值一定在拒绝域中ifthep-valueisgreaterthanorequalto,thevalueoftheteststatisticisnotintherejectionregion.如果p-值大于等于显著性水平，那么检验统计值不在拒绝域中。RejectH0ifthep-valuezRejectH0ifzz则拒绝H0如果z30的时候，就可以应用该假设检验方法。如果总体的分布不是正态分布但大致对称，则样本容量至少为15时才能预期得到一个可以接受的结果。只有当我们认为或者愿意假设总体的分布至少是正态分布时，才可以在更小的样本容量下进行该假设检验。,2020/4/30,Tsinghua-CUHKFinanceMBA2008,57,Exercise练习,P233，34P352,42,中文版EnglishVersion,2020/4/30,Tsinghua-CUHKFinanceMBA2008,58,TestsaboutaPopulationProportion总体比率的检验,Asummaryofformsfornullandalternativehypothesesaboutapopulationproportion一般来说,关于总体比率的假设检验有如下的形式:H0:pp0H0:pp0Ha:pp0,2020/4/30,Tsinghua-CUHKFinanceMBA2008,59,检验统计量其中拒绝法则H0:pp拒绝H0如果zz或者p值aH0:pp拒绝H0如果zz或者p值a,TestsaboutaPopulationProportion总体比率的检验,2020/4/30,Tsinghua-CUHKFinanceMBA2008,60,Exercises练习,中文版P236,35题,2020/4/30,Tsinghua-CUHKFinanceMBA2008,61,HypothesisTestingandDecisionMaking假设检验及决策,Inmanydecision-makingsituationsthedecisionmakermaywant,andinsomecasesmaybeforced,totakeactionwithboththeconclusiondonotrejectH0andtheconclusionrejectH0.在某些决策情况下,决策者可能想要甚至可能被迫在拒绝H0和不能拒绝H0之间做出选择并采取相应措施。Insuchsituations,itisrecommendedthatthehypothesis-testingprocedurebeextendedtoincludeconsiderationofmakingaTypeIIerror.在这种决策情况下，我们建议将假设检验过程扩展，并考虑第二类错误。,2020/4/30,Tsinghua-CUHKFinanceMBA2008,62,CalculatingtheProbabilityofaTypeIIError计算第二类错误的概率,对供应商的一批电池，一名质量管理员必须决定是接受这批货物还是因其质量差而将货物退还供应商。假定，设计规格要求供应商电池的平均使用寿命至少为120小时，为了评价这批货物的质量，我们选取36节电池组成一个样本进行检验，根据样本来决定是接受这批货物还是因其质量差而将这批货物退还供应商。令代表这批电池使用小时数的均值，对总体均值建立如下形式的原假设和备择假设：,2020/4/30,Tsinghua-CUHKFinanceMBA2008,63,CalculatingtheProbabilityofaTypeIIError计算第二类错误的概率,如果拒绝H0，则做出备择假设为真的结论。这一结论表明，将这批货物退还给供应商的决策是合理的。但是，如果不能拒绝H0，决策者将认为这批货物的质量达到标准而将它接收下来。这时，决策者将可能犯第二类错误。在这种情况下，我们建议对第二类错误的概率也进行讨论。发生第二类错误的概率计算必须与某一特定假设检验问题以及某一给定值相联系。,2020/4/30,Tsinghua-CUHKFinanceMBA2008,64,CalculatingtheProbabilityofaTypeIIError计算第二类错误的概率,Formulatethenullandalternativehypotheses.确立原假设和备择假设Usethelevelofsignificancetoestablisharejectionrulebasedontheteststatistic.在显著性水平下，根据检验统计量建立拒绝规则。Usingtherejectionrule,solveforthevalueofthesamplemeanthatidentifiestherejectionregion.利用该拒绝规则，求检验中落入拒绝域的样本均值的范围。,2020/4/30,Tsinghua-CUHKFinanceMBA2008,65,CalculatingtheProbabilityofaTypeIIError计算第二类错误的概率,Usetheresultsfromstep3tostatethevaluesofthesamplemeanthatleadtotheacceptanceofH0;thisdefinestheacceptanceregion.利用上步中的结果，说明接受H0时所对应的样本均值的值，即检验的接受域。Usingthesamplingdistributionofforanyvalueoffromthealternativehypothesis,andtheacceptanceregionfromstep4,computetheprobabilitythatthesamplemeanwillbeintheacc