第四节 假设检验的基本原理与方法.doc

第四节 假设检验的基本原理与方法4.4.1假设检验的基本思想理解 假设检验是除参数估计之外的另一类重要的统计推断问题。它的基本思想可以用小概率原理来解释。所谓小概率原理，就是认为小概率事件在一次试验中是几乎不可能发生的。也就是说，对总体的某个假设是真实的，那么不利于或不能支持这一假设的事件A在一次试验中是几乎不可能发一的；要是在一次试验中事件A竟然发生了，我们就有理由怀疑这一假设的真实性，拒绝这一假设。 例7：某公司想从国外引进一种自动加工装置。这种装置的工作温度X服从正态分布(，52),厂方说它的平均工作温度是80度。从该装置试运转中随机测试16次，得到的平均工作温度是83度。该公司考虑，样本结果与厂方所说的是否有显著差异？厂方的说法是否可以接受？ 类似这种根据样本观测值来判断一个有关总体的假设是否成立的问题，就是假设检验的问题。我们把任一关于单体分布的假设，统称为统计假设，简称假设。上例中，可以提出两个假设：一个称为原假设或零假设，记为H0：=80（度）；另一个称为备择假设或对立假设，记为H1 ：80（度）这样，上述假设检验问题可以表示为： H0：=80 H1：80 原假设与备择假设相互对立，两者有且只有一个正确，备择假设的含义是，一旦否定原假设H0，备择假设H1备你选择。所谓假设检验问题就是要判断原假设H0是否正确，决定接受还是拒绝原假设，若拒绝原假设，就接受备择假设。 应该如何作出判断呢？如果样本测定的结果是100度甚至更高（或很低），我们从直观上能感到原假设可疑而否定它，因为原假设是真实时，在一次试验中出现了与80度相距甚远的小概率事件几乎是不可能的，而现在竟然出现了，当然要拒绝原假设H0。现在的问题是样本平均工作温度为83度，结果虽然与厂方说的80度有差异，但样本具有随机性，80度与83度之间的差异很可能是样本的随机性造成的。在这种情况下，要对原假设作出接受还是拒绝的抉择，就必须根据研究的问题和决策条件，对样本值与原假设的差异进行分析。若有充分理由认为这种差异并非是由偶然的随机因素造成的，也即认为差异是显著的，才能拒绝原假设，否则就不能拒绝原假设。假设检验实质上是对原假设是否正确进行检验，因此，检验过程中要使原假设得到维护，使之不轻易被否定,否定原假设必须有充分的理由；同时，当原假设被接受时，也只能认为否定它的根据不充分，而不是认为它绝对正确。 4.4.2 假设检验规则识记 样本既然取自总体，样本均值就必然包含着总体均值大小的信息。如上例，若原假设H0：=80为真，则| -80|一般应该小；否则| -80|一般应较大。因此，我们可以根据| -80|的大小，也即差异是否显著来决定接受还是拒绝原假设.| -80|越大越倾向于拒绝原假设，那么| -80|大到何种程度才能作出拒绝原假设的决定呢？为此，就需要制定一个检验规则（简称检验）： 当| -80|C时，拒绝原假设H0；当| -80|临界值 时，拒绝原假设H0；当|Z|1.96 也即统计量Z值落在拒绝域，由此可以认为这种装置的实际平均工作温度与厂方说的有显著差异，故拒绝原假设H0。假设检验是数理统计学中根据一定假设条件由样本推断总体的一种方法。具体作法是：根据问题的需要对所研究的总体作某种假设，记作H0；选取合适的统计量，这个统计量的选取要使得在假设H0成立时，其分布为已知；由实测的样本，计算出统计量的值，并根据预先给定的显著性水平进行检验，作出拒绝或接受假设H0的判断假设检验亦称“显著性检验（Test of statistical significance）”，是 假设检验用来判断样本与样本，样本与总体的差异是由抽样误差引起还是本质差别造成的统计推断方法。其基本原理是先对总体的特征作出某种假设，然后通过抽样研究的统计推理，对此假设应该被拒绝还是接受作出推断。 生物现象的个体差异是客观存在，以致抽样误差不可避免，所以我们不能仅凭个别样本的值来下结论。当遇到两个或几个样本均数（或率）、样本均数（率）与已知总体均数（率）有大有小时，应当考虑到造成这种差别的原因有两种可能：一是这两个或几个样本均数（或率）来自同一总体，其差别仅仅由于抽样误差即偶然性所造成；二是这两个或几个样本均数（或率）来自不同的总体，即其差别不仅由抽样误差造成，而主要是由实验因素不同所引起的。假设检验的目的就在于排除抽样误差的影响，区分差别在统计上是否成立，并了解事件发生的概率。 在质量管理工作中经常遇到两者进行比较的情况，如采购原材料的验证，我们抽样所得到的数据在目标值两边波动，有时波动很大，这时你如何进行判定这些原料是否达到了我们规定的要求呢？再例如，你先后做了两批实验，得到两组数据，你想知道在这两试实验中合格率有无显著变化，那怎么做呢？这时你可以使用假设检验这种统计方法，来比较你的数据，它可以告诉你两者是否相等，同时也可以告诉你，在你做出这样的结论时，你所承担的风险。假设检验的思想是，先假设两者相等，即：µ=µ0，然后用统计的方法来计算验证你的假设是否正确。 用的假设检验有Z检验、T检验、配对检验、比例检验、秩和检验、卡方检验等。编辑本段意义假设检验是抽样推断中的一项重要内容。它是根据原资料作出一个总体指标是否等于某一个数值，某一随机变量是否服从某种概率分布的假设，然后利用样本资料采用一定的统计方法计算出有关检验的统计量，依据一定的概率原则，以较小的风险来判断估计数值与总体数值(或者估计分布与实际分布)是否存在显著差异，是否应当接受原假设选择的一种检验方法。 用样本指标估计总体指标，其结论有的完全可靠，有的只有不同程度的可靠性，需要进一步加以检验和证实。通过检验，对样本指标与假设的总体指标之间是否存在差别作出判断，是否接受原假设。这里必须明确，进行检验的目的不是怀疑样本指标本身是否计算正确，而是为了分析样本指标和总体指标之间是否存在显著差异。从这个意义上，假设检验又称为显著性检验。 进行假设检验，先要对假设进行陈述。通过下例加以说明。 例如，设某工厂制造某种产品的某种精度服从平均数为方差为的正态分布，据过去的数据，已知平均数为75，方差为100。现在经过技术革新，改进了制造方法，出现了平均数大于75，方差没有变更，但仍存在平均数不超过75的可能性。试陈述为统计假设。 根据上述情况，可有两种假设，一个是假想平均数不超过75，即假设另一个假想是平均数大于75，即假设如果我们把作为原假设，即被检验的假设，称作零假设，记作于是，假设相对于假设来说，是约定的、补充的假设，记作它和有两者选择其一的意思，即作为被检验的假设，则就是备择的，故称为备择假设或对立假设。 还须指出，哪个是零假设，哪个是备择假设，是无关紧要的。我们关心的问题，是要探索哪一个假设被接受的问题。被接受的假设是要作为推理的基础。在实际问题中，一般要考虑事情发生的逻辑顺序和关心的事件，来设立零假设和备择假设。 在作出了统计假设之后，就要采用适当的方法来决定是否应该接受零假设。由于运用统计方法所遇到的问题不同，因而解决问题的方法也不尽相同。但其解决方法的基本思想却是一致的，即都是“概率反证法”思想，即： (1)为了检验一个零假设(即虚拟假设)是否成立， 先假定它是成立的，然后看接受这个假设之后，是否会导致不合理结果。如果结果是合理的，就接受它；如不合理，则否定原假设。 (2)所谓导致不合理结果，就是看是否在一次观察中， 出现小概率事件。通常把出现小概率事件的概率记为0，即显著性水平。 它在次数函数图形中是曲线两端或一端的面积。因此，从统计检验来说，就涉及到双侧检验和单侧检验问题。在实践中采用何类检验是由实际问题的性质来决定的。一般可以这样考虑： 双侧检验。如果检验的目的是检验抽样的样本统计量与假设参数的差数是否过大(无论是正方向还是负方向)，就把风险平分在右侧和左侧。比如显著性水平为0.05，即概率曲线左右两侧各占，即0.025。 单侧检验。这种检验只注意估计值是否偏高或偏低。如只注意偏低，则临界值在左侧，称左侧检验；如只注意偏高，则临界值在右侧，称右侧检验。 对总体的参数的检量，是通过由样本计算的统计量来实现的。所以检验统计量起着决策者的作用。 参数估计与假设检验 统计推断是由样本的信息来推测母体性能的一种方法，它又可以分为两类问题，即参数估计和假设检验。实际生产和科学实验中，大量的问题是在获得一批数据后，要对母体的某一参数进行估计和检验。 例如，我们对45钢的断裂韧性作了测定，取得了一批数据，然后要求45钢断裂韧性的平均值，或要求45钢断裂韧性的单侧下限值，或要求45钢断裂韧性的分散度(即离散系数)，这就是参数估计的问题。 又如，经过长期的积累，知道了某材料的断裂韧性的平均值和标准差，经改进热处理后，又测得一批数据，试问新工艺与老工艺相比是否有显著差异，这就是假设检验的问题。 这样可以看出，参数估计是假设检验的第一步，没有参数估计，也就无法完成假设检验。编辑本段基本思想假设检验的基本思想是小概率反证法思想。小概率思想是指小概率事件（P0.01或P，结论为按所取水准不显著，不拒绝H0，即认为差别很可能是由于抽样误差造成的，在统计上不成立；如果P,结论为按所取水准显著，拒绝H0，接受H1，则认为此差别不大可能仅由抽样误差所致，很可能是实验因素不同造成的，故在统计上成立。P值的大小一般可通过查阅相应的界值表得到。 教学中的做法 1.根据实际情况提出原假设和备择假设 2.根据假设的特征，选择合适的检验统计量 3.根据样本观察值，计算检验统计量的观察值(obs) 4.选择许容显著性水平，并根据相应的统计量的统计分布表查出相应的临界值(ctrit) 5.根据检验统计量观察值的位置决定原假设取舍编辑本段注意的问题1、做假设检验之前，应注意资料本身是否有可比性。 2、当差别有统计学意义时应注意这样的差别在实际应用中有无意义。 3、根据资料类型和特点选用正确的假设检验方法。 4、根据专业及经验确定是选用单侧检验还是双侧检验。 5、当检验结果为拒绝无效假设时，应注意有发生I类错误的可能性，即错误地拒绝了本身成立的H0，发生这种错误的可能性预先是知道的，即检验水准那么大；当检验结果为不拒绝无效假设时，应注意有发生II类错误的可能性，即仍有可能错误地接受了本身就不成立的H0，发生这种错误的可能性预先是不知道的，但与样本含量和I类错误的大小有关系。 6、判断结论时不能绝对化，应注意无论接受或拒绝检验假设，都有判断错误的可能性。 7、报告结论时是应注意说明所用的统计量，检验的单双侧及P值的确切范围。编辑本段正文又称统计假设检验,是一种基本的统计推断形式,也是数理统计学的一个重要的分支。“假设”是指关于总体分布的一项命题。例如，一群人的身高服从正态分布N(,)，则命题“均值1.70（米）”是一个假设。又如，有一批产品,其废品率为p，则“p0.03”这个命题也是一个假设。假设是否正确，要用从总体中抽出的样本进行检验，与此有关的理论和方法，构成假设检验的内容。 假设检验设A是关于总体分布的一项命题，所有使命题A成立的总体分布构成一个集合h0，称为原假设(常简称假设)。使命题A不成立的所有总体分布构成另一个集合h1,称为备择假设。如果h0可以通过有限个实参数来描述，则称为参数假设，否则称为非参数假设(见非参数统计)。如果h0(或h1)只包含一个分布，则称原假设(或备择假设)为简单假设，否则为复合假设。对一个假设h0进行检验，就是要制定一个规则，使得有了样本以后，根据这规则可以决定是接受它（承认命题A正确）,还是拒绝它（否认命题A正确）。这样，所有可能的样本所组成的空间（称样本空间）被划分为两部分HA和HR(HA的补集)，当样本xHA时,接受假设h0；当xHR时,拒绝h0。集合HR常称为检验的拒绝域,HA称为接受域。因此选定一个检验法，也就是选定一个拒绝域，故常把检验法本身与拒绝域HR等同起来。 显著性检验 有时，根据一定的理论或经验，认为某一假设h0成立,例如,通常有理由认为特定的一群人的身高服从正态分布。当收集了一定数据后，可以评价实际数据与理论假设h0之间的偏离，如果偏离达到了“显著”的程度就拒绝h0，这样的检验方法称为显著性检验。怎样去规定什么时候偏离达到显著的程度？通常是指定一个很小的正数（如0.05，0.01），使当h0正确时,它被拒绝的概率不超过，称为显著性水平。这种假设检验问题的特点是不考虑备择假设,就上例而言,问题可以说成是考虑实验数据与理论之间拟合的程度如何，故此时又称为拟合优度检验。拟合优度检验是一类重要的显著性检验。 假设检验K.皮尔森在1900年提出的检验是一个重要的拟合优度检验。设原假设h0是：“总体分布等于某个已知的分布函数F(x)”。把(，)分为若干个两两无公共点的区间I1，I2,Ik，对任一个区间，以vj记大小为n的样本X1，X2，Xn中落在Ij内的个数，称为区间Ij的观测频数，另外，求出Ij的理论频数(对j=1,2,k都这样做)，再算出由下式定义的统计量 ， 皮尔森证明了：若对j=1,2,k，则当n时,的极限分布是自由度为k-1的分布。于是在样本大小n相当大时，从分布表可查得分布的上分位数（见概率分布）(k-1)。由此即得检验水平为的拒绝域：(k-1)。如果原假设h 0为:总体服从分布族F，嘷，式中为未知参数，嘷为的所有可能取值的集合（称参数空间），也可得到类似的拒绝域，只要在计算理论频数vj时，将所包含的未知参数用适当的点估计代替，即可计算 统计量。但此时极限分布的自由度为 k-1，式中为中的独立参数的个数。柯尔莫哥洛夫检验（见非参数统计）也是一个重要的拟合优度检验方法。 奈曼-皮尔森理论 J.奈曼与 E.S.皮尔森合作，从 假设检验1928年开始，对假设检验提出了一 假设检验项系统的理论。他们认为，在检验一个假设h0时可能犯两类错误：第一类错误是真实情况为h0成立(即嘷0)，但判断h0不成立，犯了“以真为假”的错误。第二类错误是h0实际不成立(即嘷1)，但判断它成立，犯了“以假为真”的错误（见表）。这里嘷0,嘷1分别是使假设h0成立或不成立的的集合，显然嘷=嘷0+嘷1。当嘷0,样本X(即X1,X2,Xn组成的向量)HR,其概率P(XHR)就是犯第一类错误的概率;当嘷1，样本XHA,其概率就是犯第二类错误的概率。通常人们不希望轻易拒绝h0,例如工厂的产品一般是 假设检验合格的，出厂进行抽样检查时不希望轻易地被认为不合格，于是在限定犯第一类错误的概率不超过某个指定值（称为检验水平）的条件下,寻求犯第二类错误的概率尽可能小的检验方法。为了描述检验的好坏，称的函数P(XHR)为检验的功效函数。例如上述产品检验的例子中，所采用的检验可以是：当样品中的废品个数超过一定限度时，认为该批产品不合格，否则就认为合格。这个检验的功效函数有图示的形状，图中的 p0、p1、根据需要选定。这种图形清楚地描述了犯两类错误的概率。 优良性准则 基于奈曼皮尔森理论及统计决策理论，可以提出一些准则，来比较为检验同一假设而提出的各种检验。较重要的准则有： 假设检验一致最大功效(UMP)准则 欲检验h0:嘷0，h1:嘷1；当给定检验水平后,在所有满足的可供选择的检验HR中，是否有一个最好的，亦即：是否存在拒绝域H，使得对于所有嘷1及一切检验水平为的H皆有。若这样的检验存在,则称HR为检验水平的一致最大功效检验,简称UMP检验。奈曼与皮尔森在1933年提出了著名的奈曼-皮尔森引理。这是对简单假设寻求UMP检验的一个构造性的结果,即 假设检验此时似然比检验就是UMP检验。对某些复合假设也找到了 UMP检验，但并不是所有情况都存在 UMP检验。因此有必要在对检验作某些限制下寻找最大功效检验或建立另外一些优良性准则。 无偏性准则 要求检验在备择假设h1成立时作出正确判断的概率不小于检验水平,这就是说在h0不成立时拒绝h0的概率要不小于在h0成立时拒绝h0的概率,这种性质称为无偏性，具有这种性质的检验称为无偏检验。显然，如果在无偏检验中存在一致最大功效检验就称为一致最大功效无偏检验（简称UMPU检验）。UMP检验不存在时，仍可能有UMPU检验存在。例如正态总体中方差未知时,为检验均值=0的t检验就是UMPU检验,但不是UMP检验。 假设检验因为假设检验在统计决策理论中是一种特殊的统计决策问题，两类错误影响可用特殊损失来表示。例如选取特殊的损失函数，使正确判断时损失为零，错判时损失为1。它就可归结为犯第一类错误 假设检验的概率和犯第二类错误的概率。这同用功效函数P(XHR)来叙述是一致的。因此把统计决策理论中容许性、同变性、贝叶斯决策、最小化最大等概念引进来，而得到容许检验、同变检验、贝叶斯检验和最小化最大检验。在同变检验限制下，又可以建立一致最大功效同变检验的概念。这些准则又可作为假设检验的优良性准则，从而扩大了假设检验的内容。 寻求在一定准则下的最优检验是很困难的，何况这种最优检验有时并不存在。于是提 假设检验出了若干依据直观的推理法，其中最重要的是似然比法。 似然比检验 运用与最大似