《chap5统计推断》PPT课件.ppt

1,第五章 假设检验,张豪 博士,2,第一节 引言,3,一、基本知识,4,统计推断 指的是根据样本和假定模型对总体做出的概率形式结论的过程 推断统计学主要包括 假设检验（hypothesis testing, test of hypothesis） 参数估计（parametric estimation）,统计推断（statistical inference）,5,假设（hypothesis）,关于总体的某些未知或不完全知道性质的待证明的声明（assertion） 两类 研究假设(research hypothesis)是研究人员根据以前的研究结果、科学文献或者经验而提出的假设， 统计假设(statistical hypothesis)往往是根据研究假设提出的，描述了根据研究假设进行试验结果的两种统计选择,6,统计假设,原假设（null hypothesis, H0）通常为不变情况的假设。 备择假设（alternative hypothesis, HA）则通常声明一种改变的状态，如两个群体间存在差异。 研究假设可以为两种可能之一，即没有差异和有差异。通常情况下，备择假设和研究假设相同，因此，原假设与研究者的期望相反。,7,假设检验,假设检验的定义 假定原假设正确，检验某个样本是否来自某个总体，它可以使研究者把根据样本得出的结果推广到总体 反证法: 假定原假设正确，研究其发生的概率 根据样本进行的假设检验有两种结果 拒绝H0，因为发现其是错误的 不能拒绝H0，因为没有足够的证据使我们拒绝它 原假设和备择假设总是互斥，而且包括了所有的可能，因此，拒绝H0则HA正确,8,例子1,一个刚工作的大学生在某饲料厂工作，负责购买原料。购买复合维生素时，销售商声称每袋装10 kg。结果可能有4种可能， 他很诚实，即 = 10 kg； 他很保守，即 10 kg； 他是个骗子，即 10 kg； 他也是个新手，不知道每袋到底有多少，即 10 kg。 为了进行检验，该大学生测量了25袋内容物的重量，结果平均重10.36 kg，假设已知方差为1 kg2,9,案例1：检验销售商是否是保守的,假设 H0： 10 kg，HA： 10 kg 显著水平 统计上用来确定或否定原假设为小概率事件的概率标准叫显著性水平 （significance level）或检验水平（size of a test），记作 显著（significant）：H0发生概率如果小于或等于5%, 拒绝H0 极显著（highly significant）：H0发生的概率小于或等于1%, 拒绝H0,10,案例1：检验销售商是否保守,统计数 为了确定H0发生的概率，需要找到合适的检验统计数（test statistic），或临界比率（critical ratio），使得在原假设或备择假设成立时，该统计数的值有差异，从而可使我们能够根据这个统计数的值的大小确定H0发生的概率,11,检验统计量,说明: u为一个标准正态分布离差 这种利用u统计数进行假设检验的方法称为u检验（u test） 上式中称为平均数的标准误（standard error of the mean），为平均数的抽样标准差；它告诉我们的是未来抽样中平均数的期望变异性,12,计算,u发生的概率:,13,案例2：测验销售商是否是一个骗子,假设为： H0： 10 kg，HA： 10 kg 检验统计数u = 1.8,14,案例3: 销售商不知道每袋含量到底有多少,假设为 H0： 10 kg，HA： 10 kg 统计数u = 1.8,15,二、假设检验的基本步骤,根据题义定义H0和HA 在原假设正确的前提下，确定检验统计数并计算统计数的估计值 计算P值，或确定临界值，并比较临界值与统计数值的大小；根据“小概率不可能原理”得出结论,16,三、假设检验的两类错误,17,统计推断错误原因,统计推断的样本为总体的一个或数个随机样本 抽样时的抽样误差 样本对总体的统计推断有时会产生关于总体的错误结论,18,两类错误,如果H0正确，则HA是错误的 如果这时的假设检验结果为接受H0，则结论正确 如果假设检验结果为拒绝H0，结论就是错误的 这类错误称为第一类错误，用表示 显著水平为0.05，即如果H0正确，对20个样本进行假设检验，如果有1次结果为拒绝H0，我们就怀疑H0的正确性，拒绝H0，这时我们犯I类错误的概率为5% P（第一类错误） = 拒绝一个正确原假设的概率,19,两类错误,如果 H0 是错误的，则 HA 是正确的 如果为拒绝H0, 则结论正确 接受 H0，则结论错误 这类错误称第二类错误（type II error），用表示 P（第二类错误）=接受一个错误原假设的概率,20,两类错误的关系,H0是错误的而结果为拒绝它的概率为 1 ，称为检验功效（power of a test）,21,显著水平的选择,如果接受H0，则或者得出正确结论，或者犯概率为的第二类错误 如果结论为拒绝H0，则可能得出正确结论，也可能犯概率为 的第一类错误。 当假设检验结果为拒绝H0时，我们知道犯第一类错误的概率，因此我们进行假设检验时，总是希望结论为拒绝H0 推荐的显著水平为0.05?为什么,22,例子2,假设有一个总体服从正态分布，其平均数等于100，标准差等于10。另一个总体也服从正态分布，平均数等于105，标准差等于10。我们不知道我们的样本是从哪一个总体抽取的，只知道为其中之一。而实际上，样本来自均值等于105的样本。,23,案例,假定样本含量 n = 25， = 0.05。 假设为： H0: = 100， = 10 HA: = 105， = 10 首先，我们计算当H0正确时，什么情况下会犯第一类错误。根据例5.1，查附表1，得临界值u0.05 = 1.645，注意这时为单尾检验，即：,24,统计量的计算,25,解,平均数大于103.29，则I类错误0.05，拒绝H0。即当H0为真时，平均数大于103.29的概率只有5%。 如果H0错误而HA正确，这时的样本是来自HA。如果平均数低于103.29，则可以接受H0，因为H0是错误的，这时犯II类错误。,26,第二类错误,利用标准化进行计算：,检验功效=1- = 1 - 0.1963 = 0.8037,27,提高显著水平的后果,提高到0.01。0.01=P(Z2.33)。,第二类错误 :,提问：Power of the test?,28,显著水平和测验效率,29,显著水平和测验效率,检验功效依赖于显著水平() 和0-1的差值大小. 在我们的控制之下而且已知, 但是, 多数情况下, 差异未知 很多时候我无法计算第二错误,30,增加样本数,样本数增长率加到100 H0: =100,=10 HA: =105,=10,31,增加样本数,第二类错误: 检验功效:,32,总结,三个显著水平: 0.05: significant 显著 0.01: highly significant 极显著 0.001: very highly significant 无论我们下何种结论, 都有可能犯错误. 因此, 我们不能说H0为真(true)或H0是错误的(false). 但我们可以说数据支持(support)H0或者拒绝(reject)H0.,33,四、双侧检验与单侧检验,34,定义,单侧检验（one-sided test）或单尾检验（one-tailed test） 拒绝区域为u，) 拒绝区域为 ( ， u 拒绝区域位于分布的一尾 双侧检验（two-sided test）或双尾检验（two-tailed test） 拒绝区域为u/2，)和( ， u/2 拒绝区域位于分布的两尾,35,五、注意事项,36,注意事项,应该注意统计显著和生物学重要性的区别 应该注意假设检验结果的解读 数据（data）“支持”（support） 关于显著水平的选择。 一般地，取 = 0.05比较合适 单侧检验还是双侧检验 根据不同的问题的要求和专业知识来决定，一般在试验设计时就已经确定,37,注意事项,统计数 根据样本分布理论选择合适的检验统计数，每种检验统计数都有其适用条件 “显著”针对的是样本而不是总体 我们只能说“样本A和样本B平均数间存在显著差异”，而不能说“总体A和总体B的平均数差异显著”,38,第二节,单样本平均数的假设检验 One-Sample Tests of Hypothesis,39,原理,检验一个样本平均数与已知的总体平均数是否有显著差异，即检验该样本是否来自某一总体 已知的总体平均数一般为一些公认的理论数值、经验数值或期望数值。如畜禽正常生理指标、怀孕期、家禽出雏日龄以及生产性能指标等，可以用样本平均数与之比较，检验差异显著性 这类检验的假设共有3种 由第4章，我们可以用 t 统计数进行假设检验，称为t检验（t test）,40,定理,41,原理,自由度:估计方差时独立观察值的个数 实践上,自由度等于观察值个数减去计算方差时需要估计的参数数量,42,例子3,母猪的怀孕期为114天,今抽测10头母猪的怀孕期分别为116、115、113、112、114、117、115、116、114、113天。问抽测结果的平均数是否与总体平均数114天一致？,43,H0: = 114天 HA: 114天,解:,df=10-1=9 临界值： 2.262(5%), 3.250(1%) 结论：测量结果与文献相符。,44,总结,假设：三种 1) H0: d = c 2) H0: c 3) H0: c HA: d c HA: c HA: c 注意假设的写法。 如果 t 统计量超过的临界点，则拒绝H0 H0总是包括等号，与HA的互斥关系 注意单尾检验和双尾检验,45,SAS程序,-无效假设H0: y=0,- H0: x=114,-要分析的变量为y,-建立一个名字为OUT1的SAS临时数据集 -按顺序输入变量 -每个观察值减去114 -下一行为数据,表示一行有多个数据需要读入,46,结果,P=0.34340.05，接受H0，即抽测结果的平均数是否与总体平均数114天一致,47,第三节,两个样本平均数差异的假设检验,48,一、两独立样本,平均数差异的假设检验,49,前言,两样本独立指两样本 为分别独立地从两个总体抽取的，两个样本间相互独立 在动物科学中，利用完全随机设计（completely randomized design, CRD）,50,51,52,例子,某种猪场分别测定长白后备种猪和蓝塘后备种猪90kg时的背膘厚度，测定结果如表5-3所示。设两品种后备种猪90kg 时的背膘厚度值服从正态分布，且方差相等，问该两品种后备种猪90kg时的背膘厚度有无显著差异？,53,计算,54,计算,3统计推断 当df = 21时，查临界值得：双侧t0.05(21) =2.080，|t| 0.05， 不能拒绝H0，表明这两种基因型长白猪第一胎母猪的仔猪初生重差异不显著,55,SAS程序,-g为分组变量,-CLASS语句指出分组变量,56,结果,这三个结果相互联系。请阅读下一张,57,上一张的说明,Equality of Variances 两样本方差是否相等的检验 如不相等，则阅读Satterthwaite的结果 如相等，则阅读Pooled结果 本例： Pooled结果,58,注意事项,两独立样本平均数的差异显著性检验中，若总的试验单位数（n1 + n2）不变 两样本含量相等比两样本含量不等有较高检验效率，因为此时使两平均数差异的标准误最小，从而使t的绝对值最大,59,注意事项,两独立样本t检验的假设 两个独立样本t检验假定两样本的方差或标准差的差异不显著（方差齐性，homogeneity） 如果经过检验发现两个独立样本的方差不相等，可以通过校正使统计数的自由度下降，从而提高临界值 稳健性 当两个样本含量相等时，两样本方差相等的假设可以不用考虑 统计学中称t检验的这一特性为样本含量相同时的稳健性,60,二、两配对样本,平均数的差异显著性检验,61,原理,完全随机设计要求试验单位尽可能一致 如果试验单位（experiment unit）变异较大，CRD可能由于处理效应受到系统误差的影响而降低试验的准确性与精确性 配对设计目的 为了消除试验单位不一致对试验结果的影响，减少系统误差，降低试验误差，提高试验的准确性与精确性 可以利用局部控制（local control）的原则,62,配对试验,配对试验 将试验单位两两配对 将配成对子的两个试验单位随同地分配到两个处理组 要求 配对的试验单位的初始条件一致 不配对的试验单位的初始条件允许有差异,63,配对试验,配对方式 自身配对 同一试验单位不同时间接受前后两次处理 同一试验单位的不同部位、不同试验方法 举例：病畜治疗前后临床检查结果 同源配对 来源、性质相同 举例：同一窝猪,64,配对样本,随机配对试验资料可称为配对资料（paired-matched data），这两个样本称为配对样本（paired samples） 在随机配对设计中，由于各对试验单位间相互独立（independent），对内两个试验单位存在相互依赖（dependent），所以样本又称为相依样本（dependent samples）,65,配对试验,配对设计试验资料的一般形式,66,配对试验,公式：配对样本 t 测验的测验统计量为 df=n-1，n为配对数,67,例子,68,解,69,解,3统计推断 由df = 9,查t值表得：双侧t0.01(9) = 3.250，|t| t0.01(9)，P 0.01，否定H0：d = 0，接受HA：d 0，表明家兔注射该批注射液前后体温差异极显著，注射该批注射液可使体温极显著升高,70,SAS程序,-指出配对的变量,71,运行结果,72,学过的程序,73,两独立样本和配对设计比较,配对设计误差自由度为非配对设计（n1 = n2 = n）误差自由度的一半，使得配对设计的临界t值大于非配对设计的临界t值,74,第四节,样本频率的检验,75,原理,服从二项分布的样本百分数与已知的二项总体百分数差异是否显著 n足够大，p不过小，np和nq均大于5，可近似地采用u检验法来进行显著性检验 若np或nq小于或等于30时，应对u进行连续性矫正,76,二项分布近似正态分布条件,77,一、单个样本,频率的假设检验,78,原理,假设为： H0：p = p0，HA：p p0 根据中心极限定理，p N(p0, p0(1 p0)/n) u值的计算公式为,79,原理,当np或nq小于或等于30时，矫正u值uc的计算公式为 根据附表1或附表2，u检验的临界值分别等于1.96（ = 0.05）和2.58（ = 0.01）,80,例子,据往年调查某地区的乳牛隐性乳房炎一般为30%，现对某牛场500头乳牛进行检测，结果有175头乳牛凝集反应阳性，问该牛场的隐性乳房炎是否比往年严重？,81,82,SAS程序,83,二、两个样本,频率的假设显著性检验,84,85,例子,某养猪场第一年饲养杜长大商品仔猪9800头，死亡980头；第二年饲养杜长大商品仔猪10000头，死亡950头，试检验第一年仔猪死亡率与第二年仔猪死亡率是否有显著差异？,86,准备,87,88,SAS程序,89,第五节,总体参数的区间估计,90,概述,所谓参数估计就是用样本统计数来估计总体参数，有点估计和区间估计之分 点估计 将样本统计数直接作为总体相应参数的估计值叫点估计（point estimation） 只给出了未知参数估计值的大小 没有考虑试验误差的影响 没有指出估计的可靠程度,91,概述,区间估计(interval estimation) 在一定概率保证下指出总体参数的可能范围 所给出的可能范围叫置信区间（confidence interval, CI; confidence region） 给出的概率保证称为置信度（degree of confidence）（或置信概率，confidence