假设检验ppt课件.ppt

第七章假设检验 1 假设检验在统计方法中的地位 2 参数估计和假设检验 参数估计和假设检验是统计推断的两个组成部分 都是利用样本对总体进行某种推断 但推断的角度不同 参数估计讨论的是用样本统计量估计总体参数的方法 假设检验讨论的是用样本信息去检验对总体参数的某种假设是否成立的程序和方法 3 教学内容 第一节假设检验基本思想第二节假设检验基本步骤第三节I型错误与II型错误第四节单侧检验与双侧检验第五节假设检验需要注意的问题第六节假设检验与区间估计的联系 4 教学目标 掌握 假设检验的基本思想和基本步骤 掌握并理解I型错误与II型错误 检验效能的概念熟悉 假设检验需要注意的问题 单侧检验与双侧检验的概念和正确选择 理解假设检验与区间估计的联系 5 第一节假设检验基本思想 一 假设检验问题的提出例1已知一个暗箱中有100个白色与黑色球 不知各有多少个 现有人猜测其中有95个白色球 是否能相信他的猜测呢 他相当于提出假设 p P A 0 05 A 任取一球是黑球 6 可有两种解释 现随机从中抽出一个球 发现是黑球 怎样解释这一事实 1 他的猜测是正确的 恰抽得黑球是随机性所致 2 他的猜测错了 应接受哪一种呢 根据小概率事件原理 事件A 黑球 的发生不能不使人们怀疑他的猜测 更倾向于认为箱中白球个数不是95个 7 例2某医院用新药与常规药物治疗婴幼儿贫血 将20名贫血患儿随机等分两组 分别接受两种药物治疗 测得血红蛋白增加量 g L 见表7 1 问新药与常规药的疗效有无差别 表7 1两种药物治疗婴幼儿贫血结果治疗药物血红蛋白增加量 g L 新药组24362514263423201519常规药组14182015222421252723 8 由于事先对两种药品疗效 总体 情况一无所知 目前所关心的问题是如何根据两组样本患者治疗后血红蛋白增加量推断两种药品的疗效有无差异 可假设两组患者 总体 治疗后血红蛋白平均增加量无差异 即假设然后 利用两组样本患者治疗后血红蛋白平均增加量来检验这一假设是否正确 9 例3 根据1989年的统计资料 某地女性新生儿的平均体重为3190克 1990年从该地女性新生儿中随机抽取30人 测得其平均体重为3210克 从样本数据看 1990年女新生儿体重比1989年略高 究竟是否存在显著差异 差异产生的两种可能 假设 随机误差导致的差异 生活水平提高使孕妇营养状况改善导致新生儿体重实质性增加 利用样本信息检验假设能否成立的过程称为假设检验 10 上述案例的共同特点是 样本统计量与总体参数之间 或不同组样本统计量之间出现差异 这就提出了需要解决的问题 差异产生的原因 假设 由两种误差导致 由随机误差导致 样本来自同一总体 非本质差异不是随机误差导致 样本来自另一总体 本质差异用样本信息检验 推断 上述假设哪个正确 统计假设 假设检验 如何正确区分这两种误差 是解决问题的关键 假设检验就是处理这一类问题的一种科学方法 它所根据的原理是小概率原理 11 二 小概率原理 假设检验所依据的基本原理是小概率原理 什么是小概率 概率是0 1之间的一个数 因此小概率就是接近0的一个数 一般指概率在0 05以下的事件 著名的英国统计家RonaldFisher把20分之1作为标准 也就是0 05 从此0 05或比0 05小的概率都被认为是小概率 Fisher没有任何深奥的理由解释他为什么选择0 05 只是说他忽然想起来的 12 什么是小概率原理 小概率原理 发生概率很小的随机事件 小概率事件 在一次实验中几乎是不可能发生的 在一次试验中小概率事件一旦发生 我们就有理由拒绝原假设 根据这一原理 可以先假设总体参数的某项取值为真 也就是假设其发生的可能性很大 然后抽取一个样本进行观察 如果样本信息显示出现了与事先假设相反的结果且与原假设差别很大 则说明原来假定的小概率事件在一次实验中发生了 这是一个违背小概率原理的不合理现象 因此有理由怀疑和拒绝原假设 否则不能拒绝原假设 检验中使用的小概率由研究者在检验前事先确定 13 小概率原理举例 某工厂质检部门规定该厂产品次品率不超过4 方能出厂 今从1000件产品中抽出10件 经检验有4件次品 问这批产品是否能出厂 如果假设这批产品的次品率P 4 则可计算事件 抽10件产品有4件次品 的出现概率为 可见 概率是相当小的 1万次实验中可能出现4次 然而概率如此小的事件 在一次实验中居然发生了 这是不合理的 而不合理的根源在于假设这批产品次品率P 4 因而认为假设次品率P 4 是不能成立的 故按质检部门的规定 这批产品不能出厂 14 又例某医生测量了36名从事铅作业男性工人的血红蛋白含量 算得其均数为130 83g L 标准差为25 74g L 问从事铅作业工人的血红蛋白是否不同于正常成年男性平均值140g L 如果从事铅作业不会影响工人的血红蛋白含量 则说明样本均数130 83g L与总体均数140g L的差异是由抽样误差引起的 即 0 140g L 铅作业男性工人的平均血红蛋白含量与正常成年男性的相等 15 据此 可提出原假设 H0 0 140g L若原假设成立 事件应该是一个小概率事件 发生的概率为 现在 2 138 t0 05 2 35 2 030P 0 05 16 这说明小概率事件在一次试验中发生了 而这一事件的概率仅为0 05 即平均每20次试验才出现一次 现在我们只作了一次试验 居然就发生了 因此我们有理由怀疑假设 铅作业男性工人的平均血红蛋白含量与正常成年男性的相等 的原假设 即可认为从事铅作业会影响工人的血红蛋白含量 17 三 假设检验的基本思想 假设样本是从原总体中抽取的 在此假设下构造一个小概率事件 若假设成立 则小概率事件一般是不会发生的 但在一次抽样中 如果小概率事件居然就发生了 则有理由怀疑假设的正确性 此时拒绝接受这个假设 而一次抽样中小概率事件没有发生 则没有理由怀疑假设的正确性 于是接受这个假设 认为样本仍来源于原总体 18 假设检验的基本思想 因此我们拒绝假设 1 0 50 样本均值 m0 50 抽样分布 H0 19 假设检验的过程 20 通过上述实例可以看出 假设检验的目的是推断样本统计量之差是由于总体参数存在差异造成的 抑或是由于抽样误差造成的 假设检验的基本思想是在总体参数相等这一假设成立的前提下 计算出现等于及大于 或等于及小于 现有样本统计量的可能性 P值 如果P值很小 小于等于事先规定的一个界值 例如5 结论就是拒绝假设 总体参数相等 认为总体参数之间存在差异 如果P值大于事先规定的界值 就不能拒绝这个假设 尚不能认为总体参数之间存在差异 21 假设检验的两个特点 第一 假设检验采用逻辑上的反证法 即为了检验一个假设是否成立 首先假设它是真的 然后对样本进行观察 如果发现出现了不合理现象 则可以认为假设是不合理的 拒绝假设 否则可以认为假设是合理的 接受假设 22 第二 假设检验采用的反证法带有概率性质 所谓假设的不合理不是绝对的 而是基于实践中广泛采用的小概率事件几乎不可能发生的原则 至于事件的概率小到什么程度才算是小概率事件 并没有统一的界定标准 而是必须根据具体问题而定 如果一旦判断失误 错误地拒绝原假设会造成巨大损失 那么拒绝原假设的概率就应定的小一些 如果一旦判断失误 错误地接受原假设会造成巨大损失 那么拒绝原假设的概率就应定的大一些 23 小概率通常用 表示 又称为检验的显著性水平 通常取 0 05或 0 01 即把概率不超过0 05或0 01的事件当作小概率事件 24 第二节假设检验基本步骤 提出 建立 检验假设确定适当的检验统计量规定显著性水平 计算检验统计量的值确定P值 作出统计推断 决策 25 一 提出 建立 检验假设 检验假设分为原假设与备择假设 是根据问题的需要提出的一对对立的假设 什么是原假设 nullhypothesis 是待检验的假设 又称 零假设 无效假设 无差异假设 是研究者想收集证据予以反对的假设3 总是有等号 或 4 表示为H0H0 某一数值指定为 号 即 或 例如 H0 3190 克 26 什么是备择假设 alternativehypothesis 与原假设H0对立的假设 也称 研究假设 研究者想收集证据予以支持的假设 总是有不等号 或 备择假设的方向与想要证明其正确性的方向一致表示为H1H1 某一数值 或 某一数值例如 H0 3910 克 H1 3910 克 H0 0 H1 0 H0 0 H1 1 H0 0 H1 0 一 提出 建立 检验假设 27 原假设和备择假设的确定 1 对于总体均值是否等于某一确定值的原假设可以表示为 H0 如H0 3190克 其对应的备择假设则表示为 H1 如H1 3190克 2 对于总体均值 X是否大于某一确定值 X0的原假设可以表示为 H0 X X0 如H0 X 2000克 其对应的备择假设则表示为 H1 X X0 如H1 X 2000克 3 对于总体均值 X是否小于某一确定值 X0的原假设可以表示为 H0 X X0 如H0 X 5 其对应的备择假设则表示为 H1 X X0 如H1 X 5 注意 原假设总是有等号 或 或 28 原假设和备择假设是一个完备事件组 而且相互对立在一项假设检验中 原假设和备择假设必有一个成立 而且只有一个成立先确定备择假设 再确定原假设等号 总是放在原假设上因研究目的不同 对同一问题可能提出不同的假设 也可能得出不同的结论 提出假设 结论与建议 29 什么检验统计量 teststatistic 1 根据样本观测结果计算得到的 并据以对原假设和备择假设作出假设检验统计推断的某个样本统计量 如Z值 t值 F值 2值等 2 选择统计量的方法与参数估计相同 需考虑是大样本还是小样本总体方差已知还是未知检验统计量的基本形式为 二 确定适当的检验统计量 选择合适的检验方法 30 三 规定显著性水平 significantlevel 什么是显著性水平 1 是一个概率值 小概率事件发生的概率值 2 原假设为真时 拒绝原假设的概率被称为抽样分布的拒绝域3 表示为 alpha 常用的 值有0 01 0 05 0 104 由研究者事先确定 31 假设检验中的拒绝域和接受域 什么是拒绝域 rejectionregion 能够拒绝原假设的检验统计量的所有可能取值范围区域大小由显著性水平 决定什么是临界值 criticalvalue 根据给定的显著性水平确定的拒绝域的边界值 临界值将统计量的所有可能取值区间分为两个互不相交的部分 即原假设的拒绝域和接受域 常用的 值有0 01 0 05 0 10查表得出相应的临界值z 或z 2 t 或t 2对于正态总体 总体均值的假设检验可有如下图示 32 正态总体 总体均值假设检验图示 1 双侧检验 设H0 X X0 H1 X X0 有两个临界值 两个拒绝域 每个拒绝域的面积为 2 也称双尾检验 双侧检验示意图 X0 33 双侧检验示意图 显著性水平与拒绝域 34 双侧检验示意图 显著性水平与拒绝域 观察到的样本统计量 35 双侧检验示意图 显著性水平与拒绝域 观察到的样本统计量 36 双侧检验示意图 显著性水平与拒绝域 观察到的样本统计量 37 2 单侧检验有一个临界值 一个拒绝域 拒绝域的面积为 分为左侧检验和右侧检验两种情况 单侧检验示意图 显著性水平与拒绝域 38 左侧检验 设H0 X X0 H1 X X0 临界值和拒绝域均在左侧 也称下限检验 X0 39 左侧检验示意图 显著性水平与拒绝域 40 左侧检验示意图 显著性水平与拒绝域 观察到的样本统计量 41 右侧检验 设H0 X X0 H1 X X0 临界值和拒绝域均在右侧 也称上限检验 X0 42 右侧检验示意图 显著性水平与拒绝域 43 右侧检验示意图 显著性水平与拒绝域 观察到的样本统计量 44 四 计算检验统计量 根据选定的适宜检验方法 计算相应的检验统计量 如Z值 t值等 45 五 确定P值 作出统计推断 决策 决策规则给定显著性水平 查表得出相应的临界值z 或z 2 t 或t 2将检验统计量的值与 水平的临界值进行比较作出统计推断 决策 双侧检验 统计量 临界值 拒绝H0左侧检验 统计量 临界值 拒绝H0右侧检验 统计量 临界值 拒绝H0 46 利用P值进行决策 47 什么是P值 P value 是一个概率值如果原假设为真 P 值是抽样分布中出现大于或小于样本统计量的概率左侧检验时 P 值为曲线上方小于等于检验统计量部分的面积右侧检验时 P 值为曲线上方大于等于检验统计量部分的面积被称为观察到的 或实测的 显著性水平H0能被拒绝的最小值 48 双侧检验的P值 49 左侧检验的P值 50 右侧检验的P值 51 利用P值进行检验 决策准则 单侧检验若p 值 不拒绝H0若p 值 2 不拒绝H0若p 2 值 2 拒绝H0 52 假设检验结论的表述 假设检验的目的就在于试图找到拒绝原假设的理由 而不在于证明什么是正确的拒绝原假设时结论是清楚的例如 H0 3190 拒绝H0时 我们可以说 3190当不拒绝原假设时并非肯定原假设含义是 不否定原假设 或 保留原假设 例如 当不拒绝H0 3190 我们并未说它就是3190 但也未说它不是3190 我们只能说样本提供的证据还不足以推翻原假设 53 假设检验结论的表述 报告结果时 首先须给出检验统计量 如U值 t值 自由度 P值 然后报告是否拒绝H0 最后结合问题的具体背景给出专业结论 拒绝原假设时 表述为 差异有统计学意义 简称 有统计学意义 不拒绝H0时 表述为 差异无统计学意义 简称 无统计学意义 54 第三节I型错误与II型错误 决策风险 根据假设检验做出判断无非下述四种情况 1 原假设真实 并接受原假设 判断正确 2 原假设不真实 且拒绝原假设 判断正确 3 原假设真实 但拒绝原假设 判断错误 4 原假设不真实 却接受原假设 判断错误 55 假设检验的两类错误 假设检验是依据样本提供的信息进行判断 有犯错误的可能 所犯错误有两种类型 第一类错误是原假设H0为真时 检验结果把它当成不真而拒绝了 犯这种错误的概率用 表示 也称作 错误 error 或弃真错误 第二类错误是原假设H0不为真时 检验结果把它当成真而接受了 犯这种错误的概率用 表示 也称作 错误 error 或取伪错误 56 假设检验的两类错误正确决策和犯错误的概率可以归纳为下表 假设检验中各种可能结果的概率 57 假设检验两类错误关系的图示以单侧上限检验为例 设H0 X X0 H1 X X0 从上图可以看出 如果临界值沿水平方向右移 将变小而 变大 即若减小 错误 就会增大犯 错误的机会 如果临界值沿水平方向左移 将变大而 变小 即若减小 错误 也会增大犯 错误的机会 图 a X X0H0为真图 b X X1 X0H0为伪 58 错误和 错误的关系 在样本容量n一定的情况下 假设检验不能同时做到犯 和 两类错误的概率都很小 若减小 错误 就会增大犯 错误的机会 若减小 错误 也会增大犯 错误的机会 要使 和 同时变小只有增大样本容量 但样本容量增加要受人力 经费 时间等很多因素的限制 无限制增加样本容量就会使抽样调查失去意义 因此假设检验需要慎重考虑对两类错误进行控制的问题 59 两类错误的控制准则 假设检验中人们普遍执行同一准则 首先控制弃真错误 错误 假设检验的基本法则以 为显著性水平就体现了这一原则 两个理由 统计推断中大家都遵循统一的准则 讨论问题会比较方便 更重要的是 原假设常常是明确的 而备择假设往往是模糊的 如H0 X X0很清楚 而H1 X X0则不太清楚 是 X X0还是 X X0 大多少小多少都不清楚 对含义清晰的数量标准进行检验更容易被接受 因此 第一类错误成为控制两类错误的重点 60 第四节单侧检验与双侧检验 根据假设的形式不同 假设检验可以分为双侧假设检验 two tailedtest 和单侧假设检验 one tailedtest 若原假设是总体参数等于某一数值 如H0 X X0 即备择假设H1 X X0 那么只要 X X0和 X X0二者中有一个成立 就可以否定原假设 这种假设检验称为双侧检验 61 例如 某研究试图了解甲 乙两地7岁男童身高是否有差异 该研究只想证明 检验 这种差异是否存在 不在乎哪个地区7岁男童身高更高建立的原假设与备择假设应为H0 1 2H1 1 2 62 双侧检验示意图 显著性水平与拒绝域 63 若原假设是总体参数大于等于或小于等于某一数值 如H0 X X0 即H1 X X0 或H0 X X0 即H1 X X0 那么对于前者当 X X0时 对于后者当 X X0时 可以否定原假设 这种假设检验称为单侧检验 可以分为左侧检验和右侧检验 将研究者想收集证据予以支持的假设作为备择假设H1将研究者想收集证据证明其不正确的假设作为原假设H0先确立备择假设H1 64 例 研究表明 采用新疗法后 将会使某种癌症患者的期望寿命延长10年以上 检验这一结论是否成立研究者总是想证明自己的研究结论 寿命延长 是正确的备择假设的方向为 寿命延长 建立的原假设与备择假设应为H0 10H1 10 65 单侧检验有一个临界值 一个拒绝域 拒绝域的面积为 分为左侧检验和右侧检验两种情况 左侧检验示意图 显著性水平与拒绝域 66 右侧检验示意图 显著性水平与拒绝域 67 双侧检验与单侧检验 假设的形式 68 第五节假设检验需要注意的问题 1 要有严密的研究设计组间应均衡 具有可比性 除对比的主要因素 如临床试验用新药和对照药 外 其它可能影响结果的因素 如年龄 性别 病程 病情轻重等 在对比组间应相同或相近 69 配对设计计量资料 配对t检验 完全随机设计两样本计量资料 小样本 任一ni 60 且方差齐 两样本t检验方差不齐 近似t 检验大样本 所有ni 60 u检验 2 不同资料应选用不同检验方法 70 3 正确理解 significance 一词的含义过去称差别有或无 显著性 易造成两样本统计量之间比较相差很大的误解 现在称差别有或无 统计学意义 相应推断为 可以认为或还不能认为两个或多个总体参数有差别 71 4 结论不能绝对化因统计结论具有概率性质 故 肯定 一定 必定 等词不要使用 在报告结论时 最好列出检验统计量的值 尽量写出具体P值 而不简单写成P 0 05 以便读者与同类研究进行比较或进行循证医学时采用Meta分析 72 P 拒绝H0 不能认为H0肯定不成立 因为虽然在H0成立的条件下出现等于及大于现有统计量的概率虽小 但仍有可能出现 同理 P 不拒绝H0 更不能认为H0肯定成立 由此可见 假设检验的结论是具有概率性的 无论拒绝H0或不拒绝H0 都有可能发生错误 即第一类错误或第二类错误 73 5 统计 有意义 与医学 有意义 统计 有意义 对应统计结论 医学 有意义 对应专业结论 统计结论有意义 专业结论无意义 最终结论没有意义 样本含量过大或设计存在问题 统计结论无意义 专业结论有意义 检查设计是否合理 样本含量是否足够 74 第六节假设检验与区间估计的联系 参数估计与假设检验都是统计推断的重要内容 参数估计是根据样本统计量估计总体参数的真值 假设检验是根据样本统计量来检验对总体参数的检验假设是否成立 75 一 区间估计与假设检验的主要区别1 区间估计通常求得的是以样本估计值为中心的双侧置信区间 而假设检验以假设总体参数值为基准 不仅有双侧检验也有单侧检验 2 区间估计立足于大概率 通常以较大的把握程度 置信水平 1 去保证总体参数的置信区间 而假设检验立足于小概率 通常是给定很小的显著性水平 去检验对总体参数的先验假设是否成立 76 二 区间估计与假设检验的联系 1 区间估计与假设检验都是根据样本信息对总体参数进行推断 都是以抽样分布为理论依据 都是建立在概率基础上的推断 推断结果都有一定的可信程度或风险 2 对同一问题的参数进行推断 二者使用同一样本 同一统计量 同一分布 因而二者可以相互转换 区间估计问题可以转换成假设问题 假设问题也可以转换成区间估计问题 区间估计中的置信区间对应于假设检验中的接受区域 置信区间以外的区域就是假设检验中的拒绝域 因此 利用置信区间可以进行假设检验 77 练习 1 两样本比较时 分别取以下检验水准 哪一个的第二类错误最小A 0 05B 0 01C 0 10D 0 20E 0 022 在假设检验中 P值和的关系为A P值越大 值就越大B P值越大 值就越小C P值和值均可由研究者事先设定D P值和值都不可以由研究者事先设定E P值的大小与值的大小无关 78 3 假设检验中的第二类错误是指A 拒绝了实际上成立的H0B 不拒绝实际上成立的H0C 拒绝了实际上成立的H1D 不拒绝实际上不成立的H0E 拒绝时所犯的错误4 统计推断的内容是A 用样本指标推断总体指标B 检验统计上的 假设 C A B均不是D A B均是 79 是非题 1 进行两均数差别的假设检验时 当P 0 05时 则拒绝H0 当P 0 05时 则接受H0 认为两总体均数无差别 答案 错误 当P 0 05 拒绝H0时 我们是依据 这一小概率来下结论的 而当P 0 05时 我们对两总体均数无差别这一结论无任何概率保证 因此不能贸然下无差别的结论 正确的说法是 按所取检验水准 接受H1的统计证据不足 或尚不能认为两总体均数有差别 80 2 通常单侧检验较双侧检验更为灵敏 更易检验出差别 应此宜广泛使用 答案 错误 根据专业知识推断两个总体是否有差别时 是甲高于乙 还是乙高于甲 当两种可能都存在时 一般选双侧 若根据专业知识 如果甲不会低于乙 或者研究者仅关心其中一种可能时 可选用单侧 一般来讲 双侧检验较为稳妥 单侧检验 应以专业知识为依据 它充分利用了另一侧的不可能性 故检出率高 但应慎用 81 3 只要增加样本含量到足够大 就可以避免I和I