统计学概念和方法-第7章.ppt

第七章假设检验 数学与信息科学学院王坤TELellowang 统计学概念和方法 主要内容 作为一个问题的假设 备择假设 回答假设时的错误怎样回答零假设所提出的问题 p值假设检验的机制拒绝或接受零假设显著水平双边检验假设检验和构造置信区间不拒绝零假设意味着什么Excel2007在假设检验方面提供的功能小结问题 统计推断包括估计和假设检验 估计的任务是根据样本寻找总体参数值及其范围 那么 这样估计的把握性有多大呢 假设检验的兴趣是对任意一个有关未知分布的假设 假设检验又分为参数检验和非参数检验 参数检验考虑总体参数是否等于某个特定的值 非参数检验是考虑利用子样拟合总体分布 本章只介绍参数检验 例1988年7月28日的纽约时报上刊登了一篇关于人们地理知识的文章 这篇文章描述了一个调查公司的研究结果 研究者们从一些国家抽取许多成年人并请他们鉴别在一个地图上的16个地方 然后把每个人答对的个数加起来 四个国家的样本中答对的个数的均值为美国6 9墨西哥8 2英国9 0法国9 2上述结果是一个样本均值的情况 可以轻易获得样本均值差 那么 总体均值是否有差异呢 7 1作为一个问题的假设 在上述问题中 来自墨西哥和美国的总体均值差异是否为零 零假设 原假设 墨西哥与美国的样本均值差为8 2 6 8 1 3 这个值是否超出样本抽样随机性解释范围 为此 我们可以假设总体均值相等 即两个总体的均值之差为零 这就是统计学中的零假设 nullhypothesis 在这个例子里 零假设就是问这两个总体均值之差是否等于零 记 m为墨西哥的总体均值 u为美国的总体均值 那么零假设可以写成 H0 m u 0H代表假设 下标0表明是零假设 零 的意思是假设内容的差异为零 注 希腊字母代表总体参数 零假设就是提出一个参数是否等于某一个特殊值 形式上 零假设写成 H0 参数 值 备择假设 零假设逻辑上的反面假设是 两个参数的差异不为零 这种反面假设称为备择假设 alternativehypothesis 上述例子中 备择假设为 H1 m u 0显然 零假设H0与备择假设H1不相容 如果样本数据能证明零假设提出的问题应该否定 那么我们就拒绝零假设H0 而倾向于备择假设H1 回答假设时的错误 零假设的问题有两个答案 是 或者 不是 但由于样本所携带的信息是来自样本而不是总体 其信息量会受到限制 就有可能提供错误答案 犯两类错误的概率当然是越小越好 但是当样本容量n固定时 不能同时都小 即 变小时 就变大 而 变小时 就变大 只有当样本容量n增大时 才有可能使两者同时变小 在实际应用中 人们常遵循Neyman Pearson原则 在控制犯第一类错误的概率 的条件下 寻找拒绝域 或检验法则 使得犯第二类错误的概率 达到最小 不过 基于Neyman Pearson原则的最优检验不一定存在 思考 一个人因为杀人而受审理 他实际上是有罪的 但法官确认他为无罪 这里零假设是 一个人是无罪的除非你能证明他有罪 则此案中 法官犯的是第一类错误还是第二类错误 法官犯另外一类错误的情形是怎样的 7 2怎样回答零假设所提出的问题 为了确定1 3这么大的差异是否属于一类不常见的数据集合 我们计算当总体差别为零时 得到一个大于等于1 3的样本均值之差的概率 这个概率称为p值 当p值很小 以至于几乎不可能在零假设正确时出现目前的样本数据时 我们就拒绝零假设 p值越小 拒绝零假设的理由就越充分 著名统计学家R Fisher把0 05作为标准 即0 05或者比0 05小的概率被认为是小概率事件 p值 p值 pvalue 就是当原假设H0为真时所得到的样本观察结果或更极端结果出现的概率 如果p值很小 说明这种情况的发生的概率很小 而如果出现了 根据小概率原理 我们就有理由拒绝原假设 p值越小 我们拒绝原假设的理由越充分 总之 p值越小 表明结果越显著 通常 如果p值0 05 说明结果更倾向于接受假定H0 这里的0 05称为显著水平 假设检验的机制 为了求得p值 我们需要把观测到的样本均值之差转换为t 4 25 这个过程好比把华氏度转换为摄氏度 这里美国的样本包含了1600个观测 墨西哥的样本有1200个观测 这个例子里 对于观测数大于2000的样本来说 t值大于等于4 25的概率是0 00001 即样本均值之差大于等于1 3的概率为0 00001 这个结果是非常非常显著的 注 正态分布N 2 自由度为10的t 分布 拒绝或接受零假设 刚才计算得到的p 0 00001是一个非常非常小的概率 对此情况有两种解释 1 零假设是正确的 但观测到的数据恰好是不常发生的那一类 2 观测到的数据是常见的那一类 那么零假设就是错误的 由于总体均值相等时样本均值有1 3的概率为p 0 00001 所以我们选择第二种解释 拒绝H0 即认为两个总体均值差异不是零 7 3显著水平 在收集数据之前 统计学家已经根据预定的小概率确定好一个区间 拒绝域 这个小概率称为检验的显著水平 significantlevel 通常选0 05 这个显著水平通常认为是一个合理的风险 显著水平为0 05的意思是 在零假设正确的情况下进行100次抽样 会有5次错误地拒绝零假设 显著水平是允许犯第一类错误的最大概率 显著水平是允许犯第一类错误的最大概率 双边检验 正态分布和t分布是对称的 上述例子中 备择假设为 H1 m u 0上式中不等于零的意思可以理解为大于零或者小于零 即否定域分配到抽样分布的两端故称为双边检验 备择假设也可改为H1 m u 0这表示墨西哥人的人均水平不低于美国的人均水平 这是一个单边假设 通常可以用数学方法根据显著水平 得到单边假设的拒绝域 正态总体均值检验 0 1 各种检验 7 6假设检验和构造置信区间 二者都是与样本数据为基础 做出关于参数值的结论 设置信区间的范围是从L到U 若果零假设中相关的参数值在L和U之间 那么我们不拒绝零假设 如果参数值在这个区间之外 则拒绝零假设 置信区间比假设检验提供更多的信息 因为它给了我们参数值的可能取值范围 而假设检验只考虑了一个可能的参数值 如果总体参数值不等于这个值 那么我们就不知道它是多少了 7 7统计显著和实际显著 在一些实际问题场合中 统计显著性可能是微不足道或者是没有意义 一个统计显著的结果在实际中并不一定是一个显著结果 在大样本中 大多数结果都是统计显著地 一个结果在实际中显著与否只有在研究清楚了来龙去脉后才能下结论 例如 两个样本均值相差0 1 并且零假设被拒绝 统计显著 按说我们得承认总体均值有差异 但如果总体数量很大 一些实际问题中 我们认为实际不显著 关于合作性与竞争性的心理测试一个心理学家正在研究对一项工作如何能有效地使一群人在他们的工作策略上进行合作或者竞争 在观测了8组人群后 有7组人群被划为合作类 心理学家想知道这一现象是随机的还是和工作本身有关 记 为一群人合作的概率 如果是随机现象 那么 0 5 且服从二项分布 于是建立假设 H0 0 5套用二项分布公式 0 0312即p值 0 0312 这个p值大于0 05 2 0 025这个双边假设的检验标准 所以接受H0 即每一组合作与否可能完全有运气决定 与工作本身无关 不拒绝零假设意味着什么 P值大于 的时候 结论到底是什么呢 最早提出这个问题的是 E 皮尔逊问耶日 奈曼 在检验一组数据是否为正态分布时 如果没能得到一个显著性的P值 那么怎样才能看这组数据是正态分布的呢 费歇尔其实已经间接地回答了这个问题 费歇尔把比较大的P值 代表没有找到显著性证据 解释为 根据该组数据不能做出充分的判断 这里引用费歇尔的原话 相信一个假设已经被证明是真的 仅仅是由于该假设与已知的事实没有发生相互矛盾 这种逻辑上的误解 在统计推断上是缺乏坚实根基的 在其它类型的科学推理中也是如此 当显著性检验被准确使用时 只要显著性检验与数据相矛盾 这个显著性检验就能够拒绝或否定这些假设 但该显著性检验永远不能确认这些假设一定是真的 所以假设检验的目的在于试图找到证据拒绝原假设 而不在于证明什么是正确的 当没有足够证据拒绝原假设时 不采用 接受原假设 的表述 而采用 不拒绝原假设 的表述 不拒绝 的表述实际上意味着并未给出明确的结论 我们没有说原假设正确 也没有说它不正确 Excel2007在假设检验方面提供的功能 成对观测值t检验 方差相等的双样本t检验 方差不等的双样本t检验 两均值差的z检验 双样本差的F检验 卡方检验 方法 在表格区里录入两组数据后 点 数据 数据分析 按提示进行傻瓜式操作即可 Excel2003也可进行假设检验 工具 加载宏 数据分析 小结 零假设说参数等于某个值 名称的来历是说参数值的变化或者差异为零 备择假设是零假设逻辑上的反面假设 通常描述的是两个参数的差别 第一类错误和第二类错误 P值是在零假设为真 即参数等于某个值 时观测到的或比它更极端的数据的概率 它给出了在多次抽样中能得到某种数据的机会的大小 它不是零假设为真的概率 如果p值非常小 一般小于0 05或者0 025 就拒绝零假设 当一个零假设被拒绝时 我们可以说样本结果是统计显著的 根据不同的问题 样本值须转换为t值 F值 x2值 然后查相应的t分布 F分布 x2分布表 以得到p值 问题 1统计显著是什么意思 样本数据导致拒绝零假设 2 什么是零假设 零假设与备择假设有什么不同 二者如何表示 零假设是某个参数是否等于一个特定的值 而备择假设是问 参数是否等于所有没有在零假设中限定的值 H0和H1 3 一般来说 如果样本均值与零假设中所设的总体均值相差很大 是否应该拒绝零假设 当样本统计量与零假设中限定的值相差很大时 我们拒绝零假设 4 p值能告诉我们什么信息 显著水平与p值有和区别 p值表示 当零假设为真时 从总体得到数据时的概率 显著水平是事先设定的一个非常小的概率 而p值是由样本统计量计算出来的 5 最常用的显著水平是多大 0 056 根据粗略的统计原则 下列p值中哪些能导致拒绝零假设 哪些不能 哪些不好说 p 0 50p 0 25p 0 001p 0 10p 0 05p 0 0257 在日常生活中 p值等于0 50表示什么意思 在给定零假设的情况下 获得现有数据或者更为极端的数据的概率为0 50 8零假设的 零 是什么意思 假设 里面的两个总体间的参数差异为零 9某英语培训学校对教学方法的改进做了一个实验 在同一门课程中 将18名学生等分成A组和B组分别采用新旧两种方法教学 然后对两组学生进行测试 得到A组学生成绩均值为87 65 B组学生成绩均值为87 61 假设两组学生近似正态且方差相等 那么如何说明新旧两种方法不同呢 做假设检验 H0 A BH1 A B 10在一项口味偏好的研究中 随机抽取了200个饮料消费者 调查