《数据科学统计基础（第二版）》 课件 第三章 假设检验

数理统计中国人民大学统计学院第3章假设检验3.1假设检验的概念与步骤3.2正态总体参数和比率的检验3.3广义似然比检验3.4分布的检验3.5大规模假设检验与FDR3.6与本章相关的R语言操作假设检验的概念与步骤PART3.13.1假设检验的概念与步骤3.1.1假设检验问题例3.1.1

3.1假设检验的概念与步骤3.1.2假设检验的步骤一般假设检验问题需要建立两个假设：1.建立假设其中原假设H0（也称为零假设）是我们要检验的假设，在这里H0的含义是“与设计值一致”或“当日生产正常”。备择假设H1是在原假设被拒绝时应该正确的假设。

3.1假设检验的概念与步骤3.1.2假设检验的步骤1.建立假设

还可以建立如下两对假设：备择假设的设置有多种选择，需根据实际情况确定。其“名称”由备择假设位置而定。3.1假设检验的概念与步骤3.1.2假设检验的步骤1.建立假设

3.1假设检验的概念与步骤3.1.2假设检验的步骤

2.选择检验统计量，确定拒绝域形式

3.1假设检验的概念与步骤3.1.2假设检验的步骤2.选择检验统计量，确定拒绝域形式

3.1假设检验的概念与步骤3.1.2假设检验的步骤在假设检验中可能犯的错误有如下两类：

拒真错误取伪错误3.1假设检验的概念与步骤3.1.2假设检验的步骤

3.1假设检验的概念与步骤3.1.2假设检验的步骤

表3.1.1统计判断所犯的两类错误3.1假设检验的概念与步骤3.1.2假设检验的步骤

一般理论研究表明：在固定样本量n下，要减小α必导致β增大，在固定样本量n下，要减小β必导致α增大。要使α与β皆小，只有不断增大样本量n才能实现，这在实际中常不可行。

定义3.1.13.1假设检验的概念与步骤3.1.2假设检验的步骤

3.1假设检验的概念与步骤3.1.2假设检验的步骤

3.1假设检验的概念与步骤3.1.2假设检验的步骤4.基于拒绝域的判断方法

3.1假设检验的概念与步骤3.1.2假设检验的步骤4.基于拒绝域的判断方法

定义3.1.23.1假设检验的概念与步骤3.1.2假设检验的步骤

5.基于p值的判断方法3.1假设检验的概念与步骤3.1.2假设检验的步骤5.基于p值的判断方法新判断法则与原判断法则(基于拒绝域作判断)是等价的.新判断法则跳过了拒绝域(回避了构造拒绝域的过程),简化了判断过程,但要计算检验的p值.任一检验问题的p值都可用相应检验统计量的分布算得.p值依赖于样本.当样本变了,p也会改变,要重新计算.3.1假设检验的概念与步骤3.1.2假设检验的步骤对于例3.1.1,可以算得p值是0.0124,在0.05的显著性水平下，我们拒绝原假设。

5.基于p值的判断方法3.1假设检验的概念与步骤3.1.2假设检验的步骤5.基于p值的判断方法

倘若n由25减少到9，这时比值|u|=1.50<1.96，不能拒绝H0。

定义3.1.33.1假设检验的概念与步骤3.1.3势函数

3.1假设检验的概念与步骤3.1.3势函数

3.2正态总体参数和比率的检验

绝大多数时候，方差是未知的,不能再用u作检验统计量。3.2正态总体参数和比率的检验

关于正态总体均值检验的有关结果列在表3.2.1中。

3.2正态总体参数和比率的检验

表3.2.1正态总体均值的假设检验

检验法条件检验统计量P值3.2正态总体参数和比率的检验3.2.2其他正态总体参数的检验

检验检验统计量P值3.2正态总体参数和比率的检验3.2.2其他正态总体参数的检验表3.2.3两个独立正态总体均值差的检验两个独立正态总体均值差的检验总结见表3.2.3。检验法条件检验统计量P值3.2正态总体参数和比率的检验3.2.2其他正态总体参数的检验检验法条件检验统计量P值两个独立正态总体均值差的检验总结见表3.2.3。表3.2.3两个独立正态总体均值差的检验3.2正态总体参数和比率的检验3.2.2其他正态总体参数的检验

检验检验统计量P值3.2正态总体参数和比率的检验例3.2.1为比较两种谷物种子A与B的平均产量的高低，特选取10块土地，每块按面积均分为两小块分别种植A与B两种种子。生长期间的施肥等田间管理在20小块土地上都一样，表3.2.5列出各小块土地上的单位产量。3.2.3成对数据的t检验表3.2.5种子A与B的单位产量土地号123456789102335294239293734352830393540383436334131-7-4-621-511-6-3样本均值样本方差

解3.2正态总体参数和比率的检验3.2.3成对数据的t检验初看起来，这个问题可以归结为在单位产量服从正态分布的前提下，对两个正态均值是否相等进行判断。因两正态方差未知且不知是否相等，故应用t化统计量。可以计算p值是0.25，在0.05显著性水平下，不能拒绝H0上述结果值得讨论，t化统计量中的方差既包含种子的差异，又包含10块土地的差异。为使人信服，必须设法从数据分析中排除土质差异的影响。3.2正态总体参数和比率的检验3.2.3成对数据的t检验

把双总体与双样本在成对数据场合转化为单总体单样本问题。p值为0.0435，应拒绝H0。

不成对收集：两总体常处于独立状态，常用双样本t检验，其检验统计量如式(3.2.1)所示。在需要对两正态均值进行比较时，数据收集有两种方式：3.2正态总体参数和比率的检验3.2.3成对数据的t检验成对收集：两总体常呈较强的正相关状态，常用单样本t检验，其检验统计量如式(3.2.4)所示。

为方便比较,设两样本量相等，即n=m。首先，注意到3.2正态总体参数和比率的检验3.2.3成对数据的t检验这表明两个t检验统计量式(3.2.1)与式(3.2.4)的分子是相同的。另外，

3.2正态总体参数和比率的检验3.2.3成对数据的t检验

3.2正态总体参数和比率的检验3.2.3成对数据的t检验个体差异较大时常用成对数据收集法，即在一个个体上先后作两种不同处理，收集成对数据。在个体差异较小且施行两种处理结果相关性也小时，可用独立样本采集方法（不成对数据收集方法）。这样的方法可提高数据使用效率。实际中如何选择没有一般答案，根据实际情况决定，譬如：3.2.4比率的检验比率是指特定的一组个体（人或物等）在总体中所占的比例，如不合格品率、命中率、电视节目收视率、男婴出生率、色盲率、某年龄段的死亡率、某项政策的支持率等。比率p是在实际中常遇到的一种参数。比率p可看做某二点分布b(1,p)中的一个参数，若X∼b(1,p)，则X仅可能取0或1两个值，且E(X)=p，Var(X)=p(1−p)。3.2正态总体参数和比率的检验3.2.4比率的检验

3.2正态总体参数和比率的检验

3.2.4比率的检验在样本量n给定时，样本之和(即累计频数)服从二项分布，即

3.2正态总体参数和比率的检验

3.2.4比率的检验3.2正态总体参数和比率的检验

3.2.4比率的推断3.2正态总体参数和比率的检验这样就把检验统计量T转化为检验统计量u。由于u与T是同增同减的量，当用u代替T时，三个检验问题的拒绝域形式不变。

两个比率差的大样本检验3.2.4比率的检验3.2正态总体参数和比率的检验

两个比率差的检验问题常有如下三种形式：3.2.4比率的检验3.2正态总体参数和比率的检验

给出估价。

3.2.4比率的检验3.2正态总体参数和比率的检验

3.2.4比率的检验3.2正态总体参数和比率的检验

3.2正态总体参数和比率的检验3.2.5控制犯两类错误的概率，确定样本量

3.2正态总体参数和比率的检验3.2.5控制犯两类错误的概率，确定样本量在原假设~$H_0$为真时,所用检验统计量为~$u$,且

3.2正态总体参数和比率的检验3.2.5控制犯两类错误的概率，确定样本量在原假设~$H_0$为真时,所用检验统计量为~$u$,且

3.2正态总体参数和比率的检验3.2.5控制犯两类错误的概率，确定样本量在原假设~$H_0$为真时,所用检验统计量为~$u$,且

3.2正态总体参数和比率的检验3.2.5控制犯两类错误的概率，确定样本量在原假设~$H_0$为真时,所用检验统计量为~$u$,且

3.2正态总体参数和比率的检验3.2.5控制犯两类错误的概率，确定样本量在原假设~$H_0$为真时,所用检验统计量为~$u$,且

3.2正态总体参数和比率的检验3.2.5控制犯两类错误的概率，确定样本量例3.2.2

3.2正态总体参数和比率的检验3.2.5控制犯两类错误的概率，确定样本量例3.2.2

3.2正态总体参数和比率的检验3.2.5控制犯两类错误的概率，确定样本量例3.2.2

1.置信区间与假设检验的对偶性3.2正态总体参数和比率的检验3.2.6几个说明一个被拒绝的原假设意味着有统计显著性，但未必意味着都有实际显著性。2.注意区别统计显著性与实际显著性3.2正态总体参数和比率的检验3.2.6几个说明

3.显著性水平与P值

在有些领域，p值成了门槛。这种偏见导致了抽屉现象，统计结果显著的文章更容易出版，而同样重要的非显著结果则被锁在抽屉里，别人永远无法看到。针对过分强调p值的情况，美国统计学会（ASA）发布了一个关于统计意义和p值的声明，提出了6条使用p值的原则。3.2正态总体参数和比率的检验3.2.6几个说明p值可以表示数据与一个特定的统计模型是否相容。p值不能代表假设为真的概率，也不能代表数据完全是由随机因素造成的概率。科研结论、商业决定和政策制定不能完全凭p值是否小于一个特定的值来决定。正确的推理需要全面的报告和透明度。3.2正态总体参数和比率的检验3.2.6几个说明一个p值，或者显著性，不能表示一个效应的大小，或者一个结果的重要性。p值本身不能作为判断一个模型或者假说的良好度量。关键的一点是，我们在使用统计方法时，不要人为事先预设立场，希望得到哪个“好”的结果，不希望哪个“不好”的结果出现等。方法要科学使用，结果要客观对待。而且注意统计方法都是在概率意义下保证结果的准确性，对于一次结果不能过分解读，要搞清楚其不确定性。3.2正态总体参数和比率的检验3.2.6几个说明

3.3.1广义似然比检验简介3.3广义似然比检验

3.3.1广义似然比检验简介3.3广义似然比检验

3.3.1广义似然比检验简介3.3广义似然比检验

3.3.1广义似然比检验简介3.3广义似然比检验

3.3.1广义似然比检验简介3.3广义似然比检验

例3.3.13.3广义似然比检验3.3.1广义似然比检验简介

这是因为~$L(\lambda;{\bmX})$是~$\lambda\in\R}$上的先增后减函数,在{\overline{X}}}$处取到最大值.~$L$在~$\Theta_0$上的极大值依赖于~$\lambda_0$与~${\}{\overline{X}}}$处取到最大值.~$L$在~$\Theta_0$上的极大值依赖于~$\lambda_0$与~${\}{\overline{X}}}$的大小关系.X}}}$的大小关系.

3.3.1广义似然比检验简介3.3广义似然比检验

这是因为~$L(\lambda;{\bmX})$是~$\lambda\in\R}$上的先增后减函数,在{\overline{X}}}$处取到最大值.~$L$在~$\Theta_0$上的极大值依赖于~$\lambda_0$与~${\}{\overline{X}}}$处取到最大值.~$L$在~$\Theta_0$上的极大值依赖于~$\lambda_0$与~${\}{\overline{X}}}$的大小关系.X}}}$的大小关系.

3.3.1广义似然比检验简介3.3广义似然比检验

这是因为~$L(\lambda;{\bmX})$是~$\lambda\in\R}$上的先增后减函数,在{\overline{X}}}$处取到最大值.~$L$在~$\Theta_0$上的极大值依赖于~$\lambda_0$与~${\}{\overline{X}}}$处取到最大值.~$L$在~$\Theta_0$上的极大值依赖于~$\lambda_0$与~${\}{\overline{X}}}$的大小关系.X}}}$的大小关系.

3.3.1广义似然比检验简介3.3广义似然比检验这是因为~$L(\lambda;{\bmX})$是~$\lambda\in\R}$上的先增后减函数,在{\overline{X}}}$处取到最大值.~$L$在~$\Theta_0$上的极大值依赖于~$\lambda_0$与~${\}{\overline{X}}}$处取到最大值.~$L$在~$\Theta_0$上的极大值依赖于~$\lambda_0$与~${\}{\overline{X}}}$的大小关系.X}}}$的大小关系.

3.3.1广义似然比检验简介3.3广义似然比检验这是因为~$L(\lambda;{\bmX})$是~$\lambda\in\R}$上的先增后减函数,在{\overline{X}}}$处取到最大值.~$L$在~$\Theta_0$上的极大值依赖于~$\lambda_0$与~${\}{\overline{X}}}$处取到最大值.~$L$在~$\Theta_0$上的极大值依赖于~$\lambda_0$与~${\}{\overline{X}}}$的大小关系.X}}}$的大小关系.

3.3.1广义似然比检验简介3.3广义似然比检验

例3.3.23.3广义似然比检验3.3.1广义似然比检验简介

这是因为~$L(\lambda;{\bmX})$是~$\lambda\in\R}$上的先增后减函数,在{\overline{X}}}$处取到最大值.~$L$在~$\Theta_0$上的极大值依赖于~$\lambda_0$与~${\}{\overline{X}}}$处取到最大值.~$L$在~$\Theta_0$上的极大值依赖于~$\lambda_0$与~${\}{\overline{X}}}$的大小关系.X}}}$的大小关系.

3.3.1广义似然比检验简介3.3广义似然比检验这是因为~$L(\lambda;{\bmX})$是~$\lambda\in\R}$上的先增后减函数,在{\overline{X}}}$处取到最大值.~$L$在~$\Theta_0$上的极大值依赖于~$\lambda_0$与~${\}{\overline{X}}}$处取到最大值.~$L$在~$\Theta_0$上的极大值依赖于~$\lambda_0$与~${\}{\overline{X}}}$的大小关系.X}}}$的大小关系.

3.3.1广义似然比检验简介3.3广义似然比检验

3.3.2区分两个分布的广义似然比检验3.3广义似然比检验

3.3.2区分两个分布的广义似然比检验3.3广义似然比检验

3.3.2区分两个分布的广义似然比检验3.3广义似然比检验

例3.3.33.3广义似然比检验3.3.1广义似然比检验简介

例3.3.33.3广义似然比检验3.3.1广义似然比检验简介

例3.3.33.3广义似然比检验3.3.1广义似然比检验简介

例3.3.33.3广义似然比检验3.3.1广义似然比检验简介

例3.3.33.3广义似然比检验3.3.1广义似然比检验简介

例3.3.33.3广义似然比检验3.3.1广义似然比检验简介

例3.3.33.3广义似然比检验3.3.1广义似然比检验简介

3.4分布的检验

3.4分布的检验

1.总体可分为有限类，但其分布不含未知参数

例3.3.1

3.4分布的检验

1.总体可分为有限类，但其分布不含未知参数

3.4分布的检验

1.总体可分为有限类，但其分布不含未知参数3.4分布的检验

1.总体可分为有限类，但其分布不含未知参数ri=1

ri=1（3.4.2）3.4分布的检验

1.总体可分为有限类，但其分布不含未知参数定理3.4.1

3.4分布的检验

1.总体可分为有限类，但其分布不含未知参数ri=1ri=1ri=1例3.4.1（续）

3.4分布的检验

1.总体可分为有限类，但其分布不含未知参数例3.4.1（续）

3.4分布的检验

1.总体可分为有限类，但其分布不含未知参数例3.4.2

3.4分布的检验

2.总体可分为有限类，但其分布含未知参数通过的汽车数量012345678910114215172611982312表3.3.115秒内通过某交叉路口的汽车数定理3.4.2

3.4分布的检验

2.总体可分为有限类，但其分布含未知参数ri=1ri=1ri=13.4分布的检验

2.总体可分为有限类，但其分布含未知参数

3.4分布的检验

2.总体可分为有限类，但其分布含未知参数

3.4分布的检验

2.总体可分为有限类，但其分布含未知参数

研究某药物对某种疾病的疗效是否与患者的年龄有关，特设计了一项试验，收集了患此种疾病的300名患者连续服此药物一个月，并按两种方式（疗效和年龄）把300名患者进行分类。疗效分“显著”、“一般”和“较差”三级。按年龄分儿童（15岁以下）、中青年（16∼55岁）和老年（56岁以上）

三组。试验结果汇总于表3.3.2中。3.4分布的检验

3.列联表中的独立性检验3.4分布的检验

3.列联表中的独立性检验年龄疗效儿童中青年老年行和显著583832128一般284445117较差23181455列和10910091300表3.4.2患者按三种方式分类的列联表要研究的问题是：该药物的疗效与年龄是有关还是独立?

3.4分布的检验

3.列联表中的独立性检验行和列和n

3.4分布的检验

3.列联表中的独立性检验ri=1ri=1cj=1cj=1ri=1cj=1

3.4分布的检验

3.列联表中的独立性检验

3.4分布的检验

3.列联表中的独立性检验

3.4分布的检验

3.列联表中的独立性检验

3.4分布的检验

3.列联表中的独立性检验

3.4分布的检验

3.列联表中的独立性检验

3.4分布的检验

3.列联表中的独立性检验

3.4分布的检验

3.列联表中的独立性检验对一个样本是否来自正态分布的检验称为正态性检验。由于正态分布的重要性，吸引很多统计学家参与正态性检验的研究，先后提出几十种正态性检验的定量方法，经过国内外多人多次用随机模拟方法对它们进行比较，筛选出如下两种正态性检验：3.4分布的检验3.4.2连续分布的检验1.正态性检验夏皮洛威尔克(Shapiro-Wilk)检验(8≤n≤50)爱泼斯普利(Epps-Pully)检验(n≥8)

3.4分布的检验1.正态性检验3.4.2连续分布的检验3.4分布的检验1.正态性检验

3.4.2连续分布的检验3.4分布的检验1.正态性检验

3.4.2连续分布的检验

3.4分布的检验1.正态性检验3.4.2连续分布的检验

3.4分布的检验1.正态性检验ni=1ni=13.4.2连续分布的检验

3.4分布的检验1.正态性检验3.4.2连续分布的检验

3.4分布的检验1.正态性检验3.4.2连续分布的检验3.4分布的检验1.正态性检验

3.4.2连续分布的检验

3.4分布的检验1.正态性检验3.4.2连续分布的检验

3.4分布的检验1.正态性检验3.4.2连续分布的检验例3.4.4

3.4分布的检验1.正态性检验3.4.2连续分布的检验例3.4.4

3.4分布的检验1.正态性检验3.4.2连续分布的检验3.4分布的检验2.柯莫哥洛夫检验

ni=13.4.2连续分布