实验设计与数据分析-3假设检验.ppt

1、1,实验设计与数据分析,城环学院硕士课程 03 授课人：阳春,Experimental Design and Data Analysis,2,假设检验,Hypothesis Testing,假设是对总体参数的一个假定. 如总体均值和偏差 在分析前参数必须加以确定,什么是假设检验?,陈述即将被检验的假设，如：A班的平均级点至少为 3.0 (H0: m 3.0) 首先假定零假设为真(与法庭上先暂定无罪后用证据证明有罪相似) 通常包含等号 可能或可能不被推翻,零假设Null hypothesis：H0,是零假设的对立面 如：A班的平均级点小于 3.0 (H1: m 3.0)； 挑战零假设； 不包含等

2、号； 可能或可能不被接受； 备择假设通常是研究人员认为是成立的假设。,备择假设 Alternative hypothesis: H1,陈述零假设(H0: m 3.0) 陈述对立面的备择假设(H1: m 3.0)，通常首先开始构成替代假设较为容易； 利用构成的统计变量(t, F,)在选定的显著性水平下进行判断： 统计变量在拒绝域则拒绝领假设，接受备择假设； 统计变量不在拒绝域则接受领假设，拒绝备择假设；,假设检验的基本步骤,总体,假设总体的平均年龄是50岁 （零假设）,拒绝,样本均值是20岁,样本,零假设,假设检验的过程,No, not likely!,总体的平均年龄不是50岁 （ 备择假设）,

3、需基于统计学分析,样本均值,= 50,取样分布,我们不太可能得到这个样本均值 .,. 如果实际上总体均值是这个值,. 所以我们拒绝了零假设 m = 50.,20,H0,拒绝零假设的理由,表示如果零假设成立时统计参量不可能的取值概率 也被称为取样分布的拒绝域 零假设成立时被拒绝的概率 a 的取值 典型取值有 0.01, 0.05和0.10 由研究者在进行假设检验之前选定 为检验提供判断的临界值(critical values),显著性水平 a (level of significance),将样本统计参数 (如 ) 换算为检验统计参数, 如 Z, t 或 F-统计参数 将检验统计参数与表中查得的

4、临界值（在一定显著性水平下）进行比较 如果检验统计参数值在拒绝域内就拒绝零假设H0; 否则不拒绝零假设 H0,检验统计参数的临界值,显著性水平a 和临界值 critical values,H0: m 3 H1: m 3,0,0,0,H0: m 3 H1: m 3,H0: m = 3 H1: m 3,a,a,a/2,临界值,rejection regions,Z,0,a,拒绝 H0,Z,0,拒绝 H0,a,H0: m 0 H1: m 0,H0: m 0 H1: m 0,必须显著地小于 m = 0,拒绝域,假设 H0 成立条件下获得比实际样本值更极端( 或 )的检验统计参数的概率（恰好在拒绝域还是

5、远离拒绝域？）。 称为观察显著性observed LoS H0 被拒绝的最小显著性水平。 用于是否拒绝的决策 若 p 值 a, 不拒绝 H0 若 p 值 a, 拒绝 H0,p 值检验,Z,0,a,P,拒绝 H0的最小LoS,14,关于p 值,P值是如果H0为真，抽样会造成如同观测到的或者更大的差异的概率。 即P值越大H0为真的概率越高，差异越不明显。 P值是接受H0 且H0为真的概率。 P值是拒绝H0 的最小显著性水平。 P值是拒绝H0 的最小犯错概率。 即P值越大差异越不明显， H0为真概率高。 P值高差异不显著接受H0 （如果p 值 a ） P值低差异显著 接受H1 （如果p 值 a ）,

6、第一类错误Type I Error 拒绝真 H0 (弃真)的概率 第一类错误的概率是 (显著性水平)， 置信度： 1- (接受真 H0的概率) 纳真（1-）， 弃真 第二类错误Type II Error 不拒绝 (接受) 假 H0 (存伪)的概率 第二类错误的概率是 势(把握度) Power: 1- (拒绝假 H0的概率) 拒伪（1-），存伪,决策中的错误Errors in Making Decisions,H0: Innocent,结果的可能性result possibilities,a,b,减小一种错误的概率，另一种错误的概率就增加！,a H1: m m0 (双侧t-检验) H0: m m

7、0 ; H1: m m0 (单侧t-检验),平均值与标准值比较的单侧(one-tail) t-检验,是否一盒Cereal-Os 包含大于 368 g 的谷物? 随机调查了36 盒，得到平均 含量 = 372.5 g, 样本标准差S = 15，在 a=0.01的显著性水平下检验。,368 gm.,H0: m 368 H1: m 368,s 未知,30,t t0.01，35=2.43，接受H0，盒内谷物份量不足。,31,样本数量的确定-单侧t分布的应用,利用单侧t分布的表达式： 样本数量 才能够获得1-的置信度，同时也可以通过增大样本数降低第二类错误 为检测分析的精度 若样本方差已知为0.5mg/

8、L，分析精度0.2mg/L，置信度95%，则样本数需要25-30。,32,33,两个样本平均值比较的t-检验,从正态总体中取样N(,) 假设：,34,35,用样本均值去推测总体均值 两个样本均值之差是： 推测的做出是通过比较样本均值差和公共标准差 : 样本均值差 公共标准差 统计变量:,两个样本 t-检验的原理,36,两个样本 t-检验的原理,用样本标准差去代替总体标准差 两个样本均来自一个正态总体： 是公共方差的无偏估计,37,两个样本 t-检验的原理,t0 是 “距离” 量度 以标准差单位表达距离均值有多远； t0 值靠0近就与零假设相吻合； t0 值距离0较远就与备择假设相吻合 (拒绝域

9、） 可将 t0 看作 “信噪比”,38,两个样本 t-检验的原理,水泥砂浆新配方,水泥砂浆原配方,H0:两种配方无差异 H1:两种配方有差异 采用双侧t检验（=0.05）,39,两个样本 t-检验的原理,这两个样本均值差值是2.2倍标准差。 是否显著?,40,-2.2在拒绝域！,41,P值 为 0.0411 零假设 Ho: m1 = m2 将在显著性水平 a 0.0411的条件下被拒绝.,42,配对(paired)比较的t-检验,配对比较体现了实验设计中的区组(block)概念，是随机化区组(randomized block)的特例。 区组是相对均匀的实验单元。,基本思路：比较1=2 比较1-

10、2 = d = 0; H0: d = 0; H1: d 0 比较统计量：,43,例: 两个不同探头的硬度测试仪 20 金属试样, 完全随机化设计 (1号探头10 个试样，2号探头10个试样) 硬度测试实验数据,44,若=0.05 (双侧 t-检验), 自由度: 9 t0.025,9=2.262, t0=-0.26-t0.025,9, 不能拒绝 H0,45,两个样本均值配对比较和独立比较分析,配对比较样本标准差 Sd vs 独立比较的合并(pooled)标准差 Sp,置信区间的分析,置信区间更窄，估计更准确,置信区间更宽,46,配对设计减少了约50%的数据差异性。 配对设计损失了 n-1 的自由

11、度, 但通过消除额外的数据差距源(样本的差异)获得了更佳的估计值。,Sd 是总体方差 的无偏估计, Sp 因为区组效应的影响而不是无偏估计。 区组化设计是一种降低干扰的设计技巧。,47,方差的2 检验,用于某个正态分布总体(样本容量n)的方差2 与某个特定值的比较： (2 vs.02) 正态分布总体的方差2 用样本方差s2 估计。 检验统计变量 置信区间,48,方差的 F 检验,用于某个正态分布总体两个样本(样本容量n1和n2)的样本方差12与22的比较，即两个样本精密度有无显著性差异。 检验统计变量 置信区间,49,50,F检验与t检验的关系,F检验的目的是比较两个样本的精密度，而精密度仅取

12、决于随机误差，与系统误差无关，因此F检验之前不需要进行t检验。 t检验的目的在于说明样本平均值的准确度，同时取决于精密度和系统误差，只有在精密度基本一致的前提下方可检验是否存在系统误差：先F检验再t检验。,51,正态假设的验证,正态概率图,52,将样本观测值从小到大排序y1 yi yn ，y1最小，yn最大。 根据累计频率(j-0.5)/n作图 经过上4分位和下4分位点做直线。 若所有点均贴近直线，则正态假定合理。 若两条直线斜率相似，则方差相等假设合理。 利用Excel完成正态概率图（数据分析-排位与百分比排位-制图） T检验对正态分布不特别敏感。,53,置信区间对假设检验的补充,假设检验给出了对于均值差异的客观陈述，但是没有给出差异有多大。 置信区间的表达形式 对两个样本均值差异的100(1-)% 置信区间: 对水泥砂浆实例：-0.551-2 -0.01； 不包含0，因此在5%显著性水平上不支持原假设,54,例1：人们关心碳酸饮料的储存期间，随机抽取10瓶加以检验，得到结果如右表。 (1)我们试图证实平均储存期限大于12