eminar3假设检验与方差分析.ppt

生物统计基础之 假设检验与方差分析 主讲 鱼 miRNA 在开讲之前 我们有必要了解统计学上的一些基础知识 总体 样本 统计量 试验 奇异点 误差 试验指标的试验数据与理论期望值之间的差异 随机误差的统计规律 对称性 绝对值相等的正负误差出现的机会相等 有界性 一定的测度条件下 绝对值不会超过一定范围 抵偿性 测量次数增加 通过平均可减小误差 单峰性 绝对值小的误差出现的机会多 概率密度大 准备工作 中心趋势统计量中心趋势是指一组试验数据的中心位置中心趋势是把握随机变量取值规律的重要方面 对具有对称分布的随机变量尤为重要 中心趋势统计量是刻画一组试验数据中心位置的量 它携带了有关试验指标期望值的信息 是由试验数据进行总体均值统计推断的基本统计量 常见的中心趋势统计量有 算术平均数 几何平均数 调和平均数 中位数等 散布统计量散布 指一组试验数据聚集状态 散布是把握随机变量取值规律的重要方面 它反映随机变量的随机性强弱 准备工作 散布统计量 刻画一组试验数据分散还是紧凑的量 它携带了试验数据中 有关试验指标所有可能取值的聚集程度信息 是由试验数据进行变异分析的基本统计量 常见的散布统计量有 样本方差 离均差平方和 标准差 极差 变异系数等 准备工作 统计模型基本假设检验 任何统计模型都有一定的假设 应用统计模型分析数据首先要对数据是否满足模型的基本假设进行验证 在统计模型的假设中 正态性和方差齐性是最基础的 提出问题 为什么要对试验数据进行正态性检验 正态分布 法国数学家拉普拉斯和德国数学家高斯等研究出来的理论分布 又称为高斯分布 实际生活中的许多随机变数都服从或近似服从正态分布 如 在正常情况下 农作物株高 单位面积产量 测量中的测量误差 商场中的日营业额等 它们的共同特点就是数据大部分集中在平均数附近 并且在 统计模型基本假设检验 平均数的两侧成对称分布 后来数学和统计学家们在正态分布基础上 提出了假设检验和方差分析 因此 我们在对试验数据进行假设检验和方差分析之前 需要验证数据的正态性 正态性检验 一 图方法 2 QQplot 1 直方图 正态性检验 代码如下 par mfrow c 1 2 x rnorm 1000 hist x freq F col yellow curve dnorm x add T col red qqnorm x xlim c 4 4 ylim c 4 4 col blue qqline x col red 二 统计检验法KS检验 Kolmogorov Smirnovtesting 用于检验一组数据是否来自于一个指定概率分布的总体 适用于大样本容量的数据 SW检验 Shapiro Wilktesting 用于检验一组数据是否来自于一个正态分布总体 适用于小样本容量的数据 正态性检验 代码如下 par mfrow c 1 2 x rnorm 100 5 2 hist x freq F col yellow qqnorm x qqline x shapiro test x ks test x pnorm 5 2 shapiro test x Shapiro Wilknormalitytestdata xW 0 9941 p value 0 9434 ks test x pnorm 5 2 One sampleKolmogorov Smirnovtestdata xD 0 0541 p value 0 932alternativehypothesis two sided 正态性检验 原假设 H0 又称为无效假设或零假设 备则假设 H1 KS检验 H0 样本抽自分布F x H1 样本不抽自分布F x SW检验 H0 样本服从正态分布 H1 样本不服从正态分布 关于P value P value表示对H0假设的支持程度 假如定义显著水平 0 05 那么if p value0 05 接受H0 方差齐性检验 概念 多个总体的方差相等称为这些总体方差齐性 常用的方差齐性检验方法两组及两组以上数据的方差齐性检验可以使用以下几个函数 group as factor c rep 1 length x rep 2 length y 水平var test c x y group 用于检验两个总体方差是否相等 var test x y bartlett test c x y group 用于多个正态总体方差齐性检验fligner test c x y group leveneTest c x y group 用于多个总体方差齐性检验 不要求数据满足正态性 是一种稳健的检验方法 方差齐性检验 R下运行以下代码 leveneTest 位于car包 因此需要先安装car包 install packages car x rnorm 100 2 3 y rnorm 100 3 2 group as factor c rep 1 length x rep 2 length y var test c x y group var test x y leveneTest c x y group leveneTest c x y group bartlett test c x y group bartlett test c x y group fligner test c x y group fligner test c x y group 方差齐性检验 xygroupvar test c x y group Ftesttocomparetwovariancesdata c x y bygroupF 2 689 numdf 99 denomdf 99 p value 1 479e 06alternativehypothesis trueratioofvariancesisnotequalto195percentconfidenceinterval 1 8092833 996509sampleestimates ratioofvariances2 689018 var test x y 方差齐性检验 leveneTest c x y group Levene sTestforHomogeneityofVariance center median DfFvaluePr F group118 3992 8e 05 198 Signif codes 0 0 001 0 01 0 05 0 1 1 leveneTest c x y group bartlett test c x y group Bartletttestofhomogeneityofvariancesdata c x y bygroupBartlett sK squared 23 1727 df 1 p value 1 481e 06 bartlett test c x y group 方差齐性检验 fligner test c x y group Fligner Killeentestofhomogeneityofvariancesdata c x y bygroupFligner Killeen medchi squared 15 7243 df 1 p value 7 328e 05 fligner test c x y group plot c x y group col c red yellow par bty l 方差分析 方差分析的基本思想 将所有试验指标值的总变异按照其形成来源分解为各控制因素形成条件变差和无法控制因素或未加控制因素形成的随机误差 然后将各因素形成的条件变差与随机误差进行比较 评价由某种因素所引起的变异是否具有统计学意义 总变异 条件变异 随机误差SST SSA SSe 方差分析的基本假定1 可加性 即处理效应与环境效应是可加的2 正态性 试验误差应该是随机的 彼此独立的 均值为0且服从正态分布3 同质性 所有试验处理必须具有共同的误差方差 方差分析 数据结构 方差分析 数学模型把数据Xij分解 为指标基础值 总体平均数 i为第i个水平的作用 ij为第i个水平第j次试验误差 固定效应模型将 i看成常数 对其方差分析的目的是要判定因素各水平对试验指标的影响是否显著 方差分析 随机效应模型将 i看成随机变量 对其方差分析的目的是研究 i的变异潜力 方差分析 例以A B C D4种药剂处理水稻种子 其中A为对照 每处理各得4个苗高观察值 cm 试由此试验数据判定药剂处理对水稻苗高有无影响 方差分析 代码段 aF group3504168 00020 5715 063e 05 Residuals12988 167 Signif codes 0 0 001 0 01 0 05 0 1 1P 0 05 即拒绝H0 接受H1 不同处理对种子有影响 方差分析 配伍组设计资料的方差分析资料如下 具有两类分类因子 方差分析 代码段 x scan 5 275 274 944 615 275 224 884 665 885 835 385 005 445 385 275 005 665 445 384 886 226 225 615 225 835 725 384 885 275 115 004 44 这些数据以空格分隔 输入完毕后回车 g1 gl 4 1 32 labels c A B C D g2 gl 8 4 32 labels c 1 8 anova lm x g1 g2 没有重复 故只分析主效应 结果如下 AnalysisofVarianceTableResponse xDfSumSqMeanSqFvaluePr F g132 904370 9681277 3101 632e 11 g272 498000 3568628 4972 379e 09 Residuals210 262980 01252 Signif codes 0 0 001 0 01 0 05 0 1 1 多重比较 方差分析结果不拒绝H0 表示拒绝总体均数相等的证据不足 分析终止 拒绝H0 接受H1 表示总体均数不全相等哪两两均数之间相等 哪两两均数之间不等 需要进一步作多重比较 常用的多重比较方法 以下三个函数都在agricolae包里 LSD法 最小显著差数法 LSD test SNK法 q测验法 SNK test HSD法 Turkey显著差数法 HSD test Bonferroni校正 多重比较 LSD多重比较代码段 Install packages agricolae 安装包 用LSD test library agricolae amodelCall aov formula m group Terms groupResidualsSumofSquares50498Deg ofFreedom312Residualstandarderror 2 857738Estimatedeffectsmaybeunbalanced 多重比较 LSD多重比较结果 Study LSDtTestformMeanSquareError 8 166667group meansandindividual 95 CImstd errreplicationLCLUCLA181 779513414 1227721 87723B231 290994420 1871625 81284C141 471960410 7928717 20713D291 080123426 6466131 35339alpha 0 05 DfError 12CriticalValueoft 2 178813LeastSignificantDifference4 402784Meanswiththesameletterarenotsignificantlydifferent Groups TreatmentsandmeansaD29bB23cA18cC14 多重比较 HSD多重比较代码段 HSD test model group TheEnd modelCall aov formula m group Terms groupResidualsSumofSquares50498Deg ofFreedom312Residualstandarderror 2 857738Estimatedeffectsmaybeunbalanced a c 18 21 20 13 b c 20 24 26 22 c c 10 15 17 14 d c 28 27 29 32 m c a b c d group as factor c rep A length a rep B length b rep C length c rep D length d model aov m group 多重比较 HSD多重比较结果 Study HSDTestformMeanSquareError 8 166667group meansmstd errreplicationA181 7795134B231 2909944C141 4719604D291 0801234alpha 0 05 DfError 12CriticalValueofStudentizedRange 4 19866HonestlySignificantDifference 5 999336Meanswiththesameletterarenotsignificantlydifferent Groups TreatmentsandmeansaD29bB23bcA18cC14 多重比较 SNK多重比较代码段 SNK test model group TheEnd modelCall aov formula m group Terms groupResidualsSumofSquares50498Deg ofFreedom312Residualstandarderror 2 857738Estimatedeffectsmaybeunbalanced a c 18 21 20 13 b c 20 24 26 22 c c 10 15 17 14 d c 28 27 29 32 m c a b c d group as factor c rep A length a rep B length b rep C length c rep D length d model aov m group 多重比较 SNK多重比较结果 Study StudentNewmanKeulsTestformMeanSquareError 8 166667group meansmstd err