方差分析的统计检验力和效果大小的常用方法比较.pdf

心理学探新2011 Vol 31 No 3 254 259 PSYCHOLOGICAL EXPLORATION 方差分析的统计检验力和效果大小的常用方法比较 胡竹菁戴海琦 江西师范大学 心理学院 南昌 330022 摘要 本文对用方差分析统计检验力和效果大小进行估计的几种不同方法作了简要的介绍 和比较 关键词 方差分析的效果大小 方差分析的统计检验力 中图分类号 B841 2文献标识码 A 文章编号 1003 5184 2011 03 0254 06 1方差分析的统计检验力和效果大小的含义 关于统计检验力 The power of a statistical test 的含义 美国著名心理统计学家 J Cohen 曾指出 当虚无假设为假时 关于虚无假设的统计检验 力是指导致拒绝虚无假设的概率 1 关于效果大小 effect size ES 的含义 J Cohen 在同一本专著中指出 当虚无假设为假时 它总 是在一定程度上的虚假 效果大小 effect size ES 是指某个特定总体中的某种特殊的非零的数值 这 个数值越大 就表明由研究者所处理的研究现象所 造成的效果越大 效果大小本身可以被视为是一 种参数 当虚无假设为真时 效果大小的值为零 当 虚无假设为假时 效果大小为某种非零的值 因此 可以把效果大小视为某种与虚无假设分离程度的指 标 1 最近几年 我国心理学界也有越来越多的学者 注意到这一领域研究成果的重要性并加以介绍和评 述 如权朝鲁对 效果量的意义及测定方法 作了简 要述评 2 胡竹菁曾以平均数差异显著性检验为 例 对实验数据进行假设检验后继续对其统计检验 力和效果大小进行估计的基本原理和方法作了简要 介绍 3 甘怡群 4 舒华 5 等也在各自主编的教科 书中有专门论述统计检验力的章节 本文拟以单因 素和两因素完全随机实验设计的方差分析为例 对 方差分析后的统计检验力进行估计的几种不同方法 作一简要介绍和比较 在心理统计学中 方差分析 即 F 检验 中的虚 无假设一般是 H0 1 0 k 其备择假设 则是指 H a 1 2 k不完全相等 方差分析的统 计检验力 power of test 即 1 的含义与平均数 差异显著性检验的统计检验力 1 的含义在实质 上都是一样的 都是指在虚无假设 H0为假 备择假 设 H a为真 时 正确拒绝 H0的概率 方差分析效果大小 effect size 的含义也基本 上与 Z 检验或 t 检验的效果大小的含义相同 只不 过它反映的是多组实验处理下不同组之间实验效果 差异大小的指标 由于 J Cohen 提出的方差分析统计检验力的估 计方法需要先计算其效果大小 因此 本文将先介绍 方差分析效果大小的估计方法 而后再介绍方差分 析统计检验力的估计方法 2单因素方差分析效果大小的估计 目前 学术界对于如何评估方差分析效果大小 至少存在两类不同的指标体系 一类以 2作为指 标 另一类以粗体小写字母 f 值作指标 J Cohen 认为 可以用 2来作为方差分析效果 大小的指标 其计算公式为 1 2 SS组间 SS总体 目前 西方较多学者采用这种方法来估计方差 分析的效果大小 6 8 我国学者舒华等则认为 可以使用 2的平方根即 eta 作为方差分析效果大小的指标 其计算公式为 5 SS组间 SS 槡总体 注 原书的表达形式为 eta SS组间 SS 槡总体 第二类以小写字母 f 值作指标体系评估方差分 析效果大小的方法包含以下两种 1 有些学者 如甘怡群等 认为 可以用下列公 式来计算方差分析的效果大小 f 值 4 f F 槡 n 基金项目 江西省高等学校教学改革研究省级立项课题 JXJG 10 2 27 式中 根号内大写字母 F 是该次方差分析后得 到的检验统计量 n 是指各组人数相等时每个组的 人数 如果各组人数不相等 则需要计算各组人数的 调和平均数 nH 2 美国纽约大学的学者 B H Cohen 认为 用 f F 槡 n 计算得到的 f 值是效果大小的有偏估计 因 此采用下列公式来计算方差分析效果大小 9 f k 1 k F 槡 n 这一公式用粗体小写字母 f 来表示方差分析效 果大小 以示与 f 区别 式中 根号内大写字母 F 和 小写字母 n 的含义与上一公式相同 k 指分组数 在上述两类估计方法中 第一类估计方法是以 实验处理之后各组间平方和在总体平方和中所占 的比重 的计算方法为基础 第二类方法则是以 F 检验中备择假设分布的期望 F 值作为理论基础来 评估效果大小的 f 值或期望 f 值 J Cohen 指出 这 两类估计方法的相互关系是 1 f 2 1 槡 2 美国心理统计学家 Runyon 等人编写的 心理 统计 一书就用 f 2 1 槡 2 的计算结果作为方差 分析效果大小的指标 10 J Cohen 认为 当用 2或其平方根 作方差分 析效果大小的指标时 2 0 01 时属于小的效果 在 2 0 06 时属于中等效果 在 2 0 14 时属于 大的效果 当用 f 值 或期望 f 值 作指标时 在 f 0 10 时属于小的效果 在 f 0 25 时属于中等效 果 在 f 0 40 时属于大的效果 下面 以一个实例来对上述计算方差分析效果 大小的不同方法作一比较 例 1 有人研究了个人表现的反馈类型对其自尊 的影响 让 15 名被试参加一项知识测验 每组各 5 名被试 不管被试在测验中的实际表现如何 对积 极反馈组 都告诉他们水平很高 对消极反馈组 都 告诉他们表现很差 对控制组 不提供任何反馈信 息 最后 让所有的被试都参加一个自尊测验 测验 总分为 100 分 得到的分数越高 表明自尊越强 实 验结果如表 1 所示 问不同反馈类型的各组被试的 自尊水平是否存在显著差异 表 1不同反馈类型条件下被试自尊水平测试得分表 积极反馈组控制组消极反馈组 84 071 059 0 74 075 064 0 81 073 062 0 75 074 069 0 84 069 075 0 70 082 067 0 对表 1 的数据进行方差分析后可以得到如表 2 所示的方差分析表 表 2不同反馈类型对被试自尊水平影响的方差分析表 变异来源平方和自由度均方F 组间44822247 814 组内4301528 67 总变异87817 以表 2 的数据为基础可以计算出上述不同估计 方法得到的效果大小的值分别为 1 2 SS组间 SS总体 448 878 0 51 2 SS组间 SS 槡总体 0 槡 51 0 714 3 f F 槡 n 7 814 槡6 1 槡 30 1 14 4 f k 1 k F 槡 n 3 1 3 7 814 槡 6 0 67 1 槡 30 0 93 5 f 2 1 槡 2 0 51 1 0 槡 51 0 51 0 槡49 1 02 由上面的计算结果可知 不同的估计方法得出 的方差分析效果大小的结果是不一样的 需要注意 的是 两类方法之间由于计算方法所依赖的理论基 础不一样 因此所用指标的量纲是不一样的 问题 是 在众多的效果大小指标中 我们应该选择哪一个 作为对表 1 所述实验数据进行方差分析后的效果大 小更为合适呢 我们认为 就理解效果大小这一概 念的含义上说 上述以 2作为实验处理后效果大小 的指标较易为人所理解 因为 2的含义是 实验处 理之后各组间平方和在总体平方和中所占的比 重 1 2 的指标值大 反映实验效果大 2的指标 值小 则反映实验效果小 因此这一指标所反映的效 果大小的内涵最容易让人们所理解 就表 1 的实验 数据而言 方差分析后用 2的结果作为效果大小的 指标说明 在该实验中 总体变异中约有 51 是来 552第 31 卷第 3 期胡竹菁等方差分析的统计检验力和效果大小的常用方法比较 自反馈类型的实验处理 由于用 2的结果作效果 大小指标的便于理解性 著名的统计软件 SPSS 就采 用 2作为该软件 一般线性模型 模块中有关效果 大小的指标 将表 1 中的数据输入 SPSS 运行后 SPSS 给出的效果大小值是 2 0 51 注 英文 版 SPSS 给出的结果标为 Partial Eta Squared 中文 版 SPSS 18 0 给出的结果标为 偏 eta 方 与上述 用 2作为效果大小的指标计算出的结果完全一样 如前所述 J Cohen 认为 当用 2作方差分析效 果大小的指标时 在 2 0 14 时就属于大的效果 因此 虽然用 2作为方差分析效果大小的估计值在 上述各种计算方法的结果中其值最小 但 0 51 的效 果大小还是远远大于 0 14 因此有的统计学家认为 用 2作为实验处理在总变异中所占比重的估计方 法一般会高估实验处理的效果 提出另外一个含义 与 2大致相同的指标 2来反映实验处理效果大 小 其计算公式为 2 SS组间 k 1 MSe SS总体 MSe 还是以表 1 和表 2 的数据为例 将已知数据代 入公式后可得 2 SS组间 k 1 MSe SS总体 MSe 448 3 1 28 67 878 28 67 0 43 虽然 2 0 43 比 2 0 51 的值更小 但被认 为能更准确地反映反馈类型对被试自尊水平实验中 的效果 3单因素方差分析统计检验力的估计方法 方差分析备择假设的期望分布值通常用希腊字 母 表示 J Cohen 指出 方差分析统计检验力的 计算公式是 f槡n 其中 小写英文字母 f 值就是效果大小的指标值 求方差分析统计检验力的过程一般是 先求方 差分析效果大小 而后或者根据效果大小直接查相 应的转换表求统计检验力 或者根据效果大小值求 值后再查相应的转换表求统计检验力 如前所述 由于估计效果大小的方法不同 得出 的效果大小的值也就不一样 由此转换的统计检验 力也会不一样 目前 根据方差分析效果大小求其 统计检验力的方法主要有以下三种 1 当用 2来作为方差分析效果大小的指标时 可以根据 2值 各组人数和分组数直接查相应的换 算表求统计检验力 1 的值 Aron 等的 心理统 计 一书使用的就是这种方法 6 以表 1 的数据为 例 分组数 k 3 的相应换算表有如表 3 所示 表 3分组数为 k 3 的统计检验力换算表 n 效果大小 2 0 01 2 0 06 2 0 14 100 070 210 51 200 100 430 85 300 130 610 96 400 160 760 99 500 190 851 0 1000 360 991 0 如表 1 所示 各组人数是 n 6 在表 3 中最接 近的值是 n 10 那一行 效果大小 2 0 51 虽然 其值远远大于 2 0 14 也只能查最接近的 2 0 14 那一列 结果为对本次实验数据进行方差分析 的统计检验力 1 为 51 2 当用 f 或者用粗体小写字母 f 值来作为方差 分析效果大小的指标时 也可以根据 f 或 f 值 各组 人数和分组数直接查相应的换算表求统计检验力 1 的值 甘怡群编写的 心理与行为科学统计 一 书使用的就是这种方法 4 以表 1 的数据为例 分 组数 k 3 的相应换算表有如表 4 所示 表 4分组数为 k 3 的统计检验力换算表 n 效果大小 f 0 10f 0 25f 0 40 100 070 200 45 200 090 380 78 300 120 550 93 400 150 680 98 500 180 790 99 1000 320 981 0 例如 由表 1 可知 各组人数是 n 6 在表 4 中 最接近的值是 n 10 那一行 通过表 2 的数据计算 的三种 f 或 f 值分别为 f 1 14 f 0 93 和 f 1 02 虽然效果大小的 f 或 f 值都远大于 f 0 40 也 只能查最接近的 f 0 40 那一列 由此认为对本次 实验方差分析的统计检验力 1 为 45 3 根据 J Cohen 提出的 槡 f n 的计算公式计 算出 值后 再根据 值 方差分析表中的组内自 由度和分组数查相应的换算表求统计检验力 1 的值 B H Cohen 编写的 心理统计学详解 一书使 用的就是这种方法 9 以表 1 的数据为例 分组数 k 3 的相应换算表有如表 5 所示 652心理学探新2011 年 表 5方差显著性检验的统计检验力表 K 3 dfw 1 01 21 41 61 82 02 22 63 0 40 180 230 300 380 460 540 620 760 86 80 230 320 420 520 630 720 800 920 97 160 270 380 490 610 720 810 880 960 99 0 320 440 570 700 800 880 9499 通过表 2 的数据可知 组内自由度是 15 在表 5 中最接近的是 dfw 16 那一行 将前述五种效果大 小的值代入公式后可以得到五个不同的 值 然后 根据 值在表 5 中可以查到相应的反映这次方差 分析的 5 个不同的统计检验力值 1 槡 0 51 6 1 23 相应的统计检验力介于 0 38 0 49 之间 2 槡 0 714 6 1 75 相应的统计检验力介于 0 61 0 72 之间 3 1 槡 14 6 2 79 相应的统计检验力介于 0 96 0 99 之间 4 0 槡 93 6 2 28 相应的统计检验力介于 0 88 0 96 之间 5 1 槡 02 6 2 50 相应的统计检验力介于 0 88 0 96 之间 与前面所提众多效果大小指标应选哪一个合适 的问题一样 这里也存在着一个在众多的统计检验 力指标中选哪一个更为合适的问题 我们认为 对 这一问题的回答要注意以下两个方面 一方面 任何一种对方差分析统计检验力的评 估结果都只是一个粗略的估计 不存在完全准确的 答案 就目前的情况而言 上述各种反映统计检验力 的指标都有一定的理论基础 也都有专家在使用 因 此 都可以作为方差分析统计检验力的指标来使用 只是在选用某种指标时要清楚其理论基础是什么 另一方面 可以用在我国广为使用的统计软件 包上给出的方差分析统计检验力的指标来对上述各 种指标作一比较 将表 1 中的数据输入 SPSS 中文 版 18 0 后 点击 分析 的下拉菜单中对应的 一 般线性模型 再点击 单变量 U 后会出现一 个对话框 按正确方式输入 因变量 即自尊水平 和 固定因子 即反馈类型 后 点击 选项 在出 现的各选项中选中 功效估计 和 检验效能 两项 点击 继续 后再点击 确定 SPSS 运行后给出的 统计检验力的值是 观测到的效力 0 91 若将 上述各种统计检验力结果与 SPSS 给出的这个结果 作一比较 可以知道 用上述第一种方法即 2 0 51 或 eta 0 714 直接查相应的转换表求得的统计检验力是 0 51 用第二种方法即三种 f 或 f 值 f 1 14 f 0 93 和 f 1 02 直接查相应的转换表求得的统计 检验力是 0 45 这两种方法计算的统计检验力都远远小于 SPSS 给出的 0 91 的值 用第三种方法即用 J Cohen 1 给出的 槡 fn 的计算公式进行计算时 将五种效果大小值代入公 式后的计算的统计检验力的结果又分三种情况 第一种情况是将 2 0 51 和 eta 0 714 这两 种效果大小的指标代入公式后求得的统计检验力分 别是介于 0 38 0 49 之间或介于 0 61 0 72 之 间 远低于 SPSS 给出的 0 91 的值 第二种情况是用公式 f F 槡 n 求出效果大小的 指标为f 1 14 代入公式后求得的统计检验力介于 0 96 0 99 之间 远高于 SPSS 给出的0 91 的值 第三种情况是用公式 f k 1 k F 槡 n 求出 效果大小的指标为 f 0 93 或者用公式 f 2 1 槡 2求出效果大小的指标为 f 1 02 将这两 个 f 值代入公式后求得的统计检验力都介于 0 88 0 96 之间 基本符合 SPSS 给出的 0 91 的值 根据上述比较 笔者建议 在对方差分析的统计 检验力进行估计时 先用公式 f k 1 k F 槡 n 或 公式 f 2 1 槡 2 求出效果大小的指标 而后代入 公式 槡 fn 求 值 再根据 值 方差分析表中 752第 31 卷第 3 期胡竹菁等方差分析的统计检验力和效果大小的常用方法比较 的组内自由度和分组数查相应的换算表求方差分析 统计检验力的值 4两因素方差分析效果大小和统计检验力的估计 方法 两因素方差分析效果大小和统计检验力的估计 原理与单因素方差分析效果大小和统计检验力的估 计原理基本相似 下面的例子将说明其计算过程和 方法 例 2 有人想采用 2 2 两因素完全随机实验方 法来研究专业知识对记忆的影响 其中因素 A 为被 试的专业性质 含新手 专家两个水平 因素 B 为 棋局类型 含随机摆放 比赛中盘两个水平 实 验结果如表 6 所示 请检验专业知识和棋局类型对 记忆成绩是否有显著影响 二者是否存在交互作用 方差分析后各因素和两因素交互作用的效果大小及 统计检验力各为多少 表 6专家与新手对不同棋局棋子位置的记忆成绩 棋局类型 人员类型 随机摆放 比赛中盘 新手 2 4 4 3 4 8 1 2 4 4 专家 1 5 6 3 6 9 9 11 11 11 将表 6 中的数据输入 SPSS 中文版 18 0 运行 并经整理后有如表 7 所示 表 7专家与新手对不同棋局棋子位置的记忆成绩方差分析表 变异来源平方和自由度均方F偏 2统计检验力 因子 A 人员 64 81 64 818 65 0 5380 982 因子 B 棋局 51 21 51 214 73 0 4790 949 交互作用 A B39 21 39 211 28 0 4140 883 误差 E55 6 163 475 总变异 T210 8 19 根据 J Cohen 的观点 方差分析后各因素及它 们之间的交互作用的效果大小可以用以下公式来计 算 11 2effect SSeffect SSeffect SSw 将表7 中的相关数据代入这一公式可分别得到 2A SSA SSA SSw 64 8 64 8 55 6 0 5382 2B SSB SSB SSw 51 2 51 2 55 6 0 4794 2A B SSA B SSA B SSw 39 2 39 2 55 6 0 4135 将上述各计算结果与表 7 中 SPSS 统计软件包 给出的计算结果进行比较后可以知道 两者之间的 结果是完全一样的 这表明可以用偏 eta 方来作为 两因素方差分析效果大小的指标 两因素方差分析统计检验力的计算过程与单因 素方差分析统计检验力的计算过程相似 也是通过 以下三个步骤来完成 1 用公式f k 1 k F 槡 n 计算方差分析效果大小 2 用公式 f槡n计算 值 3 根据 查表求与各因素及其交互作用相应 的统计检验力值 将表 7 中列出的各因素及其交互作用的 F 统 计量 第一步可分别得到 fA k 1 k FA 槡 n 2 1 2 18 65 槡 10 0 965 fB k 1 k FB 槡 n 2 1 2 14 73 槡 10 0 858 fA B k 1 k FA B 槡 n 2 1 2 11 28 槡 10 0 751 根据这些 f 值可计算相应的 值为 A f槡n 0 槡 965 10 3 05 B f槡n 0 槡 858 10 2 71 A B f槡n 0 槡 751 10 2 37 查与表 5 性质相同但分组为 k 2 的方差分 析统计检验力转换表可得到 因素 A 的统计检验力 1 比 0 96 更高 因素 B 的统计检验力 1 应该 介于 0 89 0 97 之间 两因素交互作用的统计检验 力 1 应该介于 0 78 0 92 之间 与表 7 中所列 出的由 SPSS 统计软件包给出的结果基本一致 5小结 5 1本文对方差分析后进行效果大小和统计检验 力的多种不同的评估方法进行了简要介绍和评析 5 2在五种不同的效果大小评估方法中 由于 2 的含义是 实验处理之后各组间平方和在总体平方 和中所占的比重 用此作为方差分析后效果大小 的指标意义比较好理解 同时这一指标也为大家熟 852心理学探新2011 年 悉的统计软件包 SPSS 所采用 因此 建议用 2 S组间 SS总体的计算结果作为方差分析后效果大小的指标 5 3将多种计算方差分析统计检验力的方法与 SPSS 给出的统计检验力结果进行比较后 在对方差 分析的统计检验力进行估计时 建议先用公式f k 1 k F 槡 n 或公式 f 2 1 槡 2求出效果大小的 指标 而后代入公式 f槡n求 值 再根据 值 方差分析表中的组内自由度和分组数查相应的换算 表求方差分析统计检验力的值 参考文献 1Cohen J Statistical power analysis for the behavioral sci ences New Yoak Psychology Press 1988 2权朝鲁 效果量的意义及测定方法 心理学探新 2003 23 2 39 44 3胡竹菁 平均数差异显著性检验统计检验力和效果大小 的估计原理与方法 心理学探新 2010 30 1 68 73 4甘怡群 心理与行为科学统计 北京