实验研究方法

1 目次目次 壹 绪论壹 绪论 4 4 贰 实验研究法的意义贰 实验研究法的意义 4 4 参 实验研究法的特征参 实验研究法的特征 5 5 一 随机化 5 二 控制变项 5 三 周详的观察 7 四 精确数量的记载 7 五 反复实验 7 肆 实验研究法理论基础肆 实验研究法理论基础 7 7 一 实验心理学 7 二 逻辑经验论 9 三 方法统一论 10 伍 提升实验研究设计具有内外在效度伍 提升实验研究设计具有内外在效度 1111 一 具有内在效度 11 二 精确性 15 三 具有外在效度 25 陆 实验研究法进行程序陆 实验研究法进行程序 2929 柒 实验误差控制柒 实验误差控制 3030 2 一 实验控制的因素 30 二 实验控制的方法 31 捌 实验设计类型捌 实验设计类型 3333 一 前实验设计 33 二 真实验设计 34 三 多因子实验设计 36 四 准实验设计 37 玖 实验研究法适用的统计工具玖 实验研究法适用的统计工具 4141 一 各量尺适用之统计工具 41 二 实验研究法常用的统计 42 拾 实验研究伦理问题拾 实验研究伦理问题 4545 一 研究伦理的原理原则 45 二 遇到限制时 因应之道 46 拾壹 实验研究法在教育研究应用的限制拾壹 实验研究法在教育研究应用的限制 4646 一 优点与限制 46 二 使用实验研究法应注意事项 48 拾贰 论文评析拾贰 论文评析 4949 一 论文搜寻来源 49 二 课程与教学领域中运用实验研究法之论文 49 3 三 实验研究法近期在课程与教学研究的趋势 59 四 论文评析四 论文评析 6060 拾参 参考书目 69 表目次表目次 表 1 统计检定的可能结果 24 表 2 独立样本多因子设计模式范例 36 表 3 非独立样本多因子设计模式范例 37 表 4 各种前 真实验设计的内外在效度 39 表 5 各类型准实验研究设计的内外在效度 40 表 6 各量尺适用之统计工具 41 图目次图目次 图 1 三个自由度不同的 t 分配 18 图 2 图 2 当 68 X 2 时之 95 及 99 推估信赖区间 19 图 3 假设检定的信赖水平与拒斥区 22 4 壹 绪论壹 绪论 实验研究法是唯一能真正考验有关因果关系之假设的方法 也 是解决教育上理论与实际的问题及推动教育成为一门科学的最有效 途径 在实验研究中研究者至少操纵一个自变项 控制其它有关变 项 以及观察一个或多个变项的结果 实验研究法最早运用在物理界的研究观察 十九世纪引入生物科学 十 九世纪末将之应用于实验心理学 1890 年代将之应用于教育情境问题的研究 尔后便大量运用于教育领域中 王文科 1999 贰 实验研究法的意义贰 实验研究法的意义 实验研究法是科学研究的一种方式 是用以找出事件之间的因果关系因果关系的 方法 从事实验研究时 实验者对某一个或几个变项加以操弄 以观察或测 量其它变项因此而发生的影响或改变 实验研究法中所谓变项 variable 乃是指一种可变的情况或因素 在实 验中所操作的变项 称为自变项 independent variable 或实验变项 用以指任 何实验处理 所观测之其它变项称为依变项 dependent variable 由此可知 实验研究法是指研究者在小心操弄可能影响实验结果的因素下 探求自变项 与依变项的关系 实验研究非常强调 操作 即对实验情况 自变项及控制组之控制 其 主要目的有三 其一为自变项以外的其它因素不致影响依变项 其二为确定 自变项所产生之影响大小 其三为以数值表示变项之程度 郭生玉 1999 此外 A C Porter 1997 对实验研究法有更明确定义 其为确定自变项 直接直接 受研究者掌控 实验结果是计划中的改变 而非自然改变 而实验 对象的选择是随机的 参 实验研究法的特征参 实验研究法的特征 学者大致上有以下的看法 郭生玉 1999 陈龙安 庄明贞 2000 一 随机化 randomization 在心理与教育研究中 由于研究情境相当复杂 且不同组别的受试者具 有许多特质的差别 故欲完全控制这些因素 事实上是无法达到的目标 因 此 研究者往往采用随机化原则排除那些无法直接适当控制的因素之影响 5 所谓 随机化 简单的说 就是在一个界定的研究群体 population 中 每 一个分子均有相等的机会被抽取做为研究的对象 一般而言 最常用在实验 研究中的随机化步骤有两个 一个是随机抽样 random sampling 另一个是 随机分派 random assignment 理论上 抽取的样本人数愈多 在理论上实 验组与控制组的各方面特征将会接近完全相等或相似 二 控制变项 control variable 控制变项的主要目的 是经由适当的实验设计 以控制三种 变异量 即实验变异量 无关变异量和误差变异量 以下分别说 明控制这三种变异量的意义 一 增加实验变异量到最大 实验研究者在从事实验时 其重要任务之一是操纵实验变项 使由这 个实验处理所造成的实验变异量 experimental variance 增加到最大的程度 易言之 实验者必须尽可能使几个实验处理间彼此有很大的不同 二 排除无关变异量 无关变异量 extraneous variance 是由一些实验者没有控制好的变项 所造成 这些无关变异量常因此混淆实验的效果 而使实验结果的解释产生 困难 因此研究者必须设法控制实验变项以外的所有无关变项 使它们对实 验效果的影响减至最低的程度 以免无法正确解释实验结果 三 减低误差变异量到最小 任何实验研究总难免会有误差存在 只是程度上的不同而已 因为这 些误差将会影响实验效果的显著性 因此 研究者必须设法减低到最小的限 度 在实验过程中 造成误差的来源主要有二 一是无法认定和控制的个别 差异因素 另一是测量误差 为了减低误差变异量到最小 研究者应从两方 面努力 第一 妥善控制实验情境 第二 提高测量的信度 三 周详的观察 实验者对于环境的一切事物必须时时抱持着怀疑的态度 以犀 利之眼光 客观的态度 科学之方法 观察问题之所在 然后实验 工作才能着手 四 精确数量的记载 科学研究的特征之一 是所得到的具体数据 都可以用实际的 数量来比较 用统计的方法来处理 因此 实验的结果必须用精确 6 的数量记载 以表示其确切性 五 反复实验 科学的实验 贵在充分的客观性 可验证性 例如某项实验研究完成后 其它人依此实验的方法及条件 重复实验 其结果亦为一致 这种禁得起考 验的特点 也是科学方法最大特征 肆 实验研究法理论基础肆 实验研究法理论基础 一 实验心理学 一 欧陆的实验心理学 传统欧陆在研究心理现象 多以实验方法加 以操弄以探求人类心理运作 此一研究方式影响教育领域甚深 其主张如下 1 心理实验 心理的实验其目的多在藉控制方法 测量等将人类心理现象化约为 简单元素 以使其数量化 冯德 W Wundt 首先将实验室的技术应用在 心理作用的研究上 张肖松 1982 137 2 实验的研究方法 继之德国雷依 W A Lay 和谬曼 E Meumann 受实验心理学的影响 主张以实验的研究方法 即实验统计以及细心的或系统的观察来解决教 学或教育问题 以获致最好的结果 陈龙安 庄明贞 2000 3 普遍性的科学方法 前述实验教育学与心理技术的探讨均植基于自然科学研究之理论 技 术 模式中 企图建立一种普遍性的科学方法 将教育学研究转移至事 实的科学与技术模型中 陈龙安 庄明贞 2000 故可知教育中的实验 研究受实验心理学影响之深 二 美国的实验主义 美国实验主义主张以实验的研究态度来研究经 验 为实验研究的渊源之一 1 实验主义方法 杜威 J Dewey 在基本 Fundamentals 一文中 曾提到实验主义的方法 即从研究观察 实验和工作假设构成与遵从等各种方法找到安身立命的 基础 2 暂时性的假设 Childs L John 尝言实验主义认为关于我们所住的世界之意义与性质的 某种信念 只是暂时的当作假设来把握 这种信念全要进一步的知识来 修正 引自陈龙安 庄明贞 2000 77 3 实验的研究态度 实验主义认为所谓哲学的 就是用批评的 实验的研究态度 7 来处理经验 陈龙安 庄明贞 2000 由此可知 实验主义的实验精神为实 验研究提供了理论基础 二 逻辑经验论 逻辑经验论主张知识之可检证原则 为实验研究 提供了充分的立论基础 以下为其主张 一 维也纳学园 Vienna Circle 逻辑经验论此一名称来自维也纳学园所倡导的逻辑实证论 Logical Postivism 逻辑经验论者认为使用科学方法才能获致普遍性 可靠性的知 识 二 可检证可检证原则 逻辑经验论提出意义的判准 可检证原则 依据可检证原则 任何有意 义的语句 不是分析命题 便是可为经验所检证的综合命题 卡纳普 R Carnap 要求每一理论语词皆化约为可观察语句 才有意义 引自陈龙安 庄明贞 2000 78 三 教育命题系统 对教育现象之绵密的因果解释系统 理论之于教育实际之运用 也严 谨的以技术逻辑 Logik der Technologie 来控制教育过程的绩效 以此种自然 科学的研究方法使教育学落入目的论 因果分析的研究典范 也使教育命题 系统排除任何规范性的叙述 陈龙安 庄明贞 2000 三 方法统一论 一 理论在科学地位的判准 波柏 Karl Popper 认为一个理论在科学地位的判准是理论的可否证性 falsifiability 可反驳性 refutability 或可验证性 testability 洪庸皖 1985 二 方法统一论 波柏主张所有理论性或概括性的理论 不论是自然科学或社会科学 都 应使用同样方法 以达成科学方法上的统一 他提出两种原则 1 不论对前科学的知识和科学的知识而言 唯有零碎实验是所有社会知 识的基本 2 实验的意义不是指结果不能确定的行动 而应是借着比较所获得的结 果与预期的结果而获取知识 三 科学方法的说明 科学方法的说明 至少必须符合下列两项系统的要求 1 相干性 即事物之间因果与关系 在逻辑上的关联与经验上的相关性 2 可验证性 即解释或说明可由检验而加以实证或否证 陈龙安 庄明贞 2000 伍 提升伍 提升实验研究设计具有内外在效度实验研究设计具有内外在效度 一 具有内在效度 实验者所操纵的实验变项对依变项所造成的 8 影响的真正程度 亦即实验处理是否确实造成有意义的差异 实验内在效度 的高低 是研究者对无关变项控制情形而定 控制愈好 实验的差异愈能解 释为由实验处理所造成 反之 控制愈差 实验结果愈无法解释 究竟其结 果是由实验处理所产生 或由其它无关因素所导致 在 1963 年时 Campbell and Stanley 认为 引自王文科 1999 564 569 郭生玉 1999 314 318 Porter 1997 533 534 影响内在效度的无关变项主要有八个 研究者 必须设法控制 以使研究结果可做正确的解释 一 同时事件 contemporary history 在实验期间 受试者往往会从实验情境内外 经历到一些 实验处理以外的其它事件 这些事件可能会影响依变项而干扰实 验结果 一般而言 实验期间愈长 实验处理以外的其它事件的 影响 可能性就愈大 控制同时事件影响的方法 通常为设一组 控制组 以资比较 二 成熟 maturation 受试者在实验期间 不论生理或心理均会产生变化 例如 变为更成 熟 健壮 疲劳 饥饿 分心或没有兴趣等 这些改变会影响实验结果 为 避免成熟的影响 最好也是设一组比较的控制组 以假定两组都有相同的成 熟和发展的经验 三 测验 testing 在许多心理与教育实验中 往往在实验处理之前进行前测 pretest 的工作 以做为观察实验效果的依据 前测的经验 会使受试者更熟练做测 验的技巧和熟悉测验的内容 有助于后测分数的提高 尤其是前后测的题目 相同时 测验本身须具有信度 信度是指相同的个人在不同的时间 以相同 的测验测量 或以复本测验 相等的试题 测量 或在不同的情境下测量 所得结果的一致性 consistency 引自郭生玉 1988 44 四 测量的工具 instrumentation 在测量过程中 测量工具 测验或仪器 观察者和主试者的不同 可 能改变实验的结果 例如 后测的测验 不但不同于前测的测验 且比较容 易 则实验结果的改变 可能是测量工具不同的结果 而非实验处理的效果 五 统计回归 statistical regression 当实验者根据某项心理特质的极端分数而选择研究对象时 统计回归 的问题就易于产生 尤以在有前后测的实验设计中为然 统计回归现象 是 9 指受试者的测量分数在第二次测量时 有向团体平均数回归 趋近 的倾向 易言之 高分组的受试者在第二次测量时 其分数由于向平均数回归而有降 低的趋势 但低分组的受试者 其分数却有升高的趋势 因此 避免此种因 素混淆实验效果的方法 是尽可能不以极端分数的受试者做为研究对象 六 差异的选择 differential selection 在采用两组或多组的实验研究中 研究者必须考虑不同组别受试者在 各项特质上是否一样 如果实验组和控制组在许多方面的特质原来就不相等 所得实验效果就不得归因于纯由实验处理所造成 因为选择的偏差可能混淆 实验的处理效果 欲使研究不同组别的各方面特质达到相等 以减少选择的 偏差 最有效的方法是利用随机分派的方式 决定那些人为实验组 那些人 为控制组 七 受试者的流失 experimental mortality 研究样本在实验期间的流失 如迁徙 退学 死亡等 是影响两组或 多组实验内在效度的重要因素 八 因素的交互作用 interactive combinations of factors 上述七项因素的彼此交互作用 将是构成影响内在效度的另一个因素 例如 样本的 选择 与 成熟 间的交互作用 九 强亨利效应 the John Herry effect 是指实验组采用新法或步骤取代控制组的的方法或步骤时 控制组的受试者为了不甘示弱 力图与实验组一较长短 则控制 组的表现 常在一般的平均水平之上 因此 在实验处理上 如 果发现实验组与控制组间有差异或没有差异时 须注意是否由于 控制组成员的不平常动机 而非由处理导致的效应 十 实验的处理扩散 experimental treatment diffusion 若实验的条件与控制的条件具有很密切的关系 则控制组的成员可能 寻求接触处理条件的机会 或若实验组与控制组的受试者彼此很亲近 实验 的处理扩散 尤其容易发生 为了避免发生这个问题 研究者安排条件时 宜设法避免让实验组与控制组接触 十一 实验者偏见 experimenter bias 或称为混淆 contamination 是指实验者精心设计或无意处理 而对 受试者产生的影响 当实验执行者知道实验组与控制组之分时 除实验处理 外 对 实验组 有意或无意的特别待遇 受试者的行为无意中会受到实验 者若干特征或行为的影响 实验者本身的期待 也会使实验处理的实施 与 10 对受试者的行为观察造成偏差 为了避免发生这个问题 应由第三者予以进 行实验处理 而实验者本人也不知那一组是实验组 那一组是控制组 十二 统计的结论 statistical conclusion 在多数研究中 常以统计作为对预定结果与关系作为结论 的基础 但是统计的使用若违背其原理 则据以获得的结果 欲作 推论则有问题 甚至如误用统计考验 则无法获得有效的结果 二 精确性 实验者藉由操纵实验变项 而须精确的观察出此变项的变化对 依变项所产生的影响效果 理论上随机法是控制所有无关变项的唯一理想方 法 如果实验过程中 受试者的抽取和实验处理的分派 都能完全随机化 在统计上 实验各组的受试者在各方面的特质应可视为相等 不过这并不能 保证完全相等 因为仍然有随机抽样的误差存在 所谓的精确性 是要让实 验结果的差异是确由自变项所造成 而非抽样机误的结果 其概念可由以下 几点得之 一 抽样分配 sampling distribution 与标准误 standard error 如果我们能在一个母群体中 以相同的样本人数 多次随机取样 形 成多个样本时 我们会发现 这些样本的统计数自然形成一个分配 有平均 数 也有标准差 这个分配就称为 抽样分配 抽样分配不是原始分数的分 配 而是样本统计数的分配 样本平均数分配的平均数以 X表示 标准差 以 X表示 但是为别于一般原始分数的标准差 故抽样分配的标准差改称 为 标准误 平均数的标准误必须由母群体的标准差及样本人数来估算 其 式子如公式 1 公式 1 然而 在实验研究中 大都不知道母群体的标准差 在此情形下 只 好以样本的标准差作为母群体标准差的估计数 因此如公式 2 所示 公式 2 上述公式中的 SX是样本的标准差 n 是样本人数 但是应用此一公式 时 必须注意 由于 SX是用来代替 X的 故其计算公式须以 n 1 为分母 即 公式 3 11 而以样本标准差计算所得的标准误 就以 SX作为符号 代替原来的 X 由上述公式可以看出 平均数的标准误之大小 决定于母群体或样本标准 差之大小 以及样本人数的多寡 因此可知 若其它条件不变 当母群体或 样本的标准差愈大时 标准误愈大 当样本人数愈多时 标准误愈小 这就 是为什么取样时要尽量加大样本人数的道理 平均数的抽样分配具有一项基本特征 那就是 当样本人数 n 逐渐 增多时 平均数的抽样分配逐渐成为 常态分配 这个现象称为 中央极限 定理 central limit theorem 换言之 当样本人数够大时 我们就可以采用 常态分配的 Z 值来解释抽样分配之标准误的位置及其对应的面积 故也称为 Z 分配 Z distribution 但当样本人数少的时候 其分配情形却与常态分配不 尽相同 故小样本的抽样分配称为 t 分配 t distribution 就形状来看 t 分配也是钟形 对称的分配 但峰度比常态分配低 且两 端离横轴的距离较大 但因抽样分配是随样本人数而改变 故 t 分配的形状亦 因样本人数亦因样本人数之不同而异 当样本人数超过 120 时 t 分配就接近 常态分配 而可视同常态分配 t 分配的形状虽与样本人数有关 但实际决定 t 分配形状的却是 自由度 degree of freedom 简写为 df 所谓自由度 系 指样本的实际观察次数 即人数 中 能自由变动的次数 图 1 显示三个自 由度的 t 分配形状 其中 当自由度无限大时 df 无限大 即为常态分配 吴明清 2002 图 1 三个自由度不同的 t 分配 资料来源 教育研究 页 452 吴明清 2002 台北 五南 二 区间推估与信赖水平 以样本的统计量来估计母体的母数有两大类做法 一类是点估计 point estimation 另一类是区间估计 interval estimation 所谓点推估 是指估量 的结果只提示一个特定的值 a single value 这个值就称为 估值 12 estimate 如果估值确能适当显示母群体的特征 就称为 不偏估值 unbiased estimate 如果估值可能高估或低估母群体的母数 则称为 偏差 估值 biased estimate 所谓区间推估 是指估量的结果提示一定范围的值 a range of value 这个范围就称为估量区间 estimate interval 通常 作区间推估时 都涉及 一个可以信赖的比率 称为 信赖水平 confidence level 譬如 某一国小 全六年级月考成绩平均数之推估 当我们估量母群体的平均数在 75 85 之间时 我们认为母群体的平均数有 95 的机率会落在 75 85 之间 换言之 当我们 作此推估时 我们有 95 的信心 这个推估是正确的 反言之 估量错误的 可能性只有 5 在此种情况下 95 或 95 就是信赖水平 而 75 85 分 就是信赖区间 confidence interval 写成 CI95 因此 CI95 75 85 的意 思就是 在 95 的信赖水平时之信赖区间为 75 85 信赖水平愈大 则信赖区 间也愈大 故其结果错误可能性较小 但正确结果之精确性较低 反之 信 赖水平愈小 则信赖区间也愈小 故其错误可能性较大 但正确结果之精确 性较高 我们以图 2 来看 图 2 当 68 X 2 时之 95 及 99 推估信赖区间 资料来源 教育研究 页 457 吴明清 2002 台北 五南 图 2 包含 A B 两图 A 图是 95 的信赖区间 曲线下空白的部 分 就是信赖区间 64 08 71 92 所占的面积 斜线部分 右端占 2 5 左 端占 2 5 合为 5 这 5 也就是作上述估量时可能的错误机率 也称为 值 换言之 当 68 X 2 时 样本的平均数也可能大于 71 92 或 小于 64 08 这种情形出现的机率只有 5 采用相同的方式 可以解释 B 图的空白面积和斜线部分 由于 B 图中样本平均数大于 75 36 及小于 64 08 的机率各为 0 5 故作上述估量 CI 62 84 73 56 的错误机率只有 1 亦即 01 由此可以看出 信赖水平愈高 信赖区间愈大 但愈粗 略 吴明清 2002 李沛良 1988 Porter 1997 13 三 统计检定的程序与方法 统计检定 statistical test 是一种统计的程序 藉以确定基于样本数据 对母群体特征的估量之真实程度 由于母群体特征之估量常以假设的形式表 示 故统计检定也称为 假设检定 hypothesis testing 譬如 从五年级学 生 母群体 中随机抽取 50 人 样本 量其身高 平均数是 145 公分 如 果我们假设五年级学生的平均身高是 150 公分 那么这个假设 那么这个假 设 即 150 是不是可以接受 可靠的程度有多大 我们必须用统计的程 序来确定 才能厘清抽样机误与真正的差别 这个统计程序就是统计检定 统计检定有其逻辑的顺序 兹以母群体平均数之检定为例 提示统计 检定的基本步骤 并说明每一步骤中相关的概念或原理 吴明清 2002 1 确定研究问题并据以提出统计假设 教育研究应用统计方法来处理并分析研究资料 其目的是要回答研究 问题 research question 因此 在进行统计检定时 要明确列出研究 问题 然后根据研究问题形成统计假设 统计假设 statistical hypothesis 有两种形式 一称为 虚无假设 null hypothesis 一称 为 对立假设 alternative hypothesis 分别反映问题的两个可能答案 统计检定时 研究者都需要先提出虚无假设 接着提出对立假设 通常 研究者都期望拒绝虚无假设而接受对立假设 2 决定显著水平并找到临界值 样本平均数之所以异于母群体平均数的理由有二 其一是抽样误差 sampling error 也就是机误 random error 其二是真正差异 统计 检定的主要功用 就是在区分样本平均数与母群体平均数的差异 究竟 是抽样误差形成的 抑或是真正差异 通常 统计检定都以 95 或 99 的信赖水平为接受抽样误差的范围 凡在 95 或 99 的机率范围内出现 的样本平均数 即视为抽样误差的结果 故与母群体平均数没有差异 此时要接受虚无假设 若超过此机率范围的样本平均数 即视为真正差 异 此时要拒绝虚无假设 接受对立假设 图 3 显示此种关系 图 3 假设检定的信赖水平与拒斥区 资料来源 教育研究 页 466 吴明清 2002 台北 五南 14 图 3 包括 A B 两图 A 是单尾检定 B 是双尾检定 设 信赖水平定于 95 则 A B 两图空白的面积即为 95 若样本平 均数落在这个范围内 就要接受虚无假设 故空白部分称为 接受区 region of acceptance 若样本平均数落在这个范围外 就要拒绝虚无 假设 故斜线部分称为 拒绝区 region of rejection 但以图 A 及 图 B 来看 若母群体平均数为 样本平均数将有 5 的机会会落 在拒绝区内 这 5 就是我们拒绝虚无假设时错误的可能性 统计学上 称这种 拒绝虚无假设时的错误机率 为 显著水平 level of signficance 也称为 水平 alpha level 常用的显著水平是 05 或 01 换言之 若信赖水平是 95 则显著水平为 05 若信赖水平是 99 则显著水平为 01 所谓临界值 是指上图中 拒绝区与接受区交接点上的数值 通常 以标准分数作为临界值 如果是 Z 分配 就称为 临界 Z 值 critical value of Z 如果是 t 分配 则称为 临界 t 值 critical value of t 临界 Z 值或临界 t 值都要根据附录的表来查索 查阅 Z 值表时 要考 虑单尾或双尾检定 以及显著水平 查阅 t 值表时 要考虑自由度 单 尾或双尾检定 以及显著水平 3 计算检定统计数 在抽样分配中 以标准误为单位 显示样本分数离母群体平均数之距 离的数值 称为 检定统计数 test statistic 如在 Z 分配中 Z 值就 是检定统计数 而在 t 分配中 t 值就是统计检定数 4 比较检定统计数与临界值 在第 2 步骤中依据显著水平查表所得之临界 Z 值或临界 t 值 提示了 拒绝或接受虚无假设的标准 因此 在第 3 步骤中计算的检定统计数 Z 值或 t 值 须与临界值比较 若等与或大于临界值 则可拒绝虚 无假设 若检定统计数小于临界值 则需要接受虚无假设 5 做决定并解释结果 依据前一步骤比较检定统计数与临界值之大小 即可决定拒绝或接受 虚无假设 在应用统计检定处理数据时 要特别注意检定结果的错误类 型及其机率 盖统计检定的结果不外两种决定 一是拒绝虚无假设 一 是接受虚无假设 无论是拒绝或接受 都有错误的可能性 表 1 是一个 2 2 的双向表 横列表示两种决定 直行则代表虚无假设的真假 表 1 统计检定的可能结果 HO为真HO为假 拒绝 HO第一类错误 正确决定 1 接受 HO正确决定 1 第二类错误 资料来源 教育研究 页 474 吴明清 2002 台北 五南 15 我们通常犯的错误有两种 第一种错误是 如果虚无假设是真的 我 们却拒绝它 那就犯了 第一类错误 type I error 用 alpha 表 示 所以也称为 错误 第二种错误是 如果虚无假设是假的 但我 们却接受它 那就犯了 第二类错误 type error 用 beta 表 示 所以也称为 错误 三 具有外在效度 实验设计一开始的两个目标是内在效度和精确性 而实验设计的第三个 目标可以做有效的归纳称之为外在效度 Porter 1997 外在效度是指结果 的可概括性 即指被操纵因素 自变项 与结果 依变项 之间的关系 可 以普遍应用于其它不属于此一实验情境的程度 亦指实验能够推论到其它受 试者或其它情境的程度 所以是指实验的可推性 实验可推论性越大 代表 可适用性越高 外在效度也越高 王文科 1999 影响外在效度的因素 G Bracht G V Glass 提出两类威胁外在效度的 情形 即处理概括母群体与处理实验的情境 引自 Porter 1997 538 研究的结果可以用来概括他人的程度 称之为母群体外在效度 所要问 的问题为 期待受试者的母群体表现的方式 与样本实验受试者相似 生态 的外在效度涉及实验的效果概括于其它类似环境的条件程度 所要问的问题 是 在什么条件 即情境 处理 实验 依变项等 可期待得到相同的结果 以下将分别叙述影响外在效度的因素 王文科 1999 Porter 1997 一 母群体效度 研究者希望得自实验组受试者的研究发现 可概括为接受 研究的较大母群体 即指实验推论至母群体的程度 影响母群体 效度的因素如下 1 样本的代表性 sample typicality 研究的样本是否足以代表母群体 可藉由随机选择的方式 1 随机选择 在理想的实验 先建立一致性与列一个清单 这个清单是依据实 验假设去描述母群体 实验参与者从清单中被选择 每一个人被选择 的机会相等 这个程序称为随机选择 2 随机选择与随机分配 随机选择与随机分配提供两个明显不同的效用 随机选择藉由外 在效度提供动机 随机分配藉由内在效度提供动机 随机分配是实验 的基本成分 但因为费用和研究领域的关系 随机选择几乎不是实验 设计的部分 16 2 实验的可接近母群体 experimentally accessible population 与标的母 群体 target population 实验的可接近母群体是研究者在进行研究时 可运用的受试者母群体 标的母群体是研究者想将自发现的结论 所要应用的全部受试者母群体 3 心理学变项 psychological variables 与处理效应的交互 用 如两组实验的可接近母群体 无法代表相同的标的母群体 即使是类似 的研究也可能导致完全不同的结果 亦即在处理其中一组特征之间发生 的交互作用 不会发生在另一不同特征的组 二 生态的效度 研究者希望在其它实验的条件之下 仍可获得相同的发现 研究设计须能确定实验的效应 不受实验环境的约制 即指实验 推论至生活情境的程度 或其它类似的情境 影响生态效度的 因素如下 1 完整描述研究的运作与实验情境 唯有如此 读者才可以判断研究结果可以概括其它情境的 程度 情境的代表性是影响研究发现能被概括的因素 2 多重处理的干扰 在相同的或不同的研究中 对相同研究者 连续实施两种 含 以上 的处理 欲确定实验结果的原因 或仅把结果概括在一种处理的情境 不但有困难 有时也不可能 3 霍桑效应 受试者获知参与实验或受到特别照顾 而易于改进表现的 效果 谓之霍桑效应 教育上的研究为了避免霍桑效应 当 在比较传统的教材与新式计划时 实验组与控制组材料均被 标记为 实验材料 4 新奇性与破坏效应 17 实验的结果部分是由于处理具有新颖性 如有别于传统的旧教学法 令受试者好奇引发过度的热中造成 或实验处理异于常规 受试者无从 了解而造成破坏 5 实验者效应 受试者的行为 无意中受到实验者若干特征或行为的影响 6 前测的敏感性 如实施前测 部分实验的结果 会受到处理内容的影响 因而获得的实验结果 可能无法应用于未接受前测的群体 7 后测的敏感性 处理效应可能有潜伏性或有残余性 而在以后实施的实验测验中出现 8 临时事故与处理效应的交互作用 由于在实验期间发生的 无关的 事件 可能产生独特性的结果 9 依变项的测量 结果的概括与对依变项的确认以及测量这些变项选用的工具有关 10 测量时间与处理效应的交互作用 在两种不同的时间 测量依变项 可能产生不同的结果 在实施处 理之后立即观察得到的处理效应 与在稍后一段时间观察所得的不同 反之亦然 陆 实验研究法进行程序陆 实验研究法进行程序 任何一项完整的实验研究 都包含下列基本的步骤 陈龙安 庄明贞 2000 一 确定研究问题 二 陈述研究假设 三 设计实验进程 四 确定研究对象 五 选择研究工具 六 进行实验观察 七 整理分析资料 八 撰写研究报告 柒 实验误差控制柒 实验误差控制 18 一 实验控制的因素 实验研究时 研究者除了操纵某 些 变项 以了解另一 些 变项的 变化外 尚须进行控制的观察 其所要控制的因素 除了无关变项的控制之 外 主要的有 王文科 1999 一 对自变项的控制 二 对依变项的控制 三 对实验者的控制 四 对受试者的控制 五 对实验组与控制组的控制 六 对前测与后测的控制 七 对母群体的控制 八 对样本的控制 二 实验控制的方法 实验控制的方法根据学者的论点综合分述如下 引自王文科 1999 567 一 物理的控制 physical manipulation 物理控制的方式有器具的 手术的 药物的等方式 如将实验室隔音 利用单面透视玻璃 改变药品剂量等 二 选择的控制 为了控制无关变项的干扰 以避免影响实验的结果 研究者设法使实 验组与控制组在无关变项上 维持恒定的条件 例如实验者采相同程序 秉 持相同态度 运用相同设备进行 根据选择的控制亦有以下的方法 1 随机化 Randomization 又称随机分派 亦即利用随机的步骤把受试者分派到不同的组别去接 受不同的处理 这些受试者在未被分派之前 每一个人均有同等的机率 被分派到任何一组 随机化为消除传统偏见及减弱无关变项之影响力的 最有效因素 其目的在提升实验研究的内在效度 2 研究者自身控制 让同一群受试者每人均参加所有的不同实验处理 也可以控制因受试 间差异造成的偏误 利用受试者自身控制的实验设计 有时称为单一组 法或受试者内在设计或重复量数设计 其为提高实验研究之内在效度的 有效方法 但其易产生所谓的 累进误差 3 受试者配对 Matching Case 选择可能影响依变项的外在干扰变项为根据 将受试者加以配对 然 后再使用随机的步骤将同一配对组内的各受试者随机分派到不同的组别 如果配对得当 则实验结果较少受到无关变项的干扰 有利于提高实验 研究的内在效度 配对变项一定要和依变项有相当高相关 4 采用平衡对抗法 19 将一半受试者采用 ABBA 顺序 另一半受试者采用 BAAB 顺序处理 此种步骤不但可以控制累进误差的混淆 亦可抵消环境变项所引起的系 统误差 有助于提高实验研究的内在效度 四 统计的控制 采用共变量分析的统计控制 将实验组与控制组间的数个 变项 使用统计方法将它们最初的差异予以排除 亦即采用共变 量分析进行统计控制 其可以控制受试者间的差异 提高实验研 究的内在效度 1 排除变项法 即把干扰变项当作控制变项 如只选择男生为研究对象 如此只出现 一种性别 那在本研究中性别就不是一种变数 而是常数 但是研究结 果也只能推论到男生 2 多 因子设计法 受试者的个体变项会影响实验结果时 可将其纳入实验设计中 其目 的在排除个别差异变项对实验处理的混淆效果 换言之 由单因子实 验设计改为多因子实验设计 除了收控制之效 也可了解变项间交互 作用 中国教育学会 1989 陈龙安 庄明贞 2000 捌 实验设计类型捌 实验设计类型 一 前实验设计 preexperimental design 又称限度控制的实验设计 此实验设计 主要特征是使用单一实验组 缺少控制组 或使用不相等的 实验组做实验 其内在效度很低 郭生玉 1999 它经常是唯一可行的选择 但是比较无法确立因果关系 Christine Marlow 1996 2001 种类如下 以下设计模式之 X 为实验处理 Xo 为控制处理 O 测量 R 为随机分派 一 单组后测设计 一 单组后测设计 选择一些受试者 并给予实验处理 其缺点为缺乏对照 组 郭生玉 1999 本设计另一缺点为没有前测 即没有其它的处理可供比较 充其量仅能视为暂时作成的因果结论 如没有前测也难以下结论说行为已完 全改变 王文科 1999 设计模式如下 设计模式设计模式 X O 二 单组前后测设计单组前后测设计 本实验设计缺乏控制组做比较 且有前测经验影响 故产生许多影响因素混淆实验结果 郭生玉 1999 影响本设计最严重的因 20 素是临时变故 因为缺乏控制组或比较组 研究者无法确定在前测与后测之 间是否有其它事件介入 影响了实验结果 王文科 1999 设计模式如下 设计模式设计模式 O1 X O2 三 静态组比较设计 三 静态组比较设计 其为多增设一组以兹比较 但两组受试者在各方面特 质并不相等 意即未使用随机抽样方式选取受试者 也未随机分派至两组 设计模式如下 设计模式设计模式 X O1 O2 二 真实验设计 true experimental design 又称适当控制实验设计 此种设计几乎控制所有影响内在效度的因素 设计特征其一为除实验组 外 另设一组供比较的控制组 其二为经随机抽样及随机分派受试者 种类 胪列如下 一 等组前后测设计等组前后测设计 其为单组前后测设计的延伸 一是增加控制组 二是 受试者随机分派于每一组 此实验设计内在效度高 但外在效度较低 设计 模式如下 设计模式设计模式 R O1 X O2 实验组实验组 R O3 X O4 控制组控制组 二 等组后测设计等组后测设计 此实验设计除无须施予前测外 与前一等组前后测设计 无异 此设计可避免因前测经验所产生的测验的反作用效果 设计模式如下 设计模式设计模式 R X O1 O2 三 四个等组设计四个等组设计 可视为等组后测及等组前后测设计的综合 系由所罗门 首先创用 故又称为所罗门四组设计 其为最严谨的实验设计 但四组实验 工程浩大 恐浪费资源 设计模式如下 设计模式设计模式 R O1 X O2 实验组实验组 R O3 O4 控制组控制组 R X O5 实验组实验组 R O6 控制组控制组 三 多因子实验设计 其可以在一次研究设计中同时控制两个或以上实验变项对依变项之影响 的设计 可提供自变项对依变项单独的主要影响效果 而且亦可提供这些自 变项对依变项的交互作用效果 in teraction effects 其可同时考验数个假设 种类如下 一一 独立样本多因子设计独立样本多因子设计 此种设计实际上是前述的等组后测设计的推广应用 只要在设计中多增加一个或以上的实验变项 即为此设计教学方法 以表 2 为一范例 21 表 2 独立样本多因子设计模式范例 讨论法讨论法 讲述法讲述法 第一组第一组 第二组第二组学习情境学习情境 高焦虑高焦虑 低焦虑低焦虑第三组第三组 第四组第四组 资料来源 心理与教育研究法 页 338 郭生玉 1999 台北 精华 二二 非独立样本多因子设计非独立样本多因子设计 在此设计中 几个自变项中有一个是属于重复量 数 repeated measures 意即同一个受试者在这个自变项上须重复接受几种不 同的实验处理 以表 3 为一范例 表 3 非独立样本多因子设计模式范例 学习情境学习情境 受试受试 问题性质问题性质 受受 试试 高度焦虑高度焦虑 适度焦虑适度焦虑低度焦虑低度焦虑横列平均值横列平均值 理解性问题理解性问题1 5 记忆性问题记忆性问题6 10 纵行平均值纵行平均值 资料来源 心理与教育研究法 页 338 郭生玉 1999 台北 精华 四 准实验设计 研究者在研究中 无法随心所欲的在实验情境中采取随机抽样方法 分 派至受试者并控制实验情境 如在现实教育情境中 碍于行政上的理由 无 法打破班级界线 研究者无法采用随机化原则 此时所使用之实验设计即称 为准实验研究法 郭生玉 1999 类型如下 一 不相等控制组设计不相等控制组设计 其为前即 等组前后测设计的综 合 使用之统计方法为共变量分析 设计模式设计模式 O1 X O2 O3 O4 二 等时间样本设计等时间样本设计 适用于只有一组受试者可被用为实验对象的情况 主 要特征为实验处理与控制处理在相等的时间内交互间格出现 每位受试者均 重复接受这些处理 设计模式设计模式 X1O1 XoO2 X1O3 XoO4 三 对抗平衡设计 三 对抗平衡设计 此设计旨在利用轮换方式 将每种实验处理都呈现给每 一组研究对象 藉以制衡每组之间的实验误差 当研究者必须使用原班级而 不能随机分派受试者 或可利用的研究对象有限 没有前测及实验处理有多 22 种时 可以应用此种设计 设计模式如下 郭生玉 1999 设计模式设计模式 1 2 3 4 组别组别 A X1O X2O X3O X4O B X2O X4O X1O X3O C X3O X1O X4O X2O D X4O X3O X2O X1O 四 时间系列设计时间系列设计 time series design 当只有一组受试者可接受实验处理时 其特色是在实验处理的前后 受试者要接受一系列的定期性前测及后测 郭生 玉 1999 时间系列设计的优点是它能发现实验处理前后数据的变化趋势 Christine Marlow 1996 2001 设计模式如下 设计模式设计模式 O1O2O3O4 X O5O6O7O8 综合上述之各实验设计之介绍 仅以表 4 及表 5 分析 各实验研究设计内外在效度之比较 以分析其优缺点 23 表 4 各种前 真实验设计的内外在效度 资料来源 心理与教育研究法 页 331 郭生玉 1999 台北 精华 表 5 各类型准实验研究设计的内外在效度 24 资料来源 心理与教育研究法 页 358 郭生玉 1999 台北 精华 玖 实验研究法适用工具玖 实验研究法适用工具 一 各量尺适用之统计工具 将各量尺适用之统计工具以表 6 加以说明 表 6 各量尺适用之统计工具 内在效度外在效度 同 时 事 件 成 熟 测 验 测 量 工 具 统 计 回 归 差 异 的 选 择 受 试 的 流 失 选 择 与 成 熟 的 交 互 作 用 测 验 的 反 作 用 效 果 选 择 偏 差 的 交 互 效 果 实 验 安 排 的 反 作 用 效 果 多 重 实 验 处 理 的 干 扰 不相等控制组设计 O1XO2 O3XO4 相等时间样本设计 X1O1 X0O2 X1O3 X0O4 对抗平衡设计 X1O X2O X3O X4O X2O X4O X1O X3O X3O X1O X4O X2O X4O X3O X2O X1O 时间系列设计 O1O2O3O4 X O5O6O7O8 25 资料来源 教育研究法 页 651 王文科 1999 台北 五南 二 实验研究法常用的统计 实验研究法常用的统计 分述说明如下 王文科 1999 李沛良 1988 吴忠武 2001 吴明清 2002 李卓伟 1999 林真真 2002 一 t 考验 用来考验两个母体平均数间差异的显著性 1 独立样本 两组样本互相独立无任何相关性 ex 讲述法与计算机辅助教学法之平均成绩是否有显著差异 2 相关样本 如果两组样本之间有关联存在 例如以配对法将同卵双 生子随机分派至两组样本 或同一受试者接受两次测量 此时两组配 对样本或两次测验之间有相关存在 故称为关联样本 correlated samples ex 有二十名学生参加补救教学前之成绩与补教教学后之成绩 是否 有差异 二 变异数分析 变异数分析是一种适用于依变项一个 且为连续变项 自变项一个以上 且为类别变项 针对不同平均数间之差异进行显著性考验 亦即可检定数个平均数是否相同的假设 1 单因子变异数分析 one way ANOVA 自变项数量为一个的情形 分析一个自变项的不同处理方式 对某变项的影响 称之为单因子变 异数分析 ex 研究者要比较个别化教学 同侪交互影响教学 以及传统教学等 方式对于学生学习数学成绩的影响 30 个学生随机分派到三组 每 组 10 个 实施一学期的教学后 施予 20 题测验 2 双因子变异数分析 two way ANOVA 自变项数量为两个的情形 量尺过程数据处理 适用的考验组数 类别分类计数卡方考验 2 顺序按顺序排列等级 无母数 斯皮尔曼等级相关 2 独立样本等距 T 考验 相关样本 单因子 变异数分析 多因子 等比 测量等距 没有真正的零 测量等距 真正的零 比率关系 母数 共变量分析 因素分析 皮尔逊相关系数 雪费检定 2 2 2