《传播研究方法》第九讲.ppt

传播研究方法 第三部分 观察的方法 第九讲 实验法 中国青年政治学院 赵菁 2015年11月12日 本讲概要 适合于实验法的议题 实验法构成要素 实验设计类型 实验研究中的效度问题 实验设计符号 其他实验环境 有关道德伦理 实验法的优缺点 一、适于实验法的议题 适合于范围有限、界定明确的概念和假设 ； 更适合于解释，而不适合于描述； 研究小群体互动 二、实验法构成要素 三对成分： 自变量与因变量 前测与后测 实验组与控制组 二、实验法构成要素 自变量（Independent Variable/Treatment） 实验中的刺激因素； 具有两种属性的“二分变量”，比较出现刺激和不出现 刺激所导致的结果的差异。 因变量（Dependent Variable） 受试者对于刺激的反应（身体状况、社会行为、态度 、感受、信念） 例如：种族偏见与黑人历史 二、实验法构成要素 前测（Pretest） 在引入刺激因素之前对因变量的测量 后测（posttest） 在引入刺激因素以后对因变量的测量 因变量前后测之间的差异，被视为自变量的影响力。 例如：种族偏见与黑人历史 问题： 即使受试者的态度没有变化，第二次答卷时的反应也 会不同。 研究行为本身可能改变研究对象。 霍桑实验（Hawthorne effect） 20年代晚期-30年代早期，研 究位于伊利诺伊州芝加哥市郊 霍桑的西部电器工厂“电话配线 机房”的工作条件。 F改善工作条件（如照明），员工 满足感与生产力都大幅提高； F但是，将灯光转暗，生产力仍然 跟着提高！ F与其说配线机房工人因工作条件 改善而工作得更好，不如说是研 究者对他们的注意引起了他们的 反应“霍桑效应”。 二、实验法构成要素 控制组（Control group） 对照组，在试验中没有被施以刺激的受试者，但在其 他方面和实验组一样。 目的：1）发现实验本身的影响。例如：医学新药的发 明；2）排除实验进行过程中外在事件的影响。 实验组（Experimental group） 在试验中被施以刺激的受试者。 例如：种族偏见与黑人历史 F如果后测显示控制组全体所表现的偏见程度降低水平 和实验组一样，那么偏见的减弱，是实验本身或其他 外在因素【如，一位有声望的黑人领袖正好在实验期 间遇刺身亡】的影响，而不是影片的作用； F如果只有实验组偏见减弱，应视为看影片的效果，因 为这是两组唯一的差异。 F如果实验组比控制组偏见减弱得更加明显，也可看做 是影片的作用和影响。 基础实验设计图示 假设 刺激 比较结果 双盲实验（Double-blind Experiments） 双盲实验：受试者和实验者都不知道哪些是实验 组，哪些是对照组的一种实验设计。 目的：控制研究者的预期 与受试者直接联系的实验人员并不了解实验刺激因素 或研究假设的细节； 受试者也不知道自己属于实验组还是控制组 例如：研究一种新药是否有效？研究人员将新药装在 黄色的药丸内；将老药放入粉色的药丸内；将安慰剂 【placebo，看似为真的假的刺激】放入绿色的药丸内 。分发药片的实验人员并不知道哪种颜色的药丸里装 有新药。 练习 在最简单的实验设计中, 受试者暴露在一 个_环境中，以_名义 得以测量。 A.前测；后测 B.流动的；静止的 C.自变量；因变量 D.因变量；自变量 练习 实验刺激所施加的组别称为 _ A.控制组 B.实验组 C.目的组 D.三位一体组 选择受试者 受试者（Subjects）：实验研究的参与者 受试者是否具有代表性【以大学生为受试者】？ 大学生并不代表一般民众； 但是，与描述性研究相比，这种潜在的缺陷在解释性 研究中并不显著。 如果研究发现观看纪录片可以减弱大学生的偏见，那 么我们也会有信心认为它对一般社区也具有类似效果 。 n实验组与控制组是否有可比性？ 理想状态：控制组应等同于未面对实验刺激的实验组 。二者应尽可能相似。 选择受试者 随机分配（Random Assignment） N100,则样本代表性不够； 因此，对于比较大的人群，实验法很少采取概率抽样； 但是，在分配受试者时，研究者还是利用到随机抽样的逻辑 选择受试者 随机分配（Random Assignment） 原因： 1.有效的比较取决于两组受试者基本相似； 2.无偏：确保研究假设或个人偏好不会影响分组选择程序 ； 3.随机分配受试者到各组，确保受试者有相同的概率； 4.将一些混淆变量（confounding variables）同等化。 选择受试者 随机分配（Random Assignment） 方法：招募到全部受试者后，实验人员随机地将受 试者分派到实验组或控制组。 1.将所有受试者编号，利用随机数表选取号码； 2.将奇数受试者分到实验组，偶数受试者分到控制组； 3.将所有受试者的名字写在每一张小纸条上，混合好，放 进帽子里，先抽取的一半为实验组；后抽取的一半为控 制组； 4. 选择受试者 配对（Matching） 目的：实验组的整体平均特征应与控制组相同 。 制作一个由所有最相关特征组成的配对矩阵，完成全 部配对过程【配对矩阵实例】。 招募比实验设计要求的更多的受试者。考察这些初选 受试者的诸多特征，每发现一对相似的受试者，就随 机把一人分派到实验组，一人分派到控制组；完全与 众不同的受试者，排除在外。 问题：弱化了研究的概括性 配对矩阵实例 问题：到底配对应依 据哪些变量进行？ 练习 将实验被试随机地分为控制组与实验组的 技术称为：_ A.非概率分析 B.配对 C.随机化 D.都不是 三、实验设计类型 对实验的控制 原则：尽可能地控制实验的所有方面，以分隔出自变 量的效果，以及消除其他可能的解释。 方式：欺骗（deception）-研究人员通过口头或书面 指导、他人的行为、对实验场景的布置，故意误导受 试者，以控制实验环境。 引发研究伦理问题 三、实验设计类型 古典实验（Classical Experiment Design） 有：随机分配、前测、后测、实验组、控制组 例： 1）餐厅对40位新入职服务员进行两个小时的培训； 2）将之随机分为两组，每组20人； 3）让40位新服务员在餐厅工作，实验研究员记录下一个月内 所有受试者所收到的小费数目； 4）重新培训第一组20名员工，指导他们服务顾客时先介绍自 己的称呼，并在顾客用餐8-10分钟后返回，询问顾客“菜品 还合适吗？有没有需要帮忙的？” 5）第二组20名员工不予以重新培训，继续工作； 6）再过一个月，实验研究员再次记录两组员工收到的小费数 目。 前测 实验组 控制组 后测 三、实验设计类型 前实验研究设计（Preexperimental Designs） 单次研究设计（One-shot case study） - 只有一 组受试者，在接受实验刺激之后直接接受有关因 变量的测量。 单组前后测设计（One-group pretest-posttest design） - 实验组加上前测，但没有控制组。 静态组间比较（Static-group comparison） - 有 实验组、控制组，但没有前测。 三、实验设计类型 单次研究设计（One-shot case study design） ：只有一组受试者，在接受实验刺激之后直接 接受有关因变量的测量。 有：实验组、后测；【单组后测设计】 例： 1）餐厅对40位新入职服务员进行两个小时的培训，指导他们 服务顾客时先介绍自己的称呼，并在顾客用餐8-10分钟后返 回，询问顾客“菜品还合适吗？有没有需要帮忙的？ 2）让40位新服务员在餐厅工作，实验研究员记录下一个月内 所有受试者所收到的小费数目。 例：种族偏见与黑人历史 实验组 后测 单次研究设计（One-Shot Case Study） 一个在运动中的人看起来体型适中。 锻炼有助于身材塑型？ 影片减弱了偏见？ 对餐厅服务员的培训就收到小费数额而言很有效 果？ 少了前测，不能确定 三、实验设计类型 单组前后测设计（One-group pretest-posttest design）：实验组加上前测，但没有控制组。 有：实验组、前测、后测 例： 1）餐厅对40位新入职服务员进行两个小时的培训； 2）让40位新服务员在餐厅工作，实验研究员记录下一个月内 所有受试者所收到的小费数目； 3）重新培训40名员工，指导他们服务顾客时先介绍自己的称 呼，并在顾客用餐8-10分钟后返回，询问顾客“菜品还合适 吗？有没有需要帮忙的？” 4）再过一个月，实验研究员再次记录40名员工收到的小费数 目。 例：种族偏见与黑人历史 实验组 前测 刺激 后测 单组前后测设计（One-Group Pretest-Posttest Design） 一个超重的人运动后看起来体型适中 对于单次研究设计的改进 自变量以外的 某些因素可能 会引起前后测 之间的变化 三、实验设计类型 静态组间比较（static-group comparison）：有实验组 、控制组，但没有前测。 有：实验组、控制组、后测 例： 1）餐厅对40位新入职服务员进行两个小时的培训； 2）将之随机分为两组，每组20人； 3）让40位新服务员在餐厅工作； 4）重新培训第一组20名员工，指导他们服务顾客时先介绍自己的称 呼，并在顾客用餐8-10分钟后返回，询问顾客“菜品还合适吗？有 没有需要帮忙的？” 5）第二组20名员工不予以重新培训，继续工作； 6）再过一个月，实验研究员记录两组员工收到的小费数目。 例：种族偏见与黑人历史 实验组、 刺激 控制组 后测 静态组间比较（Static-Group Comparison） 一个运动的人看起来瘦，而另一个不运动的人则超重； 看过黑人历史电影的一组，比没看过黑人历史电影的组别种族偏见 更低； 经过重新培训的一组，比没经过重新培训的组别收到小费更多。 除非随机分配 受试者，否则 无从知道两组 在实验前是否 持有同样深的 偏见/体重/小费 练习 在单组前后测设计中，所缺失的是什么？ A.EPSEM B.实验组 C.控制组 D.都不是 练习：比较古典实验及其变体 设计随机分配前测后测控制组实验组 古典 单次研究设计 单组前后测设计 静态组间比较 YYYYY NNYNY NYYNY NNYYY 四、实验研究中的效度问题 内在效度（Internal validity）：假设的自变量独 自对因变量发生影响。 内在无效度（Internal invalidty）：实验以外的 其他变量，而不是假设的自变量，对因变量发 生影响。实验结论没能准确反映实验本身。 四、实验研究中的效度问题 内在无效度的13个来源： 1.历史事件（History）：在实验过程中发生的历史 事件将实验结果弄得混淆不清。 例如：单组前后测设计，关于黑人的偏见的实验，一名 黑人领袖遇刺；或美国黑人领袖因十恶不赦的罪行被捕 。 关于对太空旅行态度的实验研究，研究期间一艘宇宙飞 船在返回着陆时爆炸，所有宇航员都遇难。 常发生在持续很长时间的实验中（如，持续两周、一个 月）。 四、实验研究中的效度问题 内在无效度的13个来源： 2.成熟（Maturation）：人们不论是否参与实验，都 在不断成熟和改变。而此类变化将影响实验结果。 例如：在关于测试受试者推理能力的实验中，受试者由 于困倦，导致结果偏低； 例如：测试受试者的数学能力，在长时期的实验中，受 试者年龄增长。 常发生在长时间的实验中。 四、实验研究中的效度问题 内在无效度的13个来源： 3.测验（Testing）：实验中的前测或一测再测影响 人的行为，进而混淆实验结果。 例如：发放问卷给一组人测量其偏见/数学能力。做后测 时，受试者可能对偏见问题已经变得很敏感/记得试题， 在回答时会更加深思熟虑。 4.测量工具（Instrumentation）：采用不同的测量 工具测量因变量，导致实验结果不同【测量的稳定 性】。 例如：前测使用的测量工具比后测的测量工具更敏锐【 测量体重，秤没电了】 四、实验研究中的效度问题 内在无效度的13个来源： 5.统计回归（Statistical regression）： 受试者在测量变量中本处于极端位置，不可能在在极端 的方向上前进。他们发生的变化会让人误以为是实验刺 激的效果。 例如：测试一种新的数学教学法能够改进教学效果 ，找来原先数学奇差的学生做实验。 例如：测试暴力电影是否让人更暴力，以监狱中重 犯为实验组，以正常人为控制组。前测刺激：暴 力电影后测，发现监狱重犯看完暴力电影后暴力 倾向反而降低；而没有看电影的控制组（正常人） 反而暴力倾向更重。 四、实验研究中的效度问题 内在无效度的13个来源： 6.选择偏好（Selection Bias）： 研究初始，将受试者分为实验组和控制组时，没有采取 随机化的方法，导致两组不对等。一组中的特征变量影 响了结果。 例如：测量身体攻击性，实验组成员全部为运动员 ，控制组成员全部为艺术家 7.实验死亡率（Experimental mortality）： 实验受试者在实验完成之前退出，将影响统计分析的结 论。 实验组与控制组分别接受前测和后测。假设实验组 中比较固执的人觉得受到了黑人历史影片的冒犯， 生气地拂袖而去。能够留下来接受后测的研究对象 ，一定偏见程度相对较轻。 减体重的实验项目，50位受试者最终只留下30位。 这30个人体重都明显减轻。但离开的20位如何？ 四、实验研究中的效度问题 内在无效度的13个来源： 8.因果时序（Causal time-order）： 分不清刺激和因变量孰先孰后，一旦因果关系不明，刺 激导致因变量变化的研究结论就可能受到挑战，因为可 能是“因变量”的变化引起了刺激的变化。 9.实验处理中的传播与模仿（Diffusion or imitation of treatments/ Contamination）： 实验组与控制组之间互相沟通，使得控制组受到了影响/ 污染。 实验组成员跟控制组成员谈到那部关于黑人历史的 影片； 一项有关新单词记忆法效果的实验研究，休息间隙 实验组成员告诉控制组成员他们所采取的新方法。 四、实验研究中的效度问题 内在无效度的13个来源： 10.补偿（Compensation）： 现实生活中的实验，控制组成员常被剥夺某种有价值的 东西。此种情况下，研究人员为其提供补偿，会影响实 验结果。 医院员工觉得对不起医学实验控制组的患者，而对 他们在护理上格外“和蔼关爱”。 11.补偿性竞争（Compensatory rivalry）： 现实生活中参与实验，被剥夺了实验刺激的控制组成员 可能通过更加努力地工作进行补偿。 假设数学教学计划是实验刺激，控制组可能比从前 更用功学习数学，企图打败那些接受“特殊”实验的学 生。 四、实验研究中的效度问题 内在无效度的13个来源： 12.自暴自弃（Demoralization）： 控制组觉得受到差别待遇，也可能因此自暴自弃。自甘 堕落的控制组成员可能会停止读书，寻衅滋事。 13.实验者预期（Experimenter Expectancy）： 研究人员以非直接地方式将实验预期传达给被试者，从 而引起其行为的改变。 例：研究对残疾人反应的学者深信，女性比男性更加同 情残疾人。该学者通过眼神接触、声音、及其他非语言 交流方式，无意识地鼓励女性参与者报告对于残疾人积 极的感情。 古典实验：运用黑人历史影片降低偏见 防止历史问题：不论外界发生什么事，实验组与控制组都可能受到影响，因此， 两组后测得到的结果仍应该有差异； 防止成熟/统计回归/选择偏好问题：只要受试者是随机分派的两组； 防止测验本身和测量工具：实验组与控制组共同接受测验和实验主持人的影响； 防止因果时序：严格控制实验设计； 防止传播：严加隔离实验组与控制组； 观察补偿性竞争与自暴自弃 四、实验研究中的效度问题 外在效度（External Validity）：将实验结果概括到 “现实”世界的能力。 提问：即使实验结果正确地反映了实验过程，又真 的能告诉我们社会生活百态吗？ 四、实验研究中的效度问题 外在无效度的来源：交互作用（Reactivity） 研究参与者由于知道他们正在被研究，其行为反应 可能与现实生活中不同。【实验情境与刺激之间产 生交互作用】 例如：霍桑实验（Hawthorne effect） 例如：观看黑人历史影片与偏见的研究中，假设在古典实验条 件下，实验组后测的偏见程度比前测有所减轻，我们能确信这 部影片的观看确实降低了受试者偏见。但是，如果这部影片拿 到电视上或影院里放映，能同样有效吗？ 四、实验研究中的效度问题 控制外在无效度的方法 1.所罗门四组设计（Solomon four-group design） 处理前测问题 涉及四组受试者，从一群人中随机分派 第一组与第二组构成古典实验设计 第三组只接受实验刺激和后测 第四组只接受后测 所罗门四组设计 古典 实验 设计 两组 后测 实验 四组 随机 分配 四、实验研究中的效度问题 控制外在无效度的方法 1.所罗门四组设计（Solomon four-group design） 如果观看黑人历史影片确实能够减轻偏见【排除内 在无效度和实验本身与刺激之间的交互作用】，预 期会有四项发现: 1.第一组后测所显示的偏见程度应比前测轻； 2.第一组后测所显示的偏见程度应比第二组后测轻； 3.第三组后测所显示的偏见程度应比第二组前测轻； 4.第三组后测所显示的偏见程度应比第四组轻。 四、实验研究中的效度问题 控制外在无效度的方法 2.仅有后测的控制组设计（Posttest-only control group design） 所罗门四组设计中的后半部分（第三、四组）构成； 与静态组间比较唯一的区别：受试者被随机分派到实验组与控 制组中； 如果真正做到随机分派【两组在因变量上具有可比性，没有必 要对他们进行测量】，真正的实验只需要三、四两组即可以应 付内在无效度问题以及实验与刺激之间的交互作用。 五、实验设计符号 O=对于因变量的观察/测试 X=刺激因素；自变量 R=随机分配 设计名称设计符号 古典实验设计 O X O R O O 单次研究设计 单组前后测设计 静态组间比较 仅有后测的控制 组设计 所罗门四组实验 设计 X O O X O X O O R X O O O X O R O O X O O 提问 古典实验设计与所罗门四组实验设计有何 区别？ A.没有区别. B.所罗门四组实验设计在古典实验设计的 基础上，添加了没有前测的群体 。 C.所罗门四组实验设计在古典实验设计的 基础上，添加了没有后测的群体。 六、其他实验环境 “自然”实验法（Natural Experiment） 许多重要的社会科学实