实验的效度和信度.ppt

第三节实验效度和信度 实验研究的效度 实验效度是指实验方法能达到实验目的的程度 主要包括内部效度和外部效度 构念效度 实验研究假设和测量指标的理论构思及其操作化问题 即理论构思及其转换的有效性 一 内部效度及其影响因素 实验的内部效度是指实验中的自变量与因变量之间的因果关系的明确程度 内部效度高 意味着因变量的变化由特定的自变量引起的 要使实验具有较高的内部效度 就必须控制各种额外变量 内部效度的影响因素 主试 被试间的相互作用要求特征和实验者效应统计回归其他影响内部效度的因素固有的和习得的差异被试的选择偏性被试的流失本身的生长和成熟实验程序和控制方式的不一致测量程度的变化 二 实验的外部效度及其影响因素 实验的外部效度是指实验结果能够普遍推论到样本的总体和其他同类现象中去的程度 即实验结果的普遍代表性和适用性 以人的行为为对象所获得的实验结果 其推论法往往有相当的局限性 实验的外部效度主要受下列三方面的影响 1 实验环境的人为性 实验是在控制条件下进行的 实验环境的人为性可能使某些实验结果难以用来解释日常生活中的行为现象 实验室中的仪器设备会影响被试者的典型行为 被试者参与实验的动机也会影响其行为表现 而在实验室之外的日常生活中 就不会有这些因素的影响 因此 实验结果还不能完全等同于实验室之外的日常行为现象 2 被试者样本缺乏代表性 从理论上讲 从事于实验的被试者必须具有代表性 必须从将来预期推论 解释同类行为现象的总体中进行随机取样 但实际上这是很难做到的 因为 如果总体很大 即使能够随机取样 但心理学实验的被试者通常是自愿的 所以也很难把被随机选上的人全都请来做实验 如果总体是无限的 例如 七岁儿童 就是一个无限的总体 其包括过去的 现在的 将来的所有七岁儿童 随机取样实际上是行不通的 这样的实验结果自然会降低其外部效度 3 测量工具的局限性 实验者对实验变量 即自变量 和反应变量的操作性定义往往以所使用的测量工具的测量结果来加以考虑的 例如 把成就动机作为一个因变量 实验者常以某种成就动机量表所测得的分数来界定并评定其强度 但成就动机的测量工具有各种不同的形式 所测量出的分数并不代表同一种成就动机及其强度 如果在实验时采用的是某一种成就动机的量表 那么所得出的实验结果便不能推论到采用其他成就动机的量表的情况中去 实验的内部效度和外部效度是相互联系 相互影响的 提高实验内部效度的措施可能会降低其外部效度 而提高实验外部效度的措施又可能会降低其内部效度 这两种效度的相对重要性 主要取决于实验的目的和实验的要求 一般而言 在实验中控制额外变量的程度越大 则对因果关系的测量就越有效 因此 可以在保证实验内部效度的前题下 采取适当措施以提高外部效度 实验研究的信度 实验信度是指实验结论的可靠性和前后一致性程度 影响实验信度的因素观察量 观察量越大 我们就越有理由相信样本统计值接近总体参数值 也就是样本更能够代表其所在的总体 统计检验 关于类比问题解决的研究 邓克肿瘤问题 假如你是医生 面临着一个胃内有恶性肿瘤的病人 在肿瘤上不能动手术 但是 肿瘤不切除 病人就会死去 有一种辐射能摧毁肿瘤 如果辐射以足够高的强度立刻到达肿瘤 肿瘤会被摧毁 但不幸的是 当高强度的辐射经过机体的其他地方时 健康的组织同时也被摧毁 低辐射条件下 射线对健康肌体无害 但也不能对肿癌起作用 我们应该用什么类型的辐射去摧毁肿瘤同时又避免伤害健康的组织呢 Gick和Holyoak 1980 吉克和霍利约克的研究 研究一 最早研究中 45个被试只有2个 4 提出了 会聚解决法 他们想研究 当在辐射问题前先给出一个类似的问题及其解决办法时 是否会有更多的人能解决这个问题 即是否被试能从第一个问题中抽象出指导原则 然后运用到第二个中去 基于这种想法 吉克和霍利约克提出了其他的 类比故事 这些类比故事蕴涵着高效解决辐射问题的基本原则 类比故事 指挥官故事 一支坦克部队的指挥官要向敌军司令部 要塞 发起攻击 如果用许多坦克 他赢的机会很大 但他的部队必须经过又窄又不牢仅能通过少数坦克的桥 因此只能用少量的坦克发起袭击 但易被敌方击退 为了取得胜利 这支坦克部队指挥官制订了一个让坦克分别通过每座小桥包围敌司令部的计划 这样 所有坦克都能立刻过桥攻击和占领敌司令部 实验设计 三种实验处理 解决问题前没有阅读指挥官故事 解决问题前阅读无关故事 解决问题前阅读指挥官故事 前两种条件下 实验结果 在解决辐射问题前没有阅读故事或阅读无关故事的被试仅有大约10 是用最有效的方法解决问题的 在解决辐射问题之前阅读过类比故事 的被试约有75 在时间限度内解决了问题 由于几个实验都得出了这样的结果 因此可以说这一基本现象是经过反复验证过了的 显然 人们的问题解决能从类比中受益 提示是否有助于解释类比推理问题 研究二 吉克和霍利约克 1980 思考了类比推理的过程 他们让所有被试读类比故事 然后解决辐射问题 他们设置了两种条件 提示条件 提示利用故事作为提示考虑怎样解决问题 无提示条件 不提示被试刚读过的故事与他即将面临的问题解决任务之间存在的联系 结果显示 提示确实是解决类比推理问题的一个重要因素 提示组92 的被试解决了问题 无提示组仅有20 可见 只给出类比是不够的 还必须引导被试在试图解决后一问题时要积极利用它 第17页 类比问题解决实验的信度问题 结果是真的吗 如果重做这个实验 还会得到与之相同的结果吗 考察实验信度的方法 1 推断统计2 实验验证 1 推断统计 推断统计用于确定两种条件的结果差别是由自变量还是随机因素造成的 如果不同实验条件下所得出的结果之间差异很大 而且这种差异由偶然因素导致的概率低于5 时 研究者可以排除偶然因素导致该结果的可能性 而认为结果是由自变量造成的 吉克和霍利约克的实验中有无提示条件的结果 他们运用推断统计得出 两组间解决问题百分比的差异不是由偶然因素 而是由实验中是否有提示条件造成的 因此 我们可根据这个统计检验得出差异具有统计信度 统计推断的问题 重复一次抵得上一千次t检验 尽管结论在统计上被认为是可信的 但由偶然因素 统计信度仍保留5 的错误概率 一些末被注意到的混淆因素 或者实验者误差所造成错误的可能性仍然存在 例如 大多数聪明的被试碰巧被分到一种条件中 2 实验验证 三种实验验证方法 直接验证 系统验证 概念验证 直接验证 直接验证是指在尽可能保持原实验方法的情况下在实际中重复它 例如 如果我们想要尽可能准确地重复吉克和霍利约克 1980 关于提示是否有助于类比迁移的实验 就构成对他们实验的直接验证 系统验证 所谓系统验证 就是系统变化那些被认为与实验结果不相关的因素 考察是否会出现同样的实验结果 也就是说 如果原始实验中发现的某种现象是真的 那么 尽管重做中一些因素发生了变化 但它仍然该出现 前面提到的吉克和霍利约克的研究中 研究二就可以看作是对研究一的系统验证 概念验证 所谓概念验证 就是根据一个较为抽象的概念或者理论模型设计实验 验证实验结果 吉克和霍利约克 1983 关于正迁移的条件的研究 他们想考察迁移量是否随着被试加工类比故事的方式的不同而发生变化 实验材料 辐射问题和另一个别的问题 两个问题的类比故事 实验设计 控制条件 只呈现类比故事而不带任何指导语 告诉被试概述故事而不要为了回忆测验而学习 是否以言语或文字的形式给出被试这一故事所表达的道理和它的策略本质 把图解和故事一起呈现给被试 实验结果 正迁移量没有发生变化 进一步的研究 吉克相霍利约克 1983 发现 当被试学习两个类比故事并亲自描述其相似性 在问题前给出 时 产生的正迁移要比只是学习一个大得多 他们认为 被试学习两个类比故事 然后思考其相似性能产生好的内在观念 或用他们话说 图式 这一观念能自动地用于解决新问题 尽管吉克和留利约克 1983 的实验并