实验研究的信度和效度.ppt

第二章 心理学实验研究基础 第三节 实验研究的信度和效度 n对于一篇实验报告，我们经常要思考： n研究的变量是什么？ n研究的结论是什么？ n这个结论是否站得住脚？ 对实验研究的评价 n实验是否有效、明确准确性、有效性 （效度） n实验是否可重复验证可信性、一致性 （信度） 实验研究效度 n实验目的：验证假设，验证自变量和因变量之间的关系 ，使实验结果的推论可用以解释和预测其他同类现象。 n由于不同的实验者在设计上和在对额外变量的控制程度 上极不相同，实验的效度也会有很大的不同。了解影响 实验效度的诸因素，将有助于我们评价实验设计的质量 ，提高实验设计的科学性。 n实验效度：指实验方法能够达到实验目的的程度，即实 验结果的准确性和有效性程度。 内部效度（Internal Validity） 外部效度（External Validity） 实验研究的效度 n1.内部效度 n实验中自变量的效应能被准确估计的程度，或者说 自变量和因变量之间关系的明确程度。 n如果对实验中的额外变量控制不充分，那么这些额 外因素的效应可能与自变量发生混淆，得出因果关 系的结论不完全有把握。此时就说该实验缺乏内在 效度。 n影响内部效度的一些因素？ 案例讨论一 n通过实验，研究体育锻炼对中学生身高增长 是否有影响： 随机选取入学的中学生200名，刚入学测的平均 身高145cm，然后在学校实行全校强化体育锻炼一年 ，再测这些学生平均很高为160cm，通过统计检验（ 配对t检验）发现身高增高显著，所以体育锻炼对中 学生身高增加是有积极作用的。 n该实验中自变量、因变量是什么？ n这个因果关系是否确定？为什么？ 影响内在效度的因素 n1.生长和成熟 n除了实验中的自变量可能使个体行为发生变化外，个体本身的 内部历程发生改变，即个体生长和成熟也是使其行为变化的重 要因素。特别是在以幼小的儿童为被试者而又采用单组前测后 测实验的情况下，生长和成熟因素的影响就更大。 n单组前测后测实验：通常是实验处理之前先对被试者的某种行 为作一次测量，实验处理后再以同样方法测量一次，两次测量 之差即表示实验变量（即自变量）产生的效果。 n局限：忽略了前后两次测量之间被试者的生长和成熟因素，其 实验效果易受生长和成熟因素的混淆，从而降低了内部效度。 n解决的主要办法是增设同样条件的控制组进行比较。 影响内在效度的因素 n2.历史（经历） n在实验的过程中，与实验变量同时发生，并对实验结 果产生影响的特定事件。研究者往往无法判断实验结 果是由处理（自变量引起）还是特定事件引起。 ne.g.：传统教学法与创新教学法对学习效果的影响 特定事件：创新教学法受关注，有专家听课，混进 有意辅助活动（教材） 案例讨论二 n研究放松训练对学生射击成绩是否有促进作用 。 n实验：随机选取30名学生，每个学生进行10次射击的初 步测试，得到每个人的初次平均成绩；初测后由教练安 排放松训练，放松后进行第二轮的10次测试，又得到每 个人的平均成绩。通过统计检验效果显著。 n自变量和因变量是什么？ n你相信该结论吗？为什么？ 影响内在效度的因素 n3.前测的影响 n研究者为了取得实验前被试的初始状态，常对被试实施前 测，可能会积极或消极的影响实验处理实施后的测验结果 。其中包括练习因素、临场经验、以及对实验目的的敏感 程度，从而影响了后测的成绩。特别是前后两次测量时间 较近，这一因素的影响就更显著。 ne.g.：体育老师的示范对立定跳成绩影响。 n前测 示范 后测 n比较前测与后测差异，结果？ n教师的提示讲解对应用题解答成绩的影响，也有学生在前 测中掌握的技巧与经验起作用 影响内在效度的因素 n4.被试的选择偏性 n在对被试者进行分组时，如果没有用随机取样和随 机分配的方法，在实验处理之前，他们在各方面并 不相等或有偏性，从而造成实验结果的混淆，因果 关系就不那么明确，降低了内部效度。 ne.g.: 在选择控制组和实验组的时候，男生一组、女生一组 ； 影响内在效度的因素 n5.被试的缺失 n如果是一项长期的实验，要保持原实验被试者的 人数不变是相当困难的。 n即使开始参加实验的被试者样本是经过随机取样 和随机分配的，但由于被试者的中途缺失，常常 使缺失后的被试者样本难以代表原来的样本（数 量过少或者保留的被试具备独特的特点）。这就 降低了内部效度。 影响内在效度的因素 n6.实验程序不一致 n在实验过程中，实验仪器、控制方式的不一致， 测量程度的变化，实验处理的扩散和交流等都可 能混淆实验变量（即自变量）的效果。 n实验者知道实验目的所产生的“实验者效应”以 及被试者知道实验目的或其自己正被研究所产生 的“霍桑效应”和“安慰剂效应”等，都将混淆 实验变量（即自变量）的效果，从而降低了内部 效度。 影响内在效度的因素 n7.统计回归 n回归假象：指在取样时，选取某些特质位于两极 端的被试。第一次测量平均值偏高者，第二次测 量平均值有趋低的倾向（向常态分布的平均数回 归）；第一次测量平均值偏低者，第二次测量平 均值有趋高的倾向（也向常态分布的平均数回归 ）。 ne.g.： 高焦虑组&低焦虑组 n处理：在匹配被试时必须考虑两组被试本身是否 同质，如果不同质，就必须以几组被试各自的相 对水平进行匹配。 实验的内部效度统计程序的有效性 n实验的内在效度的特例 n1979年库克和科柏尔从内在效度中抽出一部分命 名为统计结论效度 n统计结论效度：指由统计方法适切性所引起的统 计结论的有效性程度，即有关决定实验处理效应 的数据分析程序的有效性和准确性。 n统计程序的有效性，涉及研究误差的变异来源和 如何恰当运用统计显著性检验的问题 n影响统计程序的有效性的因素： 影响统计结论效度的因素 n1.统计检测力低 正确推断虚无假设正误的能力。 n样本大小：样本小，统计检定力低。有时要考虑实际 意义，样本过大得出的显著差异可能没实际意义 n显著性水平的大小，越小，犯错误就越大。确定 显著性水平的大小要合适。 n因变量的误差变异(标准差)大小的影响：误差变异越 大，标准误也越大，达到显著水平时，犯错误就越 大 统计推论中的两类错误 n根据样本推断总体，有可能犯两类错误： n虚无假设H0本来是正确的，但拒绝了H0，这类 错误称为弃真错误，即型错误。我们用表 示犯型错误的概率 n虚无假设H0本来不正确，但却接受了H0，这类 错误称为取伪错误，即型错误。我们用表 示犯型错误的概率 n两类错误的关系？ n在进行实验设计时，总希望两类错误都尽可能的小 ，但在实际的实验过程中却很难实现，对一定容量 的样本而言(N已经确定)，小时就大；小时就大 .与不可能同时非常小。 n受研究者的直接控制，而只能通过它和的反比关 系进行间接控制。 n由于在确定显著性水平后，型错误的概率随着 样本容量的增加而减少，所以在设计实验时，可根 据实验条件适当地增加样本容量，对进行控制，以 减少犯型错误的可能性. 统计推论中的两类错误 影响统计结论效度的因素 n2.所选用的统计方法依据的各种假设条件的 满足程度 nt检验、方差分析等都要求数据为随机的等距或 等比变量，总体分布为正态，抽样分布也是正 态分布或者t分布，或方差齐性才能应用，不满 足这些条件则统计结论的效度大成问题。 n3.多重比较的影响 n多重比较的影响：实验处理的层次增加，错误 （弃真错误）增加。 实验的外部效度 n实验的外部效度 n指实验结果能够普遍推论到样本的总体和其他同类现 象中去的程度，即实验结果的普遍代表性和适用性。 任何一项实验研究都想将其结果推广，希望能用自己 的研究结果，对同类现象做出解释，预测和控制。 n以人的行为为研究对象所获得的实验结果，其推论往 往有相当的局限性。如某些教学改革方法的研究仅适 用于城市条件教学而不适于农村条件教学 詹金斯的四个评价维度 n詹金斯（Jenkins,1979）提供四个评实验结果普遍性 的维度： n1.用其他的被试人群也能得到同样的结果吗 n2.用其他的实验材料也能得到同样的结果吗 n3.用其他不同类型的测验也会有同样的结果吗 n4.用不同的实验处理和不同的自变量操作方式也能有 同样的结果吗 n特定的结果能否从被试人群、材料、情景以及因 变量的测量等几个方面推广。 影响外部效度的因素 n1.实验室的过分人工情境化 n实验是在控制条件下进行的，实验环境的人为性 可能使某些实验结果难以用来解释日常生活中的 行为现象，尽量减少人工情景化，增加实验变量 n实验室中的仪器设备会影响被试者的典型行为。 n被试者参与实验的动机也会影响其行为表现。 n在实验室之外的日常生活中，就不会有这些因素 的影响。因此，实验结果还不能完全等同于实验 室之外的日常行为现象。 n多因素设计和现场实验设计 n社区随机对照试验：在社区（一定区域内的人群）或现 场环境下进行的实验。 影响外部效度的因素 n2.被试样本缺乏代表性 n从理论上讲，被试必须具有代表性、必须从将来 预期推论、解释同类行为现象的总体中进行随机 取样。但实际上这是很难做到的。应增加取样的 层次，使代表性增加 n如果总体很大，即使能够随机取样，但心理学实验的被 试者通常是自愿的，所以也很难把被随机选上的人全都 请来做实验。 n如果总体是无限的（例如，“七岁儿童”就是一个无限的 总体，其包括过去的、现在的、将来的所有七岁儿童） ，随机取样实际上是行不通的。这样的实验结果自然会 降低其外部效度 n如果选择一些具有独特心理特质的被试进行实验 ，则利于对实验处理造成较佳反应。如：高智力 儿童更容易从发现式教学中获益。 n3.测量工具的局限性 n实验者对实验变量（即自变量）和反应变量（因变量 ）的操作性定义往往以所使用的测量工具的测量结果 来加以考虑。 n例如： 把成就动机作为一个因变量，实验者常以某种成 就动机量表所测得的分数来界定并评定其强度。但成 就动机的测量工具有各种不同的形式，所测量出的分 数并不代表同一种成就动机及其强度。 如果在实验时采用的是某一种成就动机的量表， 那么所得出的实验结果便不能推论到采用其他成就动 机的量表的情况中去。 影响外部效度的因素 实验内、外效度的关系问题？ n实验的内部效度越高，其结果就越能确认是由实验处理 所造成的；而实验的外部效度越高，其结果的可推论范 围就越大。 n实验的内部效度和外部效度是相互联系、相互影响的。 提高实验内部效度的措施可能会降低其外部效度，而提 高实验外部效度的措施又可能会降低其内部效度。 n这两种效度的相对重要性，主要取决于实验的目的和实 验的要求。一般而言，在实验中控制额外变量的程度越 大，则对因果关系的测量就越有效。因此，可以在保证 实验内部效度的前题下，采取适当措施以提高外部效度 实验研究的信度 n实验信度:指实验结论的可靠性和前后一致性程度 n虽然实验的研究的确研究了我们需要研究的东西， 满足了效度要求，但如果两次研究的结果不一样， 那么实验的信度很低，结论不可信。 n一个不可信的研究可比作一根“可伸缩的橡皮材料的 尺子”，在重复研究时，会产生不同的研究结果。因 此，研究结果的稳定性和一致性是保证研究科学性 的重要先决条件。 n哪些因素可能导致实验中测量的结果不可靠呢？ n信度： 一致性程度 内部一致性：测验的不同部分是否能检验出相同的结 果 （评估多个项目来测量单个特质的测验测量焦虑 的60项量表） 重测信度：同一个人在不同时间内测得的结果是否一 致 （评估个体稳定的特质IQ测试） 评分者信度：当不同的评分者对同一个结果进行评分 和 解释时，结果是否一样？ （不同医生诊断同一疾病精神障碍的诊断） 实验研究的信度 影响实验信度的因素 n1.观察量的大小 n观察量越大，样本更能够代表所在总体，多次得 到的结果更可靠。 ne.g.：研究大学生的语言能力，第一次用男性被试 ，下一次用女性被试，两次结果不稳定。 n2.研究工具的信度 n研究工具首先必须准确、可靠，即具有较高的信 度。无论何种研究工具和仪器，如果其自身信度 较低，就谈不上研究的信度的高低。 影响实验信度的因素 n3.影响研究信度的随机因素 n被试方面的因素（身心健康状况、动机、注意力 、持久性、对待研究的态度等） n主试方面的因素（不按规定程序实施