语言测试的效度与信度.ppt

1、一、信度(Reliability) Lyle FBachman把信度定义为“测试结果的一致性”。 换句话说，有信度的试题应在任何时间、地点下通过测试 都能够得到一致的结果。试题的信度可以通过比较两套试 题结果或试题内容来获得，如果它们的结果接近或一致， 那么说明试题是有信度保证的。评估测试结果的一致性可 依据许多方法加以衡量。例如，在传统真实分数测试理论 (classical true score measurement theory)模式中有三种衡量 信度的方法，每一种方法针对不同的误差源(sources of er- ror)：试卷内容一致性评估方法(internal consistenc

2、y)主要 关注来自于试题内容和评分过程中的偏差问题；稳定性 (stability)评估方法指出同一试题在相隔一段时间之后给 同一组测试对象测试的结果的一致性问题；对等性(equtv- alence)评估方法提供两套试题结果之间一致性程度的信度 系数。但是测试结果的可靠性还要受到诸多其他因素的影 响，测试成绩的高低虽然很大程度上取决于受试者语言水 平的高低，但是同时不可忽视的是测试成绩又受到测试方 法、受试者个性特征，诸如认知风格、知识范围、情感因 素、性别、民族以及诸多不可预见因素的影响。,二、效度(Validity) Henning(1987)把效度作了如下定义： “效度是指任 何试题或试题

3、的组成部分作为达到测试目的的合理性。试 题在最大程度上达到其测试的目的即是有效的。在用于描 述试题时，有效的(valid)一词必须与介词for连用。那 样，任何一个测试应针对某些目的来说是有效的，并不一 定适用其他目的。”语言测试设计和使用不仅关注信度问 题，而且把效度问题-即我们对测试成绩的解释和使用 是有效的看成是不可或缺的重要指标。达到测试的效度可以有许多不同的途径和方法。这些途径和方法虽然名称迥 异，但实际上都是衡量效度的不同方法。近年来，随着语 言学家和测试者对语言测试学的关注和理解，他们愈来愈 澄清了对效度的名称和定义的认识，并对几种主要的衡量 效度种类划分达成一致的认识。,三、信

4、度在测试各阶段的考虑,1信度在设计阶段的考虑 信度问题是关系到测试质量的关键性因素，没有信度 保障的测试根本无科学性、公正性可言。因此测试者必须 在各阶段对信度做全面的、系统的考虑。我们知道，在测 试的初始阶段即设计阶段必须制定设计说明书，详细规定 测试目的、考试内容和相应的受试群体等内容。其目的就 是使测试结果(成绩)最直接反映受试者的语言能力，并 最大限度地降低和排除非语言因素对测试成绩的影响。鉴 于此，在设计阶段，首先应规定细致的、具体的测试目的。 不同类型的测试如编班测试(placement test)、水平测试 (proficiency test)成绩测试(progressive t

5、est)其测试目的大 相径庭。同样，规定测试的受试群体也可以提高测试的信度。 受试群体的语言水平、以往的语言学习经历、年龄、性别 都对测试成绩产生很大的影响。以中国的高考为例，来自发达地区的考生，由于所在地区英语师资队伍水平普遍较高，某些重点学校甚至任用外教上课，加上图书复习资料丰富，学校、家长及考生个人的重视，英语基础扎实，达 到较高的水平。而来自偏远地区的考生，由于教育水平相 对落后及经济条件的制约，注定和发达地区考生存在着不 小的差距。此例能够很好地说明在设计阶段重视、了解和 规范受试群体，对测试信度的提高起着举足轻重的作用。,2信度在实施阶段的考虑,实施阶段的任务是制定具体的、可操作的

6、考试大纲， 详细说明试题包括的内容。换言之，在此阶段必须制作出 完整的试卷。图1所示，Bachrnan的语言模式把测试方法 作为影响测试成绩的三大类因素之一。因此，对试卷中每 个部分所采用的测试方法必须做出严格的要求。否则，不 恰当的测试方法将导致考生成绩的极大差异，使测试成绩 失去信度。 例如，多项选择方法(multiple-choice)的最明显的 优越性就是它的评分具有很高的信度，属于客观测试方法。 但是，某些语言领域的技能如写作、口语表达能力若采用 多项选择方法测试则很难测试出受试者的真实语言能力， 测试信度有所降低。综合填空方法(Gloze-test)则较适合 测试阅读能力。不难看出

7、，正确的测试方法能够可信、有 效地诱导出反映某种语言能力的行为。某些测试方法只适 用于测试特定的语言能力，而无法用于其他语言能力。基 于我们对测试方法对成绩的影响的了解还十分粗浅，我们 无法推荐究竟用何种测试方法去测试具体的语言能力。 Lyle FBachman(1990)在选定测试方法方面提出了 很好的建议。“(1)测试任何一种语言能力时，至少采用两 种或更多的测试方法。(2)如果一份试题可能重复使用时， 尽量有目的地变换测试方法。”此举，一方面加深对测试方 法的理解，一方面降低由于测试方法选择不当而导致的测 试结果不一致的误差源，从而提高试题的信度。在实施阶 段，保证试题的信度还可以从其他

8、方面人手。比如，尽可 能增大试题量或严格限制考生自由选择的范围来提高信度。 由于上述做法能够提高测试信度，因此在实施阶段的作用 应得到极大的重视。,3信度在考后阶段的考虑,从考后阶段的主要任务来看，提高信度应把 重点放在培训阅卷员上，同时必须提供详细准确的标准答 案。由于任何考试的评分方法不可能全部使用多项选择， 对错一目了然。因此，主观题的评分必须首先规定正确答 案。另外，说明若遇到部分正确的答案时应如何打分。标 准答案规定愈清楚、细致，就愈可提高评分信度，也就更 有助于提高整个测试成绩的信度。培训阅卷员也是一条保 证评分信度的有效途径。在评阅主观题时，阅卷员必须经 过严格的岗前培训，统一批

9、改试卷，然后将各评卷员评阅 过的卷子进行比较，也可由有经验的专家对其评阅进行分 析审核，那些严重偏离标准答案的阅卷员或停用，或对其 所评试卷进行再次审核。阅卷员的评分差异性是影响考后 阶段测试信度的较大的误差源，应千方百计降低或杜绝， 从而提高信度。,四、效度在测试各阶段的考虑 1效度在设计阶段的考虑 Henning(1987)在给效度下的定义中把最大程度地达 到测试目的的测试认定是有效度的。测试目的与效度问题 紧密相连。在设计阶段规定测试目的以提高效度是一项极 为重要的工作。前文已探讨测试目的对提高测试信度的影 响。信度在此阶段关注的首要问题是如何尽最大限度排除 非语言能力因素，如测试内容和

10、手段、受试群体背景差异 对测试成绩的影响。而效度在此阶段的主要任务是制定出 具体测试所要达到的目的。,2效度在实施阶段的考虑 根据实施阶段的主要活动和任务，对效度的考虑应集 中在如何使试题在最大限度上达到测试目的。语言测试的 首要兴趣在于能够推断出受试者的语言能力。语言能力通 常包括语言知识和主题知识两方面。由于测试目的不同， 试卷在试题内容、难度以及测试方法上应尽最大可能诱导 或测试出受试的语言能力，从而保证和提高测试的效度。 例如：若要测试文科学生的英语语言能力，试题应选 用文科学生比较熟悉的社会科学方面的知识内容，若选择 科技、数学或理科方面的语言材料作为考文科学生的英语 语言能力的试题

11、内容，恐怕无法考出真实的语言能力。由 于对某些主题知识的缺乏了解从而降低考试成绩，考生就 处在不战而败的境地，测试因此也达不到预定的目的，就 无效度可言。,3效度在考后阶段的考虑 在语言测试的设计和使用中，效度问题即我们对测试 成绩的解释和使用是有效的-被称为是保证测试质量的 不可或缺的重要指标。因此，在考后阶段，应该对考试成 绩做描述性的分析和解释，包括制定恰当的及格分数线， 并针对各分数段所能达到的能力进行解释。说明，以便决 策部门正确使用成绩。根据成绩做出的决策影响面颇广， 上至政府用人部门，中至招聘职员的公司企业，下至受试 者个人，可谓一把“双刃剑”。在大规模、高风险的选拔人 才的考试中如全国性的大学入学考试，合理有效地使用考 试成绩，就能选拔出对国家政治经济发展有用的人才。否 则，依据没有效度保证的测试成绩或不合理使用测试成绩， 就达不到选拔人才的目的，给国家造成重大的损失。对使 用测试成绩做任用决策的公司企业，有效的成绩可以招聘 对其事业发展有用的人才。反之，结果则显而易见。对受 试者个人来说，影响也十分重大。他们有可能