篇章类英语试题的考点效度验证.pdf

福建农林大学学报 哲学社会科学版 2008 11 6 94 96 Journal of Fujian Agriculture and Forestry U niversity Philosophy and Social Sciences 收稿日期 2008 06 29 作者简介 兰春寿 1968 男 副教授 博士 研究方 向 英语语言测试与语言教学 篇章类英语试题的考点效度验证 兰 春 寿 福建师范大学外国语学院 福建 福州 350007 摘要 在我国大规模英语考试试卷中基于篇章类的试题占相对比较高的比例 其考点效度关乎整份试卷的效度 本文 通过对篇章类英语试题考点所属构念效度的例析 说明从考点层面所获取的相关效验证据对基于篇章类试题的考点效度 进行了有效验证 关键词 基于篇章类试题 构念效度 考点效度验证 中图分类号 G642 474 文献标识码 A 文章编号 1671 6922 2008 06 0094 03 Test point validation for text based items in English tests LAN Chun shou College of Foreign Languages FujianNormal University Fuzhou Fujian 350007 China Abstract In large scale English tests in our country a high proportion of the test ite ms are test based The validity of such tests thus lies in the validity of the testpoints in those text based test items Test ite m analyses in ter ms of construct validity entailed in those ite ms illustrate that the relevant validation evidence collected in the test point di mension has effectively validated those text based test ite ms K ey words text based test items construct validity validation of test points 我国大规模英语考试试卷中篇章类试题往往 是整份试卷的主体部分 这类试题包括听力理解 题 阅读理解题 完形填空题和短文改错题等 这 些题型都有一个有别于其他题型的共同特点 即命 题人员经过对篇章的解读后按照一定的要求命制 题目 着力考查考生的篇章解读能力 然而 国内 对这些篇章类英语试题的效度问题还缺乏系统性 的研究 尤其是这些篇章类英语试题的考点是如何 体现所要测量的语言能力的问题还没有引起研究 者的重视 本文以此为契机展开论述 一 语言测试考点效度的验证 随着语言测试效度理论的发展 该领域的研究 人员倾向于把语言测试效度研究的重点放在有关 考试分数解释与考试分数意义的构念效度 con struct validity 上 构念效度即指考试分数在多大 程度上反映了我们所要测量的语言能力 1 尽管 效度分析可以从构念效度 内容效度和预测效度等 3个方面考虑 但是 Cronbach 2 和 Bachman and Pal mer 3 等语言测试专家认为效度研究归根结底是 构念效度的研究 因为 构念效度也包括内容的关 联和代表性以及标准关联性 因为关于内容关联范 围的信息和关于考试分数预测的具体的标准行为 信息 都清楚地用于考试分数的解释 1 0 把构念 效度作为一个整体 在效度验证过程中 首先需要 明确陈述所提议的解释 理论 然后使之经受实验 和理论的检验和挑战 使得分数的意义和价值与测 试分数的解释和使用紧密交织在一起 4 一般来 说 效验论证包括 2个步骤 1 提出效验观点 包括 2个方面的问题 即试图对测试分数做哪些解 释和使用 还有哪些与预期相反的解释和使用 2 收集有关证据支持所提议的解释与使用 反驳相反 的观点 5 因此 效度验证是一个持续不断的过 程 需要收集多方面的证据证明分数解释和使用的 合理性 由此可见 欲对篇章类英语试题的考点效度进 行验证 1 需要证明考生在篇章类的试题中所获 得的分数能够最大程度地反映他们的篇章解读能 力水平 即这类试题能够最大程度测出所要测量的 语言能力 2 需要从篇章类英语试题本身的构念 效度出发 收集证据证明所提议的分数解释与分数 使用的合理性 即试题考点对所要考查的语言能力 的反映程度 若所反映的程度高 则证明考生所得 的分数有效体现他们的篇章解读能力 关于效验证据的分析样本收集 本研究从以下 3点进行考虑 1 考试的规模和影响力 2 篇章 类英语试题所占全卷的比重 3 文本标注的可行 性 目前 国内大规模的英语考试主要有大学英语 四 六考试 专业英语四 八级考试以及高考英语考 试 从规模和影响力来说 高考英语考试最受瞩 目 同时 高考英语中篇章类英语试题所占全卷的 比重也是位列其他考试之首 达到 73 3 听力 20 完形填空 20 阅读理解 26 7 短文改错 6 67 大学英语四 六级试题中篇章类试题占全 卷的比重是 70 听力 20 阅读理解 35 完形 填空和改错 10 篇章问答 5 专业英语四级篇 章类英语试题占全卷的比重是 50 听力 15 完 形填空 10 阅读理解 25 篇章类英语试题在 专业英语八级试题中占 50 听力 20 阅读理解 20 改错 10 因此 高考英语试卷是本研究效 验证据收集的理想资源 考虑到文本标注的可行 性和分析效率 本研究将集中分析阅读理解题型 完形填空题型和短文改错题型 全国高考英语试 卷从 2004年开始部分分省自主命题 因此 本研 究将分别抽取 2004 2007年国家标准的试卷 全 国卷 和地方特点试卷 福建卷 作为分析样本 二 阅读理解题的考点效度 一 阅读理解题的语言能力构念与试题类型 阅读理解题所考查的语言能力构念是 除了考 查考生接受信息 处理信息的信息加工能力之外 重点在于考查考生的逻辑思维能力和语篇分析能 力 据此 阅读理解题考点效度验证的关键点是试 题的考点能否反映语言能力构念 一般来讲 反映 阅读理解题语言能力构念的试题类型主要有 4类 1 词义猜测题要求考生通过阅读上下文来推测尚 不熟悉的词或短语意思的 2 事实细节题要求考 生根据文章提供的直接信息找到明确答案 3 主 旨大意题要求考生通过文章的篇章结构 主题句或 结论句 理解全文 找出能概括文章主旨和中心思 想选项 4 推理判断题要求考生根据全文所提供 的事实或字面意思 通过合理的逻辑推测 细节的 暗示 理解文章的寓义 推敲作者的态度 意图 人 物动机 目的以及性格特征 事件发生的前因后 果等 这 4类试题的考点所考查的篇章阅读理解能 力的效度逐级提高 相对于只要求对文章浅层理 解的事实细节题而言 主旨大意题和判断推理题在 阅读测试中要求做到以下几个方面 1 要求考生 吃透文章的字面意思 从字里行间捕捉有用的提示 和线索 2 要求考生对文字的表面信息进行挖掘 加工 由表入里 由浅入深 从具体到抽象 从特殊 到一般 通过分析 综合 判断等进行深层处理和逻 辑推理 3 要求考生立足已知 推断未知 立足现 在 预测未来 4 要求考生把握句 段之间的逻辑 关系 了解语篇的结构 体会文章的基调 揣摸作者 的态度 摸准逻辑发展的方向 悟出作者的弦外之 音 因此 为了突出考查考生的逻辑思维能力和语 篇分析能力 主旨大意题和推理判断题应该成为阅 读理解题考点设置的核心 应占阅读题题量的大 多数 二 阅读理解题的考点效验证据 由于逻辑思维能力和语篇分析能力是阅读理 解题所要考查的语言能力构念的重要内容 英语阅 读题需要突出主旨大意和推理判断题的考点 为 此 考点效度验证需要从英语阅读理解试题类型所 进行标注的例析中获取证据 如前所述 分析的样 本是 2004 2007福建卷和全国卷的阅读理解试题 每卷均有 20题选择题 从试题类型的标注结果 看 福建卷阅读理解试题类型分布情况是 词义猜 测平均为 3 25题 事实细节题 8题 主旨大意 2 5 题 判断推理 6 25题 全国卷的词义猜测平均为 1 75题 事实细节题 6 5题 主旨大意 4题 判断推 理 7 75题 福建卷阅读理解题中事实细节题和词 义猜测题所占比例分别是 40 和 16 主旨大意 题和判断推理题分别是 13 和 31 全国卷阅读 理解题中事实细节题占 33 词义猜测题占 9 主旨大意题占 20 判断推理题占 38 由此可见 全国卷有近 60 的试题考点考查的 是考生的逻辑思维能力和语篇分析能力 基本反映 构念效度要求 相对于全国卷而言 福建卷阅读理 解题中事实细节题和词义猜测题所占比例较大 福建卷阅读题型 2004 2007年分布情况看 主旨 大意和推理判断题最多就 10题 只占 50 词义猜 测与事实细节题比例偏大 总体而言 福建卷阅读 理解题在考查考生接受信息 处理信息的信息加工 能力的同时也重视对逻辑思维能力和语篇分析能 力的考查 但从构念效度角度看 还可以进一步突 出对逻辑思维能力和语篇分析能力的考查 即提高 主旨大意和判断推理题的数量 三 完形填空题的考点效度 一 完形填空题的语言能力构念 完形填空题是综合测试考生的语言知识 阅读 能力和总体语言水平 考查学生在有信息空缺的前 提下理解整篇文章的能力 1 完形填空题的选项 设置都是通过词汇和语法的方式体现出来的 可考 查考生对句子结构 时态 惯用搭配的掌握 2 完 形填空题的前提和基础是学生的阅读理解能力 考生对一篇完形填空题的文章理解得越透彻 完形 填空的试题做得也就越好 3 完形填空题要求考 生通过上下文判断 选择恰当的单词或词组填入空 95 第 6期 兰春寿 篇章类英语试题的考点效度验证 格中 使之成为上下合乎逻辑 语言通顺 意义连贯 的文章 因此 完形填空题是在语篇层次上考查考 生运用英语的综合能力的一种题型 是考生英语语 言知识和英语语言技能的综合体现 从命题意图和考查内容来看 完形填空综合考 查各种语言知识和语言能力 相对于阅读 题型而 言更注重语段内部的各个词语句子之间在形式上 内容上 逻辑上的联系 完形填空题的空格通常分 为词汇性空格 语法性空格和篇章性空格 3种 前 2种空格虽与语法 词汇有关 却更注重对上下文的 理解 第 3种空格考察对全文及作者意图的理解 这些空缺部分的选填所涉及的考点层次有单词层 次 词组层次 句子层次和语篇层次 6 所谓考点 层次是指完形填空题中每个空缺的选填需要根据 什么层次的语境才能作出决定 单词层次的考点 是最低的层次 对空缺部分的选填只要根据单词就 能决定 无须看单词之外的上下文 词组层次的考 点是指需要选填的空缺部分和它前或后的词有固 定的搭配关系 所做的决定只要看空缺前或后的词 即可 属于句子层次的考点在该句之内就可以决 定空缺所要填的词 即所做决定的依据不会超出该 句子的范围 二 完形填空题的考点效验证据 李筱菊 6 曾经指出考点层次的高低对题目的 效度很有关系 高层次的考点在考高层次的知识和 能力的同时也考到低层次的知识和能力 因此 完 形填空题中篇章层次考点的题目更能测试出考生 运用语言的真正能力 因为篇章层次考点的题目在 考语篇层次的知识和能力的同时也考到句子层次 词组层次和单词层次的能力 作为完形填空题考 点效验证据的试题考点层次应该体现句子层次和 语篇层次 尤其是语篇层次 李筱菊 6 还认为篇章层次题目考点的焦点是 意义因素 单词层次考点的焦点是语法因素 而句 子层次和词组层次考点的焦点可能是意义因素 惯 用搭配因素 也可能是语法因素 从考点的焦点因 素看 低层次的考点侧重于语法 高层次的考点侧 重于意义 焦点为考意义的完形填空题同时能考 语法 而焦点为考语法的题目则不能同时考意义 因此 完形填空题的考点焦点因素也说明语篇层次 的题目能最有效地考查考生综合运用语言的能力 对抽样试卷中完形填空题的考点进行标注例 析的结果为考点效度验证提供了直观的判断 2004 2007年 福建卷完形填空题 每卷均有 20题 选择题 单词层次考点的题目没有 短语层次考点 的题目占 21 句子层次的占 48 语篇层次的占 31 全国卷也没有单词层次考点的题目 短语层 次考点的题目只有占 1 句子层次的占 48 语 篇层次的占 51 福建卷和全国卷中的完形填空 试题都呈现这种趋势 即低层次考点所占的比例很 少 句子层次和语篇层次的试题占了主要部分 尤 其是全国卷 几乎所有的考点都是句子层次以上 相对而言 从考点效度看 福建卷短语层次的题目 所占的比例偏大 语篇层次的题目还不够突出 四 短文改错的考点效度 一 短文改错题的语言能力构念 短文改错题以篇章为单位 要求考生有很高的 阅读理解能力 对考生的语言感觉和语言能力要求 较高 错误设置均具有一定的典型性 因此 短文 改错题所要考查的不是语法知识 而是考生语篇处 理能力和在特定语境中对语言使用进行评价的 能力 短文改错题中的错误涉及到语法或词汇 但却 要求考生处理这些问题时需要根据短文的整体语 境来进行判断 因为短文改错题是以语码 形式 为核心的试题 所测试的是意义的准确表达 这和 以信息 意义 为核心 以意义的理解为考查重点的 完形填空题有着本质上的区别 短文改错题的优 点是有语篇语境 成段短文 综合考点 甄别或改 正多种类型的错误 并在一定程度上考查产出性 运用能力 改正错误 正因为短文改错题的这些 特点 李筱菊 6 提出 短文改错试题是有语境的试 题 命题 理应尽量利用语境 0换言之 短文改错 题的考点效度就应该建立在一个特定的语境下进 行分析 其考点的设置都应与上下文息息相关 为 此 如同完形填空题一样 短文改错题也需要从考 点层次的标注例析中寻求考点效验的论证 二 短文改错题的考点效验证据 明确短文改错题所要考查的语言能力构念之 后 对短文改错题的每一道题也可以按照完形填空 题的 4个考点层次进行标注例析 对抽样试卷中 所标注的短文改错题的考点层次分布比例 2004 2007年福建卷改错题单词层次的题目占 2 5 短 语层次的占 35 0 句子层次的占 50 0 语篇层 次的占 12 5 而全国卷单词层次考点的题目没 有 短语层次的占 22 5 句子层次的占 55 0 语篇层次的占 22 5 从中我们不难看出 短文改错题中低层次的考 点 如单词层次的考点几乎不出现 短语层次的考 点约占 1 3 句子层次的考点占主要部分 而语篇层 次的考点显得不够突出 下转第 128页 96 福建农林大学学报 哲学社会科学版 2008年 第 11卷 你自身这颗螺丝钉 永远都不能松动 0 5国家公 诉 6 以上所列举的这些充满鼓动性的会议讲话 无 不义正辞严慷慨激昂 读者情绪也随之腾挪跌宕 波澜起伏 故而极易产生共鸣 接受作者藉此传递 的道德判断和价值观念 从感情乃至深在的价值体 系层面 都与作者发生同一性契合的效果 小说 是与伦理道德问题联系最密切最广泛 的文学样式 艺术作品的最高任务 就在于给读者 以情感和道德上的影响 从而使其获得道德上的升 华和伦理上的净化体验 0 11 反腐小说 官场小说 若仅仅只写成老百姓的诉讼状 或是满足窥私欲的 大揭秘 就可能给读者带来精神上更深层的失落 周梅森坦言 我的作品表现的是我对社会 对国家 的发展前途的思索 我把我看到的问题和我的思考 如实地写了出来 并且衷心希望这些问题能得到解 决 这就是我作为一个作家的责任和使命 0 7 相较 于市场语境欲望化写作趋势下 大量消解意义 指 向虚无 匮乏写作伦理的作品 周梅森的政治小说 犹显可贵 参考文献 1 李彦 周梅森 我写的不是 反腐剧 0 N 北京青年报 2003 11 06 2 2 米兰 昆德拉 小说的艺术 M 北京 三联书店 1995 43 3 刘小枫 沉重的肉身 现代性伦理的叙事纬语 M 上海 上海人民出版社 1999 153 4 张文红 伦理叙事与叙事伦理 90年代小说的文本实践 M 北京 社会科学文献出版社 2006 2 5 唐欣 道德隐遁的浮世绘 近年官场小说的叙事伦理 批判 J 山东师范大学学报 人文社会科学版 2006 4 62 6 杨子云 N种身份周梅森 J 法律与生活 2004 4 58 7 刘廷页 作家必须是有使命感和责任心的人 访作家 周梅森 N 文艺报 2001 10 30 2 8 武旦旦 政治作家周梅森 N 央视中国报道 2004 01 08 2 9 詹姆斯 费伦 作为修辞的叙事 技巧 读者 伦理 意识 形态 M 北京 北京大学出版社 2002 74 10 李冰 周梅森 写作对我来说意味着对生活还债 N 北京娱乐信报 2005 12 11 3 11 李建军 小说修辞研究 M 北京 中国人民大学出版 社 2003 32 责任编辑 林安红 上接第 96页 这样的考点分布似乎与试题所要 考查的语言能力要求相冲突 不过 短文改错题所 要考查的语言能力构念说明该题型偏重于考语言 的准确性 核心是考语言形式而不是考意义的理 解 因此 短文改错题对题目考点层次的要求并非 像完形填空题那样在任何情况下都是越高越好 也正因为如此 我们可以认为这样的试题考点分布 能够达到短文改错题的构念效度要求 考点效度也 因此获得验证 鉴于上述分析 本研究对所抽样的试卷中篇章 类英语试题进行构念效度例析 所获取的效验证据 完成了对该类试题的考点效度验证