谈语言能力的考查_考试不一定可靠.pdf

专家论坛 GUANLI 管理 中国人一般总是主张 分数面前人人平等 认 为考试是最公平的人员评价方式 事实上 考试的 公平性问题并不像人们想象的那样简单 考试并不一定可靠 我们把考试作为一把尺子对人的能力进行测 量 公平的前提是这把尺子是可靠的 如果这把尺子 本身有质量问题 今天量一个长度 明天量又一个长 度 你量一个长度 我量又一个长度 这样的考试就 不能保证公平 令人遗憾的是 今天社会上许多考 试都不同程度地存在可靠性问题 据 2002 年 7 月 22 日 南方日报 一篇题为 高 考作文两次改判背后的幸与不幸 的文章披露 在 2002 年四川省高考语文阅卷工作中 一篇作文因 与传统观点格格不入 评卷老师只给 20 分 将此 文提出来与整个阅卷室的数十位评卷教师讨论 结 果争议很大 从 20 多分改成了 40 多分 最后请示评 卷指导委员会 最终被认为是一篇不可多得的佳作 给出了相当高的分数 满分 60 高考 应算我国最严肃的考试之一 高考 这 把 尺子 在被用来测量一个考生的语文能力的时 候 尚存在如此大的 伸缩性 其他考试的可靠性可 能问题更大 一个好的考试 首先需要反映考生真 实的水平 能否反映考生的真实水平就是考试的可 靠性问题 或信度问题 可靠的考试并不一定有效 在一项关系考生命运的重要考试中有这样一道 阅读理解题 历来印章均以篆为宗 故治印章必先精通篆法 用字要有出处 变化须合六书 切忌生编滥造或任意 增减 以篆为宗 中的 篆 指的是 A 篆刻B 篆法C 篆字D 书法 这道题的正确答案是 篆字 在考试中 大部 分考生选择了 篆法 答对这道题 需要某些关于 治印的专门知识 那些具有这方面知识的人 可以 取得好的成绩 这类题目 可以反映出考生治印知 识方面 真实的 水平 但是 这项考试的目的是考 查 阅读理解 而不是 治印 虽然考试成绩是 可 靠的 反映了考生某一方面的真实水平 但是 对于 评价考生的 阅读理解能力 这一目的来说 有效性 却有限 最具权威的语文考试应算是语文高考试卷 受 国家教委考试中心的委托和资助 笔者曾经对 1990 年的语文高考试卷的有效性进行过一次统计分析研 究 研究对象包括北京的市重点中学 区重点中学 普通中学的学生和大学新生 收集的考试有效性资 谈 语 言 能 力 的 考 查 考 试 不 一 定 可 靠 谢 小 庆 23 料包括高三的语文成绩 高中语文教师对学生语文 水平的评价 同学之间关于语文水平的互相评价 大 学第一年的各科成绩 研究结果表明 高考语文成绩 与这些反映学生语言能力的指标之间相关较低 或 者说 高考语文成绩不足以反映出考生的语言能力 大学学习能力倾向测验课题组 所有考试的命题人员都会认为自己编制的考试 是 高分高能 实际应用的考试中 却常常存在一些 高分低能 的现象 高分低能 的考试就是缺乏有 效性的考试 考试能否实现考试目的 这就是考试的 有效性问题 或效度问题 所谓效度 总是就一定的 考试目的而言的 既可靠 又有效的考试 并不一定有用 在一个大学毕业生的求职简历中 学习成绩单 上写着 现代汉语 80 分 即使他所参加的 现代汉 语 考试是一项既可靠 又有效的考试 根据他的这 个成绩 我们也很难判断他的 现代汉语 课程学得 究竟如何 更不用说据此去推测他的现代汉语水平 的高低 如果任课老师评分政策比较严格 他这门课 程可能学得很好 如果任课老师评分政策比较宽松 他这门课程可能学得并不好 或者说 我们从这个分 数中得到的有关这个考生的评价信息很有限 分数 中包含信息很少的原因是缺乏必要的参照系 任何一组考试题目或考试任务 都可以得到一 个 正确回答数 或 正确回答比例 都可以得到一 个 分数 但是 并不是对任何一个分数都可以做出 与考试目的有关的解释 都可以被赋予 意义 都可 以成为决策的合理依据 考试的可靠性和有效性是 对分数进行解释的基础 是赋予分数以意义的前提 此外 还需要有一个合理的分数体系 考试的质量存在优劣之分 一般人的观念是 是英雄 是好汉 考场上 比比 看 考不过 心服口服 现代教育测量学的观念是 何 以见得一个人答不好这张试卷就做不好工作 完不 成学业 在根据考试成绩做出招工 招生方面的决策 时 需要拿出说明考试的信度 效度的证据 否则 就 是对一个人就业 升学权利的侵害 考试是一个衡量人的能力的 天平 或 体温 计 这个 天平 或 体温计 本身存在着质量问题 有的质量较好 可以基本准确地反映人的能力水平 有的质量较差 在测量的过程中存在很大误差 这个 体温计的质量如何 这个考试的质量如何 何以见得 我没有通过某项考试就不能胜任一定的工作或学习 任务 理由是什么 这些问题 应该得到合理的回答 由于考试往往关系到一个人的命运 与冰箱 彩电 洗衣机的质量问题相比 考试的质量问题应该受到 更多的关注 考试更应该具有一张 质量检验合格 证 考试的目的是提高人员素质 维护社会公平 但 是 并非所有考试都一定能够带来人员素质的提高 都能够实现社会的公平 中国古代的科举考试是形 式上非常完备的考试 有些保证公平的措施今天都 很难做到 例如 科举的 单间 施测 进场搜身 誊录 为了避免辨认笔迹将所有答卷全部重新抄录 等 等 但是 科举考试并没有带来人员素质的提高 为 了真正达到选拔人才和维护公平的目的 需要重视 考试本身的质量问题 能力与知识的区别 1997 年 北京文学 一组题为 中国语文教育忧 思 的文章 揭开了一场关于语文教育的大讨论 这 场讨论的成果之一就是国家教育部 2001 年制订的 全日制义务教育语文课程标准 实验稿 中华人 民共和国教育部 这一课程标准凝聚了我国语文教 育研究人员的科学研究成果 凝聚了课程改革研究 人员的辛勤劳动和心血 给我印象最深刻的是 在这 个 课程标准 中大胆地提出 应着重培养学生的语 文实践能力 不宜刻意追求语文知识的系统和完 整 长期以来 重视知识传授而忽视能力培养是我 国教育的痼疾 我认为 能将这句话写入教育部颁布 的 课程标准 是我国教育在探索素质教育和能力 培养方面迈出的重要一步 是一件很了不起的事情 是一件具有里程碑性质的事情 究竟什么是 语文实践能力 什么是 语文知 识 为了回答这个问题 需要思考能力与知识的区 别 对于知识与能力的区别 中国的古人早就做出 了非常清楚的回答 授人以鱼 不如授人以渔 送给 别人一些鱼 不如教给别人一些打鱼的方法 鱼 就 是知识 渔 就是能力 知识性考试 就是看一个人篓 子里有多少鱼 能力性考试 就是让人打两网鱼看 看 看其渔之高下 鱼 和 渔 之间有区别 知识 与 能力 之间 管理 专家论坛 GUANLI 24 专家论坛 GUANLI 管理 也有区别 在心理学中 能力和知识是一对既有联 系 又有区别的概念 能力的形成离不开知识的积 累 但能力不是简单的知识积累 二者的区别 主要 体现在下面几个方面 首先 二者的影响面不同 知识仅仅影响到一个 人在有限领域中的活动 例如 关于茅盾作品的知识 仅仅影响到一个人解决与茅盾作品有关的问题 对 他在其他方面的活动影响并不大 语言能力则影响 到一个人在广泛领域中的阅读和表达活动 其次 二者的变化速度不同 相对来说 知识是 一种 快变量 既可能通过强化训练而获得 也可能 由于遗忘而失去 能力则是一种 慢变量 能力的形 成过程恰似 冰冻三尺非一日之寒 不是一朝一夕 的事情 第三 二者的变化方向不同 能力的变化基本是 单向的 只增长 不减少 能力一旦形成 一般在衰老 之前不会失去 知识则不同 可能增加 也可能因遗 忘而减少 能力考试与知识考试的区别 了解了知识与能力之间的差异 就很容易发现 能力考试与知识考试的不同 知识考试主要考察特 定的知识内容 如字词知识 语法知识 作家知识 作 品知识 等等 能力考试则主要考察那些影响活动较 广的 比较稳定的 潜在的 不易受到环境影响的心 理特征 能力考试不同于知识考试 与知识考试相 比 能力考试的特点主要表现为以下两个方面 首先 不容易受到强化辅导的影响 几乎是无法 准备的 在知识考试中 一些实际能力和学习潜力并 不很强的人 可能会借助强化辅导和死记硬背而取 得高分 相反 一些具有较强潜在能力的人 可能由 于不善于背书和不善于应付考试而成绩不高 知识 考试很大程度上反映的是一个人对于考试的准备程 度而不是实际的能力水平 在知识考试中 准备 3 个 月的人通常会比准备 1 个月的人更容易取得好的成 绩 接受过特殊辅导的人往往比没有接受过特殊辅 导的人更容易取得好的成绩 有的时候 知识考试成 绩所反映的是辅导教师的水平而不是学生的实际水 平 与此相反 能力考试往往是无法准备的 除了长 期积累 别无捷径 其次 对记忆力的要求较低 多数考试的目的是 考查应考者是否具备完成某些工作 学习任务的能 力 招生 招聘考试的目的是预测应考者以后的学 习 工作表现 考试内容的确定必须从考试目的出 发 在知识考试中 一般需要考生记忆一些知识内 容 对考生的记忆力有较高的要求 记忆力是人的基 本的心理能力 较好的记忆力是完成工作 学习任务 的条件之一 但是 取得成功所需要的能力是多方面 的 与记忆力相比 可能理解能力 判断能力 推理能 力 表达能力等更为重要 记忆力较强的人一般容易 在知识考试中取得好成绩 但是 在实际工作中 记 忆力强的人并不一定是最成功者 语文考试考什么 笔者认为 语文考试需要考语言能力 主要是语 言交际能力 交际能力 可以理解为 交流能力 或 信息沟通能力 我认为 语言交际能力 是指在 一定情景中 在一定语言背景中运用语言的能力 而 不是对某个孤立字 词 句式 语法知识 作品知识 作者知识的记忆或识记 语言交际能力主要包括 1 运用语言获得信息和传递信息的能力 2 对语言环境的适应能力 3 运用语言完成一定工作和学习任务的能力 具体讲 语言交际能力包括 1 在一定语言环境中理解字 词的含义并掌握 字 词的用法 2 从声音和文字的语言材料中获取主要信息 3 把握和概括语言材料的主要内容 4 跨越障碍 根据上下文推断语言材料中省略 的一些非关键性内容 5 领会语言材料中所表达的态度 情感 语气 情绪 6 根据语言材料做出合理的推断 7 以口语和书面方式正确 清楚 得体地表达自 己的意思 理论上 语文考试需要考查口头和书面的语言 交际能力 在有条件的情况下 可以考查口语能力 考查的方式既可以是平时的观察 也可以是面试 这 里 我们主要讨论如何考查书面的语言交际能力 书 面的语言交际能力包括阅读理解和书面表达两方面 的能力 在阅读理解方面 一方面需要考查对文字材料 的理解能力 另一方面 需要考查阅读的速度 同时 也需要考查对字词的掌握 25 在书面表达方面需要考查的能力包括 正确地 书写汉字和语句 掌握句子连接的方式 掌握组句成 段的表述习惯 掌握汉语书面表达的一般格式 具体 地描写出事物的状态和主要特征 清楚地叙述事件 的主要过程和具体细节 说明和解释事物的基本事 理和形成的原因 阐述对某种现象的看法和理由 等 等 在语文考试中是否需要考查学生立意构思的能 力呢 这涉及到语文教学界争论已久的工具性和人 文性的关系问题 涉及到语言教学 文学教学和人文 教育的关系问题 说来话长 就我个人的倾向讲 不 赞成在语文考试中考立意构思 我认为 表现为 文 从字顺 2001 年新 课程标准 用语 中华人民共和 国教育部 的语言能力与表现为 真知灼见 的立意 构思能力属于不同的能力 文从字顺者未必有真知 灼见 有真知灼见者未必文从字顺 对语文能力可能进行客观化测量 一般说 最有效的评价方式是高水平语文教师 对学生的长期观察 是教学中的长期评价 这种评价 的主要缺点是缺乏可比性 王老师总能相当准确地 认定自己的学生中谁的语文水平最高 但王老师的 得意弟子与李老师的得意弟子谁的水平更高就很难 说 由于缺乏可比性 这种方法在实践中的可操作性 受到局限 传统的主观性考试是仅次于长期观察的比较有 效的评价方法 但是 有效的条件是高水平的评分 人 如果评分人不具慧眼 就会有许多 范进 蒙冤 即使是高水平的评分人 也有失察的时候 在实际的 判卷中 常出现开始较严 越判越松的现象 对于命 题作文来说 评分可能不是最重要的误差因素 主题 的偶然性会影响到考生的发挥 遇到顺手的题目 不 吐不快而一气呵成 遇到缺乏自身体验的题目 搜肠 刮肚仍难得佳句 考生可能由于缺乏体验而使真实 的语言能力得不到充分表现 或许选择题的有效性稍差 但具有客观性强和 可以用计算机评分的优点 客观性选择题的命题难 度很大 不仅需要经验的积累 而且需要天分和灵 感 坊间流行的习题集 参考书中的客观题大多是粗 制滥造 一位北京中学语文教学界的权威人士讲 命制主观题我一个晚上可以编一份试卷 命制客观 题我有时为一道四选一选择题的一个迷惑性备择选 项而考虑一个晚上 粗制滥造的选择题俯拾皆是 前面给出有关 篆 法 的题目属于命题老师的用心之作 且通过了层层 严格审查而进入了正式试卷 事后的统计分析数据 显示 该题目鉴别能力很差 不能正确鉴别考生的语 言能力 下面 给出几道统计分析数据显示质量较 高 鉴别力较好的选择题 选词填空 这个乡的成功经验 说明农村一定要因地制宜 地发展生产 这是不能 的经济规律 A 违犯B 违抗C 违背D 违拗 答案 C 选择与所给短文内容最相符合的一项 铁路新线路的开辟与否往往必须在建路花费尽 可能少的要求与新建路线的商业与贸易运输量尽可 能多的要求之间取得妥协 这段话主要支持了这样一种论点 即新建铁路 的线路 A 应该是一条造价最低的线路 B 选择影响了新兴商业与贸易中心的兴起 C 决定于是否与终点之间的距离最短 D 不会总是具有最低建造成本的路线 答案 D 选择与所给短文内容最相符合的一项 物理学的影响远远超出了它自己的领域 对分 析方法的强调导致了学术界广泛的还原主义 进而 变为一种确信复杂的世界现象可以通过将其还原为 某些要素来加以理解的信念 生物学家 心理学家甚 至人文学者在标榜自己的学说时 都情不自禁地从 物理还原论模型中寻求支持 这段话主要支持了这样一种论点 即 A 各门科学之间的互相借鉴已日趋普遍 B 在物理学研究领域中 还原论是一种有效的 方法论 C 一种方法论往往具有自己的适用范围 D 方法论对科学发展的推动力是巨大的 答案 C 我认为 如果我们有足够高水平的评分队伍 我 们可以不要客观性试题 如果我们有足够高水平的 命题人员 我们可以不要主观性试题 然而 我们面 对的现实是既不能保证评分队伍的水平 也缺乏命 制客观性试题方面的经验积累 管理 专家论坛 GUANLI 26 专家论坛 GUANLI 管理 客观性选择题在美国的普遍使用始于 20 世纪 40 年代 普遍使用的原因是二次大战中缺乏人手 没有足够的评分教师 二战结束后 围绕是否继续使 用选择题的问题 美国语文教学界进行过很激烈的 争论 尤其是对使用选择题来考查写作能力的争议 很大 为此 从 1954 年起 美国最大的考试研究机构 教育测验服务中心 ETS 进行了长达三年的实验研 究 ETS对 英文写作水平考试 English Composi tion Achievement Test 简称 ECT 全部是选择题 普通写作测验 General Composition Test 简称 GCT 两小时的作文考试 和 学习能力倾向测验 Scholastic Aptitude Test 简称 SAT 的言语部分 全部是选择题 等三个考试进行了比较研究 考试 的有效性标准是语文教师对学生作文水平一年或一 年以上的观察结论 1957 年 ETS公布了他们的研 究成果 SAT 的效度最高 与语文教师基于长期观 察对学生写作能力做出的主观评价最一致 其次是 由客观性试题组成的 ECT 最差的是由作文题目组 成的 GCT D Owen 正是由于这一项研究 才使 其后的 40 年中客观性选择题成为美国语言能力测 试的主要题型 从上世纪 90 年代开始 美国的语言考试中逐渐 开始采用了作文考试 伴随作文考试的增加 出现了 借助计算机给作文评分的 电子评分员 e rater 早在 60 年代初 ETS 学者 Ellis Page 就曾经受 美国大学委员会 College Board 委托研究过作文的 客观评分 他收集了 30 个可定量的作文特征 用计 算机程序分析了学生的作文 得到文章质量的最好 预测指标是 平均词长 非基本词汇的运用 逗号的 数目 文章长度 介词数目 D Owen 37 38 页 从 1999 年开始 电子评分员系统被正式应用在 托福 和 GMAT 的写作评分中 这一系统是 ETS 的 Jill Burstein 博士及其研究小组用自然语言处理 技术 NLP natural language processing 与信息撷取技 术 IR information retrieval 研究开发的一种用于写 作能力测量的计算机程序 主要基于语言特征 fea ture 分析之上 研究人员通过分析一篇作文表现在 句法结构 syntactic structure 话语结构 discourse structure 和词汇关联 vocabulary related 等方面的 特征来对之进行评价 考虑了词汇使用 句子结构 文章组织 写作逻辑 修辞 论述条理 文章内容等诸 多因素 研究人员统计了包括文章长度 平均词长 度 平均句长度 词频率 句式结构 标点使用等在内 的共 60 多种可以定量分析的指标 在 托福