翻译测试的信度研究

广西民族大学学报(哲学社会科学版)第32卷第2期t 2010年3月VOL. 32 NO. 2 t M AR. 2010 171 教育学肖维蓝翻译测试的可靠性研究翻译测试的可靠性研究* t肖维蓝摘要翻译测试的可靠性是翻译测试结果的可靠性和稳定性。 从问题型设计、形成性评价和评价方法等几个方面，应该能够设计出可靠、有效、实用的翻译测试方法。 关键词翻译测试可靠度审查员形成性评价中图分类编号 H059 文献识别码 A 文章编号 1673- 8179(2010 ) 02-0171-04 onthereliabilityoftranslationtestingxiaowe-Qing (shanghaiinternationalstudiesuniversity， 中国Shanghai 200083 ) abstract : reliabilityoftranslationtestingnesstingthereliabilityandstabilitityofthisparpatervingtheconc ofreliabilityintransll sofraterrreliability，item types，andformativeas-sessions.itpointsoutthatmorereliable effectiveandpragmatictestmeasurescanbedesign reliability； rater； formative assessment近年来，翻译考试规模和种类都很壮观，如国家人事部的二、三级翻译专业资格(水平)考试、上海市人才短缺工程的口译考试等，在一些地区，翻译考试、翻译训练已经成为热门产业。 其实，翻译测试很久以前就有了。 仅以中国为例，记录的早期翻译考试始于清代科举考试。 根据马祖毅(1984 )、付克(1986 )等人的记录，该文馆的翻译考试分为初考和再考，/初考将外国备忘录翻译成汉文。 复试是把某个条约的一部分翻译成外语0。 但是，这些叙述都是非常粗略的叙述，现在的人不能了解当时翻译测试的评价标准、审查制度和实施方法等一些细节(马来，2006: 466 )。 然而，历史悠久的翻译测试不受学术关注。 与血脉相关的语言测试理论也被抛弃。 语言测试在最近三十年内取得了重大进展，但主要是听、说、读、写的测试分析，与翻译测试无太大关系。 关于英语测试的专业性，翻译测试很少提到。 原因很多，其中之一当然是研究英语语言测试的专家不一定精通汉语，两种语言的主观测试研究很难。 测试作为教学过程的一个重要环节，是检验教学大纲执行情况、评价教学质量、促进教学改革的重要手段。 一门课程测试是衡量学生学业成绩的主要工具。 翻译测试一直从事于翻译教学，但是对于翻译测试的基本问题，例如可信度、效率等问题很少。 本文拟从问题型设计、形成性评价和评价方式等几个方面讨论翻译测试的可靠性问题，期待更可靠、有效、实用的翻译测试方法。 一、问题型设计测试的信度是测试结果的可靠性和稳定性。 影响可靠度的主要因素有：题量、问题性质、问题划分度、考试间差异度、问题难度等(刘润清、韩宝成、2000:213214 )。 对于翻译测试的特殊性质，我们主要关注评价客观性。 一般来说，主观测试的评价多因人而异，但由于客观测试的评价不受评价者的影响，因此可靠性高。 当然，翻译测试为了追求可靠性，完全采取客观测试显然是荒谬的。 翻译是一门艺术，是一门科学，既有一定的内在规律，也有相应的理论体系，因此翻译测试*基金项目：国家社会科基金项目(09CYY005 )。172语言学#教育学肖维蓝翻译测试的可靠性研究可以适当引入和提高客观问题的比重。 总之，问题类型应该不是单一的，而是多样化、科学化、有目的的。 传统的翻译测试通常只进行简单的句子、段落或章节的翻译。 这种过于简单的命题方式的缺点不仅是评分的主观性大，考试的目的也不明确，复盖面狭窄，问题内容难以涉及需要检查的知识和技能，教育重点不突出，学到的知识不牢固。 除传统的句子翻译、段落翻译和篇章翻译外，翻译教师在自己的教学实践中探索了许多有效的主题(徐莉娜，198:32 )。 例如： 1.个别填空。 这一问题类型分为基础知识填空和实践填空。 翻译原则、基本概念、两种语言的不同点、译者素养可以作为测试点。 实践注重填空，完成以下译文0，检验考生使用某种技术的能力。 空间内容的设计应具有代表性，体现出一些技术在具体实践过程中的作用。 2 .判断问题和多项选择问题。 判断问题和多个译文选择问题都以/忠实0、/通顺0为解答标准，这两种问题类型有利于考生用翻译理论诊断、分析译文的能力。 3 .改正问题。 改正错误的问题是指提出有错误的译文，让考生发现错误并进行纠正的问题。 这个问题难度很大，可以有效地检查考生解决问题的能力。 4 .段落填空和段落改题。 填补段落空栏的特征是考生根据比较完整的原文在译文空白处填写适当的内容。 段落错误的特点是对照原文，找出译文的错误和不恰当的地方，进行修正。 5 .有条件的翻译测试问题。 条件翻译的命题方式是在某篇文章中提出几个重点测试点，限定翻译方法。 这个问题的优点是能培养学生自己用技术翻译的能力。 在制定翻译条件时，提出的条件应该是唯一理想的翻译方法。 6 .翻译评论。 翻译评论问题的设计，以两种：章为评论对象，或者以评分句为评论对象。 前者是难易度高、适合度比较高的学生，后者比前者更容易控制评分标准。 翻译评审问题易于检验考生知识的深度和综合分析能力。 二、形成性评价/评价(evaluation )是一个为决定收集资料、分析和解释资料的系统过程。 评价的意义比测试广泛，综合性强。 除了作为科研工具的测试外，教学测试常常是评价的主要手段(刘润清、韩宝成、2000: 4 5 )。 作为翻译教师，我们不仅关注教学测试，更关注教学评估，尤其是什么样的翻译教学测试有助于客观、科学和积极的教学评估。 传统上，我们有以终止符的评价为主的习惯，也就是说，一般以学期末或者某个学习阶段结束后的学生考试成绩为评价对象，对学生的这个阶段的学习提供定性的评价。 近年来，外语教学评价的多项研究对翻译教学评价具有重大的参考意义，今后将形成性评价(formative evaluation )与终结性评价(summative evaluation )相结合，进行总结性评价，并进行初步评价和过程中的持续评价。 此外，学者认为，加强形成性评价，采用观察、日记、问卷调查、采访、文献资料分析、自我评价等方法，为学生提供适当反馈的形成性评价对翻译教学具有积极影响(王华、富长洪、2006: 68 69 )。 也就是说，只有将形成性评价和终止性评价相结合，才能保证测试和评价的可靠性。 厦门大学杨士焕(2002: 55 )在自己的教学中如何研究过应用/长篇翻译0这个项目。经过修正，上海外国语大学英语学院的文学翻译课(面向翻译专业的3年级学生)也采用了同样的方法。 我相信这是非常好的形成性评价的例子。 具体来说，在学期开始时(第二、第三周)可以为学生配备长篇英语翻译。 所谓长篇，至少要考虑5000字以上，所选章节的难易度，学生的程度，以及是否有足够的课外时间。 材料的选择可以由教师决定，也可以由学生自主选择，但学生的自由选择必须得到教师的认可。 这项任务既可以由学生个人独立完成，也可以是团队工作，后者的话，字数和难易度应该增加，团队数也要控制。 一般不超过四人。 提交期限在学期结束前两三周决定。 然而，这项教育活动并不简单地安排任务。 接受作业的两个步骤。 从头开始挑选材料，查阅任务分工、资料，着手翻译，制作初稿，校对，制作最终稿等，提供多个程序，学生需要提供详细的翻译笔记，每两周报告教师进展情况，讨论问题，提交最终稿后写自我评价，进行全班口头展示(oral prral ) 教师也需要在全过程中及时检查学生笔记并记录采访。 为了引起学生的重视，对该活动的评价占学生学期总评价成绩的一定比例，一般为30% 40%。 这种形成性评估的优点有很多，比如学生可以边学边使用各种技术进行沟通，充分显示他们的翻译水平和能力，给予他们精心推敲翻译的时间，克服一次或两次翻译测试/终身0的片面性评估。 我们知道，翻译教学是一个流动、活跃的过程，翻译测试和评价应该反映这种教学的现状，有效地推进教学的开展。 173语言学#教育学肖维蓝翻译测试可靠度研究三，教师通过纯粹的翻译测试可以增加客观问题，虽然可以避免评分引擎的误差，但翻译测试和写作测试一样，具有独特的特点，必须包括相当主观的问题。 那么，如何避免教师审查过程中的主观性呢1 .制定参考/标准翻译。 评审员亲自参与参考译文的翻译和修订，充分考虑到受试者不能以某名家的译文或出版的译文为唯一标准的实际水平，特别是参考预期的中等水平考生的译文质量明确区分/可接受的0和不可接受的0译文(宋志平，2002: 32 ) 2 .审查信誉。 较大的考试，如专业英语八级考试，要求主题审查员进行集体训练。 有必要进行试评、互校，遇到难题，集体协商解决，统一认识。 例如邹申(2003: 75 )对于专业八级考试的实施，表示仅凭： /客观问题不能保证考试的可靠性。 这需要我们辛苦制定主观评审员的培训计划和实施方案。 因此，我们按主题项目制定了详细的评价标准，规范了评价流程，在每次正式评价前进行了前期培训(即评价)，确保了评价的可靠性。 0杨惠中，金艳(2001: 63 64 )对大学英语四级、六级考试主观问题的评价引擎也显示了：主观问题的部分，通过如作文那样调整来消除评价引擎主观因素的影响。 为了确保评估引擎的可靠性，包括评估引擎本人的评估一致性、评估引擎之间的评估一致性以及评估引擎之间的评估一致性，在大学英语4级、6级测试中制定了明确的评估标准、确定评估标准(range- finders )、严格的预培训、评估引擎采取以上有效措施后仍然存在的误差可称为系统误差。 相比之下，在大学英语四级、六级考试中开发软件系统，在考生的主观、客观问题上根据得分的相关性进行调整，消除系统误差。 实践证明，大学英语四级考试作文部分评分引擎可靠度相当高。 四、评分方法翻译的评分方法还处于探索阶段。 除了翻译测试中的客观问题类型外，翻译测试的评分方法总体上是单方面主观的，但通过多年的实践，这些当前的评分方法对当前的研究有一定的参考价值。 刘润清、韩宝成(2000: 187 188 )总结了3种流行文章评分方法：机械法、印象法和分析法。 那么，文章的评分方法和翻译的评分有什么联系呢？刘润清(1994525252525252525252525252525252525252525252525252522222222220000我们国内现在的翻译评价方法确实是这三篇文章1 .也称为机械法、计算错误法。 数译文的错误，按错误的数量减分。 评审员有时会因误译的重量和误译的性质而减分。 例如，重大误译的减分两点、重大的减分一点或者翻译错误(即，影响转换，属于双语转换能力问题)的减分两点在属于语言错误(即，不影响转换，属于语言能力问题)的减分一点的同时，可以适当地加到好的译文中。 2 .印象法也称为综合法。 以评价引擎的整体印象给出等级或等级。 例如，专业的8级英语对译分为5级，评价者根据考生的译文情况和