四六级网考的设计和试点

1、1四、六级网考的设计(shj)和试点2009.9.24, 北京(bi jn)共五十五页2网考背景信息技术与语言教学的整合四、六级考试面临(minlng)的挑战设计原则试卷设计、试卷构成系统设计、系统构架试点考试共五十五页3上网/运用(ynyng)计算机可以 看新闻(xnwn)查资料写邮件玩游戏写博客谈恋爱看电影购物看病聊天募捐炒股交友求职学习考试编程设计运算交际需求 四六级考试 四六级网考共五十五页4欧洲语言能力共同(gngtng)参考框架（CEFR，2001）随着计算机软件技术日新月异的发展，人机互动逐渐在公共、职场、教育甚至个人(grn)生活领域发挥越来越重要的作用。(刘骏、傅荣译，200

2、8 p. 79 )交际需求 四六级考试 四六级网考共五十五页5语言使用(shyng)的外部环境变化不断开放(kifng)的社会环境跨文化外语交际需求增加飞速发展的现代信息和通讯技术（ICTs）社会活动：人际交往加强日常生活：人机交流增加职业技能：外语能力、计算机运用能力休闲娱乐：高科技化、个性化、多样化交际需求 四六级考试 四六级网考共五十五页6语言(yyn)交际活动（欧洲语言能力共同参考框架，2001）语言输出：口头表达、笔头(b tu)表达语言输入：听力理解、阅读理解、视听理解听力理解：总体听力理解、听广播和录音、阅读理解：总体阅读理解、浏览阅读、视听理解：听懂电视节目和电影互动活动：口头

3、互动、笔头互动中介活动：口译、笔译非语言交际：手势与动作刘骏、傅荣 2008 “欧洲语言共同参考框架”58-85交际需求 四六级考试 四六级网考共五十五页7语言交际(jioj)活动（Emanuels I-R-E Paradigm, 2008: 25）交互活动（Interactive）a reciprocal exchange of messages语言输入(shr)（Receptive）receiving incoming messages语言输出（Expressive）initiating and sending messages交际需求 四六级考试 四六级网考共五十五页8语言交际(jioj

4、)活动基于(jy)计算机的交际 Computer-mediated communication交互活动 Interactive activities多元读写能力 (multiliteracies)新读写能力 (New Literacy Study)交际需求 四六级考试 四六级网考共五十五页9信息技术与课程(kchng)整合就是通过将信息技术有效地融合于各学科的教学过程来营造一种信息化教学环境，实现一种既能发挥教师主导作用又能充分体现学生主体地位的以自主、探究、合作为特征的教与学方式，从而把学生的主动性、积极性、创造性较充分地发挥出来，使传统的以教师为中心的课堂教学结构发生根本性变革(bing)

5、由教师为中心的教学结构转变为主导主体相结合的教学结构。 何克抗（2009：20）共五十五页10信息技术环境(hunjng)下的外语教学教学模式 基于计算机和课堂的教学新模式教学主体 基于任务、学生为主体、教师为主导教学内容 语言知识和交际能力、交际策略、文化知识 和跨文化交际能力教学管理 群体管理(gunl)、个体档案式的管理(gunl)教学资源 教材、教辅、共建共享的丰富网络资源 教学评价 形成性评价，教师评价/学生互评/自评交际需求 四六级考试 四六级网考共五十五页11基于计算机/网络(wnglu)的考试美国TOEFL iBT（世界第一个基于互联网的语言测试(csh)）英国IELTS机考（

6、2005年起在若干国家开始实施）PTE机考（2009.10开始在我国试点）中国高考、四六级等网络阅卷系统（全面实施）全国网络教育统考（全面实施网考）计算机化口语考试（个别省市、高校已经实施）四、六级网考（2008.12开始试点）交际需求 四六级考试 四六级网考共五十五页12共五十五页13共五十五页14四、六级考试(kosh)的作用评价作用学生的英语能力教学的总体效果反拨作用反馈作用：教学模式、教学内容、教学安排等决策依据：为决策者提供政策制定的依据促进作用：变压力(yl)为外在动力，推动教学改革交际需求 四六级考试 四六级网考共五十五页15四、六级考试(kosh)的发展考试的设计考试的实施(s

7、hsh)考试的使用国际语言测试的发展: 20世纪60年代以来交际需求 四六级考试 四六级网考共五十五页16国际语言测试(csh)的发展Lyle F. Bachman, Language Testing 2000 17 (1) 14260-70年代（起步阶段）测试信度：分离式测试、采用定量数据分析 80-90年代（确立地位：应用语言学分支）测试效度：交际语言测试、真实性/行为性测试 21世纪（发展阶段：职业化、专业化）测试效度：效度概念(ginin)的进一步拓展测试的伦理问题、测试者的职业道德共五十五页17提高效度改进后效Now开发考试建立体系丰富考试关注后效网络化考试开发2006 2005-考

8、试内容和题型改革2005.6管理和计分体制改革1999口语考试实施1998四级写作设最低分1997 1996-采用新题型报道平均级点分1990写作单独测试1989 1985-考试开发标准化体系建立共五十五页18报考人数 CET-4CET-6总计87/8910 616万00286116402万01404159563万02545209754万03676274950万048203501170万057723241096万068653511216万079754441419万0810485621610万共五十五页19内容题型PB CET: 1987-1996听力理解20%MCQ仔细阅读40%MCQ词汇语法

9、15%MCQ综合10%MCQ，改错写作15%命题作文 PB CET: 1997-2005听力理解20%MCQ，听写仔细阅读40%MCQ，简答，英译汉词汇语法15%MCQ综合10%MCQ，改错写作15%命题作文PB CET: 2006-now听力理解35%MCQ，听写仔细阅读25%MCQ，选词填空快速阅读10%句子填空，是非判断综合10%MCQ，改错翻译和写作20%汉译英，命题作文共五十五页20PB CET (1987-2005)CET-SET(1999-now)PB CET(2006-now)评分体系常模正态分； 6所一流院校Mean=72；Sd.=12等级分制：A+, A, B+, B, C

10、+, C, D常模正态分； 16所改革试点院校Mean=500；Sd.=70成绩报道证书：合格和优秀证书：等级和等级描述成绩报告单：总分和单项分共五十五页21网考意义(yy)：效度、公平、效率更加全面、综合地考核英语应用能力推动基于计算机和课堂的教学模式的推广预防考试作弊，特别是通讯手段作弊增加试题的安全性，降低考前泄密风险增加考次，减少对教学的影响简化报名程序(chngx)，减少数据库差错提高阅卷效率，增加评分信度降低试卷制作、运输和存储成本共五十五页22四、六级网考的目标(mbio)建立现代信息技术条件下适合四、六级考试的新模式，实现：网上报名、缴费、预约考试基于大型题库的网络考试考试管理

11、的信息化考试组织(zzh)的信息化考试公平公正性有效防止作弊交际需求 四六级考试 四六级网考共五十五页23四、六级网考的具体(jt)目标支持大规模常规化施考的海量题库和题库管理系统支持千个以上考点，30万人同时考试的考试系统支持千人同时在线主观题评分的评分系统支持报名、组织和成绩(chngj)查询等的考务管理和服务系统交际需求 四六级考试 四六级网考共五十五页24网考试卷设计(shj)原则依据教学要求，设定测试目标。测试任务具有语言交际活动的典型特征。-采用真实录音录像材料，加强视听理解(lji)测试-设计有交互的测试任务，如视听综合测试有较高比例的产出性作答试题。最大限度实现机器自动评分。交

12、际需求 四六级考试 四六级网考共五十五页25视听(shtng)材料交互模式: 单人陈述、双人或多人讨论等体裁题材: 新闻报道、人物访谈、科技讲座等；教育、 科技、经贸、健康(jinkng)、运动、文化、旅游等 来源: CCTV9, CRI; BBC, VOA, The New York Times, Discovery, CNN, National Geographic, NPR, CBS等语音: 主要是标准美音和英音语速: 140-160 wpm交际需求 四六级考试 四六级网考共五十五页26视听测试(csh)任务视听理解理解主旨大意 (global comprehension)理解细节信息(

13、xnx) (local comprehension)听写单词和词组 (dictation) 听后跟读 (listening to repeat)基于听力材料的写作 (integrated writing) 交际需求 四六级考试 四六级网考共五十五页27交际需求(xqi) 四六级考试 四六级网考试卷结构和考试过程系统设计和系统构架考试运行和考生(koshng)表现试点考试（IB CET-4）共五十五页28测试任务测试题型题量比例时间第一部分：视听理解理解主旨大意多项选择725%约30分钟获取细节信息多项选择11第二部分：视听综合听写单词和词组的听写1540%约45分钟跟读句子跟读10总结和评论短

14、文写作1第三部分：阅读理解快速阅读多项选择和填空1035%45分钟仔细阅读多项选择10语法结构填空10共五十五页29录音/录像阅读篇章 主旨大意第一遍第二遍重要细节视听材料听写总结/评论跟读视听片断仔细阅读快速阅读阅读材料语法结构共五十五页30系统(xtng)设计原则1）满足考试的设计要求(yoqi)。 2）稳定、可靠、安全。3）具有普适性和可操作性。共五十五页31题库系统考务系统施考系统服务系统命题平台题库管理考生管理考点管理考试实施阅卷评分技术支持考试服务数据中心服务中心系统(xtng)构架共五十五页32考试(kosh)开始共五十五页33考场(kochng)规则共五十五页34设备(shbi

15、)调试共五十五页35视听(shtng)理解共五十五页36视频(shpn)共五十五页37听写(tngxi)(08.12)共五十五页38语法结构(08.12)共五十五页39跟读(08.12)共五十五页40写作(xizu)共五十五页41阅读(yud)理解共五十五页42共五十五页4353所高校(goxio)的近5000考生参加试点；在考委会、技术服务公司和高校的合作下，对考试系统、试卷设计、考试实施进行了初次检验：各级服务器正常运行、各项功能操作正常考试数据各级下载正确，正常解密5000名考生完成答题，答题数据正确上传同一考场内考生所答的试题各不相同客观题评分无误，主观题阅卷系统可以运行跟读机器评分和

16、人工评分达到理想的相关性总体(zngt)运行交际需求 四六级考试 四六级网考共五十五页44总体(zngt)感觉考试形式新颖， 具有一定挑战性测试材料和任务真实，真正考核语言运用能力试题难度基本适中，听的能力很重要需进一步熟悉题型，加强计算机上答题的训练考试时间的控制上可以更加灵活答题方式（特别是听写和跟读）有待改进考生(koshng)反馈交际需求 四六级考试 四六级网考共五十五页45 N=3984有效性难易度分值比例答题时间适应程度紧张程度5: 非常有效1: 完全无效5: 很易1: 很难合理适中5: 很适应1: 很不适应5: 很放松1: 很紧张整体3.452.4286.373.32.963.0

17、0听力理解3.322.4564.462.12.882.75 / 2.77听写3.102.1659.847.32.492.47跟读3.012.3154.358.52.472.46写作3.572.9078.674.53.153.16语法结构3.392.9074.876.43.093.07快速阅读3.742.89 / 2.9383.669.93.272.99仔细阅读3.782.9481.377.33.353.12共五十五页46考中停电 考后停电 考中病毒播音中断黑屏无法输入(shr)答案数据回收故障突发(t f)问题交际需求 四六级考试 四六级网考共五十五页47有效防止作弊：新闻晨报“四六级21日试

18、行一人一机一卷防作弊效果好”新闻晚报“打击作弊 大学英语四级考试机考改革今启动”听说能力考核：京华时报“四六级机考：增加跟读环节 听力比重大”楚天金报“英语四级首次机考 跟读环节迫使哑巴开口”试题难易度评价：北京晚报“英语四级考试首试机考 考生称宁愿选择笔试”新京报“08年12月四级机考比纸考简单 考生叫好”网考操作：京华时报“四级机考普遍感觉不适应 听力填空时间最紧”信息时报“英语四六级机考学生抱怨(bo yun)不能回头改答案”媒体评论(pngln)交际需求 四六级考试 四六级网考共五十五页48成绩分析(fnx) (原始分，N=4603）纸笔考试 (PBT)网考 (IBT)%PBTIBT听

19、力理解视听理解25%13.9814.45单词和句子听写单词和词组听写10%3.182.19词汇、综合、翻译跟读、语法结构20%10.448.82命题作文基于听力的写作15%8.668.74快速阅读10%5.756.10仔细阅读20%12.3712.70总分54.3853.00交际需求(xqi) 四六级考试 四六级网考共五十五页49成绩(chngj)分析网考试题难度适中、考生总体适应网考听力理解：平均分接近，网考略高（14.45 vs. 13.98）仔细阅读：平均分接近，网考略高（12.70 vs. 12.37）快速阅读：平均分接近，网考略高（6.10 vs. 5.75）写作部分：平均分接近，网考略高（8.74 vs. 8.66）听写和跟读部分施考方式有待改进问题：考生操作(cozu)不熟练、答题时间不够听写部分：平均分偏低，网考更低（2.19 vs. 3.18）跟读部分：平均分偏低（10%中的得分为3.04）交际需求 四六级考试 四六级网考共五十五页502009年6月试点(sh din)考试68所院校；6000多名考生培训系统系统操作人员培训；考生培训考试系统实现自动组卷跟读：重新录音一次听写(tngxi)：暂停键（15次）时间控制：更加灵活自由共五