英语听力口语考试自动化系统.ppt

1、江苏省英语听力口语自动化考试介绍,牛津大学出版社(中国)有限公司 中国科学院自动化研究所 2008年8月,2,目录,考试概要介绍 考试的模式和管理 计算机自动阅卷原理 评估报告及教学反馈,3,1.1 主要内容,这是一场英语听力口语合并的全自动化考试 出题自动化，以海量题库为基础； 考试自动化，采取人机对话方式； 判卷自动化，全部阅卷由计算机完成； 结果反馈，自动化生成评估报告。,4,1.2 本项目四大特点,人机对话的测试系统，将听力和口语合二为一，省时省力、减少事故； 现状：100万考生口语考试，3天组织，工作量很大； 人工：1老师/天/100份卷，总量100万考生； 机器：1个市，2台服务器

2、/3天判卷； 大幅度减少考试可能出现的差错和事故率。 海量题库、人机对话，同一考场不同考卷； 题库的海量性从考试机制的角度有效阻止了考试作弊现象； 通过技术手段有效抑制猜题、押题等弊端； 从长远建设角度，经过3到5年努力建立起百万级题库，并且年更新10%。,5,1.2 本项目四大特点,计算机完成全部英语听力和口语考试及评卷 公正性：人工阅卷方式受制于教师体力和精力状况，很难保证成绩的客观性、准确性和公平性，不同老师之间可能出现较大差异； 计算机判卷不仅克服了人工判卷中这些很难避免的不利因素，极大提高阅卷和评估的客观性和公正性，而且为个性化评估和提供改进建议奠定了坚实的基础。 有效评估，反馈教学

3、 六级评估报告，从省、市、区县，到学校、班级和个人； 中国第一次以量化方式提供考试评估反馈； 这样的评估报告对英语的教与学提供了真正的可信、可视化和可操作化的帮助。,6,目录,考试概要介绍 考试的模式和管理 计算机自动阅卷原理 评估报告及教学反馈,7,2.1 考试自动化系统架构,面向考试全程，全面、灵活、可定制的方案 考前：分级考务管理/考场编排系统、考试服务网站 考中：测试系统 考后：自动阅卷系统、报告生成系统,8,2.2 考务管理/考场编排系统,具有省、市、区县三级管理模式；可对考生考籍进行管理；提供多种考场编排方式，生成与考试相关的各种表格与文件，并能灵活打印,9,2.3 考试的组织与管

4、理,候考室,考场1,考生提前 进入候考室,考场2,每考场 监考员1名,每考场 系统操作员1名,每考场带队 教师1名,每考点 考生培训员1名,每考点 主考1名,注：一个考点可包括一个或多个考场(计算机教室),10,2.4 考试系统,注：以现有计算机教室为考场，每考场设有30-40台考试机,11,2.4 考试系统-学生人机交互,学生端软件操作简单易用，包括考号输入、设备测试、答题等，在语音提示下完成考试过程，出现误操作的几率很小,12,2.4 考试系统-考号输入,13,2.4 考试系统-设备测试,耳麦设备由省政府统一采购,14,2.4 考试系统-设备测试-录音样例,声音太小,声音太大（饱和）,设备

5、测试时检查录音设备，确保录音正常，是自动阅卷的基础。,声音合适,15,2.4 考试系统-考试过程,考生面对计算机， 人机对话,16,2.4 考试系统-教师人机交互,教师端软件全程监控，学生端如有任何异常情况(设备测试、进度、录音异常等)，及时提示监考老师帮助学生解决问题,17,2.4 考试系统 - 测试现场,18,2.4 考试系统 -其它保障措施,每个考场预设10%的备用考试设备，以备设备故障的考生当场或下场重考； 考前制定应急处理方案和故障解决手册，做好对考生设备异常、迟到缺考、网络故障、数据传输等个别情况的处理准备。 考试机故障解决手册 监考机故障解决手册,19,2.5 自动阅卷系统,评分

6、标准,人机对话 考试系统,考生答案,自动阅卷服务器 (省政府统一采购),局域网,阅卷进度 监控,系统 管理,注：以一市10万考生计算，阅卷中心由两台阅卷服务器构成，3天可完成阅卷。,20,2.5 自动阅卷系统,导入考生的答卷文件；准确完成自动阅卷和评分；,21,目录,考试概要介绍 考试的模式和管理 计算机自动阅卷原理 评估报告及教学反馈,22,3.1 自动阅卷系统技术结构,23,3.2 语音识别用于口语评估的特殊性,限定条件下的语音识别 专门麦克风，一定题型； 有别于不受任何限制的自然口语识别； 口语评估基于标准语音库，而语音识别基于大量非标准库 中科院自动化所领先的语音识别技术 美国虽然还没

7、有把语音技术应用于他们本国的学生评估，但是把这种技术应用到美国以外学生的英语考试已经很多年了。,24,3.3 阅卷特征提取,完整性 朗读型题目，能否顺利读完全文，以及顺利读完的比例； 话题简述型题目，能否完整表达题目的语意，清楚表达的语意比例； 完整性特征是评分的起评基本特征； 准确性 单词级评估，主要包括单词发音的元音、辅音、重音准确性 流利性 句子级评估，主要包括语速、插入（重复、修正）、连贯（连读、失去爆破、同化）等 韵律性 句子级评估，主要包括意群停顿（节奏）、重读弱读、语气语调,25,3.4 自动阅卷过程说明,Making tea with tea bags is faster an

8、d easier than making it with leaves in teapots,阅卷系统及其输入：,系统输入：考生朗读文本及语音,26,3.4 自动阅卷过程说明,综合各种特征给出评分 完整性特征：根据漏读情况计算完整性 准确性特征：单词发音、重音准确性 流利性特征：语速、插入、连读、失去爆破、同化 韵律性特征：意群停顿、重读弱读、语气语调 综合决策模块：综合上述特征给出最后评分,门限设置,27,目录,考试概要介绍 考试的模式和管理 计算机自动阅卷原理 评估报告及教学反馈,28,4.1 省、市、区(县)、校、班级、个人六级评估报告,评估报告的主要内容包括： 考试总分统计：分别按照个人、班级、学校、区(县)、市、省进行分析和比较，并可自定义比较单位，如平均分、最高分、单项分等； 主要错误的寻找和指正：给出发音、考点、语速、重音等方面的分档评价和主要错误； 改进建议：针对主要错误给