英语口语听力考试介绍

1、1 江苏省英语听力口语江苏省英语听力口语 自动化考试介绍自动化考试介绍 牛津大学出版社(中国)有限公司 中国科学院自动化研究所 2008年8月 2 目录目录 考试概要介绍考试概要介绍 考试的模式和管理考试的模式和管理 计算机自动阅卷原理计算机自动阅卷原理 评估报告及教学反馈评估报告及教学反馈 3 1.1 主要内容主要内容 自动阅卷平台人机对话听力口语 考务平台 考生语音数据 考务和考场编排系统题库管理系统 考生成绩及 个性化诊断报告 这是一场英语听力口语合并的全自动化考试这是一场英语听力口语合并的全自动化考试 出题自动化出题自动化，以海量题库为基础； 考试自动化考试自动化，采取人机对话方式；

2、判卷自动化判卷自动化，全部阅卷由计算机完成； 结果反馈结果反馈，自动化生成评估报告。 4 1.2 本项目四大特点本项目四大特点 人机对话的测试系统，将听力和口语合二为一，省时省人机对话的测试系统，将听力和口语合二为一，省时省 力、减少事故；力、减少事故； 现状：现状：100100万考生口语考试，万考生口语考试，3 3天组织，工作量很大；天组织，工作量很大； 人工：人工：1 1老师老师/ /天天/100/100份卷，总量份卷，总量100100万考生；万考生； 机器：机器：1 1个市，个市，2 2台服务器台服务器/3/3天判卷；天判卷； 大幅度减少考试可能出现的差错和事故率。大幅度减少考试可能出现

3、的差错和事故率。 海量题库、人机对话，同一考场不同考卷；海量题库、人机对话，同一考场不同考卷； 题库的海量性从考试机制的角度题库的海量性从考试机制的角度有效阻止了考试作弊现象；有效阻止了考试作弊现象； 通过技术手段有效通过技术手段有效抑制猜题、押题等弊端；抑制猜题、押题等弊端； 从长远建设角度，经过从长远建设角度，经过3 3到到5 5年努力建立起百万级题库，并且年更年努力建立起百万级题库，并且年更 新新10%10%。 5 1.2 本项目四大特点本项目四大特点 计算机完成全部英语听力和口语考试及评卷计算机完成全部英语听力和口语考试及评卷 公正性：人工阅卷方式受制于教师体力和精力状况，很难保证成公

4、正性：人工阅卷方式受制于教师体力和精力状况，很难保证成 绩的客观性、准确性和公平性，不同老师之间可能出现较大差异；绩的客观性、准确性和公平性，不同老师之间可能出现较大差异； 计算机判卷不仅克服了人工判卷中这些很难避免的不利因素，计算机判卷不仅克服了人工判卷中这些很难避免的不利因素，极极 大提高阅卷和评估的客观性和公正性，而且为大提高阅卷和评估的客观性和公正性，而且为个性化评估和提供个性化评估和提供 改进建议奠定了坚实的基础。改进建议奠定了坚实的基础。 有效评估，反馈教学有效评估，反馈教学 六级评估报告，从省、市、区县，到学校、班级和个人；六级评估报告，从省、市、区县，到学校、班级和个人； 中国

5、第一次以量化方式提供考试评估反馈中国第一次以量化方式提供考试评估反馈； 这样的评估报告对英语的教与学提供了真正的可信、可视化和可这样的评估报告对英语的教与学提供了真正的可信、可视化和可 操作化的帮助。操作化的帮助。 6 目录目录 考试概要介绍考试概要介绍 考试的模式和管理考试的模式和管理 计算机自动阅卷原理计算机自动阅卷原理 评估报告及教学反馈评估报告及教学反馈 7 2.1 考试自动化系统架构考试自动化系统架构 面向考试全程，全面、灵活、可定制的方案面向考试全程，全面、灵活、可定制的方案 考前：分级考务管理考前：分级考务管理/考场编排系统、考试服务网站考场编排系统、考试服务网站 考中：测试系统

6、考中：测试系统 考后：自动阅卷系统、报告生成系统考后：自动阅卷系统、报告生成系统 8 2.2 考务管理考务管理/考场编排系统考场编排系统 具有省、市、区县三级管理模式；可对考生考籍进行管理；提供多种具有省、市、区县三级管理模式；可对考生考籍进行管理；提供多种 考场编排方式，生成与考试相关的各种表格与文件，并能灵活打印考场编排方式，生成与考试相关的各种表格与文件，并能灵活打印 9 2.3 考试的组织与管理考试的组织与管理 候考室 考场1 考生提前 进入候考室 考场2 每考场 监考员1名 每考场 系统操作员1名 每考场带队 教师1名 每考点 考生培训员1名 每考点 主考1名 注：一个考点可包括一个

7、或多个考场(计算机教室) 10 2.4 考试系统考试系统 监考机 局域网 考试机 听音、录音 听音、录音 听音、录音 考生在监考机的控制下，通过考 试机实现听题目、录回答的过程。 注：以现有计算机教室为考场，每考场设有30-40台考试机 11 2.4 考试系统考试系统-学生人机交互学生人机交互 学生端软件操作简单易用，包括考号输入、设备测试、答题学生端软件操作简单易用，包括考号输入、设备测试、答题 等，在语音提示下完成考试过程，出现误操作的几率很小等，在语音提示下完成考试过程，出现误操作的几率很小 12 2.4 考试系统考试系统-考号输入考号输入 13 2.4 考试系统考试系统-设备测试设备测

8、试 耳麦设备耳麦设备 由省政府由省政府 统一采购统一采购 14 2.4 考试系统考试系统-设备测试设备测试-录音样例录音样例 声音太小声音太小 声音太大（饱和）声音太大（饱和） 设备测试时检查录音设备，确保录音正常，是自动阅卷的设备测试时检查录音设备，确保录音正常，是自动阅卷的 基础。基础。 声音合适声音合适 15 2.4 考试系统考试系统-考试过程考试过程 考生面对考生面对 计算机，计算机， 人机对话人机对话 16 2.4 考试系统考试系统-教师人机交互教师人机交互 教师端软件全程监控，学生端如有任何异常情况教师端软件全程监控，学生端如有任何异常情况(设备测设备测 试、进度、录音异常等试、进

9、度、录音异常等)，及时提示监考老师帮助学生解，及时提示监考老师帮助学生解 决问题决问题 17 2.4 考试系统考试系统 - 测试现场测试现场 18 2.4 考试系统考试系统 -其它保障措施其它保障措施 每个考场预设每个考场预设10%的备用考试设备，以备设备故障的考生的备用考试设备，以备设备故障的考生 当场或下场重考；当场或下场重考； 考前制定应急处理方案和故障解决手册，做好对考生设备考前制定应急处理方案和故障解决手册，做好对考生设备 异常、迟到缺考、网络故障、数据传输等个别情况的处理异常、迟到缺考、网络故障、数据传输等个别情况的处理 准备。准备。 考试机故障解决手册考试机故障解决手册 监考机故

10、障解决手册监考机故障解决手册 19 2.5 自动阅卷系统自动阅卷系统 评分标准 人机对话 考试系统 考生答案 自动阅卷服务器 (省政府统一采购) 局域网 阅卷进度 监控 系统 管理 注：以一市10万考生计算，阅卷中心由两台阅卷服务器构成，3天可完成阅卷。 20 2.5 自动阅卷系统自动阅卷系统 导入考生的答卷文件；准确完成自动阅卷和评分；导入考生的答卷文件；准确完成自动阅卷和评分； 21 目录目录 考试概要介绍考试概要介绍 考试的模式和管理考试的模式和管理 计算机自动阅卷原理计算机自动阅卷原理 评估报告及教学反馈评估报告及教学反馈 22 3.1 自动阅卷系统技术结构自动阅卷系统技术结构 23

11、3.2 语音识别用于口语评估的特殊性语音识别用于口语评估的特殊性 限定条件下的语音识别限定条件下的语音识别 专门麦克风，一定题型；专门麦克风，一定题型； 有别于不受任何限制的自然口语识别；有别于不受任何限制的自然口语识别； 口语评估基于标准语音库，而语音识别基于大量非标准库口语评估基于标准语音库，而语音识别基于大量非标准库 中科院自动化所领先的语音识别技术中科院自动化所领先的语音识别技术 美国虽然还没有把语音技术应用于他们本国的学生评估，美国虽然还没有把语音技术应用于他们本国的学生评估， 但是把这种技术应用到美国以外学生的英语考试已经很多但是把这种技术应用到美国以外学生的英语考试已经很多 年了

12、。年了。 24 3.3 阅卷特征提取阅卷特征提取 完整性完整性 朗读型题目，能否顺利读完全文，以及顺利读完的比例；朗读型题目，能否顺利读完全文，以及顺利读完的比例； 话题简述型题目，能否完整表达题目的语意，清楚表达的语意比话题简述型题目，能否完整表达题目的语意，清楚表达的语意比 例；例； 完整性特征是评分的起评基本特征；完整性特征是评分的起评基本特征； 准确性准确性 单词级评估，主要包括单词发音的元音、辅音、重音准确性单词级评估，主要包括单词发音的元音、辅音、重音准确性 流利性流利性 句子级评估，主要包括语速、插入（重复、修正）、连贯（连读、句子级评估，主要包括语速、插入（重复、修正）、连贯（

13、连读、 失去爆破、同化）等失去爆破、同化）等 韵律性韵律性 句子级评估，主要包括意群停顿（节奏）、重读弱读、语气语调句子级评估，主要包括意群停顿（节奏）、重读弱读、语气语调 25 3.4 自动阅卷过程说明自动阅卷过程说明 Making tea with tea bags is faster and easier than making it with leaves in teapots 阅卷系统及其输入：阅卷系统及其输入： 系统输入：考生朗读文本及语音系统输入：考生朗读文本及语音 26 3.4 自动阅卷过程说明自动阅卷过程说明 综合各种特征给出评分综合各种特征给出评分 完整性特征：根据漏读情况

14、计算完整性完整性特征：根据漏读情况计算完整性 准确性特征：单词发音、重音准确性准确性特征：单词发音、重音准确性 流利性特征：语速、插入、连读、失去爆破、同化流利性特征：语速、插入、连读、失去爆破、同化 韵律性特征：意群停顿、重读弱读、语气语调韵律性特征：意群停顿、重读弱读、语气语调 综合决策模块：综合上述特征给出最后评分综合决策模块：综合上述特征给出最后评分 综合决策 完整性特征 准确性特征 流利性特征 韵律性特征 评分结果 门限设置门限设置 27 目录目录 考试概要介绍考试概要介绍 考试的模式和管理考试的模式和管理 计算机自动阅卷原理计算机自动阅卷原理 评估报告及教学反馈评估报告及教学反馈

15、28 4.1 省、市、区省、市、区(县县)、校、班级、个人六级评估报告、校、班级、个人六级评估报告 评估报告的主要内容包括：评估报告的主要内容包括： 考试总分统计：分别按照个人、班级、学校、区考试总分统计：分别按照个人、班级、学校、区(县县)、市、省进、市、省进 行分析和比较，并可自定义比较单位，如平均分、最高分、单项行分析和比较，并可自定义比较单位，如平均分、最高分、单项 分等；分等； 主要错误的寻找和指正：给出发音、考点、语速、重音等方面的主要错误的寻找和指正：给出发音、考点、语速、重音等方面的 分档评价和主要错误；分档评价和主要错误； 改进建议：针对主要错误给出练习改善的建议。改进建议：

16、针对主要错误给出练习改善的建议。 29 4.2.1 考试总分统计考试总分统计 34分及以上 （A档） 34-28分 （B档） 28-24分 （C档） 24-20分 （D档） 20分下 （E档） 3341 (80.3%)511 (12.3%)140 (3.4%)82 (2.0%)86 (2.1%) 30 4.2.2 单项分数统计单项分数统计 31 - 4.2.2 发音错误比率图发音错误比率图 32 4.2.2 语速分布图语速分布图 33 4.2.3 各大题得分情况分析各大题得分情况分析 朗读短文朗读短文回答问题回答问题 平均分：8.79分 (满分10分)平均分：8.74 (满分10分) 听短文或对话回答问题听短文或对话回答问题复述句子复述句子 平均分：9.02分 (满分1