飞行训练陆空通话语音识别系统测试方法

3本文件规定了飞行训练陆空通话语音识别系统的系统功能及构成、系统性能指标、测试方法与测试报告要求。本文件适用于飞行训练的陆空通话语音识别系统的测试。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。GB/T21023—2007中文语音识别系统通用技术规范MH/T4014—2003空中交通无线电通话用语3术语和定义下列术语和定义适用于本文件。语音识别speechrecognition将语音信号转换为文本或结构化指令的处理过程。[来源：GB/T21023—2007《中文语音识别系统通用技术规范》]3.2语音识别系统speechrecognitionsystem由前端采集与预处理、识别引擎、结果输出与接口组成的系统，实现对输入语音的识别与结构化输[来源：GB/T21023—2007《中文语音识别系统通用技术规范》]指令类型instructiontype依据管制指令语义对语音识别结果中包含的指令进行分类的标识，用于区分放行、航路调整、告警与紧急处置等不同类别的结构化指令。指令值instructionvalue在给定指令类型下，用于唯一标识具体指令内容的离散编码值，一般采用无符号整数或枚举代码形式，与系统中的结构化指令一一对应。4系统功能及构成4.1飞行训练陆空通话语音识别系统功能44.2飞行训练陆空通话语音识别系统的其中E为识别错误句数(任一字错误即计错),M为总句数。5.2陆空通话指令识别准确率指标55.3.1语音识别系统响应时间5.3.2语音识别响应实时系数5.4系统性能指标要求5.4.1语音识别指标要求系统应进行指令的识别，字错率应小于2%,句错率小于26%;5.4.2指令类型识别指标要求系统应实现指令类型的识别，指令类型识别准确率应大于等于98%;5.4.3指令值识别指标要求系统应实现指令值的识别，指令值识别率应大于等于98%。5.4.4语音识别响应实时系数要求系统应实现实时的语音识别，响应时间实时系数应小于1;6测试方法6.1测试语料库设计6.1.1语料来源预料来源应覆盖飞行训练典型场景；包含中文普通话与航空英语；测试应语料不小于1000句，覆盖但不限于呼号、位置、高度、速度、航向、跑道、保持/等待/复飞/联络要素；说话人人数大于50名，覆盖训练学员与教员；6.1.3语速测试语料应包含不同语速的代表性说话人；6.1.4语料库指令类型语音库指令类型应包括但不限于：a).(飞机呼号)收襟翼，连续c).(飞机呼号)(位置)试车d).(飞机呼号)(收油门)(放襟翼)e).(管制呼号)(飞机呼号),申请松软跑到着陆f).(飞机呼号),小航线一转弯g).(管制呼号)(飞机呼号),申请高度层活动h).(飞机呼号),注意空域活动范围i).(管制呼号),联系地面塔台j).进入等待61).落地后脱离(跑道号)测试语料录制编码格式应为WAV格式，采样率为44.1kHz,量化间隔16bit,波形采样范围为环境噪声录制编码格式应为WAV格式，采样率为44.1kHz,量化间隔16bit,波形采样范围为6.2测试环境布置采用由四个中音扬声器与一个低音扬声器组成的阵列生成噪声以及对话语音。6.2.1.2扬声器均衡与校准重放前应完成阵列均衡与电声校准，使免提麦克风位置的声功率谱密度与参考录音一致；采用测量麦克风或录制背景噪声时使用的VHF麦克风实施对比校准。6.2.1.3频谱与声级匹配参考录音与重放场景的最大A计权声压级偏差不应超过±1dB;100Hz～10kHz频段的1/3倍频程功率谱密度偏差不应超过±3dB。低音扬声器置于座椅后方中部；后排两只扬声器位于后座靠枕与后窗之间；前排两只扬声器置于仪表板上部左右两侧。背景噪声应来自真实训练航空器与管制塔台的现场录制，并保留噪声幅值等元数据以支撑重放匹配与校准。6.3测试步骤在规定噪声场景与电平下，应按测试集顺序播放语音并由系统完成识别输出；保存系统输出文本与时间戳。6.3.1.2文本对齐将系统输出与参考文本进行字级与句级对齐，得到替换数S、删除数D、插入数I、参考总字数N、错误句数E、总句数M。6.3.2通话指令识别准确率测试语音识别系统的文本使用待测试系统进行呼号识别，指令类型识别，指令值识别；保存系统识别结果。统计系统识别的结果并与标定结果进行对比，得到识别正确的呼号数量，识别正确的指令类型数量，识别正确的指令值数量。统计标定结果中总的呼号数量，总的指令数量。76.3.3响应时间与响应实时系数测试记录系统每条语音记录三类时间戳：