T∕CCTAS 305-2026 飞行训练陆空通话语音识别系统性能测试方法

飞行训练陆空通话语音识别系统性能测试方法radiotelephonycommunica(此版本未经出版审核，仅供参考，以最终出版发布为准)2026-06-01实施2026-06-01实施I 12规范性引用文件 13术语和定义 14缩略语 15系统框架及功能 25.1系统框架 25.2系统功能 26系统性能指标 26.1系统性能指标组成 26.2性能指标 37测试 47.1测试流程 47.2测试工具 57.3测试语料准备 57.4数据输入 57.5待测系统识别 57.6结果输出 57.7数据对齐 57.8结果统计 6 6 67.11RTF计算 68测试报告 6附录A(资料性)飞行训练陆空通话典型指令类型与要素示例 7 8本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由中国民用航空飞行学院提出。本文件由中国交通运输协会标准化技术委员会归口。本文件起草单位：中国民用航空飞行学院、中国电子科技集团公司第二十八研究所、民航空管技术装备发展有限公司、南京莱斯信息技术股份有限公司、新疆机场(集团)有限责任公司。本文件主要起草人：潘卫军、严勇杰、王玄、王洗棣、林毅、陈申豪、韩博源、梁海军、吴岳洲、王壮、李钢、周飞、袁宇琨、汤闻易、邬秋香、唐敏敏、张作斌、田磊、李波、刘怡食、杨博文、王鑫、王义宁、刘田野。1仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本(包括所的修改单)适用于本文件。GB/T21023—2007中文语音识别系统通用技术规范在特定的陆空通话指令类型下，用于唯一标识具体指令内容的离散编码值，一般采用数值(如整数/小数)或枚举代码形式。2下列缩略语适用于本文件。CER字错率(CharacterErrorRate)CeAR指令要素识别准确率(InstructionElementAccuracyRate)CtAR指令类型识别准确率(InstructionTypeAccuracyRate)RTF响应实时系数(Real-TimeFactor)SER句错率(SentenceErrorRate)5系统框架及功能5.1系统框架飞行训练陆空通话语音识别系统(以下简称系统)的核心功能包括语音识别、迅话指令类型识别和通话指令要素识别。系统框架见图1。图1系统框架5.2系统功能5.2.1语音识别系统应具备中文普通话与标准航空英语的连续语音识别能力。5.2.2通话指令类型识别系统应具备对转写文本进行语义分类的能力，能够识别并输出对应的指令类型，指令类型示例见附录A。5.2.3通话指令要素识别系统应具备对文本中的呼号、位置、地点、航路点、高度、航向、速度等关键信息要素进行抽取与字典化处理的能力，形成与对应陆空通话指令类型关联的结构化数据，指令要素示例见附录A。6系统性能指标6.1系统性能指标组成系数6.2.1.1CER用于评估系统底层声学与语言模的转写能力，按式(1)计算：I:插入字/词数，即系统多识的字/词数；6.2.1.2CER应小于1兰，6.2.2.1SER按式(2)计算：E:识别错误的句数(只要该句中存在任一字/词的替换、删除或插入错误，即计为错句);M:测试集语料的总句数。6.2.2.2SER应小于8.65%。6.2.3.1CtAR按式(3)计算：4Tis:测试参考文本中包含的指令总数量。6.2.3.2CtAR应大于等于99%。6.2.4指令要素识别准确率(CeAR)6.2.4.1CeAR按式(4)计算：Cei:系统正确提取且要素内容(如数值、状态、地名等)无误的指令要素数量；Tis:测试参考文本中包含的指令总数量。6.2.4.2CeAR应大于等于99%。6.2.5响应时间系数(RTF)6.2.5.1RTF按式(5)计算：RTF=(Tr-Ts)/(Te-Ts)6.2.5.2RTF应小于1.2。7测试7.1测试流程测试流程主要包括测试语料准备、数据输入、年测系统识别、结果记录、数据对齐、结果统计、CER、SER计算、CtAR、CeAR计算、响应时间与响应实时系数计算。测试流程见图3。测试语料准备测试语料准备数据输入待测系统识别结果输出结果统计图3测试流程57.2.5能自动对不同测试项的系统运行结果进行统计和分析7.3.1.6总规模应大于5000句。7.3.1.7发言人数应大于100名。所有测试音频应预先完成人工高精度转写与结构化指令提取，生成测试参考文本。测试完成后，应统一导出并留存系统的输出结果。输出6代入式(1)与式(2),计算得出CER与SER。7.10CtAR、CvAR计算代入式(3)与式(4),计算得出CtAR、CeAR。代入式(5),计算得出RTF。a)总体性能展示：应以表格形式，清晰、直观地给出待测系统的各项核心指标的总体计算结果具b)时效性指标报告：对于语音识别系统响应实时系数，应在报告中明确给出所有测试音频的统计7(资料性)A.1概述本附录给出了飞行训练陆空通话中常见的典型转写原文，以及表1典型指令类型与要素分类示例图序号典型通话转写原文示例类型1(国航九八幺),收襟翼，连续连续起飞呼号：国航981动作状态1:收襟翼动作状态2:连续起飞2(塔台),(川航八六六幺),(停机坪)试车申请试车坪3(南方六三拐拐),申请松软跑申请着陆飞机呼号：南方6377跑道状态：松软跑道4(东航五五两幺),小航线一转弯5(海航七幺幺),注意空域活动范围空域提醒/告警6(神鹰七幺),进入等待航路等待飞机呼号：神鹰71动作状态：进入等待7(厦航八幺两),复飞复飞飞机呼号：厦航812动作状态：复飞8(塔台),(南航三三四),落地后脱离(零两跑道)作状态：落