《智能语音交互质量评价测试数据集要求》编制说明

中国电子工业标准化技术协会

团体标准《智能语音交互质量评价测试数据集要求》

（征求意见稿）编制说明

一、工作简况

根据中国电子工业标准化技术协会2023年第一批团体标准制修订项目通知，

中国电子技术标准化研究院负责《智能语音交互质量评价测试数据集要求》（中

电标通【2023】002号，项目编号：CESA-2023-002）标准的制定工作。本标准

由中国电子技术标准化研究院提出，由中国电子技术标准化研究院、中国电子工

业标准化技术协会归口。标准起草单位为中国电子技术标准化研究院、北京小米

移动软件有限公司、北京百度网讯科技有限公司、思必驰科技股份有限公司、科

大讯飞股份有限公司、美的集团（上海）有限公司、中国移动通信集团有限公司、

华为终端有限公司、马上消费金融股份有限公司、中国科学院软件研究所、中科

南京软件技术研究院等。

本标准的起草过程简述如下：

2022年8月～2022年9月，中国电子技术标准化研究院牵头组织有关单

位，在北京召开了本标准的立项筹备会。会议共有来自北京小米移动软件有限公

司、美的集团（上海）有限公司、科大讯飞股份有限公司、思必驰科技股份有限

公司等4家单位的8位专家，对该标准的立项达成共识，共同收集相关资料，形

成标准草案大纲。

2022年10月～2022年12月，标准编制组成员多次组织专家进行讨论，对

标准草案的技术内容和格式进行修改完善，同时向相关单位和专家发送邮件，征

求相关单位的意见和建议。针对搜集到的意见和建议，起草组成员进行了深入细

致的研讨，形成了《智能语音交互质量评价测试数据集要求》标准草案。

2022年12月28日，中国电子工业标准化技术协会组织有关单位，在北

京召开了本标准的立项论证会。本次会议共有来自中国科学院声学研究所、中国

科学院自动化研究所、青岛海尔科技有限公司、上海小度技术有限公司等5家单

位的5名专家，对本标准进行了立项论证。专家组一致建议标准发起单位完善

标准立项建议书，尽快报请协会立项。该标准于2023年1月正式立项。

中国电子工业标准化技术协会

会后，标准起草工作组多次召开了标准讨论会，对专家提出的意见、建议进

行了认真分析和总结，并进一步修改和完善标准草案，于2023年9月形成标准

征求意见稿。

二、标准编制原则和确定主要内容的论据及解决的主要问题

本标准的制定工作遵循“统一性、协调性、适用性、一致性、规范性”的原

则，本着先进性、科学性、合理性和可操作性的原则，按照GB/T1.1-2020《标

准化工作导则第1部分：标准化文件的结构和起草规则》给出的规则编写。

本标准规定了智能语音交互服务在唤醒、语音识别、全双工、意图满足、语

音合成等方面的测试集构建的规范和要求。

本标准适用于对智能语音交互服务的整体或部分方面的评价。

本标准中主要内容是语音交互质量评价测试数据集要求，主要依据是电子标

准院已开展的智能语音交互系统产品测试过程和测试数据。

本标准解决的主要问题是，由于智能语音交互的评价涉及到多个维度，每个

评价维度的要求和测试方法不尽相同，因此需要对不同的测试数据集制定规范化

的构建准则和方法。测试数据集直接影响智能语音交互技术指标的测试结果。大

部分智能语音交互的实施效果，需要通过成功率来评价，需要足够多样化及数量

的测试集才能保证评价的客观性和准确性。

三、主要试验[或验证]情况分析

本标准研制过程中，编制组结合电子标准院已开展的语音交互系统产品测试

总体水平数据，以及行业内语音技术和产品发展现状，论证技术要求的合理性。

四、知识产权情况说明

本标准不涉及知识产权。

五、产业化情况、推广应用论证和预期达到的经济效果

随着语音技术的不断发展，对语音数据集的需求也在逐步增加。为了提高语

音识别的准确性和鲁棒性，需要采集更大规模、更多元化的语音数据集。

智能语音交互技术广泛使用了人工智能算法和模型，测试数据集直接影响智

能语音交互技术指标的测试结果。语音测试数据集是智能语音交互质量评价的基

础和关键，对于不同的评价维度和测试方法，需要匹配相应的测试数据集。

中国电子工业标准化技术协会

本标准旨在规定唤醒、语音识别、全双工、意图满足、语音合成等方面的测

试数据集要求，为智能语音交互质量评价过程中测试数据集规范化构建和选取提

供技术指引。

六、转化国际标准和国外先进标准情况

无。

七、与现行相关法律、法规、规章及相关标准的协调性

本标准遵循现行法律、法规、规章及标准，与现有标准协调配套。

已有国家标准GB/T41813.1规定了语音测试集的分类方法，本标准将予以

参考和引用，但该国标对智能语音交互质量不同评价维度的测试数据集没有明确

的详细规定。

八、重大分歧意见的处理经过和依据

无。

九、贯彻标准的要求和措施建议

该标准的有效实施将有助于为智能语音交互质量评价提供依据支撑，有效提

升智能语音交互质量评价的科学性和客观性，从而带动智能语音产业的高质量发

展，建议尽快实施。

十、替代或废止现行相关标准的建议

无。

十一、其它应予说明的事项

无。

《智能语音交互质量评价测试数据集要求》