2022智慧家庭人工智能语音服务技术规范

智慧家庭人工智能语音服务通用技术规范目 次前言 II范围 1规范性引用文件 1术语和定义 1缩略语 2语音服务的组成及能力等级划分 3环境要求 3基本要求 4测试方法 10附录A（规范性）语音测试集录音质量要求 15附录B（规范性）测试用设备要求 16I智慧家庭人工智能语音服务通用技术规范范围本文件适用于智慧家庭人工智能语音服务的建设、测试和评价。规范性引用文件（包括所有的修改单适用于本文件。GB3096—2008声环境质量标准GB/T21023—2007中文语音识别系统通用技术规范GB/T21024—2007中文语音合成系统通用技术规范GB/T22239—2019信息安全技术网络安全等级保护基本要求GB/T36464.1—2020信息技术智能语音交互系统第1部分：通用规范GB/T36464.2—2018信息技术智能语音交互系统第2部分：智能家居术语和定义GB/T21023—2007、GB/T21024—2007、GB/T36464.1—2020、GB/T36464.2—2018界定的以及下列术语和定义适用于本文件。语音服务voiceservice人机之间通过自然语言对话来获取信息的服务。语音采集voiceacquisition通过传声器或麦克风阵列等拾音设备对语音进行采集。语音识别speechrecognition将人类的声音信号转化为文字或指令的过程。[来源：GB/T21023—2007，3.1]语义理解semanticunderstanding使功能单元理解人说话的意图。[来源：GB/T36464.1—2020，3.11]1语音合成speechsynthesis通过机械的、电子的方法合成人类语言的过程。[来源：GB/T21024—2007，3.1]端点检测voiceactivitydetection一种用于分析、判断连续音频流中有效起始点和结束点的语音处理技术。[来源：GB/T36464.1—2020，3.22]智能语音终端artificialintelligencevoiceterminal可接收用户的语音，使得用户可以获取在线音视频等内容，或可通过语音进行控制的设备。噪声noise的声音信号。[来源：GB/T36464.1—2020，3.27]等效声级equivalentcontinuousA-weightedsoundpressurelevel个声级来表示该段时间的噪声大小。平均意见得分meanopinionscore语音质量的一种主观度量。[来源：GB/T36464.2—2018，3.26]语音唤醒speechwakeup；voicetrigger续语音识别等其他处理状态的过程。[来源：GB/T36464.2—2018，3.13]媒资mediaassets媒体单位生产的文字、图片、音视频等数据。媒资库mediapool存储媒资的数据库。缩略语下列缩略语适用于本文件。PCM：脉冲编码调制（PulseCodeModulation）MOS：平均意见得分（MeanOpinionScore）2语音服务的组成及能力等级划分语音服务的组成由语音采集与识别、语义理解、语音合成与播放、语音技能四个部分组成。语音服务能力等级划分语音服务能力根据成熟度划分为五个等级，见表1。表1语音服务能力等级语音服务能力等级定义主体语音采集与识别语义理解语音合成与播放语音技能Level5语义深度理解与智能互动端点检测上下文及多场景语义理解与智能终端控制智能翻译多级互动Level4语义理解与语音互动语义理解自然合成（多语种、多发音人）应用唤醒、栏目唤起、内容搜索Level3语音深度识别与自然合成——Level2语音识别与机器合成语音识别—机器合成—Level1语音采集与播放语音采集—语音播放—环境要求自然环境智能语音终端主要在家庭环境下使用，在表2所示自然环境条件下应正常工作。表2自然环境要求温度℃相对湿度大气压力KPa0～4010%～90%无凝结86～106网络环境智能语音终端或与之相连的智能设备应支持无线或有线网络接入互联网，网络接入速度应不低于128kbit/s。噪声环境智能语音终端主要在家庭环境下使用，家庭噪声环境具体要求按照GB3096—2008第4章中0、1、2类声环境功能区的规定执行。3基本要求语音采集与识别语音采集能力的拾音设备对语音、连续语音进行单声道或多声道的采集。语音采集应满足以下要求：8kHz16kHz，16bitPCMOpusSpeex30s60s注：Opus是有损音频的一种编码格式；Speex是一套针对语音音频的压缩格式。端点检测和主观停止。语音识别应满足以下要求：支持家庭场景下关键词语音识别能力，如影视、音乐、医疗、教育等；支持简单中英文混合识别；支持数字、电话号码；支持普通话、带有福建口音的普通话；宜支持福建省内主流方言，如闽南语、客家语；3表3语音识别句识别率要求声环境功能区类别环境噪声等效声级dB（A）句识别率%0类昼间50，夜间40≥901类昼间55，夜间45≥852类昼间60，夜间50≥80句识别率计算方法按公式(1)。

N=×100% (1)Nsi式中：Psr （%）；Nsr Nsi 4语义理解应满足以下要求：支持简称、别名、代码、数字的理解；具有用户表达存在错字、缺字、模糊时的容错理解能力；支持多轮、全双工对话的人机交互方式；4表4语义理解等级表语义理解等级场景语义理解正确率%0类影视，电视直播，节目回看≥901类音乐，医疗，购物，教育≥85语义理解正确率计算方法按公式(2)。

NRss=×100% (2)N式中：Rss ——语义理解正确率，单位为百分数（%）；Nss ——操作意图及语义要素均被正确判断的次数N ——用户输入被正确识别出文本信息的总次数语音播放与合成语音播放60dB。语音合成应满足以下要求：支持在线或离线方式合成近似人类的语音；支持普通话和英语，宜支持福建省内主流方言，如闽南语、客家语；支持中英文数字等各种混合音，宜支持多音色合成和个性化合成；MOS4，MOS5。表5MOS量化分值分值主观测听效果5非常接近播音员真人发声，达到以假乱真的程度，总体听感很好，清晰、流畅。4发音清晰、可懂，总体听感好、流畅，听测人愿意接受（半小时左右不觉疲劳），没有明显韵律错误。3基本可以听懂，但在语气节奏处理上问题较多，音节之间拼接不流畅感较重，听测人不太愿意接受，有明显的疲劳感。2语音吐字不清晰，字词之间有较为严重的顿挫感，体验性不好，但不影响正常理解。5表5MOS量化分值（续）分值主观测听效果1发音不清晰，机器音质，听不懂，只能表达断续、个别的语音信息，猜测语意都很困难，不能接受。注：参考GB/T36464.1—2020中A.8.3的表A.1，结合家庭环境要求，对主观测听效果作更详细描述。语音唤醒夜间唤醒具备语音唤醒功能的智能语音终端在夜间的唤醒率应满足表6要求。表6夜间不同噪声环境下的唤醒率要求声环境功能区类别夜间环境噪声等效声级dB（A）发声大小dB唤醒率要求0类40＜55不作要求≥553m优于95%1类45＜60不作要求≥601m优于95%3m优于90%5m优于85%2类50＜65不作要求≥653m优于85%夜间唤醒率计算方法按公式(3)。NRnw=×100% (3)Nw式中：Rnw ——夜间唤醒率，单位为百分数（%）；Nsw ——成功唤醒次数；Nw ——语音唤醒操作次数。昼间唤醒具备语音唤醒功能的智能语音终端在昼间的唤醒率应满足表7要求。表7昼间不同噪声环境下的唤醒率要求声环境功能区类别昼间环境噪声等效声级dB（A）发声大小dB唤醒率要求0类50＜65不作要求≥653m优于90%6表7昼间不同噪声环境下的唤醒率要求（续）声环境功能区类别昼间环境噪声等效声级dB（A）发声大小dB唤醒率要求1类55＜70不作要求≥701m优于90%3m优于85%5m优于80%2类60＜75不作要求≥753m优于80%昼间唤醒率计算方法按公式(4)。NRdw=×100% (4)Nw式中：Rdw Nsw Nw 误唤醒次数具备语音唤醒功能的智能语音终端误唤醒次数应满足表8要求。表8误唤醒次数要求环境噪音（S）dB（A）12h内误唤醒次数S≤450次45＜S≤55不作要求55＜S≤65低于2次S＞65不作要求语音技能通用技能响应时间应时间应小于或等于2s。响应时间计算方法按公式(5)。式中：Tack——响应时间，单位为秒（s）；

=tr—te (5)7tr ——给出结果时刻；te ——语音输入结束的时刻。注1如语音交互系统支持识别结果分多次返回，te注2如智能语音终端具备语音唤醒功能，tr注3如智能语音终端具备显示屏幕，tr交互反馈应满足以下要求：支持查询类技能通过语音播报加信息展示的形式向用户反馈；支持媒资检索类技能通过语音播报加搜索结果展示的形式向用户反馈；支持技能处理遇到异常情况时通过语音或者文本展示的形式向用户反馈。反馈语设计宜满足以下要求：准确：实事求是，清楚明了传达信息，避免歧义；简洁：用最少的话传达最重要的信息；自然：口语化不生硬，容易理解，有停顿，符合正常说话节奏；明晰：明确、具体完成任务，并传达理解程度；亲和：遇到出错情况，主动推荐并引导用户。应用唤起单说指令唤起应支持按应用名称唤起应用。指定句式唤起应支持按固定的句式进行应用的唤起，句式为：前缀词+应用名称+后缀词。前缀词至少包括：打开、启动、开启、我要玩、我想玩、我要用。后缀词至少包括：应用、软件。关联语义唤起配的应用唤起。涉屏语音服务技能媒资管理应支持媒资的栏目管理、索引建立、审核、发布功能。媒资信息应满足以下要求：影视媒资信息包括：名称、主演、上映时间、类型，宜包括季集、导演、简介、评分、热度等信息；游戏媒资信息包括：名称、类型，宜包括简介、评分、上架时间、热度等信息；8应用媒资信息包括：名称、类型，宜包括简介、评分、上架时间、热度等信息。媒资检索标签检索应满足以下要求：122容错处理果。关联推荐宜支持基于内容及用户喜好的关联推荐检索。息。页面操控页面基础操控应满足以下要求：支持通过语音控制，实现返回上级页面和退出当前应用等基本操作；支持通过语音唤起当前页面上所列栏目。搜索页操控搜索页应支持语音的翻页及选择指令，具体指令见表9。表9搜索页操控指令指令名称指令英文标识指令参数跳到下一页NEXT—跳到上一页PREV—跳到指定页INDEXindex页号（整数值型，负数表示倒数）选择SELECTrow：第X行（整数值型，负数表示倒数）index：第X个（整数值型，负数表示倒数）播放页面操控播放页面应支持语音的播控操作指令，播控操作相关指令见表10。9表10播放操控指令指令名称指令英文标识指令参数播放PLAY—暂停PAUSE—继续播放RESUME—重头播放RESTART—跳到指定位置SEEKposition位置（整数值型，单位：秒）快进指定时间FORWARDoffset偏移（整数值型，单位：秒）后退指定时间BACKWARDoffset偏移（整数值型，单位：秒）涉屏终端控制应支持对带屏类智能语音终端设备的基础控制指令，如音量控制、打开设置页面、关机。服务安全基础服务安全按照GB/T22239—2019中8.1.2规定的执行。隐私保护麦克风隐私保护一键禁麦。摄像头隐私保护挡开关。测试方法测试准备测试语料文本测试集应满足以下要求：覆盖影视、音乐、医疗、教育等领域；包含智能语音终端的唤醒词、操控指令、多音字、频道别名等常用性语句。语音测试集应满足以下要求：10501:1，9～1220～5060～751:4:1；8.1.1.1发音人以普通话或带有福建口音的普通话录制；宜包含福建省内主流方言，如闽南语、客家语；A测试用设备应符合附录B的规定。测试环境被测语音交互系统部署被测语音交互系统，测试用回放设备通过对话方式对其进行控制和交互。被测系统网络环境应满足6.2的要求，保持稳定的连通状态。远近场拾音距离近场拾音距离为1m，远场拾音距离为3m。测试场景求噪音保持稳定且不包含命令词相关的声音，具体要求见表11。表11测试场景要求环境噪音场景测试语音声压级（S）dB环境噪音声压级（V）dB（A）夜间2类S≥65V≤50昼间2类S≥75V≤60误唤醒测试场景60＜S≤7560＜V≤75测试方法语音采集测试数据，查看数据的编码格式和采样率。通过上述测试方法验证是否满足7.1.1的要求。11端点检测测试意图，进行多个指令操作。通过上述测试方法验证是否满足7.1.2的要求。语音识别测试预期结果进行比对，计算出句识别率。通过上述测试方法验证是否满足7.1.3的要求。语义理解测试解正确率。通过上述测试方法验证是否满足7.2的要求。语音播放测试在昼间20.1m贝值，记录分贝数据。通过上述测试方法验证是否满足7.3.1的要求。语音合成测试选取10个体验人员，男女各5人，年龄在20～505给出MOS均结果。通过上述测试方法验证是否满足7.3.2要求。语音唤醒测试唤醒率测试按8.2.4的测试场景要求，将被测设备调至待命状态，使用测试用回放设备在远场距离播放唤醒语音测试集不少于50条，统计岀正确响应次数，计算出唤醒正确率。15从前后左右四个方位播放唤醒词各50次。通过上述测试方法验证是否满足7.4.1、7.4.2的要求。误唤醒测试按8.2.4误唤醒测试场景要求，将测试用回放设备连续播放12h，统计被测设备给出的响应次数。通过上述测试方法验证是否满足7.4.3的要求。语音技能测试响应时间测试12按8.3.3语音识别测试方法，从拾音设备拾音结束到语音交互系统显示正确的反馈，计为一个交互响应时间。对被测设备的基本交互时间进行统计、分析，给出在线响应时间。通过上述测试方法验证是否满足7.5.1.1的要求。交互反馈测试在被测设备支持的业务场景范围内，选择不少于5个业务场景，由测试人员发出操控指令，记录被测设备交互反馈情况。通过上述测试方法验证是否满足7.5.1.2和7.5.1.3的要求。应用唤起测试测试人员对被测设备说，“我要玩游戏”、“我要听音乐”。可以启动被测设备上已安装的游戏、音乐应用，即为通过。通过上述测试方法验证是否满足7.5.2的要求。涉屏语音服务技能测试媒资管理和媒资检索测试101个或任意2签发出搜索指令，记录检索结果情况。通过上述测试方法验证是否满足7.6.1、7.6.2.1和7.6.2.2的要求。关联推荐测试户搜索：“熊出没狂野大陆”，被测设备无对应媒资时，给出“熊出没”相关联的影片推荐。通过上述测试方法验证是否满足7.6.2.3的要求。页面操控测试通过上述测试方法验证是否满足7.6.3的要求。涉屏终端控制测试测试人员通过语音进行被测设备的控制，如：增大音量、减小音量、打开设置页面、关机。通过上述测试方法验证是否满足7.6.4的要求。服务安全测试基础服务安全要求测试按照GB/T22239—2019中8.1.2的规定执行。13麦克风关闭测试测试人员在离被测设备正面1m处用唤醒词