智能语音交互式自助服务系统

成果上报申请书成果名称智能语音交互式自助服务系统成果申报单位安徽省（自治区/直辖市）公司成果承当部门/分公司省公司信息系统部部门/分公司项目负责人姓名项目负责人联系电话和Email成果专业类别*业务支撑所属专业部门*业务支撑线条成果研究类别*其它省内评审成果*优秀核心词索引（3～5个）语音识别IVR语音自助应用投资221万元（指别的省引入应用大致需要的投资金额）产品版权归属单位中国移动通信集团安徽有限公司对公司现有原则规范的符合度：（按填写阐明5）中国移动业务支撑系统NG1-CRM、NG1-BOSS、宽带P-BOSS系列规范，并以下方面进行了增强：一、实现了基于“自由说”呼喊导航语音识别技术的智能语音交互，提高顾客体验，突破传统按键IVR的局限性。二、针对移动客服业务应用，优化语音识别声学模型和语言模型，提高语音识别精确率。三、首创的超大规模语音检索功效，扩展自助服务的业务范畴。四、设计了完善的语音识别系统的VUI(语音交互界面)，保障智能客服系统服务鲁棒性。五、设计了完善的语音识别语义解析系统。如果该成果来源于研发项目，请填写研发项目的年度、名称和类型（类型涉及：集团重点研发项目、集团联合研发项目、省公司重点研发项目、其它研发项目），可填写多个：省公司重点研发项目成果介绍：简要描述成果目的和意义，解决的问题，获得的社会和经济效益。现在10086的重要服务方式为按键式自助服务，随着业务高速发展，传统的按键式IVR日益体现出冗长、复杂、效率低下、顾客体验差等局限性。本项目通过应用最新的交互式语音识别和语音合成技术，实现高效、便捷、自然的自助语音服务，有助于增强自助服务、提高工作效率、减少运行成本、提高顾客体验。项目意义：本项目变化了按键式IVR随着业务扩展带来的层级复杂，操作流程过长的问题，大幅提高顾客体验，同时本项目能够使得自助服务更为便捷和高效，使更多的顾客乐意选择自助语音服务，从而减少人工座席压力，可大幅节省客户中心人力成本。实现功效：建立与现有10086自助服务功效一致的语音识别呼喊导航自助服务平台，顾客接入该平台后，使用自然语音和系统进行对话，并最后完毕需要的业务。本项目充足考虑语音交互应用的需求和特点，提供精确的端点检测、智能打断、多语义识别以及自由说技术，以开放式的人机语音对话实现更加灵活的交互。系统使用开放性提示来询问顾客，在交互过程中提供了便捷的引导和提示，提高顾客感知，顾客也能够随时说话打断而无需等待系统提示音播报结束，使纯熟顾客应用更加便捷，智能端点检测功效能够自动拟定顾客说话的起止，配合智能打断及时停止播放提示语。另外，本系统含有强大的自然语言理解能力，通过分析顾客自然对话中的核心语义，能够自动判断其需求，从而提供最适宜的信息或服务。实现了基于“自由说”呼喊导航语音识别技术的智能语音交互，提高顾客体验，突破传统按键IVR的局限性。传统按键式IVR系统随着业务的增多，瓶颈显示的越来越明显，业务扩展困难，系统层级太多，顾客通过自助系统办理业务的时间越来越长，简朴的优化办法只能改善自助IVR系统的服务能力，但是无法从根本上解决问题，而采用语音识别呼喊导航技术能够从源头上解决按键式IVR面临的问题，通过顾客语音，一次说话能够携带大量的信息，突破以前一次只能输入一种简朴按键信息的输入方式，最后实现业务“菜单扁平化”，缩短顾客IVR通话时长，同时方便增加新业务和扩展。传统语音识别技术是通过预先定义的语法严格约束顾客的说法，造成应用系统的实用性存在较明显的局限，本项目通过“自由说”语音识别技术，将顾客的自然语音识别转换为语言信息，通过语义解析判断顾客的意图，以提高智能化、人性化的应用体验。二、针对移动客服业务应用，优化语音识别声学模型和语言模型，提高语音识别精确率。在呼喊导航系统中，语音识别是进行信息抽取和主题分类之前至关重要的一环，而影响语音识别效果的核心在于声学模型和语言模型，在本项目中我们通过研究移动客户业务的语音识别应用特点，通过安徽移动客服中心过去5年的电话录音数据进行分析，对语音识别声学模型和语言模型进行优化，建立了移动客服定制声学模型和语言模型，这些模型为系统提供了高识别率的语音识别成果，为后期信息抽取和主题分类提供协助和提高。声学模型方面，重要是考虑人（涉及不同安徽移动顾客常见的各地口音、说话风格）以及顾客使用环境对语音的影响，为此我们建立了不同口音的声学模型和噪音解决的声学模型；在语言模型方面，重要和移动客户业务结合起来加以实际的顾客说话录音，通过对这些状况的分析，建立有针对性的的业务语言模型。通过实验对比，优化声学模型和语言模型后来，语音识别呼喊导航精确率从72%提高到80%，命令词语音识别从83%提高到90%。三、首创的超大规模语音检索功效，扩展自助服务的业务范畴。本项目提供了业界首创的超大规模语音识别检索功效，能够对包含千万量级核心词的业务通过语音识别进行检索。热点搜索和查询（地图搜索、商户搜索、歌曲搜素、气象查询）等业务的需求正在加大，这些业务的热点数目众多，普通超出10万以上，基于传统命令词的语音识别方式在语法规模极大时会造成识别率下降和系统效率减少。本项目针对热点信息搜索查询的需求，提供了海量词汇检索的功效。四、设计了完善的语音识别系统的VUI(语音交互界面)，保障智能客服系统服务鲁棒性。本项目针对安徽移动10086客服系统，设计专用的顾客语音界面，和谐的语音提示和引导，使系统能够像人同样与顾客进行自然的交互，极大程度的提高顾客感知。同时，本项目中还设计了完善的容错流程，通过对语音识别置信度的判断，一旦系统对识别成果精确程度把握不够时，将会引导顾客再次确认，或者给出对应可能的几个备选来进行二次选择，同时系统与传统按键IVR相结合，以按键IVR作为识别系统的灾备和逃生通道。五、设计了完善的语音识别语义解析系统。本项目通过对移动客服业务内容和业务频度等进行分析和聚类，对客户语音录音进行文本标注，并对核心词、热词、常见顾客说法等进行归类和汇总，建立了移动客服语义解析系统。通过高精确的核心信息抽取和主题分类算法，能够对语音识别之后的文本信息进行建模，并运用机器学习以及自然语言理解技术加以分析，使系统能够真正理解顾客需求，并对顾客需求进行判断和操作。本项目中建立的移动客服语音解析系统，除了为本项目提供搞精确的语音识别呼喊导航服务以外，还为智能网上客服、客服机器人等提供了语义分析基础。省内试运行效果：描述成果引入后在我省试运行方案、获得的效果、推广价值和建议等。项目在4月选择安徽省合肥市作为试点，系统总共支持22个明细业务。根据语音识别技术的需要和业务特点同分为三类：1、业务办理类2、业务介绍类3、业务查询类。期间系统运行稳定，在对使用的顾客随机抽取1200多条拨打使用平台系统的录音数据进行分析时，顾客对使用智能语音进行交互的模式承认，系统提供的常见业务平均识别率达成%。6月本项目为短信营业厅提供智能识别服务，并承载了校园迎新活动。8月承载的咨询量逾400万次，其中办理业务逾1万笔。在校园迎新活动中，受理新生入网万户。智能语音交互自助服务系统同时大幅提高顾客查询和办理业务的效率，在试点中，采用按键方式获取到业务平均需要1分多钟，而使用智能语音系统后，缩短到15秒左右，因此能够大幅提高顾客满意度，同时减少由于按键流程复杂而转坐席的比率，有效的减少人工成本。文章主体（3000字以上，可附在表格后）：根据成果研究类别，主体内容的规定有差别，具体规定见表格后的“填写阐明6”。“成果上报申请书”的填写阐明：1、“成果专业类别”指：核心网、无线、传输、IP、网管、业务支撑、管理信息系统、市场研究、数据业务、数据网络、通信电源、空调、其它。2、“成果研究类别”指：超前研究、新产品开发、有关网络解决方案、现有业务优化、其它。3、“所属专业部门”指：完毕该成果的单位在省公司或地市分公司所属的专业部门线条。可填写：规划计划线条、网络线条、业务支撑线条、管理信息系统线条、数据线条、市场线条、集团客户线条、其它。4、“省内评审成果”指：优秀、通过。5、“对公司现有原则规范的符合度”指：列举该成果使用并符合的中国移动统一公布的公司原则的名称和编号，具体描述该成果在现有的公司原则基础上所需新增的功效规定（如业务流程的变化、设备新增的功效规定等）。6、“文章主体”：根据不同科技成果分类实施不同的主体规定，具体以下：1）超前研究类成果主体涉及：背景状况技术特点分析原则化状况其它运行商应用状况（可选）技术发展趋势引入方略分析2）有关网络解决方案类成果主体涉及：背景状况技术方案：概述、网络解决方案（如果涉及到网络方面的改造，信令改造，路由改造等，应有具体的描述）、设备及系统改造/建设规定、码号资源需求效果（解决了哪些问题）我省应用推广状况3）新产品开发类成果主体涉及：业务及功效介绍：业务概述、业务重要功效介绍技术实现方案：涉及业务实现组网构造图、有关系统（平台、终端）功效和规定、业务实现流程、码号规定等业务申请和开通：涉及顾客范畴及业务使用范畴、业务申请与注销等业务商务模式及资费：涉及商务模式、业务资费模式、业务收费方式等市场前景分析4）现有业务优化类成果主体涉及：业务及功效介绍：业务概述、业务重要功效介绍现有业务存在的问题：现有缺点分析、解决问题的思路原有业务方案/流程：业务实现组网构造图、有关系统（平台、终端）功效和规定、业务实现流程优化后的方案/流程：业务实现组网构造图、有关系统（平台、终端）功效和规定、业务实现流程优化后达成的效果，产生的经济效益5）其它类成果主体，参考1）－4）的成果主体规定，叙述清晰项目背景、实现方案、解决的问题、获得的社会和经济效益等。其它类创新成果主体报告（3000字以上）参考1）－4）成果主体规定，叙述清晰项目背景、实现方案、解决的问题、获得的社会和经济效益等。可自定提纲。项目背景10086客服中心是移动客户服务的重要平台之一，其服务量占移动客户服务系统服务量的80%以上。随着移动业务快速发展，传统按键IVR在扩展性、易用性及顾客体验上存在很大局限，造成给人工坐席服务带来巨大压力，造成客服中心的运行费用非常惊人，每年需要为支付数十亿元甚至更多的费用。现在按键式IVR平台难以满足高速发展的业务规定，影响客户满意度。近年来，语音识别技术获得快速突破，在北美、欧洲，甚至亚太（如澳大利亚、韩国、日本）运行商中都已经开始应用语音识别提供客户服务，在国内语音识别技术已经广泛应用在音乐搜索、通讯助理等增值服务上。而语音识别应用品有一定的复杂性，在移动客服自助服务上，现在单纯的命令词语音识别存在局限，顾客的说法和内容很难规范统一。应用智能语音呼喊导航技术（CallRouting）的客服中心智能语音系统即为解决上述问题而设计，在IVR系统中用语音取代按键的输入方式能够大大提高顾客体验，通过语音识别系统对客户的说话内容进行识别后并转接到对应的业务选项上。语音输入的应用模式最大的优点在于突破了电话终端设备按键数量的限制，从而实现了从多层次的树状菜单向单层并列式菜单的转变，客户只需要说出自己的大致需求即可进入该业务办理的流程。语音呼喊导航技术(CallRouting)应运而生，该技术通过融合语音识别、信息抽取等技术，实现了允许让客户随意说，系统识别后直接转接到对应业务选项上，给顾客带来全新的体验，从而大大减少人工坐席的压力。即使CallRouting技术的研究与有关系统软件的开发在国际上已有了较好地发展，但国内运行商中还没有应用研究，因此，根据安徽公司的实际业务状况，使用语音路由与按键方式共同使用并逐步引导使用语音交互的方式，对于客服中心人力资源的节省及客服水平的发展都含有重要的现实意义。项目意义：本项目变化了按键式IVR随着业务扩展带来的层级复杂，操作流程过长的问题，大幅提高顾客体验，同时本项目能够使得自助服务更为便捷和高效，使更多的顾客乐意选择自助语音服务，从而减少人工座席压力，可大幅节省客户中心人力成本。实现功效：建立与现有10086自助服务功效一致的语音识别呼喊导航自助服务平台，顾客接入该平台后，使用自然语音和系统进行对话，并最后完毕需要的业务。本项目充足考虑语音交互应用的需求和特点，提供精确的端点检测、智能打断、多语义识别以及自由说技术，以开放式的人机语音对话实现更加灵活的交互。系统使用开放性提示来询问顾客，在交互过程中提供了便捷的引导和提示，提高顾客感知，顾客也能够随时说话打断而无需等待系统提示音播报结束，使纯熟顾客应用更加便捷，智能端点检测功效能够自动拟定顾客说话的起止，配合智能打断及时停止播放提示语。另外，本系统含有强大的自然语言理解能力，通过分析顾客自然对话中的核心语义，能够自动判断其需求，从而提供最适宜的信息或服务。实现方案安徽移动音识别识别驱动的智能呼喊导航客服系统基于安徽移动10086客服所使用的华为UAP8100平台进行搭建，采用华为MSU单板集成科大讯飞的语音识别功效。自助语音识别应用通过IVR电话业务流程为移动顾客提供客服，并与现网10086客服电话流程进行融合，在语种选择菜单等多个入口实现自助语音识别服务的无缝接入。顾客拨打10086进入到自助语音系统电话流程后，只需根据系统的语音提示，使用自然语言说出自己的需求，自助语音系统即可识别该顾客意图，并直接导航到最后的业务办理流程节点上，实现简朴快捷的顾客自助操作。具体技术内容系统开发内容：在现有10086的第一层菜单下加入呼喊导航系统的入口，顾客进入该入口后使用语音识别的方式与自助系统进行交互，进行有关业务的查询和办理。针对中国移动现有自助业务进行有关数学建模过程。收集安徽公司客服系统的实际对话语料，人工进行标注分析，法进行声学和语言模型训，并生成针对安徽公司业务呼喊导航系统专用的资源包。在业务开发平台上针对现在10086中全部业务开发出适合呼喊导航系统使用的流程。呼喊导航系统的测试与内部效果评定。在生产环境上布署系统，并对系统在实际生产环境的运行数据进行评定验证。根据评定数据对算法和呼喊导航资源包中的声学模型和语音模型进行优化，通过分析顾客使用呼喊导航系统的流程轨迹，对业务流程进行优化，并最后达成预期的目的。技术路线1、结合现在语音识别领域主流的声学模型建模办法，使用上下文有关的建模单元、分辨性特性、分辨性模型训练等技术建立应用于随意说环境下的声学模型；分析安徽公司客服的实际信道，顾客查询业务时的说话风格，使用客服的历史数据进行声学模型自适应，针对安徽公司的现网使用环境优化声学模型；分析客户拨打客服热线时的噪声环境，使用降噪、特性增强等办法来改善声学模型在噪声环境下的性能。2、研究现在主流的语言模型建模算法。通过对安徽公司客服历史数据的人工转写，收集领域有关的语言模型训练文本，使得系统能有效的学习与移动业务有关的语言层知识，在顾客进行业务有关的咨询时有更高的识别精确率。3、以中国移动现在的重要业务选项作为分类目的，对主流的分类算法进行分析与实验，使用文本分类器的分辨性训练、支持向量机、最大熵等分类技术，研究可合用于复杂任务的分类算法；根据分s类技术的使用状况，研究多分类器的可行性，以解决实际业务的路由问题。4、完善CallRouting系统中的拒识问题，使得在顾客无法精确体现其需求时，系统能转到人工客服，改善顾客的使用体验；通过声学置信度和文本置信度技术的研究，在允许转到人工客服的状况下，确保通过语音路由的对的率达成较高的水平。5、解决语音识别错误对路由的影响，通过运用语音识别模块产生的多候选信息，达成即使在语音识别产生错误的状况下，仍能进行对的的路由功效。6、引导顾客在智能语音交互状况下的使用习惯，通过模拟测试的办法探索系统上线后的优化流程，通过测试、优化、再测试、再优化的方式逐步提高系统的路由性能。系统架构1、逻辑层次

2、逻辑架构3、网络架构ASR服务器提供语音识别功效。IVR节点根据电话顾客的发出的请求信息，向识别服务器发出命令。识别服务器响应并提供对应服务。当请求为识别服务时，IVR把收集到的语音传送给识别服务器，ISM启用识别服务，并返回对应的识别成果，返回给IVR，由IVR进行调度，执行下面的流程控制。IVR自动服务采用语音识别技术后，服务流程在内部有明显的变化，整个系统的职能化大大提高，大幅度提高了业务自动解决职能。具体流程以下：顾客通过IVR系统提交查询规定；IVR系统根据用提出的请求采用识别；IVR收到识别命令，向识别服务器提交识别服务，识别服务器识别客户请求，返回给IVR，IVR根据是被成果进行下步解决；集成方案华为UAP8100平台能够使用支持国际原则MRCPV2合同的MSU单板集成语音识别功效。讯飞语音识别服务器也支持MRCPV2合同。MSU单板作为ASR服务器的客户端,通过MRCPV2合同实现与ASR服务器的媒体交互。MRCP(MediaResourceControlProtocol)UAP8100与ASRServer之间ASR应用的合同。SIP(SessionInitiationProtocol)UAP8100与ASRServer之间用于建立ASR连接使用的合同。RTP(RealTimeProtocol)HTTP(HyperTextTransferProtocol) UAP8100与ASRServer之间语音数据流传输合同超文本传输合同功效要点1、实现了基于“自由说”呼喊导航语音识别技术的智能语音交互，提高顾客体验，突破传统按键IVR的局限性。传统按键式IVR系统随着业务的增多，瓶颈显示的越来越明显，业务扩展困难，系统层级太多，顾客通过自助系统办理业务的时间越来越长，简朴的优化办法只能改善自助IVR系统的服务能力，但是无法从根本上解决问题，而采用语音识别呼喊导航技术能够从源头上解决按键式IVR面临的问题，通过顾客语音，一次说话能够携带大量的信息，突破以前一次只能输入一种简朴按键信息的输入方式，最后实现业务“菜单扁平化”，缩短顾客IVR通话时长，同时方便增加新业务和扩展。传统语音识别技术是通过预先定义的语法严格约束顾客的说法，造成应用系统的实用性存在较明显的局限，本项目通过“自由说”语音识别技术，将顾客的自然语音识别转换为语言信息，通过语义解析判断顾客的意图，以提高智能化、人性化的应用体验。“自由说”呼喊导航的实现流程以下图所示： 2、针对移动客服业务应用，优化语音识别声学模型和语言模型，提高语音识别精确率。在呼喊导航系统中，语音识别是进行信息抽取和主题分类之前至关重要的一环，而影响语音识别效果的核心在于声学模型和语言模型，在本项目中我们通过研究移动客户业务的语音识别应用特点，通过安徽移动客服中心过去5年的电话录音数据进行分析，对语音识别声学模型和语言模型进行优化，建立了移动客服定制声学模型和语言模型，这些模型为系统提供了高识别率的语音识别成果，为后期信息抽取和主题分类提供协助和提高。声学模型方面，重要是考虑人（涉及不同安徽移动顾客常见的各地口音、说话风格）以及顾客使用环境对语音的影响，为此我们建立了不同口音的声学模型和噪音解决的声学模型；在语言模型方面，重要和移动客户业务结合起来加以实际的顾客说话录音，通过对这些状况的分析，建立有针对性的的业务语言模型。通过实验对比，优化声学模型和语言模型后来，语音识别呼喊导航精确率从72%提高到80%，命令词语音识别从83%提高到90%。3、首创的超大规模语音检索功效，扩展自助服务的业务范畴本项目提供了业界首创的超大规模语音识别检索功效，能够对包含千万量级核心词的业务通过语音识别进行检索。热点搜索和查询（地图搜索、商户搜索、歌曲搜素、气象查询）等业务的需求正在加大，这些业务的热点数目众多，普通超出10万以上，基于传统命令词的语音识别方式在语法规模极大时会造成识别率下降和系统效率减少。本项目针对热点信息搜索查询的需求，提供了海量词汇检索的功效。具体的实现流程以下图：顾客说话通过语音识别后获取到多候选网络和混淆词网络，通过检索资源后获取到多候选的检索成果。在检索成果中能够进行二次识别，使得检索成果更精确。本项目的海量词汇检索含有下列特点：能够满足千万规模的热点搜索需求，支持含糊说法，针对热点的名称，支持说出完整核心词、部分核心词和倒序说出核心词，支持二次检索，即如果检索的成果较多，支持在检索范畴内进行进一步检索从而最后查找到需要热点信息。海量词汇检索的功效能够有效的对热点信息进行语音搜索，能够广泛应用于导航、天气、商户、查号、音乐搜索等业务中。4、设计了完善的语音识别系统的VUI(语音交互界面)，保障智能客服系统服务鲁棒性本项目针对安徽移动10086客服系统，设计专用的顾客语音界面，和谐的语音提示和引导，使系统能够像人同样与顾客进行自然的交互，极大程度的提高顾客感知。同时，本项目中还设计了完善的容错流程，通过对语音识别置信度的判断，一旦系统对识别成果精确程度把握不够时，将会引导顾客再次确认，或者给出对应可能的几个备选来进行二次选择，同时系统与传统按键IVR相结合，以按键IVR作为识别系统的灾备和逃生通道。5、通过对移动客服业务核心词、热词、顾客常见说法等分析，建立移动客服语义解析系统本项目通过对移动客服业务内容和业务频度等进行分析和聚类，对客户语音录音进行文本标注，并对核心词、热词、常见顾客说法等进行归类和汇总，建立了移动客服语义解析系统。通过高精确的核心信息抽取和主题分类算法，能够对语音识别之后的文本信息进行建模，并运用机器学习以及自然语言理解技术加以分析，使系统能够真正理解顾客需求，并对顾客需求进行判断和操作。本项目中建立的移动客服语音解析系统，除了为本项目提供搞精确的语音识别呼喊导航服务以外，还为智能网上客服、客服机器人等提供了语义分析基础。应用状况本期通过分析现网10086客服系统业务及电子渠道业务状况，并根据语音识别技术的需要和业务特点，选用支持22个明细业务。