基于云的机器人问答系统设计与实现

1、第五届“挑战杯，中国联通安徽省大学生课外学术科技作品竞赛研究报告基于云的机器人问答系统设计与实现薛建2013年4月目录一、序言11. 1研究背景 1 1.1.1人机交互技术 11.1.2自然语言识别技术 2 1.2国内外研究现状分析 3二、系统设计4 2 1设计思路 42 1. 1机器人隱0 5 2 1. 2讯飞语音云 5 2.1.3百度问答服务云 6 2.2详细设计 7 2.2 1机器人隱0模块 7 2.2.2讯飞语音云模块 9 2.2.3百度问答服务云模块 10三、系统性能分析12四、应用前景与展望未来13五、参考文献14一、序言随着机器人技术和人工智能研究的发展，越来越多的智能机器人进入

2、到人们的 日常生活当中，但是目前人与机器人之间的交互仍然主要是通过按钮、开关等命令 方式，这种交互方式显得很生硬，不够人性化。为了使得人与机器人的交互方式更 加方便、自然、和谐，基于自然语义识别的人机交互系统的研究显得十分重要，这 也是近年来人机交互技术的研究重点。基于云计算的机器人问答系统使用了讯飞语 音云和百度知道问答服务云，实现了用户向机器人提出问题，机器人经过短暂“思 考”回答出相应的答案并且在说话的同时做出相应行为的功能，该系统实现了一定 程度的自然语义的识别，提供了一种更加人性化的人机交互方式。基于云的机器人问答系统运用当前主流的云技术，将机器人技术、语音识别技 术和网络查询技术结

3、合在一起，建立一套机器人问答服务系统，提供了一种更加人 性化的基于自然语言的人机交互方式。云技术的使用，提高了语音识别的效率和问 题答案的准确率，为系统的可行性提供了保证。1.1研究背景1.1.1人机交互技术人机交互技术是指通过计算机输入、输出设备，以有效的方式实现人与计算机 对话、交换信息的技术。人们可以借助键盘、鼠标、操作杆、位置跟踪器、数据手 套等设备，用手、脚、声音、姿态和身体的动作、视线甚至脑电波等向计算机传递 信息；计算机通过打印机，绘图仪、头盔式显示器、音频等输出设备或显示设备给 人提供信息。目前，人机交互技术正处于多通道、多媒体的智能人机交互阶段，已经取得了 不少研究成果，不少

4、产品已经问世。侧重多媒体技术的有:触摸式显示屏实现的“桌 面”计算机，能够随意折叠的柔性显示屏制造的电子书，从电影院搬进客厅指日可 待的30显示器，使用红绿蓝光激光二极管的视网膜成像显示器；侧重多通道技术 的有：“汉王笔”手写汉字识别系统，结合在微软的了处16？0操作系统中数字墨 水技术，广泛应用于0打1。60？的中文版等办公、应用软件中的181八匕0106 连续中文语音识别系统，输入设备为摄像机、图像采集卡的手势识别技术，以 1？只0肥手机为代表的可支持更复杂的姿势识别的多触点式触摸屏技术，以及 1？只0肥中基于传感器的捕捉用户意图的隐式输入技术。人机交互技术领域热点技术的应用潜力已经开始展

5、现，比如智能手机配备的地 理空间跟踪技术，应用于可穿戴式计算机、隐身技术、浸入式游戏等的动作识别技 术，应用于虚拟现实、遥控机器人及远程医疗等的触觉交互技术，应用于呼叫路由、 家庭自动化及语音拨号等场合的语音识别技术，对于有语言障碍的人士的无声语音 识别，应用于广告、网站、产品目录、杂志效用测试的眼动跟踪技术，针对有语言 和行动障碍人开发的“意念轮椅”采用的基于脑电波的人机界面技术等。热点技术的应用开发是机遇也是挑战。基于视觉的手势识别率低，实时性差， 需要研究各种算法来改善识别的精度和速度；眼睛虹膜、掌纹、笔迹、步态、语音、 唇读、人脸、0嫩等人类特征的研发应用也正在受到关注；自然语言理解目

6、前在语 言模型、语料库等方面取得了很大的进展，基于自然语言理解的人机交互方式也是 目前研究的热点；另外，与“云计算”等相关技术的融合与促进也需要继续探索。人机交互技术与计算机始终相伴发展，匕6？的运算能力日趋强大，网络和 通信技术的快速发展，显示技术的重大突破都将为人机交互提供新的起点与高度。 也许有一天，你的房间的墙壁和窗户都是基于技术的巨型显示器，无需遥控 器和控制器，游戏机或电视机就能“感应”到你目光的变化、捕捉到你的手势和动 作、听懂你语音的命令，用你的头、手、足、躯干就可以控制游戏中的角色。互联 网正在向“云端”计算时代发展，人机交互的发展仍将延续由以计算机为中心的复 杂交互向以人为

7、中心的简单、自然交互转移的理念，理想的人机交互模式就是“用 户自由。1.1.2自然语言识别技术自然语言识别，即实现人机间自然语言通信，或实现自然语言理解和自然语言 生成，这是十分困难的。造成困难的根本原因是自然语言文本和对话的各个层次上 广泛存在的各种各样的歧义性或多义性。使机器识别语言是人类早已有之的科技幻想，并且早有实践足迹。早在1920 年，美国一家公司所出品的名为“此也0如X”玩具狗便可以“听从”主人的话而 执行走或者停的任务。不过在这之后相当长的时间里。这项科技的进展仅限于如何 更多、更精确地识别各种口音，进而执行诸如文字显示等十分简单的任务。1952 年，贝尔实验室的0狀18等人成

8、功研究出了世界上第一个能识别10个英文数字发 音的实验系统。大规模的语音识别研究是在进入了上个世纪70年代以后，在孤立词和小词汇 量句子的识别方面取得了实质性的进展。进入80年代以后，研究的重点逐渐转向大词汇量、非特定人连续语音识别。 此时语音识别的研究思路也发生了重大变化，即由传统的基于标准模板匹配的技术 思路开始转向基于统计模型(目)的技术思路。此外，再次提出了将神经网络技术 引入语音识别问题的技术思路，亦即开始了跨学科的人工智能研究道路。进入90年代以后，语音识别的研究并没有什么重大突破。但是，在语音识别 技术的应用及产品化方面出现了很大的进展，诸如听写机等基于语音的信息输入设21备此时

9、大量出现。由仅限于定义为输入法功能的语音识别，向包含后台数据分析的 语义识别转型的关键推动力量，是美国的0仙?八作仙68680 ？0608八阴此丫)计划。显然，语义识别技术蕴含着着人机互动的远大前景，也因 此拥有各方足够高的评价和期许。但它几十年来却缺乏足够的表现。自然语义识别技术目前在语言模型、语料库等方面取得了一些进展。语言文字 是人类之间用来传播信息的主要载体，怎样让机器理解这些由人类自然语言组成的 信息，是摆在人们面前的一个难题。这个难题又可以分为“自然语言处理”和“自 然语言理解”两个部分，“自然语言处理”是基础技术，我们的最终目的也必定是 为了更好地实现“自然语言理解”。自然语言的

10、处理是一个十分庞大的工程，自然语言的语法通常都是十分复杂 的，相对于英语来说，汉语语法就更加复杂，因此目前还没有什么方法能够有效的 消除自然语义识别时的“歧义问题”。现阶段，自然语言的处理主要有以下几种主 要方法：1.基于关键字匹配的方法；2以句法-语义分析为主的方法；3基于大规模语料库的自然语言处理的方法。这几种方法虽然都有各自的一些特点，但是效果都不是十分理想，也都存在着 弊端。基于关键字匹配的方法是一种近似匹配技术，主要的缺点是分析技术不精确， 会导致很多的错误。以语法-语义分析为主的方法，由于自然语言语法的复杂性、 语义的歧义性，分析起来非常复杂，而且无法做到准确、全面。而基于大规模语

11、料 库的自然语言处理，则是一个过于庞大的工程，不适合于工程应用。1.2国内外研究现状分析在10月2日的苹果产品发布会上，1？06 48的技术升级幅度可谓令业界失望。 然而，被苹果定义为“私人语音助理”来做压轴功能发布的义匕应用，仍然是抓 足了人们的眼球。在发布会上，苹果宣称5匕1可以支持自然语言输入与识别，用户可“命令” 手机读短信、询问天气、设置闹钟等，并且可以搜寻餐厅、电影院等生活信息，甚 至是直接订位、订票；另外其与8结合服务的能力也相当强悍，能够依据用户默 认的居家地址或是所在位置来判断、过滤搜寻的结果。811被苹果这样的企业推出进行商用，已经意味着“语音识别”这一已经不 算新鲜的科技

12、，进一步实现了人工智能化，进而向“语义识别”又迈出了一大步， 同时意味着第一款基于它的改变大众生活的消费级产品已经诞生。在国内，科大讯飞通过在语音核心技术领域的长期积累，不但在中文语音技术 上保持领先地位，并且在英文语音技术上也达到国际领先水平。讯飞语音云是全球 首个能同时提供语音合成、语音搜索、语音听写的移动互联网智能交互平台。作为3移动互联网基础能力设施，讯飞语音云基于“云计算”技术基础将上述业界领先的 智能语音技术向各开发厂商和用户同时开放。移动互联网应用开发伙伴可以像使用 水、电那样“即开即用、按需取用”，在很短时间内构建出“能听会说”的特色移 动互联网应用，从而使移动互联网语音创新开

13、发的门槛显著降低、开发周期显著缩 短，将有利于移动互联网应用的不断创新和丰富。二、系统设计 2.1设计思路人机交互技术的未来发展趋势，就是基于自然语义识别的人机交互技术，我们 的目标是使得计算机或者机器人能够听懂人类的语言，能够执行人类语言语义中所 包含的命令，并能用人类语言与人类进行交流。系统设计的基本思路是：利用机器人的话筒采集用户提出的问题的语音数据， 调用讯飞语音云的语音识别技术将采集到的语音数据识别成文字数据，获得文字问 题，然后将文字问题在百度问答系统中进行查询并获得问题的答案，最后调用机器 人语音合成模块将文字答案合成成为语音答案并回答给用户，同时配合一些说话时 候的动作，显得更

14、加生动。系统主要包含三个模块：嫩0机器人模块、讯飞语音云 模块和百度问答服务云模块。系统的工作流程图如图一所示：图一：系统工作流程图2.1.1机器人嫩0嫩0机器人是一款人工智能机器人，身高为23寸，约60厘米，它是由法国 八1己6“以 100108公司生产的。嫩0拥有着讨人喜欢的外形，并具备有一定程度 的人工智能和情感智商，在学术领域里，嫩0是目前世界上运用最广泛的类人机器 人。图二：似0机器人实物图 嫩0的硬件是采用最新科技设计制造的，这保证了嫩0动作的流畅性，同时嫩0 还配备了多种传感器，比如摄像头、声纳、陀螺仪等等。嫩0使用的是八10 6606 的嵌入式处理器，嫩0支持在多种平台上（“皿

15、X、11仏0*8或08等操作系统 下）编程并且拥有一个开放式的编程构架，使得不同的软件模块可以更好的相互作 用。不论使用者的专业水平如何，都能够通过图形化编程平台来为嫩0编写程序， 实现各种复杂的功能，进行各个领域的研究。2.1.2讯飞语音云基于自然语言的人机交互技术的基础是自然语义识别技术，而自然语义识别技 术的前提是语音的识别技术。语音作为人们获取和沟通信息最方便、最有效的手段， 智能语音交互技术对于未来人机交互技术的发展具有不可替代的作用，已经被业界 公认为移动互联网时代的关键技术之一，蕴藏着巨大的市场前景，并有重要的战略意义。科大讯飞通过在语音核心技术领域的长期积累，不但在中文语音技术

16、上保持领 先地位，并且在英文语音技术上也达到国际领先水平。讯飞语音云是全球首个能同 时提供语音合成、语音搜索、语音听写的移动互联网智能交互平台。作为移动互联 网基础能力设施，讯飞语音云基于“云计算”技术基础将上述业界领先的智能语音 技术向各开发厂商和用户同时开放。移动互联网应用开发伙伴可以像使用水、电那 样“即开即用、按需取用”，在很短时间内构建出“能听会说”的特色移动互联网 应用，从而使移动互联网语音创新开发的门槛显著降低、开发周期显著缩短，将有 利于移动互联网应用的不断创新和丰富。2.1.3百度问答服务云I社6四6七是计算机出现以来甚至是人类有史以来最伟大的创举，它改变了全球 通讯和信息资

17、源共享的方式，把各种各样的资源从经济、科技、教育到体育、艺术 联系在一起，构成了一个巨大的网络资源库。现在，网络已经发展成为一个全球的、巨大的、分布和共享的信息空间。人们 越来越依赖于网络来获取信息。我们可以随时从网络上查找所需要的信息，网络作 为一个庞大的资源库，其包含了人类现有的方方面面的知识。基于大规模语料库的自然语言处理方法是自然语义识别技术的方法之一，其难 点在于大规模语料库的建立，前面提到网络上有着各种资源、各种知识，因此我们 可以想到将网络作为我们的大规模语料库。对网络语料库的使用，我们可以使用谷 歌、百度等搜索引擎进行搜索，而百度问答服务系统则为我们提供了更为方便的使 用。图三

18、为百度知道网站页面的截图。图三：百度知道网站截图 百度知道是百度旗下的一款问答平台，它由用户提出问题，再由别的具备该问 题知识的用户进行回答，并从众多回答者中评选出最佳答案。由于互联网的巨大性、网络资源的丰富性，百度问答已经汇集了无数个问题以及这些问题较为准确的答 案，这些问题涉及了各个方面，小到生活点滴，大到科学、哲理。既然百度问答服 务云如此强大，我们自然可以想到将它近似的作为语义识别时所用到的巨大规模的 语料库。趣答网是类似百度问答的一个网站，它也提供了网络问答服务。该网站是由清 华大学计算机系人工智能实验室的智能信息获取组设计和维护的。网站运用互联网 信息获取技术的理论和方法，包括情感

19、分析（评论与观点挖掘自动问答技术、 多文档摘要技术，实现了对用户提出的问题，给出直接合理的答案，该网站也可以 作为我们系统的问答服务云。2.2详细设计前面介绍了嫩0问答服务系统的相关背景知识，而整个系统就是对这些知识的 一个综合集成。嫩0问答服务系统主要分为三个模块：嫩0模块、讯飞语音云模块 和百度问答模块。该系统在前端方面，即面向用户、与用户交互的技术，主要是语音识别以及语 音合成的技术。语音识别技术是把用户的口语转化成文字，其中需要强大的语音知 识库，因此需要用到所谓的“云计算”技术，即使用讯飞语音云。而语音合成则是 把返回的文字结果转化成语音输出，这个技术理论上本地就可以完成，比如直接调

20、 用嫩0模块的说话子模块，当然，在云端完成也可以，比如使用讯飞语音云的语音 合成模块。在后台技术方面，主要是处理用户的问题，调用百度问答服务云模块获 取问题的答案，并返回最匹配的结果。2.2.1机器人嫩0模块嫩0模块的基础是嫩00，嫩00是运行在應0上的主程序的名称，它控制着 嫩0，嫩00的架构也就是对嫩0进行编程时所要用到的编程架构。这个框架允许 不同的模块（动作模块、音频模块、视频模块）之间进行通信，提供了函数和信息 的共享机制。嫩00支持交叉编程平台，我们可以在110界8、11皿X或者1狀操作系统下对 他进行编程。嫩00也支持多种编程语言，我们可以使用这些语言调用嫩00的功 能模块，但是

21、我们只能用语言和访0语言来编写在用户自定义的在嫩00 上运行的模块，嫩00为这两种语目提供了完备的八?I。嫩00对0+十语目的支持是 最好的，我们用编写实时的代码，的代码可以快速的在嫩0上运行。相比 较之下，访0。语言的执行效率就低很多。图四展示了嫩0机器人编程模块的结 构。7图四：似0机器人的编程结构图为了使代码的编译变得更加简便，嫩0的编程建议使用0仙1“工具，它的作 用是管理工程中的依赖关系并且支持交叉编译。4仙1“也是一个支持交叉平台的 工具，支持评10*8、11皿X和操作系统。918114是基于著名的01成6编译 系统开发来的，因此它允许你使用你电脑上已有的集成开发环境，比如叩。、1

22、成6、 或者是18皿1 5七旧10。搭建好上述嫩0的编程平台后，就可以开始编写嫩0模块。嫩0模块的主要功 能是获取声音和说出语音答案。对于获取声音部分，主要用到以下模块和函数：1.从50皿亚X廿狀丨01模块：该模块提供了基本的声音处理的函数，任何处理 音频的模块需要新建一个模块继承自该模块。2丨86比116社?；66；6此68 0函数：该函数的作用是设置从嫩0的话筒里获得 的声音片段的格式，包括采样频率、声道设置等等。3 #00688 0函数：这事一个回调函数，该函数的功能是对声音缓冲区进行处 理，每当获得了一块缓冲区的声音数据后，系统就会自动就调用该函数对 声音数据进行处理。为了实现我们想要

23、的功能，我们需要重载这个回调函 数。4 8仏代06丨610=0函数、8丨0沖6丨610=0函数：这两个函数的作用分别是 开始和停止声音片段的获取。对于说出语音答案部分，主要用到以下模块和函数：1.八16X00166也?0X7 0接口：该接口的功能是封装对嫩0机器人说话功能 的控制。2 86让册8皿阴0函数：该函数的功能是设置嫩0机器人说话所支持的语言。133 8#0函数：该函数的功能是使得嫩0机器人说出答案。其中需要注意的地方是嫩00的说话模块支持的文字编码方式是机?-8，而 评1仏0*8下卩82010默认的文字编码方式是X，所以在使用8奶0函数前，需要将 文字的编码方式进行一次转换，11忖-

24、8和X的转换方法是通过皿100如编码来转换。嫩0机器人模块的另一个功能是实现机器人在说话的同时，做出相应的动作， 模拟人类之间交流时的一些肢体动作，使得问答过程显得更加人性化、更加生动。 X八0机器人的开发平台提供了一个可视化的动作编辑工具06狀即1卜6，该工具使 得开发者可以更加方便的设计和调试机器人的动作，软件的界面如下图所示：01 0*4 6001 切 901*111 鉍成0。1*0“ 8000(1 1.祝.办 0048 844 140919090091X010*1844丹0# 00110111140600159(4 7*191 VI 了蒙籌飯麯鲁图五：06狀叩化软件截图2.2.2讯飞语

25、音云模块讯飞语音云模块的主要功能是将获取到的声音上传到云端服务器，进行识别， 并将识别到的文字结果抓取到本地。在讯飞语音云编程平台中关于语音识别提供如下函数调用：1.以部匕“0：对IX在识别过程中用到的全局配置项参数进行初始化，如服 务器地址、访问超时设置等。2丨以部868810沛68化0：用来开始一路I部会话，并在参数中指定本路I部会 话用到的语法列表，本次会话所用的参数等。3.011&皿虹八&1社6 0 ：本函数用来激活一个指定的语法，语法类型可以 是仍和一种合法的语法。图六：讯飞语音云平台网络结构 4.015狀旧1011*6 0 :写入本次获取到的音频，音频可以一次性写入

26、，也可以 多次调用此接口分批写入。5-以部化找68匕0 :获取识别到的结果。6丨以部868810沾0：结束一路I部会话。7丨以部化切虹肅0 ：查询IX记录下来的一些信息如数据上传或下载的数据量等。8.01部？1=10 ：对180的18尺部分进行逆初始化。对于整个机器人问答系统，讯飞语音云初始化和逆初始化操作只需要进行一 次，而每次回答一个问题的时，首先要开始一段会话，获得会话1么然后就要进 入上传声音数据和获取识别结果的一个循环，循环的内容：当一个声音缓冲区满了 就上传获取到的语音数据并检测云端是否有识别结果，如果有就抓取识别结果。直 到检测到语音后端点（即说完话）时候循环才停止，最后再检测一

27、下云端是否有未 取下来的识别结果，如果有则抓取下来。2.2.3百度问答服务云模块百度问答服务云模块的主要功能是将文字问题在网络中进行搜索，获得相应的 答案，并抓取下来。百度问答的搜索包括两个过程：1.搜索问题：通过搜索得到若干个包含该问题答案的网页的链接，这些链接 是按照其页面所包含的答案的相关性进行排列的，第一个链接的相关性最 大，我们获取该链接地址；2抓取答案：打开第一个过程中获得的链接地址，获取所提问题答案所在的 页面内容，该页面会有一个满意答案，这个答案就是我们要抓取的内容。 下面用一个实例来详细描述这个模块的流程，例如我们想要获取“安徽有哪些 好玩的地方？ ”这个问题的答案，系统的运

28、行流程如下所示：第一步、将讯飞语音云模块识别到的文字问题进行编码并添加到百度知道的网 址后面，这样便获得百度知道搜索该问题的网页地址。比如“安徽有哪些好玩的 地方”的机1-8编码是“80828805030004040098030026850485088780”，百度知 道的 搜索网 页地址 前缀是 “匕七如：2卜1也0.1如.0/863；卜？即二0610如0；和”，因此将“安徽有哪些 好玩的地方”的编码加在百度搜索地址后面便得到该问题的搜索地址：“匕七七:/?；匕土己80.8土己1000乂86已；0匕？10=0&；打二10凌口打二0凌亡；二86已；0匕&16二吕6垃凌界0；己二

29、80828805030004040098030026850485088780”。为了获取网页的源代码，我们需要调用11=1加七接口。11=1他七是微软开发的 一个库，可以完成仏如、如客户端的工作，让程序员从复杂的协议中节省大量精 力。获得上述页面的源代码后，对网页源代码进行解析，可以获取该问题相关性最 高的答案所在页面的网址。第二步、再次调用11=1=61接口抓取第一步获得的问题答案所在页面的源代码， 对该源代码进行解析，获取到相应的问题的答案。需要注意的是，有的网页的源代 码的编码格式是机?-8，所以在解析时要先进行编码的转换，转换成#仏0旧下默 认的X编码方式，然后再进行处理，否则会显示乱

30、码。:地 1 过玩 案好 答些 取哪I 1 答安 101蒙度新 搜一步、获得问题搜索页面的网页地址：&0 11511(111-0I1/3651%11?VI01%(1=x5x6x89/5x8x8I)x26x90x89x25x93xx24x8x98227x8249x67x9 只 284乂 25x9(80x26x96x89步得到间题答案所在页面网址：七0 2 111(10 丨 11611(111 0011/(111631： 100/187424375 丨知七111I靜雛特明渡 得山1；？4 世 I 那山包乐4办6湖湖8 置!11 11点趣山5第兴蓬戈1 辦晶王点址景晶籠洞地I袁神是江I麗表管

31、！|江I特明渡；山崖|；？4 世. 丫山包乐8图七：百度问答服务模块的执行过程 用评1=161接口完成一个仏如下载需要以下步骤： 1丨1社6；6丨0口60使用11=16丨的程序进行必要的初始化工作; 2丨1社6；6比0=6巧0关联目标地址或者域名以及服务1口；3丨价如0口6故6叫68丨0关联要下载的内容名字；4价如56。服6叫68七0将价如0口6故6叫68丨的返回值发送给目标服务器；5丨价如如6171社0 0查询返回值，不参与网络操作，可以查询服务器的返回信 息，比如目标文件的大小，该文件是否存在等等；6.1=161=6找63证'116 0很普通的读函数，就是下载文件；7.1=161=

32、6比1086他仏16 0释放资源。对于将百度问答服务云作为语义识别的语料库，有一点不足在于，针对于机器 人所提的问题，百度问答上没有相应的答案，比如“你是谁”、“你叫什么名字”等 问题，由于这些问题有限，因此我们可以通过建立小型本地语料库的方式来解决。 这样本地语料库和讯飞语音云结合使用，会得到更好的效果。三、系统性能分析我们测试了系统的性能，主要从讯飞语音识别成功率、获取到答案的相关率两 方面。我们随机找来十个人，每个人随机提问十个问题，要求尽量使用普通话。实 验结果如表一所示：表一、系统性能试验结果性能方面语音识别答案相关成功率0.910.95对于这样的结果，我们是感到满意的，当然这是在网络顺畅、提问人普通话较 为标准、以及所提问题比较合理的基础上的结果，如果提问题的人普通话不标准， 或者语速过快，比如让小孩来提问题，讯飞语音云的识别效率会大大降低。之前我们使用过趣答网站作为问答服务云的网站，趣答网站是清华大学研发的 在线搜索问题答案的网站，但是其问题覆盖面不够广泛，许多比较偏的问题无法获 得答案，我们也将趣答网站和百度知道网站进行了对比，随机获取一百个问题，分 别在两个网站上搜索答案，实验结果是如表二所示：表二、问答云性能比较问答服务云趣答网站百度知道成功率0.700.97相关性0.970.95通过实验结果我们看出趣答网站