服务机器人应用开发（初级） 课件 项目10、11 与机器人对话、让机器人感知世界

项目十与机器人对话服务机器人应用开发UBTECHCONTENTS01.学习目标UBTECH02.内容结构03.任务背景04.任务描述05.知识链接06.任务实施07.扩展任务08.项目小结学习目标1.了解音频编码（A/D、D/A）、PCM编码原理；2.了解语音识别（ASR）技术原理；3.了解自然语音处理（NLP）技术原理；4.了解语音合成（TTS）技术原理；5.熟练使用语音转文本核心API函数YanAPI.sync_do_voice_iat()；6.熟练使用语义理解核心API函数YanAPI.sync_do_voice_asr()；7.熟练使用文本转语音核心API函数YanAPI.start_voice_tts()；8.熟练掌握与机器人实现对话的API调用。内容结构任务背景声音是自然界中最重要的沟通方式，我们通过语言和声音来完成相应的意图传达，而声音传播的基本原理是什么？我们通常听到的电子产品发出的声音是怎么回事？在音乐方面，我们很直观地联想到我们喜欢的音乐和歌手。在听音乐的时候我们是否注意到有的音乐是无损的，有的是有损的?通过这个课程，带你走进音频的神秘的世界，了解什么是声道、什么是采样及采样位数、码率还有有损、无损压缩等基本概念。我们会发现原来Yanshee也可以学着别人说话。任务描述本项目主要任务有：1、如何将人类语言转换成文字，转换的文字如何通过网络语言智能引擎得到正确的回答，最终通过TTS技术将返回的文字通过语音播放出来；2、通过语音转文本核心API函数YanAPI.sync_do_voice_iat()、语义理解核心API函数YanAPI.sync_do_voice_asr()和文本转语音核心API函数YanAPI.start_voice_tts()实现与机器人的对话。（一）（二）（三）（四）（五）知识链接（六）计算机如何处理声音机器人沟通技术语音识别技术ASR自然语言处理NLP语音合成技术TTS目前的NLP平台知识链接一、计算机如何处理声音1、A/D、D/A转换2、声音数字化（即A/D转换）的过程（1）采样（2）量化（3）编码3、采样和采样频率4、采样位数5、声道音频编解码的基本原理知识链接一、计算机如何处理声音（1）脉冲编码调制（2）码率（3）音频的编码格式（4）音频文件的编码音频信号的编码知识链接二、机器人沟通技术语音识别（ASR：AutomaticSpeechRecognition），将声音转化成文字，相当于耳朵。自然语言处理（NLP：NaturalLanguageProcessing），理解和处理文本，相当于大脑将回答播放出来。语音合成（TTS：Text-To-Speech），把文本转化成语音，相当于嘴巴。知识链接三、语音识别技术ASR听懂人类的话，实际就是将语音转换成正确的文字内容，用到的就是ASR（AutomaticSpeechRecognition：自动语音识别）技术。音频编码音频解码知识链接四、自然语言处理NLP文本预处理（1）去噪声（2）词汇归一化词法分析（1）分词（2）实体识别文本分类文本相似度处理情感倾向分析（1）情感倾向分类（2）观点抽取目前遇到的困难（1）语言不规范（2）错别字（3）新词知识链接五、语音合成技术TTS拼接法优点：语音合成的质量比较高。缺点：数据量要求很大，数据库里必须有足够全的“音”。参数法优点：对数据的要求要小点。缺点：质量比拼接法差一些其他方法知识链接六、目前的NLP平台工业界的成型NLP平台学术界研究中的NLP平台科大讯飞NLP平台iFLYOS系统华为云提供了NLP的服务接口小米的小爱同学开放平台百度的NLP平台（一）（二）（三）（四）（五）任务1：语音转文本任务2：语义理解任务3：文本转语音任务4：与机器人实现对话任务5：离线方式语音识别API任务实施（六）任务6：常见的故障及解决方案任务实施任务1：语音转文本语音转文本核心APIYanAPI.sync_do_voice_asr()实现语音转文本解析并打印显示听写结果更简单的API函数YanAPI.sync_do_voice_asr_value()任务实施任务2：语义理解语义理解核心APIYanAPI.sync_do_voice_asr()实现语义理解解析并打印显示结果更简单的API函数YanAPI.sync_do_voice_asr_value()任务实施任务3：文本转语音文本转语音核心APIYanAPI.start_voice_tts(str,interrupt:bool=True,timestamp:int=0)实现文本转语音让机器人听到我们问题让机器人听懂并“想到”问题的回答让机器人播放他“想到”的回答010203需求分析任务实施任务4：与机器人实现对话任务实施任务4：与机器人实现对话与机器人完成第一次对话程序与机器人连续的对话任务实施任务5：离线方式语音识别API创建一个新的离线语法名称配置获取指定语法名称下的所有配置修改已有语法配置中的命令词和对应的返回值删除指定离线语法名称下的所有配置获取所有离线语法名称任务实施任务6：常见的故障及解决方案在进行语音识别和语音识别过程中，必须要联网吗？

Yanshee人形机器人内置使用了科大讯飞的语音语义识别平台，因此在使用之前都需要联网，否则很多功能受限。可以通过离线方式实现吗？

可以离线方式实现非常有限的识别功能。要实现离线方式的语音识别功能，需要事先在机器人上建立语法规则和字典。拓展任务之前的离线语音识别部分没有给出具体的程序代码，想想如何调用YanAPI去实现离线识别语音？项目小结通过本项目的学习，了解了要与机器人进行语音交流必须的语音识别、语义理解、文本转语音的几项重要技术，并通过API的调用，最终实现与机器人的语音对话功能。THANKSBUSINESSDESIGN服务机器人应用开发项目十一让机器人感知世界服务机器人应用开发UBTECHCONTENTS01.学习目标UBTECH02.内容结构03.任务背景04.任务描述05.知识链接06.任务实施07.扩展任务08.项目小结学习目标1.了解传感器的概念；2.了解陀螺仪传感器、红外线传感器、超声波传感器、触摸传感器、压力传感器、温湿度传感器的工作原理；3.熟悉Python读取陀螺仪传感器、红外线传感器、超声波传感器、触摸传感器、压力传感器、温湿度传感器的方法；4.熟悉Python对陀螺仪传感器、红外线传感器、超声波传感器、触摸传感器、压力传感器、温湿度传感器回传的数值的分析和提取；5.熟练调用API去读取陀螺仪传感器的数值，并解析和显示；学习目标6.熟练掌握根据欧拉角判断是否跌倒的方法；7.能够熟练调用API去读取红外线距离传感器的数值并显示；8.能够熟练调用API去读取超声波传感器并显示测量的距离；9.能够熟练调用API去读取触摸传感器的感知情况；10.能够熟练调用API去读取压力传感器的压力值；11.能够熟练调用API去读取温湿度传感器的值，并显示环境温度、湿度和大气压值。内容结构任务背景当代社会越来越多的场景用到了传感器，传感器相当于机器人的触觉、我们可以通过多种传感器来让机器人达到感知环境的目的。距离传感器让机器人知道周围的障碍物，温度传感器让机器人知道周围的温度，触摸传感器让机器人知道是否被触摸，压力传感器让机器人感知所受的压力、颜色传感器让机器人看到物体的颜色等等。传感器就是为了让机器人真正更像人的一个非常关键的部件。任务描述本项目主要任务有：1、掌握传感器的含义，以及陀螺仪传感器、红外线传感器、超声波传感器、触摸传感器、压力传感器、温湿度传感器的工作原理；2、掌握利用Python程序调用API读取陀螺仪传感器、红外线传感器、超声波传感器、触摸传感器、压力传感器、温湿度传感器的数值，并能进行正确的解析，最后做出相应的正确的反应。知识链接（一）（二）（三）（四）（五）（六）认识传感器运动传感器红外线传感器超声波传感器触摸传感器压力传感器（七）温湿度传感器知识链接一、认识传感器人们为了从外界获取信息，必须借助于感觉器官。而单靠人们自身的感觉器官，在研究自然现象和规律以及生产活动中它们的功能就远远不够了。为适应这种情况，就需要传感器。可以说，传感器是人类五官的延伸，又称之为电子五官。传感器的意义知识链接传感器一般由敏感元件、转换元件、变换电路和辅助电源四部分组成。传感器组成一、认识传感器知识链接光敏传感器——视觉声敏传感器——听觉气敏传感器——嗅觉化学传感器——味觉流体传感器——触觉传感器分类一、认识传感器物理类，基于力、热、光、电、磁和声等物理效应。化学类，基于化学反应的原理。生物类，基于酶、抗体、和激素等分子识别功能。敏感元件的分类知识链接二、运动传感器运动传感器陀螺仪传感器加速度传感器欧拉角机器人身上的运动传感器知识链接三、红外传感器红外线传感器红外线红外线传感器红外测距传感器知识链接四、超声波传感器超声波超声波传感器超声波距离传感器技术超声波传感器具体应用知识链接五、触摸传感器触摸传感器是一种捕获和记录设备或物体上的物理触摸或拥抱的设备。它使设备或对象能够通常由人类用户或操作员检测触摸。触摸传感器也可以称为触摸检测器。知识链接六、压力传感器压力传感器（PressureTransducer）是能感受压力信号，并能按照一定的规律将压力信号转换成可用的输出的电信号的器件或装置。压力传感器通常由压力敏感元件和信号处理单元组成。知识链接七、温湿度传感器温湿度传感器，是一种装有湿敏和热敏元件，能够用来测量温度和湿度的传感器装置，有的带有现场显示，有的不带有现场显示。温湿度传感器由于体积小，性能稳定等特点，被广泛应用在生产生活的各个领域。任务实施（一）（二）（三）（四）（五）任务1：读取传感器数据任务2：读取陀螺仪传感器任务3：读取红外线距离传感器任务4：读取超声波传感器任务5：读取触摸传感器（六）任务6：读取压力传感器（七）任务7：读取温湿度传感器（八）任务8：常见的故障及解决方案任务实施任务1：读取传感器数据查询传感器API简易传感器查询API任务实施任务2：读取陀螺仪传感器陀螺仪传感器通常都是内置在机器人身上，机器人通过它判断自己身体的姿态。核心APIYanAPI.get_sensors_gyro()任务实施测量重力加速度机器人判断自己是否跌倒，并发出求救信号任务2：读取陀螺仪传感器任务实施任务3：读取红外线距离传感器

在进行测量距离之前，应该将自带的红外距离传感器“Infraredsensor”连接到机器人的接口上。通常都是一个磁吸接口，吸附到机器人身上任意接口均可。任务实施红外线距离传感器APIYanAPI.get_sensors_infrared(id:List[int]=None,slot:List[int]=None)获取我们与机器人的距离任务3：读取红外线距离传感器任务实施任务3：读取红外线距离传感器实时检测距离任务实施任务4：读取超声波传感器读取读取超声波APIYanAPI.get_sensors_ultrasonic()通过超声波传感器测量距离任务实施任务5：读取触摸传感器触摸传感器APIYanAPI.get_sensors_touch_value()读取触摸的数据任务实施任务6：读取压力传感器压力传感器APIYanAPI.get_sensors_pressure_value()读取机器人压力传感器的值任务实施温湿度传感器APIYanAPI.get_sensors_environment_value()调用API读取温湿度的数据，然后通过TTS进行语音播放温湿度。任务7：读取温湿度传感器任务实施传感器都是内置的吗？

传感器分为两种，内置和外置的，机器人内置的是9轴的运行传感器，直接写程序就可以调用。但是外置的传感器，在编程前需要首先连接到机器人身上相应的接口上才行。传感器已经接上了，为什么程序读不出数据？

通常是传感器触点接触不良的问题，可以调整一下位置试试