移动机器人原理与技术 课件 第7、8章 移动机器人语音识别与控制、移动机器人的通信系统

移动机器人技术原理与应用第七章

移动机器人语音识别与控制语音信号的特征提取声学模型7.1移动机器人语音识别系统7.27.3移动机器人语音控制7.47.1移动机器人语音识别系统移动机器人的语音识别技术由以下几个过程来实现，包括：语音控制信号的预处理、特征参数的提取、语音控制信号的训练和识别。语音识别系统的整体框图7.1移动机器人语音识别系统语音信号处理和特征提取部分以语音音频信号为输入，通过消除噪声和信道失真对语音音频信号进行增强，将信号从时域转化到频域，利用端点检测的方法检测出有效的语音段，并为后面的声学模型提取合适的有代表性的语音信号特征。声学模型是对声学、语音学、环境的变量、说话人性别、口音等的差异的知识表示，声学模型对语音特征进行训练，得到每一个语音特征在声学特征上的概率。7.1移动机器人语音识别系统语言模型是对一组字序列构成的知识表示，通过对大量文本信息进行训练，计算出该语音信号中单个字或词可能对应的词组序列相互关联的概率。语音数据的模板匹配和结果分析阶段就是通过声学模型、字典、语言模型对提取语音特征后的音频数据进行词组序列的解码，得到最后可能的文本表示并输出结果，将匹配上的控制命令信号转换成相应动作，移动机器人驱动电机完成相应动作。7.2语音信号的特征提取语音信号的特征提取就是从说话人的语音信号中提取出表示说话人个性的基本特征。常见的说话人特征包括语音帧能量、基音周期、线性预测系数、共振峰频率及带宽、鼻音联合特征、谱相关特征、相对发音速率特征、线性预测系数倒谱以及音调轮廓特征等。7.2.1语音信号的预处理语音信号的预处理的目的是消除因为人类发声器官本身和由于采集语音信号的设备所带来的混叠、高次谐波失真、高频等等因素对语音信号质量的影响。尽可能保证后续语音处理得到的信号更均匀、平滑,为信号参数提取提供优质的参数,提高语音处理质量。预处理一般包括预加重、分帧和加窗等。7.2.1语音信号的预处理1．语音信号的预加重预加重的作用是消除语音信号在低频段的干扰使其频谱变得平坦，它将有利于对后续语音信号的频谱进行分析。预加重的计算表达式为：x(n)表示的是在n时刻语音信号的采样值，α为语音信号的预加重因子且α接近于1。7.2.1语音信号的预处理语音命令信号“前进”预加重前后的频谱图7.2.1语音信号的预处理2．语音信号的分帧语音信号实际上是一种时变的波动信号，但通常在10~30ms内被看作是短时平稳的。为了能够更好地对预加重后的短时语音信号进行分析，需要将采集的语音信号做分帧处理。如图7-3所示为分帧后的语音信号的效果图，其中每帧语音信号的长度是帧移的2倍。7.2.1语音信号的预处理2．语音信号的分帧语音信号分帧示意图7.2.1语音信号的预处理3．语音信号的加窗语音分帧会导致语音信号的频谱泄露，为了防止这一现象需要对分帧后的语音信号加窗，目前使用较普遍的窗函数有矩形窗和汉明窗。窗长为L的矩形窗函数可表示为：窗长为L的汉明窗函数可表示为：7.2.1语音信号的预处理3．语音信号的加窗矩形窗的时域和幅频特性效果图7.2.1语音信号的预处理3．语音信号的加窗汉明窗的时域和幅频特性效果图7.2.2语音信号的端点检测端点检测是指在一段语音信号中准确的找出语音信号的起始点与结束点，使有效的语音信号和无用的噪音信号分离。目前常见的方法包括双门限法、自相关法、谱熵法和比例法。双门限法是一种常用的端点检测方法，该方法是通过计算语音信号的短时能量值和短时过零率值，从而检测出有效的语音段。7.2.2语音信号的端点检测1.短时能量值设第n帧语音信号Xn(m)的短时能量用En表示：短时能量检测可以较好的区分出浊音与静音，对于清音，由于其能量较小，在短时能量检测中会因为低于能量门限而被误判为静音。7.2.2语音信号的端点检测2.短时过零率值短时过零率表示一帧语音中语音信号波形穿过横轴（零电平）的次数。它可以用来区分静音和清音，将两种检测结合起来，就可以检测出语音段（清音与浊音）与静音段，从而识别出语音信号的端点。7.2.2语音信号的端点检测2.短时过零率值语音命令“前进”的端点检测结果7.2.3语音信号的特征提取特征参数提取的目的是在大量的原始语音数据中提取出能够表征语音信息的特征，筛选出多余的信息并提高语音识别系统的整体性能，梅尔倒谱系数法（MelFrequencyCepstrumCoefficient,简称MFCC）是语音信号特征提取方法中最常用且经典的方法。Mel滤波器模拟了人耳的听觉特性，它与频率的关系可表示为：Mel(f)为语音命令信号的感知频率，f为实际频率。7.2.3语音信号的特征提取感知频率Mel与实际频率f的关系曲线7.2.3语音信号的特征提取MFCC特征参数提取过程7.2.3语音信号的特征提取MFCC算法提取特征参数的步骤如下：1.将采集的语音信号首先做预加重处理，然后进行分帧和加汉明窗。2.快速傅里叶变换（FastFourierTransform,简称FFT）：由于时域上语音信号是非平稳的难以反映语音信号的特性，因此需先将其变换到频域上再进行分析，利用FFT变换得到语音信号在频谱上的能量值，其计算公式如下：7.2.3语音信号的特征提取MFCC算法提取特征参数的步骤如下：3.通过Mel滤波器组对语音信号的功率谱进行滤波处理。在一定Mel频率范围内，需要设置一些带通滤波器H(m,k)并且每个滤波器在Mel频率上的宽度都相等，则H(m,k)传递函数的表达式为：7.2.3语音信号的特征提取Mel滤波器组的频率响应曲线7.2.3语音信号的特征提取计算由48个Mel滤波器构成Mel滤波器组的H(m,k)，然后再计算语音信号的能量谱，其计算表达式为：4.将从Mel滤波器中得到的语音信号的能量值取对数，然后进行离散余弦变换（DiscreteCosineTransform,简称DCT）即可得出MFCC特征参数值，其表达式为：m表示第m个Mel滤波器，M表示Mel滤波器的总个数，i表示的是DCT变换后的谱线，n表示的是第n帧语音信号7.3声学模型7.3.1混合高斯模型高斯混合模型GMM可以看作是由K个单高斯模型组合而成的模型，这K个子模型是混合模型的隐变量。高斯混合模型GMM就是用高斯概率密度函数精确地量化事物，它是一个将事物分解为若干的基于高斯概率密度函数形成的模型。混合高斯分布的概率密度函数为：7.3.1混合高斯模型混合高斯模型及其相关的参数变量估计是一个不完整数据的参数估计问题。最大似然准则估计方法中的最大期望值算法（ExpectationMaximization，EM）是这一类方法的一个典型代表。EM算法是在给定确定数量的混合分布成分的情况下，去估计各个分布参数的最通用的方法。第一阶段，期望计算阶段（E步骤）以及最大化阶段（M步骤）。7.3.1混合高斯模型EM算法得到的参数估计公式为：从E步骤中计算得到的后验概率如下:7.3.2隐马尔科夫模型马尔可夫链又称离散时间马尔可夫链（discrete-timeMarkovchain），是状态空间中经过从一个状态到另一个状态转换的随机过程。该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关，这种特定类型的“无记忆性”称作马尔可夫性质。马尔可夫链实际上就是一个随机变量随时间按照Markov性质进行变化的过程。7.3.2隐马尔科夫模型在马尔可夫链的基础上进行扩展，用一个观测的概率分布与马尔可夫链上的每个状态进行对应，这样引入双重随机性，使得马尔可夫链不能被直接观察，因此称为隐马尔可夫模型(HMM)，HMM在实现过程中表现出了双重随机性的特点，其中之一是马尔科夫链，它把一段语音信号的输出和每一个状态看成一一对应的过程，是可观测的，另一个用来描述状态和观测值之间的统计对应关系的过程，是不可观测的。将这两个随机过程有机结合起来可较好地处理语音信号之间的动态变化和语音特征的短时平稳问题。7.3.2隐马尔科夫模型隐马尔可夫模型主要由初始概π率、转移概率A、输出概率B三个参数决定。该模型就是利用这三个参数来处理语音特征的短时平稳性。HMM模型拓扑图7.3.2隐马尔科夫模型一个HMM模型可以用下列参数描述：1.N，定义N个状态θ1,θ2,...,θN为马尔科夫链，定义qt是马尔科夫链在t时刻所得出的观测值，qt∈(θ1,θ2,...,θN)表示语音信号处于某个平稳的状态；2.M，每个状态可能对应观察值的数量。定义M个观察值V1,V2,...,VM3.π，初始状态概率，，其中π=(π1,π2,...,πN)，其中7.3.2隐马尔科夫模型一个HMM模型可以用下列参数描述：4.A，状态转移概率矩阵，

，其中5.B，观察值概率矩阵，

，其中在描述一个HMM模型时，其状态数量和观测值的数量是已知的，因此HMM模型也可记为：7.3.2隐马尔科夫模型HMM模型主要由两部分构成，一是马尔科夫链，它是由参数、确定的，输出的结果是语音特征值的状态序列，二是由参数确定的一个随机过程，输出结果是语音特征值的观测序列。HMM组成示意图7.3.3GMM-HMM声学模型使用GMM对HMM每个状态的语音特征分布进行建模，有许多明显的优势。只要混合的高斯分布数目足够多，GMM可以拟合任意精度的概率分布，并且它通过EM算法很容易拟合数据。GMM参数通过EM算法的优化，可以使其在训练数据上生成语音观察特征的概率最大化。在此基础上，若通过鉴别性训练，基于GMM-HMM的语音识别系统的识别准确率可以得到显著提升。7.3.3GMM-HMM声学模型基于GMM-HMM的声学模型7.3.3GMM-HMM声学模型GMM-HMM声学模型中语音特征的最佳观测序列如下：k表示第i个状态时输出语音特征观测序列中所包含高斯分量的数量，ωik表示第i个状态时输出语音特征观测序列的权重值，uik表示i状态时输出语音特征观测序列的均值，D表示语音特征向量O的维数，

表示i状态时输出语音特征观测序列的协方差矩阵，GMM模型通过加权集成多个语音信号的高斯分量来描述其语音特征的空间分布，利用EM算法对语音数据集进行声学模型的建模与迭代训练。7.4移动机器人语音控制对于没有应用ROS系统的移动机器人，现阶段的绝大多数智能语音控制系统都采用市场上的硬件模块作为语音识别单元，常用的有LD3320语音识别芯片和智能语音控制模组YQ5969系列，这些均是非特定语音识别芯片，只针对相同的语言进行识别，和人的年龄、性别等差异无关。百度智能语音等开发平台提供了智能语音开发工具包SDK，使得二次开发更为方便快捷，使用语音API即可实现语音识别与合成等功能。7.4移动机器人语音控制对于应用ROS的移动机器人，则使用基于Linux系统的SDK编写语音识别节点，当节点开始运行时，通过麦克风接受语音信号并将其转化为相应的文字，文字信息与指令库中的信息比较，匹配成功的情况下通过特定的主题发布。移动机器人控制节点通过订阅这个主题接收文字指令，并且将其发送给移动机器人平台的主控制器，主控制器通过驱动模块控制直流电机运动，从而完成语音控制。7.4移动机器人语音控制移动机器人语音控制流程7.4移动机器人语音控制ROS中，一般使用C++和Python语言编写语音处理和识别的相关程序，并形成语音控制系统所需的语音采集软件包、语音处理软件包、语音识别算法软件包和移动机器人控制软件包，在ROS系统中对编写的各个软件包进行gcc编译生成相应的节点，编写launch文件，通过ROS的通信机制将各个独立的模块串接起来完成整个语音控制系统的设计。7.4移动机器人语音控制ROS系统下语音控制系统的节点关系图7.4移动机器人语音控制节点/audio_capture来获取通过麦克风采集的语音控制信号，并发布消息到/microphone话题；节点/wakeup_node订阅//microphone话题，检测输入的语音控制信号是否为有效的语音信号，来启动语音识别系统，然后，将有效语音控制信号作为消息发送到/asr_topic话题；节点/asr_node订阅/asr_topic话题，把检测到的有效语音控制信号发送到语言库进行匹配，并发布该消息到/command_topic话题；7.4移动机器人语音控制节点/command_node订阅/command_topic话题，经过语音匹配和处理，判断机器人应该执行哪个命令，并把该消息发布到/move_topic话题；节点/voice_node订阅/move_topic话题，接收语音控制命令并传输给Turtlebot移动机器人，从而控制移动机器人运动。移动机器人技术原理与应用第八章

移动机器人的通信系统AdHoc自组网技术基于计算机网络的移动机器人通信8.1现代无线通信技术8.28.38.1现代无线通信技术8.1.1GSM通信系统GSM是世界上第一个对数字调制、网络层结构和业务作了规定的蜂窝系统。GSM网络一共有4种不同的蜂窝单元尺寸：巨蜂窝，微蜂窝，微微蜂窝和伞蜂窝。覆盖面积因不同的环境而不同。巨蜂窝可以被看作那种基站天线安装在天线杆或者建筑物顶上那种。微蜂窝则是那些天线高度低于平均建筑高度的那些，一般用于市区内。8.1.1GSM通信系统微微蜂窝则是那种很小的蜂窝只覆盖几十米的范围，主要用于室内。伞蜂窝则是用于覆盖更小的蜂窝网的盲区，填补蜂窝之间的信号空白区域。蜂窝半径范围根据天线高度、增益和传播条件可以从百米以上至数十公里。实际使用的最长距离GSM规范支持到35公里。蜂窝移动通信的出现是一次移动通信革命。由于频率的复用，大大提高了频率复用率并增大了系统容量，网络的智能化实现了越区转接和漫游功能，扩大了客户的服务范围，但也存在着带宽无法满足信息内容的局限。8.1.2CDMA通信系统CDMA，码分多址，是在扩频通信技术上发展起来的一种崭新而成熟的无线通信技术，相应的技术标准包括北美的IS-95、CDMA2000、WCDMA、TD-SCDMA，CDMA通信技术已经成为了第三代通信技术（3G）的技术标准。第四代移动通信技术（4G）引入了MIMO无线通信技术，将宽带互联网和宽带无限通信网络相结合，提高了无线网络的信息吞吐量、扩大覆盖区域和传输质量，满足了语音、视频等等信息的传输，但传输速度仍然有提升空间,目前，5G技术已经在世界上很多地区开始应用。8.1.3红外通信技术红外通信是利用红外线作为通信载体的一种无线通信技术。红外线是电磁波的一个部分，比可见光略短，但是携带的信息量较大。红外传输一般由红外发射系统和接收系统两部分组成。发射系统对一个红外辐射源进行调制后发射红外信号，一般利用波长850~900nm的红外线传输，采用ASK、PPW等调制方式将二进制调制成脉冲序列，驱动红外线发射管向外发送红外光，接收端则将收到的红外光脉冲信号转换成电信号，再进行放大、滤波、解调后还原成二进制数，就构成了红外通信系统。8.1.3红外通信技术红外通信的传输方式主要有点对点方式和广播的方式。1.点对点方式：点对点传输时指使用高度聚焦的红外线光束发送信息或者控制远距离信息的红外传输方式。局域网或者广域网都可以使用点对点的传输方式在短距离和远距离上传输数据。点对点红外传输使用在局域网中，用来将距离较近的建筑连接起来。优点是：使用点对点红外介质可以减少衰减，使得偷听困难安全性高；适合较短距离通信传输速率较高；保密性强、信息容量大；构造简单，使用较为灵活；有较的方向性。缺点是：易受到尘埃、雨水8.1.3红外通信技术的影响；强远距离通信，通常需要高功率激光发射器，造成费用昂贵；容易受到强光干扰。2.广播方式：红外广播系统向一个广大的区域传送信号，并且允许多个接收器同时接收信号。它的一个主要优点是可移动性，相对点对点来说计算机工作站和其他设备可以更容易的移动。优点是：安装简单，只要设备有畅通的信道和足够强度的信号，就可以安装到信号能到达的任何地方，使得重新构架网络容易；缺点：信号衰减受到光强和纯净介质影响；电磁干扰无法避免。8.1.3红外通信技术由于其结构简单、容易实现、成本低等特点，红外通信标准的广泛兼容性可以为用户提供更多的选择的无线通信方式，其在嵌入式系统产品中也得到广泛应用。随着短距离无线通信技术的发展，PAN的概念被提了出来，也就是所谓的个人局域网。PAN国际通信的核心思想是，用无线电或红外线代替传统的有线电缆，实现个人信息终端的智能化互联，组建个人化的信息网络。通过个人终端设备进行局域网内，以及外网通信。红外通信技术成为了实现PAN的方式。8.1.4蓝牙通信技术作为一种短距离无线通信方式，蓝牙通信的实质内容是建立一个通用的无线空中接口以及控制软件的公开标准，从而使得不同厂家的便携设备能够在没有电缆互相连接的情况下在较短距离内完成互通。蓝牙通信技术将内嵌蓝牙芯片的设备互联起来，提供话音和数据的接入服务，实现信息的自动交换和处理。从出现至今一直在不断的更新发展，并一直在各种移动设备上广泛使用。8.1.4蓝牙通信技术蓝牙通信工作在全球通用的免费的2.4GHzISM频段，数据速率为IMbps，采用时分双工实现全双工传输。现阶段蓝牙技术的主要工作范围在10米左右，经过增加射频功率后的蓝牙技术可以在100米的范围进行工作。红外和蓝牙参数比较8.1.5UWB超宽带通信技术UWB超宽带（UltraWideBand）是一种以极低功率在短距离内高速传输数据的无线技术，3.1GHz到10.6GHz之间的7.5GHz的带宽频率是UWB所使用的频率范围。与IEEE802.1la、IEEE802.1lb和蓝牙相比，在同等码速条件下，UWB具有更强的抗干扰性。其数据速率可以达到几十Mbit/s到几百Mbit/s，消耗电能小、保密性好、生产成本低。8.1.5UWB超宽带通信技术UWB技术可实现短距离高速应用，数据传输速率可以达到数百兆比特每秒，主要是构建短距离高速WPAN、家庭无线多媒体网络以及替代高速率短程有线连接，如无线USB和DVD，其典型的通信距离是10m。同时，也可以实现中长距离（几十米以上）低速率应用，通常数据传输速率为1Mbit/s，主要应用于无线传感器网络和低速率连接。另外，UWB采用到达时间差定位（TDOA）方法实现无线定位，是目前无线定位最为流行的一种方案。8.2AdHoc自组网技术AdHoc网络不需要有线基础设备的支持，通过移动主机自由的组网实现通信。它是由一组带有无线收发装置的移动终端节点组成的一个多跳的、临时性自治系统。在自组网中，每个用户终端不仅能移动，而且，兼有路由器和主机两种功能。在AdHoc网络中，每个主机的通信范围有限，因此路由一般都由多跳组成，数据通过多个主机的转发才能到达目的地。8.2AdHoc自组网技术AdHoc网络中的节点主要包括普通移动终端和报文转发两个功能。依据功能可以将节点分为三种，依附的具体设备分别为：主机、路由器和电台三部分。其中主机部分完成普通移动终端的功能，包括人机接口、数据处理等应用软件；路由器部分主要负责维护网络的拓扑结构和路由信息，完成报文的转发功能；电台主要提供无线信道支持。在物理结构层面可以将节点结构分为单主机但电台、单主机多电台、多主机单电台和多主机多电台。8.2AdHoc自组网技术按AdHoc网络结构来划分：平面结构和分级结构两种。1.AdHoc网络平面结构平面结构中，所有节点的地位平等，也可以称为对等式结构，原则上不存在瓶颈节点，比较健壮，并且节点的覆盖范围比较小，相对比较安全。其缺点是当用户较多的时候，特别是在移动的情况下，存在处理能力弱，可扩充性差，每一个节点都需要知道到达其他所有节点的路由。维护这些动态变换的路由信息需要大量的控制消息，主要适用于中小型网络。8.2AdHoc自组网技术平面结构网络8.2AdHoc自组网技术2.AdHoc网络分级结构在分级结构中，将网络划分为簇。每个簇由一个簇头和多个簇成员组成。这些簇头形成高一级的网络。在高一级的网络中，又可以分簇，再次形成更高一级的网络，直到最高级。在分级结构中，簇头节点负责簇间的数据转发。簇头可以预先指定，也可以由节点使用算法自动选举产生。分级结构的网络又可以被分为单频分级和多频分级两种。8.2AdHoc自组网技术（1）单频分级单频率分级网络图中，其所有节点使用同一个频率通信，为了实现簇头之间的通信，需要有网关节点的支持。单频分级结构8.2AdHoc自组网技术（2）多频分级在多频网络中不同级采用不同的通信频率。低级节点的通信范围较小，而高级节点要覆盖较大的范围。高级节点要覆盖较大的范围，高级的节点同时处于多个级中，有多个频率，用不同的频率实现不同级的通信。多频分级结构8.2AdHoc自组网技术在分级网络结构中，簇成员的功能比较简单、不需要维护复杂的路由信息。这也就大大减少了网络中路由控制数量，具有平面结构所不具有的良好扩充性。由于簇头节点可以随时选举产生，分级结构也具有很强的抗毁性。分级结构的缺点是，维护分级结构需要执行簇头选举算法，簇头节点可能会称为网络的瓶颈。3.多移动机器人AdHoc自组网AdHoc网络可用于多移动机器人系统自组网，现有的无线通信方式大都支持构建AdHoc网络。8.2AdHoc自组网技术利用蓝牙的方式建立AdHoc网络时，在每个移动机器人本体上都安装蓝牙设备，蓝牙技术将传输的数据分割成数据包，利用BNEP蓝牙封装协议去定义数据包格式，在相同频段的蓝牙设备上传输网络协议数据包，使蓝牙设备有组建网络和交换信息的能力。这样，搭载有蓝牙设备的移动机器人能够在规定的空间范围内自动建立相互之间的联系，无需用户干预就可以自动连接并传输数据。8.2AdHoc自组网技术在各移动机器人建立蓝牙通信的过程中，移动机器人首先将自身的蓝牙设备的蓝牙服务开启，使其随机选择进入AdHoc网络主节点或者从节点状态。成为主节点的蓝牙设备处于侦听的状态，并尝试搜索周围的设备，而其他节点则作为从节点，进入连接请求状态。当主节点发现从节点后，根据全球唯一的UUID号，来搜索其他移动机器人的蓝牙服务。只有UUID号相同的蓝牙设备才会被加入到搜索结果设备列表中，之后搭载蓝牙设备的移动机器人可以进行正常的通信。8.2AdHoc自组网技术如果两个移动机器人建立了蓝牙连接，一个移动机器人扮演主节点，另一个移动机器人扮演从节点。主节点并无特权，而是指它控制着移动机器人之间的通信同步，主节点决定跳频样式和跳频序列的相位，通过不同的跳频序列来识别每一个从节点，并与之通信。当移动机器人处在通信范围内的时候，使用Client/Server模式运用Socket套接字编程软件实现通信。Sokcet接口实际是一个API接口。当网络传输层的模块程序要进行数据传输时，需要为其指定一个端口来提供收发。在创建套8.2AdHoc自组网技术接字后，通过bind函数和listen函数，服务器端在某一端口等待客户端的连接请求。通过connect函数，客户端则可以向服务器端发送一个连接请求。服务器端这时可以通过accept函数来接收连接请求，accept函数在收到请求后，会返回得到一个新的套接字，通过这个新的套接字来与该客户端进行通信。至此，服务器端和客户端之间的连接就建立起来了，接下来便是通过receive和send等函数进行通信了。当通信结束的时候，调用close函数来关闭套接字，同时释放相关资源。8.2AdHoc自组网技术Socket通信机制8.2AdHoc自组网技术每个移动机器人都是一个网络节点，首先初始化各节点，初始化的过程就是将蓝牙服务打开，然后随机运行客户端程序和服务器程序，建立通信套接字，服务器端首先进入监听状态，随后客户端套接字发送连接请求，请求到达服务器后被动接收，需要建立新的套接字进行通信，原来处于监听的套接字并无变化，依旧进行监听。如果由一个移动机器人主动发起连接，其它移动机器人响应，它们之间就会形成一个自组织网络，构成平面结构的AdHoc网络形式。8.3基于计算机网络的移动机器人通信8.3