《人工智能技术应用（第三版）》课件 5.1 智能语音助手

第5章

让机器听你指挥——01智能语音助手1场景导入2知识小百科3AI实验室4分享评价1场景导入近年来，随着人工智能技术的逐步落地，语音助手已经成为很多智能化产品的标配。以智能手机为例，我们只需对手机说一些指令，手机就可以自动完成很多操作。最常用的莫过于设置闹钟的场景，如下图所示。这是一个用户和小艺对话的场景。在这个这个场景下，小艺是如何听懂用户指令的呢？又是如何识别出用户指令就是设置闹钟这样一个意图呢？就算它知道了设置闹钟，又是怎么知道向用户确定设置的时间呢？用户提出的具体时间小艺又是怎样理解的呢？本节就将带你揭秘智能语音助手背后的技术。小艺设置闹钟的场景2知识小百科活动目标：掌握语音识别的基础概念掌握语音合成的基础概念了解云平台的应用通过云平台接口应用，实现语音小助手的功能语音助手背后的技术由三大块组成：语音识别、语义理解、语音合成。其中，语音识别和语音合成技术都是成熟的通用技术，只要语言确定了（普通话或英语）就能使用通用的模型识别成文字或合成语音。而语义理解却需要定制，毕竟不同的应用场景需要进行的理解与交互操作是不同的。如图为手机里常见的智能语音助手的原理图。智能语音助手原理图语音识别技术，也称为自动语音识别（AutomaticSpeechRecognition，ASR），主要是将人类语音中的词汇内容转换为计算机可读的输入，一般都是可以理解的文本内容，也有可能是二进制编码或者字符序列。但是，我们一般理解的语音识别其实都是狭义的语音转文字的过程，简称语音转文本识别（SpeechToText,STT）更合适，这样就能与语音合成对应起来。语音识别系统一般包含：前端处理（预处理）、特征提取、模型训练、解码（语音识别结果）四部分。语音识别的基本流程如图所示。（一）语音识别语音识别流程图1、前端处理声波是一种信号，称之为音频信号，如图所示。原始的音频信号通常由于人类发声器官或语音采集设备所带来的静音片段、混叠、噪声、高次谐波失真等因素，一定程度上会对语音信号质量产生影响。所以在正式使用声学模型进行语音识别之前，必须对音频信号进行预处理和特征提取。（一）语音识别1、前端处理声波是一种信号，称之为音频信号，如图所示。原始的音频信号通常由于人类发声器官或语音采集设备所带来的静音片段、混叠、噪声、高次谐波失真等因素，一定程度上会对语音信号质量产生影响。所以在正式使用声学模型进行语音识别之前，必须对音频信号进行预处理和特征提取。（一）语音识别音频信号（一）语音识别前端处理也称声学信号预处理，是语音识别的前提与基础。前端处理有包括：端点检测、语音增强和声波处理。（1）端点检测是指在语音信号中将语音和非语音信号时段区分开来，准确地确定出语音信号的起始点。经过端点检测后，后续处理就可以只对语音信号进行，这对提高模型的精确度和识别正确率有重要作用。（2）语音增强的主要任务就是消除环境噪声对语音的影响。（3）在声波处理过程中，常应用到声音分频。（一）语音识别声音分帧（一）语音识别声音分帧，也就是把声音切开成一小段一小段，每小段称为一帧，如图所示。声音分帧不是简单的切开，各帧之间一般是有交叠的。分帧一般采用交叠分段的方法，是为了使帧与帧之间平滑过渡，保持其连续性。前一帧和后一帧的交叠部分称为帧移。（一）语音识别2、特征提取如何识别我们说的一个单词？每一个单词都有模板，用于待预测语音与它进行比较，如图所示为孤立词的识别。右边蓝色的语音信号到底是说的Yes还是No。我们直观的看一下，可能感觉它是Yes的可能性更大，因为Yes的信号波形中有两个包，No只有一个包，而待预测的信号也是有两个包，从波形上我们可以大概判断出待预测信号是Yes的可能性更大一些，当然这种看波形的方法实不可取的，更是不科学的。那么我们应该怎么做呢，就是计算待预测信号与模板信号的距离，（一）语音识别其实也就是相似程度，距离越短，相似程度越高。但是信号的距离该怎么比较呢，是通过把信号转换成特征向量，然后比较向量之间的距离，接下来，就来到了特征提取的部分。（一）语音识别孤立词的识别对于一段语音信号，我们通常是一段一段的分析，我们提取一帧信号，它的长度通常为20～50ms，一帧信号要至少包含2～3个周期，因为人说话的频率是在100Hz左右。接下来我们就需要分析这一帧信号，这样可以得到信号的频域的信息，经过变换之后，我们会得到这一帧信号的频谱，它由两部分组成，其中蓝色的线表示的是精细结构反应的是音高，在汉语中比较常用，用来识别汉字的声调，但是在外语中用处相对较小；红色的线表示的是包络，也就是频谱的大致幅度，它反映的是音色，包含主要的信息。（一）语音识别我们对一帧信号进行三角滤波（Filterbankoutput），经过三角滤波后，我们得到最下边的成为滤波器组输出的图像，可以看出，三角滤波后的峰的个数相对精细结构也变少了，我们再一看，它和频谱的包络在形状上很相似，实际上，他就是频谱包络的一种近似。这个三角滤波输出结果就基本可以作为这一帧语音的特征了，但是我们还通常会进一步做数学变换来达到数据压缩的目的。（一）语音识别特征提取的过程（一）语音识别通常情况下我们会对三角滤波输出结果做一个对数变换或者离散余弦变换，这样就可以压缩为一个13维的特征向量，称为MFCC。经过一系列处理之后，我们得到了一帧语音信号的特征向量，如图所示。前面说过，需要计算待预测语音与模板语音之间的距离，从而判断它想要表达的内容。经过特征提取之后我们将语音信号编程了一个个13维的特征向量，通过计算待识别语音与Yes模板和No模板的距离，取两者中距离小的那个为最终识别结果即可。其实到此，孤立词识别问题就已经解决了，但是人总是不满足的，总是想找到（一）语音识别更好的方法。特征提取的基本的算法有线性预测倒谱系数（LPCC）和Mel倒谱系数（MFCC）等方法。语音识别特征提取所涉及的算法较为繁琐，我们不在本课程中进行介绍，感兴趣的同学可以查阅相关资料来学习。3、模型与训练语音识别系统的目的，是把语音转换成文字。具体来说，是输入一段语音信号，要找一个文字序列（由词或字组成），使得它与语音信号的匹配程度最高。（一）语音识别模型与训练（一）语音识别我们知道，同一个人或者不同的人说一个汉字或者单词的发音是存在区别的，那么我一个词比如Yes只录一个模板的话，那么最后的识别正确率会降低。这就要求我们需要多录几个模板，在模型与训练中图中，中间的五个特征向量为待识别语音，上下分别为待识别语音的模板，那么经过人工智能算法之后，我们把原来的模板就变成了右边的有五个状态的模型，然后我们就让待识别语音与模型中的每个状态进行对齐，这样的话，识别的准确率会大大提升。语音识别中，我要用到声学模型、字典和语言模型。（一）语音识别声学模型是将语音信号的特征与语音模型联系起来，这个阶段利用语音的声学模型，把自然的声音信号转换为机器可以处理的数字表达的音节形式，其输入是语音信号的特征向量，输出为音素信息。音素（phone），是根据语音的自然属性划分出来的最小语音单位，依据音节里的发音动作来分析，一个动作构成一个音素。音素分为元音与辅音两大类。字典就是语音理解，这个阶段把上阶段的结果即音节转换成汉字，就像查字典一样。字或者词与音素的对应，简单来说，中文就是拼音和汉字的对应，英文就是音标与单词的对应。（一）语音识别语言模型如何理解呢，给一个大家最熟悉的使用场景就是输入法，智能拼音输入法，打出一串拼音，直接给出了合适的句子，即使不是你想要的，但确实是符合语法习惯的，例如，你的名字叫“福贵”你输入了“fugui”，出来的可能是“富贵”，但不会出来“抚跪”，这就是语言模型的功劳！一句话，语音识别中语言模型的目的就是根据声学模型输出的结果，给出概率最大的文字序列！即使用语言模型的知识进行理解。（一）语音识别声学和语音模型里面存了一大堆参数，通过这些参数，就可以知道输入信息和输出状态对应的概率，而获取这一大堆参数的方法叫做“训练”，需要使用巨大数量的语音和文本数据集。4、解码语音识别首先是将一段语音信号经过特征提取的操作后把信号变成了一个特征向量，特征提取也称为前端；那么后端主要是由解码器组成的，解码器又包括声学模型、词典和语言模型。声学模型它描述的是单词或者音素的发音情况，词典可以把音素拼接起来组成单词或者汉字，语言模型就是把单词整合成符合人类说（一）语音识别话习惯的连续的语音，也就是把单词整合成一句话，最后将结果输出就是我们最终想要得到的识别结果。解码就是通过声学模型，字典，语言模型对提取特征后的音频数据进行文字输出。例如我们对麦克风说“今天深圳的天气怎么样”，电脑端通过我们编辑的代码解释后，能够在屏幕上输出“今天深圳的天气怎么样”，语音信号解码完成。学习了语音识别的相关原理，那么语音识别在我们日常生活中的应用有哪些呢？（一）语音识别语音识别的应用场景（一）语音识别语音识别在我们生活中的应用为主要分为C端以及B端应用。如图所示。C端，即用户端（customer），C端产品主要服务个人；B端，即商务端（business），B端产品主要服务组织，常用于商业用途。以问答和聊天为服务形式，智能语音语义在多个使用场景和行业领域应用。从C端和B端两个方向来看，C端主要提升了用户体验，而B端则是提升了工作效率。（一）语音识别语音合成是通过机械的或电子的方法产生人造语音的技术，是将计算机自己产生的、或外部输入的文字信息转变为可以听得懂的、流利的汉语口语输出的技术。语音合成技术（TTS，texttospeech），又称文语转换技术，隶属于自然语言生成，它可以将给定的文字输入信息转换生成语音波形信息，也就是我们常听到的声音。目前，语音合成技术在我们的生活中早已广泛应用于语音导航、有声读物、机器人、语音助手、自动新闻播报等场景，用于提升人机交互体验，提高语音类应用构建效率。（二）语音合成如图所示，就是语音合成技术在我们出行导航中的应用。（二）语音合成语音合成在导航中的应用思考一下，语音合成过程是怎么样的呢？我们如何将文本信息转换成音频信息呢？这之间是否要通过大量的学习？我们知道，在我们初学识字说话的时候，老师第一堂课教我们的就是认识各类字母，教我们如何发音，包括各种声母、韵母、平舌音、翘舌音等等。我们还学习声标，掌握不同字形的发音及语调。之后，我们开始学习识字、断句，然后可以看各类文章，学习不同的字，并能说出来。我们学习认字说话的时候可以查字典，看音标，可以跟老师或者大人学习发音。在人工智能领域，关键是机器如何学习呢？（二）语音合成跟我们人学习认字说话一样，计算机学习也有他的词典库和语音库。计算机通过规则词典库来对文本信息进行归整、标注，再通过词的韵律处理以及语音数据库的对比分析合成语音。如图所示，为语音合成的基本流程图。（二）语音合成语音合成基本流程图在文本分析与处理阶段，计算机首先需要按照词典规则对文本进行语言处理，包括文本规整、词的切分、语法语义分析（词性预测、多音字消歧、韵律预测等）。在这一阶段，其实也就是计算机模拟人对自然语言的理解过程，它使计算机对输入的文本能完全理解，并给出后续步骤所需要的各种发音提示。随后是韵律处理，就是为合成语音规划出音段特征，如音高、音长和音强等，使合成语音能正确表达语意，听起来更加自然。最后根据前两部分处理结果的要求输出语音，即合成语音。（二）语音合成传统的语音合成系统通常包括前端和后端两个模块。前端模块主要是对输入文本进行分析，提取后端模块所需要的语言学信息，对于中文合成系统而言，前端模块主要包含我们所提及的文本分析处理以及韵律处理模块。后端模块根据前端分析结果，通过一定的方法生成语音波形，后端系统一般分为基于统计参数建模的语音合成以及基于单元挑选和波形拼接的语音合成。（二）语音合成1、认识云AI平台在前述知识小百科里面，我们讲了很多概念和算法，对于一些非AI资深专业的人士，或是有AI相关需求的业务团队有数据、有业务场景，但却不懂算法，我们就可以使用AI云平台。百度云AI平台和腾讯云AI平台是一个不需要算法知识的平台，无需人工调参，并为用户提供多个场景选择，具有自动建模能力。同时在模型的选择、定制上，能够自主进行优化处理，提供优质AI服务和效果，并且模型结果更加简单，易于部署。对于非AI资深专业用户群体来说，云AI平台相当于一个在线“智囊团”，让用户无需算法经验，便能（三）智能云平台基于特点场景数据生成模型，真正降低人工智能学习平台门槛。由于人工智能算法多是依赖于大量数据的，这些数据往往需要面向某个特定的领域（例如，电商、邮箱）进行长期的积累，如果没有数据，就算有人工智能算法也不能很好地发挥作用。云计算厂商往往积累了大量数据，云计算厂商提供数据库、服务器和软件，用户仅通过网络连接与浏览器，即可享受在线服务。这种形式的服务，在云计算里面称为软件即服务（softwareasaservice，SaaS）。（三）智能云平台2、HTTP协议HTTP是万维网的数据通信的基础。在客户端与云端的数据传输处理过程中，通常使用的是HTTP协议。HTTP，即超文本传输协议（hypertexttransferprotocol），是一种用于分布式、协作式和超媒体信息系统的应用层协议。HTTP是一个客户端（用户）和服务端（网站）之间请求和应答的标准，通常使用TCP协议来作为其传输层。通过使用网页浏览器等其它工具，客户端发起一个HTTP请求到服务器上指定端口的TCP连接。HTTP服务器则在那个端口监听客户端的请求。一旦收到请求，服（三）智能云平台务器会向客户端返回一个状态，或者是返回的内容，如请求的文件、错误消息、或者其它信息。HTTP协议常用的发送请求的方式为：GET或POST。GET向指定的资源发出“显示”请求。使用GET方法应该只用在读取数据，而不应当被用于产生“副作用”的操作中。POST向指定资源提交数据，请求服务器进行处理。数据被包含在请求本文中。这个请求可能会创建新的资源或修改现有资源，或二者皆有。（三）智能云平台3AI实验室（一）任务发布目标搭建本地离线语音识别模型和调用平台大语言模型，实现智能语音助手要求（1）注册并登录智谱AI平台，创建自己的账号。（2）下载Whisper语音识别模型并实现离线语音识别。（3）在计算机端，完成智能语音助手的软件开发环境搭建。（4）编写程序，实现智能语音助手。实现语音小助手，需要准备软件开发环境和完成大语言模型平台调用申请。1、安装第三方Python库任务的软件环境需要配置好python3.x的语言环境，并安装有相应的编程集成开发环境，本书使用VScode集成开发环境。实现任务还需安装如下所示的第三方Python库：（二）任务环境（二）任务环境第三方Python库安

装

命

令PyAudio库在线安装：pipinstallpyaudioRequests库在线安装：pipinstallrequestsPydub库在线安装：pipinstallpydubWhisper库在线安装：pipinstall-Uopenai-whisperEdge-TTS库在线安装：pipinstalledge-ttsPyAudio库是Python下的一个音频处理库，用于将音频流输送到计算机声卡上。理论上，该库能够播放任何解码器解码而成的有效音频帧。Requests库是一个用于网络访问的库，网络访问就是利用某些参数发送请求，然后获取想要的信息。Pydub库是基于ffmpeg的python音频处理库。利用它可将二进制的音频文件和相关音频参数生成AudioSegment类的实例，最后保存为普通的MP3，WAV格式文件。Whisper库是一种通用语音识别模型。Edge-TTS库是由微软推出的文本转语音Python库。（二）任务环境2、FFMpeg环境变量的配置FFMpeg是一个面向音视频开发的开源解决方案，广泛应用于多种音视频的客户端、播放器和流媒体服务器中。使用FFMpeg提供的工具和SDK，可以完成音视频的编码、解码、转码、封装等多种需求的开发。FFMpeg的环境变量配置具体操作步骤如下：（1）解压ffmpeg_win64压缩包到D盘根目录(用户可更改路径)；（2）解压之后，找到文件夹中的bin文件夹，把该bin文件夹的绝对路径复制下来。（二）任务环境（3）右键点击桌面上“此电脑”图标，选择属性，选择高级系统设置，选择环境变量，选择系统变量，选择Path，点击编辑，进入编辑环境变量界面。点击新建，将ffmpeg的bin文件夹的绝对路径粘贴上去，点击确定，如图所示。（二）任务环境复制bin文件夹的绝对路径3、申请大语言模型调用大语言模型平台的调用方式各有不同。虽然有像LangChain这样的大语言模型开发框架，但是其对国内平台的支持不够充分。因此，仍需按照各平台的调用方式来操作。目前国内大语言模型平台主要包括智谱AI、通义千问、讯飞星火以及文心等。在本任务中，选择智谱AI开放平台。步骤如下：Step1：注册智谱AI开放平台账号。Step2：登录智谱AI开放平台，单击右上角“控制台”板块，如下图所示：（二）任务环境（二）任务环境智谱AI开放平台Step3：创建APIkey。进入控制台界面，单击“APIKey”进入创建APIKey界面。再单击“添加新的APIKey”，页面会提示输入APIKey的名称，用于区分APIKey，输入完成之后单击“确定”按钮，如下图所示：（二）任务环境新建

APIKey

Step4：完成创建APIKey后，系统将会为用户生成一个APIKey，用于调用该平台的大语言模型，将APIKey复制下来，在后面的任务实现中需要用到。（二）任务环境1.绘制程序流程图根据任务要求绘制智能垃圾分类系统程序流程图，如下图所示。（三）任务实施（三）任务实施参考流程图根据流程图，我们分阶段的来实现我们的任务吧！2、音频信息采集与播报1）实现语音小助手的首要步骤就是进行音频信息的采集，利用PyAudio库的音频采集功能，我们将录制一段音频并播报出来。（三）任务实施

2）代码分析（三）任务实施#加载PyAudio库frompyaudioimportPyAudio,paInt16#定义全局变量CHUNK=256FORMAT=paint16CHANNELS=1RATE=16000mindb=500#最小声音，大于则开始录音，否则结束delayTime=5#小声一段时间后自动终止（三）任务实施#实例化PyAudio对象pa=PyAudio()#打开输入流并设置音频采样参数stream=pa.open(format=FORMAT,

channels=CHANNELS,

rate=RATE,

input=True,

frames_per_buffer=CHUNK)参数说明：（1）format：取样值的量化格式，常用格式有（三）任务实施paFloat32、paInt32、paInt24、paInt16、paInt18等，这里我们设置为paInt16。（2）channels：声道数，1为单声道，2为双声道。（3）rate：采样频率，是指将模拟声音波形进行数字化时，每秒钟抽取声波幅度样本的次数，常用的音频采样频率有8kHz、11.025kHz、22.05kHz、16kHz、37.8kHz、44.1kHz、48kHz等，这里我们设置为16Hz。（4）input:输入流标志，为True时启动输入流。（5）frames_per_buffer：底层缓存块的大小。（三）任务实施#循环采集音频，当说话声音变小一段时间后则停止采集，最大采集时长为24s，超过则停止frames=[]flag=False#开始录音节点stat=True#判断是否继续录音stat2=False#判断声音小了tempnum=0#tempnum、tempnum2、tempnum3为时间tempnum2=0whilestat： data=stream.read(CHUNK，exception_on_overflow=False) frames.append(data)（三）任务实施 audio_data=np.frombuffer(data，dtype=np.short) temp=np.max(audio_data) iftemp>mindbandflag==False： flag=True tempnum2=tempnum ifflag： if(temp<mindbandstat2==False)： stat2=True tempnum2=tempnum if(temp>mindb)： stat2=False（三）任务实施 tempnum2=tempnum if(tempnum>tempnum2+delayTime*15andstat2==True)： if(stat2andtemp<mindb)： stat=False else： stat2=False #显示音量和时刻 #print(str(temp)+""+str(tempnum)) tempnum=tempnum+1 iftempnum>1500： stat=False（三）任务实施#保存录制的语音文件到audio.wav中并关闭输入流stream.stop_stream()stream.close()p.terminate()wf=wave.open('audio.wav'，'wb')wf.setnchannels(CHANNELS)wf.setsampwidth(p.get_sample_size(FORMAT))wf.setframerate(RATE)wf.writeframes(b''.join(frames))wf.close()3、搭建离线语音识别模型1）实现智能语音助手的第2个步骤就是将语音信息转为文本信息，进行语音识别。例如，对计算机进行询问：“深圳的天气怎么样”，我们可看到计算机将会在屏幕打印出文本“深圳的天气怎么样”。（三）任务实施

2）代码分析（三）任务实施#加载whisper库importwhisper#模型导入model=whisper.load_model("base")#加载音频并对其进行填充/修剪audio=whisper.load_audio("audio.mp3")audio=whisper.pad_or_trim(audio)#制作log-Mel谱图，并移动到与模型相同的设备mel=whisper.log_mel_spectrogram(audio).to(model.device)（三）任务实施#自动检测语言_，probs=model.detect_language(mel)print(f"Detectedlanguage：{max(probs，key=probs.get)}")#解码音频并进行识别options=whisper.DecodingOptions()result=whisper.decode(model，mel，options)print(result)参数说明：①模型尺寸选择，如下图所示：（三）任务实施Whisper各种尺寸模型的参数代码运行结果：Startrecording...................Endrecording.I：今天深圳的天气怎么样？4、语音合成与播放1）实现智能语音助手的第3个步骤就是将文本信息转为语音信息，进行语音合成。例如，对计算机输入要合成语音的文字：“苟利国家生死以，岂因祸福避趋之”，经过Edge-TTS合成处理后，计算机就会播报文字合成的语音信息。（三）任务实施

2）代码分析（三）任务实施#加载Edge-TTS库importedge_tts#加载pydub库frompydubimportAudioSegment#设置语音合成的参数以及文件存放路径rate='+10%'volume='+20%'voice_list=[ {"Name"："zh-CN-XiaoxiaoNeural"，"Gender"："Female"}，（三）任务实施 #{"Name"："zh-CN-XiaoyiNeural"，"Gender"："Female"}，]file_dir=os.path.dirname(os.path.abspath(__file__))file_name="edge-tts-output.mp3"filepath=file_dir+"/Audio_file/"+file_name说明：我们这里实现的语音合成是基于微软的Edge-TTS搭建的。（三）任务实施#调用Edge-TTS实现语音合成asyncdefmy_function(text，voice，output)： tts=edge_tts.Communicate(text=text，voice=voice，rate=rate，volume=volume) awaittts.save(output)defedge_TTS(text)： voice_name=voice_list[0] #创建文件 ifnotos.path.exists(filepath)： withopen(filepath，'w')asf： pass（三）任务实施asyncio.run(my_function(text，voice_name，filepath))参数说明：①text：要合成的文本②voice：合成的音色③rate：合成音频的速度④volume：合成的音量（三）任务实施#音频播放函数defplay_audio()： file_dir=os.path.dirname(os.path.abspath(__file__)) edge_file_name="edge-tts-output.mp3" filepath=os.path.join(file_dir，"Audio_file"，edge_file_name) song=AudioSegment.from_mp3(filepath) play(song)说明：Edge-TTS合成返回的是mp3格式的音频文件，可以使用pydub的播放函数直接进行音频信息的播放。5、实现智能语音助手功能1）实现智能语音助手的最后一步是利用语音识别获取的文本信息，通过智谱AI平台提供的示例代码发送至大型语言模型，获得返回结果，并进行语音合成，最后播放合成的语音信息。2）代码分析（三）任务实施#加载智谱AI开发平台调用SDKfromzhipuaiimportZhipuAI#输入智谱AI开发平台密钥client=ZhipuAI(api_key="")#请填写您自己的APIKey（三