《人工智能应用基础》 课件-模块三 智能语音技术

BasisofArtificialIntelligenceApplication人工智能应用基础模块三智能语音技术01

录音北京明天的天气怎么样？识别北京明天是晴天，最高气温28度，适合郊游。合成问答播放小红是公司的客服，每天要回复很多客户的电话，嗓子经常会变得沙哑。她一直盼望着：能不能把回复的文字转换成音频，自动播放给客户？任务3：TTS文字转语音网络通信正常已安装Anaconda集成环境已安装百度SDK并注册用户1、任务描述准备一段文字（或文本文件）

在百度平台创建语音应用并获取鉴权信息

编写六段代码编译运行并收听结果2、环境要求3、任务设计本次任务是借助百度语音接口，将给定的文字转换成语音并播放出来。效果如下所示。｝任务一请扫码完成集成环境&百度平台我爱北京天安门，天安门上红旗飘！1.熟悉语音处理的概念2.了解语音识别、语音合成、声纹识别、唤醒词等常用技术3.了解语音处理的常见应用4.能将文字转化为语音5.提升四个自信与工匠精神重点:1.语音处理的概念2.语音处理的相关技术与应用3.TTS文字转语音实践难点:1.语音处理的相关技术2.文字转语音实践知识‧技能‧素质重难点人工智能应用基础BasisofArtificialIntelligenceApplication3.1语音处理的概念

3.2语音处理的常用技术3.3语音处理的常见应用任务3：TTS文字转语音语音处理(speechsignalprocessing)是研究语音发声过程、语音信号的统计特性、语音的自动识别、机器合成以及语音感知等各种处理技术的总称。它是一门研究如何让机器能够“听”和“说”的学科，属于人工智能中的感知智能范畴。语音处理概念图1、语音处理的定义3.1语音处理的概念语音处理主要研究RNN，LSTM等基础算法，实现语音识别（包括语音唤醒）、语音合成、语音增强、声纹识别、语音评测等应用技术方向。目前，语音技术已经在智能家居、手机助理多个领域取得了良好的应用。语音处理技术与应用框架2、语音处理技术与应用框架3.1语音处理的概念MFCCGMM-HMM…DNN-HMMRNNLSTM基础算法语音识别语音合成语音增强……声纹识别应用技术手机汽车家居客服金融可穿戴智能机器人…业务场景3.1语音处理的概念

3.2语音处理的常用技术3.3语音处理的常见应用任务3：TTS文字转语音语音识别：说的是什么？语音合成：替我说话！语音增强：消减噪音，让我听得清楚点声纹识别：是谁在说话？语音评测：你的发音水平如何？常用技术3.2语音处理的常用技术语音识别，又称自动语音识别（AutomaticSpeechRecognition，ASR)，是将人类的语音中的词汇内容转换为计算机可读的输入，它是利用计算机自动对语音信号的音素、音节或词进行识别的技术总称。1、语音识别3.2语音处理的常用技术语音识别一般流程科大讯飞棵大训非kēdàxùnfēi语言处理科大讯飞信号处理特征提取模型匹配声学模型声学库语言模型文本库1、语音识别3.2语音处理的常用技术输入语音有效语言检测接口层特征提取语音识别语言模型声学模型识别结果语音前处理数据预处理语音训练集声学模型训练文本训练集数据清洗和正规化模型训练和优化语言模型训练系统流程HMMCNNDNN

RNN1、语音识别3.2语音处理的常用技术语音编码语音质量16K16bit、8K16bit、Speex压缩避免丢音、截幅、音量过小等理想音频丢音截幅音量过小输入语音：较高质量1、语音识别3.2语音处理的常用技术声学一致性：待识别语音和语音训练集具有一致性数据预处理（NoiseRobust）语音训练集声学模型远场近场设备降噪用户口音声学匹配：声学一致性声学模型训练1、语音识别3.2语音处理的常用技术文本一致性:待识别领域和文本训练集具有一致性语言模型语言模型训练数据清洗和正规化模型训练和优化文本训练集领域数据核心词汇wǒxǐhuānbǎidù我喜欢文本匹配：文本一致性百度摆渡！1、语音识别3.2语音处理的常用技术语音识别语义理解对话管理语音唤醒声纹识别大白你好小明你好语音合成语音唤醒：在手机、玩具、家电等设备在休眠或锁屏状态下，能检测到用户发出的“小度小度”或“小爱同学”等唤醒词，让处于休眠状态下的设备直接进入到等待指令状态，开启语音交互第一步。1、语音识别3.2语音处理的常用技术特征提取关键词识别声学模型库>阈值？得分接受拒绝错误拒绝率(FRR)错误接受率(FAR)功耗语音唤醒：唤醒词设计简单易记日常少用易于唤醒3-4个音节语音识别主要包括语音听写、语音转写等细分应用，以及语音唤醒这个特殊应用。1、语音识别3.2语音处理的常用技术对比语音听写语音转写音频时长≤60秒介于60秒与5小时实时性要求高低适用场景手机语音输入、智能语音交互、语音指令、语音搜索等语音质检、会议访谈、音频内容分析等语音合成又称文语转换（TextToSpeech,TTS）技术，是将任意文字信息实时转化为标准流畅的语音朗读出来，它是通过机械的、电子的方法产生人造语音的技术。2、语音合成3.2语音处理的常用技术文本输入

语言处理

韵律处理

单元合成

语音输出语音合成一般流程声学模型语言模型语法分析发音提示……波形拼接参数合成……2、语音合成3.2语音处理的常用技术目前的语音合成技术已与真人无异文本分析（文本正则、分词、词性标注、注音）韵律停顿预测声学参数预测单元选择声码器在线合成离线合成语音增强（speechenhancement）是从带噪语音信号中提取尽可能纯净的原始语音，抑制、降低噪声干扰，以改进语音质量、提高语音可懂度的技术。3、语音增强3.2语音处理的常用技术智能语音交互中的语音增强在语音识别、说话人识别、语种识别等各种以语音为信息载体的智能交互应用中，都面临着噪声干扰，使得有用语音信息畸变，语音质量降低，影响了机器对人类命令和语音信息的辨别和理解。声纹识别也称为说话人识别，包括说话人辨认和说话人确认。4、声纹识别3.2语音处理的常用技术说话人辨认(SpeakerIdentification)是1:N问题：门禁、考勤、缩小刑侦范围时可能需要辨认技术，用以判断某段语音是若干人中的哪一个所说的年龄性别识别机器对已被授权输入的音频数据进行分析，辅助判定说话者的年龄范围（小孩、中年、老年）及性别（男，女）Ta是谁？是Ta吗？说话人确认(SpeakerVerification)是1:1问题：银行、证券等实名制领域进行交易时，需要确认技术，用以确认某段语音是否是本人所说的语音评测(SpeechEvaluator)通过智能语音技术自动对发音水平进行评价、发音错误、缺陷进行定位和问题分析。5、语音评测3.2语音处理的常用技术科大讯飞语音评测流程可以对中英文的朗读发音进行评分和问题定位。针对字、词、句、篇章等类型，返回准确度、流畅度、完整度、声韵调型等多维度评分，用于提升发音水平。3.1语音处理的概念3.2语音处理的常用技术3.3语音处理的常见应用任务3：TTS文字转语音1、语音识别应用3.3语音处理的常见应用社交聊天社交聊天发送实时语音，支持中文，英文识别，方言支持广东语，四川话。让沟通交流更加准确案例：游戏娱乐语音聊天转文字，让用户在操作的同时也可看到聊天内容案例：语音输入法摆脱生僻字和拼音障碍，将所输入文字，直接用语音的方式输入，让输入法更加便捷案例：

语音搜索搜索内容直接以语音的方式输入，让搜索更加高效案例：2、语音合成应用3.3语音处理的常见应用出行、娱乐语音指令解放双手机器人解说体育赛事农家数字书屋解放双手用耳朵获取知识2、语音合成应用3.3语音处理的常见应用功能:通过语音“说出”用户的需求，智能家居就能识别，执行。案例:智能电视系统，直接根据语音操作3、语音增强应用3.3语音处理的常见应用军事任务中的应用公安、国防等领域中的背景噪声装甲兵坦克海军轮船驾驶室炮兵在操作火炮时空军的地勤保障场所和设备，单兵恶劣的战争环境语音增强4、声纹识别3.3语音处理的常见应用“小度小度，给我来首歌”“马上播放小兔子乖乖”语音识别（ASR）Service语义理解（NLP）识别文本语音唤醒（Wakeup）声纹辨认？声纹确认？精准回应！3.1语音处理的概念3.2语音处理的常用技术3.3语音处理的常见应用任务3：TTS文字转语音任务3：TTS文字转语音网络通信正常已安装Anaconda集成环境已安装百度SDK并注册用户1、任务描述准备一段文字（或文本文件）

在百度平台创建语音应用并获取鉴权信息

编写六段代码编译运行并收听结果2、环境要求3、任务设计本次任务是借助百度语音接口，将给定的文字转换成语音并播放出来。效果如下所示。欢迎使用百度人工智能开放平台！｝任务一请扫码完成集成环境&百度平台任务3：TTS文字转语音登录

⓪

进入“语音识别”场景①开放能力

②语音技术

③语音合成

④（进入下一个页面）立即使用领取免费资源⑤去领取

⑥语音合成

⑦

全部

⑧0元领取创建应用⑨去创建

⑩填写应用名称（自定义）

⑪填写应用描述（自定义）

⑫立即创建获取密钥⑬文字识别

⑭应用列表

⑮显示你的密钥序号应用名称AppIDAPIKeySecretKey1MySpeech22898059BOrie9B…******显示2短语音识别25780364YnsT00u…******显示①⑮⑭②③⑤⑨⑬创建语音应用并获取秘钥4、任务实施任务3：TTS文字转语音参考代码4、任务实施左侧为参考代码，其中：如果用于合成的文字来自于文本文件，则该文本文件应与源代码文件在同一目录下需要领取免费资源包任务3：TTS文字转语音编译运行结果4、任务实施调用系统播放器，直接播放语音不显示返回信息，直接保存音频任务3：TTS文字转语音常见问题：编译错误英文括号()单引号''双引号""写成了中文符号英文错误代码Code6：误注册了其它应用，如图像搜索技能等错误代码Code14：AK、SK抄写错误，有空格等5、常见问题常见问题：疏忽程序能编译，无错误提示，但没有合成语音文件：查看是否领用了语音合成免费资源能正常播放语音，但找不到音频文件：SpyderFileSaveas查看源文件路径

任务3：TTS文字转语音本次项目利用百度人工智能开放平台实现了语音合成功能。在此基础上，学员们可以进一步探索：深入创新：上一模块中，我们已经学会了识别纸质文件上的文字。本次任务，我们能将文字转化为语音了。请考虑一下