人工智能应用导论（第三版）课件项目5 智能语音助理-语音处理

项目5：智能语音助理—语音处理语音处理技术应用场景语音处理概述会行动机器人、自动驾驶会思考人机对弈、定理证明会学习机器学习、深度学习会看计算机视觉会听、会说语音处理教学导图语音交互：最自然的人机沟通方式什么是语音交互？语音交互是一项人机交互技术，指通过说话的方式与计算机进行交互，无需复杂的指令，即可快速获取相应信息或服务。核心价值它是最自然、最符合人类本能习惯的沟通方式。突破了传统视觉与触控的限制，让交互过程回归到人类最原始的“对话”形态。发展现状语音交互早已“走出”手机，渗透进智能家居、车载系统、工业控制等领域，成为各行各业数字化转型中不可或缺的“新生产力”。语音处理概述语音输入语音语音识别文本语言理解关键字语音输出语音语音合成文本语言生成反馈对话管理指令任务执行语音交互系统架构图语音处理应用场景语音输入法普通人打字速度是每分钟60字左右，讲话每分钟一般是150字左右。科大讯飞的语音输入，最高速度能够达到1分钟400字，不仅支持中文录入、中文转英文等功能，还支持粤语、四川话、东北话、上海话、闽南语等多种方言输入。语音处理应用场景个人语音助手华为语音助手小艺小爱同学3.0微软五代小冰"在亿万人之中，我只属于你。你好，我是微软小娜。GoogleAssistantHow-to语音处理应用场景小米小爱华为小艺天猫精灵百度小度智能音箱语音处理应用场景车载语音助手智能座舱是很多智能汽车厂商的主打概念，智能车载语音助手是智能座舱的核心应用。各大知名厂商都推出了自己的车载语音助手，将语音交互视为下一代人车交互方式，并在满足用户功能需求、情感需求的方向上持续进化。语音处理应用场景智能车载助手车辆控制功能：包括调节车内空调温度，调整车窗，调整后视镜，甚至可以切换驾驶模式驾驶行为监控提醒：如果发现驾驶者的驾驶时间过长，或是频繁出现压线行驶和紧急刹车等情况，汽车也会及时的给予驾驶者语音反馈，使其保持清醒车况监控提醒：实时的监控可以帮助驾驶者发现汽车的问题，并及时的提醒驾驶员，避免意外的发生多媒体娱乐：播放音乐、电台或视频的能力，是智能语音助理最常见的用例智能导航：系统会理解驾驶员的语音指令，并提供有效的导航服务；智能问答：聊天，询问生活信息、周边服务等ABCDEF重塑社会生产力：提升效率的“智能工具”医疗领域：医生的“智能协理”查房时，医生口述诊断，语音系统实时生成电子病历，解放双手，让医生更专注于病情观察与治疗方案。司法领域：法庭的“数字速记员”庭审中，各方陈述被精准同步转写为文字，自动生成标准化庭审笔录，大幅降低书记员压力，提升司法效率。商务领域：跨国会议的“多语言桥梁”实时翻译技术打破语言障碍，实现跨国团队无障碍沟通，消除信息差，显著提升国际商务协作的效率与体验。技术的温度：有温度的“数字伙伴”教育：随身语言教练像私教一样，精准评估发音、语调，并给予实时反馈，让语言学习更高效、更有趣。陪伴：贴心情绪倾听者智能识别语音中的情绪变化，给予温暖的回应或适时的引导，成为你全天候的心灵陪伴。守护：无声者的声音利用个性化语音合成技术，为失语者保存或复现其独特的声音，用心守护情感与尊严。互动思考：你的语音助手故事应用场景探索除了我们刚才提到的，你还在生活中的哪些具体场景下应用过智能语音技术？解决实际痛点在那个场景下，语音助手具体解决了什么问题？它是如何提升效率或便利性的？带来新奇体验语音交互的过程中，是否带给你不同于传统操作的新奇感受？比如更自然的人机对话。课堂小组分享时刻请几位同学结合刚才的思考，分享一下自己与语音助手的亲身经历。让我们一起在交流中发现智能语音技术的更多可能性。语音数据采集的法律边界与隐私保护典型案例警示员工会议录音训练AI是否侵权引发热议，明确语音数据采集必须遵循《个人信息保护法》等法规。声纹数据的特殊性声纹具有唯一生物识别性，语音内容可能包含敏感信息，录音行为存在隐蔽性风险需格外审慎。合规处理原则处理敏感个人信息须获得明确单独同意，确保技术创新与法律合规并行，树立数据隐私意识。科技向善：语音技术的社会责任担当社会价值回顾法庭数字速记保障司法公正，盲人声音守护传递人文关怀，医疗智能协理提升服务效率，技术始终服务于社会福祉。开发者使命担当设计助老助残产品、保护用户权益、坚守伦理底线，将技术能力与社会责任结合，成为有担当的AI探索者。（本视频/PPT中部分所用图片、视频等资料来自网络，仅供教学使用）项目5：智能语音助理—语音处理语音识别原理语音识别技术定义与发展史语音输入语音语音识别文本语言理解关键字语音输出语音语音合成文本语言生成反馈对话管理指令任务执行语音交互系统架构图语音识别技术定义与发展史基本定义：语音识别技术（AutomaticSpeechRecognition，ASR）就是让机器通过识别和理解把语音信号转变为相应的文本或命令的技术。语音识别技术定义与发展史发展史1950s只能识别10个英文数字发音(贝尔实验室)1980s模板匹配法只能识别小词汇量、孤立词识别1993—2009统计模型思路GMM-HMM模型实现大词汇量、非特定人连续识(词错误率>10%)~2009以后深度神经网络DNN-HMM模型“端到端”技术(词错误率5.1%超过人类)语音识别技术定义与发展史发展史语音识别技术定义与发展史科大讯飞——带领中国声谷崛起语音识别技术度量标准词错误率=准确率

=度量标准：语音识别技术影响因素应用限制与影响因素：环境影响：噪音、场地、麦克风、信道说话人影响：口音、方言、音量说话内容影响：中英混读、专业术语

一般场景下无法达到100%准确率语音识别技术原理语音识别系统一般包括四部分：音频信号数字化、特征提取、模型训练、解码器。语音信号音频信号数字化特征提取解码器识别结果词典声学模型语言模型模型训练语音数据文本数据语音识别技术原理语音信号的数字化一般包括语音信号采集、滤波、音频自动增益（ACG）、采样模/数转换、编码、存储/传输等步骤。语音信号采集滤波器音频自动增益存储/传输编码模/数转换（A/D）特征提取模板比较法：直接比较波形好吗？-计算距离：，-距离小者为识别结果语音识别技术原理语音识别技术原理特征提取常用的语音特征提取技术就是梅尔倒谱系数(Mel-FrequencyCepstralCoefficients，简称MFCC)语音识别技术原理解码器给定语言学单元（如音素），计算输入语音匹配的可能性，即特征=>音素。声学模型声学模型分析出的语音单元转为单词，即音素=>词。词典计算各种不同文本序列搭配的可能性，即词=>句子。语言模型根据不同的可能性来得到最有可能的文本序列，即识别结果。解码器语音识别技术原理语音信号特征提取解码器识别结果词典声学模型语言模型语音识别技术原理模型训练模型通常由声学模型和语言模型两部分组成。声学模型：计算语音到音素的概率语言模型：计算音素到字、字到句子的概率。（本视频/PPT中部分所用图片、视频等资料来自网络，仅供教学使用）项目5：智能语音助理—语音处理语音合成原理（本视频/PPT中部分所用图片、视频等资料来自网络，仅供教学使用）语音合成来自于微软的语音合成技术，声源名叫“云希”，被运用于众多短视频解说当中语音合成应用：语音导航、手机语音助手、无障碍的朗读助手等语音合成定义语音合成，又称文语转换（Text-To-Speech，TTS）技术，就是将任意文字信息转化为相应语音朗读出来。语音合成的基础是各种语言的高质量语音库。语音合成涉及声学、语言学、数字信号处理、计算机科学等多个学科技术。为了合成出高质量的语言，除了依赖于各种规则，包括语义学规则、词汇规则、语音学规则外，还必须对文字的内容有很好的理解，这也涉及到自然语言理解的问题。语音合成系统一个完整的语音合成过程是先将文字序列转换成音韵序列，再由系统根据音韵序列生成语音波形。系统框图如下：文本分析韵律处理声学处理语音合成系统-文本分析文本分析对输入的文本进行分析，输出尽可能多的语言学信息(如拼音、节奏等)；为后端的语言合成器提供必要的信息；文本分析实际上是属于自然语言处理的范畴。流程如下：字音转换多音字消歧自动分词文本规范化文本预处理词性标注语音合成系统-文本分析文本预处理：删除无效符号、断句等；文本规范化：将文本中的特殊字符识别出来，并转化为一种规范化的表达；字音转换多音字消歧自动分词文本规范化文本预处理词性标注例如：原句：原句：今天@是2022/8/20，天气晴朗，&气温20-30℃。文本预处理，规范化后：今天是2022年8月20日，天气晴朗，气温20至30摄氏度。语音合成系统-文本分析今天是2022年8月20日，天气晴朗，气温20至30摄氏度。自动分词，词性标注后：今天是2022年8月20日，天气晴朗，气温二十至三十摄氏度今天/nt是/v2022年/nt8月/nt20日/nt，/wp天气/n晴朗/a，/wp气温/n二十/m至/p三十/m摄氏度/q字音转换多音字消歧自动分词文本规范化文本预处理词性标注自动分词：将待合成的整句以词为单位划为单元序列，以便后续考虑词性标注、韵律边界标注等；语音合成系统-文本分析字音转换：将待合成的文字序列转换为对应的拼音序列，即告诉后端合成器应该读什么音。由于汉语中存在多音字问题，所以字音转换的一个关键问题就是处理多音字的消歧问题。字音转换：（renyaoshixing,ganyihangxingyihang,yihangxinghanghangxing.

人

要

是

行,干

一

行

行

一

行,一

行

行

行

行

行。字音转换多音字消歧自动分词文本规范化文本预处理词性标注语音合成系统-韵律分析韵律处理是文本分析模块的目的所在。节奏、时长的预测都是基于文本分析的结果。韵律即是实际语言交流中的抑扬顿挫和轻重缓急。对韵律的研究涉及语音学、语言学、声学、心理学、物理学等多个领域；作为语音合成系统中承上启下的模块，也是整个系统的核心部分，极大地影响最终合成的语音的自然度。语音合成系统-声学处理模块声学处理模块根据前面的文本分析模块和韵律处理模块提供的信息来生成自然的语音波形。合成方法：基于时域波形的拼接合成方法：根据韵律处理模块提供的基频、时长、能量和节奏等信息并在大规模语料库中挑选最合适的语音单元，然后通过拼接算法生成自然语音波形；基于语音参数的合成方法：根据韵律和文本信息的指导来得到语音参数，然后通过语音参数合成器来生成自然语音波形。端到端语音合成方法：通过神经网络深度学习的方法，实现直接输入文本，中间为黑盒算法部分，然后输出合成音频，对复杂的语言分析部分得到了极大的简化。语音合成系统-声学处理模块基于拼接的语音合成基本原理：根据文本分析的结果，从预先录制并标注好的语音库中挑选合适基元（语音拼接时的基本单元，可以是音节或者音素等）进行适度调整，最终得到合成语音波形。早期拼接语音合成：基元库小，以及拼接算法本身性能的一些限制，导致这些合成的语音不连续，自然度较低。当代拼接语音合成：基于大数据语料库的基元拼接合成系统，语料库具有较高的上下文覆盖率，因此我们能够挑选出的基元几乎不需要经过任何调整就可以用于拼接合成。语音合成系统-声学处理模块待合成文本：外交部评日本首相国会演说

语料库：外交部发言人今天宣布海关凭进口证明验放日本文化的装饰味很浓乌兹别克斯坦首都塔什干音频文件的格式选项国家宏观调控能力大大提高发展机遇也会眼睁睁地跑掉邓小平同志说外交部凭日本首项国会眼说外交部评日本首相国会演说语音合成系统-声学处理模块基于拼接的语音合成特点：优点：音质好，声音真实感强。缺点：需要的录音量大，覆盖要求高；字间协同过渡生硬，不平滑，不是很自然；很难改变发音的特征，只能合成该基元库说话人的语音。语音合成系统-声学处理模块基于参数的语音合成方法基本原理：基于统计建模和机器学习的方法，根据一定的语音数据进行训练，提取频谱特性进行参数建模，快速构建合成系统。特点：优点：录音量小，可多个音色（不同的发音人、发音风格、语种）共同训练，字间协同过渡平滑，自然等。缺点：音质没有波形拼接的好，机械感强，有杂