人工智能应用与实践项目式教程 课件 ch03 让机器“听懂”声音-语音识别与合成

让机器“听懂”声音——语音识别与合成“高职高专系列丛书人工智能应用与实践项目式教程项目301语音信号处理任务知识01应用背景语音是人与机器最自然的交互方式之一，但原始的语音信号包含大量噪声、频率失衡和连续波动，直接用于AI模型的效果很差。因此，在语音识别、语音合成、声纹识别等应用中，必须先对语音信号进行标准化处理。语音信号的质量直接影响后续模型的性能和稳定性，语音信号处理技术是工业界和学术界长期研究的基础课题。02AI+行业结合传统的语音信号处理方式依赖人工调整参数，耗时且不统一。AI通过自动化预处理流程，能够快速、一致地处理海量的语音数据。例如，智能音箱在接收到“播放音乐”指令后，几毫秒内就完成了降噪、分帧、特征提取等步骤，随即启动播放。这种高效的处理能力正是建立在标准化预处理流程之上的。任务知识03技术原理（1）语音信号的采样与量化。声音本质上是连续的模拟信号，而计算机只能处理离散的数字信号。因此，需要对语音信号进行采样（按固定时间间隔记录声音强度）和量化（将每个采样值转换为有限精度的数字）。（2）预加重。语音中高频成分（如辅音“s”“t”）的能量通常低于低频成分，容易被噪声掩盖。预加重通过一个简单的高通滤波器（如y(n)=x(n)−0.98x(n−1)）增强高频成分，使频谱更平坦，以提升后续特征提取的稳定性与准确性。（3）分帧。语音信号整体是非平稳的（统计特性随时间变化），但研究表明，在20～30毫秒的短时段内，语音信号可近似视为平稳信号。因此，需要将整段语音切分为多个短时帧（如每帧25ms），并允许相邻帧之间重叠（如帧移10ms），以保证语音的时序连续性，便于逐帧分析。（4）加窗。直接截取语音片段会导致语音信号在帧边界处突变，引发频谱泄露（能量扩散到邻近频率）。因此，在每帧两端施加窗函数（如汉明窗），使语音信号在帧边界平滑衰减至零，能有效抑制频谱泄露，提高频域分析的精度。（5）MFCC特征提取。MFCC（Mel-FrequencyCepstralCoefficients，梅尔频率倒谱系数）模拟人耳对频率的非线性感知特性，将每帧语音信号转换为一组紧凑的数值特征。这些系数能有效表征语音信号的音色、发音方式等关键声学属性，是语音识别等任务中最常用的输入特征。本任务将通过对比原始信号与MFCC特征，直观展示语音信号处理对信息提炼的作用。任务实施01实验平台和数据准备本任务基于“海豚人工智能与大数据实验室”平台开展，使用平台内置的语音文件“audio1.wav”。该文件为一段简短录音，在计算机中以一维数字序列形式存储，反映声音随时间变化的波形。通过该文件，可以初步认识语音信号的数字化表示方式。02数据预处理语音信号的采样与量化发生在音频录制阶段，决定了“.wav”文件的基本参数，如采样率和位深度。本任务使用的“audio1.wav”文件已经在录制时完成了数字化过程，实验平台直接读取其已存储的数字样本，用于后续预处理。在正式处理前，需要确保音频文件为标准wav格式，采样率适中（如16kHz或44.1kHz），声道数可以为单声道或立体声。本任务中，实验工具将自动解析音频参数，无须手动进行格式转换。任务实施03操作步骤3.1读取音频文件01020304打开“语音信号预处理”界面，在界面左侧的“组件”选区选择“读取你的数据”选项，在打开的下拉列表中用鼠标左键选中“读取音频文件”组件，并将其拖曳到画布中。右键单击“读取音频文件”组件，在打开的菜单中选择“运行”命令，完成文件读取操作。单击界面下方的“展开”按钮即可查看该音频文件的数据输出。预期结果：成功读取音频文件，共154000行，每行代表一个时间点上声音信号的振幅值。第一列是样本序号（从0开始），第二列是对应的音频采样值，表示该时刻声音波形的强度，单位为归一化幅度（范围通常为−1～1）。单击“读取音频文件”组件，在打开的“读取音频文件”选区进行参数设置。“组件名称”保持默认，将“请选择音频文件”设置为“audio1”。任务实施03操作步骤3.2预加重处理（1）在“组件”选区“智能语音处理”选项下用鼠标左键选中“音频预加重”组件并拖曳到画布中，然后连接“读取音频文件”组件和“音频预加重”组件。单击“音频预加重”组件，在打开的“音频预加重”选区中进行参数设置，设置“选择处理的列”为“Result”，设置“预加重系数”为“0.98”。（2）右键单击“音频预加重”组件执行运行操作，运行完成后单击界面下方的”展开”按钮，打开“结果”选项卡，可以看到预加重后的语音信号波形图，如图3.1.2所示。（3）预期结果：预加重处理提升了语音信号中高频成分的强度，使频谱更均衡，便于后续的特征提取。任务实施03操作步骤3.3信号分帧（1）在“组件”选区“智能语音处理”选项下选中“信号分帧”组件并拖曳到画布中，然后连接“读取音频文件”组件和“信号分帧”组件，以及“音频预加重”组件和“信号分帧”组件。单击“信号分帧”组件，在打开的“信号分帧”选区中进行参数设置，设置“处理的列”为“emphasized_result”，设置“基本信息列”为“framerate”，设置“每一帧的长度”为“2048”，设置“帧移”为“256”，设置“window窗函数”为“1”。（2）右键单击“信号分帧”组件，执行运行操作。单击界面下方的“展开”按钮，打开“结果”选项卡，可以看到语音信号分帧后的语音波形图，如图3.1.3所示。（3）预期结果：得到某帧语音信号的波形，其振幅随时间变化较小，体现了短时平稳特性。任务实施03操作步骤3.4信号加窗（1）在“组件”选区“智能语音处理”选项下选中“信号加窗”组件并拖曳到画布中，然后连接“读取音频文件”组件和“信号加窗”组件以及“信号分帧”组件和“信号加窗”组件。单击“信号加窗”组件，在打开的“信号加窗”选区中进行参数设置，设置“基本信息列”为“framerate”，设置“窗口长度”为“2048”。（2）右键单击“信号加窗”组件，执行运行操作。运行完成后单击界面下方的“展开”按钮，打开“结果”选项卡查看语音信号加窗后的语音波形图，如图3.1.4所示。（3）预期结果：得到施加窗函数后的语音信号，其振幅在时间轴两端逐渐衰减至零，中间部分保持原信号强度，有效缓解了信号在帧边界处的突变。本任务采用的窗函数为汉明窗，具有良好的旁瓣抑制能力，能有效降低频谱干扰，提高特征提取的质量。任务实施03操作步骤3.5MFCC特征提取与效果观察（1）在“组件”选区“智能语音处理”选项下选中“mfcc特征提取”组件并拖曳到画布中，然后连接“读取音频文件”组件和“mfcc特征提取”组件，以及“信号加窗”组件和“mfcc特征提取”组件。单击“mfcc特征提取”组件，在打开的“mfcc特征提取”选区中进行参数设置，设置“音频数据列”为“Result”，设置“帧率列”为“framerate”，如图3.1.5所示。（2）右键单击“mfcc特征提取”组件，执行运行操作，对加窗后的语音帧进行MFCC特征提取。单击界面下方的“展开”按钮，打开“结果”选项卡即可查看MFCC特征提取结果，如图3.1.6所示。（3）再添加一个“mfcc特征提取”组件并拖曳到画布中，然后连接“读取音频文件”组件和“mfcc特征提取”组件（直接接收未经处理的源信号），如图3.1.7所示。单击“mfcc特征提取”组件，在打开的“mfcc特征提取”选区中进行参数设置，设置“音频数据列”为“Result”，设置“帧率列”为“framerate”。任务实施03操作步骤3.5MFCC特征提取与效果观察任务实施03操作步骤3.5MFCC特征提取与效果观察（4）右键单击与源信号连接的“mfcc特征提取”组件，执行运行操作，即可对原始未经过预处理的语音信号进行MFCC特征提取，结果如图3.1.8所示。从图中可以看出，整体颜色较暗，表示能量分布不均匀；高频部分几乎无明显变化，说明高频成分能量弱，难以被有效捕捉。（5）预期结果：预处理后语音信号的MFCC特征图展示了经过预加重、分帧和加窗处理后的语音信号特征，颜色更加丰富，尤其是高频区域出现了明显的绿色和黄色斑块，说明高频成分得到了增强；各帧之间的过渡平滑，没有剧烈跳变，说明加窗有效抑制了频谱泄露；整体呈现出规律性的波纹状结构，对应于语音中的音素变化，如元音、辅音的周期性振动；特征图更“干净”，背景噪声减少，语音主干信息突出。任务实施03操作步骤3.5MFCC特征提取与效果观察02语音信号处理任务知识01应用背景早期语音系统生成的声音生硬、语调平直，被称为“机器人音”，用户体验差。随着深度学习技术的发展，现代TTS（Text-to-Speech，文本转语音）技术已经能够生成高度拟人化、富有情感的语音。如今，这项技术广泛应用于智能设备、有声读物、无障碍服务、在线教育等领域。但如何让AI语音更自然、更富有表现力，仍是技术持续优化的方向。02AI+行业结合过去，制作一段语音需要请专业的配音员进行录制，成本高、周期长。如今，只需要输入文字，AI几秒钟就能够生成自然流畅的语音，并且支持多种音色和情感风格。相比传统模式，AI生成语音不仅效率更高，还能够实现个性化定制，如为儿童故事选择“童声”、为新闻播报选择“严肃男声”等，极大提升了内容生产的灵活性。任务知识03技术原理可以把文本生成语音想象成一个“朗读机器人”，它先理解你输入的文字（输入），再根据预设的声音模板（如男声、女声、开心、悲伤）决定语调、语速和重音（学习），最后用合成的声音把文字读出来（输出）。就像演员根据剧本和角色设定来表演，AI也可以根据文本和音色设定来“朗读”。Hi!HowCan

IHelpYou?任务实施01实验平台和数据准备02数据预处理本任务使用三种语音合成系统进行文本生成语音的对比实验，平台分别选用讯飞配音、悦音配音及Windows操作系统自带的“讲述人”功能。输入文本采用统一的中文语句“你好，我是来自未来的AI助手，很高兴认识你。科技正在改变我们的生活，让我们一起探索智能世界的奥秘。”该文本语言简洁、情感积极，适用于评估不同系统在发音自然度、语调表现度和语音清晰度等方面的差异。输入为纯文本，无须进行格式转换或清洗。重点在于确保所有测试均使用相同文本，以保证实验结果的可比性。任务实施03操作步骤3.1体验多音色语音（讯飞配音）3.3对比传统机械音（“讲述人”功能）3.2体验多情绪语音（悦音配音）3.4对比分析与记录03实时语音翻译任务知识01应用背景在全球化背景下，跨语言交流需求激增，但专业翻译人才稀缺且成本高昂。传统的人工翻译依赖人力，效率低、响应慢，难以满足快节奏的沟通需求。实时语音翻译技术的出现，为教育、商务、旅游等领域提供了高效、低成本的解决方案。然而，翻译质量受语速、口音、专业术语等因素影响，误译、漏译问题仍存在，如何提升实时语音翻译的准确性和自然度是当前行业面临的核心挑战。02AI+行业结合过去，国际会议需要配备多名同声传译员，成本高且资源紧张。如今，AI实时语音翻译工具可以同时支持多语种的实时转换，一个人就能完成全场的翻译辅助任务。相比传统方式，AI实时语音翻译不仅成本更低，还支持多人对话、自动生成文字记录，极大提升了沟通效率和可及性。任务知识03技术原理可以把实时语音翻译想象成一个“三步走”的智能助手：第一步，像“耳朵”一样听懂你说的话（语音识别）；第二步，像“大脑”一样把英文翻译成中文（机器翻译）；第三步，像“嘴巴”一样把翻译结果读出来（语音合成）。整个过程在几秒钟内完成，就像一个会自动听、想、说的翻译机器人。这个“三步走”的流水线是当前使用的主流