智能座舱系统装调与测试 课件 项目四 语音交互系统

任务4.1语音交互系统的调试项目四

语音交互系统《智能座舱系统装调与测试》目录PART01任务导入PART02教学目标PART03背景知识PART04任务实施PART05课程思政PART06课堂总结PART01任务导入任务导入车载语音系统作为新车的标准配置，正从传统的对话模式向更具个性化与情感化的语音交互方向发展。人类的声音具有多样性、复杂性和易变性，即便在人与人之间的交流中，语音指令的传达也比数据处理更容易出现误差，人机交互更是如此。那么，大家是否了解教学车语音交互系统主要包括哪些部件？语音交互系统又是如何进行调试的呢？车载语音交互系统PART02教学目标教学目标1.培训学生的民族自豪感和爱国热情。2.引导学生增强国际视野，培养忧患意识。知识目标素质目标能力目标1.了解语音交互系统的定义和工作原理。2.了解语音交互系统的特点和在智能座舱的应用。1.能规范完成语音交互系统调试的线路连接。2.能规范完成语音交互系统的调试。PART03背景知识一、语音交互系统的定义

语音交互语音交互（VoiceUserInterface，VUI）是人工智能技术的重要组成部分，广泛应用于日常生活的诸多产品与应用中。通俗而言，语音交互技术即通过人类最自然的语言——开口说话——向机器下达指令，以实现特定目标。该技术基于语音输入，构成了一种新一代交互模式，用户仅需通过说话即可获得反馈结果。二、语音交互系统的工作原理与技术1.语音交互系统的工作原理语音识别是将语音信号转换为对应文本信息的过程，系统主要由特征提取、声学模型、语言模型以及字典与解码四大部分构成。

语音交互系统的工作原理二、语音交互系统的工作原理与技术2.语音识别系统的主要技术语音识别技术主要涵盖特征提取技术、模式匹配准则及模型训练技术三个方面。

语音交互系统的主要技术二、语音交互系统的工作原理与技术2.语音识别系统的主要技术语音识别的主要技术流程：首先是声音输入，该声音需要经过若干预处理步骤，如端点检测、降噪、回声消除等，以确保处理后的声音信号能够更准确地反映语音的实际状态；接着进行声音特征提取，由于并非所有语音特征都是语音识别所需关注的，因此仅提取关键特征；提取关键特征后，便进入真正的语音识别（或称为模式匹配）阶段。首步进行的是声学模型匹配，它以先前获得的语音特征为输入，输出一个发声信号，即声学模型能够将这些特征转化为发声信息，如图中声学模型部分所示，其功能类似于将特征转化为拼音音标。获得这样的发声信息后，再进入语言模型，例如查询中文语言模型中与该发声特征最匹配的词或字。最终得到的识别结果为“科大讯飞”。语音交互系统的主要技术二、语音交互系统的工作原理与技术2.语音识别系统的主要技术我们认为每种发声对应的语谱图形状都是独特的，具有其独有的特征，可以根据这些特征匹配出相应的发音，进而匹配出相应的文字。ASR“读谱”二、语音交互系统的工作原理与技术3.语音交互系统的工作流程一次完整的语音交互过程需要经过以下步骤。语音交互系统的工作流程三、语音交互系统的特点1.语音交互系统的优点三、语音交互系统的特点2.语音交互系统的缺点四、语音交互系统在智能座舱中的应用在驾驶过程中，驾驶员能够执行的操作相对有限，例如，拨打电话等操作便显得尤为不便。随着语音交互技术的引入汽车领域，这一技术不仅能够释放驾驶员的双手，为驾驶过程提供便利，还能促使驾驶员将注意力重新集中于路面，从而增强行车安全。车载系统中常见的语音功能包括接听电话、控制车窗开关、操作广播音乐、执行路线导航、调节空调温度、控制部分灯光、管理车窗、车门以及操作雨刮器等。这些语音指令的实现，极大地提升了驾驶员的操作效率和舒适度，同时也减少了因分心操作而可能引发的安全隐患。通过语音交互，驾驶员可以在保持视线和双手在方向盘上的同时，完成对车辆各项功能的控制，实现安全、高效的驾驶体验。车机语音交互技术PART04任务实施一、工具设备介绍1.设备介绍教学车智能座舱测试装调台架2.工具介绍触控笔工作手套安全帽绝缘垫二、实施前检查1.安全与防护（1）规范着装入场（着装整洁、不佩戴首饰，长发需挽起等）。（2）放置安全警示牌，并正确设置安全围挡。（3）检查并正确穿戴工作手套和安全帽。安全与防护要求二、实施前检查2.工具的检查（1）工具外观结构应完整，表面无破损、变形、裂痕、生锈等问题。（2）触控笔的使用功能正常。触控笔二、实施前检查3.线束外观的检查（1）线束外观结构应完整，表面无有破损、变形、裂痕等问题。（2）线束连接针脚无损坏、变形或生锈。联机通讯线二、实施前检查4.台架的检查（1）检查台架的万向轮是否已锁止，确保其处于锁止状态。（2）检查台架上的设施是否齐全。智能座舱测试装调台架二、实施前检查5.车辆的检查（1）仔细绕车一周检查，并检查两个阻车器是否放置在车轮的前后位置。（2）装配座椅、地板、方向盘、变速杆四件套（3）踩住制动踏板，教学车READY上电，仪表“READY”灯应点亮，挡位处于“P”挡。（4）检查手刹指示灯是否点亮，保证手刹处于驻车状态。（5）检查教学车剩余电量是否充足。（6）关闭教学车。车辆的检查三、语音交互系统的线路连接1.接线口的检查

（1）检查教学车连接端的联机通信线接线口是否正常，针脚应无损坏、变形或锈蚀。检查端口（与教学车连接）三、语音交互系统的线路连接1.接线口的检查

（2）检查台架连接端的联机通信线接线口是否正常，针脚应无损坏、变形或锈蚀。检查端口（与台架连接端）三、语音交互系统的线路连接2.联机通讯线的连接正确连接台架和教学车的联机通信线。联机通信线的连接四、语音交互系统的调试1.启动教学车教学车READY上电，仪表“READY”灯应点亮，挡位处于“P”挡。启动车辆四、语音交互系统的调试2.启动台架和电脑连接台架电源线，并启动台架和电脑。启动台架和电脑四、语音交互系统的调试3.语音交互系统的调试（1）在台架电脑桌面打开“智能座舱系统测试软件”，单击选择“音频”进入语音交互系统的调试界面。启动台架四、语音交互系统的调试2.语音交互系统的调试（2）在扬声器调试界面，单击“测试”，教学车座舱和台架上将会播放一段音乐，“音量”显示条上出现音量波纹。音乐播放结束后，测试自动结束。扬声器调试四、语音交互系统的调试2.语音交互系统的调试（3）在麦克风调试界面，单击“测试”，坐在教学车座舱内讲一段语音，“音量”显示条上出现音量波纹。测试结束后，需单击“停止测试”按钮用于结束测试。麦克风调试五、系统复原和整理清洁1.关闭台架（1）关闭智能座舱测试软件。（2）关闭智能座舱测试装调台架的电脑。（3）关闭智能座舱测试装调台架电源开关，并拔出其电源线。关闭台架电源拔出台架电源线五、系统复原和整理清洁2.关闭教学车教学车下电，并拔出教学车钥匙放置工作台。关闭教学车五、系统复原和整理清洁3.拆卸联机通讯线正确拆卸连接教学车和台架的联机通信线。拆卸联机通讯线五、系统复原和整理清洁4.现场6S（1）整理清洁线束。（2）整理清洁工作台。（3）收回并整理座椅、地板、方向盘、变速杆四件套。（4）整理清洁教学车和台架。现场6S五、系统复原和整理清洁5.回收安全与防护设备（1）卸下并整理安全帽及工作手套。（2）回收安全警示牌和围挡。（3）离开实训场地。回收安全警示牌PART05课程思政课堂思政科技自信，中国智造的力量2025年6月，广汽丰田宣布华为电机和车机同时上车，并搭载小米一系列生态配件，这一举措标志着中国智能汽车技术在全球汽车产业中的重要地位。丰田，作为全球第一大车厂，选择与中国科技巨头华为和小米合作，不仅体现了中国智能汽车技术的先进性，也彰显了中国品牌在全球市场的竞争力。智能辅助驾驶技术方面，丰田虽未选择华为供应，而是继续搭载Momenta方案，但也暗示了未来会有新的合作伙伴加入，这为中国智能汽车技术的发展提供了更广阔的舞台。广汽丰田接入小米生态课堂思政科技自信，中国智造的力量在全球汽车产业的大背景下，中国技术正逐渐成为引领者，这种进步离不开每一位中国人的努力和智慧。我们应该能够感受到作为中国人的骄傲，同时也激励我们在未来的学习和工作中，为国家的科技进步贡献自己的力量，让世界看到中国创新的力量。广汽丰田在国内的合作版图PART06课堂总结课堂总结谢谢观看主讲教师：XXX《智能座舱系统装调与测试》任务4.2语音交互系统的开发与测试项目四

语音交互系统主讲教师：XXX《智能座舱系统装调与测试》目录PART01任务导入PART02教学目标PART03背景知识PART04任务实施PART05课程思政PART06课堂总结PART01任务导入任务导入

近年来，随着车联网系统的快速发展，汽车中的人机交互受到了汽车制造商的日益重视。语音交互作为最便捷的交互方式，在人机交互中扮演着至关重要的角色。那么，大家是否了解语音交互系统的开发过程呢？在语音交互系统开发完成后，又是如何对其进行测试的呢？语音交互系统PART02教学目标教学目标1.培养学生敢于突破、勇于创新的科学态度。2.引导学生弘扬劳动精神，在艰苦奋斗中锤炼意志品质。知识目标素质目标能力目标1.叙述语音识别的实现方法。2.分析基于云端API实现语音识别。1.能根据计划规范完成语音交互系统的编程。2.能规范完成语音交互系统的测试。PART03背景知识一、语音识别的实现方法本地语音识别和云端语音识别语音识别技术是人工智能领域中的关键技术之一，它涉及将人类的语音信号转换为机器可理解的文本或命令。语音识别系统的实现方法主要分为两大类：本地语音识别和云端语音识别。一、语音识别的实现方法1.本地语音识别本地语音识别是指在用户的设备上直接进行语音信号处理和识别的技术。处理过程在本地完成，用户的语音数据不需要上传到服务器，从而更好地保护用户隐私；低延迟，由于不需要网络传输，本地处理可以提供更快的响应时间；即使在没有网络连接的情况下也能工作。优点资源限制，受限于设备的处理能力和存储空间，本地系统可能无法支持大规模的词汇识别；更新困难，随着语言使用的发展，新词汇和表达方式不断出现，本地系统难以及时更新以适应这些变化。局限性一、语音识别的实现方法2.云端语音识别云端语音识别是利用远程服务器（云端）进行语音数据处理和识别的技术。强大的处理能力，云端服务器通常拥有更强大的计算能力和存储空间，可以处理更复杂的语音识别任务；丰富的词条库，云端系统可以访问庞大的词条库，实现更广泛的语义拓展功能，使机器能够理解更多样的语言表达；持续更新，云端系统可以定期更新，以包含最新的语言用法和词汇。优点可能会引发隐私方面的担忧；需要稳定的网络连接才能正常工作，离线状态下无法使用；数据的传输和处理可能会引入额外的延迟。缺点二、基于云端API实现语音识别1.云端API的使用云端API能够对时长不超过60秒的短音频文件进行快速识别。目前，API仅支持整段语音识别模式，需要上传完整的语音文件进行识别。支持16kHz采样率的单声道音频，16bit的数据采样精度，并支持wav音频格式。此外，它支持中文普通话、英语和粤语等多种语言。常见API接口二、基于云端API实现语音识别2.PyAudio库简介PyAudio库是一个可用于录音、播放以及生成wav文件等功能的音频处理库。它是PortAudio的Python语言版本，而PortAudio是一个跨平台的音频输入/输出库。通过PyAudio，可以在Python程序中实现音频的播放与录制。PyAudio为PortAudio提供了Python绑定，具备跨平台特性，支持在GNU/Linux、微软Windows和苹果MacOSX/MacOS等平台上使用Python进行音频播放与录制。PyAudio库二、基于云端API实现语音识别3.基于云端API实现语音的识别流程（1）编写语音识别相关函数（2）声音参数配置完成四个函数的编写，分别用于声音参数配置和调用云端API，以实现语音识别功能。AU声音处理参数二、基于云端API实现语音识别3.基于云端API实现语音识别的流程（3）声音参数配置的代码编写根据云端API的要求，原始PCM录音参数需满足16kHz采样率、16bit位深、单声道，支持格式为wav（不压缩，PCM编码）。因此，需设置符合语音识别要求的声音参数，包括数据流块大小、数据类型、声道数、采样率和录音时间。音频的基础知识二、基于云端API实现语音识别3.基于云端API实现语音识别的流程（4）调用云端API实现语音识别调用云端API实现语音识别时，需了解其调用方式。API作为接口，只需将音频数据输入接口，即可获得语音识别结果。这种方式无需从零开始实现语音识别，显著减少了工作量，但缺点是无法在离线状态下使用，因为需要连接服务器上传音频，仅能在联网状态下使用。调用云端APIPART04任务实施一、工具设备介绍1.设备介绍教学车智能座舱测试装调台架2.工具介绍触控笔工作手套安全帽绝缘垫联机通讯线二、实施前检查1.安全与防护（1）规范着装入场（着装整洁、不佩戴首饰，长发需挽起等）。（2）放置安全警示牌，并正确设置安全围挡。（3）检查并正确穿戴工作手套和安全帽。安全与防护要求二、实施前检查2.工具的检查（1）工具外观结构应完整，表面无破损、变形、裂痕、生锈等问题。（2）触控笔的使用功能正常。触控笔二、实施前检查3.线束外观的检查（1）线束外观结构应完整，表面无有破损、变形、裂痕等问题。（2）线束连接针脚无损坏、变形或生锈。联机通讯线二、实施前检查4.台架的检查（1）检查台架的万向轮是否已锁止，确保其处于锁止状态。（2）检查台架上的设施是否齐全。智能座舱测试装调台架二、实施前检查5.教学车的检查（1）仔细绕车一周检查，并检查两个阻车器是否放置在车轮的前后位置。（2）装配座椅、地板、方向盘、变速杆四件套（3）踩住制动踏板，教学车READY上电，仪表“READY”灯应点亮，挡位处于“P”挡。（4）检查手刹指示灯是否点亮，保证手刹处于驻车状态。（5）检查教学车剩余电量是否充足。（6）关闭教学车。车辆的检查三、语音交互系统的线路连接1.接线口的检查

（1）检查教学车连接端的联机通信线接线口是否正常，针脚应无损坏、变形或锈蚀。检查端口（与教学车相连）三、语音交互系统的线路连接1.接线口的检查（2）检查台架连接端的联机通信线接线口是否正常，针脚应无损坏、变形或锈蚀。检查端口（与台架连接端）三、语音交互系统的线路连接2.联机通信线的连接正确连接台架和教学车的联机通信线。联机通信线的连接四、语音交互系统的编程1.启动教学车教学车READY上电，仪表“READY”灯应点亮，挡位处于“P”挡。启动教学车四、语音交互系统的编程2.启动台架和电脑连接台架电源线，并启动台架和电脑。启动台架和电脑四、语音交互系统的编程3.打开编程文件在台架电脑桌面“E300/task3”文件夹中，鼠标右键单击“audio_rec.py”编程文件，选择“VisualStudioCode”软件打开编程文件。打开编程文件四、语音交互系统的编程4.语音交互系统的代码编写在编程文件中按要求编写代码，调用语音识别云平台接口并识别音频文件，实现雨刮器、车窗、仿真空调、仿真香薰的语音控制。（1）访问语音识别接口。（2）调用函数录制音频文件。（3）以二进制可读的形式打开语音文件。（4）向语音识别接口发送语音文件。（5）将识别结果转换成“json”格式。语音交互系统的代码编写四、语音交互系统的编程5.保存代码编程结束后，保存并关闭文件。（也可使用快捷键“CTRL+S”保存文件）打开编程文件五、语音交互系统的固件烧入1.打开智能座舱系统测试软件在台架电脑桌面上打开“智能座舱系统测试软件”，单击右上角的设置图标，选择“SSH”进入固件烧入界面。单击设置图标五、语音交互系统的固件烧入2.设置并连接网络在弹出的固件烧入界面，IP输入“192.168.1.102”，Name输入“e300”，Passward输入小写英文字母“root”，再单击“连接”按钮，连接台架和教学车。设置并连接网络五、语音交互系统的固件烧入3.发送文件单击“选择文件”，选择语音交互系统的代码文件“audio_rec.py”（文件的路径为：桌面/E300/task3），再单击“发送任务三文件”，当窗口显示“传送成功”，说明文件发送成功。发送文件六、语音交互系统的测试1.唤醒语音交互功能在教学车中控屏左下角单击麦克风图标，唤醒语音交互功能(5秒左右后需要重新唤醒)。弹出录音窗口，表示成功唤醒语音交互功能。识别的语音将转换成文字显示在录音窗口。唤醒语音交互功能六、语音交互系统的测试2.语音控制功能测试（1）语音控制雨刮器用语音控制雨刮器，并观察雨刮器是否能正常开启和关闭。相应的语音控制指令为“打开雨刮”“关闭雨刮”。（注意：语音控制打开雨刮器后，需复原雨刮器）语音控制雨刮六、语音交互系统的测试2.语音测试功能测试（2）语音控制车窗用语音控制车窗，并观察车窗是否能正常打开和关闭。相应的语音控制指令为“打开车窗”“关闭车窗”。（注意：语音控制打开车窗后，需复原车窗）语音控制车窗六、语音交互系统的测试2.语音测试功能测试（3）语音控制仿真空调用语音控制仿真空调，并观察仿真空调是否能正常开启和关闭。相应的语音控制指令为“打开空调”“关闭空调”。（注意：语音控制打开空调后，需复原空调）语音控制仿真空调六、语音交互系统的测试2.语音测试功能测试（4）语音控制仿真香熏用语音控制仿真香熏，并观察仿真香熏是否能正常开启和关闭。相应的语音控制指令是“打开香薰”“关闭香薰”。（注意：语音控制打开香熏后，需复原香熏）语音控制仿真香薰七、系统复原和整理清洁1.关闭台架（1）关闭智能座舱测试软件。（2）关闭智能座舱测试装调台架的电脑。（3）关闭智能座舱测试装调台架电源开关，并拔出其电源线。关闭台架七、系统复原和整理清洁2.关闭教