《智能座舱系统开发应用与测试》-学习任务2 语音交互系统开发与测试（学生手册）

任务二语音交互系统的开发-学生手册项目四语音交互系统任务引入近年来随着车联网系统迅速发展，汽车人机交互越来越受到车企的重视，其中语音作为最便捷的交互入口，在人机交互中发挥至关重要的价值。那么大家知道是如何进行语音交互系统的开发吗？语音交互系统开发完成之后是如何进行测试的？教学目标2.1能力目标2.1.1能通过课程认识语音交互系统的开发流程；2.1.2能掌握语音交互系统开发工具设备的准备；2.1.3能掌握语音交互系统开发作业前的检查；2.1.4能独立完成语音交互系统开发的线路连接；2.1.5能独立完成语音交互系统的开发及测试；2.1.6能独立完成整理清洁工作。2.2知识目标2.2.1通过课程讲解了解语音交互系统的开发流程；2.2.2通过课程讲解知道语音交互系统开发所需的工具设备；2.2.3通过课程讲解了解语音交互系统开发的检查过程；2.2.4通过课程讲解，掌握语音交互系统开发的线路连接；2.2.5通过课程讲解，掌握语音交互系统开发的编程步骤及方法；2.2.6通过课程讲解，掌握语音交互系统开发的固件烧入步骤及方法；2.2.7通过课程讲解，掌握语音交互系统开发的测试步骤及方法；2.2.8通过课程讲解，掌握语音交互系统开发的注意事项；2.2.9通过课程讲解了解语音交互系统开发的整理清洁工作。2.3素养目标2.3.1专心听课认真记录笔记；2.3.2积极参与讨论；2.3.3个人积极回答问题；2.3.4认真填写工作页；2.3.5养成良好的课后复习习惯；2.3.6课后翻阅相关资料加深对课程的了解。任务背景知识3.1语音交互系统的开发流程3.1.1语音交互系统开发流程语音交互系统的开发流程3.2工具设备的介绍设备包括智能网联教学车、智能座舱测试装调台架、联机通讯线；触控笔、安全帽、绝缘垫和工作手套等。在本任务中，教学车是语音交互系统的载体；测试装调台架的作用是用于语音交互系统的编程；联机通讯线连接车辆和测试装调台架，用于两者之间的数据通讯。设备介绍工具及防护介绍3.3作业前的检查3.3.1安全与防护1.规范着装入场（着装整洁、不戴首饰、挽起长发等）。2.放置安全警示牌，正确设置安全围挡。3.检查并穿戴工作手套和安全帽。安全与防护要求3.3.2工具的检查1.规范着装入场（着装整洁、不戴首饰、挽起长发等）。2.放置安全警示牌，正确设置安全围挡。3.检查并穿戴工作手套和安全帽。触控笔的检查3.3.3线束外观的检查线束包括智能座舱测试装调台架电源线、联机通讯线。1.外观结构完整，表面不应有破损、变形、裂痕等问题。2.连接针脚无损坏、变形或生锈。联机通讯线3.3.4台架的检查1.检查台架万向轮是否已锁止，确保万向轮处于锁止状态。2.检查台架上的设备是否齐全。台架的检查3.3.5车辆的检查1.绕车一周，检查两个阻车器是否放置在后轮的前后位置。2.安装座椅、地板、方向盘、换档杆四件套3.踩住制动踏板，车辆READY上电，仪表“READY”灯点亮，且档位处于“P”档。4.检查手刹指示灯是否已点亮，确保手刹处于制动状态。5.检查车辆电量是否充足，确保电量充足。6.关闭车辆。车辆的检查3.4语音交互系统的线路连接3.4.1接线口的检查1.检查联机通讯线（与教学车连接端）接线口是否正常（针脚无损坏、变形或锈蚀）。检查端口（与教学车相连）2.检查联机通讯线（与智能座舱测试装调台架连接端）接线口是否正常（针脚无损坏、变形或锈蚀）。检查端口（与智能座舱测试装调台架连接端）3.4.2联机通讯线的连接正确连接教学车与台架的联机通讯线。联机通讯线的连接3.5语音交互系统的编程3.5.1启动车辆车辆READY上电，仪表“READY”灯点亮，且档位处于“P”档。启动车辆3.5.2启动台架和电脑启动台架和电脑。启动台架和电脑3.5.3打开编程文件在台架电脑“桌面/E300/task3”文件夹，右键单击“audio_rec.py”文件，用“VisualStudioCode”软件打开。打开编程文件3.5.4语音交互系统的代码编写编写代码，调用语音识别云平台接口并识别音频文件，实现雨刮、车窗、仿真香薰、仿真空调的语音控制。1.访问语音识别接口。2.调用函数录制音频文件。3.以二进制可读的形式打开语音文件。4.向语音识别接口发送语音文件。5.将识别结果转换成“json”格式。语音交互系统的代码编写3.5.5保存代码编程完成后，保存并关闭文件。（可使用快捷键“CTRL+S”）保存代码文件3.6语音交互系统的固件烧入3.6.1打开智能座舱系统测试软件在“智能座舱系统测试软件”上，单击设置图标，单击“SSH”进入程序迁移界面。单击设置图标3.6.2设置并连接网络IP输入“192.168.1.102”，Name输入“e300”，Passward输入小写“root”，单击“连接”按钮连接台架和车辆。设置并连接网络3.6.3发送文件单击“选择文件”，选择语音交互系统的代码文件“audio_rec.py”（文件的路径是：桌面/E300/task3），再单击“发送任务三文件”，发送成功后，在窗口显示“传送成功”。发送文件3.7语音交互系统的测试3.7.1唤醒语音交互功能在车辆中控屏上单击麦克风图标，唤醒语音交互功能。(过一段时间后需要重新唤醒)。弹出录音窗口，即成功唤醒语音交互功能。语音会转化成文字显示在录音窗口。唤醒语音交互功能3.7.2语音控制功能测试1.语音控制雨刮相应的语音控制指令：“打开雨刮”、“关闭雨刮”。语音控制打开设备后，需复原设备。2.语音控制车窗相应的语音控制指令：“打开车窗”、“关闭车窗”。语音控制打开设备后，需复原设备。3.语音控制仿真空调相应的语音控制指令：“打开空调”、“关闭空调”。语音控制打开设备后，需复原设备。4.语音控制仿真香熏相应的语音控制指令：“打开香薰”、“关闭香薰”。语音控制打开设备后，需复原设备。3.8整理清洁3.8.1关闭台架1.关闭测试软件。2.关闭智能座舱测试装调台架上的电脑。3.关闭智能座舱测试装调台架电源开关并拔出电源线。关闭台架3.8.2关闭车辆关闭车辆，拔出车辆钥匙并放置工作台。关闭车辆3.8.3拆卸联机通讯线拆卸连接车辆和台架的联机通讯线。拆卸联机通讯线3.8.4现场6S。1.清洁整理触控笔。2.清洁整理线束。3.清洁工具。4.清洁整理工作台。5.回收座椅、地板、方向盘、换档杆四件套。6.清洁整理车辆和台架。现场6S3.8.5回收安全与防护设备1.卸下并整理安全帽和工作手套。2.回收安全警示牌。3.离场并恢复围挡。回收安全警示牌

任务引入车载语音作为新车的标配，正在从固有对话模式向更加富有个性化和情感化的语音交互方向转变。人类的声音多样复杂并且多变，就算是人与人之间，语音指令的传达也总是比数据处理更容易出现问题，更不用说人机之间了。那么大家知道教学车语音交互系统主要包括哪些部件吗？语音交互系统是如何进行调试的？教学目标2.1能力目标2.1.1能通过课程掌握语音交互系统的理论知识；2.1.2能通过课程认识语音交互系统的基本结构组成；2.1.3能掌握语音交互系统调试工具设备的准备；2.1.4能掌握语音交互系统调试作业前的检查；2.1.5能独立完成语音交互系统调试的线路连接；2.1.6能独立完成语音交互系统的调试；2.1.7能独立完成整理清洁工作。2.2知识目标2.2.1通过课程讲解了解语音交互系统的定义；2.2.2通过课程讲解了解语音交互系统的工作原理与技术；2.2.3通过课程讲解了解语音交互系统的工作流程；2.2.4通过课程讲解了解语音交互系统的特点；2.2.5通过课程讲解了解语音交互系统在智能座舱的应用；2.2.6通过课程讲解知道语音交互系统调试所需的工具设备；2.2.7通过课程讲解了解语音交互系统调试的检查过程；2.2.8通过课程讲解，掌握语音交互系统调试的线路连接；2.2.9通过课程讲解，掌握语音交互系统的调试步骤及方法；2.2.10通过课程讲解，掌握语音交互系统的调试注意事项；2.2.11通过课程讲解了解语音交互系统调试的整理清洁工作。2.3素养目标2.3.1专心听课认真记录笔记；2.3.2积极参与讨论；2.3.3个人积极回答问题；2.3.4认真填写工作页；2.3.5养成良好的课后复习习惯；2.3.6课后翻阅相关资料加深对课程的了解。任务背景知识3.1语音交互系统的组成部分及调试流程3.1.1语音交互系统的组成部分教学车语音交互系统主要包括麦克风、工控机和扬声器等。语音交互系统组成部分1.麦克风：将声音信号转换为电信号，并将收集到的电信号传递到工控机。2.工控机：将收集到的电信号进行计算，并将计算得到的电信号传递给扬声器。3.扬声器：将来自工控机的电信号转化为声信号，并对外输出。3.1.2语音交互系统的调试流程语音交互系统的调试流程3.2语音交互（VUI）的概念语音交互VUI全称为VoiceUserInterface，语音交互技术其实离我们很近，我们日常使用的很多产品和应用，都离不开语音交互技术。语音交互技术是人工智能技术的重要组成部分，通俗的说，就是用人类最自然的语言（开口说话）给机器下达指令，达成自己的目的的过程。语音交互技术是基于语音输入的新一代交互模式，通过说话就可以得到反馈结果（百度百科）。3.3语音交互系统的工作原理与技术3.3.1语音交互系统的工作原理语音识别，就是将一段语音信号转换成相对应的文本信息，系统主要包含特征提取、声学模型，语言模型以及字典与解码四大部分。语音交互系统的工作原理1.为了更有效地提取特征往往还需要对所采集到的声音信号进行滤波、分帧等预处理工作，把要分析的信号从原始信号中提取出来；2.特征提取工作将声音信号从时域转换到频域，为声学模型提供合适的特征向量；3.声学模型中再根据声学特性计算每一个特征向量在声学特征上的得分；4.语言模型则根据语言学相关的理论，计算该声音信号对应可能词组序列的概率；5.最后根据已有的字典，对词组序列进行解码，得到最后可能的文本表示。3.3.2语音交互系统的主要技术语音识别技术主要包括：特征提取技术、模式匹配准则及模型训练技术三个方面（如图所示）。语音交互系统的主要技术在图中，展示的就是语音识别的主要技术流程，首先是声音的输入，这个声音需要经过一些预处理，比如端点检测、降噪、回声消除等，让处理过后的声音信号能够更加真实地反映语音的状态；然后进行声音的特征提取，因为在整个语音中有很多的特征是语音识别并不关注的，所以我们只会把关注的语音特征提取出来，提取到关键特征后，就会进入真正的语音识别（或者称为模式匹配的）过程。首先进行的是声学模型的匹配，它输入的是前面得到的语音特征，输出的是一个发声的信号，即声学模型能够把这些特征转化为发声信息，如图中声学模型部分所示，可以看到它有点类似于拼音的音标。拿到这样的发声信息后，再到语言模型，比如到中文的语言模型中去查有哪个词或者字是最匹配这样的发声特征的。最后得到的识别结果就是“科大讯飞”。语音交互系统的主要技术上一张图中，我们讲到的特征提取其实可以把它简单地理解为这张图片中的语谱图（如图所示）。我们认为每一种发声对应的语谱图形状都是不一样的，是有自己独特的特征的，可以根据特征匹配出它的发音，然后再匹配出对应的文字。ASR“读谱”3.4语音交互系统的工作流程语音交互解析过程，是在人感知下的一个决策后，发出语音指令，经过系统解析，执行指令并反馈的过程。如图所示。语音交互系统的工作流程语音交互系统的工作流程语音交互系统的工作流程3.5语音交互系统的特点3.5.1语音交互系统的优点3.5.2语音交互系统的缺点结论：语音交互技术和视觉交互技术是在不同维度上的互补，在不同的场景选择最合适的交互技术，通过适当的协作机制为用户提供更好的用户体验。3.6语音交互技术在智能座舱中的应用开车过程，我们能做的事非常有限，就连打电话都很不方便。当语音交互技术进入汽车领域，不仅可以解放司机双手，方便驾驶，还能让司机将注意力转回路面，提高安全性。车载常用语音功能有接听电话、开关车窗、广播音乐、路线导航、空调、部分灯光、车窗、车门、雨刮等语音指令等。任务实施4.1工具设备介绍设备包括智能网联教学车、智能座舱测试装调台架、联机通讯线（如图所示）；工具包括触控笔、安全帽、绝缘垫和工作手套等（如图所示）。在本任务中，教学车是语音交互系统的载体；测试装调台架的作用是用来调试语音交互系统；联机通讯线连接车辆和测试装调台架，用于两者之间的数据通讯。设备介绍工具及防护介绍4.2作业前的检查4.2.1安全与防护1.规范着装入场（着装整洁、不戴首饰、挽起长发等）。2.放置安全警示牌，正确设置安全围挡。3.检查并穿戴工作手套和安全帽。如图所示。安全与防护要求4.2.2工具的检查1.外观结构完整，表面不应有破损、变形、裂痕、生锈等问题。2.触控笔使用功能正常。触控笔的检查4.2.3线束外观的检查线束包括智能座舱测试装调台架电源线、联机通讯线。1.外观结构完整，表面不应有破损、变形、裂痕等问题。2.连接针脚无损坏、变形或生锈。联机通讯线4.2.4台架的检查1.检查台架万向轮是否已锁止，确保万向轮处于锁止状态。2.检查台架上的设备是否齐全。台架的检查4.2.5车辆的检查1.绕车一周，检查两个阻车器是否放置在后轮的前后位置。2.安装座椅、地板、方向盘、换档杆四件套3.踩住制动踏板，车辆READY上电，仪表“READY”灯点亮，且档位处于“P”档。4.检查手刹指示灯是否已点亮，确保手刹处于制动状态。5.检查车辆电量是否充足，确保电量充足。6.关闭车辆。车辆的检查4.3语音交互系统的线路连接4.3.1接线口的检查1.检查联机通讯线（与教学车连接端）接线口是否正常（针脚无损坏、变形或锈蚀）。检查端口（与教学车相连）2.检查联机通讯线（与智能座舱测试装调台架连接端）接线口是否正常（针脚无损坏、变形或锈蚀）。检查