智能座舱系统装调与测试 课件 项目五 视觉交互系统

任务5.1触控交互系统的调试与测试项目五视觉交互系统《智能座舱系统装调与测试》目录PART01任务导入PART02教学目标PART03背景知识PART04任务实施PART05课程思政PART06课堂总结PART01任务导入任务导入随着智能汽车的快速发展，触控交互系统已成为提升驾驶体验的关键技术之一。在深入探讨触控交互系统之前，首先问问大家是否了解一机多屏技术？能否列举一些常见的一机多屏应用实例？此外，教学车的触控交互系统主要由哪些组件构成？触控交互系统是如何进行调试和测试的？中控屏工控机PART02教学目标教学目标1.培训学生自主创新的精神。2.引导学生树立用户至上的服务意识。知识目标素质目标能力目标1.阐述一机多屏的概念。2.分析一机多屏的特点和应用。1.能规范完成触控交互系统的调试。2.能规范完成触控交互系统的测试。PART03背景知识一、一机多屏技术概念在智能座舱内，屏幕作为展示内容和传递信息的关键媒介，其在功能、外观和布局方面均经历了迅速的发展和变革。智能座舱中多屏互动的实现，确保了各个屏幕间信息的互联互通，同时又保持了相互之间的独立性，此外，还能够基于车联网技术与手机、iPad等移动设备实现跨设备的联动。随着显示技术的持续进步，汽车的中控屏幕正变得越来越大，分辨率不断提升，功能日益丰富。传统的机械仪表盘逐渐被全液晶显示屏所取代，而物理按键则转变为触控操作。智能座舱一机多屏二、一机多屏技术发展的特点1.信息传递的直接性一机多屏应用能够更直接地传达信息，减少用户视线转移，增强操作的直观性，并提供更多个性化设置，从而更好地辅助用户。数字仪表屏的增大提供更好的交互信息二、一机多屏技术发展的特点2.信息获取的全面性通过一机多屏，用户能够获取更全面的信息，并能够同时执行多个任务，实现多层级功能切换。一机多屏同时执行多个任务二、一机多屏技术发展的特点3.屏幕形式的多样化为了凸显品牌特色，各汽车厂商采用了多种屏幕形式，如竖屏、一字屏、七字屏、曲面屏、旋转屏、悬浮屏以及车窗屏等，这些多样化的表现形式赋予了内饰设计更大的灵活性。车窗屏二、一机多屏技术发展的特点4.驾驶安全相关功能的增强一机多屏技术增加了与驾驶安全相关的功能屏幕，例如抬头显示、透明A柱、电子后视镜、流媒体后视镜等，这些专职感知功能帮助驾驶员了解路况，从而提高行车安全。透明A柱二、一机多屏技术发展的特点5.多屏跨终端的无缝连接一机多屏应用提供了更多的交互可能性，包括多屏互联、跨屏操作和跨终端操作（如通过手机控制），无论乘客位于座舱内哪个位置，都能提供良好的交互体验。宝马7系屏幕分布三、一机多屏技术的应用1.本地多屏模式驾驶员可以根据个人需求，选择仪表盘和中控屏的显示模式。副驾驶和乘客同样可以自由控制各自座位的屏幕，实现个性化的信息展示和交互体验。根据自己需求开启屏幕信息三、一机多屏技术的应用2.异地多屏模式用户能够实现手机、电脑与车机端三屏之间的信息交互。例如，用户可以在手机或电脑上预先规划好目的地和路径，并在开车前直接发送至车机。手机端互联车端屏幕三、一机多屏技术的应用3.导航+挡风玻璃屏模式挡风玻璃被赋予展示信息的属性，可以变成一面巨大的显示器，加载各种有用的信息助驾驶，例如将导航信息从中控屏幕直接拖动到挡风玻璃屏进行展示。挡风玻璃被赋予了展示信息的功能，可以转变为一个巨大的显示器，加载各种有助于驾驶的有用信息。例如，可以将导航信息从中控屏幕直接拖动至挡风玻璃屏进行展示。导航+挡风玻璃屏模式三、一机多屏技术的应用4.互动+驾驶侧面屏模式信息的交互可以通过副驾驶或乘客直接传递给驾驶员。例如，后排乘客可以通过后座显示屏，将信息拖动至驾驶侧面屏，展示给驾驶员查看。信息互动三、一机多屏技术的应用5.手机娱乐+天窗显示屏模式手机和汽车内所有屏幕都可以进行联动。手机娱乐系统会结合汽车的天窗显示屏，增加更多的娱乐性。例如，可以将电影、手游等投放至天窗显示屏，让乘客即使躺在车里也能享受大屏操作的乐趣。这种模式不仅增强了娱乐体验，也展示了一机多屏应用的多样性和灵活性。投屏到天窗显示屏看电影或玩游戏三、一机多屏技术的应用6.全息管家的“走动”模式利用全息屏的不同位置，进行跨屏操作，使得信息传递更加便捷。这种模式下，用户可以在不同屏幕间轻松移动信息，提高操作效率。全息管家PART04任务实施一、工具设备介绍教学车智能座舱测试装调台架1.设备介绍2.工具介绍触控笔安全帽绝缘垫工作手套联机通讯线二、实施前检查1.安全与防护（1）规范着装入场（着装整洁、不佩戴首饰，长发需挽起等）。（2）放置安全警示牌，并正确设置安全围挡。（3）检查并正确穿戴工作手套和安全帽。安全与防护要求二、实施前检查2.工具的检查（1）工具外观结构应完整，表面无破损、变形、裂痕、生锈等问题。（2）触控笔的使用功能正常。触控笔的检查二、实施前检查3.束线外观的检查（1）线束外观结构应完整，表面无有破损、变形、裂痕等问题。（2）线束连接针脚无损坏、变形或生锈。联机通讯线二、实施前检查4.台架的检查（1）检查台架的万向轮是否已锁止，确保其处于锁止状态。（2）检查台架上的设施是否齐全。智能座舱测试装调台架二、实施前检查5.车辆的检查（1）仔细绕车一周检查，并检查两个阻车器是否放置在车轮的前后位置。（2）装配座椅、地板、方向盘、变速杆四件套（3）踩住制动踏板，教学车READY上电，仪表“READY”灯应点亮，挡位处于“P”挡。（4）检查手刹指示灯是否点亮，保证手刹处于驻车状态。（5）检查教学车剩余电量是否充足。车辆的检查二、实施前检查6.中控屏的检查（1）分别将中控屏的亮度调至最暗和最亮，观察屏幕是否有坏点。（2）点击中控屏的各个触控按钮，测试其触控功能是否正常。（3）仔细观察中控屏的显示画面是否正常。（4）关闭教学车。中控屏检查三、触控交互系统的线路连接1.接线口的检查（1）检查教学车连接端的联机通信线接线口是否正常，针脚应无损坏、变形或锈蚀。检查端口（与教学车相连）三、触控交互系统的线路连接1.接线口的检查（2）检查台架连接端的联机通信线接线口是否正常，针脚应无损坏、变形或锈蚀。检查端口（与台架连接端）三、触控交互系统的线路连接2.联机通信线的连接正确连接台架和教学车的联机通信线。联机通信线的连接四、触控交互系统的调试1.教学车READY上电教学车READY上电，仪表“READY”灯应点亮，挡位处于“P”挡。教学车READY上电四、触控交互系统的调试2.启动台架和电脑连接台架电源线，并启动台架和电脑。启动台架和电脑四、触控交互系统的调试3.触控交互系统的调试在台架电脑桌面上打开“智能座舱系统测试软件”，单击选择“中控”进入中控屏显示功能的调试界面。单击“开始测试”按钮，开始触控交互系统的调试。触控交互系统的调试界面四、触控交互系统的调试3.触控交互系统的调试在教学车中控屏上将显示一个白色矩形，使用触控笔准确单击此矩形，台架上的测试软件将显示此次点击的坐标数据。白色矩形坐标数据五、触控交互系统的测试在教学车的中控屏下方单击座椅图标，进入座椅触控调节界面。座椅触控调节界面五、触控交互系统的测试在座椅触控调节界面，单击座椅“前进”按钮，查看智能座椅是否正常向前移动。座椅触控调节-前进五、触控交互系统的测试在座椅触控调节界面，单击座椅“后退”按钮，查看智能座椅是否正常向后移动。座椅触控调节-后退五、触控交互系统的测试在座椅触控调节界面，单击座椅靠背“向下”按钮，查看智能座椅靠背是否正常向下移动。座椅触控调节-向下五、触控交互系统的测试在座椅触控调节界面，单击座椅靠背“向上”按钮，查看智能座椅靠背是否正常向上移动。座椅触控调节-向上六、系统复原和整理清洁1.关闭台架（1）关闭智能座舱测试软件。（2）关闭智能座舱测试装调台架的电脑。（3）关闭智能座舱测试装调台架电源开关，并拔出其电源线。关闭台架六、系统复原和整理清洁2.关闭教学车教学车下电，并拔出教学车钥匙放置工作台。关闭车辆六、系统复原和整理清洁3.拆卸联机通信线正确拆卸连接教学车和台架的联机通信线。拆卸联机通信线六、系统复原和整理清洁4.现场6S（1）整理清洁触控笔。（2）整理清洁线束。（3）整理清洁工作台。（4）收回并整理座椅、地板、方向盘、变速杆四件套。（5）整理清洁教学车及台架。清洁工作台六、系统复原和整理清洁5.回收安全与防护设备（1）卸下并整理安全帽及工作手套。（2）回收安全警示牌和围挡。（3）离开实训场地。回收安全警示牌PART05课程思政课堂思政自主创新，铸就航空强国杨伟院士，作为“歼-20”战斗机的总设计师，他的事迹生动诠释了自主创新精神的力量。30多年来，杨伟一直在科研一线从事战斗机的设计与研发工作，从我国第一型自主研发的第三代战斗机歼-10到我国新一代外贸机“枭龙”、“枭龙”双座，从歼-10的系列改进型歼-10双座、歼-10A、歼-10B、歼-10C到我国第四代战斗机歼-20，为我国航空科技和武器装备发展做出了突出贡献。杨伟院士课堂思政自主创新，铸就航空强国杨院士在航空领域的卓越成就，不仅推动了我国航空科技的发展，也为我国在国际舞台上赢得了尊重和话语权。他的成功故事启示我们，无论是在航空领域还是在智能汽车领域，自主创新都是推动技术进步和产业升级的核心动力。我们应将这种自主创新的精神内化于心，外化于行，在未来的学习和工作中，不断追求卓越，为我国智能汽车产业的发展贡献力量，为建设科技强国添砖加瓦。杨伟在飞机上工作PART06课堂总结课堂总结谢谢观看主讲教师：XXX《智能座舱系统装调与测试》任务5.2摄像头的拆装与标定项目五视觉交互系统主讲教师：XXX《智能座舱系统装调与测试》目录PART01任务导入PART02教学目标PART03背景知识PART04任务实施PART05课程思政PART06课堂总结PART01任务导入任务导入在智能网联汽车当中，摄像头就相当于人类的眼睛。随着自动驾驶和智能辅助驾驶技术的飞速发展，摄像头作为感知环境的关键传感器，其重要性日益凸显。为了确保摄像头能够准确捕捉并解读周围环境信息，我们该如何对智能网联汽车的摄像头进行拆装与标定呢？摄像头PART02教学目标教学目标1.培养学生的科技强国意识和创新精神。2.培养严谨求实的工匠精神，热爱劳动的好品质。知识目标素质目标能力目标1.了解摄像头的定义和类型。2.分析车载摄像头的特点和应用。1.能规范完成摄像头在教学车上的装配。2.能规范完成摄像头的标定和调试。PART03背景知识一、摄像头的定义摄像头，也叫视觉传感器，是一种通过对摄像头捕获的图像进行图像处理，实现对目标物体的检测，并输出相关数据与判定结果的传感器。在智能网联汽车或无人驾驶汽车领域，摄像头配备先进的图像处理算法和人工智能技术，以便进行有效的目标检测和图像分析，从而支持高级驾驶辅助系统和自动驾驶功能。摄像头二、摄像头的类型摄像头的类型可以分为单目摄像头、双目摄像头、三目摄像头和红外夜视摄像头。摄像头二、摄像头的类型1.单目摄像头单目摄像头仅包括一个摄像机和一个镜头，它的测距原理是先通过图像匹配进行目标识别（如行人、汽车和其他物体等），然后根据目标在图像中的大小来估算目标距离。单目摄像头二、摄像头的类型2.双目摄像头双目摄像头由两个镜头组成。人类双眼能够感知物体的远近，是因为两只眼睛对同一物体呈现的图像存在差异，也称为“视差”。物体距离越远，视差越小；反之，视差越大。双目摄像头的测距原理与人眼类似，通过对图像视差进行计算，直接对前方景物进行距离测量；从视差的大小推断物体的距离。双目摄像头二、摄像头的类型3.三目摄像头三目摄像头的设计旨在解决汽车前向测距的问题。三目摄像头实际上是三个不同焦距单目摄像机的组合，以对三个不同距离范围的障碍物进行摄影成像。例如特斯拉安装在挡风玻璃下方的三目摄像头，三个摄像头的感知范围由远及近，分别为前视窄、前视主及前视宽视野摄像头。特斯拉的三目摄像头二、摄像头的类型4.红外夜视摄像头红外夜视摄像头是一种利用红外线技术辅助驾驶员在夜间看清道路的设备，可以提高行驶安全性。由于其核心部件价格昂贵，目前尚未大规模普及，仅搭载于部分高端豪华品牌车型。按技术分类，红外夜视可分为近红外夜视和远红外热成像。红外夜视摄像头三、车内摄像头的特点随着电子化、信息化及人工智能技术的不断进步，小型化和嵌入式摄像头得到了广泛的应用。人们能够通过车载摄像头获得更为智能化的感知结果，即利用摄像头的视场来感知驾驶环境。（1）提供的信息量极为丰富，能够获取物体的颜色、距离、纹理、深度、形状等详细信息。（2）信息获取范围广泛，能够实现道路检测、车辆检测、行人检测、交通标志识别等功能。（3）制作工艺相对简单，与雷达相比，摄像头的结构和测试复杂度较低，设计开发周期和成本相对较低。（4）应用领域广泛，在智能网联汽车中可分为前视、后视、侧视、内视和环视等，各自承担不同的功能。优势（1）易受天气和光照变化的影响，在极端恶劣天气条件下，摄像头的检测功能可能会失效。（2）与激光雷达和毫米波雷达相比，摄像头的测距和测速性能较差。（3）摄像头采集的数据需要与样本进行匹配以完成识别，难以完全摆脱样本的限制。劣势四、摄像头的应用在智能网联汽车中，车载摄像头的主要特点使其成为实现多种预警和识别类高级驾驶辅助系统（ADAS）功能的基础。摄像头能够捕捉车辆周围环境的实时图像，为车辆提供必要的视觉信息，从而支持车道偏离预警、前碰撞预警、行人检测等多种ADAS功能。四、摄像头的应用此外，摄像头的应用不仅限于ADAS系统，它还扩展到了车辆的智能导航、交通标志识别、人脸识别和手势识别等多个智能座舱方面，极大地增强了车辆的智能化水平和行车安全性。随着技术的进步，车载摄像头的应用范围和功能还将不断扩展，为智能汽车的发展提供强有力的技术支持。摄像头在智能座舱中的应用PART04任务实施一、工具设备介绍教学车智能座舱测试装调台架1.设备介绍联机通讯线摄像头一、工具设备介绍常用工具角度尺2.设备介绍绝缘垫安全帽触控笔固定螺钉标定板工作手套二、实施前检查1.安全与防护（1）规范着装入场（着装整洁、不佩戴首饰，长发需挽起等）。（2）放置安全警示牌，并正确设置安全围挡。（3）检查并正确穿戴工作手套和安全帽。安全与防护要求二、实施前检查2.工具的检查（1）工具外观结构应完整，表面无破损、变形、裂痕、生锈等问题。（2）螺钉螺纹无滑牙和变形现象。（3）工具（角度尺、触控笔、常用工具等）齐全并功能正常。触控笔二、实施前检查3.束线外观的检查（1）线束外观结构应完整，表面无有破损、变形、裂痕等问题。（2）线束连接针脚无损坏、变形或生锈。联机通讯线二、实施前检查4.台架的检查（1）检查台架（如所示）的万向轮是否已锁止，确保其处于锁止状态。（2）检查台架上的设施是否齐全。智能座舱测试装调台架二、实施前检查4.摄像头外观的检查（1）摄像头外观结构应整洁，表面无凹痕、划痕、变形、毛刺等问题。（2）摄像头的镜头无气泡、划痕、裂纹、污物等问题；支架应稳固，无脱落及摇晃；线束连接针脚无损坏、变形或生锈等问题。摄像头的外观检查二、实施前检查6.教学车的检查（1）仔细绕车一周检查，并检查两个阻车器是否放置在车轮的前后位置。（2）装配座椅、地板、方向盘、变速杆四件套（3）踩住制动踏板，教学车READY上电，仪表“READY”灯应点亮，挡位处于“P”挡。（4）检查手刹指示灯是否点亮，保证手刹处于驻车状态。（5）检查教学车剩余电量是否充足。（6）关闭教学车。教学车的检查二、实施前检查6.教学车的检查（7）检查教学车上摄像头线束，其外观结构应完整，表面无破损、变形、裂痕等问题；线束插头针脚无损坏、变形或生锈等问题。摄像头的车内线束检查针脚号功能1data+2Data-3+5V4GND摄像头接口定义三、摄像头在车辆上的装配1.调节摄像头的固定角度用角度尺调节摄像头的固定角度（标准角度为60°±5°），再用螺丝拧紧固定螺钉。角度尺三、摄像头在车辆上的装配2.安装摄像头首先连接摄像头的线束（注意：摄像头线束接口的针型较小，连接线束时若感觉阻力较大时，应停止并重新检查针脚，以防损坏传感器线束针脚），然后再把线束塞进卡槽内，最后把摄像头卡到卡口中。安装摄像头四、联机通信线的连接1.接线口的检查（1）检查教学车连接端的联机通信线接线口是否正常，针脚应无损坏、变形或锈蚀。检查端口（与教学车相连）四、联机通信线的连接1.接线口的检查（2）检查台架连接端的联机通信线接线口是否正常，针脚应无损坏、变形或锈蚀。检查端口（与台架连接端）四、联机通信线的连接2.联机通信线的连接正确连接台架和教学车的联机通信线。联机通信线的连接五、摄像头的标定1.启动台架和电脑启动台架，再启动测试电脑。启动台架和电脑五、摄像头的标定2.打开标定软件在台架电脑桌面双击打开“VMware”软件，进入主界面。启动VMware五、摄像头的标定3.开启虚拟机在主界面左侧单击“yolov-autoware”，再单击“开启此虚拟机”，启动ubuntu系统。输入密码“root”并回车，如图5-2-18所示，进入ubuntu系统桌面。开启虚拟机开启虚拟机五、摄像头的标定4.在台架上进行摄像头的内参标定（1）启动摄像头单击选择菜单栏“虚拟机”，单击选择“可移动设备”，单击选择“MagTekRmoncamA21080P”，单击选择“连接（断开与主机的连接）（C）”，完成摄像头的连接。连接摄像头五、摄像头的标定4.在台架上进行摄像头的内参标定（1）启动摄像头在ubuntu系统桌面空白区域内，单击鼠标右键，选择“打开终端”。连接摄像头五、摄像头的标定4.在台架上进行摄像头的内参标定（1）启动摄像头在弹出的终端窗口中内输入以下命令并回车，运行ROS主节点。启动ROS主节点roscore五、摄像头的标定4.在台架上进行摄像头的内参标定（1）启动摄像头再次在ubuntu系统桌面空白区域内，新建一个“终端”，输入以下命令并回车，用于启动摄像头launch文件来打开摄像头。当摄像头画面出现后，说明摄像头打开正常。摄像头画面roslaunchusb_camusb_cam-test.launch五、摄像头的标定4.在台架上进行摄像头的内参标定（2）打开标定工具在主界面左侧单击文件夹图标，在“HOME/ros+cam+lidar/autoware”文件夹中进入“ros”文件夹，在“ros”文件夹内空白地方，右键打开终端，输入以下命令并回车，用于设置环境变量。sourcedevel/setup.bash设置环境变量五、摄像头的标定4.在台架上进行摄像头的内参标定（2）打开标定工具在同一个终端，再输入以下命令并回车，用于启动标定工具。rosrunautoware_camera_lidar_calibratorcameracalibrator.py--size11x8--square0.036image:=/usb_cam/image_raw启动标定工具五、摄像头的标定4.在台架上进行摄像头的内参标定（3）摄像头标定及保存举起标定板对着摄像头，系统将自动识别标定板里面内角的参数，并用多种颜色线条标注。正常界面与标定界面对比4.在台架上进行摄像头的内参标定五、摄像头的标定4.在台架上进行摄像头的内参标定（3）摄像头的标定与保存按要求移动标定板，当右上角的X（在摄像头视野的最左和最右范围内移动）、Y（在摄像头视野的最上和最下范围内移动）、Size（在摄像头的远近视野范围内移动）、Skew（斜着拿标定板并不断改变标定板相对于摄像头的角度）的四条进度条都变颜色为绿色时，“CALIBRATE”标定按钮变为可点击状态。调整参数直至绿色状态五、摄像头的标定4.在台架上进行摄像头的内参标定（3）摄像头的标定与保存单击“CALIBRATE”按钮，计算摄像头的内参矩阵（后台将自动进行计算，此时标定界面出现卡滞状态，并非任务错误，切勿关闭窗口，画面会渐变成灰暗状态）。进入计算状态五、摄像头的标定4.在台架上进行摄像头的内参标定（3）摄像头的标定与保存待系统后台计算结束后，窗口中出现摄像头的矩阵数据（焦距参数，里面包含了X、Y、S坐标参数及畸变参数等）。单击“SAVE”按钮完成保存，在终端的打印信息中将出现文件保存路径，文件将以当前系统日期时间自动命名。保存完毕后，单击“COMMIT”按钮退出标定工具，使用“CTRL+C”快捷键关闭摄像头窗口。进入计算状态五、摄像头的标定5.复制内参参数数据在“桌面/E300/task2”文件夹中，打开json文件，将终端中的内参参数分别替换到json文件中CameraMat的data对应IntrinsicParameters，DistCoeff的data对应Distortion，注意保留小数点后面六位小数，替换完成后保存json文件。json文件界面六、摄像头的调试1.发送配置文件教学车Ready上电。在台架电脑桌面打开“智能座舱系统测试软件”，单击右上角的设置图标，单击选择“SSH”。单击设置图标六、摄像头的调试1.发送配置文件在弹出的固件烧入界面，IP输入“192.168.1.102”，Name输入“e300”，Passward输入小写英文字母“root”，再单击“连接”按钮，连接台架和教学车。设置网络并连接六、摄像头的调试1.发送配置文件单击“选择文件”，选择“config.json”文件（文件路径为：桌面/E300/task2），再单击“发送任务二文件”，当窗口显示“传送成功”，说明文件发送成功。发送的文件六、摄像头的调试2.摄像头的调试在教学车中控屏左下角单击小车图标，再单击选择“系统设置”。中控屏界面六、摄像头的调试2.摄像头的调试单击“开启人脸识别”，当画面为清晰且无畸变时，表明摄像头标定成功，最后单击“关闭人脸识别”。车内摄像头画面七、系统复原和整理清洁1.关闭台架（1）关闭智能