汽车智能座舱系统与应用 课件 3-4 实现机器视觉在安全辅助驾驶中的应用

能力模块三

掌握智能座舱中机器视觉技术的应用任务四

实现机器视觉在安全辅助驾驶中的应用安全辅助驾驶系统一直以来都是主动驾驶领域的重点技术，能够很大程度上提高车辆的安全性、经济性、驾乘舒适性。作为智能座舱的开发技术人员，主管要求你在理解常见的安全辅助驾驶技术应用之后，能够实现智能座舱所涉及到的机器视觉在安全辅助驾驶上的具体应用，完成智能座舱全景相机标定工作。任务引入Tasktointroduce01360全景环视系统发展历程02实现360全景相机标定目录

CONTENTS03常见安全辅助驾驶技术应用04舱内预警技术认知360全景环视系统发展历程PART0101360全景环视系统发展历程2007年，日产公司发布了首款全景行车安全系统“环境监视系统AVM”，2008年本田推出了mulTI-viewcamerasystem，2009年阿尔派推出TOPVIEW系统，2010年Fujitsu公司开发了MulTI-AngleVision系统。全景环视概念最早是由K.Kate，M.Suzuki，Y.Fujita，Y.Hirama等四人于2006年首先提出。这一概念提出后，马上引起了国内外众多汽车生产厂商和相关科研单位的注意，随着中国汽车工业的发展，以及全景环视系统技术的日渐成熟，国内的大部分汽车厂家在乘用车、商用车、工程车上已布局360全景环视系统。01360全景环视系统发展历程

在后装市场，全景影像系统和当年导航的发展轨迹是一样的。只要一个功能是实用的，能被消费者认可，整合就是个必然结果。将来360全景系统和导航的结合也是一个必然趋势。全景影像系统从分屏显示到有缝拼接再到无缝全景，再到2D+3D全景，逐步扩大视野范围及安全性。实现360全景相机标定PART0202实现360全景相机标定启动应用1.点击Launcher页面中的SDCalibrator应用图标。02实现360全景相机标定启动应用2.进入应用以后，就可以看到如图所示的页面；该页面主要功能包括：切换摄像头预览图像、选择标定范围、标定状态显示。切换摄像头预览图像1.预览画面的右侧，有一个汽车图标和4块蓝色区域，点击蓝色区域可以切换预览图像，对应的分别是汽车的前后左右四个方向的图像；通过切换四个方向的图像来确认摄像头位置和标定布的位置是否正确。标定布的位置按照图所示的方式摆放。汽车摆放在标定布中间，摄像头图像应该是靠近汽车的位置在预览图像的下方，每个摄像头的图像都可以看到标定布。02实现360全景相机标定切换摄像头预览图像2.预览画面左侧，有八个绿色加号图标，可以拖动绿色加号图标来选择标定范围。标定范围是标定布在图像中的位置。02实现360全景相机标定切换摄像头预览图像

点击预览页面中右下角的设置按钮即可弹出设置对话框，现在有表所示的标定参数可以进行设置。具体参数需要通过实际测量获取。02实现360全景相机标定参数说明CarWidth车辆摆放后，所占用的标定布的横宽，单位毫米CarLength车辆摆放后，所占用的标定布的纵长，单位毫米Chesshorizontalcount标定布内横向的棋盘格数量，现选个数为4Chessverticalcount标定布内纵向的棋盘格数量，现选个数为4Chesshorizontaloffset棋盘格水平偏移量，指标定布上黑白格到标定布边缘的横向距离，单位毫米Chessverticaloffset盘格垂直偏移量，指标定布上黑白格到标定布边缘的纵向距离，单位毫米CarImageWidth车辆图像宽度，单位毫米CarImageHeight车辆图像高度，单位毫米Chessitemlength棋盘格单位长度标定状态显示1.标定结束后，蓝色区域会改变颜色反馈标定结果。红色表示该方向标定失败，绿色表示标定成功。如下图所示为前方标定失败，左右后标定成功。此时可以切换前方摄像头的预览图像，重新选择标定范围，然后重新点击Calibrator按钮再进行标定。02实现360全景相机标定标定状态显示

2.长按红色区域可以查看标定失败原因：如下图所示，左下角的识别点多了一个。所以导致标定错误。再重新点击红色区域，切换到前方的预览模式，再拖动绿色加号图标1和绿色图标3的位置，再重新点击Calibrator按钮进行标定操作。02实现360全景相机标定标定状态显示3.长按汽车左侧的绿色区域，可以查看到标定识别成功的9个点的位置。所以我们在选择范围时，尽量精确地选定这9个点所在的范围。02实现360全景相机标定标定状态显示4.标定成功后的状态如下。标定成功后即可点击右上角的退出按钮，退出应用。然后重启查看FastAvm的标定效果。02实现360全景相机标定标定状态显示5.点击CALIBRATE标定成功后，也就是四面都显示绿色之后。

在/data/目录下生成标定文件MappingTable.bin会调用Linkport接口与freertos端的storage裸写程序建立通信，将MappingTable.bin发送给storage进行指定位置emmc或者ospi写入。02实现360全景相机标定常见安全辅助驾驶技术应用PART0303常见安全辅助驾驶技术应用自适应巡航是通过传感器和摄像头实现对前方车物体和车辆的监控。自适应巡航系统当车辆前方的车流速度减慢时，自适应巡航系统便会检测出，并控制车辆减速；若前方车辆加快速度时，系统便会提高车辆速度。更先进的自适应巡航系统能够做到将车辆控制直至停止，当前方车辆向前移动时，又会被重新激活向前行驶。03常见安全辅助驾驶技术应用该功能是结合了后十字路口交通警示和盲点检测警示两大功能。后十字路口交通盲点警示系统后十字路口交通警示是针对十字路口和交叉路口这类事故多发路段推出的安全保障系统。当车辆逆向变道时，该系统可以检测出后方物体并给予警示。03常见安全辅助驾驶技术应用这个系统类似于自适应巡航的工作模式。前向碰撞警告当你的车辆与前方车辆或障碍物靠近时，系统会检测出物体并发出碰撞警告，促使司机采取必要措施保持安全车距或安全距离。若是司机没有进行刹车，那车辆将会自行采取紧急制动。03常见安全辅助驾驶技术应用车道偏离预警车辆通过摄像头的系统监控车道的标记，当系统感应到车辆偏离了车道时，车辆便会对驾驶员发出警告。03常见安全辅助驾驶技术应用车道保持辅助这项功能是在车道偏离警告提示后，车辆没有采取行动，汽车将采取下一步行动，会主动将车辆推回其车道。360度全景摄像系统

该项功能是通过一系列在车辆周边放置的摄像头，为驾驶员展示360度视野以显示车辆的鸟瞰图。这项功能大大提高了停车的便捷度。03常见安全辅助驾驶技术应用舱内预警技术认知PART0404舱内预警技术认知智能座舱舱内预警系统主要包括以下模块：人脸检测人脸关键点检测人眼闭合状态识别东张西望状态识别低头犯困状态识别驾驶行为判断语音预警04舱内预警技术认知

这些技术块通过系统集成的语音模块，利用先进的自然语言处理技术，对监控对象进行识别、判断，并在检测到有疲劳或分心驾驶的条件下，把系统发出的指令生成报警声提示驾驶员，实现车载设备和驾驶员之间的良好交互性，从而为行车安全添加保障。

涉及人脸对齐校正、头部姿态模拟、局部区域多特征和深