汽车智能传感器装调与测试课件：前视摄像头目标识别测试

汽车智能传感器装调与测试

前视摄像头目标识别测试

场景某国产自主品牌汽车试制车间车间班组长王师傅、实习试制装调技师小刘小刘在王师傅的指导下完成了试制样车前视摄像头的设置与标定工作。作为汽车最主要的“眼睛”，智能网联汽车前视摄像头可绝不仅仅是用来拍照的。那么，试制样车前视摄像头及其所属的视觉环境感知系统有哪些功能？工作性能如何？小刘接下来要进行视觉传感器的相关测试。如果你是小刘，你将如何开始工作？1.前视摄像头所属的视觉环境感知系统有哪些功能？2.工作性能怎么样？提出问题任务导入情节人物视觉识别系统的测试。➢能根据装调手册正确运用YOLO目标检测算法，完成前视摄像

头系统神经网络的检测。➢能根据装调手册正确运用YOLO目标检测算法，完成前视摄像➢能根据装调手册按照规范工作步骤通过车道线识别任务完成头系统对交通标志的神经网络训练与测试。任务目标➢视觉传感器成像的基本理想模型的与人眼类似，镜头模组由若干片叠放的玻璃透镜组成，作用相当于人眼的晶状体，将被摄物体反射的光线聚焦形成清晰的像。➢人类的眼睛通过调节晶状体的弯曲程度来改变晶状体焦距获得倒立的、缩小的实像。任务实施视觉传感器成像的基本模型

车道线识别测试人眼与视觉传感器成像原理对比知识学习➢视觉传感器成像的基本理想模型是小孔成像(PinholeCamera

Model)任务实施➢三维空间的物体通过小孔，映射到二维的空间内。视觉传感器成像的基本模型

车道线识别测试知识学习基本成像模型➢数字图像由像素(Pixel)构成。➢智能网联汽车摄像头拍摄到的周围环境数据被处理为像素数据。➢简单的图片数字化和信息提取示例如图,图片在保证不丢失特征的前提下被用数量最少的像素点表示，每个像素点去除颜色只用灰度表示；每个像素点的“颜色深浅”被赋予数值；最后整张图片由一个数字点阵表示。任务实施视觉传感器成像的基本模型

车道线识别测试图片数字化与信息提取示例知识学习➢智能网联汽车前视摄像头等视觉传感器不断地感知道路环境信息，主要感知道路几何形状、道路边缘、道路语义信息、道路使用者四类信息。任务实施视觉环境感知的目标对象

车道线识别测试知识学习视觉环境感知的目标对象➢道路几何形状(Road

Geometry)：主要包含行车道、车道线、路面与天空的分界等几何信息。➢道路边界(Road

Boundaries)：道路边界规定

了机动车可以行驶区域的界限，是车辆必须严格遵守的行驶边界。➢道路语义信息(Road

Semantics)：道路语义信息是指交通环境中各种路牌(箭头)标识、交通标识、交通信号灯等所包含的信息。➢道路使用者(Road

Users)：道路上不仅自车在

行驶，还有周围一般还会有其他车辆、人行横道上可能会有行人，这些都属于道路使用者。任务实施视觉环境感知的目标对象

车道线识别测试知识学习视觉传感器环境感知方式为探测与测量两种方式，两种方式互相交融实现基于机器视觉的高可靠性感知。➢探测(Detection)是发现对象、识别对象的过程，依据物体的外观和几何形状两方面信息进行判断。➢测量(Measurements)主要指将视觉感知到的二维(2D)信息，通过计算外观尺寸、景深、距离等量化信息，转化为三维(3D)信息的过程。任务实施

车道线识别测试视觉环境感知的方式知识学习视觉环境感知的方式➢测量方面：双目景深探测、虚拟道路模型法等技术。➢探测方面：场景分割(SceneSegmentation)、3D视觉、车轮识别等方法。任务实施多种视觉感知技术应用于智能网联汽车。

车道线识别测试视觉环境感知的方式知识学习车轮识别视觉传感器识别车道线是实现车道偏离预警和车道保持辅助功能的前提。车道偏离预警系统➢镜头通过安装在前风窗上的摄像头探测前方车道标志线，当检测到车辆可能偏离车道时，

系统会施加矫正性转向干预，提醒驾驶员沿车道行驶。需正常转向变道时，打开转向信号灯，系统便不会施加转向干预。车道偏离预警系统任务实施

车道线识别测试车道线识别知识学习车道保持辅助系统➢基于车道偏离预警系统，当驾驶员未能及时响应预警，或者驾驶员将转向任务完全交给自动驾驶系统时，控制转向等底盘执行机构，

使车辆保持在车道内安全行驶。任务实施

车道线识别测试车道线识别知识学习车道保持辅助系统流程一般包括道路图像采集、图像预处理(灰度化、压缩、增强、分割)、图像特征提取(边缘检测)、车道线拟合(霍夫变换)和图像混合等。➢图像采集：主要是通过摄像头采集图像。如图所示为高清摄像头采集的车道线原始图像任务实施视觉传感器车道识别的流程

车道线识别测试知识学习车道原始图像视觉传感器车道识别的流程任务实施

车道线识别测试知识学习任务实施视觉传感器车道识别的流程

车道线识别测试知识学习高斯滤波后的车道图像车道灰度图像➢图像特征提取：在图像分割的基础上提取需要的特征，以便计算机根据特征值进行图像分类和识别。➢物体边缘是图像中最基本也是最重要的特征，

图像识别、理解的第一步就是边缘检测。➢图像的边缘是指其周围灰度急剧变化的那些像素集合，它是图像最基本的特征。➢图像进行边缘检测能保留图像的重要信息，剔除不重要信息，大大减少后续处理的计算量。如图所示为经过边缘检测后的图像。任务实施视觉传感器车道识别的流程

车道线识别测试知识学习边缘检测后的车道图像任务实施➢车道线拟合：霍夫变换可以通过像素点找到图中的直线得到拟合好的车道线。视觉传感器车道识别的流程

车道线识别测试知识学习拟合好的车道线视觉传感器车道识别的流程➢图像混合：将画出来的直线叠加到原图像上，得到混合车道图像，可以实现车道偏离预警。任务实施

车道线识别测试知识学习混合车道图像打开智能网联传感器装调平台的摄像头模块，进入车道偏离预警界面。➢播放车道线视频任务实施视觉传感器车道识别的操作方法

车道线识别测试知识学习播放车道线视频➢高斯滤波：单击“高斯滤波”按钮，视频效果如图所示。➢灰度变换：单击“灰度变换”按钮，视频效果如图所示。任务实施视觉传感器车道识别的操作方法

车道线识别测试知识学习灰度变换后的视频效果高斯滤波后的视频效果任务实施➢图像混合：单击“图像混合”按钮，视频效果如图所示。➢边缘检测：单击“边缘检测”按钮，视频效果如图所示。视觉传感器车道识别的操作方法

车道线识别测试知识学习边缘检测后的视频效果图像混合后的视频效果任务实施视觉传感器车道识别的操作方法

车道线识别测试➢车道保持系统知识学习操作准备￭每5人一组。￭组内推选出组长。分组方法：教师指派法•

根据学生实操准备所坐区域

由教师进行划分。•

每5人一组，组内推选出组

长。5分任务实施技能操作

车道线识别测试分组•

选组长组长组员2组员4组员1组员3钟分工注意事项•

小组成员轮流通过

智能网联传感器装

调平台进行车道线

识别测试，并各自

做好记录。•

未操作人员认真观

摩、学习，取长补

短。组内分工5分任务实施车道线识别测试操作准备技能操作协助与

信息查询监督与管理记录操作操作钟5分任务实施技能操作

车道线识别测试车道线识别测试操作准备-制定计划工作

流程工

作

目

标工具

准备场地

整理工作

总结资料

查询任务

实施钟提示•确认在视觉传感器已装配、调

试、标定好的前提下•车道线识别测试流程顺序要清

楚5分任务实施技能操作各小组推派代表

汇报计划制定情况

车道线识别测试汇

报

计

划操作准备钟•视觉传感器、调试系统等•智能网联传感器装调平台•平台装调手册•耐磨手套5分任务实施技能操作

车道线识别测试资料/手册准备个人防护准备工具

准备场地准备钟•摘掉首饰、女生长发挽起•注意触电危险•规范操作，防止平台及摄像头模块死机•测试完成后做好现场清理实操时间40

分钟(组长把控工作进度)将任务实施过程按要求填写记录在工作页表格中。任务实施技能操作

车道线识别测试实训

操作学习要求！注意事项安全提示YOLO目标检测算法➢YOLO(YouOnlyLook

Once)是一个用于目标检测的

神经网络算法，其英文可以汉译为“一眼得见”。该算法可以模拟人类对物体得观察和识别，只要看一眼就可知道画面中有哪些物体以及其相对位置。任务实施

视觉识别系统训练与测试YOLO目标检测算法的工作过程知识学习➢目标检测任务包括确定图像中存在某些对象的位置，以及对这些对象进行分类。视觉识别需首先对系统进行“训练”，然后才可以工作。➢YOLO只用一个神经网络就能完成上述训练。将一个图像作为输入，通过一个神经网络，就会得到一个在输出中包含边界框和类别预测的向量。YOLO系统能够分析实时视频中的道路，并能够在继续确定路径之前检测各种类型的对象及其在现实世界中的位置。任务实施

视觉识别系统训练与测试YOLO目标检测算法知识学习➢YOLO神经网络检测主要是用来确认当前系

统的识别能力，也就是“能够识别哪些东西”。➢打开智能网联传感器装调平台的摄像头模块，进入“神经网络检测”界面。单击“开启检测”按钮。观察系统能检测到哪些东西，检测到的物体旁边会出现其英文名字。如图所示。任务实施

视觉识别系统训练与测试YOLO神经网络检测知识学习YOLO神经网络检测任务实施➢YOLO神经网络训练包含数据采集、数据标注、神经网络配置、训练、测试五个步骤。

视觉识别系统训练与测试YOLO神经网络训练知识学习➢数据采集：首先要设定图片存储路径，如图所示。单击按钮进行系统拍照后，所拍的图片会自动保存在此路径下。任务实施

视觉识别系统训练与测试YOLO神经网络训练知识学习数据采集界面➢数据标注：为神经网络数据输入做准备，单击“标注”按钮，进入数据标注界面。如图所示，在该界面框选出“限速30km/h”和“禁止鸣笛”标志，并标注为“Speed

Limit30”“No

Horn”。注意：保存格式要选择“YOLO”。任务实施

视觉识别系统训练与测试YOLO神经网络训练知识学习数据标注界面➢对神经网络进行配置：选择并

打开配置文件后，利用Vscode代码编辑器对YOLO层Classes进行匹配设置。如图所示。任务实施

视觉识别系统训练与测试YOLO神经网络训练知识学习YOLO层匹配设置界面YOLO神经网络训练➢训练：单击“训练”按钮，画面弹出训练损失函数曲线，如图所示。任务实施

视觉识别系统训练与测试知识学习YOLO神经网络训练界面➢测试：单击选取测试文件后，单击“标签名更改”按钮，弹出vscode代码编辑器。如图所示。➢单击“编译”按钮，界面会显示编译进

度，如图所示。任务实施

视觉识别系统训练与测试YOLO神经网络训练知识学习代码更改标签名界面编译界面➢单击“测试”按钮进行测试。如图所示，系统能够识别“限速30km/h”和“禁止鸣笛”两个交通标志。任务实施

视觉识别系统训练与测试YOLO神经网络训练知识学习测试结果分工注意事项•

小组成员轮流通过

智能网联传感器装

调平台进行车道线

识别测试，并各自

做好记录。•

未操作人员认真观

摩、学习，取长补

短。组内分工5分任务实施技能操作

视觉识别系统训练与测试操作准备协助与

信息查询监督与管理记录操作操作钟5分任务实施技能操作视觉识别系统训练与测试

视觉识别系统训练与测试操作准备-制定计划工作

流程工

作

目

标工具

准备场地

整理工作

总结资料

查询任务

实施钟任务实施技能操作提示•在视觉传感器已装配、调试、

标定好的前提下，对视觉传感

器进行交通标志识别的测试。•YOLO软件按操作流程进行操作。5分

各小组推派代表

汇报计划制定情况视觉识别系统训练与测试汇

报

计

划操作准备钟•安全防护用品、视觉传感器等•智能网联传感器装调平台•平台装调手册•耐磨手套5分任务实施技能操作

视觉识别系统训练与测试资料/手册准备个人防护准备工具

准备场地准备钟•注意触电危险•YOLO软件操作符合规范，防止死机•做好识别功能的测试实操时间40

分钟(组长把控工作进度)将任务实施过程按要求填写记录在工作页表格