智能网联汽车装配与调试课件：机器视觉系统装配与调试

机器视觉系统装配与调试《智能网联汽车装配与调试》目

录Contents视觉传感器的结构摄像头内参标定深度学习技术车辆和车道线识别技术03040102视觉传感器的结构01视觉传感器又称为成像装置或摄像装置，是智能车辆路径识别模块中摄像头的重要组成部分。视觉传感器的结构

视觉传感器的结构

⚫实现视觉功能的信息采集、转换和

扩展，提供可视化、真实、多级、多

内容的视觉图像信息⚫可以检测可见光、紫外线、X射线、近红外光等视觉传感器用于实现以上信息处理的图像传感器控制芯片如下图所示。视觉传感器的结构

视觉传感器的结构

视觉传感器的基本组成有哪些？光源模

换广义的传感器视觉数

器转图狭义的视觉摄像头视觉传感器是指图像传感器，它的作用是将镜头所成的图像转变为数字和模

拟信号输出，是视觉检测的核心部件，分为CCD图像传感器和CMOS

图像传感器两种，如下图所示。狭义的视觉传感器的结构智能网联汽车上的视觉传感器指的主要是车载视觉传感器，是ADAS系统的主要视觉传感器，借由镜头采集图像后，由视觉传感器内的感光组件电路及控制组件对图像进行处理并转化为电脑能处理的数字信号，从而实现感知车辆周边的路况情况。视觉传感器的结构谢谢观看T

H

A

N

K

S

F

O

R

W

A

T

C

H

机器视觉系统装配与调试《智能网联汽车装配与调试》目

录Contents视觉传感器的结构摄像头内参标定深度学习技术车辆和车道线识别技术03040102摄像头内参标定02

摄像头内参标定

摄像头内参标定程序调试摄像头内参标定原理一二棋盘坐标系主要用于相机的标定，如图所示，在棋盘坐标系中，XP

轴指向右边，

YP轴指向下方。棋盘坐标系原点是棋盘左上角。每个棋盘角代表坐标系中的另一点。例如，原点右侧的角为(1,0)，原点下方的角为(0,1)一、摄像头内参标定原理图棋盘坐标系原理棋盘格的尺寸(高度，宽度)用格数表示，如下图所示。一、摄像头内参标定原理图棋盘格尺寸车辆坐标系如下图所示，Xv轴从车辆向前指向，Yv轴指向左方。从正面看，原点位于道路表面，直接位于摄像头焦点下方。当放置棋盘格时，XP轴和YP轴必须与车辆的Xv轴和Yv轴对齐。一、摄像头内参标定原理图车辆坐标系一、摄像头内参标定原理水平方向标定如下图所示：图水平方向标定一、摄像头内参标定原理垂直方向标定如下图所示：图垂直方向标定其实，计算摄像头标定技术的最基本的一个方法就是通过小孔成像的原理，何为小孔成像，就是光通过一个很小的孔后，能够在另外一块板上投射出一个完整的物象，这就叫做小孔成像，而这种成像技术中，有一个很重要的参数，就是角度，所有物体的投射都要受到这个角度的影响，所以，我们通过计算这个角度，就能够计算出真实世界中各个物体之间的真实距离，如果有未知的参数，就用方程组来求得。

一、摄像头内参标定原理

车载摄像头软件上的程序调试，具体流程如下：车辆放置在车道线中间，停放要求如下如所示：二、摄像头内参标定程序调试图车辆摆放位置1、尽量保证学习道路的车道线为实线，如学习道路的车道线是虚线，需保证车道线每条线段的长度大于4米

二、摄像头内参标定程序调试

2、单条车道线的线宽应在10cm-30cm之间，同时左/右两条车道线的线宽比值小于2倍3、左/右两条车道线的总长度不小于40m注意：使用笔记本电脑连接路由器网线，确保能够上网，使用提供的登录账号登录FieldHelper软件，如下图所示(如提示升级软件，点击忽略即可)二、摄像头内参标定程序调试图登录界面登录成功后点击“连接设备”，输入设备IP(双目摄像头IP为192.168.1.251)，如下图二、摄像头内参标定程序调试图主界面所示。

二、摄像头内参标定程序调试

图连接界面进入到主页后，显示设备的型号、序列号、固件类型、设备状态、固件版本以及显示屏的型号、序列号、固件版本，点击“安装设备”按钮，进入设备安装流程。如下图所示。二、摄像头内参标定程序调试图安装界面在相机检测中，用户选择左下角“跳过该步骤”，如下图所示：二、摄像头内参标定程序调试图相机检测在通讯设置中，选择不连接第三方设备，不使用车速信号，保存并下一步。如下图所示：二、摄像头内参标定程序调试图通讯配置在相机安装中，详情可点击“查看示例”，然后根据实际情况填入相机的安装参数，点击“保存并下一步”按钮，如下图所示：二、摄像头内参标定程序调试图参数配置用户需要实际测量和输入相机安装位置信息的说明：g)相机安装位置中左相机指从驾驶员视角看到的设备的左相机。d)车辆左侧相机距前挡风玻璃右边缘的距离(单位：cm)；b)车辆左侧相机距前挡风玻璃左边缘的距离(单位：cm)；二、摄像头内参标定程序调试c)车辆左侧相机距前保险杠的距离(单位：cm)；a)车辆左侧相机距离地面的距离(单位：cm)；f)车辆两个前轮外边缘的间距(单位：cm)；e)车头距离地面的距离(单位：cm)；姿态学习配置：车速不允许超过40KM/h或车辆无法上路行驶，需要选择工具学习模式学习，点击“下一步”按钮，在相机视野内显示出两条绿色标识后，方可点击“开始学习”完成操作。如下如所示二、摄像头内参标定程序调试图工具学习

二、摄像头内参标定程序调试

图开始学习姿态感知设置：在姿态感知配置中，用户选择左下角“跳过该步骤”，如下图所示：二、摄像头内参标定程序调试图姿态感知配置预警设置：用户可以根据特定需求，可将预警设置的“启用车速”参数进行适当的修改，点击“保存并下一步”，如下图所示：二、摄像头内参标定程序调试图预警设置同步设置：无需填写信息，直接点击“同步设置”按钮，完成配置。如下图所示：二、摄像头内参标定程序调试图同步设置

二、摄像头内参标定程序调试

图设置成功谢谢观看T

H

A

N

K

S

F

O

R

W

A

T

C

H

机器视觉系统装配与调试《智能网联汽车装配与调试》目

录Contents视觉传感器的结构摄像头内参标定深度学习技术车辆和车道线识别技术03040102车辆和车道线识别技术03

车辆和车道线识别技术

车道线识别技术车辆识别技术一二识别算法用于确定图像序列中是否存在车辆，并获得其基本信息，如大小、位置等。摄像头跟随车辆在道路上运动时，所获得道路图像中车辆的大小、位置和亮度等是在不断变化的。根据车辆识别的初始结果，对车辆大小、位置和亮度的变化进行跟踪。由于车辆识别时需要对所有图像进行搜索，所以算法的耗时较大。而跟踪算法可以在一定的时间和空间条件

约束下进行目标搜索，还可以借助一些先验知识，因此计算量较小，一般可以满足预警系统的实时性要求。一、车辆识别技术概

念基于模型的识别方法基于光流场的识别方法基于机器学习的基于特征的识别目前用于识别前方运动车辆的方法主要有：一、车辆识别技术识别方法方法基于特征的识别方法是在车辆识别中最常使用的方法之一，又称为基于先验知识的识别方法。对于行驶在前方的车辆，其颜色、轮廓、对称性等特征都可以用来将车辆与周围背景区别开来。因此，基于特征的车辆识别方法就以这些车辆的外形特征为基础从图像中识别前方行驶的车辆。当前常用的基于特征的方法有使用阴影特征的方法、使用边缘特征的方法、使用对称性特征的方法、使用位置特征的方法和使用车辆尾灯特征的方法等。

1.

基于特征的识别方法一、车辆识别技术前方运动车辆识别其实是对图像中车辆区域与非车辆区域的定位与判断的问题。基于机器学习的识别方法一般需要从正样本集和负样本集提取目标特征，再训练出识别车辆区域与非车辆区域的决策边界，最后使用分类器判断目标。通常的识别过程是对原始图像进行不同比例的缩放，得到一系列的缩放图像，然后在这些缩放图像中全局搜索所有与训练样本尺度相同的区域，再由分类器判断这些区域是否为目标区域，最后确定目标区域并获取目标区域的信息。机器学习的方法无法预先定位车辆可能存在的区域，因此只能对图像进行全局搜索，这样造成识别过程的计算复杂度高，无法保证识别的实时性。2.

基于机器学习的识别方法一、车辆识别技术光流场是指图像中所有像素点构成的一种二维瞬时速度场，其中

的二维速度矢量是景物中可见点的三维速度矢量在成像表面的投影

。通常流光场是由于摄像头、运动目标、或二者在同时运动的过程中产生的。在存在独立运动目标的场景中，通过分析光流可以检测目标数量、目标运动速度、目标相对距离以及目标表面结构等。3

.

基于光流场的识别方法一、车辆识别技术基于模型的识别方法是根据前方运动车辆的参数来建立二维或三

维模型，然后利用指定的搜索算法来匹配查找前方车辆。这样方法对

建立的模型依赖度高，但是车辆外部形状各异，难以通过仅建立一种或者少数几种模型的方法来对车辆实施有效的识别，如果为每种车辆

外形都建立精确的模型又将大幅度增加识别过程中的计算量。4

.

基于模型的识别方法一、车辆识别技术多传感器融合技术是未来车辆识别技术的发展方向。目前，在车辆识别中主要有两种融合技术，即视

觉和激光雷达传感器的融合技术，以及视觉和毫米波雷达传感器的融合技术。一、车辆识别技术(a)原始图像1(b)原始图像2图RCNN车辆检测的原始图像如下图所示，利用MATLAB的RCNN车辆检测器检测图成像中的车辆。一、车辆识别技术(a)图像1检测结果(b)图像2检测结果图车辆检测结果

一、车辆识别技术

分别读取两张图中的图像，得到车辆检测结果如下图所示道路识别就是把真实的

道路通过激光雷达转换成汽

车认识的道路，供自动驾驶汽车行驶；或通过视觉传感器识别出车道线，提供车辆在当前车道中的位置，

帮助智能网联汽车提高行驶的安

全性。二、车道线识别技术(2)非结构化道路识别。非结构化道路相对比较复杂，

一般没有车道线和清晰的道路边界，

或路面凹凸不平，或交通拥堵，或受到阴影和水迹的影响。多变的道

路类型，复杂的环境背景，以及阴影与变化的天气等，都是非结构化道路识别方法所面临的困难，道路

区域和非道路区域更难以区分，所

以非结构化道路识别是无人驾驶汽

车的难点。非结构化道路识别主要依据车道的颜色或纹理进行检测。(1)结构化道路识别。结构化道路具有明显的车道线

标识线或边界，几何特征明显，车道宽度基本上保持不变，如城市道

路、高速公路。结构化道路识别一般依据车道线的边界或车道线的灰

度与车道明显的不同实现检测。结

构化道路识别的方法对道路模型有较强的依赖性，且对噪声、阴影、遮挡等环境变化敏感。结构化道路

识别技术比较成熟。1、根据道路构成的特点，道路识别可以分为结构化道路和非结构化道路识别。二、车道线识别技术

二、车道线识别技术

基于视觉传感器的道路识别就是通过视觉传感器采集道路图像，并通过算法处理道路图像，识别出车道线。基于雷达的道路识别就是通过雷达采集道路信息，并通过算法处理信息，识别出车道线。2、根据所用传感器的不同，道路识别分为基于视觉传感器的道路识别和基于雷达的道路识别。(

1

)

基

于

视

觉

传

感

器

的

道

路

识

别

。(2

)基于雷达的道路识别。谢谢观看T

H

A

N

K

S

F

O

R

W

A

T

C

H

机器视觉系统装配与调试《智能网联汽车装配与调试》目

录Contents视觉传感器的结构摄像头内参标定深度学习技术车辆和车道线识别技术03040102深度学习技术04深度学习技术-实例深度学习技术-应用深度学习技术-定义深度学习技术二三一深度学习是机器学习的一个类型，该类型的模型直接从图像、文字或声音中学习执行分类任务。通常使用神经网络架构实现深度学习。“深度”一词是指网络中的层数，层数越多，网络越深。传统的神经网

络只包含2层或3层，而深度网络可能有几百层。一、深度学习技术-定义定

义深度神经网络结合多个非线性处理层，并行使用简单元素操作，受到了生物神经系统的启发。它由一个输入层、多个中间层和一个输出层组成。各层通过节点或神经元相互连接，每个中间层使用前一层的输出作为其输入，如图所示。一、深度学习技术-定义图深度神经网络自动驾驶汽车要想做出正确的决策，前提就必须要做到完全的感知，目前的自动驾驶技术，识别车前到底是一个行人还是一辆车已经不是什么难题，但是如果要判断这是一辆轿车还是一辆SUV，行人是一个成人还是一个小孩可能并不是那么容易。要想做到更高等级的识别，就必须借助深度学习技术。二、深度学习技术-应用图像识别是深度学习最为擅长的，只需对系统进行训练，

系统便