无人驾驶技术原理及应用 课件 5.1视觉感知与应用概述

刘元盛视觉感知与应用概述无人驾驶中视觉系统的作用感知系统将准确的感知结果及时传递给无人车的决策模块，给智能决策提供可靠的依据，其中基于视觉的感知主要由各类摄像头及其后续算法实现。无人车通过车上安装的摄像头来感知无人车是否在可行驶区域内，有无车道偏离，还会识别行驶过程中道路上的各种标识物、静态障碍物、动态障碍物以及红绿灯等信息。障碍物检测车道线检测语义分割概述

摄像机根据镜头和布置方式的不同主要有以下四种：单目摄像机、双目摄像机、三目摄像机和环视摄像机。单目摄像头

单目摄像机模组只包含一个摄像机和一个镜头。由于很多图像算法的研究都是基于单目摄像机开发的，因此相对于其他类别的摄像机，单目摄像机的算法成熟度更高。优点：结构简单，成本低，便于标定和识别。缺点：在单张图片里，无法确定一个物体的真实大小。它可能是一个很大但很远的物体，也可能是一个很近很小的物体。通过相机的运动形成视差，可以测量物体相对深度。但是单目SLAM估计的轨迹和地图将与真实的轨迹和地图相差一个因子，也就是尺度（scale），单凭图像无法确定这个真实尺度，所以称尺度不确定性。单目视觉测距方法

测距原理图在较高距离测量等距阵列点（如标定板），经过插值，再进行等比例放大即可得到每个像素点对应的实际地面的坐标。双目摄像机由于单目测距存在缺陷，双目摄像机应运而生。优点：基线距离越大，能够测量的距离就越远；并且可以运用到室内和室外。缺点：配置与标定较为复杂，深度量程和精度受到双目基线与分辨率限制，视差计算非常消耗计算资源，需要GPU/FPGA设备加速相近的两个摄像机拍摄物体时，会得到同一物体在摄像机的成像平面的像素偏移量。有了像素偏移量、相机焦距和两个摄像机的实际距离这些信息，根据数学换算即可得到物体的距离。原理图如右图所示。双目摄像机三目摄像机

特斯拉AutoPilot2.0上安装的三目摄像头

不同摄像头获取到同一场景的不同数据，需要在后台进行融合，某种意义上而言，就是数据处理结果的PK，谁更准确就采纳谁。但由于硬件的差异性本身存在，导致后台目前对于这种误差并没有合理的规则和解决方案去进行优胜劣汰的处理。这种无法决策的局面，还会同其它的传感器如激光雷达、毫米波雷达探测到的结果再进行一次融合（PK），多重的不确定性导致最终难以做出普遍意义上“正确合理”的决策。环视感知

无人驾驶中视觉检测的基本方法

第一类是传统的目标检测算法：Haar特征+Adaboost、HOG（梯度直方图）特征+SVM（支持向量机）算法和DPM（可变形部件模型）等；第二类：以R-CNN为代表，基于目标候选框的思想的Two-stag检测算法，首先提取目标候选框，再利用检测网络在目标候选框的基础上完成模型训练；第三类：YOLO家族算法，YOLOv1~YOLOv4，以及基于YOLO思想改进的算法，摒弃了提取目标候选框的步骤，直接利用检测网络产生目标的类别和位置信息，拥有更高的检测速度。车道线检测

边缘检测+霍夫变换彩色图像转灰度，模糊处理，边缘检测，霍夫变换颜色阈值将图像转颜色空间（一般HSV），对新的colorspace中的各个通道设置阈值（大于阈值取值为1，小于取值为0），得到结果。透视变换获取透视变换矩阵，透视变换，车道线检测车道线检测

基于深度学习方法Segmentationbranch负责对输入图像进行语义分割（对像素进行二分类，判断像素属于车道线还是背景）；Embeddingbranch对像素进行嵌入式表示，训练得到的embedding向量用于聚类。最后将两个分支的结果进行结合利用Mean-Shift算法进行聚类，得到实例分割的结果。传统车道线检测方法（如下）主要依赖于高度定义化，手工特征提取和启发式方法以确保车道线分割出来。基于深度学习的方法—利用深度神经网络代替人工提取特征的方法。行人检测

HOG+SVM行人检测第一个有里程碑意义的成果是NavneetDalal在2005的CVPR中提出的基于HOG+SVM的行人检测算法。梯度方向直方图(HOG)是一种边缘特征，它利用了边缘的朝向和强度信息。视觉检测的难度

光照变化和背景干扰