智能网联汽车技术与应用 课件 第3章 智能网联汽车环境感知

智能网联汽车技术与应用_第3章智能网联汽车环境感知概述：3.1.1环境感知的任务环境感知技术及传感器分类狭义的环境感知可以类比为人类驾驶员眼睛的功能，要求具备观察周围世界的能力，常用于感知的传感器可分为相机（Camera）、激光雷达（LiDAR），毫米波雷达（Radar）三种类别，相机又可分为单目相机、立体相机、红外相机等；激光雷达可分为机械式激光雷达、固态激光雷达和混合固态激光雷达等环境感知的四个主要核心任务包括单击此处添加项正文1）检测——指找出物体在环境中的位置单击此处添加项正文2）分类——指明确对象是什么单击此处添加项正文智能网联汽车环境感知概述：3.1.1环境感知的任务

3）跟踪——指随时间的推移观察移动物体单击此处添加项正文

4）分割（语义）——将图像中的每个像素与语义类别进行匹配，如道路、车辆、建筑、天空单击此处添加项正文

环境感知的广义概念解析广义的环境感知可以认为在人类驾驶员眼睛功能的基础上，进一步包含触觉（车辆状态/车内感知/轮地感知）、听觉（网联信息/环境声音）等环境多维度信息理解的能力，涉及面向驾驶员状态感知、土壤力学参数分析等多个感知任务智能网联汽车环境感知概述

环境感知的功能层次根据感知层次的不同，可运动目标的感知由低向高可被划分为三个层次：检测、跟踪、行为分析。层次越高，对智能单元运动的理解程度越深，越能更早、更准确地预测其行为轨迹的变化，为车辆的拟人化决策奠定基础智能网联汽车环境感知概述：3.1.3环境感知传感器应用环境感知传感器应用用于道路交通环境感知的传感器主要有超声波传感器、毫米波雷达、激光雷达、单/双/三目摄像头、环视摄像头等激光雷达激光雷达是工作在光波频段的雷达，它利用光波频段的电磁波先向目标发射探测信号，然后将其接收到的同波信号与发射信号相比较，从而获得目标的位置（距离、方位和高度）、运动状态（速度、姿态）等信息，实现对目标的探测、跟踪和识别，原始数据类型为所探测空间的三维点云数据智能网联汽车环境感知概述：3.1.3环境感知传感器应用毫米波雷达毫米波雷达工作在毫米波频段的雷达。毫米波是指长度为1～10mm的电磁波，对应的频率为30～300GHz；主要用于自适应巡航控制系统、自动制动辅助系统、盲区监测系统、行人检测等毫米波雷达具有以下几个特点：探测距离可达200m以上；探测性能好；响应速度快；适应能力强；抗干扰能力强；覆盖区域呈扇形，有盲点区域；无法识别交通信号与标志智能网联汽车环境感知概述：3.1.3环境感知传感器应用摄像头车载摄像头是实现众多预警、识别类ADAS功能的基础ADAS功能使用摄像头功能简介车道偏离预警（LDW）前视当前摄像头检测到车辆即将偏离车道时，就会报警前向碰撞预警(FCW)前视当前摄像头检测到与前车距离过近，可能发生追尾时，发出报警交通标志识别(TSR)前视、侧视识别前方道路两侧的交通标志车道保持辅助(LKA)前视当前摄像头检测到车辆即将偏离车道线时，就会向控制中心发出信号，然后由控制中心发出指令，及时纠正行驶方向行人碰撞预警(PCW)前视前视摄像头会标记前方道路行人，并在可能发生碰撞时及时发出报警盲点监测(BSD)侧视利用摄像头，将后视镜盲区内的影像显示在驾驶舱内全景泊车(SVP)前视、侧视、后视利用车辆前后左右的摄像头获取的影像和图像拼接技术，输出车辆周边全景图泊车辅助（PA）后视泊车时将车尾的影像显示在驾驶舱内，预测并标记倒车轨迹，辅助驾驶员泊车驾驶员注意力机制内置安装在车内，用于检测驾驶员是否疲劳、闭眼等智能网联汽车环境感知概述：3.1.4环境感知的模型机器学习方法演进与分类根据近年来机器学习方法的发展历程与趋势，按照机器学习模型层次结构的深度不同，可被分为基于浅层学习的方法和基于深度学习的方法两种浅层学习模型概览浅层学习的定义是相对深度学习而言的，其模型结构中至多包含一层或两层非线性特征变换。典型的浅层学习结构有传统的隐马尔可夫模型（HMM）、支持向量机（SVM）、决策树（DecisionTree）、Boost系列、条件随机场（CRFs）、浅层神经网络、高斯混合模型（GMM）、最大熵模型（MaxEnt）、逻辑回归（LR）等，可分为识别分类器和生成分类器两大类深度学习模型及神经网络：3.2.1感知机

感知机线性分类原理感知机是二分类的线性模型，只能够对线性可分的数据集分类，其基本原理是将输入数据的特征向量分类，输出为样本的类别深度学习模型及神经网络：3.2.1感知机

感知机的训练过程已经将样本的分类问题转化为求解误差最优解问题，即通过调整参数w和b，使得损失函数最小。

梯度下降法对参数的优化过程如下：w←ηyixib←b+ηyi分别对权重w和偏差b进行更新，η为学习率，x为输入的特征向量，y为符号函数，i为第几个输入的特征向量。感知机进行线性分类过程中，损失函数的梯度由下列公式给出：∇wL(w,b)=−xi∈Myixi∇bL(w,b)=−xi∈Myi深度学习模型及神经网络：3.2.1感知机深度学习模型及神经网络：3.2.2受限玻尔兹曼机受限玻尔兹曼机简介

受限玻尔兹曼机（RestrictedBoltzmannmachines，RBM）由GeoffHinton等人提出，适用于数据的降维、分类、回归、特征学习等。RBM是双层神经网络结构RBM模型与能量函数解析

RBM输入层的神经元以数据样本中的低级特征（如：灰度图的每个像素点）作为随机输入。RBM是基于能量的概率分布模型，对于给定的输入层ℎ和输出层，其能量函数可表示为

单击此处添加项正文深度学习模型及神经网络：3.2.2卷积神经网络

卷积神经网络卷积神经网络作为深度学习的代表算法之一，在图像处理领域有着广泛的应用和突出的效果。卷积神经网络依靠大量的离线数据和可靠的网络结构，引入局部连接和权值共享等结构，实现了特征提取的平移不变性，对图像的缩放、变换等不同的操作具有高度的不变性CNN主要由输入层、隐藏层、输出层等多个卷积层组成，结构之间的主要特点是局部连接、权值共享，达到大规模减少网络参数的效果深度学习模型及神经网络：3.2.2卷积神经网络

1.局部连接和权值共享CNN的一大优点是神经元之间的局部连接结构。早期的神经网络每层的神经元与相邻层之间全部的神经元保持相互连接，即全连接，下一层每个神经元的输入为上一层神经元的全部数据特征

深度学习模型及神经网络：3.2.2卷积神经网络

2．卷积卷积神经网络的输入层与其他神经网络功能一致，用来实现数据的输入。对于一张RGB图像，有三个图层，即输入层为三维像素矩阵。

深度学习模型及神经网络：3.2.2卷积神经网络

3．池化池化层也称为下采样层，常加在卷积层之后，对卷积后的特征矩阵进行pooling（池化）操作，整合得到更容易表达的新的特征矩阵。常用的池化操作是均值池化和最大值池化。

深度学习模型及神经网络：3.2.2卷积神经网络

4．激活激活函数通过函数将输入的特征处理并映射出来。早期的感知机和神经网络利用线性激活函数只能实现简单的线性分类，CNN中常利用非线性激活函数增加神经网络的非线性特征表达能力，解决线性模型不能解决的问题。神经网络中常用的激活函数主要是sigmoid，tanh和Relu。

深度学习模型及神经网络：3.2.2卷积神经网络深度学习模型及神经网络：3.2.2卷积神经网络

5．神经网络训练

一般神经网络的训练分为前向传播和反向传播过程。神经网络的前向传播过程，即输入样本映射到输出特征的过程。

交通场景语义分割方法：3.3.1语义分割方法概述

语义分割本质上是图像的分类任务。深度学习之前，在传统的语义分割方法经典图像分割算法综述中简单的“阈值法”、基于像素聚类的方法、“图划分”的分割方法等发挥着巨大的作用。其中，经典的基于“图划分”的分割算法主要包括“Normalizedcut”和“Grabcut”算法等交通场景语义分割方法：3.3.2典型语义分割方法

1．FCN(全卷积网络)语义分割FCN网络通过对图像的像素进行分类，解决了语义级别的图像分割问题。FCN网络是基于CNN的网络框架。其主要思想是使经典的CNN以任意大小的图像作为输入。CNN最后通常使用全连接层来进行预测，由于CNN仅接受和生产特定尺寸输入的标签的限制来自完全连接的固定层，因此，FCN将最后的全连接层用卷积层来替代，使得网络能够对任意大小的输入进行预测。交通场景语义分割方法：3.3.2典型语义分割方法

1．FCN(全卷积网络)语义分割FCN网络通过对图像的像素进行分类，解决了语义级别的图像分割问题。FCN网络是基于CNN的网络框架。其主要思想是使经典的CNN以任意大小的图像作为输入。CNN最后通常使用全连接层来进行预测，由于CNN仅接受和生产特定尺寸输入的标签的限制来自完全连接的固定层，因此，FCN将最后的全连接层用卷积层来替代，使得网络能够对任意大小的输入进行预测。交通场景语义分割方法：3.3.2典型语义分割方法

FCN主要运用了三种技术来实现图像的语义分割：1）全连接层转化为卷积层。2）反卷积。3）跳跃结构，多特征融合。交通场景语义分割方法：3.3.2典型语义分割方法

FCN存在的缺点：1）分割的结果还不够精细。2）基于CNN网络，将全连接层替换为了卷积层，将像素进行独立分类，忽略了图像中像素之间的联系。交通场景语义分割方法：3.3.3典型实例分割方法

2．SegNetSegNet的创新点在于用解码器对低分辨率的图像进行上采样时，并没有通过反卷积的方法，而是使用全新的反池化的方法。交通场景语义分割方法：3.3.3典型实例分割方法

3．PSPNetPSPNet的一大主要特色是金字塔池化模块。PSPNet的前端利用ResNet和空洞卷积（dilatedconvolution）提取特征图，特征图经过金字塔池化模块对四种不同尺度的特征进行融合，得到的带有整体信息的特征与前几层的特征图相连接，卷积后得到输出。项目配置CPUIntelXeonE5-2620RAM32GBGPUGTXTITANX操作系统Ubuntu14.04LTSCUDACuda8.0withCuDNNv5数据处理Python2.7,OpenCV,etc.框架TensorFlow交通场景语义分割方法：3.3.3典型实例分割方法

Mask-RCNN实例分割网络架构典型的实例分割网络为mask-RCNN实例分割网络，mask-RCNN网络是何凯明博士于2017年提出的基于两阶段目标检测算法提出的实例分割网络，取得了较好的效果。mask-RCNN网络架构整个网络的工作流程为1）输入图片进行预处理操作，或者输入处理后的图片2）将预处理后的图片输入到已经训练好的卷积神经网络中得到特征图交通场景语义分割方法：3.3.3典型实例分割方法

3）对特征图中的每一点设定预定个的ROI,获得多个候选ROI

4）将ROI输入到FPN网络进行二值分类和BoundingBox回归，过滤掉背景和一部分ROI

5）将原图和特征图的像素相对应以及将特征图和固定的特征相对应

6）对ROI进行分类（N类）、BoundingBox回归和MASK生成交通场景目标检测方法

01交通场景目标检测方法概述交通场景的目标检测通常通过摄像头、激光雷达、毫米波雷达等多种传感器来检测目标。根据每一种传感器的特点，将目标检测分为两大类：基于视觉的目标检测、基于雷达的目标检测

021）基于视觉的目标检测主要通过车载摄像头传感器完成单击此处添加项正文

03雷达检测技术对比分析2）基于雷达的检测，又可分为通过激光雷达的目标检测和基于毫米波雷达的目标检测。激光雷达可以对物体在距离上实现一个精准的定位；毫米波雷达则主要用于判断目标车辆或行人与自车的相对速度，方位等交通场景目标检测方法：3.4.1基于视觉的障碍目标检测方法基于视觉的障碍目标检测方法目标检测本质上是基于目标级别的图像分类任务。传统的基于手工特征提取的目标检测算法大体分为三步：1）创建滑动窗口，提取候选区域；2）提取特征，如方向梯度直方图（HistogramofOrientedGradient，HOG）特征，局部二值模型（LocalBinaryPattern，LBP）特征等；3）使用SVM等分类器得到分类结果。其中，可变性部件模型（DeformablePartbasedModel，DPM）算法作为传统目标检测算法的巅峰，实行“从部分到整体”的结构，将目标检测问题转化为目标的部分检测问题，再将局部检测的结果整合为一体，得到最终的检测结果R-CNN系列网络R-CNN网络具体的目标检测步骤R-CNN具体结构FasterR-CNN的方法是基于fastR-CNN生成，只是利用RPN（RegionProposalNetwork，候选区域网络）算法取代候选区域提取的方法生成ROI。RPN以特征图作为输入，利用卷积网络实现候选区域的提取。网络结构交通场景目标检测方法：3.4.1基于视觉的障碍目标检测方法基于视觉的障碍目标检测方法目标检测本质上是基于目标级别的图像分类任务。传统的基于手工特征提取的目标检测算法大体分为三步：1）创建滑动窗口，提取候选区域；2）提取特征，如方向梯度直方图（HistogramofOrientedGradient，HOG）特征，局部二值模型（LocalBinaryPattern，LBP）特征等；3）使用SVM等分类器得到分类结果。其中，可变性部件模型（DeformablePartbasedModel，DPM）算法作为传统目标检测算法的巅峰，实行“从部分到整体”的结构，将目标检测问题转化为目标的部分检测问题，再将局部检测的结果整合为一体，得到最终的检测结果1.R-CNN系列网络R-CNN网络具体的目标检测步骤R-CNN具体结构FasterR-CNN的方法是基于fastR-CNN生成，只是利用RPN（RegionProposalNetwork，候选区域网络）算法取代候选区域提取的方法生成ROI。RPN以特征图作为输入，利用卷积网络实现候选区域的提取。网络结构交通场景目标检测方法：3.4.1基于视觉的障碍目标检测方法2.Yolo(youonlylookonce)系列Yolo直接以整张图像作为输入，可以更好地区分背景和目标，一次性检测多个目标的位置和类别信息，实现端对端的目标检测。具体的网络结构：交通场景目标检测方法：3.4.1基于视觉的障碍目标检测方法Yolov2对Yolov1进行改进，主要是达到better（效果更好），faster（速度更快），stronger（泛化能力更强）的目的：1）Better：Yolov2修剪网络，删除全连接层和最后的池化层，引入BN层，得到更高分辨率的特征；2）Faster：大多数检测框架基于VGG-16提取特征，Yolo使用GoogleNet网络架构，传播速度更快，但准确率有下降；3）Stronger：和COCO等单个数据集直接分类不同，树形结构（WordTree）依据所属目标类别逐层分类。交通场景目标检测方法：3.4.1基于视觉的障碍目标检测方法Yolov2对Yolov1进行改进，主要是达到better（效果更好），faster（速度更快），stronger（泛化能力更强）的目的：1）Better：Yolov2修剪网络，删除全连接层和最后的池化层，引入BN层，得到更高分辨率的特征；2）Faster：大多数检测框架基于VGG-16提取特征，Yolo使用GoogleNet网络架构，传播速度更快，但准确率有下降；3）Stronger：和COCO等单个数据集直接分类不同，树形结构（WordTree）依据所属目标类别逐层分类。交通场景目标检测方法：3.4.1基于视觉的障碍目标检测方法3．SSD网络SSD英文全称为SingleShotMultiBoxDetector,该算法也是一种one-stage算法，且是基于多框预测的模型，其主要思路是经过CNN特征提取后，均匀地在图片的不同位置进行密集抽样，从而得到不同尺度的特征图，然后对图片中的目标进行分类和预测框的回归。交通场景目标检测方法：3.4.1基于视觉的障碍目标检测方法注意力机制（SENet）

SENet]全称为Squeeze-and-ExcitationNetworks.该网络主要由两部分组成，分别为Squeeze部分和Excitation部分，SE模块

（1）squeeze部分首先对图像进行一个压缩操作，即将原来的H*W*C的特征图压缩为通道级的全局特征，维度为1*1*C，感受域更广，一般通过globalpolling来实现

（2）Excitation部分在squeeze操作的基础之上进行excitation操作，学习各个通道间的关系，并得到不同通道的权重，最后乘以原来的特征图得到最终特征交通场景目标检测方法：3.4.2基于视觉的交通信号及标志检测方法红绿灯检测红绿灯检测的主要目标是对图像中的红绿灯进行一个定位与分类。智能驾驶的车辆根据红绿灯的分类结果来对当前的交通场景进行判断，在判定为绿灯且前方无障碍物的情形下通过该路口，否则原地等待交通场景目标检测方法：3.4.2基于视觉的交通信号及标志检测方法

红绿灯检测基于传统方法的交通信号灯检测首先生成交通信号灯候选区域，生成交通灯候选区域的方法主要包括人工提取的方法和根据GPS定位的方法1）人工特征提取。人工特征提取有颜色提取和形状提取等2）基于GPS先验信息的方法交通场景目标检测方法：3.4.2基于视觉的交通信号及标志检测方法

基于深度学习的交通信号灯检测YOLOv3的特征提取网络为Darknet53,由残差网络堆叠而成。检测网络可以通过三种尺度的特征图进行多尺度预测，将高层特征与底层特征相融合，大大提高了目标检测的准确率交通场景目标检测方法：3.4.2基于视觉的交通信号及标志检测方法

交通标志检测（1）传统的交通标志检测方法传统的交通标志检测简单地说，也是利用颜色特征，将图像转换到不同的颜色空间，从而分离出交通标志区域。传统方法在选取候选区时，一般经过如下步骤1）对输入的图像进行预处理，如去噪，图像增强等2）通过先验知识和大量观察样本，人工提取特征3）在进行候选区分类之后，进一步通过先验知识和其他一系列措施，过滤掉背景，尽可能多地保留交通标志区域进行识别（2）基于卷积网络的交通标志检测方法基于卷积网络的检测方法可以有效地避免图像预处理、人工提取特征等步骤，是一种端到端且比较高效的方法交通场景目标检测方法：3.4.3基于激光三维点云数据分类与目标提取

三维数据特征分类三维数据中能够提取的特征，可分为显性特征和隐性特征两大类别。其中，显性特征依赖于人工定义，按基元不同主要有：基于点的特征提取；基于体素的特征提取；基于切片的特征提取；基于对象的特征提取；基于关键点的提取等方法在分类/聚类方面，根据机器学习模型的深度不同，可分为浅层学习模型和深度学习模型两大类浅层学习模型在激光雷达的应用在浅层学习方面，主要模型有线性回归、逻辑回归、决策树、SVM等分类方法，以及K-Means、Meanshift、层次聚类等聚类方法。应用到激光雷达领域，主要方法包括1）基于模型拟合的提取方法交通场景目标检测方法：3.4.3基于激光三维点云数据分类与目标提取

2）基于区域生长的提取方法单击此处添加项正文

3）基于聚类分析的提取方法单击此处添加项正文

深度学习模型在点云数据的应用在深度学习方面，主要模型有卷积神经网络（CNN）、递归神经网络（RNN）、深度置信网络（DBN）及图网络（GN）等，成为当前点云数据感知领域的研究热点交通场景路面信息检测方法：3.5.1基于视觉的的路面信息检测

基于视觉的的路面信息检测车道线是指道路上以线条、箭头、文字、标记和轮廓标识等向交通参与者传递交通信息的标线，用以达到管制和引导交通的目的车道线检测是智能车辆环境感知系统的重要组成部分，当前的车道偏离预警系统（LaneDepartureWarningSystem,LDWS）、车道保持辅助系统（LaneKeepingAssistSystem,LKAS）等辅助驾驶系统以及高级别的自动驾驶都离不开对车道线准确实时的识别

基于传统图像处理的车道线检测（1）基于特征的车道线检测方法基于特征的车道线检测方法，主要利用车道线与路面及其周边环境信息之间的纹理、灰度值、梯度变化以及边缘等特征差异，通过边缘检测或阈值分割方法，将车道线与道路背景信息区分开来

交通场景路面信息检测方法：3.5.1基于视觉的的路面信息检测

基于传统图像处理的车道线检测（2）基于模型的车道线检测方法基于模型的方法是根据结构化道路的几何特征抽象出车道线的几何模型（直线模型、二次曲线模型，双曲线模型，以及样条曲线模型等），然后通过RANSAC算法、最小二乘法、霍夫变换等方法获得能够较好拟合车道线几何模型的参数，将车道线检测问题归纳为模型参数求解问题透视变换矩阵计算方法如下交通场景路面信息检测方法：3.5.1基于视觉的的路面信息检测

c)

d)

交通场景路面信息检测方法：3.5.1基于视觉的的路面信息检测

2．基于深度学习的车道线检测（1）LaneNet车道线检测LaneNet将车道线检测视为实例分割问题，每条车道线作为一个单独的实例，同属于车道线类别。网络由LaneNet和H-Net组成，LaneNet负责将图像中的车道线实例分离出来，组成每条车道线实例的像素集合具有一个车道ID标识，用以区分属于不同的车道线实例，H-Net根据输入图像的不同学习不同的透视变换参数，用于将车道线分割结果投影到鸟瞰图中，经三次多项式拟合后再映射回原图像中。交通场景路面信息检测方法：3.5.1基于视觉的的路面信息检测

2．基于深度学习的车道线检测（2）SCNN车道线检测

虽然卷积神经网络具有强大的从图像像素中提取语义信息的能力，但其层接层的结构尚未表现出充分的图像行列空间关系提取能力，而车道线特有的长条形状使得车道线像素具备在图像行列方向上的强关联性，利用这一特性可以提升CNN在车道线被遮挡情况下的性能。交通场景路面信息检测方法：3.5.1基于视觉的的路面信息检测

2．基于深度学习的车道线检测（3）基于行分类的车道线检测

基于深度学习的车道线检测除利用图像分割方法外，也有基于行分类的方法。交通场景路面信息检测方法：3.5.1基于视觉的的路面信息检测

3．基于激光雷达的车道线检测基于激光雷达的车道线检测方法主要利用车道线与路面反射强度不同的特性，车道线通常为白色或黄色的特性图层，对激光呈高反射，而由沥青或混凝土构成的道路表面对激光呈低反射和漫反射。介质回波强度/dBz物体类别沥青、混凝土5-8路面、建筑物等特性涂层12-30车道标线植被、金属45-150树木、车辆等交通场景路面信息检测方法：3.5.1基于视觉的的路面信息检测

4．道路标记识别要实现道路标记的识别，首先需要创建包含各种道路标记的数据集，每一类道路标记如白、黄、虚、实、单、双等均分配有对应的标签。VPGNet提出一个数据层以引入网格级别的注释，从而可以同时训练车道线和路面标记任务。交通场景路面信息检测方法：3.5.2基于激光雷达的路面检测水平面校准1）分割出大致地点交通场景路面信息检测方法：3.5.2基于激光雷达的路面检测1．水平面校准

2）找到地点所在平面

3）通过变换矩阵校准平面，将原始点云与变换矩阵T作点积就可得到校准后点云交通场景路面信息检测方法：3.5.2基于激光雷达的路面检测

格栅高度差法格栅高度差法一般可以分为以四个步骤1）根据格栅的尺寸生成格栅2）计算每个格栅最高点与最低点的高度差3）将计算所得的高度差与预先设定的高度差阈值进行比较，将格栅分类4进一步将格栅内的点进行分类

格栅最低高度0.2m以上方法生成格栅地图找到格栅内最低点，并储存该值，记为h将格栅内高于最低点,且不大于0.2m的点分类为地面点

姿态识别和行为分析在多传感器融合的帮助下，针对车辆的3D位姿识别已趋于成熟，而行人或用车人的姿态和行为分析仍主要依赖视觉图像处理技术同步定位和地图构建slam技术

基于传感器分类，SLAM算法主要分为激光SLAM和视觉SLAM两种激光SLAM实现厘米级定位精度激光SLAM系统对点云进行匹配和比对，计算出激光雷达距离和角度的改变，完成机器人定位。激光SLAM可以获得高精度的空间信息，测距精度达到厘米级，误差模型简单，在非强光直射的环境中能够稳定运行视觉SLAM研究主要分为三大类：单目、双目（或多目）、RGB-D融合SLAM提升算法效果视觉SLAM和激光SLAM在单独使用时都各有优缺点，因此SLAM研究者考虑融合二者，发挥不同传感器的优势，弥补各自的不足，进行数据融合，进一步提高SLAM算法的效果同步定位和地图构建slam技术：3.6.1基于视觉的SLAM

ORB-SLAM2ORB-SLAM2算法的整体框架

LSD-SLAMLSD-SLAM算法主要有三个组成部分：图像跟踪、深度图估计和地图优化图像跟踪部分连续跟踪从相机获取到的新一帧图像，即使用前一帧图像作为初始位姿，估计当前参考关键帧和新图像帧之间的位姿变换深度图估计使用被跟踪的图像帧，更新或者替换当前关键帧。深度更新采用基于像素小基线立体配准的滤波方式，同时耦合对深度地图的正则化地图优化模块将旧关键帧的深度信息插入到全局地图中，并采用尺度感知的直接图像配准方法来估计当前帧与邻近关键帧之间的相似变换，进而检测回环和尺度漂移同步定位和地图构建slam技术：3.6.2基于激光的SLAM

01LeGO-LOAMLeGO-LOAM是一种轻量级、基于地面优化的激光SLAM算法02LIO-SAMLIO-SAM是TixiaoShan发表的LeGO-LOAM的扩展版本，提出了一种紧耦合激光-惯性里程计方法，通过优化包含LiDAR里程计因子，IMU预积分因子，GPS因子和回环因子来得到机器人的全局一致的位姿，使用帧-局部地图匹配代替LOAM的帧-全局地图匹配极端工况与天气环境感知技术视觉认知环境感知技术解析基于视觉认知的环境感知技术是对由视觉摄像头所采集的真实道路环境进行理解的技术，主要包括图片场景标注、物体检测及识别、对交通场景的语义理解等工作，主要目的是通过计算机视觉技术和算法实现将复杂的包含多目标和场景的交通场景图片划分为预定义的分重叠区域进而转化为抽象的语义信息，以模仿人类视觉与大脑的抽象思维的处理过程极端工况与天气环境感知技术：3.7.1雾天图像处理方法

3.7.1雾天图像处理方法1．单尺度Retinex算法（SSR）输入一幅给定的图像S(x,y)可以分解为反射图像R(x,y)和入射图像L(x,y)。极端工况与天气环境感知技术：3.7.1雾天图像处理方法

1）读取原图S(x,y)。①若为灰度图则将图像每个像素的灰度值由整型（int）转换为浮点数(float)，并转换到对数域；②若输入是彩色图像，将图像分通道处理，将每个分量的像素值由整数值

转换为浮点数，并转换到对数域。

2）输入高斯环绕尺度C；将积分离散化，从而转换为求和，确定参数λ的值。

3）根据前面的公式：①若为灰度图，计算得到一个r(x,y)；②如果是彩色图像，则每个通道均有一个相对应的ri=(x,y)；4）将r(x,y)从对数域转换到实数域得到输出

图像R(x,y)。

5）对R(x,y)进行线性拉伸并以相应的格式输出显示。极端工况与天气环境感知技术：3.7.1雾天图像处理方法

2．生成对抗性网络（FD-GAN）去雾生成对抗性网络（FD-GAN）是一种完全端到端的具有融合判别器的网络。利用所提出的以频率信息为附加先验的融合判别器，该模型可以产生更自然、更真实的去模糊图像，减少颜色失真，减少伪影。极端工况与天气环境感知技术：3.7.2雨天图像处理方法

1．基于注意力生成对抗去雨注意力生成对抗网络(AttentiveGAN)的整体网络结构。极端工况与天气环境感知技术：3.7.2雨天图像处理方法

（1）雨滴污染图像的构成

雨滴污染图像可以建模为背景场景图像和雨滴图像的结合，这个雨滴模型是整个去雨网络的基础，具体模型如下:（2）上下文自动编码器

上下文自动编码器的作用是生成一个可以欺骗判别网络的去掉雨滴的图像。自动编码器的输入部分是输入的原始雨滴污染图像和由注意力递归网络生成的最终注意力映射的结合。多传感器融合：3.8.1多传感器数据融合原理

多传感器数据融合原理如下1）N个不同类型的传感器（有源或无源的）收集观测目标的数据传感器数据特征提取方法2）对传感器的输出数据（离散的或连续的时间函数数据、输出矢量、成像数据或一个直接的属性说明）进行特征提取的变换，提取代表观测数据的特征矢量特征矢量的目标属性决策方法3）对特征矢量进行模式识别处理（如，聚类算法、自适应神经网络或其他能将特征矢量变换成目标属性判决的统计模式识别法等）完成各传感器