【《视觉SLAM以及卷积神经网络相关背景知识理论概述》10000字】_第1页
【《视觉SLAM以及卷积神经网络相关背景知识理论概述》10000字】_第2页
【《视觉SLAM以及卷积神经网络相关背景知识理论概述》10000字】_第3页
【《视觉SLAM以及卷积神经网络相关背景知识理论概述》10000字】_第4页
【《视觉SLAM以及卷积神经网络相关背景知识理论概述》10000字】_第5页
已阅读5页,还剩13页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

PAGE51大学硕士学位论文视觉SLAM以及卷积神经网络相关背景知识理论概述目录TOC\o"1-3"\h\u17228视觉SLAM以及卷积神经网络相关背景知识理论概述 1305501.1引言 157491.2视觉SLAM类型简述 2279211.3相机模型 2236231.3.1单目相机模型 3186121.3.2双目相机模型 5234741.4坐标变换 5180781.5视觉里程计 7215281.5.1特征点 8212761.5.2对极几何 11269181.5.3三角测量 1444711.6后端优化 15118111.6.1BundleAdjustment 15226441.6.2回环检测 16217491.7卷积神经网络理论介绍 17142801.7.1深度学习简介 17261691.7.2卷积神经网络 181.1引言本章主要从视觉SLAM以及卷积神经网络相关的基础理论知识出发,介绍与视觉SLAM以及卷积神经网络相关的各部分模型的作用、其它选择之间的对比以及卷积神经网络的搭建,讲解各个模块的作用,由浅入深的剖析了论文中需要使用的知识点。1.2视觉SLAM类型简述视觉SLAM系统从传感器方面进行分类,可以概括性的分为单目视觉SLAM系统,双目视觉SLAM系统以及RGBD视觉SLAM系统[30]。三种视觉SLAM系统使用的传感器以及优缺点对比如表1.1所示。表1.1三种视觉SLAM传感器优缺点对比实物图优点缺点单目相机体积小价格低需要初始化获得尺度信息双目相机可以间接获得深度信息对CPU计算速度要求较高RGBD相机可以直接获得深度信息易受光照等因素影响单目视觉SLAM系统使用的传感器是单目相机,单目相机由于其成本低廉并且可以获得丰富的环境信息,得到了广泛的运用。但是其缺点就是无法获得尺度信息,即远处的特别大的物体和近处的特别小的物体当投影到同一张图片的像素平面上时,它们的大小是相同的。因此,使用单目视觉SLAM系统时,需要进行初始化以获得尺度信息。双目视觉SLAM系统使用的输入图像传感器是双目相机,即拥有两个摄像头的相机,可以同时获得左目和右目两帧数据。相比于单目视觉SLAM系统,双目视觉SLAM系统可以依靠左右眼的视差通过计算可以得到图像中的像素点距离相机的真实距离,也就可以获得深度信息。但是,也同样增加了CPU计算的负担,因此,通常用在计算能力较强或者可以依靠GPU加速的设备上使用。RGB-D视觉SLAM系统使用的输入图像数据传感器是RGB-D相机,RDB-D相机除了可以获得三通道的RGB图像外,同时还可以获得对应的RGB图像中所有像素点深度信息,以深度图的格式保存。RGB-D相机按照工作原理可以分成两个类别,一类是通过飞行时间法(Time-of-flight)获得像素深度信息的,例如Kinect2相机。另一类是通过红外结构光来获取对应RGB图像中所有像素深度信息的,获取深度信息核心方法是通过一对红外发射装置和红外接收装置来获取深度,例如Kinect1代,IntelRealSense等。但是,由于使用的是红外结构光,因此对相机周围环境光照变化比较敏感,因此常被用在室内SLAM场景,不适合室外使用。1.3相机模型相机主要负责将现实世界中观察到的物体映射到相机的成像平面中,投影为一个个的像素点。从世界坐标系到相机坐标系转换的数学模型叫做相机模型,比较常用的是针孔相机模型和双目相机模型。通过针孔相机模型,可以对相机的位姿进行求解。由于深度相机可以直接获得深度信息,且拥有了深度信息后与其它相机的处理过程大同小异。因此,主要推导单目相机模型和双目相机模型。1.3.1单目相机模型单目相机模型即针孔相机模型,针孔相机模型如图1.1所示。是相机坐标系,轴正方向表示相机的正前方,轴正方向表示相机的正下方,轴正方向表示相机的正右方。表示相机的成像平面,在该平面上计算像素点的坐标。平面中的是相机的光心,从点到成像平面的距离叫做焦距。为真实世界中的一个点,经过光心映射到相机的成像平面。图1.1针孔相机模型假设图1.1左侧图中点的坐标为,投影到成像平面的坐标为,从图1.1种右侧图中的相似三角形可以得到: (1.1)其中,负号表示成像平面上得到的图像与现实中的图像呈倒立关系,这也符合实际中小孔成像的特点。为了方便计算,假设将图形投影移动到与原图像同一侧,得: (1.2)整理得: (1.3)于是,得到了世界坐标系下的物体在相机得成像平面得左边。但是,这还不是最终得到的像素坐标,因为在像素坐标系和该坐标系下仍然存在一个线性变换和平移。假设这个像素平面为,世界坐标系中的P点投影到像素坐标系得二维坐标为,相机成像平面到像素坐标系方向缩放倍,平移,在方向缩放倍,平移。可以得到: (1.4)将式1.3带入到式1.4中得: (1.5)令,则可以得到: (1.6)式1.6中,为从相机坐标系到像素坐标系的变换系数,单位为像素/米。将式1.4进行齐次化表示后,再写成矩阵相乘的形式得: (1.7)式1.7中,K为相机的内参,通常当相机制作完成后,这些参数就已经被固定,无法再改变,P为物体在相机坐标系下的坐标。当直接使用世界系中的坐标时,得: (1.8)式1.8中表示世界坐标系中的某一个点的坐标,当世界中的物体从世界坐标系变换到相机坐标系时还需要经过一次旋转(旋转矩阵R)和一次平移(平移向量t),即变换矩阵T,即表示世界坐标系下的点映射到像素坐标系时像素点的坐标。再对式1.8进行两边同乘等运算后,最终可以简化成: (1.9)从式1.9可以清晰的看出单目相机的小孔成像模型,这个模型实现了将世界坐标经过一系列矩阵运算后,变换到像素坐标系下的像素坐标。1.3.2双目相机模型由于双目相机左目、右目观察同一个物体的位置不同。因此,同一个物体投影到相机平面的像素点,在左右眼像素平面的坐标不同,这个差值叫做视差。双目相机通过视差来计算图中像素点的深度信息。双目相机模型如图1.2所示。P为待观察的物体,和分别是左右眼相机的光心,当使用左侧相机的坐标系时,应该是-。f为成像平面到相机之间的距离,即焦距。b为两个光心之间的连线,即基线。基线越大,双目相机可以看到有效的距离也就越远。图1.2双目相机模型与几何模型假设空间中存在一个点P,这个点在左右两个相机成像平面的位置坐标分别是和,根据相似三角形之间的比例关系得: (1.10)其中,,叫做视差。代入得: (1.11)由式1.11可知,当使用双目相机SLAM系统时,即使不知道像素点的深度信息,也可以通过计算的方式来获得每个像素点的深度信息。但是,只有在判断出同一个像素点在左右眼成像平面的对应关系时,才可以进行深度的计算。在纹理较少或者图像不清晰的场合仍然难以估计像素点的深度。并且,估计每一个像素点的深度信息,需要进行大量的计算。因此,目前使用双目相机的SLAM系统仍然需要GPU或者FPGA加速计算。1.4坐标变换视觉SLAM通过相机需要将拍摄到的处于世界坐标系中的物体的坐标进行坐标变换,切换到相机坐标系中,最终切换到像素坐标系。如果不进行这些变换,则会导致无法进行后序计算。由世界坐标系到相机坐标系变换示意图如图1.5所示。图1.5中,为世界坐标系,为相机坐标系,可以看到,世界坐标系中的一个点P经过一个变换矩阵可以变换到相机坐标系。接下来进行转移矩阵的推导。图1.5坐标系间的欧式变换设世界坐标系为一组正交基,P点在该组基下的坐标为,相机坐标系也为一组正交基,P点在该坐标系下的坐标为。虽然使用了两个不同的坐标系,但是表征的是同一个点,所以: (1.12)对式1.12,进行两边同时左乘,可以得到: (1.13)式1.13中,将矩阵R定义为旋转矩阵。旋转矩阵是一个行列式为1的正交矩阵(一个矩阵的逆矩阵等于它自身的转置矩阵)。通常将旋转矩阵的集合定义为一个特殊的李群,即特殊正交群(SpecialOrthogonalGroup)。表示为: (1.14)在欧式变换中,除了旋转矩阵之外,还有平移矩阵。即: (1.15)式1.20中,t为平移向量,T为变换矩阵。由于矩阵维度的差异,引入齐次坐标,得: (1.16)定义T的集合为特殊欧式群(SpecialEuclideanGroup)。表示为: (1.17)在后序的章节中,当使用梯度下降法求解相机位姿的时候,需要对R,T求导,特殊正交群和特殊欧式群解决了无法直接求导的问题。在欧式变换中,相机的任何一次坐标变换都可以由旋转矩阵和平移向量完整的体现出来。1.5视觉里程计经典的视觉SLAM系统通常由前端视觉里程计模块、后端回环检测模块和地图构建模块三个部分组成[31]。前端视觉里程计主要负责从相机输入的图像中计算出相机自身的位姿以及运动并且建立初步的离散地图。该模块在整个系统中扮演着重要的角色,如果视觉里程计向后端输出的相机位姿不够准确,则可能会导致后端优化难以进行,甚至可能导致整个视觉SLAM系统崩溃。从工作方式角度来分类,视觉里程计主要有两种工作方式,即基于直接法的视觉里程计和基于特征点法的视觉里程计。基于特征点法的视觉里程计是目前使用的较为广泛的视觉SLAM前端,因为稳定的特征点可以保证视觉SLAM系统的鲁棒性。基于特征点的视觉里程计的运行过程大致包括从输入图像提取特征点,计算提取到的所有特征点的相应的描述子,通过描述子对相邻帧间的特征点进行匹配,剔除误匹配的特征点以及通过匹配的特征点使用对极几何的方法进行相机自身的位姿估计。基于特征点的视觉SLAM存在很多问题,首先特征点的描述子的计算需要耗费大量的时间,尤其当提取的特征点的数目较多的时候。其次,当周围环境是低纹理或者有很多相似物的场景时,很难提取到有效的特征点,也无法进行匹配。最后,每一帧的图像拥有成千上万个像素点,仅仅依靠提取到的数百个特征点进行匹配,丢失了很多有效的环境信息。基于直接法的视觉里程计主要是为了解决特征点法需要进行大量计算的问题。直接法基于灰度不变假设[32],即假设同一个物体,在不同帧的图像中的像素的灰度值保持不变。直接法与特征点法的优缺点对比如表1.2所示。表1.2直接法与特征点法对比优点缺点特征点法准确匹配时,系统鲁棒性较好描述子的计算消耗大量时间直接法不需要计算描述子运行实时性较好基于灰度不变假设相机快速运动时无法进行计算综上所述,基于特征点的视觉SLAM系统虽然存在存在耗时较大以及稳定性较差等问题,但是当提取到精确匹配的特征点时,仍然可以计算出相机的准确位姿。所以,基于特征点的视觉SLAM算法仍然是现在主流的的研究方向。1.5.1特征点计算机中比较常用的特征点有Harris[32]、SIFT[11]、SURF[12]、FAST[13]、ORB[14]等。这些特征点提取方法应用比较多,各自的使用场景也有所不同,下面简单介绍其优缺点。Harris角点检测是使用是对输入图像帧的灰度进行处理的角点检测方法,所使用的策略是计算各个像素点的一阶导数。Harris角点检测的本质是检测像素点周围其它像素的曲率与梯度来提取角点的。SIFT特征点首先使用高斯卷积法在原来的输入图像上建立尺度空间,然后在该空间上提取具有尺度不变性的特征。SIFT是一种十分经典且常用的特征点,它充分考虑了光照变化、尺度变化和相机旋转等因素。但是,由于这种特征点的计算过程非常复杂,因此提取特征点的速度十分慢,普通的CPU目前仍然无法满足使用SIFT特征点进行实时运行SLAM的需求。SURF特征点与SIFT特征点相比,计算量大大降低了,算法的运行速度也加快了,SIFT特征是128维的,SURF仅仅是SIFT的一半。FAST特征点是采用加速分割的方式来加速计算的,通过计算每一个像素点周围特定几个位置的灰度值,如果这些像素点的灰度值与中心这个点的像素的灰度值相比偏大,则这个点被认为是角点。FAST特征点提取响应值计算范围示意图如图1.3所示。图1.3FAST特征点响应值计算(a)SIFT特征点 (b)SURF特征点(c)FAST特征点 (d)ORB特征点图1.4提取SIFT、SURF、FAST、ORB特征点图ORB特征点是在FAST特征点的基础上进行了改进,首先对计算好的原始FAST特征点分别计算Harris响应值,然后根据Harris响应值选取前N个响应值最大的角点集合作为最终提取到的特征点。其次,由于FAST特征点不具有方向性,ORB为FAST特征点添加了与尺度和旋转相关的信息,尺度由构建图像金字塔,并在每一层上检测角点实现。而ORB特征点的旋转信息则由灰度质心法计算得到。同时,引入了BRIEF[33]描述子,通过计算每一个特征点周围256对像素点,之间的大小从而得到描述子。若则该位为1,否则该位值为0。计算256对像素点,最终每一个特征点点都拥有一个256位长的描述子。正是由于ORB特征点具有方向和尺度的信息,并且每个特征点都有描述子,才使得ORB特征点有很好的旋转不变性和缩放不变性。因此,ORB-SLAM算法才能够在尺度变换、光照变化等场景都能表现出较强的鲁棒性。使用慕尼黑工业大学的数据集TUM中rgbd_dataset_freiburg1_xyz的第一帧图像进行测试,分别提取SIFT、SURF、FAST、ORB特征点如图1.4所示。提取到个SIFT、SURF、FAST、ORB特征点个数分别是1530个、1933个、3496个、500个。从相邻两帧当提取到特征点以后需要进行匹配,粗匹配的效果图如图1.5所示。当设置描述子间距离匹配的经验值为30时,匹配的特征点个数为452个。图1.5ORB特征点匹配当使用RANSAC方法剔除误匹配的特征点后,可以明显的看到特征点的匹配的准确率提升了很多。剔除误匹配后的效果如图1.6所示。图1.5剔除误匹配后的特征点匹配1.5.2对极几何在视觉SLAM中通常通过特征匹配来得到匹配的特征点。当拥有了两帧图像匹配的特征点之后就可以通过计算的得到这两帧之间相机的运动情况,即可以求得旋转矩阵R和平移矩阵t,这个方法就是对极几何(EpipolarGeometry)。如图2-6所示,为真实世界中的物体,时间在第一帧图像上的像素点为,时间在第二帧图像上的像素点为,即,是同一个空间点在两个成像平面上的投影。,为相机的光心。将,无线延长,则会相交与P点。,,P三个点会形成一个平面,这个平面叫做极平面(Epipolarplane)。,连线与两个成像平面,的交点为,,通常称为极点(Epipoles)。,之间的连线被称为基线(Baseline)。与,与之间的连线,被称为极线(Epipolarline)。图2-6对极几何假设在第一帧图像的坐标系下,P点的坐标为,由针孔模型可以得到: (1.18)式1.18中K为相机的内参矩阵。化简得: (1.19)取,带入式1.19得: (1.20)式1.20两边同时左乘(t的反对称矩阵)得: (1.21)式1.21两边同左乘得: (1.22)因为与和都垂直。将它在和进行内积操作,将得到0向量。因此,式1.22可以化简为: (1.23)将,代入到式1.23得: (1.24)式1.24就是对极约束,主要反映的是,,三个点处在同一个平面,即极平面。通常令,叫做本质矩阵(EssentialMatrix),,叫做基础矩阵(FundamentalMatrix)。可以看到,本质矩阵与基础矩阵之间仅仅相差相机的内参K,因此,当求解相机位姿时,使用本质矩阵或者基础矩阵的两种方法实际上是等价的。将E和F代入到式1.24可以得到: (1.25)本质矩阵E由平移向量t和旋转矩阵R组成,因此,只要求出了E就可以求解出这两帧图像之间相机的运动情况。平移向量t是一个三维向量,有三个自由度,旋转矩阵是一个的矩阵,但是也只有三个自由度(偏航角、俯仰角、横滚角)。因此,本质矩阵E应该拥有6个有六个自由度,但是由于运动过程中的尺度等价性。本质矩阵E实际只有5个自由度。因此,本质矩阵E的求解可以通过5对点联立方程组的方式来进行求解,但是由于本质矩阵E的内在性质是非线性性质,当求解线性方程时会比较困难。因此,通常使用“八点法”来求解本质矩阵(即通过8对匹配的特征点联立方程组来求解本质矩阵E)。设一对匹配点的归一化坐标为,,本质矩阵E的9个元素都未知,根据对极约束可以得到: (1.26)将本质矩阵E展开成向量表示: (1.27)式1.26可以化简为等价的表示方式: (1.28)根据八点法,将匹配好的八对点都带入式1.28得到矩阵方程: (1.29)从式1.29中,可以解出本质矩阵中的每个元素,即可以解出本质矩阵E,进而可以使用奇异值分解(SVD)的方法求解出旋转矩阵R和变换向量t,即可以求解出变换矩阵T。1.5.3三角测量根据相邻两帧间的特征点的描述子匹配关系得到匹配的特征点对,使用对极几何求得相机的旋转矩阵和平移向量之后,需要用相机的运动估计特征点的在空间中的位置。由于在单目SLAM中无法直接获得相机的深度信息,因此需要通过三角测量(Triangulation)的方式来估计相机的深度信息。三角测量是指通过在不同的地方以不同的角度观察同一个点,得到同一个物体在图像中不同的像素位置,进而判断该点的距离。该方法最早由高斯提出用于测量学中[36]。在地理学以及天文学中都有应用,在视觉SLAM中,主要用来估计像素点的距离。图1.6三角测量计算像素深度假设对于输入图像和,将左图作为参考帧,移动到右图的变换矩阵为T(),相机的光心为和。在图像中有的特征点,在图像中有的特征点。从理论角度来讲,和会相交于一点P,即两帧图像中的和都对应着现实世界中的同一点P。然而,往往由于噪声的影响和无法相交于一点,存在一个误差。因此,通常使用最小二乘法来求解。假设对于图像和的特征点和的归一化坐标为和,那么它们将满足式1.30: (1.30)对式1.30两边同时左乘得: (1.31)由于,所以可由式1.31分别求解得到深度和,有了两帧像素点得深度信息,就可以确定它们的空间坐标。但是,通常由于噪声的存在,这个等式并不会严格相等。因此,通常会选择使用最小二乘的方法求解最小二乘解而不是零解。需要注意得是,三角测量是由平移计算得到的,相机发生纯旋转时是无法通过三角测量估计深度的,因为对极约束将永远满足。因此,在单目相机的初始化过程中,不可以仅仅通过旋转来初始化,这样会导致初始化失败,要有平移才是推荐的初始化的方式。在平移存在的情况下,根据平移的角度大小,还存在三角测量的矛盾[2]。1.6后端优化前端视觉里程计通过相邻帧间特征点匹配关系得到相机的变换矩阵(R、t)和局部地图点以后,将这些数据传递给后端,后端使用非线性优化的方法将相机运动的位姿和部分地图点进行优化。视觉SLAM中后端优化的主要方式是BundleAdjustment(捆集调整,光束平差法)[37]。1.6.1BundleAdjustment所谓的BundleAdjustment是指从视觉重建中提炼出最优的3D模型和相机参数(包括内参K和外参R、t)。从每一个特征点反射出来的几束光线(Bundlesoflightrays),在把相机姿态和特征点空间位置做出最优的调整(Adjustment)之后,最后收束到相机光心的这个过程。图1.7观测方程计算流程图前端视觉里程计将特征点从世界坐标转换到像素坐标的过程(图1.7),可以概述如下:第一步将世界坐标中的点P转换到相机坐标,需要使用相机的外参(R,t);第二步将相机坐标系下的坐标投影到归一化平面,得到归一化坐标;第三步考虑归一化坐标畸变情况,得到去去畸变前的原始像素坐标、;第四步根据相机内参模型,计算像素坐标、。这一过程整体在视觉SLAM系统中可概括为求解观测方程,如式1.32所示。其中x代表相机位姿,它的李代数为,y代表三维的路标点,z是观测数据,即像素坐标。 (1.32)使用最小二乘(非线性优化)的方式对这个等式中的参数进行优化,那么这次观测的误差为: (1.33)将其他所有时刻的观测数据都求解误差,设为相机在位姿处观测路标点产生的观测数据,那么整体的代价函数(CostFunction)可以写为: (1.34)将式1.34对最小二乘问题进行求解,相当于使用BundleAdjustment同时对位姿和路标点进行了优化。该方程的求解有很多方法,例如:最速下降法、牛顿法、高斯牛顿法、列文伯格—马夸尔特方法等。1.6.2回环检测视觉SLAM经过前端视觉里程计和后端非线性优化以后,已经可以在简单的、较小的场景下运行。但是当处于复杂的、长航时的环境时,由于前端视觉里程计的帧间累积误差的存在,可能会出出现解算出的位姿与现实差距较大甚至视觉里程计失效的情况。考虑到现实世界中的驾驶路线的特点,经常经过相同的场景。因此,引入回环检测的模块。虽然后端非线性优化能够估计最大后验误差,但随着时间的增长,位姿以及地图点的累积误差会越来越大。位姿估计能能估计相邻帧间的位姿,如果能够将第0帧与第100帧、200帧的数据都建立起来联系,那么视觉SLAM累计误差的问题就可以被解决了。回环检测通过检测当前输入的帧与历史中出现的关键帧之间的相似性,来判断是否经过了相同的地点。如果是相同的地点则开启全局优化线程,将与当前帧有共视关系的帧的位姿和地图点进行优化。从而减小累计误差的影响,构建一个全局一致(GlobalConsistent)的地图。图1.8回环检测作用示意图(a)真实轨迹(b)由于前端只给出相邻帧间的位姿变化,优化后的PoseGraph出现漂移(c)填加回环检测后的PoseGraph可以消除累积误差回环检测对于整个视觉SLAM有着举足轻重的作用。它关系到估计的相机轨迹和地图中的地图点在长时间工作模式下的有效性和准确性。另外,由于回环检测提供了当前数据与所有历史数据之间的联系,在跟踪算法(Tracking线程)丢失之后,还可以使用回环检测进行重定位。因此,回环检测对整个SLAM系统精度和稳定性的提升是非常明显的。甚至在某些时候,SLAM研究者们将仅有前端和局部后端的系统称为VO(视觉里程计),而把带有回环检测和全局后端的系统称为SLAM[2]。1.7卷积神经网络理论介绍1.7.1深度学习简介随着计算机硬件以及算法的发展,深度学习(DeepLearning)在日常的研究以及实际项目中,表现出了相比于其它结构更加优异的表现。在房价预测,自然语言处理(NLP),图像分类(ImageClassification),图像特征识别(ImageFeatureRecognition)等方面都表现出色。深度学习主要用来解决两类预测问题:分类问题和回归问题。分类问题是指需要预测出结果是什么。例如预测图片中的动物是猫还是狗。回归问题则是需要计算出某一个可能的值。例如未来的某一天某个小区的房价等。这两类问题的本质都是一样的,其主要工作是使模型在训练集上进行不断的训练,以优化每个特征的权重(Weight)和偏差(Bias),使得真实值与预测值的差值尽可能小。将训练好的网络移到测试集即可以进行预测。常见的深度学习算法有朴素贝叶斯[38],决策树[39],K-近邻[40],随机森林[41],聚类[42]算法等。深度学习训练模型的方式有监督学习(SupervisedLearning)与非监督学习(UnsupervisedLearning)。监督学习是指在训练集上的每一个样本都有真实值,可以通过计算预测值与真实值的差值来计算损失,进而对模型中的参数进行优化。例如:决策树等算法。然而,非监督学习则是指训练集中的样本没有真实值,需要其它方式来计算损失。例如:聚类算法等。1.7.2卷积神经网络深度学习在图像处理方面通常使用卷积神经网络(convolutionalNeuralNetwork)。用在图像中物体识别,行为识别以及图像语义分割等方面。比较经典的卷积神经网络有AlexNet[23]、GoogleNet[22]、ResNet[43]以及SuperPoint[44]等。卷积神经网络分为输入层、隐藏层和输出层三部分。其中隐藏层通常对于不同的网络包含不同的网络结构,通常包括卷积层、池化层、Inception层、激活函数等。(1)卷积层卷积层有若干个卷积单元(卷积核)组成,卷积核的参数通过反向传播算法进行更新。每一个卷积核都用来提取某一种类型的特征。第一层的卷积核只能够提取边缘、角点等简单的特征,更加深层的卷积层则可以从图片中提取出更加复杂的人的肉眼观察不到的特征。这也正是卷积神经网络的核心之处。如图1.9所示一个输入为的图像,使用一个的卷积核,进行一次步长为1的卷积操作(没有Padding),可以得到输出为的图像。卷积操作对图像进行压缩同时提取了特征。图1.9卷积操作示意图从图中还可以看出,当使用的卷积核对图像进行步长为1的卷积操作时,图像边缘的像素值只能参与一次卷积计算。但是,图像中心的像素值可以参与多次卷积操作,这会造成边缘部分的特征丢失。因此,卷积操作还会使用一个超参数padding(零填充),在图像边缘部分添加像素值为0的像素点,这不仅使得边缘的像素特征保留,而且不会引入额外的噪声。如图1.10所示。图1.10padding=1的卷积操作(2)池化层由于每一个卷积层需要提取若干不同的特征,因此每一个卷积层都有若干个卷积核,每一个卷积核进行一次卷积操作都会得到一个和原图像一样大小的特征矩阵(Padding=SAME)。因此,每一层进行一次卷积操作都会增大需要计算的面积。为了减小计算量,每进行一次卷积操作后,需要进行一次数据降维,该层叫做池化层(PoolingLayer),也叫做下采样层。池化操作通常被分为最大池化(MaxPooling)和均值池化(AveragePooling),顾名思义最大池化就是选择这一区域的最大值作为这一区域值的代表,均值池化就是选择这一区域的平均值作为这一区域值的代表。如图1.11所示,将输入大小为图像经过进行一次,步长为2的最大池化操作后,可以得到一个大小为的输出图像(Padding=SAME),输出图像的维度减小了,整幅图像的大小减小了。特征图缩小有可能影响卷积神经网络的计算的准确度,因此,通过增加特征图的深度来弥补这种缺点(这里深度扩大了2倍)。图1.11最大池化操作因此,池化操作主要是为了减小网络的计算量,保留显著特征、降低特征维度、增大kernel的感受野。其次,通常这些池化单元具有平移不变性,即使图像发生小的偏移和位置变换,提取到的特征依然会保持不变。由于增强了对网络对图像移动的鲁棒性,这样可以忽略目标的倾斜、旋转之类的相对位置的变化,以此来提高网络提取特征的准确性。因此,最大池化采样方法是一个高效的降低数据维度的采样方法。(3)激活函数设卷积层的权重参数为w,损失为b,则输入图像x经过一层卷积层后得到输出。如果仅仅是一

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论