基于视觉认知与深度学习的LiDAR点云自动分类方法研究

硕士学位论文 论文题目：基于视觉认知与深度学习的LiDAR点云自动分类方法研究作 者： 蓝建航导 师： 董卫华 副教授系别年级： 地理学与遥感科学学院 2013级学 号： 201321170108学科专业： 地图学与地理信息系统完成日期： 2016年05月北京师范大学研究生院北京师范大学学位论文原创性声明本人郑重声明： 所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期： 年 月 日学位论文使用授权书学位论文作者完全了解北京师范大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属北京师范大学。学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学位论文。保密的学位论文在解密后适用于本授权书。本人签名： 日期： 导师签名： 日期： 基于视觉认知与深度学习的LiDAR点云自动分类方法研究 项目资助：国家自然科学基金项目（41471382）；北京师范大学教学建设与改革项目（14-07-01）摘 要由于LiDAR点云分类中地物类型多样，地物结构复杂，特定的特征和分类器很难适用于不同场景。如何自动提取有效的分类特征，是LiDAR点云自动分类的关键问题。为此，本文开展了以下三个方面的研究工作：1）本文首先选取25类几何特征和80个窗口大小，提取了2000个几何特征。之后，利用多维定标和k均值聚类对25个特征和80个窗口大小进行聚类。利用随机森林方法评估几何特征的分类性能；2）本文将LiDAR点云插值图像作为暗视条件下视觉认知过程，提取不同尺度的亮度图和方向图。并分别提取基于itti模型和gbvs模型的特征图、激活图和显著图。利用随机森林方法评估几何特征的分类性能；3）本文将LiDAR点云插值而成的DSM图像按每一像元为中心裁剪成2828大小的图像，归一化后作为卷积神经网络的输入，并结合分类标签训练卷积神经网络，评估其分类性能。本文的数据采用ISPRS于2010年提供的机载LiDAR点云数据集，以及三个实验样区的分类图像。实验结果表明：1）利用2000个几何特征进行分类时，三个实验区的kappa系数达0.93以上。建筑、人工地表、自然地表和植被的分类精度依次降低。此外，几何特征可以分为滤波型、第一特征型、第二特征型和第三特征型。滤波型的分类精度最高，kappa系数最高可达0.7。窗口大小可分为小窗口(0.52.5m)、中等窗口(2.510m)和大窗口(1040m)。有效的窗口大小主要集中在0.5 m2.5 m，少部分分布在以5 m、10 m和20 m。但特征之间存在大量的冗余信息和不相关信息，特征的筛选和组合增大了工作量。2）视觉认知原始图和特征图的分类精度可高达0.91以上。各类地物类型的分类精度排序与基于几何特征分类结果一致。利用向前选择法挑选原始图、itti特征图和gbvs特征图子集时，前5个特征的kappa系数便大于0.90。各类视觉认知特征间的相关性较低，结合不同尺度、不同类别、不同方向的视觉认知特征能够利用较少的特征获得较高的精度。3）基于卷积神经网络三个实验区分类的kappa系数在0.61到0.71之间，总体精度介于0.72到0.80。尽管卷积神经网络分类精度低于基于几何特征和视觉认知的分类精度，但卷积神经网络的分类模型在其它区域具有更高的通用性。将分类模型用于其它区域时，基于卷积神经网络的kappa系数要高出0.2左右。总之，基于视觉认知特征和卷积神经网络能够提高LiDAR分类的性能。关键词：LiDAR点云，地表分类，视觉认知特征，深度学习，卷积神经网络Based on visual cognition and deep learning of LiDAR Data Automatic ClassificationABSTRACTDue to the diversity of object classes and the complexity of object structures, it is hard to get good performance to apply same features and classifier to different scenarios. How to manually design or automatically extract effective features for classification is full of importance. To solve this problem, this paper carried out the following experiment: 1) Firstly, 25 categories geometric features incorporating 80 window sizes were selected, and total 2000 geometric features were extracted. We used multidimensional scaling and k-means clustering tocluster the 25 features and 80 window size. We performed Random Forest to assess the performance of geometric features; 2) We interpolated LiDAR point to raster image, which were regarded as visual cognitive process under dark conditions. We firstly extracted intensity maps and orientation mapss with different scales, and then extracted feature maps, activation map and saliency map according to itti/gbvs model. Random Forest was also used te evaluate the classification with thses visual cognitive features. 3) The DSM was cut in to 28 28 images, which were normalized and combined with classification labels to train convolution neural network. We also evaluated the classification performance.The experiment data was provided by ISPRS in 2010, including an airborne LiDAR point cloud data sets and classification image of three areas. The results showed that: 1) Using the 2000 geometric features for classifcation, kappa coefficient of the three experimental area were all larger then 0.93. The accuracy of building, artificial ground, natural gournd and vegetation classification accuracy were in descending order. In addition, the geometric features could be divided into the filter type, the first, second and third eeigenvalue type. The highest classification accuracy was achived with filter type, whose kappa coefficient was up to 0.7. Window size could be divided into small window (0.5 2.5m), middle window (2.5 10m) and large window (10 40m). Effective window size concentrated in 0.5 m to 2.5 m, also included 5 m, 10 m and 20 m. There were a lot of redundant and irrelevant information of these features, and selection and combination of features increased the workload. 2) Classification with visual cognition features would higher than 0.91 or more. The order of the accuracy for the objects was consistent with the classification results obtained by geometric features. When using forward selection method to pick subset of original image, itti feature map and gbvs feature map, it was found that the first five feature kappa coefficient will be greater than 0.90. The correlation of each pair of visual cognition features was low. Combining with different scales, types of visual cognition feature and directions could get better classification with fewer features. 3) Kappa coefficient based on convolution neural network for the three experimental areas was between 0.61 to 0.71, and the overall accuracy ranged from 0.72 to 0.80. Although convolutional neural network achive lower accuracy compared with the result of Random Forest with geometric characteristics or visual cognition features. convolutional neural network had a better versatility in other areas. When perfoming classification model on other regions, kappa coefficient of convolutional neural network could get a larger 0.2 than the other two models. In summary, based on visual perception characteristics and convolution neural network could improve the performance of LiDAR classification.KEY WORDS：LiDAR data, Classification, Visual Cognitive Feature, Deep Learning, Convolution Neural NetworkIII目 录摘 要IABSTRACTII目 录1第1章 绪论11.1 研究背景和意义11.2 LiDAR点云分类现状21.2.1 滤波、分割与分类21.2.2 LiDAR点云分类特征41.2.3 LiDAR点云分类方法81.3 视觉认知概述91.4 深度学习概述101.5 研究目标、问题、内容111.5.1 研究目标111.5.2 关键问题111.5.3 研究内容111.6 研究框架和论文结构12第2章 实验区选取与数据预处理142.1 数据介绍142.2 数据预处理162.3 点云分类标签17第3章 基于几何特征的LiDAR点云分类183.1 几何特征选取和聚类183.2 随机森林与精度评价223.3 基于点云几何特征的分类结果24第4章 基于视觉认知模型的LiDAR点云分类274.1 视觉认知模型274.2 LiDAR点云视觉认知特征294.3 基于视觉认知特征的分类结果33第5章 基于深度学习的LiDAR点云分类365.1 深度学习方法365.1.1 人工神经网络365.1.2 卷积神经网络385.2 卷积神经网络设计405.3 基于卷积神经网络的分类结果42第6章 结论与展望456.1 结论456.2 创新点466.3 展望46参考文献47科研经历51致 谢52图目录图 1 基于点的几何特征邻域选取方式5图 2 总体研究框架图13图 3 实验数据以及测试数据15图 4 LiDAR点云异常点剔除前后对比图16图 5 LiDAR点云分类标签图17图 6 不同窗口大小下的几何特征示意图19图 7 窗口间的相关系数和聚类结果21图 8 几何特征种类聚类图21图 9 基于几何特征组合的分类精度F值25图 10 Area 1各几何特征分类kappa系数图26图 11不同地物类型最大F值26图 12各地物类型F值最大时各几何参数窗口大小26图 13 Itti视觉显著度计算框架（Itti，1998）27图 14 不同方向的Gabor算子二维图（Itti，1998）27图 15 LiDAR视觉认知原始原始亮度图和方向图30图 16 基于itti模型的特征图、激活图和显著图31图 17 基于gbvs模型的特征图、激活图和显著图32图 18 LiDAR视觉认知特征相关系数图34图 19 视觉认知特征向前选取法特征选择结果图35图 20 神经网络和神经元示意图（Alpaydin，2014）36图 21神经网络演示图（）37图 22 卷积神经网络结构和示例（Schmidhuber，2015）38图 23 CNN卷积层示意图（Schmidhuber，2015）39图 24 基于CNN分类的输入图像示例图40图 25 不同学习参数下CNN训练分类误差图41图 26 不同深度下的CNN训练分类误差图42图 27 神经网络学习的特征43表目录表 1 LiDAR点云几何参数6表 2 LAS Format 1数据存储格式14表 3 测试区域不同地物类型栅格像素个数统计表17表 4 测试区域不同地物类型LiDAR三维点个数统计表17表 5 地物分类混淆矩阵表23表 6 基于2000个几何特征分类的精度评价表24表 7 LiDAR视觉认知特征表29表 8 视觉认知特征分组分类精度评价表33表 9 人工神经网络常用激活函数列表37表 10 DLTools卷积神经网络设置示意40表 11 卷积神经网络卷积层深度设置表41表 12 基于卷积神经网络的分类精度评价表42表 13 基于区域1的训练模型测试其它区域的分类精度评价表444基于视觉认知与深度学习的LiDAR点云自动分类方法研究第1章 绪论1.1 研究背景和意义激光雷达扫描测距技术（Light Detection and Ranging, LiDAR）是从20世纪60年代发展起来的一门高新技术1。LiDAR技术包括两个部分，分别是全球定位系统（Global Position System, GPS）和惯性导航系统（Inertial Navigation System, INS）。激光雷达发射的激光在遇到物体后返回，通过测量激光发射和接收时间间隔，可以获得出发射点与目标点之间的距离，结合GPS和INS记录的激光雷达当前位置和姿态信息，最后获得目标点的三维信息。激光雷达可以搭载在卫星、飞机和车辆上，随着搭载平台尺度逐渐减小，采样密度逐渐增大。根据传感器的类型，激光雷达数据可分为离散型和全波型。离散型激光雷达通过发射小足迹的激光束从而获得每一点的三维信息，全波型激光雷达通过发射较大足迹的能量脉冲测量不同时间返回的能量强度并记录整个回波信息。同遥感影像等数据源相比，LiDAR数据具有精度高、穿透强、采样密和周期短等多种优势1。具体表现在：LiDAR具有极高的测量精度，平面精度大约在0.250.5m之间，高程精度大约在0.050.2m之间2；LiDAR的穿透性很强，能够记录多次回波，反应地物的结构信息，即使在比较密集的丛林中，也能起到比较好的效果；LiDAR采样密度高，一般在每平米几个到几十个点，能比较全面的获得地面的信息；LiDAR采集速度更快，周期短，大大节约了测量成本。LiDAR数据能够提供地表三维坐标，最早应用于数字高程模型的提取3。LiDAR技术大量应用于地物分类、海岸线检测、森林资产清查、地震损失估算以及考古等领域。作为一门高新技术，LiDAR技术在地球科学中发挥着重要作用，为解决问题提供了一种全新的方法。近年来，LiDAR数据被越来越多地应用于地物分类4。早期的研究中，机载LiDAR数据的研究主要集中在分离地面点和非地面点的滤波算法和提取DEM提取上5。随着LiDAR数据采集精度的提高，研究人员已不满足于单纯提取地表高程信息，开展了大量利用LiDAR数据提取地物的研究工作，如道路、建筑物和植被等地物5。除了针对特定地物的提取，监督分类是LiDAR点云分类的常用方法。监督分类根据训练样本，包括特征参数和类别标签，采用某一模型建立类别判别函数，预测新的数据所属类别。LiDAR点云分类常见的类别有建筑、植被、自然地表、人工地表、水体和裸地。使用的特征包括高程、强度、回波次数以及在其基础上计算的几何特征和回波特征。监督分类模型有最大似然分类器、支持向量机、决策树和随机森林、人工神经网络以及马尔可夫随机场或条件随机场4; 6。在地物提取或地表分类中，地物类型多种多样，就城市场景而言，有建筑、植被、街道、自然地表、路灯和车辆等多种地物。不仅如此，每种地物的结构也较为复杂，以北京建筑为例，有板楼、塔楼、四合院等类型，建筑的形状、高度及至屋顶都有所不同。因此，LiDAR点云的高程、强度、几何特征以及回波信息很难适用于不同场景。研究中大量使用了几何特征，但几何特征间存在冗余大和最优窗口大小不确定的问题。在分类模型上，最大似然分类器和支持向量机依赖特征分布模型，决策树和随机森林在随着特征增多变得越来越庞大，人工神经网络随着隐藏层增多容易陷入局部最优解。传统的分类器不能直接利用邻域类别的上下文信息，只能依赖于几何特征的选取。基于统计信息的马尔可夫随机场和条件随机场有效利用了上下文信息，但不能反应数据本身的特性。LiDAR点云分类的特征选取和分类模型依然是应用的难点和研究的热点。在目视判读中，人眼视觉系统在观察点云的过程中，能够通过平移、旋转和缩放等操作有效判断点云类别。对人眼视觉信息处理的研究发现，视觉认知处理过程包括两方面7：一是自下而上的视觉注意机制，识别目标场景的兴趣区域；一是自上而下的视觉拓扑机制，从整体到局部逐步获取信息。视觉注意机制能够快速获取目标场景的主要信息，应用于目标检测识别和图像分割等方法8。视觉拓扑机制能够提取大范围的全局信息，有助于对目标场景的认识9。视觉认知为LiDAR点云分类提供了新的思路，如何运用视觉认知是值得探索的方向。随着Google旗下DeepMind公司研法的AlphaGo围棋4:1战胜李世石九段，深度学习（Deep Learning）充分展现了它在人工智能方面的潜力。2006年，Hinton等人10通过模拟人脑多层抽象的过程，通过贪婪无监督的预训练方法构造了7层神经网络，一定程度上打破了神经网络的桎梏。之后深度学习迅猛发展，深度置信网络、限制性玻尔兹曼机、卷积神经网络和回归神经网络等模型陆续被提出，并成功应用于图像分类识别、语音识别和自然语言处理等方向。同以往的机器学习模型想比较，其显著都显著提高，成为STATE-OF-THE-ART算法，代表着现阶段的最高水平。研究与人眼视觉认知的多层抽象机制相似的深度学习，对LiDAR点云的分类有着重要的意义。LiDAR点云分类仍然是研究的热点和难点，引入视觉认知和深度学习对LiDAR点云分类有着重要的借鉴意义，有助于提高LiDAR点云分类精度。1.2 LiDAR点云分类现状1.2.1 滤波、分割与分类LiDAR点云预处理中，滤波、分割或分类是后续建模、分析的基础。滤波是指区分地面激光点和非地面激光点的过程，分类是指区分不同地物类型的过程，分割是指将点云分解成均质性区域的过程，区域内部同质，相邻区域间异质。对比三者间的关系，滤波可以看作是地面激光点与非地面激光点的分类，分割是对所有非连续均质区域的分类。 LiDAR点云滤波LiDAR点云滤波方法可以分为基于点的滤波算法和基于分割的滤波算法11。基于点的滤波中：有基于插值的滤波，其主要思路是通过对比某点高程和该位置通过插值估算的高程之间的差值，并设定阈值进行判定12；有基于数学形态学的滤波，主要通过数学形态学算法区分地面点，如侵蚀算法、膨胀算法、开运算、闭运算13；有基于几何形态的滤波，即通过考虑地面点同非地面点的几何形态的差异进行分离的，常见的有基于最小值和基于坡度两种14; 15。不同的滤波方法在不同场景下各有优劣，基于插值的滤波简单易行，基于形态学的滤波适用于剔除植被，基于几何形态的滤波在地表平缓区域发挥优势。影像分割是土地利用和土地覆盖分类的重要方法，研究人员引入该方法来进行LiDAR点云滤波。基于分割的滤波是指根据地面点云的均质性将地面点提取出来。主要包括：基于区域增长的滤波算法，以“地面种子点”为基本单位，通过考察点与其周围的关系来判断是否搜索扩张，直到没有可接受的邻近点时，生长结束16；基于聚类的滤波算法，计算点云中各个三维点的属性信息，利用聚类方法提取地面点11; 17。Filin 11 则根据相似性特征进行LiDAR激光脚点的分割和分类。首先，在属性空间中计算特征向量，包括高差、坡度、法向量、与原点距离、n-邻域拟合曲面的残差等，然后利用特征向量进行聚类分析。点云分割过程中使用的特征主要包括几何特征3（最大坡度、最大高差、相关系数、RMSE等）、纹理特征18; 19（灰度共生矩阵、灰度梯度矩阵、半方差图等）、统计特征20; 21（均值、偏度、峰度、熵值）和语义特征22; 23（强度、回波次数等）。基于分割聚类的方法对地物的均质性有较高要求。 LiDAR点云分割和分类目前，LiDAR点云分类的地物类型主要包括道路、植被和建筑物。LiDAR点云地物分类方法也被称作在滤波基础上的二级分类。早期的地物提取多在滤波的基础上，根据不同地物的特征进行提取。在道路提取方面，Alharthy等人24利用回波强度和高程信息来提取道路；Clode等人25将末次回波的LiDAR数据内插，采用形态学滤波方法得到DTM，然后按照一定的回波强度范围提取出道路；Akel等人26首先将点云转化为不规则三角网，计算每个三角形的法方向和三个顶点的平均高程，然后根据法方向和平均高程差进行区域增长，完成对整个数据集的分割，最后根据分割区域的面积和区域之间的邻接关系提取出道路区域；在植被提取方面，Rutzinger等人27利用首末两次回波的高差和高程纹理提取城区高植被；Chen等人28先将LiDAR数据生成距离图像，再利用图像处理的方法来提取植被；Reitberger等人29首先从全波形LiDAR数据中提取回波次数、强度和回波宽度等信息，利用分水岭算法分割树冠模型，再根据不同树种的高度、形状特征对树种进行分类。遥感影像常于LiDAR数据一起用于植被的提取30; 31在建筑物提取方面，Rottensteiner等人32结合多光谱影像实现了 LiDAR数据的建筑物提取，采用基于不均匀误差分布函数的分层鲁棒内插算法，把地面上的激光点与屋顶及其它物体上的激光点分开。徐花芝33首先构建数字高程模型和数字地表模型，通过分析数字地表模型和数字高程模型的高度差值提取建筑物点。Zhang Keqi34首先使用改进的形态学滤波算法进行滤波，然后采用区域增长算法提取出建筑物点。实际上，地面、道路、植被和建筑物的提取是相互补充促进的，其并集构建了完整场景。对于特定地物的分类方法由滤波方法发展而来，针对地物的特殊性计算不同的地物特征。之后的研究中多采用监督分类的方法，直接将点云分为不同的地物类型4; 35。下面具体介绍LiDAR点云监督分类的分类特征和分类方法。1.2.2 LiDAR点云分类特征 高程和几何特征LiDAR点云分割或分类通常直接应用于原始3D点云或者由LiDAR点云提取的数字地表模型（Digital Surface Model，DSM）上。作为新的特征空间，LiDAR点云能够描述地物三维空间的几何信息。对于每一个三维点，获取给点范围的邻域点，可以计算一组几何特征。几何特征可以与点云强度、全波LiDAR特征以及融合遥感影像特征一起用于地物提取和地表分类。几何特征作为LiDAR点云提供的有别于其它遥感数据的最为重要的地表信息，得到广泛关注。目标点与邻域内最低点的高程差是使用最多的特征，能够简单度量邻域内点云的方差信息。然而，高程差只考虑目标点和邻域最低点的高程信息，丢失了邻域内其它点的高程信息，因而许多新的几何特征被先后应用。Axelsson36计算插值栅格图像的二阶导数来表示方差，Mass和Vosselman37引入原始高程、最大坡度和拉普拉斯算子作为插值栅格图像的分类特征。不同于以往关注方差信息，Filin11提取平面参数来反应邻域内点云的平面性，Gross和Thoennessen38则基于特征值来描述点云三维特征。Chehata等人39综合许多几何特征作为分类特征，包括基于高程的特征（如高程差、方差和曲率）、基于特征值的特征（如各向异性、平面度、球度和线性度）以及基于平面的特征（如平面角、平面角方差、平面残差）。表1总结了LiDAR点云常用的几何特征。此外，除了表1中罗列的常见的几何参数外，还有一些基于栅格的几何参数，如拉普拉斯算子、Sobel算法40 和纹理信息41。在计算几何特征时，邻域的选择是一个关键因素。如图1所示，基于点的邻域选取方式有42：1）选取离目标点最近的N个点；2）选取目标点以r为半径的圆柱体内的点；3）选取目标点以w为窗口大小的长方体内的点。对于基于格栅的几何特征，邻域以NN大小的掩膜构成。邻域的选取通常依赖经验值，如0.75m43, 1.25m 44 , 33或55大小掩膜39。不同几何特征可能具有不同的最佳窗口大小。Niemeyer 等人43发现以最邻近点作为邻域时选取七个点为宜，此时分类总体精度是区域最高值。Demantk等人45提取最小特征熵和最大相似度准则，确定基于特征值的参数的最佳窗口大小，约为1.54.5m。尽管有多种多样的几何特征被应用于地表分类，不可避免的，几何特征中存在空余信息的不相关信息。剔除冗余和不相关特征将有助于提高分类效果46. 特征提取和特征选择是掦不重要特征的两大方向。由于特征选择能够保留原始特征的物理信息，之前的研究中通常从原始的特征中选取有效的子集。Chehata39基于随机森林分类器，利用15种几何特征和6种非几何特征，对城市地表进行分类，并对比了各个特征的重要性程度。结果表明最小高程差和高程方差是最重要的两个特征。Guo等人47利用几何特征和融合高分辨率遥感影像对城市地表进行分类。结果表明，拟合平面角度和残差对分类的重要性较低。虽然几何参数经常被用于分类，每种几何参数和重要性以及参数组合的效果仍不清晰。（a）最邻近点 （b）圆柱体 （c）长方体图 1 基于点的几何特征邻域选取方式 强度和回波特征除了高程和几何特征，强度（Intensity，I）信息也是分类的重要特征。对离散形LiDAR传感器，激光强度记录了被照明物体后向反射的激光束的峰值幅度。对全波形LiDAR传感器，传感器不仅记录回波次数，还记录反射激光的整个波形。强度信息能反应自然地表状况，能够识别岩石、水体、屋顶和植被等地物，利用强度信息能够提高地表分类精度4。全波型LiDAR能记录反射的整个波形，得到一维的信号流。由于记录的波形由一系列的散射回波组成，可以应用信号卷积提取波形特征以用于分类。Wagner 48提出利用高斯分解提取波形数据回波信息，该波形分解方法成分后来波形分类的主要标准。基于高斯分解，许多波形特征被提取出来应用于地物提取或地表分类。主要的波形特征包括振幅、回波次数、回波宽度和后向反射系数。其中，波形宽度和振幅能提高分类效果。Mallet 等人49发现波形宽度能够区分植被和其它地物，此外振幅在高屋顶、碎石和汽车上较高，在沥青和焦油铺成的街道上较低。Neuenschwander 等人50对比全波形LiDAR和高分辨率QuickBird影像的七种地物类型分类精度。LiDAR数据的分类精度要高14.6%。表 1 LiDAR点云几何参数系列几何特征符号定义描述计算类型参考文献原始值高程z原始高程高程有助于将较高的地物（如建筑或植被）和较低的地物（如道路或草坪）分割开来。点40点坐标 (x, y, z)原始坐标位置相近的点可能是相同的地物类型。51 基于统计值极差Sdr邻域内点云高程极差平坦的屋顶、街道有较小的极差，地物边界、植被的极差较大。点或栅格40; 52方差Svar邻域内点云高程方差与极差类似，能够反映邻域内点云的异质性。53偏态Sskw邻域内点云高程偏态偏态能够度量点云高程相较于正太分布的不对称性。54峰度Skrt邻域内点云高程峰度峰度能够反映点云高程分布的陡峭程度。54基于高程特征二阶导=2zx2 二阶导在直线上为0，能够用于探测电线等线性地物。二阶阶在断点和植被上呈现也随机性。栅格36曲率curv相邻梯度的差与二阶导类似，曲率用够用于探测断点。栅格39; 55平均高程差mean目标点与邻域内点云高程平均值的差从较高植被、低矮植被、光滑表面的平均高程差依次减小。点或栅格51最小高程差min目标点与邻域内点云高程最小值的差最小高程差有助于区别地面点和非地面点，在LiDAR点云分类中经常用到。39; 47最大坡度slope目标点与邻域内每个点组成坡度的最大值最大坡度有助于区分屋顶、街道和植被。地物边缘和植被的最大坡度较大。40回波高程差fl第一个回波和最后一个回波的高程差。由于LiDAR在穿透植被时能够形成多个回波，就此回波高程差常用于区分植被。54基于平面特征平面参数a,b, c邻域内点云拟合平面的参数，平面的拟合方程为： a和b够用反应拟合平面的方向的倾斜角度，c是平面的偏移量，与平均高程差类似。点或栅格51平面法向量ang拟合平面的法向量角度地面的平面法向量近似垂直于水平面，植被的平面法向量呈现一定的随机性。39; 47平面残差residual拟合平面的残差植被的平面残差较大。39; 47基于特征值特征值 1, 2, 3邻域内点云主成分分析时对应的特征值。特征值提供点云三个方向上的离散程度，可用于计算空间分布。点39线性度L1-21 1越大，则L越大，表明点云沿某一方向上分布，呈线性。平面度P2-31当1和2接近且远大于3时，P较大，表明点云分类在平面上。球度S311、2和3接近时，S较大，表明点云各个方向上的离异程度相似，呈球形。各向异性A1-31与球度类似，当A越小，点云各向越接近。1.2.3 LiDAR点云分类方法常用的监督分类器包括最大似然法、支持向量机、决策树和随机森林、人工神经网络、马尔可夫随机场和条件随机场等方法4; 56。正面简要介绍各种方法的应用。最大似然分类基于贝叶斯规则，是基于概率统计的分类方法。通过计算似然的最大值获得参数分布，进而计算每一类别的后验概率，最终得到所属类别。Maas19将三维点云插值成栅格图像，以原始高程、拉普拉斯算子、最大坡度作为输入参数，利用最大似似然分类器对倾斜屋顶、平屋顶、植被平坦地表进行分类，得到最初的分类结果，之后再基于一事实上规则对对分类结果进行处理。最大似然法对特征参数分布高求较高，但实际上点云参数的分布规律绝不是简单的多元正态分布，因此该方法有其局限性，依赖后期处理。支持向量机（Support Vecotr Machines， SVM）最大化训练样本类间距，寻找最佳分离超平面，从而实现分类。利用核技巧，对原始特征进行非线性变换，SVM有效提高其分类能力57。利用较少的训练样本，SVM能得得到泛化能力较高的分类器，SVM也有效地应用于LiDAR点云分类中。Mallet等人49利用SVM采用高斯核将点云分成建筑、植被、人工地表和自然地表等四类。每个点特征由最小高和差、拟合平面残差、回波高程差和回波次数等八个特征组成。总体分类精度约为81%，主要误差分布在人工地表和自然地表中。如果将人工地表和自然地表合并为一类，总体精度将达到92%。之后，Mallet等人58拓展该方法到25个特征，引入了基于特征值、基于拟合平面和回波等特征等特征，将城市地表分为建筑、植被和地面等三种类别。总体精度达95%，并发现回波信息的重要性较低。结合LiDAR特征和遥感数据，SVM能够对特定地物如植被、路灯或车辆进行提取31; 59。然而，SVM分类中核模型的选择一大难点，一般选择高斯核。决策树及其袋装集成算法也被用于在LiDAR点云分类上。Matikainen等人60从LiDAR点云和遥感影像中提取了40余种特征，在将地面点和非地面点分离之后，利用决策树对建筑和植被进行分类，总体精度约为89.9%。根据决策树，可以获得一定的规则，如建筑的坡度小于26.4，植被的标准差大于建筑等。Chehata 39利用随机森林对全波形LiDAR点云进行分类，得到建筑、植被、自然地表和人工地表，分类精度约为95%。根据随机森林的重要性指数，结果表明高程差、拟合平面残差、回波振幅和回波宽度是最重要的分类特征。随后，Guo等人47此基础上引用航空影像作为输入特征，结果表明航空影像RGB的重要性指数较高。MRF提供了用于栅格图像或点云的即时分类生成模型。随机场表示某点属于某一类别的概率由该点的相邻点决定，并用于代替贝叶斯规则的先验概率。最常见的假设时，相邻点的类别可能是相同的。Lafarge和Mallet61利用MRF将点云分割为建筑、植被、地面和杂草。每个LiDAR点是MRF的节点，小于给定距离阈值的邻域点限定该点的边。点云分割结果被投影到二维平面上，在此二维图像上利用MRF寻找合适的分割符号。二维图像的分割结果气馈给点云，得到点云的分类结果。由于邻域的限制，建筑的边界被有效保留，得到高精度的分割结果。然而，地表和杂草的分类精度较低。Shapovalov等人62对比了MRF方法和随机方法，结果表明在区分建筑和植被、地面和低矮植被时，MRF效果更佳。在MRF模型中，邻域的作用限定于类别标签，会导致分类结果过于平滑，这一问题在CRF中得以解决。CRF是一种判别模型，建立标记样本和所有数据的依赖关系，并认为邻域间的相关性同样依赖于数据本身。CRF下邻域的类别可能是不同的，因此有效降低MRF的平滑结果。Niemeyer等人63基于CRF将LiDAR点云分为建筑、植被和地表，总体的分类精度约为89.3%至94.3%。与SVM（73.4%至80.3%）和MRF（87.1%至93.8%）相比，CRF的精度分别提高了约14%和1-2%。之后，Niemeyer等人63进一步证实了CRF的优势。CRF的运行时间（202分钟）也比MRF（252分钟）来得短。人工神经网络（Artificial Neural Networks）在基于像素的遥感影像分类中表现良好，也被用于LiDAR点云的分类。ANN由许多连接神经元的若干层组成，每一层通过加权求和和激活函数实现输入到输出的转换。QIAO等人64首先提取了LiDAR插值高程图像的纹理特征、地表粗糙细数和和强度特征，利用后向传播的人工神经网络中国珠江地区的土地利用类型进行分类，包括水体、建筑、森林、农田和裸地。分类精度达90.2%，比最大似然分类器高14.7%。其中水体和裸地的分类精度最高，建筑的精度最低。Minh 和Hien65结合LiDAR数据QuickBird影像数据，利用人工神经网络对水体、植被、裸地、混凝土屋顶和瓦片屋顶进行分类。分类精度同样高于最大似然分类器。最大似然分类器最为简单，但要求特征符合高斯分布，分类效果不佳；支持向量机能够处理高维特征，并利用较少的样本利好良好的分类结果，不过核变换中的核类型选择是一个难点；人工神经网络通过设置不同的隐含层和激活函数，能实现对前两种分类器的学习，但在深度上遇到瓶颈。非参数模型中的随机森林通过决策树袋装集成而得，简单高效，随机场模型能够利用了对象的上下文信息提高分类精度。1.3 视觉认知概述对人眼视觉认知生理基础的研究发现，视网膜结构和细胞功能对视觉信息处理有十分重要的作用，负责光学信号到视觉神经电位的转换。光刺激经感受器细胞转换为电信号之后，水平细胞和双极细胞能够进一步加工成亮度和颜色信息。各细胞间的连接能够综合感受野内的光信号，形成平均亮度信息或明暗对比度。拮抗性和方向性能够帮助形成各种线段信息，是视觉认知最重要的信息66。每秒钟视觉系统输入的视觉信息约有108109比特，视觉系统对信号进行不同优先组播处理，人脑需要处理其中的1/8左右67。1980年，Treisma和Gelade68提出了至今仍然极具影响力的特征综合理论，把注意力选择分为预注意和注意两个阶段。首先，在大脑里的各个子系统内对视觉刺激处理，获得亮度、颜色、形状、立体、方向和速度等基础的视觉信息；视觉系统检测到某一地物与周围的特征有显著差别时优先识别。Koch和Ullman69扩展了特征综合理论模型，并提出显著图的概念，根据显著图的大小确定对象的优先级别。之后，Itti 等人70开创性地提出了视觉显著性计算模型，把待处理图像中的注意区域看作是具有显著特征的各对应像素点的集合，并对各显著点进行相应的检测来提取注意区域。视觉注意机制先对图像中各类简单的初级视觉特征进行相应的检测与匹配，再使注视焦点集中于相应的目标，以进行更深层次的感知与匹配。之后，Harel等人71结合图谱理论改造了Itti模型，并提出了基于图谱的视觉显著性模型（Graph Based Visual Saliency, GBVS）。GBVS在图像颜色、亮度和方向的特征提取以及特征图合并与Itti模型相同，但在特征图生成时采用图谱的方式。视觉注意模型已被成功应用于图像分割处理中。梁丹72将视觉注意机制与区域生长算法相结合，提出了一种基于视觉注意计算模型的区域生长算法。首先建立视觉注意模型，在此基础上提取初始的种子区域；再通过对区域生长算法的改进，根据均值差与面积阈值来设置合并准则，进行区域生长与合并，对图像进行相应的分割。于正虎73基于选择性视觉注意机制对遥感图像中的舰船目标实现了检测和识别。视觉特征符合人眼学习过程，探究LiDAR点云不同地物类型的显著度，有助于点云分类。1.4 深度学习概述传统的分类器在利用原始数据作为特征进行分类时很难取得良好的效果。因而，很大一部分工作在变换原始数据以构建适宜的分类特征。构建具有代表性的几何特征往往费时费力，甚至难以取得良好效果。就