车载移动测量系统数据配准与分类识别技术

1、武汉大学中国南极测绘研究中心车载移动测量系统数据配准与分类识别技术2014年1月.哈尔滨主讲人：主讲人： 庞小平庞小平二、基本原理一、概述三、全景影像与激光点云的配准四、配准量测精度验证讲座主要内容五、基于知识及特征图像的点云分类六、基于支持向量机的点云分类七、发展趋势一. 概述 车载移动测量系统(VMMS,Vehiele borne Mobile Mapping System )集成了激光扫描仪、CCD数码相机、POS等多种传感器，可以同时采集具有空间坐标信息的激光点云数据和丰富纹理信息的光学影像数据，逐渐成为地理国情监测和智慧城市建设的重要技术手段。英国的英国的MDLMDL德国德国IGII

2、GI公司的公司的StreetMapperStreetMapper美国美国GoogleGoogle的全景测量车的全景测量车日本日本TopconTopcon的的IP-S2IP-S2中国中国SSW-MMTSSSW-MMTS加拿大的加拿大的OPTECH-LynxOPTECH-Lynx车载移动测量系统(VMMS)获取的数据量大，但数据后处理相对滞后，存在过多的人机交互，自动化程度低。针对VMMS的光学影像和激光点云数据配准及分类识别的关键技术进行研究，有助于推动城市信息获取的自动化和智能化。一. 概述1.激光点云与光学图像的配准对激光点云与光学图像之间的配准研究可以归纳为以下四个基本问题:u 配准基元（

3、Registration Prinitives）： 基于灰度区域和基于特征（点、直线、面等）u 相似性测度（Similarity Measure）： 互信息、共线方程、法向距离等u 变换函数（Transformation Function）： 刚性变换（选择、平移、缩放等）和非刚性变换u 匹配策略（Matching Strategy）： 梯度下降法、单纯形算法、迭代最邻近点等一. 概述投影回归的配准方法 1. 激光点云与光学图像的配准以上这些方法在通用性、 算法速度及结果的精确度等方面还有许多问题需要解决, 并且大多数方法都只适用于城市中具有较多规则形状目标的区域,不太适于对灰度或特征变化不明

4、显的图像进行配准。一. 概述ManandharManandhar和和ShibasakiShibasaki提出了根据断面扫描点的点位空间分布特征将激光扫提出了根据断面扫描点的点位空间分布特征将激光扫描点云数据分类成不同组的算法；描点云数据分类成不同组的算法；Shi PuShi Pu和和George VosselmanGeorge Vosselman提出了基于建筑物语义的点云数据特征提取方法；提出了基于建筑物语义的点云数据特征提取方法；闫利等提出了基于法向量模糊聚类的道路面点云数据滤波研究方法；闫利等提出了基于法向量模糊聚类的道路面点云数据滤波研究方法；李必军等提出了基于建筑物几何特征的信息挖掘方

5、法；李必军等提出了基于建筑物几何特征的信息挖掘方法；史文中等提出了基于投影点密度的车载激光扫描距离图像分割方法；史文中等提出了基于投影点密度的车载激光扫描距离图像分割方法；2. 车载激光点云数据分类国内外对车载激光点云数据分类方法研究非常多，主要包括：高程阈值分类法、扫面线信息分类法、投影点密度法、法向量估计法、特征空间聚类法等。 一. 概述2.车载激光点云数据分类车载点云数据量大、地理要素空间分布和局部几何特征差异大等特点，很难用一种策略将场景中的各种目标同时进行分类识别。因此很多学者根据LiDAR点云数据的实际应用需求专门研究如何对某一种地物目标进行识别，如用于城市三维重建的建筑物纹理面提

6、取；用于道路环境建模的道路标线提取；用于道路导航定位的杆状物提取等。基于知识和特征图像基于知识和特征图像基于支持向量机基于支持向量机一. 概述技术流程一. 概述二、基本原理-VMMS工作原理VMMS影像采集系统激光扫描系统定位定姿系统 辅助硬件系统差分GPS及惯性导航安装支架及供电设备 传统CCD相机或全景相机 同步控制单元二、基本原理-VMMS工作原理各各传传感器感器间数间数据流据流转关转关系系二、基本原理-鱼眼镜头成像原理sin)2/sin(2)2/tan(20000fyfyfyfy变形压缩成像公式变形压缩成像公式鱼眼镜头成像示意鱼眼镜头成像示意鱼鱼眼眼镜头镜头光光学结构学结构二、基本原理

7、-激光扫描仪工作原理扫描仪坐标系统扫描仪坐标系统三. 光学影像与激光点云的配准虚拟投影球面虚拟投影球面投影回归思想生成O O O O光学影像回归激光点云回归三. 光学影像与激光点云的配准光学影像的投影回归过程三. 光学影像与激光点云的配准激光点云的投影回归过程激光点云采集激光点云除噪 激光点云栅格化激光点云投影至虚拟球面投影回归方法的数学证明三. 光学影像与激光点云的配准虚拟投影半球面虚拟投影半球面圆形图像坐标圆形图像坐标方形图像坐标方形图像坐标球体坐标球体坐标等距投影成像等距投影成像图像校正、拼接、分割图像校正、拼接、分割球面球面纹纹理映射理映射zzyyxx333配准实验三. 光学影像与激光

8、点云的配准4 4台台SIGMA 8mmSIGMA 8mm鱼眼镜头鱼眼镜头配准实验三. 光学影像与激光点云的配准德国德国SICK LMS 511SICK LMS 511激光扫描仪激光扫描仪原始激光点云原始激光点云点云栅格化点云栅格化抽稀前后点云对比抽稀前后点云对比点云球面投影前后对比点云球面投影前后对比配准实验三. 光学影像与激光点云的配准配准的局部效果图配准的局部效果图光学影像光学影像局部激光点云局部激光点云验证步骤四. 配准量测精度验证所用方法四. 配准量测精度验证角度逼近法角度逼近法假如没有搜索到有效点，将搜索半径扩大为上次搜索半径的假如没有搜索到有效点，将搜索半径扩大为上次搜索半径的2

9、2倍，倍，继续按照顺时针方向遍历搜索，直到搜索到有效点为止继续按照顺时针方向遍历搜索，直到搜索到有效点为止假如搜索到的有效点不止一个，将这些有效点分别与假如搜索到的有效点不止一个，将这些有效点分别与P P点进行球面距离计算，点进行球面距离计算，按照计算距离的大小进行排序，取距离最短的激光扫描点作为最近邻的点按照计算距离的大小进行排序，取距离最短的激光扫描点作为最近邻的点设定搜索半径设定搜索半径r r，按照顺时针方向遍历搜索距离，按照顺时针方向遍历搜索距离P P点最近的点云数据点最近的点云数据P P，如果如果P P存在且唯一，则存在且唯一，则P P即为要找的最近邻点即为要找的最近邻点1 12 2

10、3 3验证结果四. 配准量测精度验证角度分辨率角度分辨率距离距离10m10m20m20m30m30m1 112cm12cm19cm19cm30cm30cm0.50.56cm6cm10cm10cm17cm17cm0.250.253cm3cm5cm5cm8cm8cm不同实验条件得到的量测误差不同实验条件得到的量测误差在全景影像和激光点云数据的匹配研究中，根据全景影像采集和激光扫描的光传播原理，引入“虚拟投影球面”的假设，提出了一种基于光源归一的投影回归配准方法，为光学影像与点云数据的配准提供了新的视角。 该配准方法特点分类主要流程五. 基于知识及特征图像的点云分类特征图像分层生成二值图像生成二值图

11、像叠加分析运用知识规则滤波、提取点云降噪行道树分类识别实验五. 基于知识及特征图像的点云分类点云降噪五. 基于知识及特征图像的点云分类分层生成特征图像包含树干的黑白点云包含树干的黑白点云包含树冠的黑白点云包含树冠的黑白点云包含树干的特征图像包含树干的特征图像包含树冠的特征图像包含树冠的特征图像五. 基于知识及特征图像的点云分类二值图像生成包含树干的二值图像包含树干的二值图像包含树冠的二值图像包含树冠的二值图像五. 点云特征图像生成及自动分类二值图像叠加分析叠加分析后的二值图像叠加分析后的二值图像叠加后的二值图像叠加后的二值图像五. 点云特征图像生成及自动分类滤波分析竖向滤波竖向滤波双向滤波双向

12、滤波竖向搜索竖向搜索横向搜索横向搜索五. 点云特征图像生成及自动分类行道树提取结果行道树提取结果在行道树点云的识别中，提出了基于知识和特征图像的分层投影、叠加分析的分类方法，即对树干和树冠分别进行投影，以这两个基本特征为出发点，对二值特征图像进行分析，最后提取行道树点云数据，拓宽了点云分类识别的研究思路。方法特点基于支持向量机的点云分类支持向量机（支持向量机（SVMSVM，Support Vector MachineSupport Vector Machine）利用分离超平面）利用分离超平面来作为分离训练数据的线性函数，进而解决非线性分类问题。来作为分离训练数据的线性函数，进而解决非线性分类问

13、题。在在解决小样本、非线性及高维模式识别问题中有其独特的优势解决小样本、非线性及高维模式识别问题中有其独特的优势。六. 基于支持向量机的点云分类点云特征六. 基于支持向量机的点云分类点云原始特征点云原始特征：三维空间坐标、回波强度、：三维空间坐标、回波强度、GPSGPS时间、时间、RGBRGB颜色值颜色值1,BGRTimeIntensityZYXF1,IIImcbaBGRIntensityZYXFii再结合上下文语义环境，再结合上下文语义环境，构建新的特征向量构建新的特征向量六. 基于支持向量机的点云分类粒子群优化算法粒子群优化算法（PSO）遗传算法遗传算法(GA)支持向量机模型参数寻优参数参

14、数1 1参数参数2 2时间（时间（S S）正确率（正确率（% %）粒子群优化算法粒子群优化算法 C1=1.5C1=1.5C2=1.7C2=1.7125125，998.79998.7999.75%99.75%遗传算法遗传算法C=9.9495C=9.9495g=3.2865g=3.28654242，557.03557.0398.40%98.40%不同算法适应度的分类实验PSOPSO的行道树识别结果的行道树识别结果六. 基于支持向量机的点云分类GAGA的行道树识别结果的行道树识别结果不同训练样本的分类实验第一次实验结果第一次实验结果六. 基于支持向量机的点云分类第二次实验结果第二次实验结果第三次实验结果第三次实验结果项目项目特征向量特征向量训练样本训练样本测试样本测试样本nontreetreenontreetree第一次实验第一次实验17个特征个特征10000200030001000第二次实验第二次实验17个特征个特征10000500030001000第三次实验第三次实验17个特征个特征100001000030001000不同特征向量的分类实验使用使用7 7个原始特征的识别结果个原始特征的识别结果六. 基于支持向量机的点云分类使用使用17