移动机器人仿真：基于Webots软件的分析 课件3-2-点特征地图创建方法

第3讲地图创建点/路标地图创建方法目录基于非视觉类传感器的点/路标的特征提取基于视觉类传感器的点/路标的特征提取目录基于非视觉类传感器的点/路标的特征提取基于视觉类传感器的点/路标的特征提取基于非视觉类传感器的点/路标的特征提取传感器GPS，北斗；室内无法使用测距仪：超声波、激光传感器数据格式GPS：经纬度坐标（x，y坐标）测距仪：距离+角度，2D坐标（x，y）基于非视觉类传感器的点/路标的特征提取点/路标的参数以全局坐标系为基准进行存储传感器原始数据以传感器坐标系为基准坐标变换：全局坐标系、机器人坐标系、传感器坐标系为简化问题复杂性，将机器人坐标系和传感器坐标系合并基于非视觉类传感器的点/路标的特征提取2D坐标（x，y）的变换基于非视觉类传感器的点/路标的特征提取距离+角度的变换目录基于非视觉类传感器的点/路标的特征提取基于视觉类传感器的点/路标的特征提取基于视觉类传感器的点/路标的特征提取传感器摄像头传感器数据格式：图片彩色图灰度图深度图基于视觉类传感器的点/路标的特征提取图像数据是以图像坐标系为基准进行存储坐标变换：机器人坐标系、摄像机坐标系、图像坐标系为简化问题复杂性，将机器人坐标系和传感器坐标系合并摄像机传感器已经完成了摄像机坐标系与图像坐标系之间的变换什么是好的特征？一个好的特征在旋转、缩放、光照、视角等条件改变的情况下，依然能被重复检测到主要问题旋转不变性，缩放不变性主要问题基于视觉类传感器的点/路标的特征提取两种点/路标特征：角点（corner）和斑块（blob）角点（corner）：两/多条边的交点对定位任务而言，角点比斑块具有更高的准确性角点看起来都很像，区分度不高基于视觉类传感器的点/路标的特征提取两种点/路标特征：角点（corner）和斑块（blob）斑块（blob）：依照”灰度、纹理突变”的特征所确定的一块连通区域斑块不适用于定位任务斑块比角点具有更高的区分度角点（corner）检测Harris角点检测如何检测角点？沿任一方向移动一个窗（window），至少在两个方向上检测出灰度值的显著变化即检测出角点“flat”

region:nointensity

change“corner”:significantchangein

atleast2

directions“edge”:nochangealongthe

edgedirectionHarris角点检测如何用数学方法去刻画角点特征？当窗口发生[u,v]移动时，那么滑动前与滑动后对应的窗口中的像素点灰度变化描述如下(x,y)是窗口内所对应的像素坐标位置，窗口有多大，就有多少个位置Harris角点检测w(x,y)是窗口函数，最简单情形就是窗口内的所有像素所对应的w权重系数均为1。有时候，会将w(x,y)函数设定为以窗口中心为原点的二元正态分布。Harris角点检测为了减小计算量，利用泰勒级数进行简化公式Harris角点检测为了减小计算量，利用泰勒级数进行简化公式Harris角点检测矩阵M的关键性难道我们是直接求上述的E(u,v)值来判断角点吗？Harris角点检测并没有这样做，而是通过对窗口内的每个像素的x方向上的梯度与y方向上的梯度进行统计分析。以Ix和Iy为坐标轴，因此每个像素的梯度坐标可以表示成(Ix,Iy)Harris角点检测针对平坦区域，边缘区域以及角点区域三种情形进行分析：Harris角点检测对这三种情况窗口中的对应像素的梯度分布进行绘制：Harris角点检测如果使用椭圆进行数据集表示，则绘制图示如下：Harris角点检测利用M特征值对图像点进行分类：特征值都比较大时，

即窗口中含有角点特征值一个较大，一个较小

窗口中含有边缘特征值都比较小，

窗口处在平坦区域Harris角点检测如何度量角点响应？即评价角点的强度其中k是常量，一般取值为0.04-0.06，这个参数仅仅是这个函数的一个系数，它的存在只是调节函数的形状而已。Harris角点检测为什么用R来度量角点响应？绘制的R函数图像如下：最后设定R的阈值，进行角点判断Harris角点检测旋转不变性Image

1Image

2Harris角点特点Allpointswillbeclassifiedas

edgesCorner!Image

1Image

2Harris角点不具备缩放不变性缩放不变性？Harris角点特点应用最广泛的角点检测算法具有：旋转不变性亮度变化不变性不具有：缩放不变性Harris角点特点小结缩放/尺度不变性（ScaleInvariant）检测缩放/尺度不变性（ScaleInvariant）检测设计一个函数对应与各个尺寸的圆缩放/尺度不变性（ScaleInvariant）检测该函数对于各个尺度下的圆都能保持具有一个局部极值好的函数只有一个极值。这样的函数称为检测算子（detector）Iregion

sizebadIregion

sizebadIregion

sizeGood

!缩放/尺度不变性（ScaleInvariant）检测斑块（blob）检测常用的斑块检测算子有：LoG:LaplacianofGaussianoperatorDoG:DifferenceofGaussianSIFT(itusesDoGfeatures)SURF(it’sanfastimplementationofSIFT)CenSurEMSER斑块特征斑块检测算子：LoG算子将图像与核函数进行卷积，核函数称为检测算子LoG算子：高斯函数的拉普拉斯变换斑块对应的是卷积后图像的最大值或最小值斑块检测算子：LoG算子LoG斑块看起来是什么样子？用两个高斯函数的差(DifferenceoftwoGaussianfunctions)来近似LoGDoG算子与LoG算子的特点几乎一致，但DoG算子针对缩放/尺度变换具有更高的计算效率|斑块检测算子：DoG算子LoG和DoG算子非常适合缩放/尺度变换的不变性检测斑块检测算子：LoG/DoG算子对缩放/尺度变换的不变性SIFT斑块特征SIFT(ScaleInvariantFeatureTransform)是一种检测斑块的方法

由D.Lowe(Univ.ofBristishColumbia,Canada)教授于2004提出应用非常广泛（场景识别，消费DC……）特点：SIFT采用的是DoG核

具有缩放/尺度变换不变性；具有方向、视角变换不变性(upto60度)描述子基于梯度的方向(gradientorientations)，比灰度值更具鲁棒性SIFT特征SIFT主要步骤在不同尺度下提取关键点（Extractkeypoints+scale）赋予关键点方向（Assignkeypointorientation）生成关键点描述子（Generatekeypointdescriptor）SIFT特征生成尺度空间金字塔：不同尺度重采样，利用高斯核模糊化原始图像生成DoG金字塔：取相继高斯模糊图像差提取关键点：DoG金字塔中的局部极值SIFT特征Step1：keypointlocation+scaleSubsampleDoG:BlurredbyGaussiankernelSIFT特征Step2：assignkeypointorientation对关键点邻域中每个像素计算灰度梯度值（幅值和方向）构建灰度梯度的方向直方图直方图中的尖峰对应该关键点的主方向对于每一个关键点，都拥有位置、尺度以及方向三个信息。为每个关键点建立一个描述符，用一组向量将这个关键点描述出来，使其不随各种变化而改变，比如光照变化、视角变化等等。这个描述子不但包括关键点，也包含关键点周围对其有贡献的像素点，并且描述符应该有较高的独特性，以便于提高特征点正确匹配的概率。SIFT特征Step3：SIFT描述子SIFT描述子:描述的是所有梯度方向相对关键点主方向的方向（Describeallgradientorientationsrelativetothekeypointorientation）在关键点周围采用16×16的邻域，将该16×16区域进一步划分为4×4子块在关键点尺度空间内4×4的窗口中计算梯度直方图信息，然后用高斯窗口对其进行加权运算。SIFT特征Step3：SIFT描述子黄色圈代表高斯加权的范围（越靠近关键点的像素梯度方向信息贡献越大）SIFT描述子:描述的是所有梯度方向相对关键点主方向的方向（Describeallgradientorientationsrelativetothekeypointorientation）在每4×4