全景成像和单自由度移动机器人关键技术应用

全景成像和单自由度移动机器人关键技术应用

1智能全景成像在单自由度移动机器人中的应用随着虚拟现实技术的发展，现实技术得到了扩展，虚实结合、实时交互和三维日志记录等新特点。目前的增强现实系统一般都采用视觉系统和头盔显示一起跟随观察者头部运动的形式,佩带头盔显示器的人需要在场景中,但是当场景不适宜人进入时,考虑将全景成像装置装载在单自由度移动机器人上,来代替人在场景中的运动。有很多的场景,如文化古迹,为了防止人为的破坏只能关闭,却阻碍了人们对古文化的认识和了解,移动式全景成像的增强现实系统可以解决这个问题,让带有全景成像系统的单自由度移动机器人在已知的场景中按照规定的路径行走,摄取场景图像,图像可以由多人共享,在场景之外的地方,每一个佩带头盔显示器的观察者转动头部,就可以看到与视线方向一致的场景图像以及在场景中的指定位置添加的增强信息,帮助用户观察景物、了解其名称和历史。该系统为增强现实技术的发展和应用提供了新的思路和领域。目前,对基于全景成像的虚拟现实系统的研究已经广泛展开,但是对基于全景成像的增强现实系统及其应用的研究还非常的有限。在国内还没有相关内容的文献报道。本文将全景成像和单自由度移动机器人的关键技术应用到增强现实中,建立了完整的基于全景成像的增强现实系统,并提出图像共享的概念。实验表明,本文方法拼合图像平滑自然,融合效果良好。2系统功能基于移动式全景成像的增强现实系统分为硬件和软件两个部分。硬件主要包括多个CCD摄像头组成的全景图像采集系统、承载图像采集系统移动的轨道(单自由度移动机器人)及其运动控制系统、头盔显示器、实时头部跟踪装置与一种虚拟多媒体信息添加方式等。软件系统将实现:1)全景图像的实时自动拼接;2)图像融合;3)图像的多用户实时共享;4)观察者头部姿态的精确跟踪;5)与观察者视线一致的全景图像局部区域的实时显示;6)虚拟图像与真实图像的精确注册。3全景图像的生成3.1nsb-ms-ms算法SIFT(scaleinvariancefeaturetransform)方法属于基于特征的配准,利用这种方法从图像中提取出的特征点可以用于物体或场景不同视角下的可靠匹配,匹配精度较高。SIFT主要采用金字塔分层方法,使总的计算量大幅下降,提高了运算的速度。3.1.1高斯用户差分图像分层结构由于高斯函数是唯一的尺度空间内核函数,因此用高斯函数作为卷积核,构建图像的尺度空间函数。输入图像用I(x,y)表示,其尺度空间函数为L(x,y,σ)=G(x,y,σ)*I(x,y)(1)其中,G(x,y,σ)为高斯函数,表达式为G(x‚y‚σ)=12πσ2e-(x2+y2)/(2σ2)(2)为了有效地检测出尺度空间中的稳定特征点,引入高斯差分函数D(x,y,σ)为D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ)(3)其中,k是常量。对图像使用不同的采样距离以形成金字塔图像分层结构,然后对每层图像采用不同的高斯滤波因子进行滤波形成高斯金字塔图像分层结构。在高斯差分金字塔分层结构中,样本像素点需要和它相邻的8个像素点以及上下相邻图像层中的各9个像素点共26个点进行比较,提取出图像中的极值点作为候选特征点,并在这些候选特征点中筛选掉其中的低对比度和处于边缘的特征点,最终提取出稳定的特征点。3.1.2创建特征点对于每幅图像L(x,y,σ),计算出其梯度值和方向。在特征点周围所在的区域内,依据样本点的梯度方向生成用36位代表360°方向的方向直方图,每个样本点根据其梯度值的大小,同时还依据具有参数σ(值是特征点尺度的1.5倍)的高斯权重圆窗口而被加到直方图中。将方向直方图中的峰值作为该特征点的主方向,在最大值的80%以内的其他局部峰值也会被创建具有相同方向的特征点。当特征点的位置、尺度和方向被确定后,选用4×4的方向柱状图矩阵的描述符,矩阵中每个元素占有8个方向位,用这样4×4×8=128位的向量可以准确地描述每个特征点。3.1.3特征点匹配算法由于SIFT算法提取出的特征点具有很高的鲁棒性,对于图像的旋转、缩放、平移以及光线、遮挡等具有不变性,因此可以直接利用特征点间的几何特性进行特征点间的匹配。采用最近邻特征点欧氏距离与次近邻特征点欧氏距离之比值来对特征点进行匹配。用BBF(best-bin-first)算法以很高的概率找到最近邻点和次近邻点。最后,用RANSAC(randomsampleconsensus)算法来提纯特征点集合,去除野点。3.2小波变换技术经过配准后的图像会有明显的色彩接缝,为了使拼接图像光滑无缝、浑然一体,传统的解决方法是在接缝及其附近采用平滑处理,这样处理的结果会导致图像的分辨率下降,使图像出现模糊的现象。把小波变换引入图像拼接和镶嵌技术中,可以很好地兼顾清晰度和光滑度两个方面的要求。定义拼接图像的示性函数,表征图像参与拼接的程度,利用其在各尺度上的低频小波分量作为多尺度加权系数,把两幅图像在不同尺度下的小波分量进行平均,然后利用重构,恢复整个图像。传统的图像融合方法主要在时间域通过算术运算实现融合,而基于小波变换的融合算法是在不同频带上分别对不同算子进行融合,这个过程和人的视网膜成像过程类似,所以可以获得与人的视觉特性更为接近的融合效果。3.2.1图像a的融合系数利于SIFT算法确定图像A和B的重叠区域AB。对于图像A,其融合系数T可以确定为ΤA={1像素∈(A-AB)[1‚0]像素∈AB0像素∈(B-AB)(4)图像B的融合系数和图像A的融合系数关系为TB=1-TA(5)因为小波系数是以矩阵的形式存放的,所以将上式(5)改写为TB=E-TA(6)其中,E为单位阵。3.2.2低频分量和高频分量利用Mallat算法将两个图像、单位阵E以及融合系数TA分解,得到在各个分辨率下的低频分量C以及垂直方向、水平方向和对角方向的高频分量D1、D2和D3。{A∶CA‚D1A‚D2A‚D3A};{B∶CB‚D1B‚D2B‚D3B};{ΤA∶CΤ‚D1Τ‚D2Τ‚D3Τ};{E∶CE‚D1E‚D2E‚D3E}。融合图像的低频分量和高频分量按{C=CΤCA+(CE-CΤ)CBD1=CΤD1A+(CE-CΤ)D1BD2=CΤD2A+(CE-CΤ)D2BD3=CΤD3A+(CE-CΤ)D3B(7)求得。然后,利用Mallat重构算法合成融合图像。3.3材料用户使用以往的增强现实系统,都是摄像头摄取的图像只供给1个佩戴头盔显示器的用户使用。在本文,对于图像采集装置和头盔显示器分离的情况,提出了全景图像的多用户实时共享的概念,这就要在系统的硬件方面采取措施,来改变传统增强现实系统单用户的状况。3.4局部图像的显示当观察者的头部运动时,要截取全景图像中与观察者视线一致的局部图像显示到头盔显示器上,增强时就只需在此局部图像上添加虚拟的增强图像,可以降低渲染的时间,增加实时性。目前,我们的实验结果,局部图像的显示会比头部的运动有滞后,距离实时性的要求有一定的距离,还不能达到完全的实时,这会影响观看的效果。提高图像拼接融合算法的速度,改进系统的硬件设施,是缩短滞后时间,达到实时效果的关键。4[光轴外参数矩阵]的定义采用基于计算机视觉的跟踪方式,在观察者头部设立4个位于同一平面的红外标志点,在头部的上方放置带有滤光片的摄像头,来摄取和识别标志点,通过标志点像点与三维点的坐标来跟踪观察者头部的位姿。设标志点在真实世界中的原始三维坐标为(X,Y,Z,1),假定标志点总是位于Z=0的平面上。则标志点的世界坐标为(X,Y,0,1),其与像点坐标(u,v,1)的对应关系为[uv1]=[fxspx0fypy001]*[Rt]*[XY01]=Κ*m*[XY01](8)其中,K为摄像机内参数矩阵,S是一尺度因子;(R,t)称为摄像机的外参,是摄像机坐标系相对于世界坐标系的旋转和平移矩阵。(u0,v0)称为主点,是光轴与图像平面交点的坐标,fu和fv是图像坐标系中u和v的尺度因子,也就是焦距f与像素点在u和v方向上宽度的比值。可以标定得出M为摄像机外参数矩阵,也是我们要求的位姿矩阵。定义归一化的图像坐标为[xy1]=Κ-1[uv1](9)将式(9)代入式(8)得到[xy1]=[Rt]*[XY01]=Μ*[XY01](10)设R=[r1r2r3r4r5r6r7r8r9]‚t=[txtytz](11)将式(11)代入式(10)得[xy1]=[r1r2r3txr4r5r6tyr7r8r9tx][XY01](12)展开式(12)有{x=r1*X+r2*Y+txr7*X+r8*Y+tzy=r4*X+r5*Y+tyr7*X+r8*Y+tz(13)每一个标志点可以获得与摄像机位置参数相关的两个方程,将4个点的坐标代入式(13)就可以求得M矩阵,确定标志点平面的位姿,以达到跟踪观察者视线方向的目的。5图像融合处理实验首先用实验验证全景成像方法,如图1所示,选择在室外拍摄的两幅具有重叠区域的图像,将其光亮度调得差异比较大。利用SIFT算法提取两幅图像的特征点并进行特征点匹配,在第1幅图中找到1086个特征点,在第2幅图中找到987个特征点,搜索匹配点并去除误匹配后,得到152个匹配的特征点,图2是匹配的结果,可以明显看出匹配基本准确。利用配对的特征点求得两幅图像间的映射关系(转换矩阵),确定重合区域,然后进行图像的融合处理。图3是对比实验,采用像素值加权融合方法,得到的图像拼接区域简单的综合了两幅图像的信息,和其他区域的过渡部分亮度不均匀,效果不理想。图4是利用本文方法的实验结果,采用的是Bior双正交小波基,拼合图像平滑自然,融合的效果良好。用均值和方差对融合效果进行客观分析,在统计理论中,统计均值ˆμ、标准方差ˆσ定义为ˆμ=1nn∑i=1xi(14)ˆσ2=1n-1n∑i=1(xi-ˆμ)2(15)其中:n为样本总数;xi为第i个样本值。若对某一幅图像,n为像素总数,xi为第i个像素的灰度值,则均值为像素的灰度平均值,对人眼反映即为平均亮度。如果均值适中(灰度值在128附近),则视觉效果良好。方差反映了灰度相对于灰度均值的离散情况,方差越大,则灰度级分布越分散。此时,图像中所有灰度级出现的概率趋于相等,从而包含的信息量越趋于最大。从表1中可以看出,本文方法得到的融合图像均值更接近128,方差值大于像素值加权的融合图像,说明其视觉效果好且包含的信息量大。然后,利用摄像机拍摄动态景物,并且在一幢指定大楼上叠加虚拟物体,图5是用virtools软件完成的实时渲染效果。6图像采集