增强现实中虚实结合的新方法.doc

增强现实中虚实结合的新方法第30卷第6期2008年11月机器人ROBOT,bl_30.No.6NOV.2008文章编号:10020446(2008)一06056105增强现实中虚实结合的新方法全红艳,王长波,林俊隽(华东师范大学软件学院一海200062)摘要:提出了一种增强现实中虚实结合的新方法.首先研究丫一种两帧相邻图像的快速点对应方法;在准确对应的前提下,大大提高对应的速度.在此基础之上,研究了基于平面结构的虚实结合方法;通过计算表示虚实坐标之间关系的单应矩阵,可以得到任意一帧虚实坐标之间的单应矩阵,实现了虚实结合和虚拟物体的动态跟踪.所提方法简单,方便,对于虚拟物体的注册误差较低.关键词:增强现实;平面结构;单应矩阵;注册中图分类号:TP391文献标识码:AANewMethodofVirtualandRealObjectCorrespondenceinAugmentedRealityQUANHongyan,WANGChangbo,LINJunjuan(InstituteofSoftwareEngineering,EastChinaNormalUniversity,月gf200062,China)Abstract:Anewmethodisproposedforvirtualandrealobjectcorrespondenceinaugmentedreality.Afastpointcorrespondencemethodfortwoadjacentimagesisstudied,whichcangreatlyimprovethecorrespondenceaccuracyandspeedintheconditionofcorrectcorrespondence.Thenavirtualandrealobjectcorrespondencemethodbasedonplanarstructureisstudied.HomographymarxbetweenvirtualandrealcoordinatesofanyframeCanbeobtainedafterthehomographymatrixbetweenvirtualandrealcoordinatesiscalculated.Withthismethod,thevirtualandrealobjectscanbecombinedandthevirtualobjectscanbedynamicallytracked.Thepresentedmeodissimpleandconvenient,andhasalowererrorinvirtualobjectregistration.Keywords:augmentedreality;planarstructure;homographymatrix;registration1前言(1ntroducti0n)随着计算机技术的快速发展,增强现实技术得到了广泛的应用.目前,该技术已经成为计算机视觉,计算机图形学等领域中的一个研究热点.增强现实研究中还存在着一些问题,对该技术的研究有着深远的意义.近些年,研究人员利用该方法对虚拟注册及动态跟踪技术进行了研究【l12.Simon等在2000年提出了一种基于平面特征的无缝跟踪方法I35,该方法通过跟踪3D空间的参考平面的特征点计算初始平面单应矩阵,实现了虚拟对象的嵌入.Yuan等利用射影重建方法I6,通过跟踪序列图像中某平面内矩形的4个顶点,实现了虚拟对象的嵌入,该方法存在的主要问题是射影重建的精度比较低,从而影响其应用;Lourakis等利用线形优化的策略7I,通过对场景中某一虚拟平面的跟踪,实现了对虚拟对象的动态跟踪功能,但该方法存在非线性优化导致的算法计算复杂度大的问题.目前,利用场景平面特征进行的研究存在的主要问题:一是需要利用3D模板进行研究,给研究带来了不便;二是需要进行3D模板与2D图像之间的特征点匹配,给研究带来了误差.本文研究了一种虚实对应的新方法,研究中计算出初始帧的虚实坐标之间的单应矩阵,实现了虚拟物体的注册和动态跟踪.2相邻两帧图像的快速点对应方法(Fastpointcorrespondingmethodbetweentwoadjacentimages)图像问的点对应问题一直是视觉研究中的一个主要问题,视频图像相邻帧之间的视差比较小,需要一种帧与帧之间的快速点对应方法来进行虚拟对象注册与动态跟踪.基金项目:国家青年自然科学基金资助项目(60603076):上海市科委自然科学基金资助项目(07ZR14035):国家863计划资助项目(2007AA01Z316)上海市青年科技启明星计划资助项目(08QA14025).收稿日期:200805.05562机器人2008年11月点对应的方法主要有基于面积的方法和基于特征的方法.Zhang提出了基于区域的图像点对应方法8l,具有准确性的特点,据此,提出了一种改进的视频帧图像之间的快速,准确的对应方法,其算法如下:Step1:角点提取利用Harris角点提取算法进行角点提取.角点检测的函数如下:R=v(c)一k(trC)(1)其中,v(C)表示矩阵对应行列式的值,并且C:()()()()()/OIOI)(2)参数k设为0.04,Y)是亮度值,这里用灰度来表示.局部区域中对应角点函数最大值的点就是角点.Step2:相关角点进行匹配设图像/o中角点的坐标为P.,其坐标对应的转置矩阵为(U0,VO)T(以下表示为P0Uo,vo)T),并以该点为中心定义一个大小为(2,z+1)(2m+1)的相关窗口.选择第2幅图像,l中的像素点P1,其坐标对麻的转置矩阵为(Hl,v1)(以下表示为Pl(Ul,V1),利用式(3)计算a(po,P1),求取满足a(p0,P1)<d的点,其中d为一个较小的常数,实验中取d为10.日(,P)=(3)搜索窗口为以P为中心,在该点附近大小为(2+1)(2dy+I)的矩形窗口,将其与图像/o中的窗口进行相关匹配,建立初步的点对应关系;由丁二相邻两帧的视着较小,所以可以在第2幅图像,中距离P较近的区域进行相关测试.相关窗口的人小选为77像素,搜索窗口的长和宽分别为图像的长和宽的1/4即可.Step3:松弛过程利Jj松弛算法进行对应点的松弛,进一步确定对应l关系.Step4-利,lj极线约束的方法进一步剔除不符合约束的对应点.该方法求取对应点,并与文【8】方法的结果进行了比较,选取不同的特征点比例,进行对应性能的研究.实验结果如表1所示,可以看出,新方法在确保准确的基础上人犬提高了对应速度.表1两种不同方法的对应性能比较Tab.1Correspondenceperformancecomparisonoftwodifferentmethods新方法Zhang方法比例时间(s)比例时间(s)1/3851/32601/15l31/15383基于平面结构的虚实对应方法(Virtualandrealobjectcorrespondingmethodbasedontheplanarstructare)3.1平面的单应矩阵摄像机采用小孑L成像模型时I9l三维空间中的点,其坐标对应的转置矩阵为(X,Y,z)T,其在摄像机中的像的坐标为m(u,v)T,那么=SwXy01:Krlr2t】=Krlr2r3tXy1=noy1Xy0l(4)其中为34的投影矩阵,为摄像机的内部参数矩阵,lri(f=1,2,3)及t为外部参数的列向量.Ro为视频第0帧的单应矩阵,表示3D空间中XOY的2D平面的点与图像平面的点的对应关系.设日:v表示视频第i帧的单应矩阵,如果能够求得日1w,则在视频的跟踪过程中,便可以根据日得到该帧图像点的3D坐标和2D坐标关系,从而实现实时的跟踪过程.设日表示相邻两帧第k+1和k帧之间的单应矩阵,则【3】.=日一lHi一-2ll4fi一-日(5)可见,只要求得相邻两帧之间的单应矩阵以及Ho便可以得到日1w,从而可以实现对虚拟对象的动态跟踪.3.2虚拟空间坐标系的建立现有的虚实空间坐标对应的研究存在的缺点是误差较大,并且2D和3D的对应也给研究带来了一些问题.我们的策略是首先根据两幅图像的对应关系,取平面上的一条直线作为3D空间的轴的像,再根据摄像机的内部参数约束以及空间3D坐标系第3O卷第6期全红艳等:增强现实中虚实结合的新方法的x,y轴的垂直约束关系求得y轴的图像,进而可以得到摄像机的外部参数,即旋转矩阵及平移矩阵,从而实现动态地嵌入及跟踪虚拟对象.3.2.1世界坐标系中x轴像的获取设视频的初始两帧的图像为,0和,1,其对应点的坐标假设为m(u,1,)T及m(,v)T,则有:“,V,1=H(6)其中H为该两帧图像之间的单应矩阵.一对对应点具有两个约束:Uth31u+h32v-h33)=hllU+hl2v+hl3(7)v(lU”-I-h32vd-/1133)=h21uq-h22v-b123(8)用任意4对非共线的对应点就可求得凰,然后利用非线性投影误差最小进行优化.获取X轴的像的算法步骤如下:Step1:在/o和,l图像上,利用快速的点对应方法(见第2节),求取它们之间的对应点.Step2:在,0图像的平面区域求得距离为Z的两个点,即to图像的平面内求取的两点po(upo,Vpo)和Pl(Up,Vp.)同时满足以下的条件:(1)P0和Pl在平面上坛上;(2)Po和pl之间距离a(po,P1)为,即(,P1)Ia(po,P1)=z),其中a(po,P1)按照(3)计算;(3)P0和Pl之间的所有像素点的非线性投影误差的平方和最小.图1是利用该方法对两帧图像的第1帧进行平面区域线段提取的结果.设线段P0P.对应的三维空间的线段为尸0,把尸0作为世界坐标系的原点D,P0对应的矢量P0Pl的方向作为世界坐标系的x轴的正方向.图1在/o图像上提取的作为x轴的直线Fig.1Lineextractedfromimage/oasXaxis3.2.2世界坐标系中y轴的像的获取设线段P0P2对应的三维空间的线段为P0P2,对应的矢量P0P2作为世界坐标系的y轴的方向,设P.是世界坐标系的z轴方向上的矢量.用Po,P1,P2,P3分别表示4个点P0,尸2,在to平面上的坐标,用P0,尸2,P3分别表示4个点在三维世界坐标系中的坐标,那么:zop0=KRPo+l(t=Ktl,lpL=KRP+Ktp2:KRP2+(9)(10)(11)其中,P0,P1,P2,P3表示二维空间4个点的齐次坐标的转置矩阵,而P0,P1,P2,P3表示三维空间4个点的齐次坐标的转置矩阵,P0=(0,0,0,1),K为摄像机的内部参数矩阵,和f分别为摄像机外部参数矩阵.为不失一般性,设Zo=i,把式(9)代入到式(10),(11)中,得:K()l,lplPo)=RP1(12)(p2一P0)=RP2(13)再根据PoP1和PoP2的正交性,可以得:(3,1p1一Po)T一K一(p2一P0):0(14)(zzt,2一)T一TK一(p3一Po)=0(15)其中鬈一T一1:fu-000f20001那么旋转矩阵的两个列向量,.2为:rlr9(16)=一(lPlPo)(17)=(p2一Po)(18)在世界坐标系中,设在OX和OY轴方向上的矢量长度分别为m,那么根据下式便可以得到.JIr(Alp1一P0)lI=m(19)再代入式(17),便得到了旋转矩阵的列向量,.1,由于nw的旋转矩阵具有单位正交性,所以可以求得Ho的第1列向量.在求得1,po(uo,120),Pl(“I,v1)后,根据式(18),得=(Uz,vz),表示2,v2,的一个约束关123l23川m机器人2008年11月系;同时根据OX轴与OY轴的正交性,即根据式(14)便可以得到U2,2,的另一个约束关系z2=f2(H2,v2).这样,就可以利用这两个约束求得的差值,使这个差值最小,从而求得”2,v2,继而可以求得.同样根据旋转矩阵具有单位正交性的特点,由式(18),便可以求得Ho的第2列向量;再根据(1o)式便可以求得平移向量f.求得摄像机的外部参数后,便可以实现虚拟对象的注册与动态跟踪.3.3虚实坐标系的对应(计算no)虚实坐标系的对应(即计算)的步骤如下:Step1:利用相邻两帧图像的快速点对应方法求取视频的起始两帧/o和,的对应点;Step2:在视频的第0帧的平面区域中,在投影误差平方和最小的约束条件下,求取一段线段PoPl;Step3:计算摄像机的内部参数矩阵,并根据式(17)计算出比例因子;Step4:根据坐标轴的正交性,利用Step2中求得的JPl点的坐标Pl,使叮以求得P2,Io上PoP2即为世界坐标系中的OY轴上向量P0P2的像;Step5:计算出旋转矩阵的前两列的向量rl,r2,再根据旋转矩阵R的正交性可求得第3列向量r3=rlr2,根据式(9)便可以求得平移矩阵f;Step6:根据no:K【rlr2r3f,可以求得虚实坐标系的对应ZOw.3.4摄像机内部参数的计算假设摄像机的内部参数矩阵的形式为K=f0Cx0fcy001(20)其中f为摄像机的焦距,(,cy)为图像的主点坐标.假设像素的扭曲为0,纵横比为1,主点坐标为图像的中心点,根据旋转矩阵的性质,即平面单应矩阵日的旋转向量,.,r2的内积为0,求得摄像机的焦距-厂(1J:f2:(h,1-cxh31)(hi2-cxh32)+(h21-cvh31)(h22-cxh32)-h31h32(21)第3帧图像第8帧图像第13帧图像图2动态跟踪的结果Fig.2Dynamictrackingresult4实验结果(Experimentresult)在内存为5l2M,CPU为IntelPentium的PC机上,在VC+6.0和OpenGL的环境下,进行了实验研究.在室内环境下,利用索尼7051摄像机拍摄得到视频.进行了虚实对应实验,对于本文提出的方法进行了验证.利用视频的起始两帧求得三维空间中正交的两相交线段P0P1和PoP2,作为OXYZ坐标系的x和y轴.实验中在m取不同值的情况下进行了研究,并计算出的元素的均值h利用上述实验中求得的日和本文提出的基于视频的动态跟踪算法,计算出视频的相应帧的单应矩阵,并实现了对虚拟物体的动态跟踪.图2给出了实验中第3,8,13帧动态跟踪的结果,实验结果表明本文提出的基于视频的动态跟踪算法的正确性和有效性.5结论(Conclusion)对基于视频的增强现实技术进行了研究.平面场景是增强现实实际应用中较为常见的情形,本文对平面场景应用背景下的技术进行了研究,提出了一种基于平面结构的虚拟物体注册新方法,并给出了一种视频帧之间的对应策略,克服了现有方法利用参考图像或模板所带来的误差较大及复杂性较高的缺点,有效地解决了虚实坐标系的对应问题.总之,提出的方法有效地解决了增强现实技术第30卷第6期全红艳等:增强现实中虚实结合的新方法中虚拟物体的注册和动态跟踪问题,降低了虚拟物体的注册误差,必将推动增强现实技术研究的进一步发展.参考文献(References)1】PressigoutM,MarchandE.HybridtrackingalgorithmsforplanarandnonplanarstructuressubjecttoilluminationchangesA.ProceedingsoftheIEEE/ACMIntemationalSymposiumonMixedandAugmentedReality【C】.Piscataway,NJ,USA:IEEE.20o6.5255.2】LourakisMIA,HalkidisSOrphanoudakisSC,eta1.MatchingdisparateviewsofplanarsurfacesusingprojectiveinvariantsJ.ImageandVisionComputing,2000,”18(9):673683.3】SimonG,FitzgibbonAW,ZissermanA.MarkerlesstrackingusingplanarstructuresinthesceneA.ProceedingsoftheIEEEandACMIntermationalSymposiumonAugmentedReality【C】.Piscataway,NJ,USA:IEEE,2000.120128.4SimonG,BergerMO.Reconstructingwhileregistering:Anovelapproachformarkerlessaugmentedreality【A】.ProceedingsoftheInternationalMixedandAugmentedRealityC.Piscataway,NJ,USA:IEEE,2002.285294.5SimonG,BergerMO.Realtimeregistrationknownorrecoveredmultiplanarstructures:ApplicationtoARDB/OL.http:/www.bmva.ac.uk/bmvc/2002/papers/91/ful1.91.pdf,200012008.6YuanML,OngSK,NeeAYC.RegistrationbasedonprojectivereconstructiontechniqueforaugmentedrealitysystemsJ.IEEETransactionsonVisualizationandComputerGraphics,2005,1l(3):254264.7】LourakisMIA,ArgyrosAA.VisionbasedcamemmotionrecoveryforaugmentedrealityA.ProceedingsofComputerGraphicsInternationalConfer