增强现实装配关键技术及其发展

增强现实装配及其发展宋荆洲， ， ：：增强现实装配技术是增强现实技术在设计与制造领域的重要应用之一，已引起工：：号：TP391.7引国内外研究现状分析1本课题得到高等学校博士学科点专项科研基金（项目：200800131026）的资助音公司的机上接线器和缆线的增强现实装配系统[10]VTTY.PangA.Y.C.Nee等人研究开发了一个面向装配设计、评价的增强现实环境系统。该系统采用基于的增强现实技术，将真实零件和来自CAD环境的芬兰VTT技术在增强现实应用基础方面展开了深入研究，CharlesWoodward教授等人在2006年1月专门设立了一个关于增强装配的项目“AugAsse”，其主要目标即是研究利用增强现实技术提高装配工作的效率(见图1)。图1利用动力单元增强拖拉机附件的装FraunhoferIGDARVIKA项目[12]ARTESAS项目[13]究包括理工大学研制的头盔显示器及数字圆明园项目[14],航空航天大学机器人基于增强现实的机器人遥操作系统[15]，华技大学的基于增强现实的车间布局仿真系统[16]、增强现实数控加等[17]，以及最近由浙江大学牵头、航空航天大学、大学、中国软件、大连海事大学、浙江工商大学等单位联合承担的973项目“混合现实的理论和方法”，邮电大学承担的863项目“基于双路视觉的机器人遥操作增强现实研究”等。此外，哈尔滨工业大学、交通大学、理工大学等单 增强现实装配环境中的感知机制装配原型系统中结合箱的装配过程进行了实验验证，取得了很好的运行效果[20]。但由虚实对象遮挡的深度感知在国外，Yokoya等人研究利用视觉来计算真实场景图像上物体的深度信息，然后信息求解的计算量大，因而求解只局限于绘制虚拟物体所在的区域内[25]。Lepetit等人提出我中心深度感知理论为依据建立了距离和深度的线性关系[27。在国内，理工大学等人据配出场图像稠深图实物的挡系根它确得，为加快深度图的求解速度,他们利相机极线约束线性校正方法对左右图像进行校正，将匹配点的搜索范围从二维降至了一维，减少了计算量，提高了精度[28。浙江大模型提高了对极几何的求解精度，将全局和局部相结合,提高并加快物体前轮线求的速度，取得了很好的效果[24虚实对象间的碰撞感知物体也变换到相机坐标系，最后通过比较两者的Z值来进行碰撞检测[30]。的轴，测孔发撞多表中面似表达为棱柱面测要实精判拟间否撞时要际的区域，根据零部件之间的几何约束配合关系，进行精确的剔除1]。因此，采用单一的检测方法往往难以满足装配系统的性能要求1。研究在装配感知机制的支持下,基于多视角图像lHull,将是一种行之有效的方法。该方法可以避系统体系结构及相关技术的实现在上述有关增强现实装配系统及其的综合分析基础上,本文提出一种基于虚实对感知机制的增强现实装配系统运行环境,其体系结构如图2所示。在图2中，已有的无需重新设计的真实部件通过双目视觉后与新设计的CAD零件模型经过虚实后融合在增强装配场景中。用户可以通过六自由度鼠标、为子装配体Agent、场景管理Agent、深度感知Agent、碰撞感知Agent、特征Agent和一个用于装配情景动态转换描述的Petri网。各个Agent相互协调，并且基于对装配情景Petri网Petri网模型，最后通过推理规则库来实现对用户交互意图及装配场景变化的得对象物体的深度。具体实现流程如图3所示。4虚实物体之间的询的求解。此外，在虚实对象碰撞求解过程中，采用基于图像的可见外壳（ImagebasedVisualHullIBVH）生成算法，利用真实物体的可见外壳与虚拟对象进行碰撞求解，从而存在的不足及今后的发展方向参考文献Y.Pang,A.Y.C.Nee,KamalYouce-Toumi,etal.AssemblyDesignandEvaluationinanAugmentedRealityEnvironmen[C].Singapore-MITAllianceSymposium,2005.01,Singapore .虚拟装配中基于相对位置的碰撞检测[J].计算机应用,2006,26(1):103- 等.虚拟装配环境下快速碰撞检测方法的研究[J].系统仿真学报200517(9):2167-M.L.Yuan,S.K.Ong,andA.Y.C.Nee.RegistrationUsingNaturalFeaturesforaugmentedRealityIEEETransactionsonVisualizationandComputerGraphics,2006,12(4):569-BerndSchwald,BlandineLaval.AnAugmentedRealitySystemforTrainingandAssistancetoMaintenanceintheIndustrialContext[J].JournalofWSCG,2003,11(1)HaraldWuset,DidierStricker.TrackingofIndustrialObjectsbyusingCADModels[J].JournalofVirtualRealityandBroadcasting.2007,4(1).虚拟装配中感知机制构造[J].软件学报200213(12):2324-Wang,X.,etal.RapidlyIncorporatingRealObjectsforEvaluationofEngineeringDesignsinaMixedRealityEnvironment[C].“NewDirectionsof3DIU”WorkshopofIEEEVirtualReality,2005RonaldAzuma,YohanBaillot,ReinholdBehringer,etal.RecentAdvancesinAugmentedReality[J].IEEEComputerGraphicsandApplications,2001,21(6):31-47BarfieldW.,CaudellT.FundamentalofWearableComputersandAugmentedReality[M].LawrenceErlbaumAssociates,Publishers,2001,447-471TapioSalone,etal.DemonstrationofAssemblyWorkUsingAugmentedReality[C].CIVR’07,TheNetherlands,2007,7:120-FraunhoferInstituteforComputerGraphicsIGD[R].AchievementsandResultsAnnulReport,林倞,

等.基于图像匹配的户外环境算法[J].中国图像图形学报,2005.9,Vol.10,,,丑武胜等.基于增强现实的机器人遥操作系统研究[J].系统仿真学报No.5,943-猛 2007(1),PP64-,,超 ,,,党,武殿梁,

.基于约束的虚拟装配技术研究[J].计算机集成制造系统,2006,夏平均,学,刘江省,.基于虚拟现实和仿生算法的装配序列优化[J].机械工程学报,.虚拟装配中面贴合感知构造研究[J].计算机研究与发展2002,39(101331-,姚珺,.基于虚拟装配的碰撞检测算法研究与实现[J].系统仿真学报,2004,16(8)：LennartEFahlen,GharlesGrantBrown,OlovStahletal.ASpacebasedmodelforuserInteractioninSharedSyntheticEnvironments[C].InInter.CHI’93.Amsterdam:ACMPress,1993,24-29PeterJBerkelman,RalphLHollis,DavidBaraff.InteractionwithaReal-timedynamicEnvironmentSimulationUsingaMagneticLeviationHapticInterfaceDevice[C].The1999IEEEInter.Conference.Robotics&Automation,Detroit,Michigan,1999.用视觉计算实现增强现实遮挡处理[J].计算机辅助设计与图形学学报,2007,19(12)：YokoyaN,TakemuraH,OkumaT,etal.StereoVision See-throughMixedLepetitV,BergerMO.ASemi-automaticMethodforResolvingOcclusioninAugmentedReality[C].ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition,HiltonHeadIsland,SouthCalifornia,2000:2225-2230EdwardSwanIIJ,LivingstonMA,SmallmanHS,etal1.APerceptualMatchingTechniqueforDepthJudgmentsinOpticalSee-throughAugmentedReality[C].ProceedingsofIEEEVirtualRealityConference,,,等.增强现实系统中的深度检测技术研究[J].计算机应用,2006,26(1):132-D.Aliaga.VirtualandRealObjectCollisionsinaMergedEnvironment[C].VirtualRealitySoftware&Technology(Proc.VRST'94),Singapore,1994:287-298.DavidE.Breen,EricRose,RossT.Whitaker.InteractiveOcclusionandCollisionofRealandVirtualObjectsinAugmentedReality[R].TechnicalreportECRC-95-02,1995,,等.基于组件及多感知机制的快速碰撞检测方法[J].中国机械工程,2004,15(3):255-258SchoolofAutomation,BeijingUniversityofPostsand munications,Beijing,PRC,Augmentedrealityassembly,isapromisingapplicationofvirtualrealityindesignandmanufacturingandhasdrawnmuchmoreandmoreattentionsfromindustriesandresearchinstitutes.Acomprehensivesurveyoftherecentforeignanddomesticstudyprogressesonaugmentedrealityassemblywaspresented.Andincludingthemutualinteractionmechanismbetweenthevirtualandrealobjects,themethodsofthedepthperceptionandcollisiondetection,andsoonkeytechnologiesintheassemblyenvironmentsarerevi