实验室自科申书一立项依据与研究内容40008000字

项目的研究意义环境的简单作业机器人，逐步拓展到复杂工业制造、智能生活辅助、极限图1等，如图1中场景三维彩色地图；2）在大规模场景中，三维彩色地图信息巨大导致效率和计算速度非常低；为实现在场景中的快速定位和快速任务处理，机器人期望获得场景的高效特征地图或拓扑地图，如图中场景现场景拓扑节点和特定目标的语义识别。如要求机器人“移动到休息室拿取一二维图像和一维测距类信息的不完整性、三维信息恢复的时滞性，无法像人类视觉系统一样实时获取完整的三维场景信息，难以真正意义上实现环境的智能感知；三维机可同时实时提供场景深度信息和纹理信息0]，如Swiss-ranger公司的R系列、微软Kinect机等，其三维信息获取的优势为三维、成像质量差、三维测量精度仍有待提高等问题11]；此外大场景下三维机连续获取的三维点云数据量巨大，在实时计算处理和方面存在很多难题；基于连续三维视觉信息的场景理解机理十分复杂，属于全新研究范畴，基于三维视觉的机器人三维场景语义地图研究总体处于起步和探索阶段。业巨头和研究机构的普遍关注，如微软在Kinect三维机取得巨大成功后于2013年下半年推出了Kinect2.0；Apple公司于2013年11月宣布收购PrimeSense三维视觉传感器公司；In公司在2014年1月的InternationalCES大会上推出了RealSense微型三维视觉传感器；公司更直接于2014年2月宣布启动Tango研究是一个充满希望和的方向。国内外研究现状维机融合方案、立体视觉、三维机等获取方案。D激光测距仪的三维测量精度高，但是存在重量大、功率高和价格昂贵等问题，且无法提供场景的图像信息[12研出距二维的案[13-14多提供场景的高质量图像信息，但是获取的深度信息受场景特征疏密程度和特征156。近年来，D机的出现引起了广泛关注，如微软it机、Swiss-ranger的R系列三维机等，其特点是可同时实时获取空间场景的图像信息以及图61720和场景目标分割识别但是，三维机深度测量的精度受积分时间、目标反射率、测量距离、辨率仅为176*144，从而严重制约了其应用范围。为提高三维机的深度信息精度，为解决分辨率低的问题，Linder.M和Kahlmann.T等先后提出了三维相机Prasad等提出利用传统插补方法提高分辨率的方案[25]Sigurjon等提出SR3000机与立体机的融合方案[26]，Kuhnert等提出了PMD三维机与立体机的融合方案[27]，B.Huhle等提出利用超分辨率技术实现PMD机与高精度彩色机融合提高分辨率的方法[28]，M.Hansard等提出了一种ToF机和彩色机的交叉标定方案[29]，余洪山等提出三维机和二维机融合的高精度三维视觉信息解决方案，实现高质量高分辨率的二维彩像和深度图像的实时获取[30]。此外，近期微软、In、Apple和公司在三维和地图创建等研究带入模拟人类视觉感知的全三。6自由度信息变化量，是机器人自定位和地图创建的组成[31-32]Kd-treeICP迭代算法。ICP迭代算法可在较小空间变换范围内或体视觉的运动估计、基于三维机的运动估计等。基于单目视觉的运动估计由于自身的局限，可获得无尺度信息的三维相对运动估计[39-41]；基于立体视觉维运动估计[42-44]。AndreasGeiger等人建立KITTI数据库用于立体视觉里算ICP算法求取三维运动估计[51-52]。为降低计算量，提出基于相邻帧图像的不值[53-54]。但是该类方法的有效性严重依赖于场景特息，若场景匹配的有效图像特征点较少，算法将失效，如图2所示。由于三维机在成像距离、成像精度和二维图像分辨率的局限性，人们提出了激光测距仪和三维机融合的三维运动估计方案55]、立体机和三维融合的三维运动估计方案56]、二维机和三维机融合的运动估计方案57 (d)有深度信息的图像特征点（绿色）图2 4,59]开始逐步拓展至三维地图创建[37,40,60-61]。相对于二机器人位姿由(x,y,)三分量表示，三中机器人位姿由6分量(x,yz,x,y,z)地图同步创建与定位又称为6D-SLAM，其是基于三维传感器获取的连续场D激光测距仪可提供场景远且高精度的三维测量信息，因此部分研究机构最初基于D激光测距仪完成场景的三维地图创建636]；相对于三维激光测距类传感器，某些研究团队用立体视觉传感器提供机器人场景图像信息67]；然而，在自然场景下伴随光线变化，立体视觉系统难以实时提供有效的三维信息，为此，有研究者提出二 机与激光测距仪结合的三维地图创建方案[68]。由环路的机器人地图优化是三维地图创建的一项重要内容[71-77]。基于三维视觉传地三目而在、、场景识别分类和三维可视化方面遇到了新的瓶颈。针对上述问题，研究人员提出基于场景中的结构特征（如平面、曲面等）或相似区域构建三维地图。平面是三中最显著和比例最大的空间特征，文献7879]提出了基于三维点云的空间面特征检测方法，并实现了基于面特征的三维地图创建，并有效降低了空间复杂度。面存在很大的局限性[80]。鉴于三维信息对空间描述的完整性，语义地图创建(Semanticmap)开始引起了研究人员的关注，其是创建包含具有人类空类，利用传感器信息建立相应的模型表示；3）对地图中的组成模型或定义目标分割是语义目标识别的基础。针对三维机特性，Richtsfeld.A等提割[88]；Jebari提出基于超像素技术对RGBD图像进行分割处理[89]；LiuHaowei等基于深度信息提取目标边界，并借助Graphcut技术实现目标的优化分割[90]；苏为实现空间区域的识别分类，a等对用于室内场景分类的空间特征进行详细分析93；Lrik等提出语义深度学习器，基于图像和深度信息实现场景目标的分割与识别94；s等提出基于特征描述词用于室内办公环境下的目标识别95Mrl等提出了一种基于视觉的门特征检测方法uis等提出了基于特征词带的区域外观模型识别方法9798；中国科技大学oZ模型实现场景目标的语义识别99tals分类器实现语义目标的识别10htr并完成上述语义地图创建8]；ldw等根据厨房场景的三维信息实现包含洗碗机、燃气灶、抽屉等区域的三维语义地图创建101；it等提出了基于区域分析的室内环境语义地图分割方法，实现拓扑语义地图创建102]；rs等提出了面向智能服务机器人的的语义感知和地图创建方案103]，该方案采用it三维机实现三维地图创建，并结合人类知识了提出场景语义目标的识别和关联inir推理和数据驱动C的室内语义地图的知识框架，用于实现大场景的语义抽象和理解14。目前基于三维视觉的运动估计、场景分割与语义地图创建仍处于起步阶段，仍集中于特定场景或特定任务下应用，仍严重制约着机器人与实时环境的交互性和复杂任务的执行能力。针对上述问题，本项目在基于二维/三维机融合的三维视觉信息获取和主要参考文献 （美）著．机器人手册.机械工业 应用，2008，25(1):57-A.Pronobis,P.Jensfelt.Large-scaleSemanticMapandReasoningwithHeterogeneousModalities.InProceedingsofthe2012IEEEInternationalConferenceonRoboticsandAutomation,2012PeterHenry,MichaelKrainin,EvanHerbst,XiaofengRenandDieterFox.RGB-DMap:UsingKinect-StyleDepthCamerasforDense3DModelingofIndoorEnvironments.InternationalJournalofRoboticsResearch，2012:647-AndreasNüchter,JoachimHertzberg.Towardssemanticmapsforrobots.RoboticsandAutonomousSystems,2008,56(11):915-926Pathak,K.,Birk,A.,Vaskevicius,N.,Pfingsthorn,M.,Schwertfeger,S.&Popa,J.Online.3DSLAMbyRegistrationofLargenarSurfaceSegmentsandClosedFormPose-GraphRelaxation.JournalofFieldRobotics.SpecialIssueon3DMap,2010,27(1),52-84Hansdard,SeungkyuLee,OukChoi,RaduHoraud.TimeofflightCamerasPrinciples.MethodsandApplications.Springer,2013Rapp,H.;Frank,M.;Hamprecht,F.A;Jahne,B.AtheoreticalandexperimentalinvestigationofthesystematicerrorsandstatisticaluncertaintiesofTime-of-Flight-cameras.Int.J.Inl.M.Hebert,M.Deans,D.Huber,B.Nabbe,N.Vandapel.Progressin3-dmapandlocalization.InternationalSymposiumonInligentRoboticSystems，2001:145–154SebastianThrun,ChristianMartin,YufengLiu.AReal-TimeExpectation- AlgorithmforAcquiringMulti-narMapsofIndoorEnvironmentsWith IeeeTransactionsOnRoboticsAndAutomation,2004,20(3):433-XiaofengLian,ZaiwenLiu,XiaoyiWang,etal.ReconstrutingIndoorEnvironmental3DModelUsingLaserRangerScannersandOmnidirectionalCamera.Proceedingsofthe7thworldCongressonInligentControlandAutomation.Chongqing,,2008:1640-1644SanjeevMehrotra,ZhengyouZhang,QinCai,ChaZhang,andPhilipA.Chou.plexity,Near-LosslessCodingofDepthMapsfromKinect-LikeDepthCameras.IEEE13thInternationalWorkshoponMultimediaSignalProcessing,2011,1-，，，．基于RGB-D相机的移动机器人三维SLAM．华技HongshanYu,JiangZhu,YaonanWang,WenyanJia,MinguiSun,YTang.ObstacleClassificationand3DMeasurementinUnstructuredEnvironmentsBasedonToFCameras.Sensors,2014,14(2):10753-KahlmannT,IngensandH.Calibrationanddevelopmentforincreasedaccuracyof3Drangeimagingcameras,2008,2:1–11.LinderM,SchillerI,KolbA,KochR.Time-of-Flightsensorcalibrationforaccuraterangesensing.ComputVisImageUnderst,2010,11(4):1318–1328.DragosFalie,VasileBuzuloiu.NoiseCharacteristicsof3DTime-of-FlightCameras,APrasad,KHartmann,WWeihs,S.E.Ghobadi,ASluiter.Firststepsinehancing3dvisiontechniqueusing2d/3d puterVisionWinterWorkshop,CzechPatternRecognitionSociety,ChumandFranc,Eds,2006SigurjónÁrniGuðmundsson,HenrikAanæs,RasmusLarsen.FusionofStereoVisionandTime-of-FlightImagingforImproved3DEstimation,Int.J.In ligentSystemsandApplications,2008:1-8K.-DKuhnert,MStommel.Fusionofstereocameraandpmd-cameradataforreal-timesuitedprecise3denvironmentreconstruction.InIEEE/RSJInternationalConferenceonInligentRobotsandSystems(IROS’06),2006BenjaminHuhle,SvenFleck,AndreasSchilling.Integrating3DTime-of-FlightCameraDataandHighResolutionImagesfor3DTVApplications,2008:1-4 Hansard,GeorgiosEvangelidisa,QuentinPelorsona,RaduHorauda.Cross-calibrationoftime-of-flightandcolour puterVisionandImageUnderstanding,2014,9(1)余洪山，，等.面向高精度三维视觉信息获取的2D/3D机融合方法装置.控制理论与应用，2014，31(10)：1383-SCARAMUZZAD,FRAUNDORFERF.VisualOdometry(PartI:TheFirst30YearsandFundamentals).IEEERobotics&AutomationMagazine,2011,18(4):80-92.FraundorferF,ScaramuzzaD.Visualodometry:PartII:Matching,robustness,optimization,andapplications.Robotics&AutomationMagazine,IEEE,2012,19(2):78-90PaulJ,BeslNeil,DMcKay.Amethodforregistrationof3-Dshapes[J].IEEETransactionson ysisandMachineIn ligence,1992.14(2):239-256.Rusinkiewicz,Szymon,LevoyMarc.EfficientvariantsoftheICPalgorithmThirdInternationalConferenceon3-DDigitalImagingandModeling,2001:145-，.一种基于点—面匹配的3D-SLAM方法.机器人,2011,33(2):215-ChenY,MedioniG.Objectmodellingbyregistrationofmultiplerangeimages.Imageandvisioncomputing,1992,10(3):145-155NüchterA,LingemannK,HertzbergJ,Surmann,H.6DSLAM–3Dmapoutdoorenvironments.JournalofFieldRobotics,2007,24(8–9):699–722.MagnussonM,LilienthalA,DuckettT.Scanregistrationforautonomousminingvehiclesusing3D-NDT.JournalofFieldRobotics,2007,24(10):803-827DNister,O.Naroditsky,J.Bergen.Visualodometryforgroundvehicleapplications.JournalofFieldRobotics,vol.2006,23:3-20DScaramuzza,RSiegwart.Appearance-guidedmonocularomnidirectionalvisualodometryforoutdoorgroundvehicles.IEEETrans.Robot.(SpecialIssueonVisualSLAM),vol.24,no.5,2008(10):1015–1026DongFangYang,FuChunSun,ShiChengWang,JinShengZhang.Simultaneousestimationofego-motionandvehicledistancebyusingamonocularcamera.ScienceInformationL.MatthiesandS.Shafer.Errormodelinginstereonavigation.IEEEJ.Robot.Automat,vol.3,no.3:239-248,1987C.Olson,L.Matthies,M.Schoppers,andM.W.Maimone.Robuststereoego-motionforlongdistancenavigation,inProc.IEEEConf.ComputerVisionandPatternRecognition,2000:453-458A.Howard.Real-timestereovisualodometryforautonomousgroundvehicles,inIEEE/RSJInt.Conf.InligentRobotsandSystems,2008:TheKITTIVisionBenarkSuite.IEEEConferenceonComputerVisionandPatternRecognition(CVPR),16-21June2012:3354-3361AndreasGeiger,PhilipLenz,ChristophStiller,RaquelUrtasun.VisionmeetsRobotics:TheKITTIDataset.InternationalJournalofRoboticsResearch,2013,32(11):1231-1237YunLiangjiang,YunXixu,YongLiu.Performanceevaluationoffeaturedetectionandmatchinginstereovisualodometry.Neurocomputing,2013,120:380-390HengFangandSebastianScherer.ExperimentalStudyofOdometryEstimationMethodsusingRGB-DCameras.IEEE/RSJInternationalConferenceonInligentRobotsandSystems(IROS2014),14-18Sept.2014:680-687AnkurHanda,ThomasWhelan,JohnMcDonaldandAndrewJ.Davison.ABenarkforRGB-DVisualOdometry.3DReconstructionandSLAM.IEEEInternationalConferenceonRoboticsandAutomation(ICRA),2014:1524-1531JoshuaFabianandGarrettM.Clayton.ErrorysisforVisualOdometryonIndoor. RobotsWith3-DSensors.IEEE/ASMETransactionsonMechatronics,Dec.S.May,D.Dr¨oschel,D.Holz,E.Fuchs,S.Malis,A.N¨uchter,andJ.Hertzberg.dimensionalmapwithtime-of-flightcameras.JournalofFieldRobotics(JFR),26(11-12),2009A.Prusak,O.Melnychuk,H.Roth,I.Schiller,andR.Koch.Poseestimationandmapbuildingwithatime-of-flight-cameraforrobotnavigation.InternationalJournalofInligentSystemsandApplications,5(3):355-364,2008H.AndreassonandA.Lilienthal.6Dscanregistrationusingdepth-interpolatedlocalimagefeatures.RoboticsandAutonomousSystems(RAS),58(2),2010AlbertS.Huang,AbrahamBachrach,PeterHenry,MichaelKrainin.VisualOdometryandMapforAutonomousFlightUsinganRGB-DCamera.Int.SymposiumonRoboticsResearch(ISRR),Flagstaff,Arizona,USA,Aug.2011DandaPaniPaudel,CedricDemonceaux,AdlaneHabed,PascalVasseur,andInSoKweon.2D-3DCameraFusionforVisualOdometryinOutdoorEnvironments.IEEE/RSJInternationalConferenceonInligentRobotsandSystems(IROS2014),14-18Sept.OzgurYilmaz,FatihKarakus.Stereoandkinectfusionforcontinuous3Dreconstructionandvisualodometry.InternationalConferenceonElectronics.ComputerandComputation(ICECCO),7-9Nov.2013:115-118余洪山，，等.基于三维视觉系统图像特征和三维信息的运动估计方法.发明专利申请号:201310544349.7.申请日:2013.11ThomasA.Ciarfuglia,GabrieleCostante,PaoloValigi,ElisaRicci.Evaluationofnon-geometricmethodsforvisualodometry.RoboticsandAutonomousSystems.2014,62(12):1717-1730Durrant-WhyteH,BaileyT.Simultaneouslocalizationandmap:partI.RoboticsSurmannH,NüchterA,HertzbergJ.Anautonomousrobotwitha3Dlaserrangefinderfor3Dexplorationanddigitalizationofindoorenvironments.RoboticsandAutonomousSystems,2003,45(3):181-198WeingartenJ,SiegwartR.3DSLAMusingnarsegments.InligentRobotsandSystems,2006IEEE/RSJInternationalConferenceon.IEEE,2006:3062-3067BorrmannD,ElsebergJ,LingemannK,NuchterA,HertzbergJ.Globallyconsistent3Dmapwithscanmatching.RoboticsandAutonomousSystems,2008,56(2):130-142AllenP,StamosI,GueorguievA,etal.Avenue:Automatedsitemodelinginurbanenvironments.3-DDigitalImagingandModeling,ThirdInternationalConferenceon.IEEE,2001:357-364GeorgievA,AllenPK.LocalizationmethodsforarobotinurbanRobotics,IEEETransactionson,2004,20(5):851-SequeiraV,NgKC,WolfartE,etal.Automated3Dreconstructionofinteriorswithmultiplescanviews.ElectronicImaging'99.InternationalSocietyforOpticsandPhotonics,1998:MagnussonM,DuckettT.Acomparisonof3Dregistrationalgorithmsforautonomousundergroundminingvehicles.ProceedingsoftheEuropeanConferenceonRobotics(ECMR2005).2005:86-91SeS,LoweD,LittleJ.Localandgloballocalizationforrobotsusingvisuallandmarks.InligentRobotsandSystems,2001.Proceedings.2001IEEE/RSJInternationalConferenceon.IEEE,2001:414-420BiberP,AndreassonH,DuckettT,etal.3Dmodelingofindoorenvironmentsbyrobotwithalaserscannerandpanoramiccamera.In ligentRobotsandSystems,2004.(IROS2004).Proceedings.2004IEEE/RSJInternationalConferenceon.IEEE,2004,4:3430-KinectFusion:Real-time3DReconstructionandInctionUsingaMovingDepthCamera”,UIST'11Proceedingsofthe24thannualACMsymposiumonUserinterfacesoftwareandtechnology，2011:559-568JurgenSturm,NikolasEngelhard,FelixEndres,WolframBurgard,andDanielCremers,ABenarkfortheEvaluationofRGB-DSLAMSystems,2011，，罗.基于图优化的同时定位与地图创建综述.机器人，2013，S.Bazeille,andD.Filliat.CombiningOdometryandVisualLoop-ClosureDetectionforConsistentTopo-MetricalMap,RAIRO-OperationsResearch,2010,44(4):365-377AdrienAngeli,StephaneDoncieux,n-ArcadyMeyer.Incrementalvision-basedtopologicalSLAM,InligentRobotsandSystems,2008:1031-1036BrianWilliams,MarkCummins,JoseNeira,Paul,IanReidandJuanTardos,AcomparisonofloopclosingtechniquesinmonocularSLAM,2009,57(12)V:1188-1197ChristianKerl,JurgenSturm,andDanielCremers,DenseVisualSLAMforRGB-DCameras,2013IEEE/RSJinternationalconferenceoninligentRobotsandSystems,2013TWhelan,MKaess,JJLeonard,J.B.McDonald,Deformation-basedLoopClosureforLargeScaleDenseRGB-DSLAM,IEEE/RSJIntl.Conf.onInligentRobotsandSystemsAdrienAngeli,DavidFilliat,StéphaneDoncieux,n-ArcadyMeyer.AFastandIncrementalMethodforLoop-ClosureDetectionUsingBagsofVisualWords.IEEETransactionsOnRobotics,SpecialIssueonVisualSLAM,2008,pp.1027-1037RenatoF.Salas-Moreno,BenGlocker,PaulH.J.KellyandAndrewJ.Davison,DensenarSLAM,inProc.InternationalSymposiumonMixedandAugmentedReality(ISMAR),2014:157-RaviKaushik,JizhongXiao.Acceleratedpatch-basednarclusteringofnoisyrangeimagesinindoorenvironmentsforrobotmap.RoboticsandAutonomousSystems,IoannisKostavelis,AntoniosGastos.Semanticmapforroboticstasks:Asurvey.RoboticsandAutonomousSystems,2015,66:86-103HenrikI,Christensen,Geert-JanM,Kruijff,andJeremyL.Wyatt,editors.Systems,volume8ofCognitiveSystemsMonographs.Springer,2010,ISBNRottmannA,MozosOM,StachnissC,etal.Semanticceclassificationofindoorenvironmentswithrobotsusingboosting.AAAI,2005,5:1306-1311StachnissC,MozosOM,BurgardW.Speeding-upmulti-robotexplorationbyconsideringsemanticceinformation.RoboticsandAutomation,2006,Proceedings2006IEEEInternationalConferenceon.IEEE,2006:1692-1697GalindoC,SaffiottiA,CoradeschiS,etal.Multi-hierarchicalsemanticmapsforrobotics.InligentRobotsandSystems,InternationalConferenceonIEEE,A.Pronobis.SemanticMapwithRobotsPhDthesis,KTHRoyalInstituteofTechnology,2011EmilioRemolina,BenjaminKuipers.Towardsageneraltheoryoftopologicalmaps.Inl,2004,152(1):47-AndreasRichtsfeld,ThomasMörwald,JohannPrankl,MichaelZillich,Vincze.LearningofperceptualgrouforobjectsegmentationonRGB-Ddata.JournalofVisualCommunicationandImageRepresentation.2014,25(1):64-73IslemJebari,DavidFilliat.Coloranddepth-basedsuperpixelsforbackgroundandobjectsegmentation.ProcediaEngineering,2012,41:1307-1315HaoweiLiu,MatthaiPhilipose,Ming-TingSun.AutomaticobjectssegmentationwithRGB-Dcameras.JournalofVisualCommunicationandImageRepresentation,2014,25(4):，辉.基于GraphCut和超像素的自然场景显著对象分割方法。苏州大学学NathanSilberman,DerekHoiem,PushmeetKohliandRobFergus.IndoorSegmentationandSupportInferencefromRGBDImages,ECCV,2012:2-5AgnesSwadzba,SvenWachsmuth．Adetailedysisofanew3Dspatialfeaturevectorforindoorsceneclassification．RoboticsandAutonomousSystems,2014,62(5):646-662LuborLadický,JianboShi,MarcPollefeys.PullingThingsoutof.IEEEConferenceonComputerVisionandPatternRecognition(CVPR),2014:89-96.LeventeTamas,LucianCosminGoron．3Dsemanticinterpretationforrobotperceptioninsideofficeenvironments,EngineeringApplicationsofArtificialInligence.2014,32,76–A.C.Murillo,JanaKosecká,JoséJesúsGuerrero,CarlosSagüés.Visualdoordetectionintegratingappearanceandshapecues.RoboticsandAutonomousSystems,2008,56(6):CumminsM,P.FAB-MAP:Probabilisticlocalizationandmapinthespaceofappearance.TheInternationalJournalofRoboticsResearch,2008,27(6):647-665Cummins,M., ,P.Appearance-onlySLAMatlargescalewithFAB-MAP2.0.TheinternationalJournalofRoboticsResearch,2011,30(9):1100-1123ZheZhao,XiaoChen,"Semantic forObjectCategoryandClass",IEEE/RSJInternationalConferenceon

ligentRobotsandSystems2014:724IoannisKostavelis,AntoniosGastos.Learningspatiallysemanticrepresentationsforcognitiverobotnavigation.RoboticsandAutonomousSystems,2013:1460–1475.BlodowN,GoronLC,MartonZC,etal.Autonomoussemanticmapforrobotsperformingeverydaymanipulationtasksinkitchenenvironments.InligentRobotsandSystems(IROS),2011:4263-4270Nieto-GrandaC,RogersJG,TrevorAJB,etal.Semanticmappartitioninginindoorenvironmentsusingregionalysis.InligentRobotsandSystems(IROS),2010:PronobisA,MozosOM,CaputoB,etal.Multi-modalsemanticceTheInternationalJournalofRoboticsResearch,2010,29(2-3):298-ZiyuanLiu,GeorgvonWichert.AgeneralizableknowledgeframeworkforsemanticindoormapbasedonMarkovlogicnetworksanddatadrivenMCMC.FutureGenerationComputerSystems,2014,36:42-56；本项目以室内环境作业移动机器人为对象，研究基于二维和三维机融为此，项目重点突破基于二维和三维机融合的三维运动路径估计与优化、三维场景分割和场景类型语义识别等理论方法，如图3图3三维视觉系统（Kinect相机、二维/三维复合机）只能获取一定范围的三单目视觉里与三维视觉里具有明显的互补性：1）相对三维视觉系统，高质量二维机可获取且可靠的图像特征点（如图3所示），通过连影响较小；2）三维视觉里可获取相邻帧运动估计的绝对尺度信息。因此，通过两类方案的优化融合，将有效提高视觉里的估计精度，降低不同工作为此，本项目在已有研究基础上，重点开展：1）研究基于二维机和三维机融合的三维运动估计方案，有效结合三维视觉里和单目视觉里程深入分析二维/三维机融合成像模型，研究高质量二维图像特征点的三维信高精度三维彩色点云地图可重现仿人视觉感受的三维自然场景，为者大造成的三维点云更新、计算、等问题，本项目将三维彩色地图创建处理像特征、里信息、熵率等特息，建立关键帧计算提取模型；2）研究基综合三和图像信息的高效场景区域分割和目标识别方法，具体包括：域目标节点提取和模型参数计算；③采用神经网络学习分类器词典(Bagofwords)，引入神经网络（SVM/RVM/ELM等）分类器，实现场景常基于模型的场景语义识别模型是一种可以容纳任意上下文信息的概率推理模型。本项目拟根据场景三维图像序列中的识别目标、三维视觉特征词典，基于模观合，的。提出基于二维机和三维机融合的三维视觉里优化方法，为连续大场景业机器人的三维运动估计和路径轨迹优化提供解决方案，有效提高视觉里的运动估计精度和对不同环境的适用性；融合二维和三维机信息，提出基于关键帧的机器人局部三维彩色地图创建方法，有效降低地图拼接的计算量，为者提供高质量的三维场景视通过该项目的实施，预期提供一套融合二维和三维机信息的室内场景法，提高三维视觉里在不同场景下的鲁棒性和适用性；拟采取的研究方案及可行性分析（本项目依托期研究成果的基础上，密切关注国内外知名研究机构和公司的研究动态，采取理论分析研究、公共测试数据库验证和现场实验调试相结合的思路。在场景三维信息获取方面，采用项目组研制的三维机和二维机组成的复合机装置、微软Kinect三维机等三维视觉系统完成模型的可行性与稳定性；同时利用KITTI视觉里数据库、德国慕尼黑工业5技术方案1：基于二维和三维机融合的