《基于三维数据的目标识别研究的国内外文献综述》6100字

基于三维数据的目标识别研究的国内外文献综述目录TOC\o"1-2"\h\u27046基于三维数据的目标识别研究的国内外文献综述 1241131.1三维数据获取方法 176761.2目标识别研究现状 412211.3位姿估计研究现状 68861参考文献 71.1三维数据获取方法三维数据不受环境、光照、工件材质等因素的影响，相比于二维数据能够更好地感知三维环境，在工业现场有更加广阔的应用场景，因此关于立体视觉技术的研究成为了计算机科学技术领域的热门话题。获取三维数据的方式可以分为接触式测量法和非接触测量法，在工业现场对乱序工件进行种类识别和位姿估计一般采用非接触测量法。非接触测量法一般采用光学技术扫描物体的空间外型，从而获取物体的空间坐标，将物体的空间信息转化为计算机数字信号，光学测量法成本较低、效率较高，是比较适合获取工件三维点云信息的一种测量方法。光学测量方法一般分为：双目立体视觉法、结构光法、光飞行时间法等。双目立体视觉法[1]是基于视差原理并由多幅图像获取物体三维几何信息的方法，该方法利用双目立体相机获取三维数据，双目立体相机及其工作原理如图1.1所示。Marr[2]提出人类视觉系统的主要功能是复原三维场景的可见几何表面，同时Marr认为二维图像转化成三维空间结构是可以通过计算完成的，目前的双目立体视觉研究都是以该理论为基础。双目立体视觉系统一般利用两台摄像机从左右不同角度获取物体的数字图像，或利用单个摄像机在不同时间从左右两个角度获取物体的数字图像，利用左右拍摄的视差恢复被测物的三维空间信息，从而获取被测物的空间位置和形态轮廓。双目立体视觉系统在工业领域具有极为广泛的应用。Chen等人[3]将双目立体视觉系统应用于工业机器人焊接场景，通过安装在机器人尾端的双目相机来计算获取焊缝的几何结构和空间信息。FangY等人[4]提出一种将双目立体图像和深度信息相结合，将目标任务进行分解后仅在基于深度的特征层次上对单目标任务进行分割，提高算法的鲁棒性。Oh等人[5]提出一种能够较为准确地获取工件三维信息且普遍适用于工业现场的立体视觉系统。任慧娟等人[6]提出一种适用于工业机器人作业对象较为复杂、作业环境干扰较大情况下的目标识别定位方法。通过双目视觉系统对获取的参考图像和匹配图像进行二维特征匹配是一个较大的难点，环境噪声较大、特征不明显、数据量庞大、像素点灰度值接近等因素都会导致匹配难度加大，针对这些问题，许多学者和专家都提出了解决问题的改进匹配算法。BehzadSalehia等人[7]提出一种空间缩减性算法，在缩减的空间中使用动态规划法来提高搜索匹配的速度并减小误差。Hirschmuller等人[8]提出一种基于交互信息的匹配算法，对相似程度使用概率密度进行度量。龚文等人[9]提出一种基于动态规划和树结构的改进算法，在图像边缘处和像素灰度值相差不大的区域能够达到较好的匹配效果。HichemAbdellali等人[10]通过使用马尔可夫随机场进行建模，选取一部分深度信息作为先验信息，并使用图割法建立视差函数从而完成场景的重建。K.Zhang等人[11]提出一种跨尺度代价的算法，通过使用正则项来约束多尺度图像的匹配代价从而达到提高匹配效率和精度的目的。A.Klaus等人[12]根据亮度和颜色选取mean-shift算法分割图像，并通过置信传播逼近最优视差平面。图1.1双目立体相机及其工作原理结构光法[13]简单快捷，具备较强的鲁棒性和较高的识别精度，被大量专家从业人员广泛应用于获取深度信息。该方法的基本思想是利用结构光照明系统的几何信息来获取被测物体的几何信息，将双目视觉系统中的其中一台相机替换成结构光设备即构成了一个结构光系统，相机、结构光以及被测物体三者之间的基和关系能够确定物体的三维信息。张洪龙等人[14]通过该技术获得了多个视角的点云并拼接点云完成了三维重建。MaS等人[15]提出一种多色的光模板，并在模板中将元素唯一确定。CarrihillB等人[16]通过使用结构光控制双目立体视觉相机获取的图像，减少颜色反射对图像识别的影响，提升了系统的鲁棒性和精确度。BrunoF等人[17]创新性地针对水下三维建模将线移法和Gray码相结合，针对条纹边缘进行最小宽度分割，保证精度的同时提高了分辨率。GOM公司制造了高精度的流动光学扫描仪，记录多线结构光栅变化规律，达到目标物体表面三维重建的目的[18]。KazhdanM等人[19]使用泊松重构算法，将局部基函数进行分层，并创新性地将局部和全局拟合方法相结合，提高了三维构建的效率。曲学军等人[20]提出将Gray码和相移法相结合，引入中心线有效消除了解码误差，提高了采样的有效性。图1.2结构光相机及其工作原理光飞行时间法(TimeofFlight,TOF)[21]基本原理是通过连续发射光脉冲到被测物体上，然后用传感器接收从物体返回的光，通过测量光脉冲的往返飞行时间来衡量目标物距离。TOF法成本低廉、效率高，鲁棒性强，从原理上改变了深度测量的方式，极大提高了深度测量的实时性，具有极高的观测效率。PrusakA[22]等人提出一种将TOF相机和球面相机结合，兼具导航、避障、识别、生成地图等功能多样化的智能机器人。JohnS等人[23]提出一种新的光学测距系统，这种系统使用时间相关单光子技术，这种系统具备多维度的空间分辨率且鲁棒性较强。LindnerM[24]对光信号反射相对误差开展研究，提出一种校正相对误差的方法，但是这种方法容易出现积分时间出现错误。S.Chua等人[25]对检测信号得到的阈值和系统的随机噪声进行加权平均计算，提高了测量系统的准确度。Hussmann等人[26]将TOF技术和机器人视觉技术进行结合，计算推导得出了用于计算深度信息的方程。Falie等人[27]发现光信号反射误差会对成像系统识别精度产生较大影响，于是提出增大光强来减小误差，并实验证明了方法的可行性。杨晶晶等人[28]提出了基于环境噪声的滤波去噪技术，有效减小了TOF技术成像的误差。图1.3TOF相机及其工作原理1.2目标识别研究现状三维信息通常用深度图和点云模型进行描述，通过获取物体的三维信息，不仅可以检测目标，完成场景识别，还可以对物体的真实姿态进行估计。但是由于环境、遮挡等因素的影响，获取的点云数据中往往含有大量的无效数据和干扰数据，这些数据会对后续的特征提取、特征匹配等过程产生极大的影响，因此许多专家学者针对点云数据的预处理展开了研究。Sotoodeh等人[29]通过判断点之间的距离密度来判断噪声点的存在性，但是这种方法在噪声点密度集中或分布不均的情况下具有较大的局限性。Clarenz等人[30]提出局部构建有限元和偏微分方程的方式完成对各个方向异常数据的去噪。Choudhury等人[31]提出了一种三边滤波方式，将模型中相似程度较高的法向量进行聚类，通过设置不同的阈值和权重值，滤去无效数据，起到较好的效果。赵灿等人[32]对点云数据进行栅格划分，以单元格的点云密度为噪声点的判断标准，但是这种方法在点云数据量庞大的情况下具有较大的局限性。Fujimoto等人[32]提出一种设定点云数据之间的角度阈值和公差范围，通过限定范围的方式对点云数据进行精简处理。Chen等人[33]改进了三角网格方法，提出一种通过精简曲率数据从而较好地保存点云表面数据的方法。经过预处理后的点云可以用于三维目标识别，目前主流的识别方法有：基于图的识别方法、基于局部特征的识别方法、基于全局特征的识别方法和基于深度学习的识别方法等。基于图的识别方法[34]适用于较为简单的场景，通过使用常见的几何元素对点云进行分割处理，通过建立点云的拓扑关系判断点云的相似性。常见的算法包括RANSAC算法、区域增长算法、霍夫变换算法等。RabbaniT[35]等人定义待测物内一个起始点作为种子生长起点，将生长点领域内的点与生长点进行比对，特征相似的点则被合并入生长点继续向外生长，直至不存在符合要求的点。这种算法容易理解，能够提供较为清晰的边界信息和分割结果，但是这种方法成本较高，阴影处理效果不是很好，且对种子和阈值的选取要求较高。Fischler等人[36]提出的RANSAC算法通过从数据集S中选取一个最小数据集s，并对s建立模型，遍历S中的所有数据点判断是否在距离阈值内，定义距离阈值t内的点为内点，判断内点的数目是否大于阈值T，若大于T则重新评估跳出循环，若小于T则在内点数据集中选取新的子集进行重新遍历，这种方法通过严格的数学拟合，在离群点存在的情况下仍能达到较高的精度[37]。霍夫变换算法[38]是图像处理技术中一个检测直线、圆等简单几何图案的算法，这种方法通过将图像坐标空间变换到参数空间，来实现图形的拟合。基于局部特征的识别方法[39-41]通过提取目标几何特征较为明显的点，构建局部几何特征，从而达到达到识别的效果,这种方法具有较强的鲁棒性，但是对特征点的提取和描述符的选择要求较高且计算量较大。Johnson等人[42]提出旋转图像描述符，这种方法将三维数据映射到二维平面，在二维平面内进行特征表达，但是这种方法计算量较大。Feldmar等人[43]提出一种基于主曲率值的相似搜索方法。RuizcorreaS等人[44]提出使用单词包组合描述符的方法，使用级联分类器对目标进行识别。Frome等人[45]提出三维形状上下文描述符，Sukno等人[46]基于该描述符提出了一种方位角旋转不变特性更加丰富的非对称形状上下文描述符。Rusu等人[47-48]创新性地引入了点特征直方图(PointFeatureHistograms,PFH)和快速点特征直方图(FastPointFeatureHistograms,FPFH)，前者通过计算点与点之间的角度，构造出一个高维特征直方图来描述局部特征，后者则简化了前者在某些维度的计算，提高了识别效率。Lei等人[49]通过计算多尺度几何特征并引入快速描述符加快了识别的效率。Salti等人[50]将点签名描述符和统计直方图的思想相结合，提出一种方向直方图特征描述符(SignatureofofHistograms,SHOT)。这种描述符在构建的局部参考系内，统计特征点周围的拓扑特征，将特征保存在直方图中，并对其进行归一化,这种方法具有较好的抗干扰性。基于全局特征的识别方法通常需要先将目标从场景点云中分割出来，针对其整体建立一个几何特征描述符，从而进行匹配识别。Rusu等人[51]对快速点特征直方图进行优化，提出了视点特征直方图(ViewFeatureHistogram,VFH)，这种描述符在快速点特征直方图的基础上增加了视点方差并保持了尺度不变性，被用于聚类识别和六自由度姿态估计问题。Aldoma等人[52]在VFH的基础上提出聚类视点特征直方图(ClusteredViewFeatureHistogram,CVFH)，这种方法先将数据进行聚类分割，在每个聚类中计算自身的VFH。Rusu等人[53]将FPFH进行推广，提出全局快速点特征直方图(GlobalFastPointFeatureHistograms,GFPFH)。Wohlkinger等人[54]则提出一种对相似几何体具有良好识别能力的描述符形状功能集合(EnsembleofShapeFunction,ESF)。Shah等人[55]提出一种关键点表面描述符，这种方法具有较强的鲁棒性。Drost等人[56]提出一种基于点对特征（PointPairFeature,PPF）的描述符，这种方法引入四维特征向量，将模型点云的点对特征保存在哈希表中，并引入霍夫投票策略来进行位姿假设，具有良好的识别效果。Kim等人[57]提出一种PPF的变体，将可见上下文信息、区分可见点、表面点和不可见点作为特征向量的四个维度。Hinterstoisser等人[58]提出一种保留特征差异点的新采样方式和投票策略，提高了算法的抗干扰能力。XiaoZ等人[59]利用共面点对特征性质，剔除无关的点对特征，提高了运算的效率。基于深度学习的方法通过学习能力泛化对点云特征进行提取，完成场景中目标的识别和位姿估计。DanielMaturrana等人[60]提出一种点云体积占用网络，使用3D卷积神经网络进行学习，秒计数达到一百多例，效果较好。HuangQ[61]等人提出一种RSNet网络，这种网络能够有效地对点云进行语义分割。QiCR等人[62]创新性地提出了pointnet，解决了三维数据无序性的问题。专家学者们[63-65]基于pointnet提出多种改进算法，增强了算法性能，提高了算法的鲁棒性。1.3位姿估计研究现状目标识别使我们能从场景点云中获取单个目标的点云数据，位姿估计则要求我们对目标物体进行六自由度的姿态估计。位姿估计的方法一般包括：基于特征描述符的位姿估计方法、基于点云配准的位姿估计方法、基于投票策略的位姿估计方法和基于深度学习的位姿估计方法。基于特征描述符的方法一般选取点云数据的局部特征或全局特征，在二维或三维的模型数据中找到对应关系，SIFT、SURF、ORB是较为常见的二维描述符，VFH、CVFH、SHOT等是比较常见的三维描述符。基于点云配准的方法一般寻找两片点云之间的一个变换矩阵，实质是一个部分配准问题，常用ICP算法[66]来进行点云的精配准。基于投票的方法需要每个三维数据点完成投票，形成最终的六自由度位姿，例如PPF方法中就采取霍夫投票策略。基于深度学习的方法依靠神经网络形成学习点云到最终位姿的端到端映射关系。Lepetit等人[67]提出一种由二维映射到三维的对应关系进行位姿估计。参考文献[1]隋婧,金伟其.双目立体视觉技术的实现及其进展[J].电子技术应用,2004,30(010):4-6.[2]DavidMarr,Vision:AcomputationalInvestigationintothehumanrepresentationandprocessingofvisualinformation,W.H.FreemanandCompany,1982.[3]ChenX,HuangY,ChenS.Modelanalysisandexperimentaltechniqueoncomputingaccuracyofseamspatialpositioninformationbasedonstereovisionforweldingrobot[J].IndustrialRobot,2012,39(4):192–204.[4]FangY,MasakiI,HornB.Depth-BasedTargetSegmentationforIntelligentVehicles:FusionofRadarandBinocularStereo[J].IEEETransactionsonIntelligentTransportationSystems,2002,3(3):196-202.[5]OhJK,LeeCH.Developmentofastereovisionsystemforindustrialrobots[C].InternationalConferenceonControl.2007.[6]任慧娟,金守峰,程云飞,等.面向分拣机器人的多目标视觉识别定位方法[J].机械与电子,2019,037(012):64-68.[7]Salehian,Behzad,Fotouhi,etal.Dynamicprogramming-baseddensestereomatchingimprovementusinganefficientsearchspacereductiontechnique[J].Optik:ZeitschriftfurLicht-undElektronenoptik:=JournalforLight-andElectronoptic,2018,160:1-12.[8]H.Hirschmuller,StereoProcessingbySemiglobalMatchingandMutualInformation[J].inIEEETransactionsonPatternAnalysisandMachineIntelligence,vol.30,no.2,pp.328-341,Feb.2008.[9]龚文.基于动态规划的立体匹配算法研究[D].南昌航空大学,2015.[10]Abdellali,H.,Kato,Z.3Dreconstructionwithdepthpriorusinggraph-cut[J].CentEurJOperRes29,387–402(2021).[11]K.Zhang,Y.Fang,D.Min,etal.Cross-ScaleCostAggregationforStereoMatching[C].2014IEEEConferenceonComputerVisionandPatternRecognition(CVPR),Columbus,America,2014.[12]A.Klaus,M.SormannandK.Karner,Segment-BasedStereoMatchingUsingBeliefPropagationandaSelf-AdaptingDissimilarityMeasure[C],18thInternationalConferenceonPatternRecognition(ICPR'06),2006,pp.15-18,[13]刘振.基于结构光的双目立体成像技术研究[D].中国科学院大学,2013.[14]张洪龙.基于结构光的室内场景精确三维重建技术研究[D].深圳:中国科学院深圳先进技术研究院,2018.[15]MaS,ShenY,QianJ,etal.Binocularstructuredlightstereomatchingapproachfordensefacialdisparitymap[J].AI2011:AdvancesinArtificialIntelligence,2011:550-559.[16]CarrihillB,HummelR.Experimentswiththeintensityratiodepthsensor[J].Cvgip,1985,32(3):337-358.[17]BrunoF,BiancoG,MuzzupappaM,etal.Experimentationofstructuredlightandstereovisionforunderwater3Dreconstruction[J].ISPRSJournalofPhotogrammetryandRemoteSensing,2011,66(4):508-518.[18]BickelmannC,MorrowJM,DuJ,etal.Themolecularoriginandevolutionofdim-lightvisioninmammals[J].Evolution,2015,69(11):2995.[19]KazhdanM,HoppeH.ACMtransactionsongraphics[M].AssociationforComputingMachinery,2005:1-11.[20]曲学军,李海固,樊龙欣，etal.基于组合编码的条纹结构光主动立体视觉匹配[J].计算机测量与控制,2014,22(011):3712-3714.[21]刘子伟，许廷发，王洪庆，深度成像理论与实现[J].红外与激光工程，2016，45(7):242-246.[22]PrusakA,MelnychukO,RothH,etal.PoseestimationandmapbuildingwithaTime-Of-Flightcameraforrobotnavigation[J].InternationalJournalofIntelligentSystemsTechnologiesandApplications,2008,5(3/4):355.[23]JohnS.Massa,GeraldS.Buller,AndrewC.Walker,etal.Time-of-flightopticalrangingsystembasedontime-correlatedsingle-photoncounting[J].AppliedOptics,1998,37(31):7298-304.[24]LindnerM,SchillerI,KolbA,etal.Time-of-Flightsensorcalibrationforaccuraterangesensing[J].ComputerVision&ImageUnderstanding,2010,114(12):1318-1328.[25]S.Chua,X.Wang,N.Guo,etal.Improvingthree-dimensional(3D)rangegatedreconstructionthroughtime-of-flight(TOF)imaginganalysis[J].JournaloftheEuropeanOpticalSocietyRapidPublications,2016(11):101-123.[26]HussmannS,LiepertT.RobotVisionSystembasedona3D-TOFCamera[C].Instrumentation&MeasurementTechnologyConference.IEEE,2007.[27]FalieD,BuzuloiuV.DistanceerrorscorrectionfortheTimeofFlight(ToF)cameras[C]//IEEEInternationalWorkshoponImagingSystems&Techniques.IEEE,2008,pp:123-126.[28]杨晶晶，冯文刚.连续调制TOF图像误差来源及降噪处理[J].合肥工业大学学报(自然科学版),2012,35(04):485-488.[29]SotoodehS,ZurichE,Hierarchicalclusteredoutlierdetectioninlaserscannerpointclouds[C].36thISPRS,2007.[30]CLARENZU,DROSKED,HENNS.Computationalmethodsfornonlinearimageregistration[C].MathematicalModelsforRegistrationandApplicationstoMedicalImagingMathematicsinIndustry,2006:81-101.[31]CHOUDHURYP,TUMBLINJ.Thetrilateralfilterforhighcontrastimagesandmeshes[C].EurographicsSymposiumonRendering,2003:186-196.[32]赵灿,汤春瑞,刘丹丹.基于表面波变换的散乱点云去噪方法[J].组合机床与自动化加工技术,2009(2):31-34.[33]CHENYH,NGCT,WANGYZ.Datareductioninintegratedreverseengineeringandrapidprototyping[J].InternationalJournalofComputerIntegratedManufacturing,1999,12(2):97-103[34]KakadiarisIA,TodericiG,EvangelopoulosG,etal.3D-2DFaceRecognitionwithPoseandIlluminationNormalization[J].ComputerVisionandImageUnderstanding,2016,154:137-151.[35]RabbaniT,HeuvelFAVD,VosselmanG.Segmentationofpointcloudsusingsmoothnessconstraint[C]//InternationalArchivesofPhotogrammetry,RemoteSensingandSpatialInformationSciences.2006.[36]FischlerMA,BollesRC.Randomsampleconsensus:aparadigmformodelfittingwithapplicationstoimageanalysisandautomatedcartography[J].CommunicationoftheACM，1981,24（60）：381-395.[37]李宝，程志全，党岗，等.一种基于RANSAC的点云特征线提取算法[J]．计算机工程与科学，2013，35（02）：147-153.[38]LariZ,HabibA.Anadaptiveapproachforthesegmentationandextractionofplanarandlinear/cylindricalfeaturesfromlaserscanningdata[J].ISPRSJournalofPhotogrammetryandRemoteSensing,2014,93(11):192-212.[39]LigonJ,BeinD,LyP,etal.3Dpointcloudprocessingusingspinimagesforobjectdetection[C]//2018IEEE8thAnnualComputingandCommunicationWorkshopandConference(CCWC).IEEE,2018:731-736.[40]DengX,DaF,ShaoH.Efficient3DfacerecognitionusinglocalcovariancedescriptorandRiemanniankernelsparsecoding[J].Computers&ElectricalEngineering,2017,62:81-91.[41]GuoY,BennamounM,SohelF,LuM,WanJ.3Dobjectrecognitioninclutteredsceneswithlocalsurfacefeatures:asurvey[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2014,36(11):2270-2287.[42]JohnsonAE,HebertM.Usingspinimagesforefficientobjectrecognitionincluttered3Dscenes[J].IEEETransactiononPatternAnalysisandMachineIntelligence