基于小样本学习的复杂背景下实时目标跟踪与识别

中图分类号：TP751.1论文编号：10006BY0603201博士学位论文基于小样本学习的复杂背景下实时目标跟踪与识别作者姓名学科专业黄丕培模式识别与智能系统指导教师秦世引教授培养学院自动化科学与电气工程学院Real-timeObjectTrackingandRecognitionunderComplexBackgroundBasedonLearningfromSmallSamplesADissertationSubmittedfortheDegreeofDoctorofPhilosophyCandidate：PipeiHuangSupervisor：Prof.QinShiyinSchoolofAutomationScience&ElectricalEngineeringBeihangUniversity,Beijing,China中图分类号：TP751.1论文编号：10006BY0603201博士学位论文基于小样本学习的复杂背景下实时目标跟踪与识别作者姓名黄丕培申请学位级别工学博士指导教师姓名秦世引职称教授学科专业模式识别与智能系统研究方向机器学习与模式识别学习时间自2006年09月日起至2012年月日止论文提交日期2012年月日论文答辩日期2012年月日学位授予单位北京航空航天大学学位授予日期2012年月日关于学位论文的独创性声明本人郑重声明：所呈交的论文是本人在指导教师指导下独立进行研究工作所取得的成果，论文中有关资料和数据是实事求是的。尽我所知，除文中已经加以标注和致谢外，本论文不包含其他人已经发表或撰写的研究成果，也不包含本人或他人为获得北京航空航天大学或其它教育机构的学位或学历证书而使用过的材料。与我一同工作的同志对研究所做的任何贡献均已在论文中作出了明确的说明。若有不实之处，本人愿意承担相关法律责任。学位论文作者签名：日期：年月日学位论文使用授权书本人完全同意北京航空航天大学有权使用本学位论文（包括但不限于其印刷版和电子版），使用方式包括但不限于：保留学位论文，按规定向国家有关部门（机构）送交学位论文，以学术交流为目的赠送和交换学位论文，允许学位论文被查阅、借阅和复印，将学位论文的全部或部分内容编入有关数据库进行检索，采用影印、缩印或其它复制手段保存学位论文。保密学位论文在解密后的使用授权同上。学位论文作者签名：指导教师签名：日期：日期：年年月月日日摘要复杂背景下的目标跟踪与识别一直以来都是广大研究工作者面临的极具挑战性的问题。机器学习的目的是根据给定的训练样本，通过某种方式的训练以发掘或掌握所给样本集合的特征信息的驱动/响应关系，从而将所给样本集合的内在机理或机制的知识形态转换为机器可执行的推理决策功能，进而可实现对训练样本所代表的客体对象的分类识别与评判处理。针对复杂背景下目标跟踪与识别所必须面对的诸多不确定因素，采用机器学习方法可在一定程度上克服常规目标跟踪识别方法的局限性，但在小样本条件下又面临着严重的挑战。本文在综合分析国内外视频/图像目标跟踪与识别研究动态的基础上，结合实际应用背景和技术需求，着重研究了复杂背景下基于小样本学习的实时目标跟踪与识别的理论算法与关键实现技术。本文主要贡献包括下列几个方面：（1）提出了基于小样本多任务学习的复杂背景目标识别算法。针对复杂背景下小样本学习之特点，从单任务学习入手，通过多个视角（view）把握和追求目标识别的效果，以建立多任务学习的机制，通过多视角Boosting弱分类器的综合集成以实现在小样本条件下的复杂背景的目标识别。仿真实验结果验证了此算法的良好性能。（2）提出了小样本条件下的多源迁移学习目标识别算法。针对多任务学习目标识别方法中，主任务标注样本难以获取的情况，本文运用迁移学习的思想原理，提出了多源迁移学习的Boosting算法，使多领域数据源之间的共享特征得以充分利用而构建出泛化能力更强的分类器，以实现更高精度的目标分类识别。与当前已发表的同类方法相比较，本文提出的多源迁移学习分类识别算法在准确性与稳定性方面具有明显优势。（3）面向目标跟踪与识别的实际应用背景和技术需求，研究了图像降噪与质量评价方法，在图像质量评价算法和基于机器学习的主/客观评价指标的合成与统一等方面取得了满意的结果。本文在对图像质量的多种评价方法和指标进行深入分析的基础上，通过监督学习实现了主/客观评价指标的统一，从而形成一种新的学习型图像质量评价方法。实验结果表明，针对不同污染背景的待评图像，运用本文提出的方法所设计的质量评估器可实现稳定合理的质量评价。（4）根据在复杂背景下对多个智能活体目标进行实时跟踪与识别的实际应用背景和约束条件，考虑到其空间位姿信息采集过程中的强干扰和欠充分，本文从动态补偿的角度出发，提出了一种偏差估计模型，通过核回归学习给出相应的映射关系以及动态补i偿偏差的预报，进而建立实际场景空间3维坐标系中的目标位置与视频图像2维坐标系中目标像素坐标之间的映射关系，实现动态补偿与跟踪识别。通过在室内和户外搭建综合实验平台的实验结果表明，本文所提方法及相关算法，与常规的摄像机投影模型的定位结果相比较，在跟踪定位与识别效果等方面展示出了突出的优势。总而言之，本文针对复杂背景下视频/图像目标的跟踪与识别问题，重点研究了小样本条件下的多任务目标分类识别、基于多源迁移学习的目标分类识别、面向目标跟踪识别的图像质量评价、多智能活体目标的定位与识别等方面的策略、方法和实现算法，并通过一系列实验验证了作者所提方法的有效性和性能优势。虽然本文的研究成果可丰富和发展面向复杂背景的高精度目标跟踪与识别的理论算法和技术工具，为提高工程应用的技术水平做技术储备，但在此领域内的研究和发展潜力十分诱人，机遇和挑战并存，需要我辈同仁继续努力。关键词：小样本学习，复杂背景，目标跟踪与识别，分类识别，多任务学习，迁移学习iiAbstractObjecttrackingandrecognitonundercomplexbackgroundisoneofchallengeresearchtopicswithrealisticsignificanceinimage/videoengineeringandapplications.Machinelearningaimstoexplorethecomplexrelationshipbetweenthefeaturedirveninputandresponseoutputintermsofthegiventrainingdatasothatmorepreciselypredictionandrecognitioncanbeachievedfortheunseentestingdata.Real-timeobjecttracking/recognitionbasedonmachinelearningmaytakemoreadvantagesduetoitsbetterperformanceundercomplexbackgroundsoastoovercomesomechallengedifficultiesfromcomplexscenes.However,therearestillsomeintractableissuesforthosealgorithmsbasedonlearningwithsmallsamples.Inthisdissertation,aseriesofresearchesontheoreticalalgorithmsandkeyimplementingtechnologiesarecarriedoutinviewoftheengineeringapplicationbackgroundsandtechnicalrequirementsafteracomprehensiveanalysisofstate-of-the-arttechniquesinthefrontfield.Themaincontributionsofthisdissertationarelistedasfollows:(1)Anobjectrecognitionalgorithmbasedonmultipletaskslearningfromsmallsamplesispresented.Startingwiththesingletasklearing,themultipletaskslearningfromsmallsamplesisemployedtoimplementreal-timeobjectrecognitionfrommultipleviews,wheredataofdifferenttasksfromsmallsamplesaresharedandintegratedtosupportthelearningandtrainingfrommultipleviewssoastoresultinapropermodelingofmulti-viewstumpdecisions.Thus,thehighaccuracyobjectiverecognitionundercomplexbackgroundcanbeachievedthroughthesynthesicintegrationofmultipleboostingweakclassifiers.Aseriesofexperimentalresultsdemonstratethewellperformanceoftheproposedalgorithm.(2)Anewobjectrecognitionalgorithmisproposedbasedonmulti-sourcetransferlearningfromsmallsamples.Whenthedatainmaintaskcannotbelabeledeasily,thetransferlearningcanbeemployedtoovercomethedifficultiesofobjectrecognition.Asaresult,aboostingalgorithmfortransferlearningfrommultipledatasourcesisproposed,whichconstructsmoregeneralizedclassifiermodelwithsomesharedknowledgeamongmultiplesources.Thepropsedalgorithmnotonlyachieveshigherclassificationaccuracy,butalsoobtainsmorestableandreliableperformance,comparedwithpreviouspublishedmethods.iii(3)Inviewoftheapplicationbackgroundandtechniquerequirements,bothimagedenosingandimagequalityassessmentmethodsforobjecttracking/recognitionarestudiedindepth.Basedontheanalysisofmultipleobjectivequalityevaluationcriteria,anewalgorithmwithsupervisedlearningwasemployedtoseektheunificationofthemultipleobjectivecriteriawithsubjectiveevaluatedcriteriafromexpertssoastobeusedtoevaluatetheentirequalityofimages.Aseriesofexperimentsmanifestthattheproposedmethodcanachievesatisfiedresultsforthequalityassessmentofimages.(4)Consideringthelimitationsandconstrainsforacasestudyofobjecttracking/recognintionofmultipleactiveagents,adifferenceestimationmodelwasproposedthroughregressionlearninginviewofsomeformidabledisturbancesandunder-sufficiencyofsamplesforspacecoordinatesfromradiofrequencysignal.Akernelregressionmethodenablesthelocalizationsystemtolearnamappingfrom3Dpositionallocationsintheactualspaceenvironmentto2Dpixellocationsinvideosothataproperdynamiccompensationandobjecttracking/recognitioncanberealized.Moreover,boththetheoreticalmethodologyandthecorrespondingimplementingalgorithmsarevalidatedexperimentallyinthecasestudyforsomeindoorscenesandoutdoorfields,thecomparativeanalysisresultsshowsthattheproposedmethodandalgorithmscanoutperformtheconventionalstandardcameraprojectionmodel.Thekeypointscanbeconcludedintermsofthelistedcontributionsasmentionedabove,whichfocusesonthenewalgorithmsofobjectrecognitonbasedonmultipletaskslearning,multiplesourcestransferlearningfromsmallsamples,meanwhiletheimagequalityassessmentforobjecttrackingandrecognitionaswellaslocalizationandrecognitionofmultipleactiveagentsarecarriedout.Theexperimentalresultsillustratethattheachievementsabovecanplayanimportantroleinthedevelopmentofthereal-timeobjecttracking/recognitiontechnologiesandengineeringapplications.However,thepotentialoffurtherresearchanddevelopmentisalsohugeandtempting,wearelookingforwardtomorecontributionsfromthefollowingresearchers.Keywords:learningfromsmallsamples,complexbackground,objecttrackingandrecognition,classificationandrecognition,multipletaskslearning,transferlearningiv目录第一章绪论.11.1选题意义和应用背景.11.2研究现状和发展趋势.31.2.1概述.31.2.2复杂背景下实时目标跟踪识别技术的研究现状.41.2.3小样本学习方法在复杂背景下实时目标跟踪识别中的重要作用.81.2.4通过小样本学习的回归分类方法研究现状.91.3论文的主要贡献和创新点.121.4论文的章节安排.13第二章小样本学习方法概论.152.1引言.152.2小样本监督学习分类方法.152.2.1支持向量机.152.2.2级联AdaBoost分类器.172.3小样本多任务学习分类方法.202.3.1基于结构学习的多任务分类方法.202.3.2基于Boosting的多类分类方法.222.4小样本迁移学习分类方法.252.4.1结构相关学习.252.4.2实例加权学习.262.5小样本学习分类方法的关联关系.28第三章基于小样本多任务学习的目标识别.303.1面向任务学习的目标识别.303.1.1面向单任务学习的分类识别.303.1.2面向多任务学习的分类识别.303.2针对小样本的特征信息提取与优化表达.313.3GentleBoost分类识别算法及其局限性.34v3.4小样本条件下的多任务学习Boosting目标识别.363.4.1预测特征与多视角概念.363.4.2基于多视角的弱分类器.383.4.3多个弱分类器的综合集成与整体优化.383.5实验结果分析.433.6小结.50第四章基于小样本迁移学习的目标识别.514.1引言.514.2迁移学习概论.524.2.1迁移学习与多任务学习.524.2.2多源数据的迁移学习.534.3基于多源迁移学习的Boosting目标识别.534.3.1单数据源迁移学习的局限性.534.3.2多源预测特征与基于多源数据的弱分类器.544.3.3多源分类器的集成与优化.564.4实验结果分析.594.5小结.65第五章面向目标跟踪与识别的复杂背景图像去噪与质量评价.665.1引言.665.2复杂背景下的噪声特点分析.675.3背景图像质量对目标跟踪与识别精度的影响.685.4复杂噪声背景图像的去噪.695.4.1SUSAN滤波及其综合去噪性能.695.4.2基于偏微分方程的集成滤波.715.5图像质量评价及其对提高跟踪识别精度的指导作用.765.5.1图像质量评价的主/客观标准.765.5.2学习型图像质量评价方法与主/客观指标的统一.795.6基于背景图像质量评价的目标跟踪与识别方法优化.825.7实验结果分析.83vi5.7.1去噪效果实验.835.7.2图像质量评价实验.895.8小结.95第六章面向复杂背景的车辆目标实时跟踪与识别.966.1引言.966.2复杂背景下车辆目标跟踪识别技术的研究动态与技术难点.966.3针对车辆识别的目标特征提取与描述子量化表征.996.3.1多尺度特征描述子的性质与量化提取功能.996.3.2基于匹配相关性的多尺度特征描述子目标特征提取与表达.1006.4复杂背景下基于多尺度特征优选的车辆目标实时跟踪与识别.1036.4.1基于加权互信息的多尺度特征降维.1036.4.2基于多尺度特征优选的车辆目标实时跟踪与识别.1046.5实验结果分析.1076.6小结.114第七章基于小样本差分学习的智能活体目标实时跟踪与识别.1157.1引言.1157.2智能活体目标（动物）的主动性和随机应变特点.1187.3智能活体目标跟踪与识别的信息采集需求和方案.