代壮_开题报告PPT

基于深度学习的特征点匹配,指导老师：张宏何力报告人:代壮,目录,选题依据课题研究目标、研究内容、拟解决的关键问题研究方法、技术路线、试验方案及其可行性论述课题特色与创新性实验计划进度和预期成果,2,一.选题依据,本课题来源于国家自然科学基金“具有环境条件不变性和可拓展性的机器人视觉导航”。基于视觉的机器人导航，主要问题是利用视觉来解决机器人定位和建图的问题（SLAM）。特征点匹配是SLAM技术中的关键一步，也是本课题的主要研究内容。,1.课题来源及研究背景,3,一.选题依据,2.关键问题,(1)光照变化,(2)视角变化,4,特征点匹配结果的好坏，主要取决于特征点的描述符。特征点描述符的设计一直以来都有大量的国内外研究者研究。目前主要有3类特征点描述符，包括手工描述符、训练描述符和预训练描述符。关于这3类描述符的比较工作，如下表所示。,一.选题依据,3.国内外研究现状,3.1特征点描述符,1MikolajczykK,SchmidC.AperformanceevaluationoflocaldescriptorsJ.IEEEtransactionsonpatternanalysisandmachineintelligence,2005,27(10):1615-1630.2FischerP,DosovitskiyA,BroxT.Descriptormatchingwithconvolutionalneuralnetworks:acomparisontosiftJ.arXivpreprintarXiv:1405.5769,2014.3BalntasV,LencK,VedaldiA,etal.HPatches:AbenchmarkandevaluationofhandcraftedandlearnedlocaldescriptorsC/ConferenceonComputerVisionandPatternRecognition(CVPR).2017,4(5):6.4MishchukA,MishkinD,RadenovicF,etal.Workinghardtoknowyourneighborsmargins:LocaldescriptorlearninglossC/AdvancesinNeuralInformationProcessingSystems.2017:4826-4837.,5,一.选题依据,3.国内外研究现状,3.2描述符融合,图1线性加权融合1,图2多视角学习融合2,1WangX,PengG,ZhangH.CombiningMultipleImageDescriptionsforLoopClosureDetectionJ.JournalofIntelligent&RoboticSystems,2017:1-212XuC,TaoD,XuC.Multi-viewintactspacelearningJ.IEEEtransactionsonpatternanalysisandmachineintelligence,2015,37(12):2531-2544.,6,二、课题研究目标、研究内容、拟解决的关键问题,分析手工描述符、训练描述符和预训练描述符对光照和视角变化的鲁棒性。融合不同种类的描述符，设计出一种对光照和视角变化鲁棒的描述符。,1.研究目标,2.研究内容,研究3类特征点描述符：手工描述符、训练描述符和预训练描述符；研究维度压缩算法；研究数据融合算法。,3.拟解决的关键问题,解决在视角和光照变化时，特征点匹配精度不高的问题。解决预训练描述符维度过高的问题,7,三.研究方法、技术路线、试验方案及其可行性论述,采用实验对比分析的方法，对手工、训练和预训练描述符在光照和视角变化的数据集上分析对比，探究这3类描述符对光照和视角变化的鲁棒性，为后续实验打下一定的基础。采用线性加权和多核学习等数据融合方法，对光照和视角变化鲁棒的描述符进行数据融合，提高描述符对光照和视角变化的鲁棒性。,1.研究方法,8,三.研究方法、技术路线、实验方案及其可行性论述,2.技术路线,2.2融合不同类型描述符,2.1比较3类描述符,9,三.研究方法、技术路线、实验方案及其可行性论述,3.实验方案,3.1实验环境,硬件环境：移动工作站一台（2块TitanXpGPU）软件环境：Ubuntu16.04操作系统，Pytorch深度学习框架编程语言：Python,3.2实验数据集,HPatches数据集包括57组光照变化的子数据集和59组视角变化子数据集，其中每组子数据包括6张图像。,(1)光照变化,(2)视角变化,10,3.实验方案,手工描述符选择SIFT和ROOT-SIFT,训练描述符选择Deepdesc、L2-Net+、CSL2-Net+和hardNet+,预训练描述符选择AlexNet、VGG16、ResNet101和DenseNet169。分析这10种描述符对光照和视角变化的鲁棒性；采用PCA、随机投影和自编码器对预训练描述符（AlexNet、VGG16、ResNet101和DenseNet169）进行降维，分析这3种降维方法的优缺点；采用线性加权和多核学习等数据融和方法，提高特征点描述符对光照和视角变化的鲁棒性。,3.3实验对比算法,三.研究方法、技术路线、实验方案及其可行性论述,11,3.4数据融合,3.4.1线性加权融合,3.4.2多核学习融合,三.研究方法、技术路线、实验方案及其可行性论述,12,手工、训练和预训练描述符已经有大量学者在研究并且大部分代码已经开源。PCA、随机投影和自编码器等降维方法理论成熟，应用广泛。本团队其他成员前期工作，利用加权融合和多核学习等方法，分别应用到闭环检测和图像分类中，并取得非常好的效果。在图像块分类，特征点匹配等方面，形成了2篇论文（ROBIO收录、ICRA在审）。,4.可行性论述,三.研究方法、技术路线、实验方案及其可行性论述,13,四.课题特色与创新性,分析手工描述符，训练描述符和预训练描述符对光照和视角变化的鲁棒性。针对预训练描述符维度过高的问题，分析PCA、随机投影和自编码器对降维结果的影响。对光照和视角变化鲁棒的描述符进行融合，提