基于彩色描述子SIFT的三维重建系统

1、项目编号:吉林大学“大学生创新创业训练计戈y创新训练项目申请书项目名称基于彩色描述子 SIFT的三维重建系统项目负责人 _牡_所在学院、年级、专业软件学院 2013 级软件工程联系电话 _电子邮件指导教师姓名1职称指导教师姓名2职称填表日期20年月日吉林大学教务处制表填表须知一、本表适用于创新训练项目。本科生个人或团队，在校内导师指导下， 自主完成创新性实验方法的设计、设备和材料的准备、实验的实施、数据 处理与分析、总结报告撰写等工作。二、申报书请按顺序逐项填写，实事求是，表达明确严谨。空缺项要填“无”三、 申请参加大学生创新训练项目团队的人数为 3 5人。四、申请项目，必须聘请教师作为指导老

2、师，并请指导教师在申请书中的指导教师意见栏中签署意见。五、填写时可以改变字体大小等，但要确保表格的样式不变；不得随意涂改；A4纸正反面打印，左侧装订。六、本表由项目负责人报所在学院初审，学院签署初审意见后报送教务处 实习与实验教学科（一式3份原件）。七、“项目编号”由教务处填写。八、申报过程有不明事宜，请与教务处实习与实验教学科联系，电话85166413维 三 的 FFS 子 述 描 色 彩 基月 至 月5 5年5 51 1 O O2 2名 姓号 学 教ai m E-负责人院 否 口 是 否 口 是院 学4 4 否 口 是院 学1 否 口 是项目组成员口 否 口 是名 姓aaaa mm EEE

3、E指导教师1 1诱坯情要 主危为晒 作H 员rara 委7M7M 会 员!g嵌 屮完名 姓aaaa mm E-E-指导教师2 2诱坯情屁L I - 性 4z(计中 假地/、 很 实 创或 小室究 、验研研 明实性调 发放础会 小 开 基 社1 .2 3 5z( z( 曰7K 题m 立科 、干 师 H 教 1 2填助由 渠僚包 也兄体 , 謝前具费 一e e加或给况 受須，和情 目務无源奖 项道“来获无一、立项背景和依据(包括研究目的、国内外研究现状分析与评价、研究意义，应附主要 参考文献及出处)人类利用眼睛以及大脑来获取视觉并感知外部世界。视觉，不仅是指对光信号的感受，它还包含对 视觉信息的获

4、取、传输、处理、存储以及理解等整个过程。计算机及数字信号处理理论出现后，人们开 始利用摄像机来获得环境图像并将其转换为数字信号，通过计算机来实现对视觉信息处理的全过程，这 样，就形成了一门新兴的学科 一一计算机视觉1，也称机器视觉。计算机视觉涉及到多个学科，对其进行研究需要了解包括计算机、信号处理、模式识别、控制理论、神经网络、数学以及神经生理学等方面的知识。计算机视觉的研究范围也相当广泛，主要包括：目标检 测与识别、边缘提取、摄像机定标(Camera Calibration)、特征点提取与匹配以及三维重建等方面。SIFT特征匹配算法由Lowe在1999年首次提出，2004年完善并做出详细的总

5、结和实现方法，是一 种基于尺度空间的、对图像缩放、旋转甚至仿射变换依然保持不变性的基于特征的匹配算法。该算法能 提取稳定的特征点，并处理两幅图像之间发生平移、旋转、仿射变换、视角变换等情况下的匹配问题， 具有很强的鲁棒性，是目前匹配性能最好的，研究最广泛的一种基于特征的配准算法。在SIFT算法被提出后，国内外众多学者做了大量的改进研究，以提高特征匹配速度和匹配性能，尤其在基于灰度信息的SIFT改进算法上做了大量工作。在降维处理方面最著名的是Yan ke在2004年提出的PCA-SIFT算法，他将主成分分析技术(PCA)应用于梯度图像，以获取PCA-SIFT特征向量进行图像 匹配。该算法能够有效

6、去除噪音和冗余，将原有的复杂数据降维，揭示隐藏在复杂数据背后的简单结构，提高了 SIFT特征描述向量的鲁棒性和匹配性能，同时减少了匹配时间2。2005年，Mikolajczyk K为增加描述子的鲁棒性和独特性，提出了GLOH(Gradie nt Locatio nand Orie ntation Histogram) 算法。该算法将SIFT的4x4的子块改成仿射状的对数 -极坐标同心圆，然后生成272维特征向量，并用PCA对特征向 量进行降维处理3。2005年，Mikolajczyk和Schmid在图像发生仿射变化、尺度变化、旋转变化、模糊、jpeg图像压縮和光照变化等情况下，对PCA-SIF

7、T、SIFT.GLOH、形状上下文、旋转图像、可控滤波器、微分不变性、复数滤波器、矩不变性的描述子进行了对比实验，并对性能进行比较。结果表明，在以上 各种变化的情况下，SIFT描述子的性能最好。2006年，Bay在SIFT算法基础上结合积分图像和Haar小波提出了具有尺度不变性和旋转不变性的SURF算法4，进一步提高了特征匹配速度和匹配精度，但不具有仿射不变性。2009年李伟沈将 KPCA应用于SIFT特征描述子，提出一种KPCA-SIFT算法，克服了 PCA-SIFT算法存储空间和复杂度较大的问题5。2009年，纪华等人提出一种结合全局信息的SIFT特征匹配算法，解决了图像中存在多个相似区域

8、造成误匹配的问题6。2010年，Xiangzeng Liu等人将KICA应用于SIFT特征描述子，改善了经典SIFT特征描述子的仿射不变性和匹配速度7。2011年，刘向增等人针对SAR图像的配准，提出一种利用快速核独立成分分析提取仿射不变SIFT描述子的独立成分构建FKICA-SIFT描述子的方法8。颜色是一种重要的图像特征，它通常与图像中所包含的物体或场景有关，并描述了图像中的物体或 场景的表面性质。颜色特征与其它的视觉特征相比，对图像的大小、方向、视角的变化不敏感，鲁棒性 较强。如果忽略颜色信息，那么一类重要的描述物体特征的方式就丢失了，由此会造成目标识别或分类 的错误，因此，引入颜色信息

9、作为一种局部特征是十分有意义的。目前，众多学者开始对各种基于颜色 信息的SIFT算法进行总结以及对其性能作评价和对比，并应用在图像识别和分类、目标跟踪、图像检 索以及三维重建等方面。三维重建经过几十年的发展，出现了很多种方法。立体视觉作为计算机视觉的一个重要分支和研究 热点，它是研究如何模仿人类视觉的立体感知过程的技术。采用立体视觉方法对物体进行三维重建，是 指用数码相机(摄像机)作为图像传感器，综合运用图像处理、视觉计算等技术，用计算机程序自动获取 物体的三维信息。立体视觉直接模拟了人眼的工作模式，可以在不同工作条件下获得目标的三维信息， 计算非常灵活，这是其它计算机视觉方法很难完成的，因此

10、对立体视觉展开研究，从视觉生理以及工程 应用的角度两方面都非常有意义，该方法是三维重建的一个重要发展方向。近几年，随着科技的发展，成像设备的硬件制造成本不断下降，数码相机或者数码摄像机已经能够 进入寻常百姓家。目前只要在网络上输入任意一个关键词均可搜索到大量关于所搜索内容的数字图片。 利用基于图像的三维建模技术，我们可以直接根据这些图片恢复物体的三维几何结构，而且可以从图片 中抽取三维点所对应的颜色值，从而构建出非常逼真的三维模型，给人以强烈的视觉震撼910。由于基于图像的三维重建需要的设备比较简单，因此它的研究成果将具有重大的应用前景，具备很 大的应用价值。三维重建的用途相当广泛，它可以用于

11、机器人导航、视觉监控、建筑制造等众多行业。 同时在计算机虚拟现实、文物数字化、基于图像的绘制、影视特技等领域也有广泛的应用。目前，在军 事、航天等领域同样可以见到基于图像的三维重建技术的身影。在军事上，我们可以利用机载相机拍摄 的地面目标的一系列图像来获得要侦察或者打击目标的三维信息，为指挥员提供全方位的信息以便实现 精确打击。在应用于航空、航天遥感时，可以对目标进行侦察与识别，尤其是目前我国正在大力进行探 月工程研究，利用三维重建技术可以利用探测车自身携带的图像设备直接获得月球表面的三维环境信 息。图像中都包含有大量的信息，这些信息是以图像点的方式存在，但是并不是所有的图像点都对三维 重建过

12、程产生帮助。只有那些比较特殊的图像点，它们跟其周围的图像点之间存在着明显差别，这些点 被称作特征点(feature point)。如果我们能够在两幅图像中分别获得这些特征点的二维坐标，就能够利用 它们进行三维重建。对特征点的检测与提取需要利用自动检测技术。11对拍摄的两幅图像的要求是要有足够的重叠区域以保证能够检测到足够多的匹配点。而能否提取并匹配到稳定准确的特征点是三维重 建能否成功的关键。就目前存在的特征点检测算法来说，SIFT是一种比较有效且应用广泛特征提取算法。在研究基于颜色信息的SIFT描述子基础上，可以设计出具有更高复原度的三维重建系统。参考文献1马颂德,张正友计算机视觉一一计算理

13、论与算法基础M.北京:科学出版社,1998.2Ke Yan, Sukthankar R. PCA-SIFT:A more distinctive representation for local image descriptorsC. Proceedi ngs of the IEEE Conference on Computer Visi onand Pattern Recog niti on. Wash ington DC, USA: IEEE Computer Society,2004: 506-513.3Mikolajczyk K, Schmid C. A performa nee ev

14、aluati on of local descriptorsJ. IEEE Tran sacti ons onPatter nAn alysis andMachi ne In tellige nee,2005, 27(10):1615-1630.4Bay H, Tuytelaars T, Gool L. SRUF: Speeded up Robust FeaturesC. Proceedings of the 9th European Conference on Computer Vision. Graz : IEEE Computer Society, 2006: 404-417.5李伟沈，

15、振废.基于KPCA-SIFT描述符的配准j.信号处理，2009, 25(4): 644-648. 纪华，吴元昊，孙宏海，王延杰.结合全局信息的SIFT特征匹配算法J.光学精密工程,2009, 17(2):439-445.7Liu X Z, Tian Zh, Leng Ch C. Remote sensing image registration based onKICA-SIFT descriptorsC. Proceedings of the Seventh International Conferenceon Fuzzy Systems and Knowledge Discovery. Y

16、antai, Shandong : IEEE, 2010:278-282.8刘向增，田铮,史振广，陈占寿.基于FK1CA-S1FT特征的合成孔径图像多尺度配准J.光学精密工程,2010, 19(9): 2186-2195.9汤伯超.基于SIFT算法的图像特征描述方法研究D.广东工业大学，2012.10彭科举.基于序列图像的三维重建算法研究D.国防科学技术大学，2012.11赵璐璐,耿国华，周明全，等.一种用于三维重建的彩色Sift准稠密匹配算法J.计算机应用研究，2012, 29(9): 3543-3546.二、项目研究内容 (项目主要研究内容；拟解决的关键问题、重点和难点)(1)(1) 通过

17、增加色彩信息对SIFTSIFT算法进行改进。SIFT算法是一种基于尺度空间的，对图像缩放、旋转甚至仿射变换依然保持不变性的特征匹配算法。 但经典SIFT算法的特征描述子由灰度图像生成，忽略了颜色信息，造成图像的匹配性能下降。目前， 出现了多种针对彩色图像SIFT算法，如 HSV-SIFT, OpponentSIFT, W-SIFT 和RGB-SIFT等。这些彩色图像SIFT算法都是通过分别计算三个通道的128维特征向量，然后合成一个3*128维的特征向量，最终完成彩色目标匹配。但在光照变化时这些算法匹配效率普遍不高，而且它们的特征向量维数远远高于 经典SIFT算法的128维，时间大大增加。SI

18、FT算法的实质是在不同的尺度空间上查找关键点(特征点)，并计算出关键点的方向。SIFT所查找到的关键点是一些十分突出，不会因光照，仿射变换和噪音等因素而变化的点，如角点、边缘点、暗 区的亮点及亮区的暗点等。颜色是一种重要的图像特征，它通常与图像中所包含的物体或场景有关，并描述了图像中的物体或场景的表面性质。颜色特征与其它的视觉特征相比，对图像的大小、方向、视 角的变化不敏感，鲁棒性较强。如果忽略颜色信息，那么一类重要的描述物体特征的方式就丢失了，由 此会造成目标识别或分类的错误，因此，引入颜色信息作为一种局部特征是十分有意义的。本项目拟通过对SIFT描述子色彩丰富度的增加，进一步增强图像匹配的

19、可靠性和鲁棒性，均衡匹配时间与匹配效率，从而更好的应用于三维重建系统的设计。(2)(2) 三维重建系统的设计目前只要在网络上输入任意一个关键词均可搜索到大量关于所搜索内容的数字图片。利用基于图像的三维建模技术，我们可以直接根据这些图片恢复物体的三维几何结构，而且可以从图片中抽取三维点 所对应的颜色值，从而构建出非常逼真的三维模型。每幅图像里面都包含有大量的信息，这些信息是以图像点的方式存在，但是并不是所有的图像点都对三维重建过程产生帮助。只有那些比较特殊的图像点，它们跟其周围的图像点之间存在着明显差别，这些点被称作特征点(feature poi nt)。如果我们能够在两幅图像中分另U获得这些特

20、征点的二维坐标，就能够利用它们进行三维重建。对特征点的检测与提取需 要利用自动检测技术。在得到了两幅图像的特征点后，还需要对它们进行匹配以获得对应点。特征点的 检测以及匹配过程不可避免地会引入误差与误匹配，因此，必须要有鲁棒性的策略来去除错误匹配的影 响，从而使得重建过程具有鲁棒性。对拍摄的两幅图像的要求是要有足够的重叠区域以保证能够检测到足够多的匹配点。而能否提取并 匹配到稳定准确的特征点是三维重建能否成功的关键。就目前存在的特征点检测算法来说，SIFT是一种比较有效且应用广泛特征提取算法。本项目将利用改进的 SIFT算法设计一种三维重建系统，该系统可以更为准确高效的匹配图像中的 特征点，从

21、而完成多幅二维图像到三维模型的转换。重点和难点：(1) SIFT算法是通过分别计算三个通道的128维特征向量，然后合成一个3*128维的特征向量，最终完成彩色目标匹配。SIFT算法提取的是灰色描述子，在算法中增加色彩信息，必然导致信息量的增加， 将会带来很高的时间复杂度。利用色彩信息改进SIFT算法，并均衡匹配时间与匹配效率，是本项目必须要解决的关键问题。(2) 三维重建是一种较为复杂的系统，设计该系统需要研究者有着较高的理论基础以及编程实践能力， 本项目力求做出一套准确高效的三维重建系统，其图形界面的开发以及整体的框架设计是本项目需要解 决的另一个重要问题。三、 项目特色及创新点(1) 利用

22、颜色信息改进 SIFTSIFT算法，进一步提高其匹配能力，并利用降维方法和并行技术有效降低 算法时间复杂度，使其具有更广泛的应用价值。(2) 设计一套具有可视化界面的三维重建系统，将改进的SIFTSIFT算法应用于三维重建，从而提高三维 重建系统的准确性和效率。四、 申请理由(1 1、团队条件一一自身/ /团队具备的知识、素质、能力、特长、兴趣；2 2、前期准备基础等）计轩,男,软件学院软件工程本科生，2013级6班学生，学习刻苦，成绩优异，专业知识扎实，有良好的 团队合作精神，具备创新能力。有较强的论文写作能力，思维严谨缜密，能够胜任撰写论文、研究报告及算法分析等工作。沟通能力强，能较好地协

23、调组内关系，合理安排各组员的任务，从而发挥团队的力量。徐璐，女，软件学院软件工程本科生，2013级9班学生，学习努力，态度认真，了解科研过程专业知识扎实，自学能力强，具有较强的团队协作能力，积极参加各种活动，具有扎实的数学功底，熟练掌握C/C+等多种编程语言，具有较强的算法实现能力和软件开发能力。曾获二等奖学金，单项奖学金、院优秀学 生等荣誉。苏晓春，女，软件学院软件工程本科生，2013级9班学生，勤奋好学，成绩优异，专业知识扎实，自学能力强，具有较强的团队协作能力，积极参加各种活动，具有扎实的数学功底，熟练掌握C/C+等多种编程语言，具有较强的算法实现能力和软件开发能力。曾获二等奖学金，单项

24、奖学金、院优秀学生 等荣誉。陈叶凝，女，软件学院软件工程本科生，2013级9班学生，院学生会少民部干事，有较强的文字表达能力，英语阅读及表达能力较好。学习认真，成绩优秀，有很强的自学能力，具有较高的编程水平， 较好的掌握了项目所需的专业知识。五、项目实施方案（研究思路和方法，实施计划、技术路线、人员分工等） 研究方法与技术路线：(1)利用色彩信息改进SIFTSIFT算法SIFT算法是一种基于尺度空间的，对图像缩放、旋转甚至仿射变换依然保持不变性的特征匹配算法。 经过对SIFT算法的分析，可知SIFT算法的实质是在不同的尺度空间上查找关键点，并计算出关键点的 方向。经典 SIFT算法的特征描述子

25、由灰度图像生成，忽略了颜色信息，造成图像的匹配性能下降。但 是颜色是一种重要的图像特征它通常与图像中所包含的物体或场景有关，并描述了图像中的物体或场景 的表面性质。颜色特征与其它的视觉特征相比，对图像的大小、方向、视角的变化不敏感，鲁棒性较强。 如果忽略颜色信息，那么一类重要的描述物体特征的方式就丢失了，由此会造成目标识别或分类的错误，因此，引入颜色信息作为一种局部特征是十分有意义的。本项目将把具有色彩信息的描述子引入SIFT算法,从而提高算法的准确性和鲁棒性，使得在三维重建系统的生成更为精准(2)三维重建步骤研究及算法设计基于图像特征的匹配算法具有计算量小、算法速度快、高效、精确等特点，吸引

26、了更多研究者的精 力。通常情况下，很难完全描述特征点之间的关系。用来描述特征点集之间距离的描述子必须在用来匹 配图像时必须具有较高的精确度和效率，而且必须满足以下三个要求(1 在图像发生平移、旋转和尺度变化时具有不变性；(2)必须具有独特性，也即同一点集之间的距离必须是0；(3)对相关联的个别点之间的改变须具有不敏感性。在本项目中的此步骤上特征点应有已经改进好的基于特征点集不变性的图像匹配算法，即改进了的SIFT算法,进行提取.能进行更为准确高效的进行图片匹配。对摄像机进行标定，获取图像在获取图像后，利用计算机图形学相关知识，通过透视变换,错切变换, 相似变换等进行图像校正。进行二次匹配，计算

27、视差可以选用基于窗口的灰度匹配，基于窗口的稀疏点匹配，基于窗口的稠密点匹配，以上三种方法。获取空间点，点云对齐，拼接。多视角点云数据的拼接标定内参方法可以分为两步。1首先利用离散的特征进行匹配的方法实现粗配准,2再使用迭代最近点算法（ICP）算法进行精确配准。之后实现曲面重构。可采用分治算法，逐点插入法，三角网格生长法以上三种方法。 最后进行纹理贴图，可采用纹理映射，凹凸映射，环境映射以上三种方法。（3 3）三维重建系统开发与测试研究小组成员进行研讨 ，进行早期框架设计，编写相应代码.实现基本功能后，加入可视化界面的使 用项目该阶段将实现一个可视化、易操作的可实行三维重建的应用软件。该软件可以

28、根据用户提供的 多幅图片，进行简单操作后进行三维重建 该软件将产生最新效果图对算法结果进行呈现，使研究人员对 于算法运行结果有更直观的认识。研究人员可以方便地使用软件对结果查看。软件会将每一次算法运行 的环境、结果等信息以日志方式记录，研究人员可以使用该软件对之前的运行结果进行查询和对比分析。该软件也将作为开源软件发布于互联网，借此希望其他研究人员能对该算法进行不断优化、改进，同时在遵守开源许可的情况下可以根据自己研究的需要对软件进行一些特定的修改。人员分工：计轩：负责制定总体研究思路，确定研究计划及分配任务。研究过程中负责SIFT算法及三维重建算法理论知识的研究及算法改进工作，在研究后期负责

29、总体情况的分析和研究报告的撰写。徐璐：负责SIFT算法的实现和三维重建系统的总体设计和实现苏晓春：负责三维重建系统的界面设计以及系统测试工作陈叶凝：负责项目资料的整理，撰写论文及研究报告，参与SIFT算法改进工作。六、项目进度安排（文献查阅、社会调查、方案设计、开题报告、实验研究、数据处理与 分析、研制开发、填写结题表、撰写论文和研究报告、结题答辩和成果推广等时间安排）2014 年 12 月2015年2月查阅项目相关资料；2015年3月选题并确定研究方向；2015年4月讨论并书写项目申请书；2015年5月一-7月SIFT算法分析；2015年8月一-9月设计改进算法；2015 年 10 月2015 年 11 月设计三维重建系统