（计算机软件与理论专业论文）基于点特征的全景图合成方法研究.pdf

摘要 全景图合成技术不仅是虚拟现实的重要组成部分，它在医学影像 处理、遥感遥测图像处理、视频压缩、视频检索、增大视图的范围和 分辨率、军用图像特别是红外图像的采集和显示等领域也有广泛的应 用。 本文在分析和总结了现有全景图合成技术的基础上，着重对基于 点特征的全景图合成方法进行了研究，主要做了以下四个方面的工 作： 对目前几种常见的图像投影方式进行了分析和比较，从而选择 图像获取容易、算法实现效果较好的柱面投影方式作为本文全景图合 成的投影方式。 提出了一种改进的h a m s 角点检测算法。角点检测的精度是配 准的关键，本文在原有h 枷s 角点检测算法的基础上，利用原有算法 中局部窗口的能量变化构造h 撕s 函数，针对该函数阈值选取的不便 提出了一种改进的h 枷s 角点检测算法，该算法对函数进行x 、y 方 向上的曲线拟合，寻找拟合后的重合峰值点，并把它们作为角点检测 出来，提高了角点检测的精度。 提出了一种将n c c ( n o m a l i z e dc r o s s c o 仃e l a t i o n ，即归一化相 关) 角点匹配算法与改进的ra n s a c ( r a n d o ms a m p l ec o n s e n s u s ，即 随机抽样一致性) 算法相结合的图像配准新算法。在检测出了较为精 确的角点之后，本文对现有的图像配准算法进行了研究，并提出了一 种快速有效的图像配准新算法。该算法充分利用两幅图像中检测出的 角点信息，利用n c c 算法进行角点的粗配准，同时，利用两次改进 的黜州s a c 算法删除误配，以提高正确匹配角点对的数量，算法最 后对仿射变换模型参数进行l e v e n b e r g m a r q u a r d t 非线性优化以进一 步降低图像的配准误差。 提出了一种全景图的拼接与融合算法。在对现有全景图像拼接 方式与融合算法的研究分析基础上，选择图像拼接累计误差较小的拼 接图像到拼接图像的合成方式以及重叠区域线性过渡法对拼接后的 图像进行融合处理。实验结果表明获得了良好的合成效果。 关键字：全景图合成、投影变换、角点检测、特征点匹配、图像平滑 a b s t r a c t p a n o r a m ac o m p o s i t i o nt e c h n o l o g yn o to n l yp l a y sa ni m p o r t a n tr o l e i nv i 巾j a lr e a l i 饥b u ta l s og a i n sw i d e s p r e a d 印p l i c a t i o n ss u c ha sm e d i c a l i m a g ep r o c e s s i n g ，r e m o t es e n s i n gi m a g ep r o c e s s i n g ，v i d e oc o m p r e s s i o n ， v i d e or e t r i e v a l ，m es c o p eo fv i e wa n dr e s 0 1 u t i o ni m p r o v e m e n t ，a n d c o l l e c t i o na n dd i s p l a y so fm i l i t a 巧i m a g e s ，e s p e c i a l l yo fi n 仔a r e di m a g e s t h i st h e s i sf o c u s e dt h er e s e a r c ho nc h a r a c t e r i s t i cp o i l l t - b a s e d p a n o r a l n ac o m p o s i t i o nm e t h o db a s e do nt h ea 1 1 a l y s i sa 1 1 ds u m m 撕z a t i o n t ot h ee x i s t i n gp a n o r a n l ac o m p o s i t i o nt ec ：h n o l o 烈觚dm a i n l yh a v ed o n e t h ef 0 1 l o w i n gf o u ra s p e c t so fw o r k ： p e r f 0 1 诃n g锄a l y s i sa n dc o m p a r i s o nt ot h e c u 仃e n ts e v e r a l c o n l i l l o ni i m g ep r o je c t i o nn l e t h o d s ，a n dc h o o s i n gc y l i n 血c a lp r o je c t i o n m e t h o da st h e 缸a 1 1 yi m a g ep r o je c t i o nm e t h o df o rp a n o r 撇c o m p o s i t i o n o ft h e s et h e s i s ，f o rt h er e a s o no fi t se a s yi m a g e sa c q u i s i t i o na n dm eb e t t e r p e r f o m a n c e so fa l g o r i t h i i li m p l e m e n t a t i o n p r o p o s i n ga i li m p r o v e dh 撕s c o m e rd e t e c t i o na l g 嘶a st h e a c c u r a c yo fc o m e rd e t e c t i o ni st h ek e yt oi m a g er e g i s t i - a t i o n ，t h i sm e s i s c o n s t m c t e dh 枷s 劬c t i o nu s i n gt h ee n e r g yc h a l l g e so f1 0 c a lw i n d o wi n t h eo g i n a lh 枷sa l g o r i t h m ，a n dp r e s e n t e da ni m p r o v e dh 枷sc o m e r d e t e c t i o na l g o r i t h lt os 0 1 v et h ei n c o n v e n i e n c eo ft h eh a m s 如n c t i o n t h r e s h 0 1 dv a l u es e l e c t i o n t h i sc o m e rd e t e c t i o na l g o r i t t m lp e r f o r m sc u l v e 1 f i t t i n gt ot h eh 枷s 如n c t i o n 仃o mxa n dyd i r e c t i o n sr e s p e c t i v e l y ；a n d t h e nf i n d st h ep e a kp o i n t so ff i t t i n gc o i n c i d e n c e ，p u t t i n gt h e ma sc o m e r s ， t h u sc a ni m p r o v et h ea c c u r a c yo fc o m e rd e t e c t i o n p r e s e n t i n g an e wi m a g er e g i s 仃a t i o nm e t h o dt h a tc o m b i n e s n o 册a l i z e dc r o s s c o l l r e l a t i o n ( s i m p l y f o r n c c )c o m e rl n a t c h i n g a l g 嘶t 1 1 i i lw i t ht h ei m p r o v e dr a n d o ms a m p l ec o n s e n s u s ( s i m p l yf o r r a n s a c ) a l g o r i t h m a r e rd e t e c t i n gp r e c i s ec o m e r s ，b a s e do nt h es t u d y a n da n a l y s i so fe x i s t i n g i m a g er e g i s 仃a t i o na l g o r i t h m s ，t h i st h e s i s p r o p o s e daf a s ta n de f f e c t i v ei m a g er e g i s 仃a t i o na l g o r i t 胁i tm a k e s 缸n u s eo ft h ed e t e c t e dc o m e ri n f o 彻a t i o no ft w oi m a g e s ，a 1 1 du s e sn c c a l g o r i t t op e r f o 肌r o u 曲c o m e rr e g i s 仃a t i o n m e a n w h i l e ，t oi n c r e a s e t h en u r i 【b e ro fc o r r e c tm a t c h e dc o m e rp a i r s ，i tu s e st h e i m p r o v e d 础州s a ca l g 嘶t h mt od e l e t e1 n i s m a t c h e dc o m e r sf o r 饥ot i m e s f i n a l l y t h i sa l g 耐t h mp e r f o m = l sl e v e r l b e 唱一m a r q u a r d tn o n l i n e a ro p t i n l i z a t i o nf o r t h ep a r a n 舱t e r so fa 伍n e 仃：m s f o r i l l a t i o nm o d e l t om r t h e rr e d u c et h ei m a g e r e g i s 仃a t i o ne 仃o r s p r o p o s i n gap a l l o r a 瑚a s t i t c h i n ga n d 如s i o na l g o 删m t h i st h e s i s c h o s eas m a l l e rt o t a le o ri m g es t i t c h i n gm o d eo fm o s a i ci m a g et o n l o s a i ci m a g e ，a i l ds e l e c t e dt h el i n e a rt i a n s i t i o no fo v e r l a pr e g i o nm e t h o d t op r o c e s si m a g ea r e rs t i t c h i n g ，a 1 1t h e s eb a s e do nt h es t u d ya n da n a l y s i s t ot h ec i u n r e n tp a n o r 锄as t i t c h i n gm o d ea n di m a g e 血s i 伽a l g 嘶t h m t h e e x p e r i m e n tr e s u l t ss h o wt h a ti tc a ni m p l e m e n tg o o di m a g ec o m p o s i t i o n e f - f e c t s k e yw o r d s ：p 觚o r 锄ac o l l r l p o s i t i o n ，p r o je c t i o n 仃：m s f o m a t i o n ，c o m e r d e t e c t i o n ，c h a r a e t e r i s t i cp o i n tm a t c h i n g ，i m a g es m o o t h i n g l v 湖南师范大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本 论文不含任何其他个人或集体已经发表或撰写过的作品成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 蔓加产乡月弓日 湖南师范大学学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权湖南师范大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密口。 ( 请在以上相应方框内打“ ) 作者签名：蔓年日期：厶仟易月弓日 导师签名：1 喀“匆、日期：叼年g 月弓日 基丁点特征的全景图合成方法研究 第一章绪论弟一早珀t 匕 1 1 全景图合成概述 全景图合成是指由描述连续场景的一系列局部图像得到一个单 一的、展现整个场景全貌的图像 1 1 ，相对于视频本身，全景图提供的 信息更直接、更全面。目前，全景图合成主要有以下3 种途径【2 】： 计算机绘制。这种方法利用计算机图形学技术来构建场景模型 并绘制虚拟环境的全景图。这种绘制过程不需要实时控制，因而可以 绘制出比较复杂的场景，同时可以采用真实感较强的光照模型。虽然 这种算法可以容易地得到任意形状的全景图，而且不需要任何附加步 骤，但是建模相当费时和复杂。 全景相机。利用全景相机虽然不需要进行复杂的建模就能得到 虚拟环境的全景图，但它需要专门的设备，并且这些设备一般比较昂 虫 贝。 普通相机。该方法是由普通相机拍摄一系列有重叠区域的图像 序列，对图像序列进行投影变换、拼接、融合，最后将它们合成一幅 全景图。其优点是可以做成任意形状的全景图，而且不需要专用设备， 另外还可以对每幅照片进行曝光控制，得到光强分布比较平衡的全景 图，此方法的关键是做一个很好的无缝拼接工具。 由于第3 种方法图像获取容易、实现代价较小，并能得到较好的 全景图合成效果，因而成为了目前研究的热点。 基于普通相机拍摄图像的全景图合成一般有以下几个步骤： 先将从真实世界中拍摄的一组有重叠区域的照片以一定方式 投影到统一的空间面中，使这组照片具有相同的参数空间坐标。 硕士学位论文 在这个统一的空间面中对相邻图像进行比较，找出可以进行配 准的区域或特征点并对其进行配准。 对已配准的相邻图像进行拼接，使之合成为一幅图像。 对拼接后的图像进行平滑处理，合成得到效果较好的全景图 像。 目前，根据图像投影方式的不同，可以分为以下3 种全景图： 立方体表面全景图。即将真实世界的图像投影到立方体的六个 面上。 通常获取立方体全景图的方式有以下3 种： ( i ) 使用三维软件来生成无缝拼接于一个立方体的6 个表面上的 贴图。 ( i i ) 使用特殊的拍摄装置，依次在水平、垂直方向每隔9 0 。拍摄 一幅照片，将获得的6 幅照片无缝拼接成立方体全景图。 ( i i i ) 使用l8 0 。鱼眼镜头，拍摄得到两幅半球状照片，经过处理， 得到一幅长宽比为2 ：1 的矩形图片，再使用相关软件将其转换为6 幅立方体图片。 球面全景图。球面全景图可以反映以相机镜头为中心的上下、 左右空间的3 6 0 。空间场景。 球面全景图在获取实景图像时，将相机固定在三角架上，以相机 镜头为中心，以世界坐标系中的x 轴和y 轴为旋转轴，旋转相机进行 拍摄。具体的方法是：先将相机相对于y 轴倾斜某一角度，在该角度 下旋转相机绕x 轴一周进行拍摄；然后放平相机，在水平角度下绕石 轴一周进行拍摄：依次类推，直到采集到上下、左右空间的3 6 0 。图 像为止。 基于点特征的全景图合成方法研究 柱面全景图。反映水平3 6 0 。空间场景。 柱面全景图在拍摄时，将相机固定在三脚架上，尽量避免平转相 机时镜头的偏移和俯仰，并以镜头为轴旋转一周连续拍摄。 1 2 全景图合成技术的研究意义 全景图合成技术的发展前景十分广阔，深入研究全景图合成技术 有着重要的现实意义。它在医学图像处理、遥感遥测图像处理、视频 压缩、视频检测、增大视图的范围和分辨率、军用图像特别是红外图 像的采集和显示等领域都有广泛的应用。 在医学图像处理方面【3 】【4 】，医学对图像的质量和处理手段都有 极高的要求。特别是随着显微镜技术在医学中应用的深入，对医学显 微图像的处理和分析显得愈来愈重要，但随着显微镜放大倍数的增 大，图像视野随之减小，使得在较高的放大倍数下，无法将感兴趣的 区域放在同一个视野下，给高倍镜下较大目标的观察和分析带来困 难，医师无法通过一幅图像进行诊视，给科研和临床带来诸多不便， 而利用全景图技术便能很好的解决这一难题。对于大目标图像的数据 测量也需要把不完整的图像拼接为一个整体，所以把相邻的各幅图像 拼接起来也是实现远程数据测量和远程会诊的关键环节。 在遥感遥测技术应用中，为了扩大视野，提高分辨率，获取质 量更高、位置更准确的信息，利用全景图合成技术将遥感卫星拍摄到 的单幅图像拼接成比较准确的完整图像，用来为进一步研究提供更好 的参考。 在军事领域的夜视成像技术中【5 1 ，无论夜视微光还是红外成像 设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说 3 6 0 。的环形图片了，但在实际应用中很多时候需要将3 6 0 。所拍摄 硕+ 学位论文 的多幅照片合成一幅照片，从而使观察者可以观察到周围的全部情 况。使用全景图合成技术，在根据拍摄设备和周围景物情况进行分析 后，就可以将通过转动拍摄器材拍摄的涵盖周围3 6 0 。景物的多幅图 像进行拼接，从而实时地得到超大视角的全景图像。这在红外预警中 起到了很大的作用。 在影音娱乐方面，一般相机都不能拍摄3 6 0 。的全景照片，而 为了显示较大的场景，需要把有重叠区域的几幅图像序列用图像拼接 算法合成全景图，这样会使图片素材能反映大区域信息，加强图像的 感染力，使其更加生动有趣，在网络游戏中，很多场景图像也可以通 过全景图合成来实现。 在虚拟现实之中全景图合成也有着重要的应用，特别是在场景 重建技术中，经常需要把场景的全方位信息再现出来，全景图技术能 很好的解决这一问题。例如在房地产销售中，需要展现小区全貌，全 景图合成可以很好的虚拟出小区全貌，在真实感上有了很大的提高， 给购买者一个直观的印象；现代化城市可以通过网络的虚拟浏览技术 向人们展示城市及景区的美丽全景，吸引潜在的投资者和旅游者。 1 3 国内外研究现状 全景图合成算法流程图如图1 1 所示。 有重 叠区 域的 图像 获取 投 影 变 换 图 像 配 准 图 像 拼 接 全 景 图 合 成 融 合 处 理 反 投 影 变 换 图1 1 流程图 目前，针对全景图合成的几个步骤，国内外研究人员取得一些进 基于点特征的全景图合成方法研究 展，具体如下： 对图像进行投影变换主要有立方体投影、球面投影和柱面投影 3 种方式。其中，立方体投影是将图像投影到立方体的8 个面上；球 面投影主要是将垂直、水平方向上的图像投影到球面坐标系中；柱面 投影将水平方向上的图像投影到柱面坐标系中。 在进行图像拼接之前要进行图像的配准。目前，图像配准的方 法主要有基于灰度的图像配准和基于特征的图像配准，同时又可以分 为手工配准和自动配准。手工配准的方法需要选择大量的位置控点 ( g c p s ) ，这是非常枯燥重复、费时且劳动密集性较强的工作，当在 有限的时间内高精度、准确地进行图像配准和分析时，就需要找到一 种很少或几乎不用手工的自动化技术来配准图像。由于基于灰度的图 像配准方法对光照、对比度和拍摄角度等敏感，而基于特征的图像配 准方法能够很好地解决这些问题。因此，目前普遍采用的是基于特征 的自动图像配准方法。图像配准之后再进行图像拼接。图像拼接方法 一般可分为基于区域和基于特征两种方法，基于区域的拼接方法利用 的是图像的大部分灰度信息，而基于特征的方法则是通过提取图像中 的点、边缘、轮廓等特征进行匹配，运算量相对较少，受噪声的影响 较小，因此近年来的研究主要是针对图像的特征。 图像拼接完成后，由于分辨率、视角及光照等因素的影响，在 拼接的重叠部分有时会产生模糊、鬼影或噪声点，使边界处出现明显 的接缝，为了改善拼接质量，要对拼接好的图像进行融合处理。目前， 常用的图像融合处理方法主要有加权平均法、多分辨率样条方法及小 波变换的方法。 硕七学位论文 1 4 本文研究内容及结构安排 本文详细介绍了全景图合成的各个步骤：通过投影变换把每幅图 像投影到柱面上，利用改进的h a r r i s 角点检测算法检测出的角点进行 图像配准，利用改进的r a n s a c 算法提纯匹配角点后进行图像拼接， 对拼接后的图像利用重叠区域线性过渡法进行平滑，最终将所有有重 叠区域的图像合成一幅全景图像。 论文分为5 章，按照全景图合成的步骤来组织，具体结构安排如 下： 第1 章为绪论。主要介绍了全景图合成技术的基本概念及其研究 意义。 第2 章介绍全景图合成技术中的投影方式。主要介绍了三种投影 方式，并根据投影结果比较了它们之间的优缺点，重点讨论了球面和 柱面投影方式，选用柱面投影方式为本文的投影模式。 第3 章角点检测算法分析及实验结果。介绍了几种经典的角点检 测算法，在h 枷s 角点检测算法的基础上进行改进，提出了一种改进 的h 耐s 角点检测算法，并验证其角点提取的精确性。 第4 章基于角点的柱面图像配准。针对第三章检测出的角点进行 图像配准，提出了一种将n c c 角点匹配算法与改进的砒s a c 算 法相结合的图像配准新算法，通过实验得到配准结果。 第5 章全景图像拼接与融合。对配准后的图像进行拼接，并利用 重叠区域线性过渡技术对拼接后的图像进行平滑，得到合成的全景图 像。 最后为总结和展望。对全文所作的工作进行了总结，概括了所取 得的成绩和存在的不足，并提出了今后的研究和发展方向。 基丁点特征的全景图合成方法研究 第二章投影方式 获取了有重叠区域的待匹配图像后，由于每幅图像坐标不同，为 了配准的需要，必须把它们统一到同一个坐标系中，这就需要对这些 图像进行投影变换。常见的图像投影方式主要有3 种：立方体投影方 式、球面投影方式和柱面投影方式。 2 1 立方体投影 基于立方体投影方式【6 】的全景图由6 个面投影图像组成，这种结 构模式规则性好，易于用计算机存取控制，但构建立方体全景图，图 像的获取和相机的标定困难较大，因为立方体的相邻表面之间是相互 垂直的，所以要求相机主光轴在获取相邻图像时必须垂直，且摄取每 一幅平面图像均需要9 0 。的广角镜，以避免图像变形，这就要求相 机配有昂贵的镜头。 在对立方体全景图进行交互式全方位浏览时，要求系统实时生成 当前视线方向上的目标图像，即要实时地将全景图的可见部分重投影 到视平面上，在生成目标图像时，只有在当前视锥内的立方体部分区 域才需要被计算。具体方法如下：连接视点和视平面上的每个点，得 到一系列的视线，这些视线一定与立方体相交，对于每条视线，计算 出该视线与立方体交点，并把此交点对应的象素的颜色值作为该视线 的颜色值，所有这些视线就构成了目标图像。 立方体全景图由6 幅广角为9 0 。的平面投影图组成，这种结构 模式规则性好，便于用计算机存取控制，可以实现水平和垂直方向观 察周围环境。但是由于立方体的相邻表面是互相垂直的，对相机镜头 和拍摄技术要求较高，因此图像的获取和相机的定位比较困难。 硕十学位论文 2 2 球面投影 2 2 1 球面正投影方式 图像的球面正投影算法【刀是为了将多幅待拼接图像投影到一个 球面上，以球面全景图像的形式存储，获得每幅待拼接图像上的像素 点在视点空间中的方位信息。下面是图像的球面正投影算法。 如图2 1 所示，世界坐标系为剧z ，相机坐标为舻，假设相机 坐标系舻是由世界坐标系肼z 绕x 轴旋转a ，再绕】，轴旋转夕得到 的。 像上的对应点q 的坐标为佴) 。像素点p 在相机坐标系舻下的坐 标为阢姐切，其中新爿耽舯i p 耽，厂为相机的焦距，形和日分别 相机坐标下的坐标为似，1 ，：w ：) ，则可得式( 2 1 ) 【8 】： 翌嘲瞄端 陋， 基丁点特征的全景图合成方法研究 ( 2 - 2 ) 球面方程可以表示为式( 2 - 3 ) ， “2 + 2 + 2 = 厂2( 2 3 ) 联立式( 2 2 ) 和式( 2 3 ) 即可求出参数f ： f = ：! 也2 + y 2 + w 2 ( 2 4 ) 似：1 ，：w ) 表示球面全景图的三维参数坐标，需要把它们转化为二 维的图像坐标，以便于存储。下面的方法可以实现这种转化。 当w o 时，令 否则令 x 一o s 帝( 2 - 6 ) y = 厂( 争绷辔( 南) ) x = 八2 肛一o s ( 南) ) y = 厂。( 三+ 口粥留( 志虿) ) 令：= 所s i n 口c o s 一x ，s i n 一厂c o s 口c o s 当o 时： 联立( 2 1 ) 、( 2 2 ) 、( 2 5 ) 得到： ( 2 7 ) x ：厂眦c 。s ( 型哗掣攀坠丝掣) _ z + s l n 口+ z ，c o s 叻 ( 2 8 ) y 可仞2 + a r c c o s c 捌舞鞴的 当 o 时： 联立( 2 1 ) 、( 2 2 ) 、( 2 6 ) 得到： m 加m l i = = “ y 缈 硕士学位论文 x=厂(2万一锄cc。s(兰d竖鉴孑羹考三詈兰誓一。29， 二+ ( 所s m 口+ c o s 口) z ，1n 、 y o ；角点响应函数在正方形上有最小值，则x 的极大值必须 硕十学位论文 在( o ，1 ) 范围内，并且必须保证d 删 j 。 由以上条件得到曰 d ，则令c r f 值为： 尺= c b 2 彳 ( 3 1 5 ) 假如这个值不符合要求，则c i 强值直接由式( 3 9 ) 得出。 t r a i k o v i c 等人又提出了多格算法进一步改进了m i c 算法，采用 这种算法可以减少计算时间，并提高被检测角点的质量。 以下将简单介绍多格算法如何用于m i c 中来找到角点，其步骤 为： 在一个低分辨率的图像的每个像素点处利用式( 3 9 ) 计算简单 的c i 江，把c r f 大于门限乃的像素点标志为候选角点。 在图像恢复高分辨率后，对步骤( 1 ) 中的每个候选角点。 ( i ) 再利用式( 3 9 ) 计算c r f ，假如角点响应值低于门限乃， 则该候选角点不是角点； ( i i ) 若( i ) 中的角点响应值大于门限乃，则进一步使用在 前面介绍过的线形内部像素插值算法来得到一个新的c r f 值；如果 小于门限乃，那么该候选角点不是角点。 用n m s ( n o n n l a x i m u ms u p p r e s s i o n ) 算法找到具有局部最大 角点响应值的候选角点，并把它们确认为角点。 m i c 角点检测算法具有精度高，运算速度快，稳定性好，对噪声 具有鲁棒性等特点，但仍有不足，如图像的量化结果，插值不能达到 很好的效果，致使有些边缘点和角点区分不出来；不使用大的模板进 行c i 强运算会遗漏很多角点，但对于对比度明显的边缘，使用大的 模板又会造成角点定位不够准确。同时，在多格算法中，当图像从低 分辨率向高分辨率转化时，必将丢失一部分候选角点，从而增加了角 基下点特征的全景图合成方法研究 点漏检的概率。 3 4c s s 角点检测算法 f m o m 撕s 锄和r s u o n l e l a 提出了c s s ( c u r v a t u r es c a l es p a c e ) 角点检测算法【l l 】，其具体步骤如下： 利用c a l l n y 边缘检测算子从原始图像中提取图像边缘； 从边缘图像中提取边缘轮廓，填充边缘轮廓的缺口；寻找p 交叉点并标记为f 角点； 在大尺度仃下计算曲率，选择绝对曲率大于某阈值f 的点作为 候选角点； 跟踪角点到小尺度以提高角点定位； 比较二角点与利用曲率程序找到的角点并移除相距比较近的 点。 c s s 算法能够获得比较好的角点检测结果，并且对噪声也不是很 敏感。但是该算法仍有以下问题：多尺度仅仅被用来定位角点，而 实际的角点检测仍然是在单尺度下完成的；当盯较大时该算法不能 检测到真正的角点；该算法对全局噪声是敏感的。 3 5h a rris 角点检测算法 h 硎s 角点检测算法是由c h 删s 和m s t e p h e n s 在1 9 9 8 年提出 的一种基于信号的点特征提取算法【1 7 1 ，该算法的理论基础源自 m o r a v e c 角点检测算子。m o r a v e c 角点检测算子将一个局部窗口在 图像的不同方向进行少量的偏移，然后观测窗口内的图像亮度值的平 均变化。根据被观测图像的特性，图像亮度值的变化情况大致有以下 几种： 假如局部窗口内的图像块的亮度值是恒定的，则所有不同方向 硕十学位论文 的偏移仅导致一个小的变化。 假如局部窗口跨越一条边，则沿着边的偏移将导致一个小的变 化，但是与边垂直的偏移将导致一个大的变化。 假如窗口块内包含角点或者是一个孤立的点，那么所有不同方 向的偏移将导致一个大的变化。因此，定义由任意方向的偏移而引起 的最小变化值大于某一个特定值的那个点是角点。 m o r a v e c 角点检测算子可以简单描述为：在角点的某个领域内， 亮度的变化在任意一条通过该点的直线上都很大。对每一个待检测的 像素点取窗口，从各个方向来计算这个像素的非正则化自相关值，并 且选择最小值作为这个像素点的角点响应函数。 针对m o r a v e c 算子存在的一些问题，h 硎s 等人给出了相应的解 决措施。 在计算像素点的非正则化自相关值时只考虑了像素点的8 个 方向( 每隔4 5 。取一个方向) 。可以通过将区域变化式e 进行扩展， 将所有方向的小的偏移表现出来： 晟，) ，= 讹，v 厶帆刖一厶，v 】2 = 讹，v 【崩+ y 】，+ d ( x 2 + y 2 ) 】z ( 3 - 1 6 ) “，“，v 这里的一阶导数近似为： x = ，o ( 一l ，0 ，1 ) = 甜苏，】，= ，固( 一l ，0 ，1 ) r = 甜砂。 因此，对于小的偏移，变化e 能够写成： 晟，y = 出2 + 2 c 砂+ 砂2( 3 - 1 7 ) 式中彳= x 2 w ， b = 】，2 圆w ，c = ( 糟) ow 。 m o r a v e c 算子没有对图像进行降噪处理，所以响应对噪声敏 感。可以使用平移的圆形窗口先对图像进行预处理来降低噪声影响， 比如高斯窗口： 基于点特征的全景图合成方法研究 讹，= e x p ( 一( “2 + 1 ，2 ) 2 仃2 ) ( 3 18 ) 因为仅仅考虑了e 的最小值，所以m o r a v e c 算子对边缘响应 很敏感。对应的解决方法为重新定义角点准则。对于小的偏移似， 变化e 可改写成： b ，y = ( x ，y ) m ( x ，y ) r( 3 - 1 9 ) 式中矩阵m 为2 2 的对称矩阵： m = 绸 p 2 。， 注意变化e 与局部白相关函数密切相关，矩阵m 描述了e 在原 点的形状。设a 、是m 的两个特征值。仅、声与局部自相关函数的 主要曲率成比例，都可以用来描述m 的旋转不变性。 用以上方法提取角点有3 种情况需要考虑： 假如两个特征值都是小的，以至于局部窗口内所有方向亮度值 偏移量变化很小即局部自相关函数是平的，那么图像中的窗口区域为 近似不变的亮度。 假如一个特征值是高的，而另一个是低的，以至于局部自相关 函数呈现山脊的形状，那么这显示是一条边。 假如两个特征值都是高的，以至于局部自相关函数是突变的山 峰形状，那么在任何方向的偏移都将增加e 值，显示这是一个角点。 为了避免求解m 矩阵的特征值，使用公式乃俐和d “彻： 乃( m ) = 口+ = 彳+ b( 3 2 1 ) d 酣( m ) = 筇= 彳b c 2( 3 2 2 ) 定义下式来计算h a r r i s 算法的角响应函数 r = d 甜( m ) 一七乃( m ) 2( 3 - 2 3 ) 硕十学位论文 式中角响应准则r 在角的区域是个正值，在边的区域为负值， 在不变化的区域是个很小的值。在实际应用中，计算图像窗口中心点 的r 值，如果大于某一个给定的门限值，则这个点为角点。h 撕s 算 法稳定性高，对噪声不敏感，对三形状的角点检测准确性高，但由于 采用了3 次高斯滤波，运算速度慢。 3 6 本文改进的h a r ris 角点检测算法 运用h 撕s 角点检测算法时，存在着两个问题：利用r 取局 部最大值来判断角点时，与高斯窗的选取有着很大关系：若高斯窗选 择过大，会造成很多有用的角点丢失；而高斯窗选择过小，又会造成 大量伪角点的提取；算法根据阈值来判断角点，当某像素点的r 值大于指定的阈值丁时，该像素点就会被检测为角点，但在h a 玎i s 算 法中，阈值只能根据图像特征进行手动调整，很难设定一个合适的值 使其能够适合整幅图像中角点的检测。 针对h 狐s 算法的上述问题，本文采取曲线拟合的算法【1 8 】来直接 确定角点以提高角点检测的精度。 3 6 1 算法思想 该算法首先对图像中每行所有像素点的r 值进行x 方向的曲线 拟合，对每列所有像素点的尺值进行】，方向的曲线拟合，然后对拟 合后的曲线进行分析。在曲线的“波峰 位置r 值处于局部最大值， 依据h 州s 角点检测思想，可以把在两个方向上都为“波峰 的点设 定为角点。 具体检测存在以下两种情况： 尺值在x 方向和】，方向拟合之后的曲线存在多个“波峰。如 果在x 方向上是“波峰”，则判断该像素点坐标在】，方向上的位置， 基于点特征的全景图合成方法研究 若也是“波峰 ，则被检测为角点，否则可判断该点为边缘； 贝值拟合之后在x 方向趋于平缓，说明该像素点的r 值在x 方向变化不大，不是角点，无需检测】，方向的拟合曲线。 3 6 2 算法步骤 算法过程分为两步：首先对r 值分别进行x 方向和y 方向上的 曲线拟合，然后对拟合好的曲线进行分析，若某像素点的月值在两 个方向上都是“波峰 ，则该像素点被检测为角点。 曲线拟合是用连续曲线近似地刻画或比拟平面上离散点集的一 种数据处理算法。传统的曲线拟合算法是采用最小二乘原理用解析表 达式来逼近离散数据点，可以表述为： 对于给定的一组数伍别，卢，2 ，拟合目标是形如： y & ) 可( 口，石) = 铆石甩+ a 2 x 疗- 1 + + 锄x + + l ( 3 2 4 ) 的，l 阶多项式模型，求取参数口，口2 ，口舶+ ，使下列，量最小： = 善( 华2 ( 3 - 2 5 ) 进行曲线拟合时，若模型多项式的阶次取得太低，拟合就粗糙； 阶次太高，拟合就显得“过头”，使数据噪声也被纳入模型。判断拟 合是否恰当常用以下两种算法【1 9 】： 若估计参数下的，量与其自由度相近，则认为阶次比较合适。 一个合适的阶次，应使其，量以自由度限，z 一矽为期望值，其中是 原数据的长度，伽+ j ) 是多项式系数的数目。 如果矿分布拟合误差的期望值q 髟，_ 伽+ 驯= ，一p 酽 附刀一驯 与o 5 接近，则认为阶次合适。其中尸留 限，z 一圳为，分布的累计概 率。 硕+ 学位论文 3 6 3 实验结果 本文选取图1 2 所示的两幅待拼接图中的右图，采用第一种算法 选择合适的阶次，则数据长度为m = 4 0 0 儿= 4 8 0 。工程实验中，曲线 拟合的阶次一般取3 5 较为合适，结合本幅图像h 枷s 算法取得的r 值数量级达到1 0 9 ，可设定义方向和】，方向拟合的标准差分别为1 5 1 0 8 和1 6 1 0 8 ，得到各阶次下x 方向的，值和y 方向的7 值分别 如图3 5 和图3 6 所示。 从图3 5 可以看出，当刀= 3 时，= 4 2 2 与以一仁+ 矽= 3 9 6 最接近， 因此x 方向上拟合阶次取3 较为合适。从图3 6 可以看出，当，z = 4 时， ，= 4 5 5 与吩伽+ 砂：4 7 5 最为接近，所以】，方向上拟合阶次取为4 较 为合适。实验结果表明，对x 方向上的拟合最大偏差为2 9 4 4 2 1 0 7 ， 小于x 方向的标准差1 5 1 0 8 ，对】，方向上的拟合最大偏差为3 6 9 7 6 1 0 7 ，小于】，方向的标准差1 6 1 0 8 ，因此拟合是成功的。 c h i 2 与自由度 图3 5x 方向上的，值图3 6y 方向的，值 图3 7 为对图2 5 右图第一行、第一列像素的尺值分别进行x 方 向和】，方向曲线拟合的结果，从图中可以明显看出曲线上的“波峰”， 容易找到“波峰”对应的像素点的位置。 基f 点特征的全景图合成方法研究 。1 0 r 的拟台曲线 豸嚣禧由坑l ii 一i ：j i r 一。p 一 l _ ，峨小洲旷 一1 1 1 i 】 -l 01 1 翻3 7 剀2 5 中右幽的r 值在第 37 角点检测算法实验结果分析 4 4 卯5 行、第一列的拟台曲线 371 原始图像的角点检测 为了检测改进的h a 删s 算法的性能，对图2 5 的两幅原始图像进 行测试并对各种检测算法的实验结果进行对比分析，实验结果分别如 图3 8 、3 9 、3 1 0 、3 1 l 、3 1 2 所示。 伽m f h 肼，月自m 码l t ” h 3 8 s u s a n 算法检测 果 。 。 侣 。 硕士学位论文 图3 1 0c s s 算法检测结果 基丁点特征的全景图合成方法研究 h - 删月_ 川日- 图3 1 1h a l l l s 算j 击检铡结粜 从检测结果图中可以直观地看出，m l c 和c s s 算法的漏检现象 比较严重，尤其是对于湖面等像素灰度变化相对较小的区域。s u s a n 算法的冗余角点很多，尤其是对于山体等像素灰度变化较大的区域。 从图中还可以看出，h a 州s 算法在检测山体等像素灰度变化较大的区 域时，有一定程度的角点冗余，而在检测湖面等像素灰度变化相对较 小的区域时，有些正确的角点没有被检测出来，造成部分角点检测失 败。改进的h a r r i s 算法在检测山体等区域的角点时减少了冗余，而原 来没有检测出来的湖面等区域的角点也被清楚地检测出来了。 硕士学位论文 圈3 一l3s u 8 a n 算法检测结果 基于点特征的全景圈合成方法研究 图3 1 5c s s 算法检测结果 从实验图可以看出，s u s a n 算法受噪声的影响较大，在检测山 体等像素灰度变化较大的区域时，角点冗余度增加。m i c 和c s s 算 法虽然受噪声影响较小，但其漏检现象都比较严重。h a 币s 算法在噪 声条件下表现比较稳定，漏检和重复检测现象较图3 1 1 的结果相差 硕士学位论文 图3 一1 7 改进的h 扭b 算法检测结果 不大。 噪声图像下的角点检测，随着噪声程度的加强，漏检现象是难以 避免的。可以从实验结果得出结论，本文改进的h a 耐s 算法在引入图 像噪声的条件下，错误率没有明显提高，具有较好的抗噪性。 基丁二点特征的全景图合成方法研究 3 8 本章小结 本章首先着重介绍了几种经典的角点检测算法，指出它们的特点 和存在的缺陷。然后，本文通过详细地分析h 枷s 角点检测算法，提 出了一种基于该算法的改进算法。为了测试改进算法的性能，本文通 过一系列的检测实验测试了算法的准确性和抗噪性，实验结果表明， 改进的h a m s 角点检测算法达到了预期的效果。 硕士学位论文 第四章基于角点的柱面图像配准 4 1 图像配准及其基本约束 在全景图的生成过程中，最关键的部分就是图像的拼接技术，而 拼接技术的核心是图像的配准技术。 图像配准的过程实际上是寻求两幅图像间一对一映射的过程，即 要将两幅图像中对应于空间同一位置的点联系起来。这里的映射一般 称为变换，在二维空间中表现为二维变换。 假设有两幅图像乃和乃，乃阮和厶似纠分别代表各自对应点的 灰度值，那么映射过程可以用下面的公式来表示【2 0 】： 厶( x ，y ) = g m ( 厂( x ，y ) )( 4 - 1 ) 其中厂代表一个二维空间坐标变换，即伍锣：) 俐，g 是一个一 维强度变换。强度变换g 一般是不必要的，通常寻找两幅图像之间的 空间变换或几何变换是配准的关键问题，因而更多的是将映射函数表 达为两个单值函数五彩： 厶 ，y ) = 厶o ，y ) ， o ，y ) )( 4 2 ) 常见的简单变换形式有： 平移：1 2 ( x y ) = il ( x + 口y + b ) ； j l 专专：1 2 ( x y ) = il ( x c o s e 哆。s i n e x s i n 8 + y c o s e ) ； 亮度：厶似= 口厶似+ 6 ，如果是不同的光照条件影响，亮度变 换会更复杂； 噪音：1 2 x y ) = il ( x 。y ) j r n ( x y ) ，n ( x ) ( o o ) 平滑和锐化：这是原图像与点扩散