（信号与信息处理专业论文）柱面全景图像拼接算法的研究.pdf

哈尔演理工大学工学硕士学位论文 柱面全景图像拼接算法的研究 摘要 虚拟现实的一个重要目标是使用计算机生成逼真的视觉世界 使用户可 对虚拟世界的客体进行交互式考察 传统上 用三维图形学的方法实现建 和绘制 而基于图像绘制的全景图拼接方法是把同一场景的序列图像合成 景图 避开了复杂的建模和绘制 直接利用相机或摄像机拍摄得到的实景 像来构造虚拟现实环境 克服了三维图形方法的缺点 从而为分析现实场 提供了一个有效的手段 结合基于图像绘制的全景图拼接算法的特点 在总结 分析了国内外已 做出的研究工作的基础之上 本文利用图像处理等相关技术进行了算法上 一些改进 利用m o r a v e c 算子提取图像特征进行图像配准 针对图像亮 不一致造成拼接结果具有接痕的问题 提出了在拼接前对图像进行亮度直 图处理的方法 本文通过大量实验论证了算法的有效性 证明特征提取算法进行图像配 具有很高的准确度 亮度直方图处理后的拼接结果无任何接痕 最终 结合m a t l a b 强大的图像处理能力与v i s u a lc 在编写软件界面 及较高的执行效率上的优势 编写了图像拼接程序 该程序实际运行状况 好 键词柱面全景图 图像拼接 m o r a v e c 算子 哈尔滨理工丈学工学硕士学位论文 r e s e a r c ho fc y l i n d e rp a n o r a m am o s a i ca l g o r i t h m a b s t r a c t a ni m p o r t a n tg o a lo fv i r t u a lr e a l i t yi sb u i l d i n gal i v i n g v i r t u a lw o r l du s e d c o m p u t e rs ot h a tt h eu s e r sa r ea l l o w e dt oc o n t r o lt h ev i r t u a lo b j e c t si n t e r a c f i v e l y t r a d i t i o n a l l y t h ev i r t u a lr e a l i t ys y s t e mu s e s3 dc o m p u t e rg r a p h i c st om o d e la n d r e n d e rav i r t u a le n v i r o n m e n ti nr e a lt i m e h o w e v e r t h em o s a i cm e t h o db a s e do n i m a g er e n d e r i n gc o m p o s e st h es e q u e n c ei m a g e so fs a l n es c e n ei n t op a n o r a m a i t a v o i d st h ec o m p l i c a t e dm o d e l i n ga n dr e n d e r i n ga n dc o n s t r u c t st h ev i r t u a lr e a l i t y e n v i r o n m e n tb y t h e s c e n e i m a g e s s h o t b y t h ec a m e r ao rv i d i c o n i ta l s o o v e r c o m e st h ed i s a d v a n t a g eo f3 dc o m p u t e rg r a p h i c sm e t h o d c o n s e q u e n t l y i t p r o v i d e sa ne f f e c t i v em e a s u r ef o ra n a l y s i so fr e a l i t ys c e n e a c c o r d i n gt ot h ec h a r a c t e r so fi m a g em o s a i ca l g o r i t h m t h i sp a p e rp r e s e n t s s o m ea l g o r i t h m i m p r o v e m e n t sb a s e do r la n a l y z i n ga n ds u m m a r i z i n gt h ee x i s t i n g a l g o r i t h m t h en e wa l g o r i t h me x t r a c t st h ef e a t u r eb l o c kb ym o r a v e co p e r a t o rf o r r e g i s t e r t ot h eq u e s t i o nt h a tt h e r ei s av i s i b l es e a mr e s u l t e df r o mv a r i a n c eo f i m a g eb r i g b t n e s sb e t w e e nt w oi m a g e s t h ep a p e rp r e s e n t sam e t h o dt h a ta p p l y i n g h i s t o g r a mp r o c e s s i n gt ot h es e q u e n c ei m a g e sb e f o r em o s a i c t h ep a p e rd e m o n s t r a t e st h ev a l i d i t yo ft h ea l g o r i t h mb yl o t so fe x p e r i m e n t s t h es i m u l a t i o n sp r o v e dt h a tt h ea l g o r i t h mw h i c hu s em o r a v e co p e r a t o rt oe x t r a c t f e a t u r eb l o c kf o rr e g i s t e ri se x a c ta n dt h eh i s t o g r a mp r o c e s s i n gi se f f e c t i v e i nt h ee n d ap a n o r a m ai m a g em o s a i cp r o g r a mi sw r i t t e nb yc o m b i n i n g v i s u a lc w h i c hh a sp e r f e c tc a p a b i l i t i e sa b o u ts o f t w a r ei n t e r f a c ea n de f f i c i e n t p e r f o r m a n c ew i t hm a t l a bw h i c hh a sp o w e r f u la b i l i t yi ni m a g ep r o c e s s i n g t h e p r o g r a m sp r a c t i c a lc i r c u l a t i o ni sw e l l k e y w o r d sc y l i n d e rp a n o r a m a i m a g em o s a i c m o r a v e co p e r a t o r 1 1 啥尔滨理工大学工学硕士学位论文 1 1 课题背景 第1 章绪论 虚拟现实 v i r t u a lr e a l i t v v r 技术是采用以计算机技术为核心生成逼 真的视 听 触觉一体化的特定范围的虚拟环境 用户借助必要的装备以自然 的方式与虚拟环境中的对象进行交互作用 相互影响 从而产生身临其境 等 同现实环境的感受和体验 例如 城市的真实风光 博物馆富丽堂皇的大厅 大型设备和设施 如航空母舰 核电站等 的内部及外部情况 传统上 一个 虚拟现实环境是采用基于几何模型的图形绘制来实现的 它是由各类3 d 集合 合成的 在虚拟环境中漫游 是通过实时绘制3 d 几何体实现的 事实上 利 用我们现有的图形技术很难做到将一些实体对象模拟的和现实世界完全一致 或者由于计算量大而无法在实际中加以应用 1 基于以上的缺点 促使人们考 虑可否避开繁琐的建模过程和复杂的绘制计算 将现实世界的映像 如图像 视频 声音等 通过一种手段将观察者所处的位置观察到的局部图像绘制成新 视点处的场景画面 全景图 这种基于全景图的虚拟现实系统 通过全景图 的深度信息抽取 恢复场景的三维信息 进而建立三维模型 这个系统允许用 户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视 同时允许在 环视的过程中动态地改变焦距 这样的全景图像相当于人站在原地环顾四周时 看到的情形 如果人处在这种图像的环绕中 则能够产生强烈的沉浸感 因 此 全景图像是快速实现虚拟现实系统的 个必不可少的环节 事实上 全景图拼接不仅是虚拟现实技术的重要组成部分 它在医学图像 处理 遥感遥测图像处理 视频压缩 视频检索 增大视图的范围和分辨率 军用图像特别是红外图像的采集和显示等领域都有很广泛的应用 在医学图像处理方面 显微镜或超声波的视野较小 医师无法通过一幅图 像进行诊视 同时对于大目标图像的数据测量也需要把不完整的图像拼接为一 个整体 所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关 键环节 1 遥感遥测技术应用图像拼接技术将遥感卫星拍摄到的有失真地面 图像拼接成比较准确的完整图像 作为进 步研究的依据 在军事领域的夜视成像技术中 无论夜视微光还是红外成像设备都会由于 摄像器材的限制而无法拍摄视野宽阔的图片 更不用说3 6 0 度的环形图片了 啥尔滨理工大学工学硕士学位论文 但是在实际应用中 很多时候需要将3 6 0 度所拍摄的很多张图片合成一张图 片 从而可以使观察者可以观察到周围的全部情况 使用图像拼接技术 在根 据拍摄设备和周围景物的情况进行分析后 就可以将通过转动的拍摄器材拍摄 的涵盖周围3 6 0 度景物的多幅图像进行拼接 从而实时的得到超大视角甚至是 3 6 0 度角的全景图像 这在红外预警中起到了很大的作用 在很多办公系统中 所用扫描仪大多为a 4 或a 3 幅面的 如果使用这样 的扫描仪去扫描输入一幅a 0 或更大的图 比如一幅海图 1 就显得无能为力 了 虽然现在有专用的大幅面滚筒扫描仪 但这种扫描仪属专用设各 价格昂 贵 一般企事业单位 科研机构是无法承受的 现在计算机的处理能力不断增 强 而价格却在不断下降 用户也越来越多 促使人们选择采用软件的方法解 决如何用现有的设备形成大幅的图像输入的问题 软件上 可以用a 3 或a 4 幅面的扫描仪分块扫描输入图像 存入计算机硬盘 再用一个图像拼接的程序 将图像拼成原图 这样的应用也同样适用于数码相机 数码摄像机拍出的照片 与视频片断 对数码照片或者摄像机视频片段进行加工 让用户更易于使用这 些媒体 让这些索材变得更加有趣 从以上几点可以看出 全景图像拼接技术的发展前景十分广阔 深入研究 全景图像拼接技术有着很重要的意义 1 2 全景图像拼接技术概述 为了进行全景图像拼接 相邻两幅图像边界必须存在重叠区域 视觉重叠 区域 该重叠区域代表相同的景物内容 图像拼接的工作就是搜寻相邻两幅 图像中相同的内容 从而确定它们的相对位置 进一步将两幅图像拼合在一 起 全景图像的基本拼接步骤如图1 1 所示 拼接3 6 0 度全景图像首先需要利 用相机或者摄像机采集包括全方位景物信息的图像 图像间应具有一定程度的 重叠区域 然后利用图像的2 d 信息寻找图像间相对几何关系 将所有的图像 映射到一个面上 最后将图像叠加起来 组成全视角的空间景物信息图像 该领域内针对图像拼接的各个步骤及其在不同领域的应用出现了很多算 法 m c m i l l i a m s 和b i s h o p 在1 9 9 5 年提出了一种依据摄像机绕轴旋转3 6 0 度所 拍摄的图像序列求解摄像机参数 进而进行全景图的拼接的算法 s t e i n 提出 了在相邻两帧间进行纹理特征跟踪 进而求摄像机焦距和帧间偏移距离的算法 l s z e l i s l d 和s h u m 提出了在保持摄像机光心基本不动的前提下 利用手持摄 哈尔滨理工大学工学硕士学位论文 像机拍摄图像拼接全景图的算法 该算法不要求摄像机作纯水平旋转 可以 拼接任意形状的全景图 i 黼 量 i 图像配套 几何校l 一 7 图像平滑拼接i i 或融合 i l 口口口口口 图1 1 全景图像拼接示意图 f i g 1 1t h eg r a p ho fi m a g em o s a i c 2 0 0 1 年 清华大学的研究人员提出了一种针对图像拼接过程中计算量与拼 接精度之间进行折衷的方案 该方案用三角架保证摄像机基本绕垂直轴旋转 但是不对摄像机的旋转角度作严格限制 i 同年 华中科技大学的研究人员提 出了依据变形图像推导出相邻两幅变形图像像对的数学关系 用相关法识别特 征点 经过几何变形校正以构成大图像的算法 1 针对动态全景图拼接 1 9 9 8 年 j d a v i s 提出了一种静态场景中添加运动物体的全景图像拼接方案 2 0 0 2 年 杜威 李华两人提出了 种应用于动态场景的全景图表示方法 1 将 视频纹理和全景图结合起来 构造动态全景图 图像的平滑拼接算法也在最初的重叠区域直接融合的基础上不断改进 首 先出现的是 渐入渐出 的羽化拼接算法 但该算法有一定的局限性 为了适 应不同拼接情况的需要 科研人员还提出了很多该算法的变体 图像配准技术以及图像平滑拼接算法的进步在很大程度上放宽了图像序列 采集的硬件条件 使得全景图像的研究更经济 更普及 全景图像的研究就在 这些方面的发展推动下不断进步 本文将依照全景图拼按的基本步骤详尽的介绍各个步骤所需算法的发展历 史以及对目前存在的算法做细致的分析总结 同时也依照这个顺序来介绍自己 哈尔滨理工大学工学硕士学位论文 的改进方法 1 3 本文内容 本文的研究工作属于图像信息处理领域 在研究图像特征的基础之上 结 合图像几何学及实时性考虑 探索了图像拼接前的预处理 图像配准以及图像 融合的算法 1 针对相邻两幅图像亮度不一致容易造成明显的接痕的问题 提出了相 应的直方图处理算法 2 针对全景图拼接配准时需要大量的复杂计算 造成了较差的实时性问 题 提出了利用m o r a v e c 算予提取特征点 简化了配准参数的计算 3 在进行图像配准以及融合的工作中 试验了大量的配准 融合的方 法 并进行了分析 得到了大量的实际工作经验 4 最终依据本文提出的算法对图像序列进行了大量的拼接实验 并给出 有力的试验数据 对新算法的效率给予了充分的证明 同时 还利用v i s u a lc 形成了小型的图像拼接软件 该软件除了可以高 效率地进行全景图拼接 还加入了基本的图像处理模块 能够进行诸如直方图 变换 频域变换 图像滤波等处理 本文第二章对全景图 全景图拼接算法 其中包括图像配准 图像拼接以 及图像的平滑融合算法 给予了详细的介绍与比较 并指出了其中的不足之 处 第三章主要介绍了作者提出的新的图像拼接算法的各个步骤 图像的柱面 投影 图像的特征点提取 图像配准以及图像的连接 在第四章 主要给出了 v i s u a lc 与m a t l a b 联合编程的要点以及介绍了图像拼接软件的功能 第五章 中 深入讨论和分析了该全景图拼接算法的优势 并给出了实验数据 哈尔滨理工大学工学硕士学位论文 第2 章全景图像以及图像拼接技术 本章中 详细地介绍了基于图像绘制的全景图与图像拼接技术 包括图像 配准以及图像的平滑连接技术的发展历史以及现状 2 1 基于图像绘制技术的全景图 为了提高场景绘制的速度 增加场景的真实感 近几年国际上开始流行使 用基于图像的绘制 i m a g e b a s e dr e n d e r i n g 简称i b r 技术构造虚拟空间 基于图像绘制的全景图的基本出发点是为了解决如何在普通计算机上实现真实 感全景图形的实时绘制问题 该技术基于一些预先生成的图像或者环境映射 图 来实时生成不同视点的场景画面 i b r 是计算机图形学和计算机视觉相结合的产物 使用计算机图形学的思 想构造虚拟场景 使用计算机视觉技术从已知的图像中生成新的图像 而基于 图像绘制技术的全景图像正是从采样图像序列生成新视景的图像 首先在源场 景中确定一系列的采样视点和采样方向 然后进行图像采样 并对得到的图像 序列进行变换 组织 生成图像流场 依据观察者在虚拟场景中的位置和观察 方向从图像流场中检索生成视景所需的光线信息从而恢复出图像 2 1 1 图像绘制技术 本节中 将以是否需要场景的3 d 几何信息为标准 把目前国内外的i b r 技术分成三类 1 基于无几何信息的i b r 技术 基于部分几何信息的i b r 技 术 以及基于完全几何信息的i b r 技术 最后总结图像与图形信息相结合方面 的研究成果 2 1 1 1 基于无几何信息的i b r 技术这种i b r 技术无需知道场景的几何信 息 m c m i l l a n 和b i s h o p 的全光建模 p l e n o p t i cm o d e l i n g 系统通过采样图 像 建立给定视点处的圆柱面全景图像 2 d 表示 根据不同圆柱面图像中像素 的特征对应信息 建立圆柱面像素的极线约束 7 利用该约束信息 可以得到 新视点位置 3 d 所对应的圆柱面图像 g o r t l e 等的l u m i g r a p h 和l c v o y 等 的l i g h tf i e l d 系统 采用相似的方法 即把场景用一个立方体盒包围起来 场 景中的光线可以用离开或进入包围盒进行描述 l u m i g r a p h l i g h tf i e l d 方法通 过这样的信息表示 并对信息进行重新采样 可以高效地绘制出与场景的几何 哈尔滨理工大学工学硕士学位论文 或光照复杂度无关的新位置处的图像 微软中国研究院的沈向洋提出一种同心 拼图 c o n c e n t r i cm o s a i c s 的方法o 在采样过程中 同心拼图法把摄像机限 制在圆周上运动 通过合成沿每个圆上不同点切线方向的线图像 生成具有相 同圆心的拼图 在漫游时 根据视域方向找到相应的线图像 即可生成新的视 图 这样用户就可以在圆内自由移动 同心拼图法生成的文件很小 图像采样 和同心圆构造都很方便 所以容易实现 使用i b r 技术构造场景最简单的方法 是利用全景图像 目前 大多数全景图像都采用圆柱面全景图像 7 的方 式 如a p p l e 公司推出的o u i c k t i m e v r m i c r o s o f t 公司的s u r r o u n dv i d e o 以 及国防科技大学研制出的h v s 等 基于无几何信息的i b r 技术不需要知道场景的任何几何信息 避开了计算 机视觉中的难点问题 因而非常适用于构造虚拟实景空间 但是若要构造能够 大范围自由漫游的虚拟实景空间 光流采集非常困难 数据量相当大 而且数 据冗余也很大 2 1 1 2 基于部分几何信息的i b r 技术有些i b r 技术只需要少量的图像就可 以绘制出新的场景 这是因为它们使用了己有图像之间的匹配信息 这种方法 使用了场景的部分几何信息 所以称为基于部分几何信息的i b r 技术 1 视图插值技术给定两幅图像 如果它们之间的光流信息己知 则可 以重构出任意视点的新图像 这就是c h e n 和w i l l i a m 的视图插值 1 v i e w i n t e r p o l a t i o n 技术 这个方法利用相机的位置和图像深度信息 事先计算出两 幅图像对应像素的偏移向量 并存储在一对 变形图 m o r p hm a p s 中 为 了提高映射速度 减少 变形图 大小 他们使用四叉树法对图像进行分块 压缩 变形图 并按照块的深度值进行前后排序 产生四叉树块查找链 绘 制新视图时 根据视点位置和图像对的关系 对偏移向量进行线性插值 并按 插值向量移动原图像中相应像素到新视图中 从而得到新的视图 该方法是基 于对图形学中绘制速度的改进而提出的 因此假设像素点的深度值能够从3 d 场景模型中获得 如果两幅图像的视点很近 运用这种插值技术能够取得很好 的绘制效果 如果两幅图像的视点之间距离过大 则它们之间的相同区域就会 很小 因而增加了绘制误差 出现 折叠 现象 c h e n 的视图插值技术采用的 是线性插值技术 适用于视点移动平行于视平面的情况下 对于视点移动与视 平面不平行的情况 浙江大学的鲍虎军等提出非线性插值的解决方法 2 图像变形技术对于给定的两幅图像 同时对其形状和纹理进行2 d 插 值 产生出新的视图 这种技术称为图像变形 i m a g em o r p h i n g 技术 图 像变形技术的具体做法是 首先建立两幅图像之间的对应关系 这是变形技术 哈尔滨理工大学工学硕士学位论文 中最困难的部分 通常由人工完成 用户可以在一对图像中定义一组对应点或 对应线段 由对应点 构造从第一幅图像到第二幅图像之间的映射函数 这样 第一幅图像中其余的点可以根据这个映射函数 在第二幅图像中找到各自的对 应点 其次利用该映射关系 对第一幅图像到第二幅图像的形状进行插值 同 时融合这两个变形图像对应的像素值 图像变形与图像折叠 i m a g ew a r p 的不同之处在于图像变形包括形状变化和颜色融合 而图像折叠只是形状的变 化 b e i e r 和n e e l y 使用基于特征线段的方法 运用变形技术从两幅形状和颜 色完全不同的图像生成新的图像 s e i t z 和d y e r 提出视图变形 v i e wm o r p h i n g 技术 1 运用这种技术能够 产生两个参考视点连线之间任意的新视图 并且新视图可以保持两幅原始图像 的形状 对于两幅平行视图 通过简单的线性插值就能够得到新的视图 如果 两幅视图不平行 则需要三步才能产生新的视图 第一步前向折叠 p r e w a r p 把两个视平面变换到平行位置 第二步变形 运用简单的线性插值方 法 获得中间图像 第三步后向折叠 p o s t w a r p 根据视点位置 将生成的 图像变换到相应的视平面 3 基于外极几何的方法基于外极几何 e p i p o l a rg e o m e t r y 的方法利用 两幅图像之间的外极几何关系生成新的图像 由于在实际应用中照相机的内部 参数很难得到 所以外极几何关系一般根据两幅图像之间的对应点进行求解 如8 点算法 7 1 等 l a v e a u 和f a u g e r a s t 对新视图中的每个像素使用逆映射或 光线跟踪方法 通过基于外极几何约束的方法找出它们在两幅参考视图中的对 应点 在参考图像之间还可以使用内插 i n t e r p o l a t i o n 和外推 e x t r a p o l a t i o n 的方法生成新的视图 对于三幅图像 外极约束关系采用三 线性匹配约束方法 三幅图像之间的关系用一个3 x 3 x 3 的三线性张量 t r i l i n e a rt e n s o r 描述 如果已知三幅图像的三线性张量 那么由任意指定 的两幅图像中的匹配点对 都可以计算出第三幅图像中的对应点 这样就可以 通过两幅或三幅参考图像获得相应的视图 与无几何信息的i b r 技术相比 基于部分几何信息的1 b r 技术的优点是 根据两幅或多幅相邻的参考图像及其对应关系 就可以生成新的视图 这个过 程所需的图像数量很少 所以数据处理很小 但也存在不足 一是 场景中对 象之间存在遮挡关系 而从参考图像中所获取的场景信息十分有限 这使得在 参考图像中不可见而在新视图中应该可见的区域出现 空洞 现象 如何根据 有限的场景信息填充这些 空洞 是这类1 1 3 r 技术的难点问题 二是 由于 获取的场景深度信息是不连续的 这导致匹配过程会出现误差 哈尔滨理工大学工学硕士学位论文 2 1 1 3 基于完全几何信息的i b r 技术这种技术需要准确地知道场景的几何 信息 即场景的深度信息 2 1 1 4 图像与几何信息的结合无几何信息的i b r 技术不需要任何场景几何 信息 只是现有算法对于图像的采集设备要求较高 限制了其发展 而且存在 大量的数据冗余 基于完全几何信息的i b r 技术没有这个缺点 但是获取真实 场景的几何信息又十分困难 或者究竟使用多少场景几何信息与图像信息相结 合 以及它们如何相结合才能满足用户所要求的绘制精度 数据采样和绘制速 度 前人提出了进行全光采样分析的策略 对于一个场景 多少图像样本和场 景几何纹理信息足以重建连续全光函数 c h a i 等运用高维信号处理方法分析了 这个采样问题 得出的结论是 对于一个u g h tf i e l d 场景 该场景的频谱分布 范围仅取决于场景的最小和最大深度 而与场景的复杂度无关 给定最小和最 大深度 用一个最佳常深度重构滤波器 就可以实现无走样的i b r 绘制 1 场景信号经过最优滤波处理后 复制这个频谱 从所有频谱紧密排列的最小间 隔就可以得到场景的最小采样率 全光采样在图像一几何空间给出了一条最小 采样曲线 这条采样曲线定量地描述了在给定输出精度的情况下图像数目和几 何信息之间的关系 l i n 等运用几何的方法对同心拼图法和l i g h tf i e l d 绘制进 行了全光采样分析 得出了相同的结论 全光采样分析由于涉及场景的深度 和纹理信息 采样图像数目以及输出精度 所以十分困难 如何改进现有的无 几何信息的i b r 技术 使其能够利用普通相机拍摄的图像 从而降低研究成 本 这正是本文所要研究的目的 七十年代末 美国麻省理工学院 m i t 媒 体实验室开发的m o v i e m a p 系统是最早使用i b r 技术的系统 在m o v i e m a p 系统中 每一个视点使用四个照相机进行拍摄 然后将拍摄好的几千幅参考图 像存储在交互的视频光盘上 系统根据视点变化随机访问这些图像 视点可以 简单的上 下 左 右摇动 推进和拉远m o v i e m a p 系统的绘制过程就是用数 据库查询出的图像进行显示的过程 1 但是m o v i e m a p 系统不能利用已有的图 像产生出新的图像 而且该系统的数据量庞大 数据冗余也很大 纹理映射 t e x t u r em a p p i n g 也是一种早期的i b r 技术 它通过将纹理图 像映射到3 d 场景的表面上 添加物体表面的细节 提高真实感 纹理映射 技术在计算机图形学中得到了很好的应用 但是它也有不足之处 一是 纹理 图像分辨率可能与最终生成的图像不匹配 二是 纹理映射的速度依赖于映射 对象的表面形状 表面形状越复杂 映射速度越慢 对于复杂场景 很难保证 纹理映射速度能够满足视点实时变化的要求 因此目前的映射对象普遍采用非 常简单的几何体描述 如立方体 球体和圆柱体 哈尔滨理工大学工学硕士学位论文 最近几年i b r 技术才真正成为一种场景表示和绘制的新方法 由于它在场 景绘制的真实感和绘制速度上具有很大的优势 因此成为计算机图形学的研究 热点 自二十世纪九十年代以来 i b r 技术得到很大的发展 许多计算机界重 要的国际会议 如a c m 的s i g g r a p h 和v r s t i e e e 的c v p r 和v c i p 等 每年都发表了很多有关i b r 的文章 提出了许多新的理论和方法 2 1 2 基于图像绘制技术的全景图 全景图像 p a n o r a m a 通常是指大于双眼正常有效视角 大约水平9 0 度 垂直7 0 度 或双眼余光视角 大约水平1 8 0 度 垂直9 0 度 乃至3 6 0 度完整场景范围拍摄的照片 全景图是一种全新的图像信息组织模式 可以表 达完整的周围环境信息 相当于人们从一个固定点向四周转一圈所看到的景 象 全景图像对于观察者而言 是建立在图像上立体的多角度的图形环境 相 对于传统的几何建模而言 全景图模型不仅真实感强 而且它的细节复杂性丝 毫不影响其运行速度 所以全景图比基于几何的v r 建模方法其有更突出的优 点 在基于全景图像的虚拟现实系统中 全景图是使用在某 点拍摄的多幅实 景图像拼接而成的 具体的生成过程是 将反映各自投影平面的相互重叠图像 映射到简单的几何体表面上 如球面 立方体表面或者圆柱面 使得平面图像 具有深度感 然后对投影图像进行无缝拼接 就可得到没有图像畸变的全景图 像 根据所映射的几何体 全景图像可以分为3 6 0 度柱面全景图像 球面全景 图像和立方体全景图像 球面和立方体表面全景图像的构造方法是 将某一视点空间的同一焦距 同一时间拍摄的所有局部图像投影到各自所对应的球面或者立方体表面上 这 些投影图像相互之间存在重叠部分 然后对这些投影图像进行无缝拼接 就能 够得到全景图像 利用全景图像 根据视域的方向将全景图像中的相应部分进 行反投影 就能够获得该视域处的视图 3 6 0 度柱面全景图像与球面和立方体表面全景图像相比 构造要简单得 多 将照相机以相同的焦距 绕其镜头中点旋转一周并间隔一定角度进行拍 摄 然后把这些相互重叠的相片投影到圆柱面上 配准 最后经无缝拼接得到 全景图像 观察时 我们把柱面全景图像进行反投影 就可以得到观察平面的 图像o 9 哈尔滨理工大学工学硕士学位论文 绌裂口1 口2 口 重叠的图像l i l 经柱面投影后 的n 张图像 无缝拼接后的 全景图像 图2 13 6 0 度柱面全景图像的构造 f i g 2 1c o n s t r u c t i o no f3 6 0d e g r e ep a n o r a m a 本文对基于图像绘制的3 6 0 度柱面全景图像的构造 图像投影 图像配 准以及图像的平滑连接过程进行了深入的探索 并提出了自己的改进意见 形 成了具有更高效率的新的全景图像拼接算法 2 2 图像配准及拼接技术 采集图像时使用不同的设备和不同的方法 得到的图像也不同 若采用经 过严格标定的摄像机且严格限制摄像机的转角 得到图像序列中的相邻两幅图 像在亮度以及同一物体的像的差别 即特征变形可以忽略不计 但是这样的高 要求会导致图像的获取过程变得复杂而难于操作 而且设备过于昂贵 反之 若采用普通相机或摄像机采集图像 且不对其运动作严格的限制 在图像获取 过程中 由于相机视角以及运动的影响 会造成图像的明显特征变形 这时 为了校正这些变形 就必然导致图像拼接算法的复杂化 针对以上两种不同情 况得到图像 全景图像配准 拼接技术从两个互相联系又有所区别的方向上发 展起来了 2 2 1 图像配准技术 a p p l e 公司的q u i c k t i m e v r 系统是通过全景图的深度信息抽取 从而恢复 场景的三维信息 进而建立三维模型 q u i c k t i m e v r 系统在拼接全景图时 必须首先知道相邻两帧图像间摄像机的旋转角度 通过这个旋转角度来恢复相 机的焦距 继而利用焦距通过计算得到全景图 但是 要想得到这个角度 需 哈尔滨理工大学工学硕士学位论文 要昂贵的摄像器材和复杂的摄像机校准工作 在摄像机绕着垂直轴线旋转的前 提下 m c m i l l i a m s 和b i s h o p 提出了一种算法 依据摄像机绕轴旋转3 6 0 度所 拍摄的图像序列求解摄像机参数 进而进行全景图的拼接 1 但是 这种做法 对相邻两帧间摄像机的转动角度作了严格的限制 要求相邻两帧间有2 3 以上 的重叠 s t e i n 提出了在相邻两帧间进行纹理特征跟踪 进而求摄像机焦距和 帧问偏移距离的算法 1 该算法能取得较好的精度 但是纹理特征的检测和跟 踪带来了巨大的计算量 最近 s z e l i s k i 和s h u m 提出了在保持摄像机光心基本不动的前提下 利 用手持摄像机图像拼接全景图的算法 1 该算法先采用传统的有8 个未知参数 的矩阵来描述两幅图像之间的变换关系 并用最小化算法估计该矩阵 然后根 据矩阵参数之间的约束关系计算摄像机焦距 得到焦距之后 将图像之间的变 换关系重新描述为式 2 1 其中 r 为旋转矩阵 m v r v 一1 2 1 在式 2 1 的基础上 进一步求解摄像机坐标之间的旋转矩阵r 其中 肚匿 这样 在确定了一个标准坐标系之后 该算法便可以求出各摄像机坐标系相 对标准坐标系的旋转关系 进而可以将各图像投影到标准坐标系中的任意表 面 形成全景图 该算法不要求摄像机作纯水平旋转 可以拼接任意形状的全 景图 但是算法仍然要求保证摄像机光心基本不动 该算法简单地从两帧图像 的变换矩阵计算摄像机焦距 这样得到的焦距值是很不准确的 误差较大的焦 距值将对旋转矩阵的求解带来影响 使全景图首尾之间产生重叠或间隙 针对 这个问题 文献提出了修正焦距的方法 但是每次修正焦距之后 都需要重复 相邻图像的最小化对齐过程 这个计算量是很大的 为了解决全景图像拼接中计算量很大的问题 清华大学的研究人员在2 0 0 1 年提出了一种折衷的方案 用三角架保证摄像机基本绕垂直轴旋转 但是不对 摄像机的旋转角度作严格限制 1 在此基础之上首先估计相邻帧之间的图像变 换矩阵 然后根据变换矩阵提供的帧间的相对运动信息求摄像机焦距 接着 用一种快速的迭代算法对焦距值求精 最后将图片序列投影到圆柱面 并拼接 成全景图 同年 华中科技大学的研究人员针对虚拟环境中的变形图像提出了 另外一种图像拼接算法 该算法首先依据变形图像推导出相邻两幅变形图像像 2 2 1 t j 0 o 1 0 o 哈尔滨理工大学工学硕士学位论文 对的数学关系 考虑到图像问存在的几何和辐射变形 用相关法识别特征点 经过几何变形校正 精确定位重叠区域后进行平滑拼接 构成大图像 针对 全景图无法表示动态场景的问题 1 9 9 8 年 jd a v i s 提出了一种静态场景中添 加运动物体的全景图拼接方案 2 0 0 2 年 中国科学院计算机研究所的杜威 李华两人提出了一种应用于动态场景的仝景图表示方法 将视频纹理和全景 图结合起来 构造动态全景图 系统首先将一系列定点拍摄的图像拼接成全景 图 然后用摄像机拍摄场景中周期或随机运动的物体 提取视频纹理 最后视 频纹理与全景图对准并融合 生成动态全景图 动态全景图既保持静态全景图 全视角漫游的优点 又使得场景具有动态的特征 极大地增强漫游的真实感 针对特征变形比较小的图像 国内外研究人员也提出了很多拼接算法 图 像拼接的质量 主要依赖图像的配准程度 因此图像的配准是拼接算法的核心 和关键 对于这类图像匹配算法一般可以分为三个类型 1 基于灰度相关的匹配算法 2 基于特征相关的匹配算法 f 3 基于解释相似的匹配算法 基于解释的图像匹配需要建立在图片自动判读专家系统之上 研究至今尚 未取得突破性进展 基于特征相关的匹配算法则着眼于图像的各种特征 近年 来进行了大量的研究 如采用小波 分形等数学工具进行边界 纹理 熵 能 量等特征的提取 2 0 0 2 年 西安电子科技大学的刘金根等利用特征区 域块分割技术来实现图像的拼接 用灰阶s o b e l 算子通过引入衰减因子对图 像进行边缘检测得到不失真的灰阶边缘图 然后将灰阶边缘图进行三次样条插 值处理 使特征区域块边缘的定位达到亚像素级 提高了图像边缘检测的精 度 有利于图像的高精度拼接 山东大学的研究人员采用二值化自适应闽值分 割两幅图像以粗略确定重合位置 选取特征点精确定位两幅图像得重合位置 进而进行全景图像拼接 0 1 同年 王玉珍提出了在2 维直方图上用双门限对原 始图像进行分割 经过标记 筛选等处理后 快速提取出边缘重叠图像匹配过程 中所需的匹配模板 以实现重叠图像的正确 平滑的无缝拼接的算法 2 0 0 3 年 厦门大学的研究人员提出了多优先区域搜索算法 结合梯度滤波改进了匹 配模板提取法和分块相似匹配法 并对图像配准的各环节进行加速 实现了特 征模板的自动 快速提取和快速匹配 丽基于灰度相关的图像匹配是一种对 共轭图像逐元以一定大小的窗口的灰度阵列按某种或几种相似性度量顺次进行 搜索匹配的方法 这方面的成果比较多 较早出现的是模板匹配算法 有2 个 关键步骤 一是待匹配模板的提取 二是寻找相似模板及相关测度的选择 对 哈尔滨理工大学工学硕士学位论文 步骤一有特殊参照物法 固定区域法等 这些方法提取区域固定 不灵活 提 取的模板可能会因特征不明显而导致伪拼接 对步骤二有最小误差和方法与相 关性测度方法等 取s 中对应块中各像素与模板t 对应像素差的绝对值之和作 为测度 公式如下 其中弘 为n x n 向量 是原图像s 中的一个n x n 子块 u 必 1 rj d q j yy i s m n 一丁 n l 2 3 翩御 如果按照上式对每一块都进行计算那么计算量会很大 b a m e a 等人提出了 一种s s d a 算法 其基本思想是选取 闽值 依式 2 3 来计算d i f 在计 算的过程中如果误差和大于所选阈值 则抛弃该点 不必将d f 完全计算出 来 这样显然大大减少了计算量 同时 他们还对该算法提出了改进 用可 变阈值代替固定阖值来进行匹配 考虑到在一幅图像中有许多冗余信息 大量 的有用信息一般都包含于一些特征点里面 如灰度局部极大值点 边缘点 角 点等 人们开始寻找基于特征点的图像配准方法 1 9 8 0 年 b a r n a r d 等采用了寻 找图像的角点为特征点来进行图像配准的方法 并用该方法对汽车的运动做 出分析和估计 随着配准技术的发展 人们发现固定模板的应用范围有很多限 制 在获取图像的过程中 由于视角或运动的影响会造成图像的一些特征变形 在这种情况下 变形模板技术也就应运而生了 a n i l kj a i n 于1 9 9 6 年以边缘点 为特征 将已知模板进行不断地变形 并建立变形的概率模型 以此来对某幅 图像进行分析 钟力 胡晓峰1 9 9 8 年提出了 种比值匹配算法 在第一幅 图像的重叠区域中 部分相邻的2 列上取出部分像素 用它们的比值作为模 板 在另一幅图像中搜索最佳匹配 该算法计算量较前一种算法有所减少 但仍较大 并且在计算比值时需大量的除法 精度也有所降低 2 0 0 0 年 纪玉 波等人又提出了一种网格匹配算法 在基于块的匹配基础上 为了减小运算 量 在搜索过程中 首先进行粗略匹配 每次水平或垂直移动一个步长 计算 对应像素点r g b 值的差的平方和 记录最小值的网格位置 其次 以此位置 为中心进行精确匹配 每次步长减半 搜索当前最小值 循环这个过程 直到 步长为0 最后确定出最佳匹配位置 该算法虽然在运算速度上较前2 种方 法有所改善 但是在粗略匹配过程中 移动的步长较大 很有可能将第一幅图 像上所取的网格划分开 这样将造成匹配中无法取出与第一幅图像网格完全匹 配的最佳网格 很难达到精确匹配 哈尔滨理工大学工学硕士学位论文 2 2 2 图像拼接技术 由于相邻帧之间亮度差的存在 如果将图像简单叠加 拼接处会产生明显的 接缝 通常人们采用的都是 渐入渐出 的拼接方式 为了消除拼接缝隙 在两幅图的重叠区域 我们将两帧图的像素值按 定的权值合成到新图 在某 一条扫描线上 图片i 和i f 在区间 x x 上重叠 那么新图i 在这个区间上z 点处的取值如下 x h o o w 0 2 4 w 力与w x 是0 1 的加权函数 且有 w x w 0 1 上述计算是按扫描线 逐条进行的 因此该算法适用于任意形状的两幅图像的融合 另外 小波分解 与重构也可以消除简单拼接产生的接缝问题 1 把要拼接的两幅图像先按 分解的方法分解为不同频率下的小波分量 把两个图像按不同尺度下的小波分 量先拼接下来 然厣重构整个图像 这样得到的图像可以很好的兼顾清晰度与 光滑度的要求 为了使得相邻两幅图像在灰度及颜色上都平滑拼接 采用渐入渐出的加权 办法 对两幅图像重叠区域的每一个像素值依照他们距离重叠区域边缘的远近 分别进行加权 计算每个拼接图像重叠区域每个位置的像素值加权和 如图2 2 n 为原图像 坨为目标图像缉过投影变换之后得到的图像 p 0 y 为重叠 区域的任意一点 根据羽化算法 则在0 y 处像素值的加权和为式 2 5 而 非重叠区域的图像像素取他们各自原图像的像素值m 1 1 7 1 2 泸 p 0 y 图2 2 利用羽化算法拼接两幅圈缘 f i g 2 2u s i n gf e a t h e r i n ga l g o r i t h mt om o s a i ci m a g e s 1 x y 垡 竺 坚 y d x y x y d 1 0 y d 2 0 y 2 5 哈尔滨理工大学工学硕士学位论文 2 3 本章小结 本章中 详细地介绍了基于图像的绘制技术 全景图以及图像配准和拼接 技术的发展历史以及现状 并对现存图像配准和拼接算法的优劣给出了自己的 分析 哈尔滨理工大学工学硕士学位论文 第3 章基于特征的全景图拼接 在深入研究了现存的全景图像拼接算法的基础之上 本章中 作者针对现 有算法的几个不足之处提出了自己的改进意见 形成了新的算法 3 1 图像的获取与几何校正 为了获得全视角的环境信息 需要相机采集3 6 0 度景物的图像 同时 若 使图像之间能够无歧异连接 相邻两幅图像之间必须具有一定的重叠部分 相 机的投影模型示意图如图3 1 所示 1 由透镜投影知识可知 同 实体在不同 角度拍摄的两幅图像上的影像有空间关系的区别 若对两幅图像重叠区域进行 简单叠加 必定造成叠加结果模糊不清 因此 在进行图像拼接前 必须对这 种几何歧变进行修正 本节中将详细描述拼接柱面全景图所需图像序列的采集 以及图像的几何校正过程 图3 1 针孔相机的投影模型 f i g 3 1t h ef o r m e ro fp i n h o l ec a m e r a 3 1 1 图像的获取 柱面全景图是最为常见的全景图像 柱面全景空间的视点空间对应单一视 点处的柱面范围 要获取该范围内的环境图 只需固定照相机或摄像机的位 置 平转照相机或摄像机进行拍摄 拍摄实景图像使用的器材包括三脚架和数 码相机等 基本配置方法如图3 2 所示 拍摄柱面全景图时 将数码相机固定在摄影三脚架上 尽量避免平转数码 相机时镜头的偏斜和俯仰 并以镜头为轴 平转一周连续拍摄 在拍摄时 要 哈尔滨理工大学工学硕士学位论文 求被拍摄的景图必须静止 且依据实验数据