（计算机软件与理论专业论文）一种基于新投影模型的全景图实现技术研究.pdf

沈阳工业大学硕士学位论文 摘要 全景图是近年来兴起的基于图像的绘制技术中的核心技术之一，虚拟现实的重要研 究内容。生成全景图涉及到计算机图形学、图像处理及计算几何等诸多学科。全景图可 以表达完整的环境信息，是观察者从一个固定视点旋转一周所看到的场景信息的集合。 这些离散的图像信息经过图像拼接处理以后生成易于在计算机中表示的二维连续图像 格式，然后再经过一次重采样，就可以在显示设备中以实景的方式显示出来。使用手持 数码相机拍摄图片进行全景浏览的一般过程为：选定投影模型一获得序列图像一投影 变换一拼接生成全景图一全景浏览 使用普通相机采集图像序列构造全景图时，使用柱面投影模型生成的全景图在视点 空间的垂直视域上有一定限制，其投影图像多用于水平环景的全景图拼接。本文对具有 俯仰角的图像设计了一种类锥面投影模型与柱面投影模型结合的投影方式，扩大了全景 图像浏览时的垂直视域。该方法与通过鱼眼相机获取图像构造全景图相比具有设备简 单、投资低廉的优点；与普通相机获取图像通过球面模型投影构造全景图相比，具有投 影与反投影计算简单的优点。 除了构建全新的投影模型，本文还对由此新模型生成全景图时带来的图像配准和拼 接问题做了重点讨论。提出基于图像编码的图像配准方法，增加了图像配准准确度；设 计了利用图像变形技术消除图像拼接中形成的空白区域的图像拼接方法，以及适合于投 影和反投影运算的数据存储结构。另外，本文还结合计算机视觉中摄像机标定知识和 j a v a 3 d 中的象素拾取技术给出了相机焦距估计方法。最后在计算复杂度上与球面模型做 了比较，给出了满意的视觉效果。 关键词：全景图，柱面模型，球面模型，全景拼接 一种基于新投影模型的全景图实现技术研究 r e s e a r c ho nan e w p r o j e c t i o nm o d e lo f p 锄o r a m am o s a i c s a b s h i c t p 甜瑚mr s a i c si st i 圮c o 化t c c h n o l o g yo fi m a g e b 鹤。d 托i l d 锄g ，a l s oai n l p o f t 姐t w a yo fs t l | l y i n gv i r t l | a l a i i 够p 蛆。舳am o s a i c sc o n c 啪e d 谢t l lm 舭y 娜坷e c t ss u c h 鹞 。呦p u o 盱咖h i c s ，i m a g cp l 佻e 豁i n g 姐do a l c l l l 幽gg e 咖酏咿p 出l m a mm a ya 【p 坞s s c o n l p l e t es 啪m d i l l 铲o fa e n e 觚吼明ef e dv i e w - p o n b yi m a g ep 童o c c 豁i i l g ，t h e d i 形t ei m a g e sa mc o m 柚l c t e dt ob e2 dc 讲曲咖。璐i m a g ef o m 矾w h i c h 咖b ev i e w e di n d i 础a yd e 、，i c e 加陀- 跚n p l i n g t 0c 0 甜叽娥ap 锄。埘n a o 鹏m a y9 0b yt h e 鼯s t c p s ：d c c i d e ap m j 础m o d c l 姗q l l i 聆i 眦g e s 爿匝a g ep m j 硎_ h n a g e 托g i s 缸曰l i o n 州e 、) i r i n g c y l i n 蹦c a l 州e c t i o n 脚d e lt 娜ai h n i t a t i o fv e m c a lf o v 0 p i e l do fv i 州响锄 啪s 协l c t i i l gap 毗岫舳i ci m g ew i mc 咖m o nd i g “a lc 枷啪，雏dt h cc y l i 蒯c a lp m j 硎 i 眦g ew 邪d 协u df o rs t i t c l l i n gh o r i z o m a lp a r a l i l i ci m a g e an e wm o d c lw h i c hb a s c d c 啪b m a l i o no fs i l i l i l 盯c o n em o d e l 觚dc y l 协d r i c a lm o d e lw 勰d e s i 驴c df o rt h ei m a g e 砌 h l i i l g 柚g l e ，t h r o u 曲w l l i c ht l 圮v e r t i c a lf o vo fp 锄。舢ai sb i d a d 胁i nt h ep r 0 骆o f c 伽s n 删n gap a 拙m i ci 蛐a g e ，t h e 鲫加dh 丛a d v a 曲l g eo fl l s i n gs i m p l 盯d e v i c ea n d i n v e s t i n gl 船sw i l i l ec o m p a r i n g 、i t l lf i s h e y ei m g e ，刚e c t i a n db kp r o j e c t i c a l c l l l a l i s i m p l 廿w h i l ec o m p ；西l l gw i t hs p h e r i c a lp 蛐j e c t i o nm o d e l h la d d m o nt oc o i i 咖c d l l gan e wp m j e c t i o nm o d e l ，t h cs m d ya l p a ym u c ha n b r n i t o s o l v ep r o b l e m so fi i n a g e 删删1 i l l ga n ds 吐t c i l i n g aa i g o r i t i l n lo fi m a g em a t c l l i n gw h i c h b a s e d - i i n a g ec o d i n gi sp 阳m e d w h i c hm a d et h em a t c h i i l g s i l l tm o 托a c c u m c y b e s i d e s ， as t i t c l l i l l gm e t l i o di sd e s i 驴e dt o 崩n o v eb l a l l l 【a 糟ai n 曲呛s 眦h c di m a g c ，锄dad a t a 鳓呻c t i i ，w 撕c hi s 瓠血曲l ef o ri n l a g ep 删6 0 na n dr e - p r 0 1 j e c t i o n ，i sc o 搬【仃t l c ：t c d g i v i n ga m e t h o do fc a l c m a ：t i n gt b ef b c a ll g i ho f 姗啪k 圆甜o n 咖b i i i a t i o fc 讲n p l l t 既v i s i o n 觚d j 棚d ，a 王的，d e s i 鲥n gam e t l l o df o rb l 朗d i n gt l l e 鲥t c h e di m a g e s i i lt h e 锄d ，w e 删d e a 鼢t i s f i e d 托姒l to f 、，i e 诵n gt h ep 锄。均舭 k e yw o r d 毗p a 肿n m 曩，c y h n d c a lm o d e l ，s p h e r i c 4 lm o d d ，i m a g em 0 3 a i 璐 独创性说明 本人郑重声明：所呈交的论文是我个人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得 沈阳工业大学或其他教育机构的学位或证书所使用过的材料。与我一同 工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表 示了谢意。 编封础吼趔 关于论文使用授权的说明 本人完全了解沈阳工业大学有关保留、使用学位论文的规定，即： 学校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公 布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论 文。 ( 保密的论文在解密后应遵循此规定) 硌泓导师躲兰啤吼迦z 型：型 沈阳工业大学硕士学位论文 1 绪论 1 1 虚拟现实和基于图像的绘制 1 1 1 虚拟现实 虚拟现实v r ( v 砷- l a lr e ! a l i t y ) ，又译为临境、灵境等。通常是指用头盔显 示器和传感手套等一系列新型交互设备构造出的一种计算机软硬件环境，人们通 过这些设施以自然技能向计算机送入各种命令，并得到计算机对用户的视觉，听 觉以及触觉等多种感观的反馈。这些反馈会随着人们动作的变化而改变。学术上， 用( v i n i l a le n v 的咖e m ) 来定义这一技术更确切些i ，它的最大作用就是 将现实生活中存在的场景在虚拟环境中真实再现，并且通过交互让用户有身临其 境的感觉。基于图像的绘制是虚拟现实技术一个重要的研究方向。 + 1 1 2 基于图像的绘制 基于图像的绘制i b r ( 五m g c - b 鹤e d 黜n d e r i n g ) 是以环境中抽取出的离散图 像组成基础数据，通过处理与组织这些图像数据得到环境的连续描述的过程。这 方面具有开创和示范作用的研究应推a p p l e 公司的q l l i c k t i m e t 系统【2 】。它是 一个基于柱面全景图像的虚拟现实系统，生成虚拟环境不需要知道图像的三维几 何信息，支持用户在虚拟环境中左看、右看、上看、下看、3 6 0 度环视、沿固定 线路前进与后退等漫游操作，且用户看到的场景完全具有照片质量。在i b r 出 现之前，人们通常采用基于集合造型的绘制g b r ( g c 彻l 哪- b a s e dr e n d e r i l l g ) 技术在计算机中生成虚拟环境，但是o b r 涉及到一系列复杂的三维建模、消隐 和光强度计算过程，导致很难在普通运算能力的p c 上实现复杂场景的实时绘制。 m r 的优势在于和场景复杂度以及图像纹理属性无关的计算开销，建模和绘制速 度快，真实感强1 3 】。图1 1 示意了纯基于图像的绘制、基于部分几何信息和部分 图像信息的绘制以及传统上纯粹基于几何信息的各种绘制方法分类川。很明显， 基于图像的绘制方法是从完全利用几何信息绘制虚拟物体的基础上逐渐演化过 来了，本文所研究的则是纯粹基于图像的绘制 一种基于新投影模型的全景图实现技术研究 基于图像的绘制i l 基于部分几何信息的绘 光场模型 图像变形 光图函数 同心圆拼图 基于几何信息的绘 x ，磊删模 层次深l 度图像j 视图无关几何模 全景图拼接r 插7 视图变换视图无关纹理映射全景图拼接 视图变换 视图无关纹理映射 图1 1 各种绘制方法分类 f i 昏1 1r d c 血蟾m e d l o d s 全光模型( p l 锄硼cm o d e l i n g ) 通过全光函数来表示嘲，全光函数是一个从 空间中任意点在任何时候所看到的任意波长的光线的集合，它描述的是一个观察 者在一个特定空闯中所接收到的所有辐射能量。全光函授可以表示为： 声= p l 即叩吐c ( 研9 五，v i ，u ，v z ，t )( 1 1 ) 其中( b 伊) 表示方位角和仰角，五表示眼睛接收到的光线能量的波长，t 表示动态场景中的t 时刻。但实际上由于硬件和技术上的限制，很难取得全光函 数在时间和波长上的连续性，因此很难表示出连续的实景。后来g 0 f n 钉在 m c m i l l 趾和b i s h o p 的全光建模系统【6 l 基础上给出了四维光图函数模型l ( s ，t ， u ，v ) ，其中( s ，t ) 和( u ，v ) 分别为两平行投影平面上的点，只要确定摄像 机的位置和拍摄方向，l 的个参数域就可以确定图像上的一个象素点川。但是 光图函数的重建运算也很复杂。效果往往还是不尽如人意，仍然无法应用到实际 中。1 9 9 9 年同心圆拼图的方法被提了出来嗍。同心圆拼图可以表示为c ( f ，a ， h ) ，r 是相机运动圆的轨道半径，a 是旋转角，h 是垂直高度。同心圆拼图和全 光模型以及光图函数的最大区别在于它限制照相机在一个水平面内运动，无法改 变垂直方向的观察角度。对此，文献【9 】做了扩展，将同心圆拼图改为同心球拼图， 一2 一 沈阳工业大学硕士学位论文 从而扩展了垂直方向的观察角度再有就是图像拼接技术。图像拼接( i n l a g e m o s a i c s ) 是指将同一场景中的多幅带有部分重叠区域的图像进行无缝拼接，从 而将全部场景在一幅图像中表现出来的处理过程。开始人们普遍把注意力集中在 了硬件上，通过鱼眼透镜和曲面镜等一些定制光学设备来直接获得全景图像d 川。 但是光学系统的昂贵价格和所得图像边缘的严重变形让人很难接受，于是人们开 始研究使用普通手持相机所得图像通过拼接形成大图像的技术。图像拼接技术典 型的被用于全景图的生成、改善图像分辨率【i n 、图像压缩以及视频扩展等领域 下面是以上各种方法的一个简单对照： 表l - l 几种绘制函数对照表 垡：! ：! 篁竺型竖! ! 墅型竖旦型竺 ：萋 视点蜘姚函数燃苏 7f r e e 5f r e e 4i n s i d ea3 db b x 3 i n s i d ea2 db o x p 7 = v y v z e ，机k o p 5 = p ( v 墨v y v z 0 。) p 4 置p ( 1 i ，v r ，s ) p 3 = p ( v y ，v z ) p i 蛐。埘c 丘i n c l i p k 咖傅i cm o d e f 堰 l i 蛐i d ，l 哪i g 随p h c b l k 圮硎ci n o s m c s 1 2 全景图及其拼接技术的背景和现状 2 1 全景圈概述 全景图是指一张包含大于双眼正常有效视角( 大约水平9 0 度，垂直7 0 度) 或双眼余光视角( 大约水平l 舳度，垂直9 0 度) 乃至3 6 0 度完整场景范围的图 像。全进图生成技术是基于图像绘制的核心技术之一使用手持数码相机拍摄序 列图片进行全景浏览的一般过程为：选定投影模型一获得序列图像一投影变换 一拼接生成全景图一全景浏览。其中相机镜头类型可以为鱼眼镜头或普通镜头 鱼眼镜头水平视域达到1 8 0 度，因此两张鱼眼图像就可以拼接得到一张完整的全 景卧1 2 1 ，但它的造价较高，而且鱼眼图像四周扭曲严重。而普通镜头( 以焦距 一种基于新投影模型的全景图实现技术研究 3 5 m m 为例) 视域范围在4 0 6 0 度之间，合成一张柱面全景图需要7 1 0 张普通镜 头平面图像。由于每两张图像之间都存在一个夹角，直接拼接会产生景物扭曲， 所以人们常采取先将平面图像投影到一个封闭立体( 投影模型) 表面然后再拼接 的方法来取得平滑过渡的拼合结果，这样才能使在经过全景浏览器反运算以后生 成的场景更加平滑自然。全景浏览是指将视口大小的全景图部分通过实时的反投 影运算重新构建出平面图像并在相应的视口中绘制出来，浏览时视角在虚拟场景 中可以任意变化。 1 2 2 全景图像拼接技术现状 由二维序列图像生成真实三维场景的基本步骤如图所示 圈1 2 生成全进图的步骤 f 嘻1 2 s 娜s o f c 伽m u c t i 雌a p a n 咄n i c l m a 舻 它的基本思想就是首先以固定视点为中心旋转相机拍摄序列图像，每一幅都 投影到同一个空间立体表明上，利用两幅图像的重合信息进行图像配准，然后将 相邻两幅含成一幅，并且使用合适的校正算法对拼接区域进行平滑和光顺处理。 依次拼接，直到生成一幅包含四周3 6 0 度景物的图像，此时用户就可以在全景浏 览器中进行空间漫游了。 ( 1 ) 图像采集 要扩大视域，首先需要采集到该视域内的相关景物。用于拼接全景图的图像 采集方法一般为：拍摄时将相机位置固定，以镜头为轴旋转一周，旋转时尽量避 免镜头的偏斜和俯仰，所拍场景中最好不含有运动元素，相邻两张图像要保证部 分重叠区域，周围的光照环境尽量保持一致 ( 2 ) 投影变换 沈阳工业大学硕士学位论文 目前存在三种常用的投影模型：柱面、球面【酬5 1 和立方体面模型【峋其中 利用球面模型生成全景图的视觉效果最理想，但是球面模型的正投影和漫游时的 反投影运算量都比较大柱面模型计算最简单，生成的全景图效果比立方体真实， 也易于组织数据实现空间漫游。但柱面模型在垂直方向上的视点空问存在限制， 就是说它很难处理位于观察者正上方和正下方的图像。因此当观看柱面全景图 时，俯视或仰视的角度不能太大”瑚 ( 3 ) 图像配准和拼接 图像配准方法大致分为三类：基于象素的、基于特征的和基于模型的配准方 法【1 喇。基于象素的方法根据配准图像的相关函授，f o i h i 盯交换等关系式来计 算匹配参数，最常见的也是最简单的就是模板匹配。基于特征的方法根据待配准 图像之间的重要相同特征之间的几何关系确定配准参数，特征通常为边缘，角薏“ 线，曲率等基于模型的配准方法根据图像失真的数学模型来对图像进行非线性 校准的匹配，多用于医学图像匹配。找到准确的匹配位置以后就可以将多幅图像 拼接为一幅，再通过适当的校正算法加以平滑和光顺处理从而得到真实效果的全 景图 1 3 本课题的主要研究内容和创新点 1 3 1 主要研究内容 使用普通相机构造全景图时，使用柱面投影模型生成的全景图在视点空间的 垂直视域上有一定限制，其投影图像多用于水平环景的全景图拼接。本文对具有 俯仰角的图像设计了一种类锥面投影模型与柱面投影模型结合的投影方式，扩大 了全景图像浏览时的垂直视域。并解决了新模型带来的配准和拼接问题。最后建 立了该模型相对应的全景浏览器。该方法与通过鱼眼相机获取图像构造全景图相 比具有设备简单、投资低廉的优点；与普通相机获取图像通过球面模型投影构造 全景图相比，具有投影与反投影计算简单的优点。 1 3 2 课题创新点 本文有三个创新点：建立了一种新的图像投影模型，解决了柱面投影模型 构造全景图的垂直视域限制问题。设计了利用图像变形技术消除图像拼接中形 成的空白区域的图像拼接方法。对基于单线对的图像配准方法做了改进，提出 一种基于新投影模型的全景图实现技术研究 基于图像编码的图像配准方法。另外，本文还结合计算机视觉中摄像机标定知识 和j 吖a 3 d 中的象素拾取技术给出了相机焦距估计方法。 1 3 3 论文章节安排 全文共分6 章，具体的章节安排如下： 第一章绪论，介绍了虚拟现实概念以及i b r 的发展背景，全景图概念及其 拼接技术发展现状，阐明了课题主要的研究内容及其创新点。 第二章投影模型，对三种常用模型及其优缺点进行介绍，重点说明了本文模 型的构造理论和方法。 第三章用于图像拼接的图像配准技术，主要介绍几种常用的图像配准算法以 及本文所采用算法。详细说明了本文设计的相机标定方法及其验证方法 第四章图像拼接，阐述了图像拼接的一般算法，重点介绍了本文的图像拼接 方法及其平滑处理方法。 第五章全景漫游，介绍了全景图的漫游原理，展示了本文的全景漫游效果。 第六章结论，对全文进行总结 沈阳工业大学硕士学位论文 2 投影模型 两张平面图像直接拼接会由于存在一个角度导致图像中景物扭曲变形，为了 使其连续且可导，通常先将平面图像投影到一个光滑的封闭立体表面上从而得到 实景图像上象素点在视点空问中的方位信息，为了便于存储，最后以二维坐标的 形式表示目前常用的三种投影模型为柱面投影模型、球面投影模型和立方体面 投影模型。 2 1 柱面投影模型 柱面投影2 1 删是为了将多张实景图像投影到一个圆柱面上，并且以柱面全景 图像的形式存储。这样做的目的一是消除实景图像间可能存在的重复信息，二是 得到每张图像上象素点在视点空问f o v ( f i e l do f v i e w ) 中的方位信息嘲。 现有一柱体c 和一组图像i i ( n 崮 on 是环绕一周所采集到的图像数) t ， 首先统一柱体和图像坐标系，即按右手系将观察坐标系平移和旋转到世界坐标 系，然后就可以计算平面图像和柱面图像之问的坐标变换关系，从而得到柱面图 像。 对于柱面投影，可以通过解平面图像和柱体的参数方程组来找到投影对应 点，如下公式所示 州叫半) 小叫号) 少= 矗 - 一 2 ( 2 1 ) 其中w 。h 分别为平面图像的宽和高，f 为照相机焦距，( x ，y ) 为柱面上 的点。另外文献中还有提到其他相似形式的计算公式。直接用参数表示如下： 拈鼯周 ， 】， 、 1 ，= - ；= = ：= = = = = 0 x 2 + z 2 下图是柱面投影模型的示意图。 ，一 一种基于新投影模型的全景图实现技术研究 、 ，一、 卜 6 一1 l i - 。、，一1 1 峻：、刈 7 图2 1 柱面投影示意图 f i g 2 1c y l i i l d c a lp 叫c c t h l p 经过投影变换得到柱面图像，并且以二维坐标的形式在计算机中存储以后， 就可以对其进行配准和拼接了，从而得到柱面全景图。 幽2 。2 全景倒不例 f 皓2 2 a n 咖岫m i c i 唧l 辨 柱面全景图是相机固定在一位置绕赤道方向环拍一周取得的图像序列的拼 合结果，在水平方向上可以构建出3 6 0 度视域并且失真量较小，但在垂直方向上 却很难取得1 8 0 度视域，这是柱面投影模型不尽如入意的地方 2 2 球面投影模型 球丽全景图的生成是指确定球面上每一处的光学信息，亮度色彩等，以一幅 图像的形式再现的过程。目前比较成熟的是采用鱼眼镜头采集场景图像的方法。 鱼眼镜头的水平视角一般都等于或者大于l 踟度，所以拍摄两幅图像就可以 覆盖整个场景，然后根据已知的镜头投影模型对图像进行变换就可以得到整个场 景信息。鱼眼镜头投影模型符合等距模型，可以表示为： x = c + e 。0 3 甲( 2 3 ) i y2 c 0 s i n 币 沈鼠工业大学硕士学位论文 其中口为鱼眼镜头光心光线r 与相机坐标系z 轴的夹角，矿为光线r 在相机 坐标系x y 平面内的投影与相机坐标系x 轴的夹角，c 是常数，( x 。y ) 是f 在鱼 眼图像上的投影坐标。这种方法需要价格较高的专业光学设备，而且由于单幅图 像覆盖视角范围很大，而一幅图像包含的象素数目有限，导致整个场景分辨率不 高，无法展示场景细节。显然使用图像拼接技术可以很好的解决这些问题口q 。 球面投影模型的图像采集和柱面模型有一点不同，就是它需要在赤道，仰角 a 和俯角a 分别采集一周从而得到图像序列。球面投影示意如下： z 图2 3 球面投影模型 f 弛2 3s p i 崩证觚p m j 咖m o d e l i 医跚圭耋f 嗣亿t ， 一母一 一种基于新投影模型的全景图实现技术研究 u = t u + u v i 0 + v ( 2 5 ) w = t + w + w u 口+ v 2 + w = f 2 将解出的结果( u ，v ，w ) 以柱面投影相同的方式转换为二维坐标的表示形 式从而实现球面模型的投影计算。 图2 4 球面投影示意l 璺l f 嘻2 4e 强m p l eo f s p h e f i c 出p 删 球面投影模型可以构建出漫游效果很好的全景图，但是它的复杂计算很难满 足一些计算能力一般设备的实时计算要求。并且球面投影图像的边缘扭曲也很严 重，这更加重了校正算法的负担。 2 3 立方体面投影模型 立方体全景图由6 幅广角为9 0 度的画面组成，规则的六面体有利于全景图 像的数据存储组织，与屏幕象素对应的重采样区域边界为多边形，便于计算和显 示阴。但是立方体模型每两个面之间都存在一个直角夹角。一张图像若投影在 两个面上导致投影图像连续但不可导，过渡不平滑，影响真实视觉效果。投影示 意图如图2 5 所示，平面图像i 经过投影以后分别相交于立方体的两个相邻面， 两幅投影后图像之间存在一个直角夹角。 沈阳工业大学硕士学位论文 图2 5 立方体面投影示意图 h 每2 5c u b j cp 蝎e c t ； 设立方体中心为观察坐标系原点，立方体边长为a ，中心坐标( a 陀，a 陀 擎雄躐 那么6 个面的方程可以表示为， 。 f x = a ，2 ( _ a ，2 sy ，z s a 2 ) y = a 2 ( - a 2 s x ，z s a 2 ) ( 2 6 ) l z = a 2 ( 一8 2 s x ，y s a 2 ) 过视点( a ，2 ，a ，2 ) 和图像上一点( x y ) 的直线方程表示为 。 y - 篇x + y 一篇+ x 像7 ) 联立可以解出投影后坐标关系，从而重新绘制投影图像。 2 4 本文投影模型 2 4 1 新模型的构建背景 以上介绍的投影模型各有优缺点，其中利用球面模型生成全景图的视觉效果 最理想，但是球面模型的正投影和漫游时的反投影运算量都比较大。柱面模型计 算最简单，生成的全景图效果比立方体真实，也易于组织数据实现空间漫游。但 柱面模型在垂直方向上的视点空问存在限制，就是说它很难处理位于观察者正上 方和正下方的图像。因此当观看柱面全景图时，俯视或仰视的角度不能太大。对 此，本文设计了一个柱面模型基础上的投影模型以扩大其垂直视点空间 一1 卜 一种基于新投影模型的全景图实现技术研究 2 4 2 新模型的描述和表示 新模型把规则柱体和类锥体相结合，兼取了柱面投影计算简单和球面投影模 型视觉效果优良的特点。新投影模型的原始图像采集方法和球面模型f 2 6 1 的图像 采集有点相似，需要相机在同一垂直面内在仰角6 0 度，o 度和一6 0 度分别采集 一张，然后沿赤道水平面旋转一个角度拍摄，保证任意两张图像间足够的重合信 息，重复以上操作直至取得3 6 0 度全景。具体采集数量依赖于相机焦距大小。 对于赤道上图像，依然使用规则的柱面投影模型( 见2 1 节) ，而对于柱体 上底和下底分别采用正立和倒立的类锥体投影模型，下底和上底关于赤道对称。 对于上底投影，视点放在柱体上地面圆心，下底同理。p 是平面图像上一点p 在锥面上的对应点。 图2 ，6 本文投影模型示意图 f 喀2 6 n 咄= c t k m m o d e lo f o w p 印盯 2 4 3 新模型的投影运算以及加速算法 两张平面图像直接拼接会由于存在一个角度导致图像景物扭曲，为了使其连 续且可导，通常先将平面图像投影到柱面上从而得到实景图像上象素点在视点空 间中的方位信息，为了便于存储，最后以二维坐标的形式表示。现有一个柱体c 和一组序列图像i i ( n 一i o ，n 是环绕旋转一周所采集到的图像数) ，首先统一 柱面和图像坐标并根据平面图像和柱面图像之间的坐标变换关系计算得到柱面 图像象素坐标。设p ( ) ( ，y z ) 是采集到的平面图像上的点，q ( x ，y ，z ) 是投影到柱 面上的点，则 沈阳工业大学硕士学位论文 g 。，y ，z t ) = 7 。i ( x 。r ，z ) ( 2 8 ) v 五+ z 此式锝出的三维坐标，还需要将其转化为易于在计算机中存储的二维坐标， 令搠d c t a n ( x 田，则柱面坐标的平面坐标0 ( i l v ) 表示为 u = f 奉s i n ( a ) + d x ，v = = y 宰c o s ( a ) + d y( 2 9 ) 其中d x ，d y 分别为水平和垂直方向的偏移量，r 为柱体底面半径，在运算时 等于照相机焦距。这组公式的反运算就是反投影公式，反投影得出的结果用于全 景测览时实时计算坐标值并将相应象素在视口显示出来。如图2 7 a 是一幅平面 图像，经过柱面正投影变换后变为图2 7 b ，视点在图像中心位置，对于坐标( x ，y 1 ) 和( x ，y 2 ) ，由式( 2 9 ) 知道瓶横坐标u l = 1 1 2 ，所以说图像中垂直方向上的景物不 发生形变。 a )b ) 图2 7 柱面投影示侧 f 嘻2 7e x 锄p ko f c y l i l l d f i c “p 蚵h 彻 对于不在赤道上的图像，需要调整视点和视角。首先在乎面图像上虚拟一张 以象素距离为单位的网格。由于以赤道为参考平面，俯角和仰角关于x 轴对称， 这里只讨论仰角。假设图像宽度w ，高度h ，焦距ex ，y 为新坐标，x y 是原坐 标。视线的水平和竖直偏转角分别为口，。则可通过下式计算新坐标： 一i 扣 一种基于新投影模型的全景图实现技术研究 膏l ，2 扣掰霸g 厂 p = 嗍专 j = + s i n 盯c o s 声+ 詈 v ：型c o s 口+ 鱼 炉手锄螂+ j 对新坐标赋值生成相应的投影图像如图2 8 所示。 b ) 图2 8 赤道以上图像投影示倒 f i g 2 se 期m p l eo f p f 咄衙自啡o f l 叩i 删辨 ( 2 1 0 ) 图像的正投影运算的目的是将平面图像投影到立体表面获得连续可导的空 间图像并以二维坐标的形式存储；反投影运算是正投影的逆运算，反投影的目的 是在全景漫游时通过实对的反投影运算将视口大小的全景图部分绘制出来，是根 据用户交互动作由全景图生成各视线方向视图的过程。 反投影运算的速度直接影响到视图图像的质量。因为屏幕坐标系下以整型表 示图像象素，而平面图像坐标用浮点型表示，根据投影模型的不同，投影以后会 由于图像扭曲导致若干象素对应一个象素的情形，针对这种情况，首先计算映射 沈阳工业大学硕士学位论文 结果，然后记录这种满射关系，并将平面象素按照从左到右从上到下的顺序存储 到文件中，反投影的时候就可以直接从文件中读取数据，这样既节省了计算时间 又解决了以往利用灰度插值带来的失真问题。 一种基于新投影模型的全景图实溅术研究 3 用于自动全景图拼接的图像配准技术 图像配准的本质是寻求一种变换，在这种变换下，两幅图像之间可以建立象 素点之间的对应关系。在应用上图像配准可以大体分四类：多模态配准、模板配 准、视角配准和时间序列配准唧。应用领域上包括计算机视觉和模式识别，医 学图像分析，遥感信息处理，虚拟空间构建上都有很大应用，不同目的所需要的 配准技术也有差别。用于全景图拼接的图像配准和特征配准以及视角配准都有联 系，技术上主要可分为手动的和自动的配准方法，自动图像配准方法主要包括基 于灰度的图像配准方法和基于特征的图像配准方法。 3 1 基于灰度的图像配准技术 基于灰度的图像配准算法的指导思想是如何改变搜索策略，减少搜索的象素 点数量和相似比较的次数，从而提高图像配准的速度 3 1 1 逐一比较法 逐一比较法对待配准图像和标准参考图像的每一个象素都进行比较，选择最 相似的一个点作为最佳匹配点它的基本思想是： ( 1 ) 在大小为m n 的标准参考图像s 中以某点( i 0 ) 为基点，截取一个与待 匹配图像r 大小u v 一样的分块图像，可以知道这样的基点有( m - u + 1 ) 叫- v + 1 ) 个，配准的目标就是在这些分块中找出一个与待配准图像最相似的图像； ( 2 ) 选取相似性度量函数： ( 3 ) 从相似度度量函数中找到最相似的块，其对应的基点就是最佳匹配点。 3 1 2 单阈值比较法 单阈值比较法是为了减小逐点比较法的搜索复杂度而设置一个阈值，如果相 似误差大于这个阈值就停止比较，进行下一基点的判断。这种方法最关键的是如 何选取合理的阈值从而简化计算。设x 为所要设置阈值，有四种常用方法设置阈 值。d o h o 和j o l l l l s l 钿e 提出的统一阈值法表示为五= 仃2 l n ”，其中盯为图 像标准偏差，n = u v 为图像的象素点数。直方图表示法是直接从图像的灰度分 布直方图上确定阈值。一般情况下，根据目标和背景灰度差异，灰度直方图呈双 峰特性，此时取五为双峰最大和最小值中间的任意值即可。o s t u 法是一种基于 沈阳工业大学硕士学位论文 判别是的分析方法。把图像中的象素按照灰度级别用阈值五分成c o 和c l 。用 口：，以，砰分别表示类内，类间和总体方差，则最有阈值z 可以表示为 a r g ( m 酞) ，其中 露= 吲袒掰 ( 3 1 ) 其中所：芝以，o t ) ：杰以，国o ) ：只。o s t i l 方法计算简单，稳定有效 f - 日m，- o 但是对噪声和目标尺寸敏感最大熵法具体为设p i ( i 卸，1 0 n ) 表示图像r 的灰 度分布。阈值设置为s 级，则图像灰度级被分成o s 级分布和s + l n 灰度分 布。记 p = ( 3 2 ) 分成的两组归一化为a ：盟( i = o l 2 s ) ，b 磐( i = j + l ，j + 2 。j 1 ) 接着计 pl p 算熵 h ( a ) = l 。g f + 吉日g ) ( 3 3 ) 其中h ( s 户一al o g 同理可得h ) 五= a f ：g ( m 戤( h ( a 卜h ( b ) ) ) ( 3 4 ) 3 1 3 序贯性相似比较法 序贯相似比较法( s c q u 6 a ls i m i l a f i t yd t 螂t i 舢g 嘶恤n ) 是在单一阈值法 的基础上做了改进，该方法将单一阈值改为自适应阙值，进一步加快图像配准速 度【勰l 。设标准参考图像中有o 山u + 1 ) 州v + 1 ) 个可能的配准点，对于每一个可能 的配准点对应的误差为e - ，设定一个不变阈值t ，当搜索点的累计误差大于t 时停止累加，记下累计次数，定义检测曲面为 一种基于新投影模型的全景图实现技术研究 i ( i ，j ) = r im i n i ，j ，m ，k n k t ( 3 5 ) 把i ( i j ) 值最大的点作为匹配点，因为这些点经过更多次数的累加达到了规定 的误差范围跚。 3 1 4 基于图像迹的配准方法 给定图像i ，假设图像象素构成矩阵n n ( 行列不相等以o 元素补齐) ，经过 对角化后，可以得到n 个特征值 ( f = l ，2 3 ，) ，则图像迹表示为 t ( i ) 2 ( 3 6 ) f i l 基于图像迹算法的配准可以分为5 个步骤： ( 1 ) 将标准参考图像按照待配准图像大小划分为若干子图像； ( 2 ) 对各子图像和待配准图像进行对角化，分别求得特征值。若标准参考图 像为f ，划分后子图像表示为f i ( 辟l ，2 ，m n + 1 ) ，待配准图像为g ，对角化后对 应特征值为 0 气o ，( ，= l 2 ，) ； ( 3 ) 对特征矩阵做差分，新的差值厶o ) = 0 卜砧g ) ； ( 4 ) 求出差分后矩阵累计误差e ( i 净厶( i ) ； ( 5 ) 累计误差中最小的e 对应的象素点就认为是最佳匹配点。 另外此方法和单霹值逐一比较法或者s s d a 相结合使用在某些情况下能够 得到较好的配准效果 3 1 5 金字塔分层法 图像处理的塔形分解方法是b u r t 和a d e i s 首先提出的p q ，它是设计用来提 供有效的图像缩放卷绕操作并通过压缩图像的形式存储的一种数据结构。该方法 将原始图像分解成许多不同空间分辨率的子图像，高分辨率的放在下层，低分辨 率的放上层，从而形成一个金字塔状【3 。对金字塔的每一层分别进行量化、编 码处理。利用图像金字塔可以分析图像中不同尺寸的景物，同时可以利用上层的 分析结果指导下层图像分析。金字塔分解法优点主要表现在四个方面： 沈阳工业大学硕士学位论文 ( 1 ) 可以更有效的理解图像的综合信息，多分辨率的图像表示方法可以提供 在不同分辨率上的多种图像信息，如图像的强度、结构、方向等。这种分辨率星 金字塔状的图像数据结构蕴含着一种更加可靠的图像理解算法。例如，由于遮挡 或随机噪声等原因使得一个物体的图像在最高分辨层上呈现出不连续的现象。这 些琐碎的图像部分在较低的分辨层上则有可能消失，这是因为建构图像金字塔的 过程具有内在的低通滤波作用，这就使得在高分辨层上能够显现出来的高频图像 分量在低分辨率层上消失掉，从而使由噪声干扰等因素造成的破碎图像在低分辨 率层上被重新组合起来，这样就使得图像理解变得更为容易一些。 ( 2 ) 可以采用高效的多分辨率图像搜索方法，在图像金字塔中，对有意义的 模式搜索可以由低分辨率层向高分辨率层逐层搜索。在较低层上得到的搜索结果 具有更加全局性的意义，因而可被用作在较高分辨率上进行的模式搜索的指导线 索。因此这种图像搜索策略的效率是很高的 ( 3 ) 有显著的生物视觉机理，多分辨率图像处理与分析在一定程度上与生物 视觉系统的工作原理很相似。例如，在低分辨率层上完成的图像处理和分析与生 物视觉系统中的周边视觉功能很相似。在人的视网膜中，周边区域中的杆状视神 经细胞对广阔但模糊的景物中的变化敏感由周边是神经细胞对场景中变化的理 解能够提醒人的大脑指挥人眼去观察最新发生的事件，如果该事件对人所要观察 的事物有足够意义的话。人眼的这种凝视行为的目的就要用比周边视神经细胞的 分辨率高得多的中央凹分辨率来对有意义的物体进行仔细的观察，这种中央凹视 觉功能与在高分辨上的图像处理和理解是相似的。 ( 4 ) 有并行计算潜力，图像多分辨率的表示与处理很容易用一种并行计算的 硬件结构来实现，该结构是一种用于低级视觉的并行处理器阵列和用于高级视觉 的串行知识推理机的组合，这是一种有着金字塔形状的并行处理结构，它为实现 实时的计算机视觉系统提供很好的保证 图像金字塔构建方法有多种，下面介绍几种典型的。 1 ) 平均金字塔分解 平均金字塔分懈最简单，对于图像g ，原始图像为第o 层，即g o = g ，第l 层的构造过程为：将l i 层图像以一个窗口为准平均计算： 一种基于新投影模型的全景图实现技术研究 g 删= 熹。摄二鍪如， 伍z ， 其中n l n 为奇数，n m 为所用的计算窗口，这种方法只是对象素的简单平 均，会丢失图像细节，塔形重建不是可逆的。 2 1 高斯金字塔 高斯金字塔的的第l 层的构造过程是和一个具有低通特性的窗口函数w ( m ，n ) 进行卷积，再将卷积结果进行隔行隔列的降采样： 22 g ，= w ，b ，甩b 一+ m ，2 _ ，+ 行) ( 3 8 ) m - 扫t - t 其中o ，n ，o i c ，o s _ ， 焉，n 为分解层数，c 和r 表示图像象素行 数和列数。窗口函数w 大小为5 5 ，满足可分离性、归一化性、对称性和奇偶 项等贡献性约束条件。高斯金字塔的构造经过了一系列低通滤波过程，层数越高 的分解图像模糊程度越大 3 ) 拉普拉斯金字塔 将高斯金字塔中的g ，内插值放大，使其尺寸与第，一l 层尺寸相同 e ( i j ) - 4 菇砌粥( 半，字) ( 3 9 ) i 一埘- 一z 其中0 ，n ，o 蔓i ，则对应的偏差值可以表示为： 和) = + 功一郇炉 ( 3 1 1 ) f - o 设搜索距离为l ，具体步骤如下： 1 ) 在第一幅图像的重叠区域内取得特征区域边界处的两列中的部分象素， 构造特征模板b 2 ) 在第二幅图像中选取与第一幅图像特征区域对应的区域，再沿左右扩大 一定比例( 保证待求特征被包含在区域中) ，设定最左一列为搜索起始列，即 矿= ； 3 ) 在第二幅图像的搜索区域中，取得v 和v + d 两列中的部分象素，计算 对应差值，( j j ) ； 一2 2 沈阳工业大学硕士学位论文 4 ) 对每垂直交错距离d ，计算，矗l 联材) 的偏差值： 5 ) 比较各个善c d ) ，记录最小f 缈) 及其对应交错距离d ； 6 ) v = v + l ，若v + 工返回3 ； 7 ) 比较参( d ) 大小，对应最小值所在位置为最佳配准位置，p 和d 确定了图 像的重叠值。 ( 2 ) 基于曲线特征的配准方法 作为物体边缘( 通常情况下) 的曲线对比直线而言含有更加丰富的信息量， 使匹配结果更加精确，但同时曲线的提取和计算也更复杂，基于曲线特征的配准 方法的一般步骤为首先提取图像区域边界，接着提取局部几何特征，统计分布情 况，然后建立曲线之间的对应关系，最后确定变换参数。曲线提取中常用到的 种框架主要是利用图论的患想综合考虑整体和局部进行的图像分割f 2 1 定义图g = v ，e ，w ，其中v 表示定点集合，e 表示边集合，w 表示连接强度。给定图像 的n 个象素，分割问题就转化为将v 分解成k 个无交集的子集，也即是 v 气上v ，且巧n = o ，足，彤= 以， ，记p q 为v 的子集， p 和q 的连接关系l 伊，q ) 为所有p 中的点与q 中的点的连接强度之和，即 三( p q ) = 形( p ，叮) 。再定义一个子集p 的深度为p 到所有顶点的连接关系 d p ) = 工y ) ，由此可得p 和q 的相对连接关系： m 功= 帮 ( 3 1 2 ) 一个好的分割算法可以使得各个子集内部的连接紧密，子集之问的连接松 散，这也是衡量一个分割算法好坏的标准，衡量内部连接强度用 尼淞黟) = 圭妻t 以巧) ( 3 1 3 ) 一种基于新投影模型的全景图实现技