（计算机应用技术专业论文）大视场视频拼接技术研究.pdf

学位论文数据集 ，74 溉 中图分类号 t p 3 7 学科分类号 5 2 0 6 0 4 0 论文编号 1 0 0 1 0 2 0 11 0 7 1 9 密级公开 学位授予单位代码 1 0 0 1 0 学位授予单位名称北京化工大学 作者姓名殷兴华学号 2 0 0 8 0 0 0 71 9 获学位专业名称计算机应用技术获学位专业代码 0 8 1 2 0 3 课题来源其他项目研究方向视频拼接 论文题目 大视场视频拼接技术研究 关键词视频拼接，视频帧对齐，s i f t ，r a n s a c 算法，图像融合 论文答辩日期 2 0 l1 5 2 6 ，i 论文类型应用研究 学位论文评阅及答辩委员会情况 姓名职称工作单位学科专长 指导教师袁国栋讲师北京化工大学3 d 视觉 评阅人1赵英教授北京化工大学 计筲枷网毽 评阅人2聂伟副教授北京化工大学 琵足刁、僵 评阅人3 评阅人4 评阅人5 答辩委旯蝴赵英教授北京化工大学 i 十蝴稳 答辩委员1山岚研究员北京化工大学 像鼠检索 答辩委员2聂伟副教授北京化工大学 催量弧蘧 答辩委员3彭四伟副教授北京化工大学 编译描f 鹤 答辩委员4张杰副教授北京化工大学 躺熵丢锛 、 一 一 答辩委员5 注：一论文类型：1 基础研究2 应用研究3 开发研究4 其它 二中图分类号在中国图书资料分类法查询。 三学科分类号在中华人民共和国国家标准( g b t1 3 7 4 5 9 ) 学科分类与代码中 查询。 四论文编号由单位代码和年份及学号的后四位组成。 摘要 大视场视频拼接技术研究 摘要 大视场视频拼接技术是将多个相机按照一定的规则设置，使用 每个相机分别获取视频，然后将所得视频拼接成为一个具有相对较 大视野的大视场视频的技术。大视场视频拼接技术是计算机图形学、 虚拟现实领域的一个研究热点，其相关技术广泛应用在多媒体展示、 视频监控等方面。现有的大视场视频拼接方法需要使用同步触发器 来同步视频采集设备的启动，这影响了大视场视频拼接设备的应用 范围。同时传统的视频拼接方法在时间效率方面也有待改进。本文 主要研究基于双摄像机的大视场视频拼接技术，探索一种软件方法 来实现同步触发器的功能，以消除同步触发器对视频拼接应用的限 制，同时结合视频拼接的特点对采用的传统算法进行研究以提高传 统算法时间效率。本文主要研究内容如下： ( 1 ) 设计实现一种自动的视频帧对齐方法，从软件上实现视频 的对帧，从而消除传统视频拼接中对于同步触发器的依赖，提高大 视场视频拼接技术的易用性和使用范围。 ( 2 ) 为了满足视频拼接的要求，传统的r a n s a c 算法在对大量 匹配数据进行提纯时，需要构建大量的验证模型，导致消耗时间较 大。针对此问题，提出一种改进的r a n s a c 算法，相对传统r a n s a c 算法，有效的提高了时间效率。 t 北京化工大学硕士学位论文 经过研究，提出了一种适用于双摄像机的视频帧对齐方法，该 方法能够在一定的前提下实现视频帧图像的自动对齐，从而成功的 消除了同步触发器对视频拼接的限制作用。通过对采用的拼接算法 的深入研究，结合视频拼接的特性，对其中所使用的r a n s a c 算法进 行改进，提出了改进后的r a n s a c 方法。 经过大量实验，通过与传统算法进行对比，验证了所提出和改 进方法的效果与性能。 关键词：视频拼接，视频帧对齐，s i f t ，i s a c 算法，图像融合， 视频分帧 i i s t u d yo nv l d e om o s a i cf o rl a r g ev i e w a b s t r a c t t h ev i d e om o s a i cf o rl a 玛ev i e wi sat e c h n i q u e 、h i c hc r e a t e so n e l a i g ev i e wv i d e of 如ms o m en 锄w v i e wv i d e o sc a p t u r c l dw i t hc a m e r a s w h o s ep o s i t i o nw a ss e t 弱s o i n er u l e t h ev i d e o 珈l o s a i ct e c h n i q u ef o r l a r g ev i e wi so n eh o t r e s e a r c hp o i n ti nt h ef i e l do fc o 瑚l p u t e rg r a p h i c sa n d v i 咖a lr e a l i 吼t h ea p p l i c a t i o no fv i d e on l o s a i ct e c h n i q u ef o rl 鹕ev i e w h a sc o v e r e dt h ef i e l d so fm u l t i m e d i ae x l l i b i t i o na n dv i d e oi n o n i t o r i n g h o w e v e r ，t h es y n c b r o n i z e ri sn e c e s s a 巧f o rt h et r a d i t i o n a lv i d e om o s a i c m e t h o dt os t a r tc 锄e r a sa tt h es a m et i m e ，w h i c hl i i i l i t st h ea p p l i c a t i o n a r e ao fv i d e om o s a i cs e r i o u s l yo ra f ! e e c tt h ep e r f o m l a n c eo fa l g o r i m mt o i m p r o v e m o r e o v e r ，t h e r ea r e s o m en a w si nt h et i m ee 行i c i e n c yo f t 硼i t i o n a lv i d e om o s a i cm e t h o d t h i sp a p e rs t u d i e st h ev i d e om o s a i c t e c h n i q u ef o r1 a r g ev i e wb a s e do nd o u b l e - c a m e r a s b a s e do ns m d i e s a b o v e ，t h i sp 印e rt r i e st od e s i g no n es o f t 、) l ，a r em e t h o dt o s t a i tc a m e r a s u s e di nt h ev i d e om o s a i ca tt h es a m ep o i n ti no r d e rt oe l i m i n a t et h e l i m i t a t i o no nm e 印p l i c a t i o no ft r l d i t i o n a lv i d e om o s a i c ，a n di m p r o v e s t h ep e r f o m a n c eo ft r a d i t i o n a la l g o r i t h mb yc o m b i n i n gt h ec h a r a c t e r i s t i c o fv i d e om o s a i ca n d 仃a d i t i o n a la l g o r i t l l m t h i s 砒i c l em a i n l yi n c l u d e s t h ef o l l o w i n g s ： m 北京化工大学硕士学位论文 ( a )d e s i g no n ek i n do fa u t o 仔a m ea l i g n m e n tm e t h o dt oa l i g nt h e f h m e si nt h es o u r c ev i d e ob ys o r w a r ei no r d e rt oe l i m i n a t et h e l i i l l i t a t i o nc a u s e db yt h eu s i n go fs y n c h r o n i z e rt r i g g e ri no r d e rt ow i d e m e a p p l i c a t i o na r e ao f v i d e om o s a i ca n dt oh i g hi t su s a b i l i 吼 ( b ) i no r d e rt or e a c ht h ed e m a n d so fv i d e om o s a i c ，am o u n to f m o d e l sw e r ec r e a t e da n dv e r i f i e db yt r a d i t i o n a lr a n s a cm e t h o d ， w h i c hc o n s u m e sal o to ft i m e i nm i sp a p e r ，o n ei m p r o v e dra n s a c m e t h o dw a sp r e s e n t e dt or e d u c em et i m ec o s to ft r a d i t i o n a lm e t h o d c o m p a r et o 们d i t i o n a lm e t h o d ，t h en e wm e t h o dr e d u c e dt h et i m ec o s t e m c i e n t l y o n ef ea l i g n m e n tm e t h o da p p l i c a b l et ov i d e om o s a i cb a s e do n d o u b l e - c 锄e r a si sp r o p o s e da r e ri n t e n s i v es t u d yt h i sm e t h o dc a n a u t o m a t i c a l l ya l i 弘m e 觑l m e su n d e rs o m ea c c 印t a b l ec o n d i t i o n sw h i c h e l i m i n a t et h el i m i t a t i o no nv i d e om o s a i cc a u s e db ys y n c h r o n i z e rt r i g g e r a r e ri n t e n s i v es t u d yo nt r a d i t i o n a lm o s a i cm e t h o d ，a c c o r d i n gt ot h e p r o p e r t y o fv i d e om o s a i c ，o n e i m p r o v e d ra n s a cm e t h o dw a s p r e s e n t e db yi m p r o v et r a d i t i o n a lr a n s a c m e t h o d b yc o 砷阻s t t h er e s u l to ft r a d i t i o l l a l a l g o r i 咖n a n di i n p r o v e d a l g o r i t h mi nt h ee x p e r i m e n tw i t hp l e n t yo fe ) 【p e r i m e n t s ，t h i sp a p e r t e s t i f i e dt h ee f f e c ta n dp e r f o 咖a n c eo f i m p r o v e dm e t h o d i v 些璺型坚 k e y w 。r 。s ：v ；d 。m 。s 斫c ，胁ea 。i g n 二e m ，s i f l a l g o r i t l h n ，i m a g em s i o n ，v i d e o 丘a m i n g v r a n s a c 目录 目录 第一章绪论1 1 1 研究背景及意义1 1 2 研究现状1 1 3 本文的主要内容和研究工作4 1 4 本文的主要创新点6 第二章视频帧对齐方法7 2 1 方法针对性及条件7 2 2 相关知识介绍7 2 2 1 相关系数7 2 2 2 相位相关法8 2 2 3 运动量检测相关方法9 2 2 4 图像增强1 0 2 3 帧对齐方法实现1 l 2 4 实验结果分析与对比1 4 2 5 本章小结1 7 第三章图像拼接方法研究1 9 3 1 引言1 9 3 2 图像特征点提取1 9 3 2 1 特征点算子2 0 3 2 1 1s u s a n 算子2 0 3 2 1 2h a r r i s 算子2 1 3 2 1 3s i f t 算子2 2 3 2 3 本文特征点提取算法实现2 8 3 3 特征点配准2 9 3 3 1 相关算法3 0 3 3 1 1k d t r e e 算法3 0 3 3 1 2b b f 算法3 0 v 北京化工大学硕士学位论文 3 3 1 3r a n s a c 提纯算法3 1 3 3 2 改进的r a n s a c 算法3 3 3 3 3 本文特征点配准实现3 9 3 4 图像融合4 2 3 4 1 常见图像融合算法4 2 3 4 1 1 像素级图像融合算法4 2 3 4 1 2 多分辨率图像融合方法4 4 3 4 1 3 基予最佳缝合线的图像融合方法4 7 3 4 2 本文图像融合实现4 9 3 5 本章小结5 0 第四章视频分帧与压缩5 3 4 1 视频编码格式介绍5 3 4 1 1m p e g 运动图像压缩编码标准5 3 4 1 2h 2 6 x 系列视频编码标准5 4 4 1 3 其他视频编码格式5 4 4 2 基于o p e n c v 库函数的视频分帧及压缩5 4 4 2 1 视频分帧5 4 4 2 2 压缩视频5 5 4 3 本章小结5 6 第五章实验结果与分析5 7 第六章总结及展望6 3 参考文献6 5 致谢6 9 研究成果及发表的学术论文7 1 作者简介7 3 v i c o n t e n t s co n t e n t s c h a p t e r 1i n t r o d u c t i o n 一1 1 1r e s e a r c ：hb a c k 毋0 u n da n ds i 是叫6 c a n c e 。l 1 2r e s e a r c ：hs t a l l l s 。1 1 3m 血c o n t e n t 卸 1 ds t l l l c h l i eo f t l l i st l l e s i s 4 1 4m a i nm o v a t i o no f m i sm e s i s 6 c h a p t e r 2 d e of r a m ea l i g n m e n tm e t h o d 7 2 1m e n l o dt 鹕e t 砒1 dh o m e s i s 7 2 2r e l 删l 【1 1 0 w l e d g ei i l 仃o d u c t i o n 7 2 2 1r c l a t i v ec o e 佑c i e l l t 7 2 2 2p h a s ec o 玎? e l a t i o n 8 2 2 3m o v e m 锄td e t e c t i o n 9 2 2 4i m a g ee 1 1 l l a n c a n e l l t 1 0 2 3i i l l p l e m 髓to f 仃a m ea l i 蛐铋tm e d l o d 1l 2 4a n a l y s i sa n dc o m p a s o no ne x p 幽e n t a lr c s u l t s 1 4 2 5s l 】n l m a r y 17 c h a p t e r 3r e s e a r c ho ni m a g es t i t c l l i n g 1 9 3 1h l 缸o i i u c t i o n 1 9 3 2e x 仃a c t i o no f h n a g ef e a t i l r ep o i n t s 1 9 3 2 1f e a t l l r eo p e r a t o 瑙2 0 3 2 1 1s u s a n0 p e r a t o r 2 0 3 2 1 2h a r r i so p e r a t o r 2 l 3 2 1 3s i f to p e r a t o r 2 2 3 2 3i m p l 锄e n to ff e a t u r ee x 仃a c t i o n 2 8 3 3h i l a g ef e a t i l r ep o i n t sm a tc _ h 2 9 3 3 1a l g o 枷1 i i lr e l a t e d 3 0 3 3 1 1k d t i 也ea l g o r i t h m 3 0 3 3 1 2b b f a l g o r i t i 吼3 0 v 北京化工大学硕士学位论文 3 3 1 3 黜n s a ca l g o r i t l 蛐3 1 3 3 2h n p r o v e d 砒心t s a ca l g o 订t h m 3 3 3 3 3h i l p l e m e l l to f 允a t u r ep o i n t sm a t c h 3 9 3 4h i l a g e 缸i o n 4 2 3 4 1h n a g ef 弧i o na l g o r i 1 m 4 2 3 4 1 1p i x e ll e v e li l l l a g ef i l s i o n 4 2 3 4 1 2l 订u l t i r e s o l l l t i o ni i 】1 a g e 如s i o n 4 4 3 4 1 3h n a g e 向s i o nb 嬲e do nb e s ts u t u i e 4 7 3 4 2h i l p l e m e n to f i m a g ef i l s i o n 4 9 3 5s 1 ：l m 】 n a r r 5 0 c h a p t e r4 d e of r a m m i n ga n dc o m p r e s i o n 5 3 4 1i i 】【仃o d u c t i o no n 啊d e 0c o d i l l g 5 3 4 1 1m p e gv i d e 0c o d i n gs t 觚d a r d 一5 3 4 1 2h 2 6 xv i d e oc o d i n gs t 觚d 觚d 5 4 4 1 3o t h e r d e 0c o d i n gs t a n d 裥5 4 4 2 d e 0f a 舢【i l i n ga n dc 伽叩r e s i o nb a u s c do no p e i l c v 一5 4 4 2 1 d e o 丘a i i ：i n l i n g 一5 4 4 2 2 d e 0c o m p r e s i o n 。5 5 4 3s u n l i i l a r y 5 6 c h a p t e r5e x p e r i m e n t a lr e s u l t sa n da n a l y s i s 5 7 c h a p t e r6s u m m a r 娩ea n dp r o s p e c t 6 3 r e f b r e n c e 6 5 a c k o w n l e d g e m e n t 6 9 r e s e a r c ha n dp u b l i s h e da c a d e m i c p a p e r s 71 i n t r o d u c t i o no f a u t h o r 7 3 v i i i 第一章绪论 1 1 研究背景及意义 第一章绪论 视频和图像是对现实世界客观、形象的描述，对人类而言，是最直观而具 体的信息表达形式，是一种重要的信息载体。在当今信息化社会里，随着微电 子、网络和通信技术的快速发展和人民物质生活水平的提高，数码摄像机和照 相机等视频采集和监控设备已不再只为专业人所用，而是走入了广大群众生活 中。视频作为一种常用的信息传播载体，已经渗透到工作、学习、娱乐等各个 方面，成为我们生活中不可缺少的组成部分。但是，在日常生活实际应用中， 为了可以摄取完整的场景，必须调节摄像机焦距，通过缩放镜头才可以获取宽 视野的场景图像。但摄像机的视野是固定不变的，所得到的视频的分辨率与拍 摄的场景两者成反比相互制约n 2 一。为了获得大的拍摄场景，就必须降低所得 视频图像的分辨率。相反，为了提高获取的场景的分辨率，就不得不通过缩放 相机镜头来减小拍摄的视野，而这样又得不到完整的场景。当然利用鱼眼镜头 等特殊器材h ，可以部分解决这一问题，但这些设备不仅价格昂贵而且所拍摄的 视频图像边缘会产生扭曲变形，且这种形变是不可避免的，也是不能为人眼所 自然接受的。因此大视场视频拼接是视频拼接技术的研究热点和虚拟现实领域 的发展趋势。另外，视频拼接这一研究在军事、工业、交通、医学等诸多领域 都有着广泛的应用前景。 1 2 研究现状 由于单个摄像机的视野有限，为了获得宽视野的视频图像，人们希望能够扩 大摄像机所获取的视频图像的视场范围从而提出了大视场视频酾6 3 这个概念 目前大视场视频的获得主要有二种方式：一种是先采用特殊的大视场摄像机采 集视频，然后校正其在成像过程引入的畸变，使之符合人眼的视觉感受。目前 这种大视场设备主要有：鱼眼镜头和全景环形透镜等，其主要的优点是可以一 次性成像，而且可以实时获得大视场视频，速度较快，但缺点是分辨率较低。目 前，在一些专业领域中此类器材的应用较多口，。 另一种获取方法是通过多个摄像机拍摄一系列视频，利用视频间的相关性， 对视频图像进行配准，对配准后的视频图像进行拼接，最后得到一个大视场范 围的视频呻1 。目前，对视频拼接进行的研究中，比较有代表性的有国内王一鸣、 茅耀斌等在基于双摄像机的视频监控系统方面所做的研究工作四3 。他们基于图 北京化工大学硕士学位论文 像拼接中配准技术进行摄像机配准并使用运动检测与目标跟踪相结合的方法来 对目标进行不间断的跟踪，实现了一种视频监控平台的构建。但此方法首先未 摆脱传统的视频拼接需要使用同步触发器来启动视频采集的限制，另外，文中 也提到，由于使用了运动物体检测与跟踪的技术，此系统在检测目标的完整性 和对噪声的处理上尚有待完善。 由于视频与图像间是紧密相联的，视频可以通过解压缩形成图像序列，图像 序列反过来也可以通过压缩形成视频。所以视频拼接的基础是图像拼接n 们，接 下来将就关键的图像拼接技术做着重的介绍。 图像拼接在近几十年中一直是图像处理和计算机图形学领域的研究热点。 国内外的学者和专家对其做了大量的研究和总结工作，但这些方法尽管在某些 细节上各自采取了不同的解决方法，性能也各有优劣。但总的来说任何一种图 像拼接技术均可以分为图像配准和图像融合两大部分。其中，图像配准是使用 待拼接图像中的信息，通过某种方法求取两幅图像数字矩阵间的变换矩阵，从 而实现配准两幅图像功能的部分，图像配准是图像拼接技术的前提和关键，图 像配准的精确与否将会直接影响后续的拼接效果的优劣。因此，图像配准算法 的研究多年来一直是相关领域内的热点问题。 图像配准按照所利用图像信息的不同，可以划分为三大类：基于灰度信息 的图像配准方法、基于变换域的图像配准方法和基于特征的图像配准方法。下 文中，将对这三类方法分别予以介绍。 基于灰度信息的图像配准方法：该方法首先需要定义一个相似性评价函数。 在此基础上，利用图像中的灰度信息，根据某种对应关系模型将每个像素点变 换成对应点。然后采用某种搜索算法，求使得相似性评价函数达到极值的对应 关系模型，从而得到两图像间的坐标的变换关系。1 9 8 2 年只绷店膨1 1 1 提出了交 叉相关法，这是最基本的基于灰度信息的配准方法，它定义归一化二维交叉相 关函数作为相似性评价函数，以此衡量每一个位移位置的相似程度。后来出现 的相关系数法也是一种基于灰度信息的配准方法，它使用数学中的矩阵间相关 系数作为评价函数。相关系数可通过快速傅立叶变换进行计算，这使得它在大 尺度图像上的计算具有较好的速度。肋聊鲫等人后来提出了序贯相似检测算法 ( s s d a ) n 羽，将其作为相似性评价函数，并结合他们采用的序贯搜索策略使用， 使得该方法在配准上具有较高的效率。在国内，王小睿n 3 1 等人对s s d a 算法进 行优化，综合使用序贯相似度检测和归一化积相关两种相似性度量方法作为相 似性度量函数，并利用模拟退火算法快速定位最佳匹配点，实现图像的配准。 基于灰度信息的配准方法原理简单，抗干扰性较强，在较小尺度的图像配准上 计算较快。但随着图像尺度的增加，计算量急剧增加，故此方法不适用大尺度 2 第一章绪论 的图像配准。 基于变换域的图像配准方法：相位相关法作为图像配准中的一种常用算法， 具有计算速度快、场景无关、定位较准确等特性，它正是基于变换域的配准方 法。相位相关法最早由陷句吵玎和z 砌嚣铂在1 9 7 5 年提出，它利用傅立叶变换将 图像由空间域变换至频率域，再根据傅立叶变换的性质求取相位相关函数，由 相位相关函数的峰值得到位移量。这种方法能够对于具有二维平移关系的图像 进行精确的配准。为了使得相位相关法适应图像间旋转、缩放等非平移变换， d pc 缸加和胁朋以旃提出了扩展的相位相关法n 阳，此方法利用对数极坐标变换 方法将旋转和缩放参数转换为相位相关法可以接受的平移参数，从而使得扩展 相位相关法可以应用于同时具有平移、旋转和缩放的图像间进行配准。后来， r 鲥砂等人又对d pc 缸肋等人的方法做了进一步改进，引入了互功率谱计算平 移量，进一步简化了相关计算。改进后的相位相关法不仅能够精确的配准，而 且计算速度相对其他方法也具有很大的优势。但相位相关法受到傅立叶变换不 变性质的限制，当图像间变换关系较复杂时其配准效果逊于基于特征的配准方 法。 基于特征的图像配准方法：由于基于特征的图像配准方法摆脱了像素点灰 度值细节的束缚，使用图像特征进行配准，使得它能够适应图像间各种不同的 变换。因此，此类方法自产生以来便是图像配准中的热门方法。早在1 9 7 7 年， 受到相位相关法的启发，胁朋眦n 6 1 便提出了基于灰度自相关函数的兴趣点检测 算子。之后，砌“如f 提出了具有旋转不变特性的兴趣点检测算子d e t 。后来， 协椭刀等人对 如m 他c 算子进行改进，使之具有旋转不变性，提出了胁衲 算子。在胁眺算子的基础上，后人在不同方面和细节上分别对胁眺算子进 行改进，使其在某些方面上的性能得到提升。经过改进后，h a m s 算子克服了 胸朋v 贸算子对强边界的敏感性。1 9 9 7 年，s 切砌n 町等人利用相对应的图像点相 关的局部区域内具有相同的亮度的性质，提出了s u s a n 算子。s u s a n 算子不 涉及梯度等求导运算，所以具有易于理解、运算速度快等特点，但由于比较依 赖像素值进行度量，使得其对于噪声较敏感，适应性较差，当配准图像不同时， 需要调整相关参数。2 0 0 3 年，在i c c v 大会上，肱跏m 优n 钔提出了著名的尺度 不变特征算法( s i f t ) 进行配准，该方法能够适应配准图像间平移、旋转、缩 放、仿射等多种变换，具有较理想的拼接效果。在国内，封靖波等人提出了基 于相似曲线的配准方法。除了以上较常见的配准方法和算子，c 锄n y 算子，拉 普拉斯算子等也是基于特征的图像配准方法。这些方法对于不同的图像，配准 效果和计算效率也不尽相同。所以，在应用中，并不存在一种统一的特征配准 方法，需要在实际中因地制宜，选择适合的算子。 3 北京化工大学硕士学位论文 图像融合的概念最早来自于8 0 年代美国学者提出的“数据融合 的概念， 主要受军事上遥感图像处理方面的需求推动而产生，后来广泛应用于遥感图像 处理、可见光图像处理、医学影像处理以及红外图像处理等方面，成为图像处 理领域的一个研究热点啪1 。按照融合在图像处理流程中的阶段和依赖信息，图 像融合现在可以分为以下三大类：像素级图像融合、特征级图像融合以及决策 级图像融合暖。 其中像素级图像融合包括线性融合方法、基于多分辨率的融合方法、基于 小波变换的融合方法等。其特点是在配准的基础上，先对待融合图像进行滤波 等预处理，然后进行变换处理( 比如基于多分辨率的融合方法中多分辨率金字 塔的构建) ，之后对变换后的数据进行综合处理，按照某种规则获得融合区域融 合后的像素值，最后进行反变换，将变换后的多种数据重构为一幅图像，即可 获得融合后的图像。 特征级图像融合处理层次相对像素级融合较高，可分为目标状态数据融合 与目标特性融合。思想是从待拼接图像中提取出特征信息，由特征信息对图像 进行融合。此类融合方法包括聚类分析方法、贝叶斯估计方法等乜幻 决策级图像融合是一种更高层次的图像融合策略，其结果可为各种控制和 决策提供依据。常见的有神经网络法、专家系统方法等乜朝。决策级图像融合容 错性高且数据分析能力强，但计算量较大。 1 3 本文的主要内容和研究工作 本文主要对下述内容进行了重点研究。 1 、视频分帧与帧对齐 本课题中使用0 l p c l l c v 提供的c v c a p 仰e 类型进行分帧操作和拼接后的压 帧操作。为了增加系统的适用性，本文中未使用同步触发器同步摄像机启动。 因此，在进行视频拼接前首先需要对所获取到的两视频帧序列进行帧对齐工作， 计算出两视频采集设备的启动时间差。 2 、图像配准 视频拼接的基础是视频图像间的变换矩阵，此矩阵依赖于图像拼接所求得 的变换矩阵，而图像配准的程度则很大成分上决定了计算所得的变换矩阵。本 课题中，考虑到摄像机在采集视频前未进行严格的标定，所以获得的两视频间 将会存在平移、缩放、拉伸等多种变换并存的情况。所以课题中采用基于特征 的s i f t 图像配准方法，一方面基于特征的配准方法经过适当改进后具有可接受 的计算量，兼备有效性和实时性；另一方面，相比较其他算子，s i f t 算子在光 4 第一章绪论 照变化、旋转变化、尺度缩放、几何形变等情况下均具有最佳的效果。 所以，本课题中采用s 肼图像配准方法进行帧图像配准并由此计算两视频 间的变换矩阵。针对经典s 胛算法时间耗费较大的问题，分析s 胛方法各模 块的时间耗费，结合视频拼接的特性，对其中的鼬s a c 方法进行改进，形成 改进后的黜气n s a c 方法。 3 、图像融合 图像融合的效果将直接决定拼接所得视频的影像效果，所以图像融合是十 分重要的步骤。由于摄像机在拍摄前未进行严格标定，虽然采用了鲁棒性较强 的图像配准算法，但一定程度上的配准误差和曝光差异是不可避免的。同时， 由于视频采集摄像机由人工启动和停止，虽然经过了预先的视频帧对齐操作， 但势必会对后续的图像配准造成一定的影响，形成一定的配准误差。所以，本 课题中为了克服配准误差存在造成的错位和“鬼影 现象，本文采用了多分辨 率的图像融合算法。 本文的主要内容和组织结构如下： 第一章绪论。此章节中介绍了课题的背景意义及图像配准、图像融合 等关键技术的研究现状。介绍了本文的主要研究内容与创新点。 第二章视频帧对齐方法。本章中说明了本方法所针对的问题以及可行 的前提条件，介绍了所使用到的相关法、帧差法、变步长搜索算法等技术。章 节的最后以实验数据为依据，将此方法与其他的对帧方法进行了对比。 第三章图像拼接方法研究。本章节中首先介绍了图像特征点提取的相 关知识以及几种常见的图像配准算法，对各种特征算子进行比较和分析。接下 来针对本文实验中所采用的s i f t 算子，介绍相关的特征点配准方法。完成配准 工作后，介绍常见的图像融合算法，并着重介绍实验中所使用到的多分辨率融 合算法。在特征点配准部分中阐明了经典s i f t 算法中黜埘s a c 算法所存在的 一些不足之处，并针对其中一方面提出了自己的改进方法。最后，将改进后的 黜州s a c 算法与经典算法进行对比。 第四章视频分帧与压缩。本章中首先介绍了常见的视频编码格式和各 种格式的优缺点及主要技术。接下来详细描述了文章实验中采用的基于 o p e i l c v 的视频分帧与压缩过程。 第五章实验结果与分析。将新的视频拼接算法与其他传统拼接算法进 行对比，从时间效率，配准的效果，以及易用性方面进行说明。体现了本方法 的优越性 第六章总结与应用展望。总结了本方法的优点以及待改进的地方，并 对其应用前景进行展望。 5 北京化工大学硕士学位论文 1 4 本文的主要创新点 本文实验设计实现了针对双摄像机的视频拼接系统。该系统能够自动对输 入的视频进行帧对齐、配准、拼接，并输出拼接后的大视场视频。本文主要包 含以下两个创新点。 l 、设计实现了一种针对手控双摄像机的视频帧对齐方法，该方法能够自动 对输入的待拼接视频进行帧对齐。方法所需要的条件是两摄像机启动的时间差 不大于3 s ，摄像机视野的交叠区域内具有较丰富的特征物体两点。一般情况下， 除非人为刻意制造启动时间差，采集人员手动的启动时间差一般满足上述条件， 现实生产生活场景中一般存在大量的人、车以及建筑物等物体，这些物体均具 有较丰富的边缘和拐点信息，可产生大量的特征点。所以上述两个条件均易于 满足。一般情况下本文提出的方法可以自动对两视频进行分析，定位两视频中 同一时间点上的对应帧图像，从而计算出视频采集设备的启动时间差。 2 、提出了改进的黜蝌s a c 提纯算法。针对传统黜蝌s a c 算法时间复杂度 高，不利于实时计算的缺点，对其进行改进，提高了时间效率。同时由于对数 据进行预提纯，相较于传统的黜s a c 算法，改进后的黜埘s a c 方法所得的 变换矩阵也具有较小的误差。 6 第二章视频帧对齐方法 第二章视频帧对齐方法 2 1 方法针对性及条件 传统的视频拼接在采集视频时需要使用同步触发器来同步两台摄像机启 动，本实验中考虑到通用性，未使用同步触发器，而由采集者进行人工的控制。 这造成了所获得的两段视频在时间上不是同步的，所以在拼接之前需要进行对 帧工作。同时，为了拓展视场，两台摄像机拍摄所获得视频通常具有一定的重 叠区域( 小于1 3 ) ，这造成了使用传统的视频帧对齐方法容易产生严重错误瞄1 ， 导致对帧的失败。针对此种特性，本方法从获取重叠区域入手，利用两视频帧 图像中交叠区域的图像特性，判别两视频中的帧对应关系，完成两视频在时间 上的同步工作。 首先，本章所针对的问题中，在采集视频时，采集者在主观上应尽量减小 时间差，即采集者应尽量做到同时启动摄像机。经过多次试验，在此前提下， 无论是采用口令由两人启动两台摄像机，还是由一人使用两手启动两台摄像机， 摄像机的启动时间差绝对值是存在一个范围的，设此绝对值的最大值为f 。 2 2 相关知识介绍 本方法首先需要使用相位相关法确定两视频间的大致位移量，之后利用同 一时刻所采集帧图像相对于非同一时刻采集帧图像具有不同的相关系数值的特 点来求取对应帧，从而求出启动时间差。当某时刻视频中具有较大运动量时， 易于从此时刻附近的帧图像中找出对应帧图像，对应帧图像和非对应帧图像间 的相关系数差值也较大，从而可以比较准确的定位出对应帧图像，计算出启动 时间差；某时刻视频中具有较小的运动量时，易于使用相位相关法对非对应帧 计算视频位移量。所以首先需要使用运动量检测方法检测视频中的运动量。同 时，为了扩大相关系数差值，获得更准确的帧对应关系，需要使用图像增强方 法对帧图像进行增强。下文中对上述所使用到的相关知识进行简要介绍。 2 2 1 相关系数 设图像4b 为两幅图像，分辨率均为m 批则么，曰的像素值二维矩阵可分 别表示为他以如y ) ，其中x = 0 ，l ，2 ，彤1 ；y = o ，1 ，2 ，灿1 。彳，b 像素值矩阵 的相关系数船目可以定义如式2 1 ： 7 北京化工大学硕士学位论文 p ：掣 ( 2 1 ) d x d b 式中州，b ) 表不两二维矩阵的协万差，玩仇为矩阵各目的万差。计算 公式为： c 眦驴志善酗“) - _ 燃匆 ( 2 _ 2 ) 见= 志善篓( 舢_ _ ) 2 ( 2 3 ) 见= 万b 善篓( g ( f ，力一两2 ( 2 _ 4 ) 上式中才和否分别为彳和曰像素值矩阵的均值，即两幅源图像的亮度均值。 相关系数p 的取值范围