（光学专业论文）视频监控系统中有遮挡运动目标的提取和重构.pdf

摘要 在视频监控中常常会遇到这样一种情况：运动目标由于受到遮挡而没办法在监视 过程直接看到完整的运动目标，但运动目标的各个部份在视频图像序列中相继出现。 如何利用这一视频图像序列来重构出完整的运动目标昵? 也就是如何在视频监控中实 现有遮挡运动目标的提取和重构? 这是一个很有实际意义的问题。 本文提出的研究思路是：先从各帧中检测并提取出运动目标的显露部分，再利用 图像拼接的方法重构出完整的运动目标图像。在该思路的基础上，我们构建了一套完 整的视频监控系统，并针对该思路中的两个关键问题展开了研究。一是如何检测发现 运动目标和提取运动目标，即运动目标的检测和提取问题；二是如何利用这些显露的 运动目标的各个部分来拼接重构成完整的运动目标，即图像拼接问题。 对于运动目标的检测和提取问题。本文首先采用帧间差分法与背景差分法相结合 的方法来检测和分割运动目标。然后采用三帧差分法对运动目标进行提取。并提出一 种新的修复方法，对由于光照、风扰动等因素引起的目标图像信息缺失等进行修复， 与传统的形态学修复方法相比，新修复方法不仅可以修复闭合区域的目标图像信息缺 失，也可以很好的对非闭合区域的信息缺失进行修复。 对于运动目标的拼接和重构问题。本文提出一种基于角点匹配的拼接新方法，该 算法将角点作为图像的特征点，并通过角点值、邻域角点数、角点闯距及参数一致性 等四个指标对角点集进行逐级筛选，有效地剔除了不匹配的角点，保证了匹配精度， 同时避免了传统算法中进行模板匹配的繁重计算，大大提高了匹配速度，从而克服了常 见基于角点匹配的拼接算法存在的精度不高、稳定性差和计算量大等问题。 论文最后详细地介绍了整个视频监控系统软硬件实现，并对目标检测、提取和重 构等各个步骤进行大量的测试。测试结果表明该系统能够对运动目标进行有效精确的 检测及提取；而且针对因受到遮挡而各个部份相继出现的运动目标，该系统也能准确 地提取各个部分，并利用拼接重构得到完整的运动目标图像。 关键词：遮挡的运动目标；检测与提取：拼接重构 a b s t r a c t t h e r cm a yb eo n ec a s ei nv i d e om o n i t o r i n g ：w ec a l l ts e et h ew h o l em o v i n go b j e c t s b e c a u s eo f t h eo c c l u d e r ，b u tp a r t so f t h em o v i n go b j e c t sa p p e a ri nt h ev i d e oi m a g e s o n ea f t e r t l l eo t l l e r ，a n dh o wt ou s et h e s ev i d e oi m a g e st og e tt h ew h o l em o v i n go b j e c t s ? n a m e l y ，h o w t or e a l i z eo c c l u d e dm o v i n go b j e c t se x t r a c t i o na n dr e c o n s t r u c t i o ni nv i d e om o n i t o r i n gs y 妣m ? t h i si sav e r yu s e f u la n ds i g n i f i c a n tp r o b l e m o u ri d e at os o l v et h i sp r o b l e mi sa sf o l l o w s ：f i r s t l y ，d e t e c t i n ga n de x t r a c t i n gt h e m o v i n go b j e c t s ；s e c o n d l y ，u s i n gi m a g es t i t c ha l g o r i t h mt o r e c o n s t r u c tt h ew h o l em o v m g o b j e c t t h e r e f o r e ，w ed e s i g n e da v i d e om o n i t o r i n gs y s t e m ，a n dt h e ns t u d i e dt h e 觚oc o r e p r o b l e mo ft h i si d e a f i r s t l y ，h o wt od e t e c t a n de x t r a c tt h em o v i n go b j e c t s ，n a m e l yt h e p r o b l e ma b o u tt h em o v i n go b j e c t sd e t e c t i o na n de x t r a c t i o n s e c o n d l y ，h o wt o u s et h e u n c o v e r e dp a r t so ft h em o v i n go b j c o t si m a g e st or e c o n s t r u c tt h ew h o l em o v i n go b j e c t s ， n a m e l yt h ep r o b l e ma b o u ti m a g es t i t c h i n g t ot h ep r o b l e mo fm o v i n go b j e c t sd e t e c t i o na n de x t r a c t i o n f i r s t l y , w eu s e dam o v i n g o b j e c t sd e t e c t i o na l g o r i t h mc o m b i n i n gf l a m e - d i f f e r e n c ea n d b a c k g r o u n d d i f f e r e n c et od e t e c t a n ds e g m e n tm o v i n go b j e c t s s e c o n d l y , w eu s e dt h et h r e e f r a m ed i f f e r e n c et o e x t r a c tt h e m o v i n go b j e c t sf r o mt h eb a c k g r o u n d ，a n dt h e no n en e wi m a g er e s t o r a t m na l g o r i t h mw a s p r o p o s e dt or e s t o r et h em o v i n go b j e c t si m a g e ，t h e r e f o r et h i s c a l lm a k et h em o v i n go b j e c t s e x t r a c t i o ng o o dv i s u a le f f e c t t ot h ep r o b l e mo fm o v i n go b j e c t ss t i t c h i n g ，o n en e wi m a g es t i t c h i n ga l g o r i t h mb a s e d o nc o m e r sm a t c h i n gi sp r o p o s e d t h en e wa l g o r i t h mw a sa c h i e v e db yt h ep y r a m i d a lc o m e r f i l t e r i n gt h r o u g ht h ec o m e rv a l u ec o n s t r a i n t ，t h ec o m e rn u m b e rc o n s t r a i n ta n dt h ec o m e r d i s t a l l c ec o n s 时a i n t m o r e o v e r , c o n s i s t e n c yc h e c k i n gm e t h o dw a su s e dt om a k es u r e t h e s t i t c h i n ga c c u r a c y t h eh e a v yc o m p u t a t i o no ft e m p l a t e s e a l c h , w h i c ho f t e no c c u r si n c l a s s i c a li m a g es t i t c h i n ga l g o r i t h m sb a s e do nc o m e r sm a t c h i n g ，w a sa v o i d e db yt h e p r o p o s e da l g o r i t h m a tl a s t ，w ei n t r o d u c e dt h eh a r d w a r ea n dt h es o f t w a r eo ft h i sv i d e om o n i t o r i n gs y s y t e m d e t a i l e d l y t h em o v i n go b j e c t s d e t e c t i o n ，m o v i n go b j e c t s e x t r a c t i o na n di m a g e s r e c o n s t l l 】c t i o nw e r et e s t e dal o t t h er e s u l t ss h o wt h a tt h es y s t e mw ep r o p o s e dc a l ld e t e c ta n d e x t r a c tt h em o v i n go b j e c t sa c c u r a t e l ya n de f f e c t i v e l yi nc a m e r a f i x e ds c e n e s m o r e o v e r , i f t h ew h o l em o v i n go b j e c t sc a n tb es e e nb e c a u s eo fo c c l u s i o n , b u tp a r t so ft h em o v i n go b 3 e c t s a p p e a ri nt h ev i d e oi m a g e so n ea f t e rt h eo t h e r , w ec a l la l s oe x t r a c tt h ep a r t so f t h em o r i n g o b j e c t sa n d t h e ns t i t c ht h e s ep a r t st or e c o n s t r u c tt h ew h o l em o v i n go b j e c t si m a g e k e yw o r d s ：o c c l u d e dm o v i n go b j e c t s ；d e t e c t i o na n d e x t r a c t i o n ；s t i t c h i n gr e c o n s t r u c t i o n 厦门大学学位论文原创性声明 兹呈交的学位论文，是本人在导师指导下独立完成的研究成果。本人 在论文写作中参考的其他个人或集体的研究成果，均在文中以明确方式标 明。本人依法享有和承担由此论文产生的权利和责任。 声明人( 签名) ：压三、f 乏，j 垩j 、 知。7 年月2 2 日 厦门大学学位论文著作权使用声明 本人完全了解厦门大学有关保留、使用学位论文的规定。厦门大学有权保留并向 国家主管部门或其指定机构送交论文的纸质版和电子版，有权将学位论文用于非赢利 目的的少量复制并允许论文进入学校图书馆被查阅，有权将学位论文的内容编入有关 数据库进行检索，有权将学位论文的标题和摘要汇编出版。保密的学位论文在解密后 适用本规定。 本学位论文属于 1 保密( ) ，在年解密后适用本授权书。 2 不保密( ) ( 请在以上相应括号内打“”) 作者签名_ 壹j 己闰日期： 导师签名渤坳日期： 2 易 n 纱 月 月 ，b 6 年 年 r ， 7 u 一厂 o |一刀 第一章绪论 1 1 课题研究背景 第一章绪论 视频监控技术广泛的应用前景和潜在的经济价值己经激发了世界上广大科研工作 者、研究机构和企业的浓厚兴趣，尤其是欧洲和美国等经济发达地区1 1 , 2 】，例如，美国 国防高级研究项口署设立了视觉重大监控项口v s a m t n ，以卡内基梅隆大学为首，麻 省理上学院等高校参与，主要研究战场和普通民用场景监控的自动视频理解技术。欧 盟投资2 5 0 0 万欧元，由欧洲多个国家的高校和企业共同参与研制了a d v i s o r 系统， 用于地铁站的安全监控。自从9 l l 事件以后，西方各国更加注重国内的安全防范，加 速了视频监控技术的研究，促进了视频监控市场的飞速增长。相对于西方发达国家如 火如荼的研究和发展，我国在视频监控领域的研究起步比较晚，但是由于比较受到重 视，近年来也已经有了长足的进步，国家8 6 3 计划和9 7 3 计划都包含与视频监控研究 了相关内容；2 0 0 2 年5 月，第一届“全国智能视觉监控学术会议”在北京召开等等。 视频监控的场景是复杂多样的，在视频监控中时常会出现这样一种情况：由于一 些物体的遮挡，不能在视频中看到完整的运动目标，但是运动目标的各个部份在一序 列的视频图像中相继出现。例如：在某一交通监控场所中，由于物体的遮挡，某一帧 出现了一辆汽车车牌的一部分，在后续的帧中相继又出现了这辆汽车车牌的其余部分； 再如：在银行监控场所中，由于物体的遮挡，某帧出现了某人人脸的左半边，在后续 的帧图像中又相继出现了该人人脸的中间部分、右半部分等等。如果这是一辆车祸造 事后逃逸的车辆或者这是个在银行抢劫的犯罪嫌疑人，那么如果能利用这一序列视频 图像来重构出这辆造事车辆的的完整的车牌号码或者这个犯罪嫌疑人的整张脸，将给 相关的办案人员提供有利的办案依据和线索。因此，在视频监控中如何利用对序列图 像的分析来提取和重构有遮挡的运动目标是一个非常值得研究的问题。 1 2 本文的研究内容 如何解决视频监控中有遮挡的运动目标的重构问题? 本文的研究思路如图1 1 所 厦门大学理学硕：e 学位论文 不。 视频监控 上 检测运动目标 量 提取运动目标 重构运动目标 图1 1 运动目标重构流程图 在这个研究思路中，有两个关键的闯题：一是如何检测发现运动耳标及提取出运 动目标，也就是运动目标的检测和提取问题；二是如何利用这些显露的运动目标的各 个部分来拼接重构成完整的运动目标图像，也就是图像拼接闯题。 运动目标检测与提取是指检测并提取视频序列中与背景存在表观相对运动的运动 目标1 3 j 。在视频监控系统中，监控场景的运动检测不仅可以自行替代监控人员的部分工 作，提高监控系统的自动化水平，而且也可提高监控存储的效率。视频监控系统对图 像序列自动进行运动检测，一旦发现运动目标则发出警报信号来通知监视人员及时进 行处理并只在运动目标时才进行视频存储。这可以在很大程度上减轻监控人员的视觉 负担并减少了没必要的视频存储，也减少在后续处理中不必要的回放，使得视频存储 更有意义。运动目标的提取为目标识别、跟踪、重构等后续处理提供依据。 图像拼接是研究如何利用几幅小视角的图像拼接成一幅大视角的图像1 4 , 5 】，以满足 人们研究的需要。它通过将一组具有部分重叠的图像或视频图像进行无缝拼接而得到 超宽视角的图像或全景图。这一类技术的出现使采集图像的设备更普通化，利用普通 的摄像设备即可得到满足要求的图像。而图像拼接的关键和核心是图像匹配。图像匹 配是计算机视觉及图像处理研究领域中的个非常重要的热点问题，也是许多计算机 视觉理论和应用的基础。同时，图像匹配又是该领域的一个瓶颈问题，许多重要的计 算机视觉理论与应用都是在假设匹配问题已经解决的前提下展开的f 6 ，7 1 。因此，实现精 确、快速、稳定的图像匹配算法对视觉信息后续处理的研究具有重要的意义。 第一章绪论 本文的主要工作有三方面： ( 1 ) 采用帧间差分法与背景差分法相结合的运动目标检测方法来检测和分割运动 目标。运动目标提取采用三帧差分法把运动目标从背景中提取出来，并提出一种新的 方法来修复差分图像，使运动目标的提取达到了比较好的视觉效果。 ( 2 ) 对基于角点检测的图像匹配算法进行了研究，针对常见的基于角点检测的匹配 算法仍然存在精度不高、稳定性差和计算量大等问题。本文提出一种新的基于角点检 测的图像匹配算法，并使之应用于图像拼接中。 ( 3 ) 设计了一套解决在视频监控中有物体遮挡情况下运动目标的检测提取和重构 方案。 1 3 本文的结构安排 本文的组织结构如下： 第一章简要地介绍了课题的研究背景和论文的组织结构，并着重阐述了本文的主要 研究工作。 第二章首先介绍了运动检测的常用方法，紧接着介绍本文系统所采用的背景差分与 帧间差分相结合的运动目标检测方法，并给出仿真实验结果；然后采用三帧差分来提 取运动目标，同时，针对三帧差分方法中的差分图像提出一种新的修复方法，并给出 实验结果。 第三章介绍了图像匹配方法以及图像拼接过程中涉及的原理和方法。同时提出了一 种基于角点检测的图像匹配方法，并使之应用于图像拼接中，最后给出实验结果。 第四章详细讨论了在视频监控中有物体遮挡情况下运动目标的检测提取和重构的 实现方案。 第五章对本文的工作做了总结和讨论。 第二章运动目标的检测与提取 第二章运动目标的检测与提取 运动目标检测和提取是完整的视频监控系统的最底层，是目标跟踪、目标行为理 解等后续处理的基础，因此运动目标检测和提取是视频序列图像处理的关键环节。本 文采用帧间差分法与背景差分法相结合的方法来检测和分割运动目标。在采用三帧差 分法提取运动目标的同时，提出一种新的修复方法，使运动目标的提取达到了比较好 的视觉效果。 2 1 运动目标检测 根据序列图像的背景情况可以将运动目标检测划分为摄像机静止情况下的运动目 标检测和摄像机运动情况下的运动目标检测，本文主要研究摄像机静止情况下的运动 目标检测算法。 在摄像机静止情况下的运动检测算法中，最常用的是背景差分法和帧间差分法。 背景差分法【8 1 是用序列中的每一帧与一个固定的静止参考帧做差分从而来提取运动信 息。帧间差分图像法【明是用序列图像中的相邻两帧进行差分，然后二值化该灰度差分图 像来提取运动信息。 2 1 1 常用的检测方法 a 背景差分法 背景差分法【g , i o 是常用的运动目标检测方法。其基本思想是将当前每一帧图像与事 先存储或者实时得到的背景图像相减，若像素差值大于一定阈值，则判定此像素为前 景运动目标，且相减的阈值操作后得到的结果直接给出了目标的位置、大小、形状等 信息。设背景图像为a ( x ，y ) ，当前帧图像为i ( x ，y ) ，t 为阈值，则其差分二值图像为 d ( x ，y ) ： 。( x ，y ) = l ，l i j ( ( x x , ，y y ) ) - 一b b ( ( x x , ，y j ，) ) l 乏；( 2 一l 一1 ) 第二章运动目标的检测与提取 背景差分法检测运动目标的优点在于速度快、容易将运动目标分割出来。在背景 差分法中，其难点不是输入图像与背景模型的差分运算，而是对背景模型的维持与更 新。现实场景中的背景具有复杂性，主要是由于难以避免地存在着各种形式的干扰， 导致背景不是一成不变的，因此要求背景模型要能及时反映这些变化，抑制并处理这 些干扰。针对背景差分法对背景的要求，研究人员提出了许多背景自适应更新算法， 以期达到更好的检测效果并使算法具有更好的鲁棒性。例如h a r i t a o g l u 等【1 1 】利用最小、 最大强度值和最大时间差分值为场景中每个像素进行统计建模，并且进行周期性地背 景更新；m c k e n n a 掣1 2 1 利用像素色彩和梯度信息相结合的自适应背景模型来解决阴影 和不可靠色彩线索对于分割的影响；k a r m a n n 与b r a n c l t t l 3 1 、k i l g e r 1 4 1 采用基于卡尔曼 滤波( k a l m a nf i l t e r i n g ) 的自适应背景模型来解决天气和光照的变化对检测结果的影响； s t a u f f e 与g r i m s o n 【1 5 1 利用自适应的混合高斯背景模型( 即对每个像素利用混合高斯分布 模型建模) ，并且利用在线估计的方法来更新背景模型，从而可靠地处理了光照变化、 背景混乱运动的干扰等影响。基于高斯统计模型的背景图像估计算法 1 6 】对背景图像的 估计包括初始化和更新两部分。初始化部分需求取一段较长的时间段丁内图像序列中 每一像素的平均灰度值，并试计算在该段时间内的每一像素灰度的方差作为初始的背 景估计图像s o ；随着时间的推移，背景模型会发生变化、光照的变化、背景物体的移 动移入等，因此，为了使背景模型能够对这些变化具有自适应性，必须实时地对背景 模型进行更新，从而得到更新后的背景估计图像最。 b 帧间差分法 我们知道，相邻的视频流图像具有连续性，若场景中没有运动目标，则相邻帧图 像之间变化很小；反之则会引起帧差，因些利用这个特性可以检测运动目标。帧间的 差分图像法【9 ，1 7 1 正是利用这个特性对图像序列中的相邻两帧图像进行差分，然后通过 阈值从差分图像上分割出运动目标，它是图像序列运动分析的一种最简单的方法。帧 差法检测运动目标速度快，不易受光线变化的影响，且算法容易实现，因而得到了广 泛的使用。 假设运动目标为刚性，在，一1 时刻的图像为i ( x ，y ，r 一1 ) ；在，时刻的图像为i ( x ，y ，) ， z 为阈值，则相邻两帧图像差分后的二值图像为口( x ，y ) ： 厦门大学理学硕士学位论文 驰= 置i i 愁暑二絮二矧焉 p 心， 若场景中存在运动目标，则从差分图像口( 毛y ) 中就可分离出目标轮廓，进行运动 检测报警。对于检测图像区域么，运动报警的判定条件为： 口( x ，y ) 鹏 ( 2 - 1 3 ) j ，y e 其中掰为报警阈值。 帧间的差分图像法的算法简单，易于实现，检测速度快，对运动目标较为敏感， 而且因相邻帧的时间间隔较短，差分图像受光线变化等影响小。但由于该方法中检测 出来的运动变化区域包括真正的运动目标和由于目标的运动引起的显露的背景，如图 2 1 所示，因此，检测出的目标并不精确。 第k 一1 帧 帧间差分 图2 1 两帧差分示意图 2 1 2 帧问差分和背景差分相结合的检测方法 本文的运动检测算法采用文献【1 8 1 提到的帧间差分和背景差分相结合的方法。如前 文所述，帧间差分算法具有检测速度快，灵敏度高，不易受环境影响，且算法简单等 优点，但是也存在检测出的目标不精确等缺点；而背景差分法却具有帧间差分法所没 有的检测目标的优点，同时也存在易受环境影响的缺点。为了克服帧间差分法和背景 差分法的缺点，并使其优点互补，在检测阶段用帧间差分法来检测运动目标，并采用 第二章运动目标的检测与提取 前文提到的高斯统计模型1 q 的背景图像估计算法对背景图像进行实时地更新，一旦检 测到运动目标再进行背景差分的运算，最后将帧闻差分图像和背景差分图像进行相与 来获取较为精确的运动目标的信息。 其算法流程图如图2 2 所示。 畦相与运算 ， 用形态腐蚀操作进行 噪声虑除 图2 2 运动检测与分割算法流程图 令厶一。( x ，y ) 、l ( x ，y ) 分别表示视频图像序列中的第k - 1 、七帧，令反( x ，y ) 表示当前 的背景模型，在帧间差分运算后得到的二值差分图像q ( x ，y ) 为： d l ( x ，y ) = 三：i l i 厶k ( ( x 戈, ，y y ) ) - 一i 厶, _ 一l ，( ( x x , ，y 少) ) i i - 和c l = c 1 ，c 2 ，c t ) 。应该注意，角点值匹配 后的集合c l 和c 。中的角点不一定一一对应，即c l 和c 。所包含的角点数可能不相同。 2 邻域角点数匹配 根据结论3 ，若图像4 和刀匹配，则其上的两个匹配角点在相同邻域内包含的角 点数应相同。因此，通过邻域角点数匹配剔除q 和c j 中不满足该条件的角点，得到新 的角点集c 2 = q 。c 2 ，c g ) 和c ：= c ，c ：，c 。) 。类似地，c 2 和c ：中的角点数也可能 不相同。 3 角点间距匹配 根据结论4 ，图像a 和b 中对应的两个角点与各自邻域内其余对应角点间的距离 应相同，因此，角点间距匹配就是进一步剔除c 2 和c ) 2 中不满足该条件的角点，得到 新的子集合c 3 和c ，。具体操作如下： 设q 和c ，是对已满足角点值匹配和邻域角点数匹配的角点，设邻域角点数为p ， q 和c ：到其邻域各角点的距离按降序排列分别为域，哎，嘭) 和埘；，d t 2 ，“，d - ) ，若 4 ，以，以) 和 d 。，d ：，d p ) 在偏差允许范围内一一对应相等，即： i 吐一zl d i s1 f p( 3 一l 一9 ) 其中如为一误差阈值。则认为q 和c ：是匹配焦点，否则不然。 经上述部分后，两个角点集( g 和c ，) 所包含的角点数仍然有可能不一致。为了计 算方便，可以直接剔除“多一对应”或“一多对应”的角点，使得c 3 和c 。所包含的角点数 相同，即g = 弛，岛，勺 和c 1 3 = j ，c ：，c - ) ，同时满足结论】的要求。 4 一致性检验 第三章图像匹配与拼接 根据结论5 ，对于任意的匹配角点对，其匹配参数( 缸，缈，回应该是相同的。一致 性检验的目的是：剔除匹配参数偏差较大的角点，使得角点集合中各角点的匹配参数 一致。 为了计算方便，可以只考虑角度参数的一致性检验。如图3 3 所示，利用待参考图 像和匹配图像的两对相应角点的连线关系，便可以计算出一个角度参数( 口) 。理论上， 任意两对相应角点的角度参数值应该是相等的。利用这点性质，我们很容易找出g 和 c ，中的误匹配角点。 ( a ) 参考图像的部分角点( b ) 待匹配图像的对应角点 图3 3 图像旋转角度的计算 剔除g 和c ，中的误匹配角点，可得到新的角点集c 4 - - e l ，c ：，巳) 和 c 。= c t ic ：，c 。) ，它们满足匹配参数一致性。c 4 和c 。从整体上进一步提高了图像 的匹配精度。 从上述中我们知道本文提到的角点匹配方法需要设置一些参数，其中包括h a r r i s 角点响应函数阈值r 、非极大值抑制邻域半径，高斯滤波窗口宽度w ，角点值匹配 阈值万、邻域角点数匹配中的邻域半径0 、角点问距匹配闽值栅。 5 计算复杂度分析 设图像的角点总数为n ，特征点邻域的平均角点数为b ，则上述四个匹配部分的计算 量分别为： 角点值匹配：o ( n 2 ) ； 邻域角点数匹配：伙，1 ) ； 角点间距匹配：o ( n b 2 ) ； 2 3 厦门大学理学硕士学位论文 一致性检验：o ( n 2 ) 。 因此上述算法的总计算量大致为： o ( n 2 ) + d ( 2 ”) + o ( 6 2 ) + d ( 玎2 ) = d ( 2 聆2 + 2 n + b 2 n ) 。 对于相关法，由于算法采用模板匹配法进行搜索，设模板大小为t x t ，则相关法 匹配搜索的计算复杂度为o ( 2 n 2 t 2 ) 。可见上述算法的计算量比相关匹配法的计算量小 得多，因此搜索速度也将得到提高。 一用本文提出的匹配方法进行图像匹配的实验及结果将在本章第3 节实验部分结合 图像拼接一起给出。 3 2 基于角点匹配的图像拼接 图像拼接过程通常包括图像匹配、图像变换、插值运算和图像平滑拼接等几个部 分，如图3 4 所示。 图像匹配 j 兰 图像变换 插值运算 j 平滑拼接 图3 4 图像拼接流程图 把本文提出的基于角点检测的图像匹配算法应用于图像拼接中，下面介绍图像拼 接中的图像变换、插值运算和图像平滑拼接等技术。 a 图像变换 a 运动模型和几何变换 在拼接图像前，我们必须建立从一幅图像到另幅图像像素映射关系的数学模型。 有许多运动模型可以参考，例如：简单的二维变换、平面投影模型、3 d 照相机旋转【5 6 1 。 第三章图像匹配与拼接 簿 ， 图3 5 二维几何变换的基本形式 图3 5 显示了二维凡何变换的基本形式 5 t l 。理解这些变换的最简便方法是定义一 个3 x 3 的二维齐次坐标向量： x。=hx(3-2-1) 其中x = t ，y ，1 ) ，x = ( 而y ，1 ) ，日为一3 x 3 矩阵。 平移变换只有五y 方向的偏移，是最简单的一种变换；刚性变换为平移加旋转的三 参数变换；相似变换是旋转加比例变换，相似变换能很好的保持线段间的夹角不变。 六参数的仿射变换模型通常用2 x 3 矩阵来表示： 糕6 1 2 uq2润3 圈 弓臀u 1 2 口1 3 盯1 i x ( 3 2 2 ) ( 3 2 - 3 ) 并且能保持变换后的直线 刚鞋镯 p ， 厦门大学理学硕士学位论文 x = m i i x + m l 2 y + m 1 3 m 3 1 z + m 3 2 y ( 3 2 5 ) ，一m 2 , x + m 2 2 y + 朋2 3 1 ，= = ，1 z + m 3 2 y + l 其中为缩放系数。变换后的新图像坐标为：石= x w ，夕= y w 。透射变换后的直 线仍保持为直线，但平行性被破坏。 仿射变换模型可以看作是透射变换模型一种近似。它可以处理的相机运动包括相 机的平移、镜头的拉伸( 焦距改变) 和绕光轴的旋转。在相机倾斜程度不大以及焦距足够 大的时候，基于仿射变换的方法可以获得较好的变换结果，且由于仿射变换只需要6 参数，比透射变换来得简单，因此，本文采用仿射变换模型。 b 变换参数估计 基于仿射变换的变换矩阵日有6 个未知变量，只需要三组匹配对就可以求解出所 有的未知变量，但是仅仅的三组数据必然带来较大的误差，简单的方法是使用所有得 到的匹配对来进行最4 , - 乘法求解。但是由于所得到的匹配对存在可能存在伪匹配对， 得到的结果依然存在较大的误差。本文使用r a n s a c 算法f 5 8 , 5 9 1 对匹配对进行提纯，使 用& 蝌s a c 算法得到的内点集合，在此基础上用最小二乘法来计算变换矩阵日。 r a n s a c 算法的思想可以用直线拟合的例子来说明。给定一些点，现要求对这些 点进行直线拟合，一般的做法是直接进行最小二乘法拟合：如果给定的点之中没有明显 的严重偏离实际情况的点，这样做得到的结果也是合理的。但如果存在误差较大的点， 最终结果将可能存在严重的误差，如图3 6 所示。 图3 6r a n s a c 算法示意图 严重误差点o o ，2 ) 的存在使最终结果不可接受，这样点在r a n s a c 算法中被称作 为外点。r a n s a c 算法首先随机选取两个点，构造一条直线，根据事先确定的容许误 第三章图像匹配与拼接 差来计算这条直线可以包含多少点，这条直线包含的点被称为内点，然后根据这些内 点重新计算出一条新直线，这样重复下去，直到内点的数量不再变化。使用r a n s a c 算法最终可以得到图3 6 中的理想直线，图中两条虚线表示最终直线的容许误差，这诱 条直线之间的点均为内点。r a n s a c 算法充分利用了所有的测量数据，并根据一个容 许误差将测量数据分为内点和外点，利用内点数据比较准确的特点来进行参数估计从 而剔除了不准确的测量数据。 r a n s a c 方法的特点是充分地利用了所有的测量数据，并根据闽值把它们分成了 内点和外点，利用内点数据比较准确的特点来进行参数估计而剔除了不准确的测量数 据，因此，得到的结果应该是种优化的结果。 b 插值运算 在进行图像变换时可能产生一些原图中非整数位置的点，这时需要利用插值运算 来获得非整数坐标点的像素值。， 最邻近点插值法是一种简单插值方法【6 0 1 ，也称为零阶插值。插值点的灰度值就等 于距离它映射到的位置最近的像素点的像素值。最邻近点插值作为最简单的近似方法， 其计算速度最快，但是误差也最大，使用此法进行插值所引入的偏差和对图像造成的 模糊都较大。 双线性插值算法是一种比较好的插值方法【6 ，又称一阶插值算法。如图3 7 所示， 假设a ( x ，力、b ( x + l ，y ) 、c ( x ，y + 1 ) 、d ( x + l ，y + 1 ) 为与插值点( 1 ，夕) 相邻近的四个点， 灰度值分别为乃、毛、z d ，与最邻近插值法不同，双线性插值利用四个邻近点的 灰度值的线性组合得到插值点 ，y ) 的灰度值z 。 图3 7 双线性插值法 厦门大学理学硕士学位论文 首先计算e 和f 这两点的灰度值和孙。 毛= ( i t _ 石) ( z 占一z - ) + z a z f = ( x - - x ) ( z d 一龟) + z c 则( x ，y ) 点处的灰度值z 为： ( 3 - 2 6 ) ( 3 2 7 ) z = ( 少- 以知一毛) + 毛 ( 3 - 2 8 ) 此外，目前还存在众多其它的插值方法，如双立方插值舶、b 样条近似插值【6 3 】。 虽然这些插值方法的精度更高，但计算复杂性也随之提高。对于图像拼揍说，双线性 插值法在计算效率和插值精度方面基本上可以满足要求，故本文中涉及到图像插值时 均使用的双线性插值法。 c 图像平滑拼接 获得相邻图像之间的变换关系后，就可以将相邻图像拼接起来。实际使用摄像设 备获得图像进行拼接的时候，由于光强分布的不同，一般会造成图像曝光程度的不同， 如果只是根据所得到的两幅相邻图像之间的重叠区域信息，在拼接时将两幅图像简单 的叠加起来时会造成图像的模糊和明显的边界，这是不能容忍的。图像平滑拼接就是 要消除图像光强或色彩的不连续性。它的主要思想是让图像在拼接处的光强平滑过渡 以消除光强的突变。一般采用的方法有取平均值法、渐入渐出法等平滑拼接方法。 令( x ，少) ，厶( x ，y ) ，l ( x ，y ) 分别表示第一幅图像、第二幅图像和平滑拼接图像在点( x ， y ) 处的像素值，则用平均法平滑拼接图像中各点的像素值可按下面的式子得到： l 厶( x ，y ) ( x ，夕) 墨 11 i ( x ，y ) = i i t ( 五( x ，y ) + 1 2 ( x ，y ) ) ( x ，y ) 恐 ( 3 - 2 _ 9 ) i 厶( x ，y ) ( x ，y ) 玛 式( 3 2 9 ) 中，尺j 表示第一幅图像中未与第二幅图像重叠的图像区域，飓表示两图 像重叠的区域，飓表示第二幅图像未与第一幅图像重叠的区域。 取两幅图像的平均值效果一般不能令人满意，在平滑拼接部分有明显的带状感觉， 用眼睛观察有明显的亮度上的差别。 渐入渐出法的主要思想是：在重叠部分由第一幅图像慢慢平滑过渡到第二幅图像， 即将图像重叠区域的像素值按一定的权值相加合成新的图像f 6 4 1 。 2 r 第三章图像匹削与拼接 设一个渐变因子讲0 d 1 ) ，则式( 3 - 2 9 ) 可改为： i ，1 ( x ，y )( x ，y ) r 1 i ( x ，y ) = d 木，l ( ) f ，y ) + ( 1 一d ) 幸1 2 ( x ，y )( x ，y ) r 2 ( 3 - 2 1o ) 【，2 ( z ，y )( x ，y ) r 3 这种方法使得过渡部份比较平滑，没有明显的拼接痕迹，使图像拼接合成达到比 较满意的效果。 3 3 实验及其分析 实验1 实际图像的匹配和拼接 图3 8 ( a ) 、( b ) 是两张取同一视点，采用相同焦距拍摄到的两幅景观图。图3 9 ( a ) 、 ( b ) 分别是图3 8 ( a ) 、( b ) 经过h a r r i s 算法提取角点后的图象，图中的十字叉“+ ”表示所提 取的部分角点的位置。本文默认的实验参数为：r = 5 0 0 0 ，= 5 ，w = 5 ，万= 1 0 ，名= 2 0 ， d i s = 5 。 图3 8 ( a ) 图3 9 ( a ) 图3 8 ( b ) 图3 9 ( b ) 厦门人学理学硕 j 学位论文 图3 1 0 拼接图像 用本文提出的匹配算法对图3 8 ( a ) 和( b ) 进行特征匹配和拼接，拼接结果见图3 1 0 。 可见，图像拼接过渡区平滑，不存在明显的拼接痕迹。表3 1 是各匹配部分后，两幅图 像的角点集剩余的角点数。由此说明本文提出的图像匹配算法可以实现比较精确的匹 配。 表3 1 各匹配部分后的角点数 实验2 合成图像的匹配和拼接 图3 1 1 ( a ) 和( b ) 是来自同一幅图像的不同位置的两幅具有重叠区域的小图像，其中 ( b ) 图的旋转角度为1 0 度。用本文算法对图3 1 1 ( a ) 和