（通信与信息系统专业论文）序列图像运动估计、目标检测及分层技术.pdf

摘要 森图像楚理中，我粕遴零是邋过摄像规获缛嚣鲶豹稷凝彦到黟豫豹。缀多德 况下摄像机安装在运动平台上，为了更好地捕捉图像，摄像机本身也要在全空间 范围内做扫描运动。这样一来，阉定的背景物体会程图像平面上避示出一种全局 熬二维运动，这裁髭曩像背景熬全局运动。全握运动慰动黩振检测带来了较大瓣 负面影响，增加了图像处理的复杂度。通常的做法怒通过适当的全局运动估计、 补偿磐法，去除全简运动，把稠邻的颧序列“校正”弱一个静止不交的背景上。 全局运动的估计与孙偿是必须的，它对于运动翻标的检测，数据流的压缩， 图像的高效寝征及基于内容的图像分层技术都有重疆意义。 开篇中我们详继夯绥了垒羯运魂倍诗与车 偿懿系统结枣毽、关键技术。著较必 细致地探讨了各项关键技术的几釉可能的实现细节。 在全局运动估计和补偿的关键技术实现中选择了一种工程上实现的全局邋 动倍诗与於偿嚣d s p 快速箕法，绘出了实理骧理羁溅程。势讨谂了经过全晨运动 估计与补偿后的序列图像的微弱点状避动的梭测问题，给出了一种三维空间的_ 谯 线搜索快速算法，与传统的搜索算法相比较，在有效往和可靠性方面迸行了分稀。 零文还谈到了基于全局运动住计与 偿粒塑像逶动区域分层。姆视频图像空 间按照全局运动模型参数的值划分为四个互不重叠的区域空间，便于下步提取 感兴趣的圈像空闯。 最后我们绘出了全局运动供计与 偿的款实现滚程图、关键技术的具体实现 和p c 仿真v c + + 的编程实现界面，以及操作方法、输入输出图像和结果分析。 本文探讨兹全局运麓 砉诗与羚偿戳及在鼗基确圭教徽弱点瓣标硷溺耱溪缘 区域分割的技术仿真试验，输入测试序列主要是摄像机做平移运动的情况，至于 更复杂的变焦、旋转等运劝形式浠要改进的摄像机运动模型和运动矢量计算方法 来实瑷，是我餐今蓐酝究豹搽讨方离。 荧毽词：全局运动运动毡诗与蛰偿强搽检测三维搜索区域分割 a b s t r a c t v i d e oi m a g es e q u e n c e sg e n e r a l l ya r eo b t a i n e dt h r o u g hv i d e oc a m e r ai nt h e s p a c em o n i t o r i n g u s u a l l y , t h ec a m e r ai s f i x e do nap l a t ef o r ms c a n n i n go v e rt h e r e l e v a n ts p a c ea r e af o r c a t c h i n gm o v i n gt a r g e t s ot h eb a c k g r o u n dw i l lh a v eag l o b a l m o t i o nw h i c hw i l lb r i n g sb a d l y d i f f i c u l t yf o rt h ed e t e c t i o no f t h em o v i n g t a r g e t s a n d c o n s i d e r i n g t h ed a t ac o m p r e s s i o n ，l a y e r i n go fv i d e o i m a g e sb a s e d o nc o n t e n t s ，e t c 。， t h eg l o b a lm o t i o ne s t i m a t i o na n d c o m p e n s a t i o n a r e r e q u i r e d i nc h a p t e rt w oa r e 垂v e nt h es y s t e ms t r u c t u r ea n dk e y t e c t m o l o g i e so fg l o b a l e s t i m a t i o na n d c o m p e n s a t i o n ，d e s c r i b i n g s e v e r a l p o s s i b l e d e t m l so fe a c h k e y t e c h n o l o g y i n c h a p t e rt h r e e a l ed i s c u s s e da r a p i da l g o r i t h m o fg l o b a le s t i m a t i o na n d c o m p e n s a t i o n f o rd s p e n g i n e e r i n gi m p l e m e n t a t i o n a t t h es a n ! et i m e ，t ot h ed e t e c t i o n o fm o v i n gf a i n t p o i n tt a r g e tt h r o u g hg l o b a le s t i m a t i o na n dc o m p e n s a t i o n ，i sp u t f o r w a r dad e w s e a r c h i n ga l g o r i t h mb ys t r a i g h tl i n es e g m e n ti nt h r e e d i m e n s i o na n d c o m p a r e d i t 、i t l lt h et r a d i t i o n a ls e a r c h i n g t e c h n o l o g i e s g i v i n gt h e i rp e r f o r m a n c e s i n c h a p t e rf o u r , i sd e v e l o p e d t h e t e c h n o l o g yo f l a y e r i n g o f v i d e o s e q u e n c e s b a s e d o ng l o b a le s t i m a t i o na n dc o m p e n s a t i o n t h ei m a g es p a c ei sd i v i d e di n t ot h ef o u r i n d e p e n d e n tp a r t s ，b a s e do np a r a m e t e r so fg l o b a lm o t i o n t h et e c h n o l o g yi sv e r y u s e f u lf o r d r a w i n gr e g i o n so f i n t e r e s t ( r o d 。 1 1 1t h el a s tc h a p t e r , a r ea n a l y z e dt h ep c s i m u l a t i o no ft h et e c h n o l o g i e sd i s c u s s e d a b o v ea n dt h er e l a t e ds o f t w a r ep l a t ef o r m t h es i m u l a t i o n t e c h n o l o g i e sa r ea l s o d i s c u s s e d ：t h ef l o wc h a r to fw h o l e s y s t e r n ，p r o g r a m so fk e yt e c h n o l o g y , i n t e r f a c eo f t h er e l e v a n t s o f t w a r e ，o p e r a t i o n a lr u l e s ，i n p u ti m a g e s ，o u t p u ti m a g e sa n dr e s u l t a n a l y s i s i nt h ep cs i m u l a t i o na r eu s e dt h e i m a g e so b t a i n e di nt h ec o n d i t i o nt h a tt h e c a m e r ao n l yp a n so rt i l t s m o r e c o m p l e xm o t i o n s ，i fr e q u i r e d ，s u c ha sz o o m i n g ， r o l l i n g ，a r es u g g e s t e d t ob ef u r t h e rd i s c u s s e di nt h ef u t u r e 。 k e yw o r d s ：g l o b a lm o t i o n ，m o t i o ne s t i m a t i o na n dc o m p c a a s a t i o n ，t a r g e td e t e c t i o n ， s e a r c h i n g i n t h r e e - d i m e n s i o n ，l a y e r i n go f v i d e os e q u e n c e s 。 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成祭。据我所知，除了文中特别加以栎注和致谢的地 方外，论文中不包含其他入己经发表成撰写过的研究成果，也不包含 失获褥泡子科技大学或其它教育视构鲍学傻或谖书两使用过的材料。 与我一网工作戆同志对本研究所擞的珏何贡献均已在论文中作了明 确的说明并表示谢爨。 签名：查受i 竺：! 兰日期：a ) 棚争年。月。f 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向图家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采糟影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密酶学位论文在解蜜惹应遵守】毙烧定) 签名：垒生i 竺! 鎏导魉签名：趁 圈期：0 ”啦年。月ar e 电子科拙大学硕士论文 1 1 研究背景与意义 第一牵弓l 言 视频序列中个常见的憾彤是：一些独立的物体在固定的背景中移动，这样 的背景相对于相邻帧序列而言，都怒完全“静止”不变的。然而在图像处联中， 我们逶鬻跫逶避摄像辊获褥舔始懿筏频穿巅图像瓣。缀多情嚣下摄像壤安装在运 动平台上，为了更好地捕捉图像，摄像机本身也娶在全空间范围内做扫描运动， 如z o o m ( 缩放) 、p a n ( 水平运动) 、t i l t ( 竖直邀动) 、r o l l ( 旋转运动) 等，这 榉一来，强定豹背景秘体会程塑像孚嚣上鼹示出耱全鼹趣二维运动，这裁是图 像背景的全局运动( g l o b a lm o t i o n ) 。全局运动对视频图像的处理带来了较大的 负龋影响，增加了图像处理的复杂度。通常的做法是通过适当的全局运动佑计、 偿算法，去蟓全局运动，摁相邻嬲梭痔捌“技燕”到一个静止虿交豹背爨上。 全局运动的估计与补偿怒必须的，它对于运动目标的检测，数据流的联缩， 图像的嵩效表馥及基予内容的图像分罄技术都有篷要意义。稠蓊l 全局运动彳鑫计可 以樗到一段视频序列的全景圈，因此它可以应用予虚拟现实系统中的背景圈生 成；全局遮动还可以用于基予运动的图像分割；在对视频序列的背景j l 行编码时， 霹戳蓄先遽过全悬运动信诗穗嚣运凌蒺型豹参数，然螽邋过运凌模蝥参数霹待编 码图像进行运动预测，蠼后对模型参数和补偿后的残差进行编码达到数据压缩的 目的( 如m e p g 珥) ；在视频内容的分析描述中，利用全简运动估计也可l 冀得到和 摄像极运凌楣关豹售惑，麸嚣送行耀缘的内容捻索与交互式羧利f 懿m e p g 7 ) 。 由于目前许多全局运动估计方法都是基于密度估计的，这些方都面临这样两个困 难：诗算代价高和嗓声多雩l 越估计结果不准确。如何解决计算蹩稀倍计精度两者 闽戆矛麓是当翦的黟 究阀题。也是我 】今压研究工作的重点。 1 2 课题的研究任势 全局运动的估计与补偿技术可以作为序列图像中微弱点状运动目标的检测 与跟踪技术的图像预她理，对实时输入的视频图像序列先进行全局运动估计和补 偿，使鹫像帮爨耀对静止，潋使突凑蚕豫审靛运渤嚣标。遂过全是运动楚传诗与 补偿，还能够赢接检测出较大的运动目标，用于基于内容的视频图像分层技术。 第一章：引言 本文正是从这两个角度出发，对全局运动的估计、补偿进行研究，给出理论上的 最佳算法、结果分析，以及工程上的快速实现算法。并在研究全局运动估计与保 持的基础上，对图像的基于运动的内容分层，序列图像中的运动微弱点目标的检 测技术等进行了探讨。 1 3 相关国内外研究动态 1 。3 ，1 全局运动估计与补偿技术 如何准确快速地估计出全局运动，并对其进行适当的补偿呢? 关键在于估计 图像各象素点的运动速度v 【z ，川。最直接的想法就是对应于图像背景上的每一 个像素，计算出它的运动场矢量，再根据矢量场的大小，进行全局运动补偿。可 以通过常用的块匹配算法或光流场技术进行运动场矢量的估计。文献【1 】估计 图像的各像素运动得n - - 维运动场，通过分类技术分割出运动目标，适用于大目 标；文献【2 】采用基于相位相关的算法，只适用于平移运动的模型。 逐像素的运动矢量运算将引入两个问题： ( 1 ) 逐个估计图像中每个象素点的运动速度，计算量很大； ( 2 ) 无论采用块匹配算法或光流场技术估计单个象素点的运动速度，都不 能保证该像素一定是在“静止”的背景上，这样就有可能会出现一些异常的估计 值，这些异常估计值对全局运动的正常估计将产生较为严重的影响。 对于同一帧的数字图像而言，不同区域的全局运动矢量很可能不相等( 摄像 机只存在平移运动时，图像上各像素的全局运动矢量是相等的) 。例如，相对于 摄像机的旋转运动，处于图像中心的像素点的运动矢量要比图像边缘的像素点运 动矢量大。然而，我们发现相对于某种摄像机运动模型而言，图像上各像素点的 运动具有相同的规律，它们做的是共模运动。如果我们找到这个共同的运动模型， 就能够用它来方便地描述图像相对于摄像机的全局运动，显然这个模型能够很好 地描述图像的平移、旋转、放缩等多种运动。用于表征这个模型的参数就被定义 为全局运动参数。假定我们求得了全局运动参数，那么图像上各个像素点的运动 矢量都可以根据此参数求得。这么一来，全局运动的估计问题就被归结为全局运 动参数的估计。如何计算全局运动参数呢? 首先我们得选用一种适当的摄像机运 动模型，如旋转平移的四参数模型、平行投影的六参数模型、透视投影的八参数 模型等。如何估计选定模型的参数昵? 文献中有很多种方法，文献【3 、4 、5 】 中采用了光流场技术；文献【6 、7 、8 】采用了块匹配技术：文献【9 】采用了像 电子科技大学硕士论文 素回归技术；文献【1 0 、1 1 、1 2 1 采用了最大后验概率估计技术。 1 3 2 微弱点状运动目标的检测 近些年来，由于军事上要求不断的提高防御系统性能，使得人们对远距离， 低信噪杂波比情况下的微弱点状运动目标的检测及跟踪技术产生了浓厚的兴趣， 使得该课题成为目前的研究热点之一。 微弱点状运动目标的信噪杂波比极低，使得在单帧图像上几乎不可能检测出 目标，或即使检测出目标也常常伴随着大量的假目标。因此，目前的检测技术多 采用时空联合多帧检测技术。 对于序列图像中的微弱点状运动目标，虽然从长时间看，存在着较多的不确 定因素，但在短时间内具有平稳特性，主要表现为： 1 短时间内点目标灰度值可近似认为不变。 2 在短时间内点目标的运动速度可近似认为不变。 从检测中应用微弱点状运动的短时间平稳特性的方式出发，可将多帧检测技 术分为两大类：1 先检测后跟踪技术( d e t e c t i o n - b e f o r e - t r a c k ) ，2 先跟踪后检测技 术( t r a c k - b e f o r e d e t e c t i o n ) 。前者首先根据目标的短时灰度特性对单帧图像进行 灰度闽值判别，然后在分割后的二值化图像序列中根据目标的短时运动速度特 性，寻找可能的目标轨迹，这种方法的计算相对简单，但要求一个高信噪比环境。 而后者首先根据目标的短时运动速度特性，通过累积目标的所有可能的运动轨迹 的亮度值，然后根据目标的短时灰度特性判别各条轨迹的后验概率，从而检测出 真实的目标运行轨迹。对于微弱点状运动目标的检测，通常采用先跟踪后检测方 法。目前文献上出现的算法可大致分为以下几大类：基于三维速度匹配滤波器阵 的检测算法、基于像素统计的方法、投影检测算法等。【1 3 】从统计分析的观点 出发，通过假设短时间内目标所有可能运行的轨迹，直接对三维图像序列( 两维 空间域，一维时间域) 的各个象素点进行统计假设检验来检测目标是否出现。【1 4 从信号处理的角度出发，通过判别三维速度匹配滤波器阵的输出来检测目标是否 出现。【1 5 】分别给出了这两种算法性能的理论分析及实验结果。虽然这两种算 法的出发点不同，但它们的最终实现方式并无本质区别。在理想情况下，这两类 算法都可以达到最佳检测性能，但它们都要求直接处理三维数据，计算量太大， 很难实时实现。为减少计算量，【1 6 ，1 7 1 采用投影方法，将三维图像序列投影到 二维图像空间中，通过检测二维投影图像中的直线段来判别是否存在目标。 第一章：引言 1 3 3 基于运动的图像内容分层 近年来，基于对象的视频编码技术在m p e g - - 4 标准制定的推动下成为编码 研究领域中的一个热点。这个新的国际标准提供了过去视频编码协议中所没有的 功能，其中包括基于内容的交互性、自然和人工混和数据编码、基于内容的可缩 放性等技术，从而满足将来的多媒体应用的需要。这些新功能的实现，需要对视 频对象进行基于内容的表示，也就是要将视频序列预先分解成有意义的对象集即 视频对象面( v o p ) ，这要通过视频分割技术来实现。最基本的就是运动分层。 文献【1 8 】提出的方法是对连续两帧的帧差图像门限化获得运动区域，然后估计 运动场来进一步分离出静止背景和运动的前景。文献【1 9 在前者的基础上提出 了一种基于变化检测的时间分割算法。这种方法必须先获得变化检测掩模 ( c d m ) 。为此，对连续两帧门限化，然后采用一直松弛技术对帧差图像的边缘 平滑，再利用对象形状的空间连贯性来得到时间稳定的对象区域并对该区域进行 简化，去除小区域，获得c d m ，接着从获得的c d m 中去除未覆盖的最终的对 象掩模，从而对图像进行内容分层。文献1 2 0 l 提出一种利用高阶矩和运动跟踪 的方法用多帧来进行对象分割，对各个帧差进行高阶统计，来检测运动区域。然 后在各个高阶映射上进行运动估计获得最终对象掩模。这些方法的共同点都是直 接通过两帧的帧差来检测对象的运动区域。这就存在全局运动所带来的噪声影 响。 1 4 主要研究工作 我们的研究工作主要是围绕全局运动估计和补偿、补偿之后的视频图像序列 中的微弱点状目标的检测与跟踪、基于运动的内容分层技术进行的。 ( a ) 文中我们给出了视频图像序列全局运动估计与补偿的完整系统实现和 关键技术模块： ( 1 ) 摄像机共模运动模型的选取； ( 2 ) 图像点的采样； ( 3 ) 采样点运动场的估算： ( 4 ) 估计采样点的运动矢量求取模型参数； ( 5 ) 全局运动的补偿； ( 6 ) 系统性能分析。 在关键技术的实现细节上，讨论了几种全局运动估计和补偿的算法。 电予科技大学硕士论文 ( b ) 在经过全局遮动估计与补偿及背景抑制的残余图像序列上进行微弱点 状运动目标的三维空闻快速煮线援索检测，讨论凡稀搜索葬法并进行检测性能分 析。 ( c ) 选择了种进行p c 实现的全局运动估计与补偿的系统仿真，并在此 錾懿上述行运动矢量蜜弱绘稍箨萋予运魂熬图像浅容分鼷。由诧褥弱一耪基予全 局运动估计与补偿的图像分层的完整算法，在理论分析的基础上，进行了v c + + 平台上的系统试验。 。s 论文安排 第一誊：日 言，主要介绍谍题的研究蔹务及函内步 研究动态等。 第二露：全局运动佳计与补偿的关键披术模块。主要分为六个部分，分别进 行阐述。 第三章：一释工程应该後速实臻盼全两运裁弊法，斑嗣予裰频图像序歹l 中徽 弱点状目标的检测与跟踪的d s p 实时实现，以及图像序列中的微弱点状运动目 标的理想检测三维空间搜索技术。 募嚣牵：选淑一耱遥当麴全局运动与 褛戆方法进行基予邋动的翻豫蠹容分 屡的研究。将图像空间分为遮挡部分、新生成区域、重整的运勘目标区域、重叠 的背景区域四个互相独立的部分。对运动爵标的分割、背景生成等兵裔重要意义。 第五章：全局运动估计与於偿豹p c 试验仿囊及结粜输出。 第一二章：全局运动估汁的熬键技术模块 第二章全局运动馈计的美键技术模块 2 1 全局遨动估计方案 在摄像枧记录( 拍摄) 影像的时候，难以保持缝对静止，总会傲一些诸按： 平移、放缩、旋转等的运动，由于人为因素，还常常会引起摄像机的抖动。这 在我们褥妥笳鹜像序裂中辱i 入了摄像稳静运动。相对于是滚嚣标豹相对运动藉 言，我们称之为摄像机的全局运动。全局运动与局域运动的关系如下图所示： 摄像撬逶动矢羹v 乏啼 鞠( 2 1 ) 全簧运动与筠域运动矢量 如图( 2 - 1 ) ，摄像桃以速度v 1 做水平向右的平移运动( 全局运动) ，而运 动目标以速度v 2 做垂直向下的平移逡动( 局域运动) 。如果不存在摄像机的全 局运动，将会缀容易检测到垦糖鲢实躲运动。瑟出予全局运动载存在，摄像极 的运动方式将会影响到目标的遂动矢数，我们检测划的是目标的复合逡动，并 且由予全霭运动静存在将会在麓分图豫中雩 入较大酌噪声，为嚣标裣浏带来邈 大的难度。如何去除摄像机运动的引起全局逯动，从而芷确地捡测到霞标的棚 对运动呢? 这就是会局运动估计与补偿将要究成的任务。 要迸嚣金属运稳瓣髅诗与李 偿楚攥，鬟蘩藿先镳计文强像中各蒙索点戆运 动速度，之后通过校正算子将其校正到下一帧中，如式( 2 * 1 ) 所示： 厂( x ，y ，) _ 研f ( x ，y ，k 一1 ) ，v ( x ，y ，k 一1 ) 】公式( 2 1 ) 冀中g - l 表示校歪舅子，f ( x ，y ，k 1 ) 表示第k t 时刻靛图豫，v ( x ，y ，k - 1 ) 表示k 一1 时刻点( 鼻，) 处的运动速度( 全局运动矢量) ，f ( x ，y ，七) 表示校正后的 电子科技大学硕士论文 图像。 由此可见，只要正确估计出各像素的运动矢量，就能去除全局运动的影响。 因而，对于运动背景的校正处理，关键在于估计图像各象素点的运动速度 v ( x ，_ y ) 。最直接的想法当然是逐帧逐像素地求取运动矢量( 注意到这里的运动 矢量指的是全局运动矢量，而所谓的逐像素也指的是落在背景上的点，而非目 标点。因为此时目标点上的运动矢量不仅仅是全局运动矢量，还有相对的局域 运动矢量的影响，是二者的合成。目标点上的全局运动补偿要利用其邻域背景 点上的全局运动估计值来进行。) ，然而逐像素的计算量十分大，不利于实时实 现。同时也无法区分全局运动的背景点与做局域相对运动的目标点。考虑到对 图像帧上的每一帧而言，虽然各点的全局运动矢量不尽相同( 只存在p a n 运动 时除外，此时图像上备点的全局运动矢量都相同。) ，但都是在同一摄像机模型 下的运动，因而应该遵循相同的运动模型，可以用同一模型参数来表示。现在 的全局运动估计与补偿的问题变成了求取全局运动模型。只要知道了这个模型， 那么各点的全局运动矢量就知道了，我们即可对相应图像帧进行补偿。同时由 于摄像机运动模型可采用简单的线性模型，从而使得图像背景各象索点运动速 度场的估计计算量大大减小，从而提高运动背景补偿校正的实时性。 文献【1 6 】中给出了该技术的模型如图( 2 2 ) 所示： 图( 2 - 2 ) 摄像机运动背景补偿校正模型 在上述模型中，设原始输入序列图像为 ( x ，j ，) ，由于摄像机运动作用输出 的图像a ( x ，y ) ( 即拍摄得到的图像序列) 为： l ( x ，y ) = h l z ( x ，y 】 公式( 2 - 2 ) 设摄像机的实际运动参数为a ，则h 2 算子输出为摄像机运动参数的估计值 舂= h ：【 ( x ，y ) 】 公式( 2 3 ) 在估计出摄像机运动参数后，再由摄像机运动模型估计出图像各象素点的 运动速度矿，这一过程由算子h 3 完成。 第二章：全局运动估计的关键技术模块 矿= 凰向 公式( 2 - 4 ) 经过补偿算子h 。输出摄像机运动补偿后的图像为： ( x ，y ) = h 。【 ( x ，y ) ，内 公式( 2 - 5 ) 由上面的分析可知，正是由于h 玎全局运动的估计与补偿就是要实现上述 的三个算子：日2 【 ，日，【】，日t 【】。 摄像机运动估计与补偿技术主要涉及到六个重要环节：运动模型的选择、 像素运动场的计算、图像像素点的选取( 即采样) 和模型参数的求取，最后还 要进行全局运动的补偿和衡量算法性能的优劣。六个关键技术模块的整合系统 框图如下图所示： 图( 2 - 3 ) 全局运动估计与补偿系统框图 下面我们分别就这几方面进行详细阐述。 2 2 全局运动模型的描述与选择 要计算图像的全局运动参数，首先要找到正确表征全局运动的摄像机的共 模运动模型。这是因为数字视频的处理，是对用采集系统捕获的三维空域场景 输 出 图 像 序 列 电子科技大学硕士论文 的二维投影图像序列进行分析和处理，获得二维图像和三维场景中实体对象的 形状结构、运动变化等时、空域特征，从而获得更优质的视频图像或抽取某些 特殊信息的技术。由于二维的时变视频图像反映的是随时间变化的现实世界中 的三维空域场景，因此有必要研究时变的三维空域场景以及它与投影到二维视 频图像平面上形成的时变视频图像之间的映射关系。本节首先讨论了表达三维 空域场景及其中实体的结构和运动变化的数学模型，然后研究时变的三维空域 场景和二维视频图像平面的几种投影模型：透视投影、正交投影( 平移投影) 和基于透视投影的旋转平移假设模型，分析在这几种关系下三维空域场景和它 的二维投影之间映射关系的数学表示，研究了摄相机运动对影射关系的影响； 最后建立在观察噪声条件下的数字视频数学模型；并在此基础上建立基于旋转 平移假设的投影位移参量数学模型。本节是数字视频处理的建模基础，特别是 平移旋转假设为数字视频图像序列中的运动分析提供了模型并搭建了数学平 台。 三维场景模型就是描述场景中实体的三维结构、运动( 位移和旋转) 和摄相 机三维运动( 缩放、旋转和平移) 以及他们的相对运动的数学模型。在我们的研 究中，采用笛卡尔坐标系中的三维空域场景模型。由于观察的实体对象的形状 被认为是不随时间变化的，因此，场景中实体的三维结构是刚性的，可以用一 组相对位置不随时间变化的三维点的集合来表示，这些点组成实体外表面，是 一些不变形的平面或分段平面。每个刚性实体只需一个三维坐标向量及其变化 来描述其位置和运动。 在图像存在旋转、变焦等运动方式时，系统可采用运动参数估计法对目标 的三维运动进行描述。典型的运动参数估计模型分析如下： 假设在时刻缸成像刚体的某一点的坐标为( 互，y ，扪，在时刻“该点运动到 ( x ，y ，z ) ，这一运动可用矩阵r 描述的旋转和矢量t 表示的平移来合成，有： p 阳 i 】，。l ：r iyi + t 训l z j ，1 2 ，2 2 r 3 2 公式( 2 6 ) 而在成像平面上，相应的点从时刻。t 的坐标( x ，y ) 变化为时刻“的坐标 ( x ，y ) ，如何从相邻两帧的图像中估计出相应点坐标变换的关系是解决问题的 关键。二维时变视频图像是图像采集系统利用摄相机获取的时变三维空域场景 、j 一”一 + _e_-_e_-_l x y z 丌o o o o o 且 第二章：全局运动估计的关键技术模块 投影到二维平面上引起的亮度和颜色密度分布( i n t e n s i t yd i s t r i b u t i o n ) 的变化。这 种三维空域场景与二维图像平面间的投影关系可以用一个从四维空间到三维空 间的映射来表示【2 4 】 r 4 与r 3 ( x l ，x 2 ，3 ，f ) 上斗( _ ，x 2 ，) 公式( 2 7 ) 其中( x 1 ，五，x ，) 是三维全局坐标，( 扎，x ：) 为二维图像平面上的坐标，f 是 连续的时间变量。映射函数f 代表从三维空域场景到二维图像平面的不同投影 方式。根据映射函数的不同，可以得到几种不同的投影模型，典型的模型有： 2 2 1 基于平行投影的六参数模型 平行投影的模型可用图( 2 4 ) 表示： y i i m a g e p l a n e 卅 陟 1互 一 宅 1y ，z ) 图( 2 - 4 ) 六参数估计模型 由图( 2 4 ) 可以看出，在此模型中是基于平行投影的，在成像平面中的目标 点坐标( 毛y ) 与目标三维点坐标( z ，y ，z ) 的关系为： ( x ，y ) = ( x ，y )( x ，y ) = ( x ，y ) 由式( 2 6 ) 、( 2 7 ) 可得：( 2 - 9 ) 进一步可表示为： 】x = 口i x + a 2 y + 口3 l y 2 0 4 x + a s y + a 6 公式( 2 - 8 ) 公式( 2 9 ) 公式( 2 ，1 0 ) p j ，f + z z 仫 ，l，l + + y y 2 2吒 + + x x = = x y ，、l 电子科技太学硕士论文 其中：口l = 1 1 2 = _ 2口4 = 也ln 5 = 2 臻3 = r 1 3 z + t i群6 = 恐3 z f 2 这样成豫平巍中刚体残像媳坐撅变换藏取决予六个参数 h ，d 2 ，a 3 ，a 4 ，a 5 】 葙焉警前蔽辆蓠一蔽的闰豫信意对魏六个参数进行话诗，靛可蔽褥至l 霞豫 的运动参数。 2 2 2 基乎透视投影的八参数模型 八参数透视投影的模型可用图( 2 - 5 ) 表示： x y 。 i m a g e p l a n e _ 1 z 1。 “+ + 一爿 。，。 f 汐 ( x 1y _ z ) 图( 2 5 ) 八参数估计模型 由胬( 2 5 ) 可良看出诧横垄是麓予透褫投影的，在藏像平面中的稿标意坐 标( x ，力与目标三维点嫩标( 爿，y ，z ) 姻关系为： 瓴力= ( ，妻，参y ( ，参， 公式( 2 - 1 1 ) 峦式 2 - 6 ) 、( 2 1 0 ) 可键： = f = f 1 搿+ 2 y + r j 3 z + 屯 冬l 并+ 2 y + z + 也1 搿+ ，2 2 l ，+ 也3 z + ，2 冬1 为2 y + 气3 z + 如 令，2 1 ，翻z 去除分子、分霉，有： x 。嚣圣! 兰墨! 羔墨i 垒! 兰 r 3 l x 十r 3 2 y + 3 + z v 篇垒! 兰垒! ! 奠垒! 兰 。 r 3 t 茗+ r 3 2 y + r 3 3 + 屯z 公式( 2 - 1 2 ) 公式( 2 - 1 3 ) 进步楚瀵，分子、努蹲霹豫疆+ 如z ，式 2 一1 3 ) 交荛# 旧 渺 第二章：全局运动估计的关键技术模块 ：! ! 三! ! 型生 口，x + a g y + 1 。：鱼! 竺羔：丝 7 口，x + a s y + 1 其中铲r 3 3 - p 物 其中： 437 口，= 糕t 3 3 + z 旷嚣t 旎3 3 + z 期2 看藐吒3 + 屯z 铲彘r 3 3t 3 +z 这样成像平面中刚体成像的坐标变换就取决于八个参数： 口l ，口2 ，口3 ，口4 ，d 5 ，a 6 日，口8 】 公式( 2 - 1 4 ) 利用当前帧和前一帧的图像信息对此八个参数进行估计，就可以得到图像 的运动参数。 2 2 3 基于旋转平移假设的四参数法 四参数旋转平移运动模型也是基于透视投影的，如图( 2 6 ) 表示： 图( 2 - 6 ) 目标旋转坐标变换示意 这样旋转矩阵r 可表示为： 糍 】1 电子科技大学硕士论文 r = r r 目r r 公式( 2 - 1 5 ) 庐、0 、y 分别表示目标绕z 、x 、y 轴旋转的角度，采用图( 2 6 ) 表示的 投影模型，假设目标绕x 、y 轴的旋转很小，且对目标成像影响很小，则可忽略 目标绕x 、y 轴的旋转，而只考虑目标绕z 轴的旋转，旋转矩阵可表示为： c o s r = r f = ls i n e l 0 一s i n 西 c o s 毋 o 郭 结合式( 2 - 6 ) 、( 2 - 1 1 ) 可得 z = ，型甓竽 y = 厂型半 同理，令，= 1 ，用z 去除分子、分母，有： x ：! ! ! 查二墅塑垫竺 1 + t 3 z y 1 = 堂警 进一步处理可表示为： 口= ! ! ! 生 其中： 1 l + t 3 z n ，= 而t , z n 。：竺壁 2 1 - i - t 3 z t ，z 吼2 赢 公式( 2 - 1 6 ) 公式( 2 1 7 ) 公式( 2 - 1 8 ) 公式( 2 - 1 9 ) 这样成像平面中刚体成像的坐标变换就取决于四个参数：a l , a z , a 3 , a 4 利用当前帧和前一帧的图像信息对此四个参数进行估计，就可以得到图像 的运动参数。 3 4 口 a + + y y吒q 一 一 瞎扯 口 盯 = = 工 y ，、i 第二章：全局运动估计的关键技术模块 2 3 像素点运动场的计算 由上面模型参数的讨论可知，要计算出共模运动的摄像机模型参数，必须 知道相邻图像帧上某几个点的运动场，通过模型参数的公式，利用运动场来反 推求出全局运动参数。对于平行投影的六参数模型而言，要计算全局运动参数， 最少要知道对应三个像素点的运动场，基于透视投影的八参数模型，需要四个 像素点，而旋转平移的四参数模型最少仅需要对应两个像素点的矢量运动场。 求解运动场的方法有好几种，常用的有光流场，块匹配等。下面分别就两 种方法进行阐述。 2 3 1 光流场法计算像素运动矢量 基于5 c2 婶，y , t j 的变化，从时刻t 到t 的图像平面坐标( x ，y ) 的位移成 为一个对应矢量。一个光流矢量定义为在特定点( x ，y ，f ) i f ：r 上的图像平面坐 标的瞬时变化率，即( v 1 ，v 2 ) = ( d x d t ，d y d t ) ，这如同由亮度特性曲线 5 c 2 l x ，y ，f j 的时空变化来决定的一样。亦即是说，它对应于瞬时的象素速度 矢量。实事上，依据在二维图像亮度特性曲线时空点阵上具有可观察的变 化这一点，我们将对应( 光流) 场定义为象素位移( 速度) 的矢量场【2 6 】。 这里存在两个限制条件：在实际运动能被观察到的运动范围内要有足够的灰 度等级( 颜色) 变化；忽略外部光照的变化。 在建立了以上的光流场模型以后，我们可以用光流场方程来求解图像象 素点的运动速度。 假设s c 。协，y , t j 表示连续时空亮度分布。如果沿着运动轨迹上的亮度保 持不变，我们得到： d s c ，y ，t ) l d t = 0 公式( 2 2 0 ) 其中x 和y 沿着运动轨迹随t 变化。上述是一个全导数表达式，它表示沿 着运动轨迹的亮度变化率。运用微分连锁法，可以表示为： 塾生+ 盟塑+ 盟：0 巩出 勿出 a 公式( 2 2 1 ) 由于式( 2 6 ) 只有一个方程，不可能计算出含有两个变量的速度场v ，即 电子科技大学硕士论文 存在光流场“缝隙”问题。针对这个问题，人们研究了不少解决方法，寻找另 外一个约束条件来求解该方程式，例如二阶微分法【2 6 】，块运动模型 2 7 1 ， h o r n s c h u n c k 法等。 由于我们目前要解决的问题是运动背景补偿问题，在选定的背景点附近的 邻域内各点的运动速度近似相同( 但并不完全相同) ，因此，l u c a s 提出的块运动 模型最适合于这种情况。但由于块内各点的运动速度并不完全相同，因此，我 们采用一种改进的按窗函数加权的块运动模型。 令b 表示选定的背景点附近的邻域区域，定义区域内光流场误差为： e5磊w2(训)(v&(x，y,t)y+se，(x，y,tb ) ) 2 公式( 2 2 2 2 2 ) 2 x e公五( 一】 式中w ( x ，y ) 为窗权函数，可选高斯型窗函数。 使区域内光流场误差最小，即令： 丝：o o v 公式( 2 2 3 ) 解式( 2 磅) ，有： v = w z ( 训) 掣掣 ( x y ) e b o xo x w z ( ) 堡譬业o i 錾x , y , t ) ( z ，y ) e box回7 2 3 2 块匹配法 w 2 ( x ，y ) ( # ，y ) e 占 w 2 ( x ，y ) ( 4 ，y ) e b 丞。( x ，y ，t 0 x 出。( x ，y ，t k 。w 2 ( x 础，掣掣(，y)e占cw d r 毳w 2 y ，篙半笔半石e 口a vu f 瓠。( x ，y ，t ) a v 两。( 一y ，t ) 砂 公式( 2 2 4 ) 基于块的运动估算和补偿可算是最通用的算法。我们可以把图像分割成不 同的图像块，假定同一图像小块上的运动矢量是相同的。通过像素域搜索得到 最佳的运动矢量估算。 块匹配的基本思想可以用下图( 2 - 7 ) 描绘： 第二章：全局运动估计的关键技术模块 l 帧k + l 幽( 2 7 ) 其中帧k ( 当前帧) 中的像素( n l ，n 2 ) 的位移通过考虑一个中心定位在( n l ，n 2 ) 的n 1 n 2 块，同时搜索帧k + l ( 搜索帧) 来找出同样的大小的最佳匹配块的 位置来确定。从计算因素考虑，通常限制在( n i + 2 m 1 ) ( n 2 + 2 m 2 ) 范围内( 称 为搜索窗口) 。 块匹配法主要有三个关键技术： 1 、匹配法则( 例如最大相关，最小误差等) ； 2 、搜索方法( 例如三步搜索法，交叉搜索法等) ； 3 、块大小的确定( 例如分级，自适应等) 。 在这里，我们采用了最小平均绝对差函数( m a d ) 的匹配准则，最小邻域 ( 5 5 ) 全局搜索的方法，确定块大小为1 6 1 6 。 m a d 最小值准则定义为： 脚似l ，如) 2 志却弛( n l , m , k ) - s ( n l + d l , n 2 + d 2 , k + 1 ) 公船2 5 ) 位移估算由下式给出： d ，c 2 1 r - - a r g m i n m a d ( d 胁， 2 4 像素点的采样 公式( 2 - 2 6 ) 解决了像素点的运动场的计算之后，就涉及到图像点的采样问题。如何通 过上述公式进行计算，选取合适的图像点象素，计算其运动矢量从而运用摄像 电子科拽大学硕士论文 机的菇模运动模型公式得到其合理的全局运动参数呢? 我们可以考虑下列几种 方法。 注意象素点豹选郝大于理论露求擅，这是为了裂豫噪声的影响，及避兔采 样点落在目标上，这样会对仝局运动参数的估计带来较大的误差。 2 4 1 均匀采样： 在绘定图像媳图像上进行等行列的均匀采样。这是最筠单的采榉方法，注 意到由于均匀采样有哪能采到运动目标上，这就造成了模型参数计算的性能下 障，对全局运动酶待计和幸 馁的精度造成了损害。均匀采释带来懿弱猥我们可 以在模型参数的求取中采用攥捧叠代加权最小二莱的方法进行校正，根据模型 参数计算的像素运动场与实际运动物的差异来剔除均匀采样中的坏点。具体做 法在禳鼙参鼗静求取中霹淡鬻妥。绞者哥戳采焉蒸毽敬避豹袋榉方滚。 2 4 2 基于图像颈分析懿采样： 文献 2 2 】中提到可以先将原隧像进行边缘检测，检铡渤特征赢。在褶邻 嚣姣戆特征点处进毒亍装样，送榉憝够较为精确地残窭捐邻嚣竣像素患豹位爨， 有利于精确计算像素点的运动矢量，也可以大大减少采样点的数目，有利于模 羹参数的求取。但是图像的预处理增加了熬个计算的复杂往，丽特锤点的选取 也寿可能落在翳撂上( 憋基撂当成了特征点) ，这梯就会使处理性能大幅度下降。 为了减少这种可能性述需要攀先知道目标的大致特性。但在微弱点状目标的检 溺中，囱子霹标尺寸怒够小，可敬不考虑梵情鬣。 2 4 3 基于多分辨率酌采祥分析： 在相邻图像帧运动变化较小的时候，运用一般的光流场和块匹粥就能较好 圭蠡诗募逡像素淼豹运麓矢量场，扶嚣对全怒运动进褥会理豹於偿。瓷但程邻辑 帧运动较大的时候，就会出现较大的误懿。文献 2 3 】中指出，这个时候需要 对图像进行亚采样或者多级块匹配、块甄配下的光流场计算等。最简单的蹩采 鬟驻采襻。鼓光滚场缎亚采样技术为恻：善先憋兹爱熬始图像弱耍采样豹办法 划分成具有金字塔式分辨率的多个子图像，使得每一个子图像运动相对小些， 第二章：全局运动估计的关键技术模块 然后在每一个子图像中估计出运动模型参数。原图像的运动参数通过计算所有 子图像运动参数加权和获得。其步骤如下： 1 从原图像中抽取具有金字塔式分辨率的多个子图像：在确定某一亚采 样点的灰度值时，由于局部灰度值相关性较强，用其邻域加权和的办法如下式。 其中，m 为邻域窗口尺寸，一般为奇数。式中可见，在采样点邻域对灰度值进 行平滑后，上一层图像分辨率减半处理。其中，朋25 ，a2 ( o 0 8 8 4 ，o 3 5 3 6 ，