（通信与信息系统专业论文）视频图像序列中的运动分析技术及其应用.pdf

摘要 摘要 序列图像的运动估计和补偿对于数据流的压缩，运动目标的检测，图像的高 效表征以及基于内容的图像分层技术等有重要意义，已成为视频处理和计算机视 觉的关键技术，并在工业、国防、医学、网络技术等领域有广泛的应用价值。 本文重点讨论了全局运动估计算法以及其在微弱点状目标检测和基于运动的 图像内容分层技术中的应用，具体内容包括： 对视频运动模型进行分析，推导了三维刚体经摄像机投影到二维空间后的 运动场参数模型，为深入分析全局运动估计技术提供理论基础。 详细介绍了全局运动估计与补偿的系统结构、关键技术模块。并较为深入 地讨论了各项关键技术模块的几种可能的实现细节。 在分析现有的全局运动估计算法的基础上，结合二维运动场参数模型对现 有算法进行了改进实验表明，改进算法在计算速度和精确性上比现有算 法有所提高。 结合微弱点状运动目标检测的具体问题，给出了一神全局运动估计与补偿 的算法。在此基础上，讨论了三种三维空间的直线搜索算法，并在有效性 和可靠性方面与传统的搜索算法进行了分析比较。 最后介绍了基于全局运动估计与补偿的图像运动区域分层。将视频图像空 间按照全局运动模型参数的值划分为四个互不重叠的区域空间，便于下一 步提取感兴趣的图像空间。 关键词：全局运动全局运动补偿微弱目标检测图像分层 a b s t r a c t a b s t r a c t a sak e yt e c h n i q u eo ft h ed i # t a li m a g ep r o c e s s i n ga n dc o m p u t e rv i s i o n , m o t i o n e s t i m a t i o no fs e q u e n c ei m a g e sp l a y sa ni m p o r t a n tr o l ei nt h ec o m p r e s s i o no fi m a g ed a t a , t h ed e t e c t i o no ft h em o v i n gt a r g e t sa n dt h el a y e r i n go fv i d e o i th a sw i d ea p p l i c a t i o n v a l u ei ni n d u s t r y , n a t i o n a ld e f e n s e ，m e d i c i n e ，i n t e r u e tt e c h n o l o g y , a n dc t c i nt h i st h e s i s ， g l o b a lm o t i o ne s t i m a t i o na n di t sa p p l i c a t i o n s ，w h i c hi n c l u d et h ed e t e c t i o no fm o v i n g d i mp o m t a r g e t sa n dl a y e r i n go fv i d e os e q u e n c e s ，a r ei n v e s t i g a t e d i t ss p e c i f i cw o r k i n c l u d e s ： m a k i n ga na n a l y s i so ft h ev i d e om o t i o nm o d e l sa n dd e d u c i n gt h ep a r a m e t r i c m o d e l sw h i c hd e s c r i b et h ep r o j e c t i o no ft h r e e d i m e n s i o nr i g i dm o t i o no fa s u r f a c et ot h et w o - d i m e n s i o ni m a g ep l a n e i n t r o d u c i n gt h es y s t e ms t r u c t u r ea n dk e yt e c h n o l o g ym o d u l e so fg l o b a lm o t i o n e s t i m a t i o n d e s c r i b i n gs e v e r a lp o s s i b l ed e t a i l so fe a c hk e yt e c h n o l o g ym o d u l e c o m b i n i n gw i t ht h ep a r a m e t r i cm o d e l 。p r o p o s i n ga ni m p r o v e dg l o b a lm o t i o n e s t i m a t i o na l g o r i t h mb a s e do nt h ea n a l y s i so ft r a d i t i o n a la l g o r i t h m c o m p a r i n g w i t ht h et r a d i t i o n a la l g o r i t h m t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e d a l g o r i t h mi ss u p e r i o ri nc o m p u t a t i o na n da c c u r a c y c o n s i d e r i n gt h ec o n c r e t ea p p l i c a t i o ni nt h ed e t e c t i o no fm o v i n gd i mp o i n t t a r g e t so fs e q u e n c ei m a g e s ，ar a p i da l g o r i t h mo fg l o b a lm o t i o ne s t i m a t i o na n d c o m p e n s a t i o nf u re n g i n e e r i n gi m p l e m e n t a t i o ni sg i v e n a n dt h e n , m a k i n ga l l a n a l y s i s o fs e v e r a ls e a r c h i n ga l g o r i t h m sb y s t r a i g h t l i n e s e g m e n t i n t h r e e d i m e n s i o na n dg i v i n gt h e i rp e r f o r m a n c e sc o m p a r e dw i t ht h et r a d i t i o n a l s e a r c h i n gt e c h n i q u e s b a s e do ng l o b a lm o t i o ne s t i m a t i o na n dc o m p e n s a t i o n ，m a k i n ga na n a l y s i so f t h et e c h n i q u eo ft h el a y e r i n go fv i d e os e q u e n c e s t h ea n a l y s i ss h o w st h a tt h e t e c h n i q u e , d i v i d i n gi m a g es p a c ei n t ot h ef o u ri n d e p e n d e n tp a r t s ，i sv e r yu s e f u l f o rd r a w i n g r e g i o n so fi n t e r e s t ( r 0 1 ) k e y w o r d s ：g l o b a lm o t i o ne s t i m a t i o n ，g l o b a lm o t i o nc o m p e n s a t i o n , d i mt a r g e t d e t e c t i o n ，l a y e r i n go fv i d e os e q u e n c e s n 图目录 图目录 图2 - 1 六参数估计模型9 图2 2 八参数估计模型1 0 图2 - 3 四参数估计模型1 1 图3 1 摄像机运动背景补偿校正模型1 4 图3 2 全局运动估计与补偿系统框图1 4 图3 3 具有层次结构的运动模型参数估计与补偿功能框图1 7 图3 - 4 检测角点示意图1 9 图3 5 块匹配示意图2 2 图3 - 6 三步搜索法示意图2 3 图4 - l 基于块的外点去除3 2 图禾2 改进算法的流程图3 4 图4 _ 3f o r e m a n 原始帧图像。3 5 图4 4f o r e m a n 序列运动补偿后残差比较图3 5 图4 - 5t a b l et e n n i s 原始帧图像3 6 图4 - 6t a b l et e n n i s 序列运动补偿后残差比较图3 7 图4 7b o a t 原始帧图像3 8 图舢8b o a t 序列运动补偿后残差比较图3 8 图5 1 微弱目标检测框图4 1 图5 - 2 微弱点状运动目标序列图像4 2 图5 3 运动矢量的分组4 4 图5 4 全局运动估计算法框图4 5 图5 5 原始帧图像4 5 图5 - 6 运动补偿后效果示意图4 6 图5 7g m e 算法运动补偿后与直接差分残差图像p s n r 比较图4 6 图5 8 三维时空图像序列目标轨迹示意图4 7 图5 - 9 邻域搜索方向4 8 图5 1 0 相邻三帧上的搜索示意图4 8 图5 1 1 相邻三帧搜索图4 9 图5 1 2 三维直线搜索的5 帧线性合并r o c 曲线5 1 图6 1 序列图像的三维空间示意图5 2 图6 2 相邻两帧图像相对位置示意图5 3 图6 3 基于全局运动估计的图像分层框图5 5 图6 4 原始第k ，k + l 帧图像5 7 图6 - 5 运动矢量图( a ) ，c o ) 5 8 图6 - 6 运动矢量图( c ) 5 8 一v - 表目录 表3 - 1 运动模型。 表目录 表4 - lf o r e m a n 序列计算结果 表4 2t a b l et e n n i s 序列计算结果 表4 - 3 b o a t 序列计算结果 表5 - 1 五帧集成的点目标检测概率 。1 5 3 6 3 8 5 1 缩略词表 英文缩写 g m g m e g r f i m s e t l s m 0 m a p m s e p d f p s n r r o c r o i v o p 缩略词表 英文全称 g l o b a lm o t i o n g l o b a lm o t i o ne s t i m a t i o n g i b b sr a n d o mf i e l d s i t e r a t i v em e a ns q u a r ee s t i m a t i o n i t e r a t i v er e w e i g h t e dl e a s ts q u a r e m e a na b s o l u t ed i f f e r e n c e m a x i m u ma p o s t e r i o r i m e a ns q u a r ee r r o r p r o b a b i l i s t i cd i s t r i b u t i o nf u n c t i o n p e a ks i g n a lt on o i s er a t i o r e c e i v e ro p e r a t i n gc h a r a c t e r i s t i c r e g i o no fi n t e r e s t v i d e oo b j e c tp l a n e i 中文释义 全局运动 全局运动估计 吉布斯随机场 迭代最小均方误差估计 迭代重加权最小二乘 平均绝对误差 最大后验概率 平均平方误差 概率密度函数 峰值信噪比 接收机运行性能 感兴趣的区域 视频对象 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 年莎月汨 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：蝉 导师签 e t 期： 1 1 研究背景与意义 第一章绪论 视频序列的运动是非常复杂的，其中一种常见的情形是：一些独立的物体在 固定的背景中移动，这样的背景相对于相邻帧序列而言，都是“静止”不变的， 这些运动物体所表现出来的运动称之为局部运动。然而在图像处理中，通常是通 过摄像机获得原始的视频序列图像的，很多情况下摄像机安装在运动平台上，为 了更好地捕捉图像，摄像机本身也要在全空间范围内做扫描运动，如缩放、平移、 旋转运动这样，固定的背景物体会在图像平面上显示出一种全局的二维运动， 这就是图像背景的全局运动( g l o b a lm o t i o n ，g m ) 全局运动对视频图像的处理带 来了较大的负面影响，增加了图像处理的复杂度通常的做法是通过适当的全局 运动估计、补偿算法，去除全局运动，把相邻的帧序列“校正”到一个静止不变 的背景上。所以，全局运动估计的目的就是要从视频序列中找出背景的运动规律。 全局运动的估计与补偿技术广泛应用于运动目标的检测0 2 1 、图像拼接1 3 1 【4 】、 视频压缩【5 】【6 】【7 】【8 】及基于内容的图像分层 9 1 等领域。在运动目标的检测中，首先进行 全局运动估计，得到背景的运动，然后根据背景运动进行运动补偿，就可以得到 前景物体的运动。这样，根据运动的不同将前景和背景物体分开，从而完成比较 理想的运动目标的检测；在进行图像拼接时关键步骤是获取相邻帧间的运动参数， 而进行全局运动估计正是得到这些运动参数重要途径：另外，在对视频序列的背 景进行编码时，全局运动估计还可以用于获取运动模型的参数，然后通过运动模 型参数对编码图像进行运动预测，最后对模型参数和补偿后的残差进行编码达到 数据压缩的目的( 如m p e g - 4 ) ；在视频内容的分析描述中，利用全局运动估计也 可以得到和摄像机运动相关的信息，从而进行图像的内容检索与交互式控制f 如 m p e g - 7 ) 。 目前许多全局运动估计方法都是基于像素估计或基于特征的方法，而这些方 法都面临两大主要困难：算法计算量相当大和噪声引起的估计结果偏差。如何解 决计算量和估计精度两者间的矛盾是当前的研究问题，也是今后研究工作的重点。 电子科技大学硕士学位论文 1 2 课题的研究任务 全局运动估计与补偿技术有广泛的应用价值，它可以作为序列图像中微弱点 状运动目标检测与跟踪技术的预处理过程，对输入的视频图像序列先进行全局运 动估计和补偿，抑制图像的背景运动，以便突出图像中的运动目标；还可以通过 全局运动的估计与补偿，检测出较大的运动目标，用于基于内容的视频图像分层 技术。 本文正是从微弱点状目标序列图像中的背景校正和基于内容的视频图像分层 这两点出发，重点对全局运动估计与补偿的原理以及目前主要算法进行研究，并 给出了一种改进算法；结合序列图像中微弱点状运动目标的检测，给出了一种全 局运动估计算法；并在研究全局运动估计与补偿的基础上，对图像的基于运动的 内容分层技术进行了讨论。 1 3 国内外研究动态 1 3 1全局运动估计与补偿技术 全局运动估计与补偿技术的目的在于估计图像背景上各象素点的运动速度 矿阮y ) 。最直接的想法就是计算出图像上的每一个像素的运动场矢量，再根据矢 量场的大小进行全局运动补偿。关于计算运动矢量场，可以通过常用的块匹配算 法或光流场技术进行运动场矢量的估计。文献 1 0 l 估计图像的各像素运动得到二维 运动场，通过分类技术分割出运动目标，适用于大目标；文献1 1 1 1 采用基于相位相 关的算法，只适用于平移运动的模型。然而这些逐像素的运动矢量运算会引入两 个问题【1 2 1 ：逐个估计图像中每个象素点的运动速度，计算量很大；无论采用 块匹配算法或光流场技术估计单个象素点的运动速度，都不能保证该像素一定是 在“静止”的背景上，这样就有可能会出现一些异常的估计值，这些异常估计值 对全局运动的正常估计将产生较为严重的负面影响，使估计产生较大误差。 由于摄像机可能存在旋转、缩放等复杂运动，不同区域的全局运动矢量很可 能不相等。例如，相对于摄像机的缩放运动，处于图像中心的像素点的运动矢量 要比图像边缘的像素点运动矢量小。然而，在设定某种摄像机运动模型下，图像 上各像素点的运动服从相同的规律一共模运动。如果找到这个共同的运动模型， 就能够用它来方便地描述图像相对于摄像机的全局运动，显然这个模型能够很好 2 第一章绪论 地描述图像的平移、旋转、放缩等多种运动。用于表征这个模型的参数就被定义 为全局运动参数。假定求得了全局运动参数，那么图像上各个像素点的运动矢量 都可以根据此参数求得。这样，全局运动的估计问题就被归结为全局运动参数的 估计。要计算全局运动参数，首先需要选用一种适当的摄像机运动模型，如旋转 平移的四参数模型、平行投影的六参数模型、透视投影的八参数模型等。在估计 选定模型的参数中，目前大部分全局运动估计方法都是基于密度估计的，一般采 用迭代优化方法。这些方法可以分成基于像素梯度的方法和基于运动矢量的方法， 其中以基于像素梯度的方法最为成熟和适用，其计算结果也更为准确。文献 【8 1 3 1 1 4 1 s 采用了基于像素梯度的方法；文献1 1 6 1 1 7 1 1 8 采用了基于运动矢量 的方法 1 3 2 微弱点状运动目标的检测 近年来，由于军事上发展的需要，微弱点状运动目标的检测及跟踪技术成为 目前的研究热点之一。但是由于微弱点状运动目标的信噪杂波比较低，很难仅仅 依靠单帧图像检测出目标，或即使检测出目标也常常伴随着大量的假目标。因此， 目前的检测技术多采用时空联合多帧检测技术 分析微弱点状目标的特点可知，虽然从长时间看，存在着较多的不确定因素， 但在短时问内点目标灰度值、运动速度可近似认为不变即短时间内具有平稳特性。 根据在检测中如何利用这些特性，可将多帧检测技术分为两大类：先检测后跟 踪技术；先跟踪后检测技术。前者首先根据目标的短时灰度特性对单帧图像进 行灰度阈值判别，然后在分割后的二值化图像序列中根据目标的短时运动速度特 性，寻找可能的目标轨迹，这种方法的计算相对简单，但要求一个高信噪比环境。 而后者首先根据目标的短时运动速度特性，通过累积目标的所有可能的运动轨迹 的亮度值，然后根据目标的短时灰度特性判别各条轨迹的后验概率，从而检测出 真实的目标运行轨迹。 针对微弱点状目标的特点，目前文献中提出了很多检测算法，如基于三维速 度匹配滤波器阵的检测算法1 1 9 1 ，这种方法从信号处理的角度出发，通过判别三维 速度匹配滤波器阵的输出来检测目标是否出现。此外基于像素统计的方法脚l 从统 计分析的观点出发，通过假设短时间内丑标所有可能运行的轨迹。直接对三维图 像序列的各个象素点进行统计假设检验来检测目标是否出现。虽然这两种算法的 出发点不同，但它们的最终实现方式并无本质区别。在理想情况下，这两类算法 3 电子科技大学硕士学位论文 都可以达到最佳检测性能，但它们都要求直接处理三维数据，计算量太大，很难 实时实现。为减少计算量，文献 2 1 1 1 2 2 1 采用投影方法，将三维图像序列投影n - 维图像空间中，通过检测二维投影图像中的直线段来判别是否存在目标。此外小 波分析法也正成为另一个研究热点，通过小波变换将红外图像的低频部分和高频 部分进行分离，然后对各高频分量进行分析，可以将目标检测出来。 1 3 3基于运动的图像内容分层 视频序列图像分层的目的是通过将序列图像分成若干层次以便于视频压缩和 传输，如基于对象的视频编码的m p e g - 4 标准。这个新的国际标准提供了过去视 频编码协议中所没有的功能，其中包括基于内容的交互性、自然和人工混和数据 编码、基于内容的可缩放性等技术，从而满足将来的多媒体应用的需要。这些新 功能的实现，需要对视频对象进行基于内容的表示，也就是要将视频序列预先分 解成有意义的视频对象面，这要通过视频分割技术来实现，即运动分层来完成。 针对视频序列的运动分层，文献【2 3 】提出的方法是对连续两帧的帧差图像门限 化获得运动区域，然后估计运动场来迸一步分离出静止背景和运动的前景。文献【2 4 】 在前者的基础上提出了一种基于变化检测的时间分割算法。这种方法首先对连续 两帧差分，然后对帧差图像的边缘平滑，再利用对象形状的空问连贯性来得到时 间稳定的对象区域并对该区域进行简化，去除小区域，获得变化检测掩模，接着 从中去除未覆盖的最终的对象掩模，从而对图像进行内容分层。文献【2 5 】提出一种 利用高阶矩和运动跟踪的方法用多帧来进行对象分割，对各个帧差进行高阶统计， 来检测运动区域，然后在各个高阶映射上进行运动估计获得最终对象掩模。这些 方法的共同点都是直接通过两帧的帧差来检测对象的运动区域，其中全局运动是 检测运动区域的关键，对运动分层有重要影响。 1 4 主要研究工作 本文的研究工作重点是全局运动估计和补偿技术以及该技术在序列图像中的 微弱点状目标的检测和基于运动的内容分层中的应用。 文中给出了视频图像序列全局运动估计与补偿的完整系统方案和关键技 术模块，并在关键技术的实现细节上做了分析讨论。 在现有的全局运动估计算法的基础上进行了部分改进，并做了相关仿真来 4 第一章绪论 验证改进算法的有效性。 根据图像序列上微弱点状运动目标的特点给出了一种全局运动估计与补 偿算法。利用三维空间快速直线搜索检测运动目标并对几种搜索算法进行 检测性能分析。 分析全局运动估计补偿在序列图像运动分层中的应用，并在此基础上分析 运动矢量图的获取和系统仿真，从而得到一种基于全局运动估计与补偿的 图像分层的完整算法。 1 5 论文安排 第一章：引言，主要介绍课题的研究任务及国内外研究动态等。 第二章：介绍数字视频运动模型。为后续章节的全局运动估计和补偿分析奠定 7 理论基础。 第三章：分析全局运动估计与补偿的关键技术模块并对每个关键技术模块进 行阐述。 第四章：首先研究了现有的全局运动估计算法，然后给出一种改进的算法并 做了分析仿真。 第五章：根据图像序列中微弱点状目标的检测的特点，给出了一种全局运动 算法，在此基础上讨论了图像序列中的微弱点状运动目标检测三维空间搜索技术。 第六章：研究全局运动估计与补偿技术在基于图像内容分层上的应用。利用 全局运动的结果，将图像空间分为遮挡部分、新生成区域、重叠的运动目标区域、 重叠的背景区域四个互相独立的部分，进而分割运动目标、生成背景达到图像分 层的目的。 第七章；论文的总结与展望。 5 第二章数字视频运动模型分析 2 1观察空间中物体的三维运动模型 数字视频表达了三维场景和运动物体在二维图像平面上的投影信息随时问的 变化过程1 2 6 l ，这种变化过程反映了摄像机与物体及场景之间的相对三维运动。根 据运动学原理，三维运动分为刚体运动和非刚体运动。在刚体运动情况下，物体 上一组三维点之问的相对距离关系不随时间变化，即运动物体的三维结构和形状 可用一个不变形表面如：平面、分段平面或多项式曲面等来建模。如果整个观察 空闯中只有一个剐体，则可用一组运动和结构参数来建立描述模型。在相互独立 运动的多刚体的情况下，则需要多组不同的参数来描述各个刚体的运动。在非刚 体运动情况下，可用变形体模型来建模。 2 1 1刚体的三维运动模型及其运动场 应关系1 2 7 l 。记x = 区，五r ，x = 瞵：，z 矗】f 分别表示刚体上一点在f 和f ，时 其中露表示3 x 3 的旋转矩阵，t 一【z ，乏，五】表示平移矢量。在直角坐标系中 三维旋转可用相对于三个坐标轴五，五，玛的旋转角度口，伊，妒来表示，相对于各个 r e 1 i 篓0 - 卦s i n o ，酗斗一常 c o s b - 鼍s i n 庐v 司 r 一。【i 二：一；口】，r ，。l 量妒；? 】，r 。【毒 一；妒；】 一6 第二章数字视频运动模型分析 ，。【兰主差】2 1ror r ：以1 妒三a 矿0 】 c2-2a01 ， ，。lr 2 ，k j 暑 p l () i l ，1 ，3 3i 妒 l 运动位移场和三维运动速度场。将( 2 2 ) 代x ( 2 1 ) 式可得刚体上点x 的三维运动位 峥巨慑x ；- x ：i 1 苫1 硐+ 圈c 2 固 刚体上各点的三维运动位移矢量的集合便构成了刚体的三维运动位移场。上 式两边同时除以出，并令其极限趋近于零，可得到刚体上点x 的三维运动速度矢 量文= 院，重：，毫p 如下： x = q x x + v p 4 ) 其中q | 【q 。q 2 ，q ，r - d o d r ，如d t ，d 妒d t ，】表示相应的角速度， v = 暇，k ，k 】7 = 卿表示平移速度。刚体上各点的三维运动速度矢量的集合便构 成了刚体的三维运动速度场。 2 1 2 非刚体的三维运动模型及其运动场 利用变形体模型对非刚体的运动进行建模，其三维运动模型方程如下： x 7 = f d + r - i ) x + t ( 2 - 5 ) 其中d 为一个任意的变形矩阵。按照上面同样的分析推导过程可以得到非刚 体上点x 的三维运动位移矢量与三维运动速度矢量如下： d j x - x = ( d + r - i ) x + t ( 2 - 6 ) 文：d x ，q x + v ( 2 - 7 ) l 其中，表示单位矩阵。由此便可以形成非刚体的三维运动位移场和运动速度场。 7 电子科技大学硕十学位论文 2 2摄像机二维成像模型 假设在时刻气成像刚体的某一点的坐标为“，y ，z ) ，在时刻+ 。该点运动到 匡：】5 r 匡】+ t 。【兰差囊茎】+ 医】 但国 而在成像平面上，相应的点从时刻气的坐标 ，y ) 变化为时刻。的坐标 ( 置，z 2 ，石3 ，t ) 上一“，x 2 ，t ) 但9 ) 其中佤，五，玛) 是三维全局坐标，“，屯) 为二维图像平面上的坐标，f 是连续 2 2 1基于平行投影的六参数模型 平行投影的模型可用图2 - 1 表示： 8 第二章数字视频运动模型分析 y ， m a 9 6 触 t l 互 。 夕 一 宝 io r , y ，z ) 图2 - 1 六参数估计模型 由图2 - 1 可以看出，在成像平面中的目标点坐标o ，_ ) ，) 与目标三维点坐标 伍，y ，z ) 的关系为： 伍) ，) - ，y ) g ，y ) l 伍，y ) ( 2 - 1 0 ) 由式( 2 - 8 ) ，( 2 1 0 ) 可得：( 2 1 1 ) f x 一 l 工+ f i 2 y + c r u z + f 1 ) 1 y 一+ k y + 如z + 乞( 2 - 1 1 1 进一步可表示为： p 。n l 石+ 口2 y + a 3 但121l y 一a 4 x + a 5 y + 口6 牛。“j 其中： 4 l 一气l ，4 2 - r t 2 ，4 3 一r n z + a 4 - r 2 l ，口5 - ，五，口6 ，幺z + f 2 这样成像平面中刚体成像的坐标变换就取决于六个参数：p 。，口：，吩，a ，a ，口。】。 利用当前帧和前一帧的图像信息对此六个参数进行估计，就可以得到图像的运动 参数。 2 2 2 基于透视投影的八参数模型 八参数透视投影的模型可用图2 - 2 表示： 9 电子科技大学硕十学位论文 y x j ， m a g ep a m z “h r 。 伍，矿一 “ | c z , - , z 图2 - 2 八参数估计模型 由图2 - 2 所示，在成像平面中的目标点坐标o ，y ) 与目标三维点坐标【z ，y ，z ) 的 关系为： ) - ( ，孝，y ) i ( ，等， ) 由式( 2 - 8 ) 、( 2 1 3 ) 可得： z 。f 垒l 墨型垒2 墨垒 。1 3 l x + r ，2 y + 3 z + 岛 y ，r 2 t x + r = y + r 2 3 z + t 2 j r 3 l x + r o 1 毒t ( 2 - 1 4 ) 令，1 ，用z 去除分子、分母，可得： 工。垒! 苎垒2 兰尘! ! ! 兰 厂3 l 茗+ r 3 2 y + ，岛+ f 3 ，z v 。r 2 t x + r 2 2 y + r 2 s + t 2 z 1 r + r 3 2 y r 3 3 + t 3 z ( 2 - 1 5 ) 进一步处理，分子、分母可除以+ t ，z ，式( 2 1 5 ) 可变为； 其中： 工i 竺! 兰! 竺2 1 竺2 a 7 x + 4 8 y + 1 v - a 4 x + a s y + a 6 。 4 7 工+ a s y + 1 1 0 ( 2 1 6 ) 第二章数字视频运动模型分析 ”而r 1 1 ， 驴而r 2 2 ， 4 2 。k + r 1 2 t 3 z 一，k + 驴筹r 3 3t 篇3 ， +z 铲揣t 3 ， r 3 3 + z 铲而r 3 1 ，+ f 3 z 口。l ，3 3 + 岛z 吼。l 8 r 3 3 + t 3 | z 这样成像平面中刚体成像的坐标变换就取决于八个参数： 【a t , a ：，吩，口。，a ，a 。，a ，n 。】。利用当前帧和前一帧的图像信息对此八个参数进行估计， 就可以得到图像的运动参数。 2 2 3 基于旋转平移假设的四参数法 四参数旋转平移运动模型也是基于透视投影的，如图2 - 3 所示； 图2 - 3 四参数估计模型 这样旋转矩阵r 可表示为： 肌r , r a r 9 但1 刀 妒、p 、妒分别表示目标绕z 、x 、y 轴旋转的角度，采用图2 - 3 表示的投影模型， 假设目标绕x 、y 轴的旋转很小，且对目标成像影响很小，则可忽略目标绕x 、y 轴的旋转，而只考虑目标绕z 轴的旋转，旋转矩阵可表示为： p 8 驴一s i n e0 1 r 一墨t is i n ec o s 妒0 l 【o o 1 j ( 2 1 8 ) 结合式( 2 - 8 ) 、( 2 - 1 3 ) - 1 得： 电子科技大学硕+ 学位论文 工。，竺些二墅些! 垒 。 z + t ， y i ，警 亿聊 同理，令，一l ，用z 去除分子、分母，有： 进一步处理可表示为： 其中： 盔。堕。 1 l + t 3 z 上t 。竺! 丝二! 垫塑! ! ! 墨 l + t ，z v 。s i n 加+ c o s c y + t 2 z 。l + t ，z ( 2 2 0 ) 4 1 一! 型i _ ， l + t 3 z 4 ，。生， 1 + t 3 z 。 吼。上生 l + t 3 z ( 2 - 2 1 ) 这样成像平面中刚体成像的坐标变换就取决于四个参数：【4 ，a ：，a ，a 。】。利用 当前帧和前一帧的图像信息对此四个参数进行估计，就可以得到图像的运动参数。 2 3 本章小结 本章对数字视频的运动分析模型进行了讨论，首先从刚体和非刚体这两个方 面阐述了观察空间中物体的三维运动模型和三维运动场的求解，并分析了摄像机 的基于平行投影的六参数模型、基于透视投影的八参数模型和基于旋转平移假设 投影四参数模型，为后续章节的全局运动中的模型分析奠定了理论基础。 3 4 4 口 + + y y 2 l 口 4 一 一 律馥 口 4 一 l 善y r，l 第三章全局运动估计的原理 3 1全局运动估计系统方案 在视频图像序列中，相邻帧之间或多或少存在差异。引起这种帧间差异的原 因很多，如摄像机的运动，场景中运动目标的独立运动以及各种噪声的干扰等“ 在数字图像处理中，把这种帧间差异都看作是运动。根据影响范围和产生原因的 不同，帧间运动可以分为由视频采集系统镜头平移、旋转、缩放引起的整帧内容 一致变化的全局运动和由各种实体对象独立运动引起的只有部分图像变化的局部 运动两种形式组成。 在运动目标检测中，由于摄像机全局运动的存在，摄像机的运动影响了目标 的运动，此时目标就会呈现的复合运动特点，并且全局运动的存在将会在差分图 像中引入较大的噪声，为目标检测带来更大的难度。如何去除摄像机运动引起的 全局运动，从而正确地检测到目标的相对运动，这就是全局运动估计与补偿将要 完成的任务。 要对序列图像进行全局运动估计与补偿处理，需要首先估计出序列图像中各 象素点的运动速度，之后通过校正算子将其校正到下一帧中，如式( 3 1 ) 所示： ， ，y ，k ) 一h i ，y ，k - 1 ) ，v ( x , y ，k 一1 ) 】 ( 3 1 ) 其中h 【】表示校正算子，0 ，y ，k 一1 ) 表示第k 一1 时刻的图像，v 0 ，y ，k 一1 ) 表 示k 一1 时刻点 ，_ ) ，) 处的运动速度( 全局运动矢量) ，o ，y ，七) 表示校正后的图像。 由此可见，只要正确估计出各像素的运动矢量，就能去除全局运动的影响。因此， 对于运动背景的校正处理，关键在于估计图像中各象素点的运动速度v 0 ，y ) 。最 直接的方法当然是逐帧逐像素地求取运动矢量。这里的运动矢量考虑到的应是全 局运动矢量，而所谓的逐像素指的是落在背景上的点，而非目标点。因为此时目 标点上的运动矢量不仅仅是全局运动矢量，还有相对的局域运动矢量的影响，是 二者的合成。目标点上的全局运动补偿要利用其邻域背景点上的全局运动估计值 来进行。然而逐像素的计算量十分大，不利于实时实现，同时也无法区分全局运 动的背景点与做局域相对运动的目标点。考虑到对图像帧上的每一帧而言，虽然 各点的全局运动矢量不尽相同，但都是在同一摄像机模型下的运动，因而应该遵 1 3 电子科技大学硕十学位论文 循相同的运动模型，可以用同一模型参数来表示。现在的全局运动估计与补偿的 问题变成了求取全局运动模型。只要知道了这个模型，那么各点的全局运动矢量 就知道了，即可对相应图像帧进行补偿。同时由于摄像机运动模型可采用简单的 线性模型，使得图像背景各象素点运动速度场的估计计算量大大减小，从而提高 了运动背景补偿校正的实时性。文献 3 0 l q b 给出了该技术的模型如图3 - 1 所示： 剖冁h , 0 动剧h 雠h , oh h , 翮o 憎b蒯r 矧参数估计4 f _ 1 广1b 五刁 图3 1 摄像机运动背景补偿校正模型 在上述模型中，设原始输入序列图像为，1 0 ，y ) ，由于摄像机运动作用输出的 图像，2 ，y ) ( 即拍摄得到的图像序列) 为： ，2 ，) ，) 一h 。【五o ，y 】( 3 - 2 ) 设摄像机的实际运动参数为云，则h 2 算子输出为摄像机运动参数的估计值言： 万t 日：【，2 0 ，y ) 】( 3 3 ) 在估计出摄像机运动参数后，再由摄像机运动模型估计出图像各象素点的运 动速度v ，这一过程由算子以完成。 v 一峨【引( 3 - 4 ) 经过补偿算子h 。输出摄像机运动补偿后的图像为： 缸，y ) 一上i ，2 k y ) ，v 】( 3 - 5 ) 由上面的分析可知，正是由于h 棚全局运动的估计与补偿就是要实现上述的 三个算子；h ：【】，日棚，t 4 】。 图3 2 全局运动估计与补偿系统框图 1 4 第二章全局运动估计的原理 由以上分析可知，全局运动估计与补偿技术主要涉及到以下几个重要技术模 块：运动模型的选择，用于全局运动估计的像素点采样，采样点的运动场的计算 以及模型参数的求取。关键技术模块的整合系统框图如图3 2 所示，下面针对这几 个模块分别进行阐述。 3 2 全局运动模型 要进行全局运动估计与补偿，首先要找到正确表征摄像机的共模运动模型。 假设参考图像中点似j ，) 在摄像机的全局运动后的对应点为( x ，) ，) 。它们之间的关 系可以由它的空间坐标和一组模型参数云- ( a 。，口：，a ，) 计算得出，则通用的模型可 表示为： ；：主是器( 3 - 6 )y - ，v o ，y ，i ) 式( 3 6 ) 代表通用的模型，实际中，许多不同的简化参数模型被提出并得到应 用如第二章2 2 节讨论所讨论那样，最常用的参数运动模型及求取运动参数需要参 考点的个数如下图所示： 表3 1 运动模型 莲明模型参数个数，参考点变换 平移 f x - 工+ 4 1 ( t r a n s l a t i o n a l ) 2 ，1 y l y + 口： 几何 yx。-nal：x石-一a42。yy+a口3。 ( g e o m e t r i c ) 4 2 仿射 y x 。- a 4 l 。x j + + a 口2 ，y y + + a 4 3 。 ( a f t m e ) 6 ，3 工。! 立! 丛! 生 透视 8 4 a t x + a s y + 1 ( p e r s p e c t i v e ) y a 4 x + a s y + ，a 6 一 a xq - a g y + 1 在各种参数描述模型中，模型运动的参数数目越多，越能更准确的描述摄像 机的复杂运动，但同时计算也会更复杂。如果摄像机运动只限于旋转、平移和缩 放，采用线性的六参数仿射模型就可以得到满意的估计效果，并且仿射模型属于 电子科技大学硕十学位论文 线性多项式参数模型，在数学上比较容易处理。 3 3 像素点的采样 在求取全局运动的模型参数对，如何选取合适的像素点，计算其运动矢量从 而运用摄像机的共模运动模型公式得到其合理的全局运动参数呢? 一般可以分成 下列几种方法。 3 3 1 均匀采样 均匀采样，就是在给定图像上进行等行列的采样。注意到由于均匀采样有可 能采到运动目标上，这就造成了模型参数计算的性能下降，对全局运动的估计和 补偿的精度造成了损害。当然，如果在运动目标干扰很小的前提下，这些干扰引 入的误差可以在模型参数的求取中采用鲁棒叠代加权最小二乘的方法进行校正， 根据模型参数计算的像素运动场与实际运动场的差异来剔除均匀采样中的干扰 点。、 3 3 2 基于多分辨率的采样分析 在视频序列中，当相邻图像帧运动变化较小的时候，应用一般的光流场和块 匹配就能较准确地计算出像素点的运动矢量场，从而对全局运动进行精度较高的 估计与补偿：但当相邻两帧运动较大的时候，就会导致的较大的误差。这候需要 对图像进行亚采样或者多级块匹配、块匹配下的光流场计算等。最简单的是采用 亚采样。以光流场的亚采样技术为例：首先将前后原始图像用亚采样的办法划分 成具有金字塔式分辨率的多个子图像，使得每一个子图像运动相对小些，然后在 每一个子图像中估计出运动模型参数。原图像的运动参数通过计算所有子图像运 动参数加权和获得。其步骤如下； 1 从原图像中抽取具有金字塔式分辨率的多个子图像：在确定某一亚采样点的灰 度值时，由于局部灰度值相关性较强，用其邻域加权和的办法如下式。其中， m 为邻域窗口大小，w ，为平滑滤波器。由式( 3 7 ) 可知，在采样点邻域对灰度值 进行平滑后，上一层图