（控制科学与工程专业论文）面向图像配准的亚像素运动估计算法研究.pdf

国防科学技术大学研究生院工学硕士学位论文 摘要 运动估计的基本任务是从图像序列中检测出图像帧之间的运动信息，它是计 算机视觉的一个重要研究领域。运动估计是图像配准的关键技术，从本质上来说 图像配准可以看作是基于一定的运动变换模型来估计变换模型参数。高精度的图 像配准是时间变化检测、立体匹配、运动分析以及图像序列分析等方面应用的基 础，已逐渐成为当前图像处理技术研究的一个热点。而亚像素运动估计是实现高 精度图像配准的前提和关键技术之一。 本文研究面向图像配准的亚像素运动估计技术，在回顾传统整像素运动估计 和现有的亚像素运动估计算法的基础上，从频率域和空间域两方面对亚像素运动 估计算法进行了研究与实现。对于同时存在旋转、平移的运动估计问题，本文简 化为先估计旋转角度进行旋转角度补偿后，再进行平移参数估计，并比较了霍夫 变换和对数极坐标变换估计旋转角度的精度；扩展频率域运动估计方法相位相关 法到亚像素级，并采用解析法求解运动参数；并提出一种结合相位相关与模板匹 配的方法，该方法不但继承了模板匹配法思路简单、容易实现的特点，而且在有 效减少计算量的同时达到亚像素级精度；针对实际应用中可能存在噪声的情况， 提出一种改进的基于特征的亚像素运动估计算法，该算法选取受噪声影响小的点 来进行运动参数估计，实验结果表明该算法不但达到亚像素级精度而且对噪声影 响有较好的鲁棒性；为了更进一步检验算法的性能，将其用于图像拼接和超分辨 率重建应用中，均取得了较好的实验结果，证明了方法的有效性。 关键词：运动估计，亚像素，图像配准，相位相关，基于特征 第i 页 国防科学技术大学研究生院工学硕e 学位论文 a b s t r a c t t h eb a s i ct a s ko fm o t i o ne s t i m a t i o ni st od e t e c tt h em o t i o ni n f o r m a t i o nb e t w e e n t h ei m a g ef r a m e si nt h ei m a g es e q u e n c ea n df u n c t i o n sa sa l le s s e n t i a lr e s e a r c hf i e l di n t h ec o m p u t e r i z e dv i s i o n t h em o t i o ne s t i m a t i o ni st h ee s s e n t i a lt e c h n o l o g yo ft h ei m a g e r e g i s t r a t i o n e s s e n t i a l l ys p e a k i n g ，t h ei m a g er e g i s t r a t i o nc a l lb ed e e m e da sa l le s t i m a t i o n a n dt r a n s f o r mo fm o d e lp a r a m e t e r sb a s e do nac e r t a i nm o t i o nt r a n s f o r mm o d e l t h e h i g h - a c c u r a c yi m a g er e g i s t r a t i o ni st h eb a s i so fs u c ha p p l i c a t i o n sa st h et i m ev a r i a t i o n d e t e c t i o n ，3 dm a t c h i n g ，m o t i o na n a l y s i sa n di m a g es e q u e n c ea n a l y s i sa n dh a sg r a d u a l l y b e c o m eat o p i co fg e n e r a li n t e r e s ti nt h ec u r r e n ti m a g ep r o c e s s i n gt e c h n o l o g yr e s e a r c h t h es u b p i x e lm o t i o ne s t i m a t i o ni so n eo ft h ep r e m i s e sa n dk e yt e c h n o l o g yt oa c h i e v e h i g h - a c c u r a c ym o t i o nr e g i s t r a t i o n t h i st h e s i si sc o n d u c t e do nt h es u b p i x e lm o t i o ne s t i m a t i o nt e c h n o l o g yo f t h ei m a g e r e g i s t r a t i o na n d ，o nt h eb a s i so fr e v i e w i n gt h ea l g o r i t h m so ft h et r a d i t i o n a li n t e g e rp i x e l m o t i o ne s t i m a t i o na n dt h ec u r r e n t s u b p i x e lm o t i o ne s t i m a t i o n ，t h er e s e a r c h a n d r e a l i z a t i o na r ec o n d u c t e do nt h es u b p i x e lm o t i o ne s t i m a t i o na l g o r i t h mf r o mt h e f r e q u e n c yr e g i s t e ra n dt h es p a c er e g i s t e r o nt h em o t i o ne s t i m a t i o nw i t ht h er e v o l v i n g a n dh o r i z o n t a lm o v e m e n tc o n c u r r e n t l y , i ti sf i r s t l ys i m p l i f i e da se s t i m a t i n gt h er e v o l v i n g a n g l ea n dc o m p e n s a t i n gt h er e v o l v i n ga n g l ea n dt h e ne s t i m a t i n gt h eh o r i z o n t a l p a r a m e t e re s t i m a t i o n ，w h i l et h ee s t i m a t e da n g l ea c c u r a c yo fb o t hh o u g ht r a n s f o r ma n d l o g - p o l a rc o o r d i n a t e ；t h ep h a s ec o r r e l a t i o nm e t h o do ft h ef r e q u e n c yr e g i s t e rm o t i o n e s t i m a t i o ni se x t e n d e dt ot h es u b p i x e lp o l ea n dt h ea n a l y t i c a lm e t h o di su s e dt og e tt h e m o t i o np a r a m e t e r i na d d i t i o nam e t h o dc o m b i n i n gt h ep h a s ec o r r e l a t i o na n dt h e t e m p l a t em a t c h i n gi sp r o p o s e dh e r e i n ，w h i c hi n h e r i t st h ec h a r a c t e r i s t i c so ft h et e m p l a t e m a t c h i n gm e t h o da sb e i n gs i m p l ea n de a s yt or e a l i z ea n dr e a c h e st h es u b p i x e lg r a d e a c c u r a c ya n de f f e c t i v e l yr e d u c e st h ec a l c u l a t i o nv o l u m e a ni m p r o v e ds u b p i x e lm o t i o n e s t i m a t i o na l g o r i t h mb a s e do nt h ec h a r a c t e r i s t i c si sp r o p o s e df o rt h ec a s eo fn o i s e p o t e n t i a l l ye x i s t i n gi nt h ea c t u a la p p l i c a t i o n t h i sa l g o r i t h ms e l e c t sp o i n t sl e s sa f f e c t e d b yn o i s et op e r f o r mt h em o t i o np a r a m e t e re s t i m a t i o n a c c o r d i n gt ot h ee x p e r i m e n t r e s u l t s ，t h i sa l g o r i t h mn o to n l yr e a c h e st h es u b p i x e lg r a d ea c c u r a c y , b u ta c h i e v e sg o o d r o b u s t n e s st ot h ei n f l u e n c eo fn o i s e i no r d e rt of u r t h e rv e r i f yt h ep e r f o r m a n c eo ft h e a l g o r i t h m ，i ti sa p p l i e dt ot h ei m a g em o s a i c i n ga n ds u p e r - r e s o l u t i o nr e c o n s t r u c t i o na n d a c h i e v e sg o o de x p e r i m e n tr e s u l t s ，s oa st oi m p r o v et h ev a l i d i t yo ft h em e t h o d k e yw o r d s ：m o t i o ne s t i m a t i o n ，s u b p i x e i ，i m a g er e g i s t r a t i o n ，p h a s e c o r r e l a t i o n b a s e do nc h a r a c t e r i s t i c s 第i i 页 国防科学技术大学研究生院t 学硕十学位论文 表目录 表卜l 常见序列在不同的运动矢量精度下的比特率( 单位：k b i t s ) 7 表3 1 用扩展的相位相关法进行亚像素运动估计的实验结果3 l 表3 - 2 用扩展的相位相关法对加噪图像进行运动估计的实验结果3 l 表3 3 同一幅图像中运用模板匹配法的计算结果( 单位像素) 。3 6 表3 - 4 两幅具有整像素平移图像运用模板匹配法的计算结果( 单位像素) 。3 6 表3 5 两幅具有- 哑像素平移图像运用模板匹配法的计算结果( 单位像素) 3 7 表3 - 6 本文算法的实验结果( 单位像素) 。3 7 表4 1 全局噪声的实验结果5 0 表4 2 局部噪声的实验结果5 2 第1 v 页 国防科学技术大学研究生院工学硕士学位论文 图目录 图2 1 运动估计与图像配准的关系l o 图2 - 2 基于图像灰度的运动方法技术流程图15 图2 3 基于特征的运动估计方法基本步骤1 5 图2 - 4 亚像素示意图。1 8 图2 5 亚像素运动估计示意图19 图2 - 6 运动估计一般处理过程2 2 图2 7 原始测试图像。2 4 图2 8 实验结果比较2 4 图3 1 相位相关频谱图2 8 图3 - 2 两幅图像重叠区域示意图2 9 图3 - 3 算法测试图像3 0 图3 4 模板( b ) 与被搜索图( a ) 3 3 图3 5 相似性度量阐述3 4 图3 6 基于相位相关与模板匹配算法流程图3 5 图3 7 实验图像3 6 图4 1 算法流程图4 0 图4 - 2 z ，y ) 取值的几何意义4 2 图4 3r a n s a c 算法示意图。4 6 图4 _ 4 实验所用图像。4 8 图4 5 加全局噪声实验中间结果图像4 9 图4 - 6 加局部噪声实验中间结果图像5 l 图5 1 灰度插值运算。5 3 图5 2 双三次卷积法示意图5 5 图5 3 图像拼接全流程5 7 图5 - 4 实验结果5 9 图5 5 序列图像超分辨率技术流程6 l 图5 6 实验结果图像6 2 第v 页 独创性声明 本人声明所呈交的学位论文是我奉入在导师指导下逆行的研宛工子# 及取得的研 究成粟尽我所知，除了文中特剐加l ；之标洼和致谢的地方外，论文中不包含其他人已 经发袭和撰写过的研究成果，也不包含为获得霪防科学技术大学或其它教育机构的学 位或证书褥使用过的材将。与我一嗣工律的同志对本研究所做鲰任何贡献筠巴在论文 中终了明确的说明并袭示澍意 学位论文题目：垂巍图垒黧壅煎垂巍囊运麴焦进莲蓬盈窥 学位论文律耆签名： 蓬墨2日期：沙7 年理月，日 学位论文舨权使用授权书 本人完全了麓国防稃学技术大学有关保留，使用学位论文的规定本人授权国 防科学技术大学可以保留并向国家有关部门或机构遥交论文的复印佟和电子文档，允 许论文被查阅和佞阅：可以橹擎位论文的全帮或部分内客编入有关数据瘴迸手亍检索， 可以采用影印缩印或扫描每复饲手段保存，茫编学位论文 ( 保密学位论文在解密后适用本授权书) 学位论文蘧羁： 蘧应匿像毽建鲮蓬燕耋燕烫建进篡速殛塞 学位论文作者签名：廛塑 日期：z 一7 年i z 月厂骞 作者指导教卿签名：s ：越 日期：多蠢9 年? 月多8 国防科学技术大学研究生院工学硕士学位论文 第一章绪论 1 1 亚像素运动估计研究的目的和意义 运动在图像中的“视在”反应表现为图像序列中灰度变化，即与静止图像相 比，动态图像的基本特征就是灰度的变化。具体地说，在对一个景物拍摄到的图 像序列中，相邻两帧图像间至少有部分像素的灰度值发生了变化，就认为此图像 序列中有运动发生。运动估计的基本任务就是从图像序列中检测出运动信息。运 动估计是计算机视觉领域的一个基本问题，也是图像序列分析的一个核心问题， 其在国民经济和军事领域的许多方面，如机器人视觉、自主导航、医疗影像处理、 目标跟踪，视频监视和视频压缩编码等方面有着广泛的应用。 在视频编码中，运动估计是消除图像帧间冗余度的有效方法。因此研究和改 进运动估计算法，在尽可能去除冗余信息的同时减少视频质量的损失，对视频编 解码系统的构造与应用具有重要的意义。国际标准h 2 6 1 采用的是整像素的块匹 配算法，然而，实际运动物体的位移，若使用整像素作单位进行描述，将产生很 大误差，若使用亚像素则能降低很大部分的运动补偿误差，精确的运动描述可以 得到更小的预测误差，从而获得更好的视觉效果。这一需求已在最新的视频标准 有所反映，例如，m p e g 4p a r t 2 提出了1 4 像素精度的运动估计；h 。2 6 4 则进一步 引入了1 8 像素精度的运动估计。 在医学领域中，为了获取人体器官的动态变化信息，需对不同时刻超声波、 光或反射性同位素等传感器记录的图像进行运动估计，进而作出反映器官运动功 能的定量描述，以便为病情进行检测提供更加准确可信的依据。提高运动估计的 精度，是帮助医生对疾病有一个更加现实、精确的认识，提高治疗方案的精确性 和有效性的重要途径。例如在脑功能成像过程中，受检者不可避免地产生头部随 机运动，即使是亚像素级的运动也会影响统计检测结果的准确性，导致伪激发信 息，为了提高统计分析的准确性，需对时间序列图像进行运动估计，其精度需要 达到亚像素级。 由于图像配准本质上可以看作是基于一定的运动变换模型来估计变换模型参 数，需要用到许多运动估计的方法，因此也属于运动估计问题的范畴。图像配准 作为图像融合、运动检测、立体视觉、超分辨率重建等应用的前提步骤，其精度 将直接影响后续操作的效果。如多源遥感图像融合，其配准误差通常都要求亚像 素级、甚至深亚像素级，否则会使小目标、细线目标等识别失效，融合图像边缘 模糊；基于图像序列的超分辨率技术的前提条件就是亚像素运动估计，亚像素运 动估计的正确与否直接关系到超分辨率重建的成败；基于图像配准的地图拼接， 第1 页 国防科学技术大学研究生院t 学硕十学位论文 由于地图上一个像素对应实际区域的范围很广，运动估计误差控制在一个像素以 内无疑是十分必要的。 从上述运动估计的技术发展和应用需求可以看出，高精度的运动估计，特别 是亚像素运动估计( 1 个像素以内) ，已经成为运动估计研究的一个热点和重要 方向。对其相关理论和关键技术开展深入研究，具有重要的学术价值和广阔的应 用前景。 1 2 运动估计技术的研究现状 视频信息是现实世界物体三维运动在二维平面上的投影。现实世界的物体运 动是多种多样的，如平移、旋转、缩放等。但是由于通常用灰度信息描述二维图 像，因此图像灰度的变化也被视为运动。二十世纪八十年代到九十年代，是运动 估计的第一个研究阶段，这个时期是运动估计的理论建立时期，主要的运动估计 算法可以分为两个类别：基于特征的运动估计和基于光流的运动估计。二十世纪 末至今是运动估计的第二个研究阶段，运动估计技术呈现出高速增长的态势，其 中出现了基于像素、基于块、基于网格、基于区域和基于全局的分层运动估计等 方法。 现有的运动估计方法包括整像素运动估计方法和亚像素运动估计方法，大致 分为三种类型【lj ：基于图像亮度的匹配技术、基于图像亮度的微分技术和基于频 率域的运动估计方法。 1 2 1 基于图像亮度的匹配技术 这一类处理方法的核心是将图像分割成小的亮度区域，或基于图像本身的特 征，找出帧与帧之间的对应关系。其常用的数学方法是基于位移帧差( d i s p l a c e d f r a m ed i f f e r e n c e 或d f d ) 的平方和差分( s u mo f s q u a r e dd i f f e r e n c e 或s s d ) ，线性最 小二乘估计( l i n e a rl e a s t s q u a r e se s t i m a t e 或l l s e ) 或者一致化的相关函数的方 法。 1 基于块匹配的运动估计 块匹配法【2 】是典型的基于图像亮度的匹配技术。块匹配( b l o c km a t c h i n g a l g o r i t h m 或b m a ) 运动估计是目前最常用的一类运动估计，有关图像编码的国际标 准h 2 6 1 ，h 2 6 3 和m p e g l 2 等都采用了这种方法。其基本思想是，将当前帧划分 为m x n 3 k j , 的图像子块，假设子块内各像素只作相同的平移运动。然后对于当前 帧中的每一块根据一定的匹配准则，在前一帧或后一帧的给定搜索范围内找出与 之最相似的块，即匹配块。由匹配块与当前块的相对位置计算出运动位移，所得 位移即为当前块的运动矢量。由于运动估计的搜索过程通常采用伞搜索方法( f u l l 国防科学技术大学研究生院工学硕上学位论文 s e a r c hm e t h o d 或f s m ) ，所以为了提高搜索效率，选择合适的搜索策略是很重要 的。 在基于块匹配的运动估计中，假定每个宏块的运动类型都是平移。显然，它 不适合对存在旋转、伸缩的图像进行运动估计。w a n g 等【3 】用可伸缩块匹配运动估 计解决了这个问题，在这种方法中，仿射、双线性、投影等都可以用来描述块的 运动。这样的话，当前矩形块在参考帧中的匹配块可能就不是矩形。 在基于块匹配和基于可伸缩块匹配的运动估计中，每个运动矢量的求取是相 互独立的，所估计出来的运动场是间断或混乱的，为克服这个问题，可以使用基 于网格的运动估计方法【4 】。 块运动估计以其对于运动简洁而有效的表示，成为目前在视频编码中运用最 为广泛的运动估计技术。但在实用中还必须选用合适的块尺寸、提高估计精度、 改进运动矢量一致性以及解决块内运动的不一致性。 2 像素递归法 像素递归法【5 l 是另一类基于图像亮度的运动估计方法。它的基本思想是：对 当前帧运动区域中某一像素，在前一帧某一位移处找到具有相同灰度值的像素。 通过使位移帧差( d f d ) i 函数值最小来解决运动估计问题。在该方法中，对图像中的 每个像素都要求出其对应的运动矢量。这通常是比较困难的，因为在一幅图像可 能有很多相同亮度和色度的像素。为解决这个问题，通常有以下一些方法：通过 一定的规则来限制对应像素点的搜索范围；假设相邻像素点具有相同的运动矢量 特征；利用额外的恒定性限制，并且增强这种恒定性；利用运动前后帧的函数的 相关性。为了从根本上提高估值的精度和可靠性，在估计某像素的运动矢量时可 同时考虑其相邻的点，以获得性能上的改进。 像素递归法较好的反映了运动模型，但由于只是孤立地考察单个像素，故其 抗干扰能力也较差，并且计算复杂度较高。 3 基于特征法 基于特征的方法【6 】是运动估计中较常用的方法。图像的特征是指所获的图像 场景中可作为标志的属性。在图像上确定的特征结构，必须能够反映图像的帧间 运动，并在运动中具有不变性的结构。图像的特征主要包括：灰度极大值点、角 点、边缘、纹理、形心、表面积、惯量矩等。在具体应用中，采用什么特征量主 要视图像特性和应用环境而定。 基于特征的方法的优点主要体现在三个方面： ( 1 ) 图像的特征比图像的像素点要少很多，因此大大减少了匹配过程的计算复 杂度； ( 2 ) 特征的匹配度量值对位置的变化比较敏感，可以大大提高匹配的精确程度； 第3 页 国防科学技术大学研究生院- t 学硕士学位论文 ( 3 ) 特征的提取过程可以减少噪声的影响，对灰度变化、图像形变以及遮挡等 都有较好的适应能力。 但是，基于特征的方法在特征数目较大的时候，匹配的计算复杂度将显著增 大；并且该方法只依赖于所提取的图像特征，所以对于图像的细微情节不太敏感。 1 2 2 基于图像亮度的微分技术 1 光流法 这一技术方法的基本途径是对由“亮度恒定假设”得出的光流方程，运用通 常被称为“梯度法”的微分手段，对动态图像序列的亮度和时问作差分运算。n a g e l t 7 】 提出了基于空间图像梯度守恒的光流场条件。l u c a sa n dk a n a d e 8 】提出了运动矢量 在像素块上保持不变的原则。h o r n 和s c h u n c k t 9 1 提出了速度场哥平滑的假设，并把 问题转变为求光流o f e ( o p t i c a lf l o w i n ge q u a l 或o f e ) 误差和速度场局部变化量度 的加权最小值。 在特定条件下，采用光流方程获得的两幅图像的光流估计等价于运动估计。 但是光流方法有三个主要缺陷： ( 1 ) 在运动物体的边界，平滑度约束条件或者运动局部一致性的假设将造成错 误的运动估计。为此，文献【l o 提出了导向平滑约束。 ( 2 ) 空间梯度的估计在噪声情况下缺乏健壮性。 ( 3 ) 泰勒系数一次展开，是基于运动幅度较小的假设，不适用于运动幅度大的 场景。 2 随机场法 不仅是对于“亮度恒定假设”，更广义上来讲，基于图像亮度微分方法都是 找出在动态图像序列中守恒的物理量，并对其微分的方法。此类的方法还有随机 场估计法。 随机场法( 贝叶斯估计算法) 的基本思想是利用随机平滑度约束条件，通常 采取吉布斯一马尔可夫随机场( g i b b sm a r k o vr a n d o mf i e l d 或g m r f ，简称马尔可 夫随机场) 方法【i l 】来估计位移场。简单的说，在马尔可夫随机场模型中，图像某 点的属慌一个仅仅受到其相邻点影响的随机变量。在运动估计中，基于马尔町 夫随机场模型，运动矢量的估计转变为一个优化问题，即求解马尔可夫随机场的 最人后验概率。在优化算法上，可采用模拟退火( s i m u l a t e da n n e a l 或s a ) 、迭代 条件模型( i t e r a t i v ec o n d i t i i o nm o d e l 或i c m ) 、平均场理论( m e a nf i e l dt h e o r y 或 m f t ) 和最高置信度优先( h i g h e s tc o n f i d e n c ef i r s t 或h c f ) ，用这些方法可以使 算法快速收敛。但是由于采用随机场法进行运动估计，计算过于复杂，所以并不 适合实时应用。 第4 页 国防科学技术大学研究生院工学硕士学位论文 1 2 3 基于频率域的运动估计方法 近些年来基于频率域的运动估计技术研究渐趋活跃。一类方法是利用傅立叶 变换性质来进行运动估计的方法，比如相位相关法【1 2 l ( 具体讨论见第三章) 。图 像经过傅立叶变换，由空间域变换到频率域，两组数据在空间上的相关运算可以 变为频谱的复数乘法运算。同时图像在频率域中还能获得在空域中很难获得的特 征。例如，利用傅立叶变换的相位特性在匹配中能得到非常好的输出信噪比和输 出最大峰值，比空间域具有更好的精度和可靠性。同时傅立叶变换可以采用快速 傅立叶变换( f a s tf o u d e rt r a n s f o r m a t i o n 或f f t ) 的方法提高执行速度。 另一类方法通常是借助于时空方向滤波器 1 3 1 实现的。通过对一维和二维时空 序列运动场的频域特性分析，发现信号的功率谱都分布在由图像的速度参数唯一 确定的直线或平面上，由此导致用对方向敏感的时空滤波器来求解运动参数的问 题，以g a b o r 滤波器【l4 】作为这一类时空滤波器的代表。用g a b o r 滤波器族来估计运 动矢量的步骤为：g a b o r 能量滤波器族的设计，光流的提取和用最小二乘估计 ( l e a s t - s q u a r e se s t i m a t e 或l s e ) 的方法来估计运动矢量。 1 2 4 亚像素运动估计 根据估计的精度差异，运动估计可分为整像素运动估计和亚像素运动估计两 类。在视频序列中实际物体运动的位移和取样的点阵是完全无关的，很少正好是 整像素的，基于整像素精度的运动估计往往并不能代表物体的实际运动。因此 h 2 6 3 、m p e g 1 、m p e g 2 和m p e g - 4 等国际标准中都相继采用了半像素精度的运 动估计和运动补偿算法来提高估计的精度。m p e g - 4a v c 和h 2 6 4 中更引入了1 4 像素精度和l 8 像素精度的运动估计技术来进一步提高运动补偿的精度【i5 1 。精确 的运动描述可以得到更小的预测误差，从而获得更好的视觉质量。 h 2 6 3 标准中采用精度为1 2 像素双线性内插法，h 2 6 3 + 标准中提出了精度为 1 4 的双线性内插法及立方卷积内插法【1 6 1 。为了更好的拟合，s k a p p a g a n t u l a t l 7 】通 过在以前插值方法上增加一个加权因子，提出了一种叫做平均绝对误差( m e a n a b s o l u t ee r r o r 或m a e ) 的近似插值方法。从h 2 6 4 开始采用六抽头滤波器插值滤波 【1 3 】，算法性能有了很大程度的提高，但也大大地增加了运算的复杂度。 可见，视频编码标准中一般均是通过插值达到亚像素的精度，一般包括以下 两个步骤：首先由整像素点内插得到半像素点；然后采用分级搜索算法，先在搜 索区内找到最佳整像素匹配的运动矢量，再在该匹配点周围的8 个半像素点处寻 找最佳匹配点，得到半像素精度的运动矢量。如果要得到更高精度运动估计，就 需要在低一级的子像素精度运动估计点上进行内插和匹配搜索。但随着精度的提 高，运算的复杂性也大大提高。 国防科学技术大学研究生院丁学硕士学位论文 另一类亚像素运动估计方法是c d u 等人基j ：抛物面预测的亚像素运动估计算 法，其假定最佳亚像素点周围的s a d 曲面为抛物面模型【1 9 1 。此算法需要计算三个 搜索点和额外的绝对值误差和( s u mo fa b s o l u t ed i f f e r e n c e 或s a d ) 曲面模型的计 算。x l i 和c g o n z a l e s 的亚像素算法 2 0 j 在实际运动矢量周围的s a d 函数假定是分离 的二次方程，卿坊向分别使用一维的二次方程来预测出最佳运动矢量。这类方 法所需时间少，由于最佳亚像素点周围的实际s a d 函数并不是和预测的s a d 函数 完全一致，会导致最佳运动矢量与实际选取的运动矢量之间的误差，误差大小由 预测s a d 函数与实际s a d 函数的拟合程度决定。 由以上讨论可得，基于图像亮度微分技术的运动估计方法只适用于运动变换 量较小的场合，对噪声比较敏感，极小的噪声也可能引起运动估算中较大的偏差： 像素递归法计算复杂度很高，而一般的块运动模型不适用于缩放、旋转和局部变 化的情况，变形的块匹配又会增加计算负担，使匹配不能达到满意的效果；基于 特征的方法运算简单，运算量低，鲁棒性强；基于频率域方法的相位相关法把物 体的运动通过傅立叶变换映射到频率的相位，这种方法对图像的灰度依赖较小， 具有一定的抗干扰能力，已成为一种重要的频域运动估计方法。本文将就基于特 征的方法和基于频率域相位相关法的亚像素运动估计方法的设计和改进进行深入 的探讨和研究，增强算法的鲁棒性。 1 3 亚像素运动估计技术的应用领域 图像的运动是处于运动过程中的客观物体在观察者的观测平面( 传感器) 上 成像的结果。从观察者角度来看，图像运动本质上是几何变换，表现为图像像素 的变化 2 1 l 。从研究图像特征出发，进行运动图像的定量分析，估计图像的运动参 数是许多图像处理应用，比如视频编码、图像配准的关键技术之一。 1 3 1 亚像素运动估计在视频编码中的应用 在处理视频信号的过程中，视频数据冗余度最大，减少视频信息的冗余度是 实现视频压缩编码的出发点。视频压缩编码的基本原理就是在主观质量得到一定 保证的前提下实现这一目标。 运动估计对降低视频编码系统中的视频序列帧间冗余度、提高编码效率起着 非常关键的作用，是视频压缩编码系统的一个重要组成部分。运动估计的准确程 度将直接决定视频编码器的性能和质景。 运动矢鼍的估计精度越高，帧间剩余误差就越小，传输码率就越低，即压缩 比就越高。理论上，如果将运动补偿的精度增加一倍( 例如从整像素精度提高到 1 2 像素精度) ，可有0 5 b i t s a m p l e 的编码增益。表1 1 给出了不同序列在不同的 国防科学技术大学研究生院工学硕j 学位论文 运动矢量精度下的比特率的值，图像格式) 白c i f ( 3 5 2 2 8 8 ) ，量化参数为3 0 ，帧率 为3 0 帧s ，实验数值在j m 7 6 平台上测试( 2 2 1 。 表1 - 1 常见序列在不同的运动矢量精度下的比特率( 单位：k b i t s ) 序列整像素精度1 2 像素精度1 4 像素精度? p a , r s 6 0 2 1 44 9 8 6 44 5 6 7 4 f o o t b a l l1 5 9 0 1 01 4 7 1 7 21 4 1 0 7 0 b u s1 5 7 2 8 l1 0 8 9 3 68 8 7 6 9 m o b i l e 2 8 4 1 4 5 1 8 3 1 7 21 3 8 9 0 6 f o r e m a n3 7 9 4 63 0 9 0 52 8 3 3 3 n r s2 1 8 2 41 8 6 4 31 7 4 7 1 从表1 1 数据可见，随着运动矢量精度的提高，各序列编码后的比特率有了 大幅度的下降，这说明运动估计的精度对运动估计的准确性和编码后的压缩比的 影响是非常大的。因此有必要进一步研究亚像素运动估计技术。 1 3 2 亚像素运动估计在图像配准中的应用 八十年代后，图像配准技术逐步从原来单纯的军事应用扩大到各个领域，例 如，航空航天技术、气象预报、地理信息系统、图像镶嵌、图像融合、目标识别、 医学图像分析、机器人视觉、虚拟现实等。图像配准涉及许多相关知识领域，如 图像预处理、图像采样、图像分割、特征提取等，并且将计算机视觉、多维信号 处理和数值计算方法等紧密结合在一起。 近几十年来，图像配准技术一直是人们研究的热点之一。所谓图像配准( i m a g e r e g i s t r a t i o n ) 是指在变换空间中寻找一种或多种变换，对从不同传感器在相同或不 同时间、相同或不同视角对同一场景拍摄的两幅或多幅图像在空间上进行对准， 或者根据已知的模式在另一幅图像中找到对应模式的过程。同一场景的多幅图像 的差别可以表现在：不同的分辨率、不同的灰度属性、不同的位置( 平移和旋转) 、 不同的比例尺、不同的非线性变形等等。图像配准的技术过程，称为图像匹配( i m a g e m a t c h i n g ) ，或者图像相关( i m a g ec o r r e l a t i o n ) 。本质上，图像配准也可以看作是基 于一定的运动变换模型来估计变换模型参数的方法。换言之，图像配准实质上亦 是属于运动估计的范畴，高精度的的图像配准问题本质上就是高精度的运动估计 问题，即亚像素运动估计问题。 图像配准从配准精度上可以分为像素级配准和亚像素级配准( 即小于一个像 素的配准) 。在图像处理的某些应用场合，像素级配准可以很好地满足这些图像 应用的要求，但是，对于其它一些应用，比如遥感图像的高精度配准( 亚像素级 配准) ，其已经成为从多源遥感图像获取准确信息的必要条件；在基于图像序列 第7 页 围防科学技术大学研究生院工学硕士学位论文 的超分辨率技术中，精确的亚像素运动估计的正确与否直接关系到图像分辨率重 建的成败。此外，高精度配准还是时间变化检测、立体匹配、运动分析以及图像 序列分析等应用的基础【2 3 】。 1 4 本文研究的主要内容及成果 本文在回顾传统整像素运动估计和现有的亚像素运动估计算法的基础上，主 要研究面向图像配准的皿像素运动估计方法，并对提出的改进方法进行了实验与 分析。针对的图像是单模图像或者是相同传感器在不同方位对同一场景获取的图 像。主要工作及其贡献包括： 1 分析了应用在图像配准中的运动估计方法，简化了图像间同时存在旋转和 平移的运动估计问题，并实现了对图像旋转角度的估计。 全面分析了现有的运动估计方法，从像素级和亚像素级两层面对应用在图像 配准中的运动估计方法进行了综述。通过先对图像进行旋转角度估计并旋转补偿， 再进行平移参数估计的处理步骤，简化了运动估计问题。实现了对图像旋转角度 的估计，并比较了霍夫变换和对数极坐标变换估计旋转角度的精度，实验验证了 对数极坐标变换比霍夫变换具有更高的估计精度。 2 实现了将频率域运动估计的代表方法相位相关法扩展到了亚像素级，并使 用解析法对运动参数进行了求解，提出了结合相位相关法与模板匹配法进行亚像 素运动估计的方法。 相位相关法无法有效检测出距像素平移，本文对扩展相位相关法用于亚像素 级运动估计的思路进行了研究与分析，并采取解析法求解运动参数。基于模板匹 配的运动估计方法虽然思路简单、实现容易，但存在耗时长的问题，对此，本文 提出了将相位相关法与模板匹配法相结合的方法实现亚像素级运动估计，实验结 果表明此方法在减少计算量的同时，达到了亚像素级精度。 3 提出了一种改进的基于特征的亚像素运动估计方法。 针对实际应用中可能存在噪声的情况，提出了一种改进的基于特征的亚像素 运动估计方法。该方法通过计算特征点的s n r 值，选取s n r 值较小即受噪声影响 小的特征点进行运动参数估计，来提高亚像素运动估计算法的抗噪能力。实验结 果证明此方法在达到亚像素级精度的同时提高了对噪声的鲁棒性。 4 检验了算法在图像拼接和超分辨重建应用中的有效性。 为了更进一步检验算法的性能，基于图像拼接和图像超分辨率重建应用，对 所提出的改进算法进行了实现。实验均取得了满意的效果，证明了此方法的有效 性。 第8 页 国防科学技术大学研究生院，下学硕士学位论文 1 5 论文组织结构 全文共分为六章，各章主要内容如下： 第一章为绪论，阐述本文的研究目的和意义，以及相关内容的应用领域和研 究现状。 第二章从像素级和亚像素级两层面对应用在图像配准中的几种运动估计方法 进行介绍，并对旋转估计进行了讨论与实验。 第三章对运动估计的频率域算法相位相关算法进行了研究，实现了将其 扩展用于亚像素级运动估计的方法，并采用解析的方法求得亚像素级运动参数。 同时提出结合相位相关与模板匹配运动估计方法达到亚像素级运动估计，并对其 进行了实验与分析。 第四章提出了一种改进的适用于噪声图像的亚像素运动估计算法，并对其进 行了实验与分析。 第五章基于第四章的亚像素运动估计算法对图像进行配准，并将其用于图像 拼接和超分辨率重建应用中，进一步检验了算法的性能与正确性。 第六章对本论文的工作做了总结，并对进一步的研究工作进行了展望。 第9 页 国防科学技术大学研究生院工学硕： ：学位论文 第二章运动估计方法在图像配准中的应用 2 1 引言 数字图像配准是确定在相同或不同时间、通过相同或不同传感器拍摄的两幅 或多幅图像之间最佳匹配关系的过程。配准结果给出了两幅图像( 或者副图像 与其它的参考数据，如地图) 之间“相对的”位置关系。图像配准是医学图像分 析、图像融合、虚拟现实等许多应用的一个重要步骤。 图像配准一般包括图像预处理、变换参数求解、图像变换与重采样三个步骤。 变换参数求解就是给定一个运动变换模型，估计图像之间的模型变换参数的过程， 其本质上是一个运动估计问题，需要直接用到运动估计技术。运动估计技术将直 接影响图像配准的结果。由此可见，运动估计是图像精确配准中的一项关键技术， 两者的关系如图2 1 所示。 圈像l 一雠僦懒h 燃卜 预 ! 墼一，处 雨露“ 理 i - - - - - - - - - - - - 一 图2 - 1 运动估计与图像配准的关系 很多图像处理应用都需要对图像进行配准，其中很多应用只要求配准的精度 在1 个像素。但是，在变化检测、导航、遥感图像的特征定位、图像序列分析、 非破坏性效果评估及超分辨率重建等应用中，将配准精度控制在一个像素以内是 很关键的要求。比如，在非破坏性评估中，对于同一目标的变形序列图像，通过 高精度地测量目标表面封闭轮廓上点的平移，可以用来评估结构是否有缺陷。类 似的技术可以用来计算流体速度分布。在遥感图像处理中，如l a n d s a t 图像，一个 像素对应于地面8 0 米的距离，即像素级配准能够提供4 0 米的分辨率。若配准精 度达到0 1 个像素，则相当于4 米的分辨率【2 4 j 。配准精度的高低直接影响后续处 理的效果，差的配准精度甚至会导致后续处理无法进行。达到亚像素级配准精度 的一个前提就是正确的进行亚像素运动估计，因此，本文重点研究的是面向图像 配准的亚像素级运动估计算法。 由于不同条件下得到的两幅图像之间存在一定的差异，对于失真退化的图像 之间直接进行配准处理，会导致配准结果不理想，所以在图像配准之前，应该埘 原始图像进行灰度值偏差和几何变形的修正，尽量消除或减小图像间的这些差异。 两幅图像之间的灰度偏差是从图像整体考虑的，它由成像条件不同而产生，如光 国防科学技术大学研究生院工学硕士学位论文 照条件的变化、成像系统性能的变化、大气条件的变化等等。灰度偏差可以采用 对图像进行归一化来加以修正。