（计算机应用技术专业论文）动态图像序列的运动参数研究及应用.pdf

两北 1_ 业人学硕士论文摘要 摘要 本文主要研究了动态图像序列的运动参数估计问 题， 它是计算机视觉领域的一 个基本问 题， 也是图像序列分析的一个核心问题， 在国民经济和国防建设中都有着 广泛的应用。因此，运动参数的估计通常有很强的任务依赖性，基于不同的应用假 设，呈现出种类形式繁多的算法。面对这种现状，本文在广泛研究近二十年来各种 运动估计算法的基础上，将其归结为三类:基于图像亮度的匹配技术、基于图像亮 度的微分技术和基于频域的时空滤波器技术。本文的研究重点集中在后两者。文章 的另一个重点是如何将后两类技术具体实现，从应用的角度讨论了各种算法适用的 场合、算法的优缺点及其鲁棒性等问题。 本文建立了从客观世界到图像序列的完整映射模型， 并将运动矢量的估计问题 参数化。 对摹于图像亮度的微分技术依据“ 亮度恒定假设” ， 推导了求解运动矢量的 光流差分方程， 进而从应用的角度， 建立了并实现了经典的h - s的运动参数估计模 型。进一步通过分析光流微分方程在估计运动时存在的奇异性问题，提出了基于图 像亮度的微分技术求解运动矢量的四类约束条件，为今后分析不同情况下的运动参 数估计方法给出了明确的分类和标准。 在基于频域的能量技术领域， 本文提出了一种动态图像序列运动场的频域能量 新特征，并建立使用了 基于方向性时空滤波器的 模型来求解运动参数。文章重点分 析了g a b o r 滤波器的方向性和能量特征，并给出了具体应用其设计和估计运动矢量 的方法。 本文认为各种算法的实现与评价机制与算法本身的有效性是息息相关的。 因此 提出了 科学选择和设计试验图像序列的方法，总结了算法实现中参数估计的三种准 则，并给出了借助于误差估计的评价算法性能的准则。 关键词:图像序列，运动估计，光流，差分滤波器，频域能量，时空滤波 西北 仁 业人学硕十论文摘要 ab s t r a c t t h e t h e s i s f o c u s o n t h e t e c h n o l o g y o # m o t i o n e s t i m a t i o n o f t h e i m a g e s e q u e n c e s , w h ic h i s k n o w n a s t h e p r in c i p a l f i e ld o f c o m p u te r v i s io n a n d im a g e s e q u e n c e s a n a ly s i s . i t i s w i d e l y a p p l i e d i n t h e a r e a s o f n a t i o n a l d e v e l o p m e n t an d c o n s t r u c t i o n , e c o n o m y a n d n a t i o n a l d e f e n s e s . a s a r e s u lt , t h e t e c h n o lo g y is u s u a l l y t a s k - l a u n c h e d and d e p e n d e d o n d if f e r e n t c o n d i t i o n s . c o n s e q u e n t ly , b a s e d o n t h e w i d e l y r e s e a r c h o f v a r i o u s e s t i m a t i o n t e c h n o lo g i e s , t h e t h e s i s s o rt s t h e m i n to t h r e e n e w c a t e g o r i e s a s i n te n s i t y - b a s e d m a t c h i n g t e c h n iq u e s , i n t e n s i t y - b a s e d d i f f e r e n t ia l t e c h n i q u e s a n d f r e q u e n c y - b a s e d e n e r g y t e c h n i q u e s . t h e t h e s i s a l s o f o c u s e s o n t h e a p p l ic a t io n t e c h n iq u e s o f t h e l a tt e r o n e s , w h ic h i n c l u d e s t h e s t r o n g a n d w e a k p o i n t s a c c o r d i n g t o d i ff e r e n t a p p l i c a t io n s , r o b u s t a n d e f f i c i e n c y . h a v i n g p r o j e c t e d t h e r e a l i s t i c w o r ld i n to a n i m a g e s e q u e n c e s m o d e l , w e p r e s e n t t h e b a s i c as s u m p t i o n o f i n t e n s i t y - b a s e d d i ff e r e n t i a l t e c h n iq u e s : c o n s t ant a s s u m p t io n a n d d e r iv e t h e o p t i c a l d i ff e r e n t i a l e q u a t i o n f o r t h e m o t i o n e s t i m a t i o n . t h e n , w e a c h ie v e h - s m o d e l f o r t h e m o t i o n e s t i m a t i o n . f u rt h e r m o r e , t h e s i n g u l a r i t y o f t h e o p t i c a l d i ff e r e n t ia l e q u a t i o n i s d is c u s s e d a n d f o u r g r o u p s o f e x t r a as s u m p t io n a r e a d d e d t o t h e e q u a t i o n t o s o lv e t h e p r o b l e m . o n f r e q u e n c y - b a s e d e n e r g y t e c h n i q u e s , w e p r o v e d t h e r e l a t i o n b e t w e e n t h e v e l o c it y a n d t h e e n e r g y o f t h e m o v in g p a t t e rn in f r e q u e n c y d o m a i n . b a s e d o n t h e l i n k , w e u s e t h e g a b o r f i l t e r a s t h e m o t i o n - d e t e c t e d f i l t e r a n d g iv e it s a t t r ib u t e s a n d c h a r a c t e r o f f r e q u e n c y r e s p o n s e , t h e n t h e s p e c i f i c s o l u t io n o f m o t i o n e s t im a t io n is p r o v i d e d . o n t h e o t h e r s id e , t h e t h e s i s p o i n t o u t t h e s i g n i f i c a n c e b e t w e e n t h e i m p le m e n t a t i o n i s s u e and t h e t e c h n iq u e s . w e d i s c u s s e d t h e p e r f o r m a n c e o f d iff e r e n t t e s t i n g s e q u e n c e s a n d t h e g i v e t h e r e a s o n a b l e e r r o r e s t i m a t e m e c h a n i s m . k e y w o r d s : im a g e s e q u e n c e , m o t io n e s t im a t io n , o p t ic a l f o l lo w s , d iff e r e n t ia l t e c h n i q u e s , f r e q u e n c y - b a s e d e n e r g y t e c h n i q u e s , f r e q u e n c y f i lt e r 西北 l 业大学硕士论文第 一 章 绪论 第一章绪论 1 . ， 选题的意义及应用领域: 近年来随着多媒体和网络通信技术的飞速发展，图像分析、视频处理、计算机 视觉和计算机络技术之间的关系越来越密切，它们相互渗透，已经遍及国民经济和 社会生活的各个方面。运动估计是计算机视觉领域的一个基本问题，也是图像序列 分析的一个核心问题，有着非常重要的研究意义，一直都是研究者们关心的领域之 一。随着计算机技术的发展，图像分析从早期只局限于静态图像的处理和分析到如 今的动态图像分析，这一领域正引起了人们越来越浓厚的兴趣。事实上，动态景物 在客观世界中更加普遍，图 像序列能为我们提供更丰富的信息，而且心理学已 经证 明，人类对运动物体比对静止物体更敏感。因此，人们在对于图像序列的运动参数 估计给予了越来越多的关注。 图像序列运动估计的基本任务是从图像序列中检测出运动信息，识别、 跟踪运 动目 标、估计目 标的运动参数，它是图像序列分析与计算机视觉领域中的一个非常 活跃的分支。在国民经济和军事领域的许多方面，如机器人视觉，自主导航，目 标 跟踪，视频监视和视频压缩编码等都有着广泛的应用。在航空领域，图像序列分析 可以用于对各种运动物体 ( 包括流体)运动参数的非接触测量。这一点具有特别重 要的意义，因为在航空器、推进器、武器系统、风洞流场等的性能测试中， 往往会 遇到难予用接触式传感器加以测量的情况，在这种情况下，图像序列分析就有可能 成为一种合理的选择。以下具体列出近二十年来，在动态图像分析的理论应用研究 方面取得了显著成果: . 军事上:用于运动目 标检测、运动物体运动参数估计、目 标跟踪、武器 制导等; 工业上:用于工业过程控制、机器人视觉、飞行器自 卞导航等方面: 商业上:用于动态图像传输中的视频压缩等方面; 西北 l 业大学硕士论文第 一 章 绪论 第一章绪论 1 . ， 选题的意义及应用领域: 近年来随着多媒体和网络通信技术的飞速发展，图像分析、视频处理、计算机 视觉和计算机络技术之间的关系越来越密切，它们相互渗透，已经遍及国民经济和 社会生活的各个方面。运动估计是计算机视觉领域的一个基本问题，也是图像序列 分析的一个核心问题，有着非常重要的研究意义，一直都是研究者们关心的领域之 一。随着计算机技术的发展，图像分析从早期只局限于静态图像的处理和分析到如 今的动态图像分析，这一领域正引起了人们越来越浓厚的兴趣。事实上，动态景物 在客观世界中更加普遍，图 像序列能为我们提供更丰富的信息，而且心理学已 经证 明，人类对运动物体比对静止物体更敏感。因此，人们在对于图像序列的运动参数 估计给予了越来越多的关注。 图像序列运动估计的基本任务是从图像序列中检测出运动信息，识别、 跟踪运 动目 标、估计目 标的运动参数，它是图像序列分析与计算机视觉领域中的一个非常 活跃的分支。在国民经济和军事领域的许多方面，如机器人视觉，自主导航，目 标 跟踪，视频监视和视频压缩编码等都有着广泛的应用。在航空领域，图像序列分析 可以用于对各种运动物体 ( 包括流体)运动参数的非接触测量。这一点具有特别重 要的意义，因为在航空器、推进器、武器系统、风洞流场等的性能测试中， 往往会 遇到难予用接触式传感器加以测量的情况，在这种情况下，图像序列分析就有可能 成为一种合理的选择。以下具体列出近二十年来，在动态图像分析的理论应用研究 方面取得了显著成果: . 军事上:用于运动目 标检测、运动物体运动参数估计、目 标跟踪、武器 制导等; 工业上:用于工业过程控制、机器人视觉、飞行器自 卞导航等方面: 商业上:用于动态图像传输中的视频压缩等方面; 西北 1 _ 业人学硕十论文第章 绪论 医学上:用于血流运动学测量、生物组织的二维运动估计等方面; 气象上:用于云图的分析利天气预报; 。 运输上:用于交通管理、运输工具的流量控制等方面。 1 . 2 运动估计的问题阐述及主要困难 真实世界中物体的三维运动， 通过各种视觉模型的透射或正交投影，呈献给我 们的是一个在图像平面上的 “ 二维运动场” 。对于动态图像序列的运动参数估计实 际上就是对此 “ 运动场”的估计，在计算机视觉领域，这一运动场被称之为 “ 光流 场， 。 分 析光流场的基本假设是由b . k . p . h o rn和 b . g . s c h u n c k 的“ 亮度恒定 假设” t 之上 ( 具 体分析见第 三章) ，即 相 邻序列 图 像中 对应像素点的 亮度保持不 变。 那 么光流场的估计就是对这些像素在不同帧之间的运动估计。然而在实际应用中，真 实的二维运动并不完全等同于光流场，在这里。我们将分析一般情况下光流计算存 在的困难和其发生的原因。 1 . 2 . 1 光流估计的奇异性 由“ 亮度恒定假设” 得出的光流方程通常是一个欠估计的奇异性问题，因为我 们无法仅用一个方程来确定二维速度矢量。 这就是非常有名的 “ b l a n k w a l l ”白板和 a p e r t u r e ” 孔径问 题， 具体分析见第三章第二节， 这里只给出 形象的描述。 例如白 板问 题 b la n k w a l l ”图1 ， 虽然整个物体的 表面在运动， 然而其在图像平面上的投 影却没有变化。 其产生原因在于通常的光流计算都并非对于整个运动场， 而是将“ 亮 度恒定假设”局部化的结果，所以在小区域内的白板问题很难避免。同样，在 a p e r t u r e ” 孔径问 题上， 如果 对于 有条带或网 格的图 案如图2 : 正弦条带和正弦网 格，如果图像沿着条带的方向移动，图像的亮度将没有变化，所以无法确定运动。 西北 1 _ 业人学硕十论文第章 绪论 医学上:用于血流运动学测量、生物组织的二维运动估计等方面; 气象上:用于云图的分析利天气预报; 。 运输上:用于交通管理、运输工具的流量控制等方面。 1 . 2 运动估计的问题阐述及主要困难 真实世界中物体的三维运动， 通过各种视觉模型的透射或正交投影，呈献给我 们的是一个在图像平面上的 “ 二维运动场” 。对于动态图像序列的运动参数估计实 际上就是对此 “ 运动场”的估计，在计算机视觉领域，这一运动场被称之为 “ 光流 场， 。 分 析光流场的基本假设是由b . k . p . h o rn和 b . g . s c h u n c k 的“ 亮度恒定 假设” t 之上 ( 具 体分析见第 三章) ，即 相 邻序列 图 像中 对应像素点的 亮度保持不 变。 那 么光流场的估计就是对这些像素在不同帧之间的运动估计。然而在实际应用中，真 实的二维运动并不完全等同于光流场，在这里。我们将分析一般情况下光流计算存 在的困难和其发生的原因。 1 . 2 . 1 光流估计的奇异性 由“ 亮度恒定假设” 得出的光流方程通常是一个欠估计的奇异性问题，因为我 们无法仅用一个方程来确定二维速度矢量。 这就是非常有名的 “ b l a n k w a l l ”白板和 a p e r t u r e ” 孔径问 题， 具体分析见第三章第二节， 这里只给出 形象的描述。 例如白 板问 题 b la n k w a l l ”图1 ， 虽然整个物体的 表面在运动， 然而其在图像平面上的投 影却没有变化。 其产生原因在于通常的光流计算都并非对于整个运动场， 而是将“ 亮 度恒定假设”局部化的结果，所以在小区域内的白板问题很难避免。同样，在 a p e r t u r e ” 孔径问 题上， 如果 对于 有条带或网 格的图 案如图2 : 正弦条带和正弦网 格，如果图像沿着条带的方向移动，图像的亮度将没有变化，所以无法确定运动。 州北i ：业人学硕十论文 第章绪论 医学上：用于血流运动学测量、生物组织的二维运动估计等方面 气象上：用于云图的分析利天气预报； 运输上：用于交通管理、运输工具的流量控制等方匝。 1 2 运动估计的问题阐述及主要困难 真实世界中物体的三维运动，通过各种视觉模型的透射或正交投影呈献给我 们的是一个在图像平面上的“二维运动场”。对于动态图像序列的运动参数估计实 际上就是对此“运动场”的估计，在计算机视觉领域，这一运动场被称之为“光流 场”。分析光流场的基本假设是由b k p - h o m 和b gs c h u n c k 的“亮度恒定假设” 【l 】之上( 具体分析见第三章) ，即相邻序列图像中对应像素点的亮度保持不变。那 么光流场的估计就是对这些像素在不同帧之间的运动估计。然而在实际应用中，真 实的二维运动并不完全等同于光流场，在这里。我们将分析一般情况下光流计算存 在的阐难和其发生的原因。 1 2 1 光流估计的奇异性 由“亮度恒定假设”得出的光流方程通常是一个欠估计的奇异性问题，因为我 们无法仅用一个方程来确定二维速度矢量。这就是非常有名的“b l a n kw a l i ”白板和 “a p e r t u r e ”孔径问题，具体分析见第三章第二节，这里只给出形象的描述。例如白 板问题“b l a n kw a l l ”图l 虽然整个物体的表面在运动，然而其在图像平面上的投 影却没有变化。其产生原因在于通常的光流计算都并非对于整个运动场，而是将“亮 度恒定假设”局部化的结果，所以在小区域内的白板问题很难避免。同样，在 “a p e r t u r e ”孔径问题上，如果对于有条带或网格的图案如图2 ：正弦条带利正弦网 格，如果图像沿着条带的方向移动，图像的亮度将没有变化，所以无法确定运动。 西北f ：业大学硕七论文第章绪论 图11 图中解释了两种光流估计的奇异性情况和一种非奇异性的问题。对于平移的方块，其右上角 点的遥动速度可以唯一确定，而对千方块边上的点，我们只能确定其x 方向的运动而y 方向未知， 对于方块中心的点，我们无法确定其运动。 囤12 正弦条带和正弦网格 1 2 2 无运动的光流变化 首先所有运动估计方法都是基于图像灰度的时间变化。图像序列中日标物体的 荫北l 业夫擘硕十论文 舞章绪论 运动是三维空间物体运动在图像平面上的投影。光流计算的基本等式是在假定相邻 两幅图像中对应两点的灰度不变的条件下得到的。在这个假定条件下，首先要求相 邻两幅图像间隔时间比较短，此外还假定了场景光照均匀，而且场景中物体的反射 表面是朗伯表面( 物体表面的反射系数固定不变) 。但实际上，这些条件很难同时满 足，而且基本等式对于有强光部分、阴影部分、光照不均匀和透明情况都不成立， 由于背景光照条件复杂或者存在晃动物体，也都会干扰运动检测过程。所阱，很多 情况下光流的变化并不完全取决于物体的运动，也可由摄像机运动或照明条件的变 化引起，如摄像机与景物之间存在相对平移或旋转运动。 1 2 3 时空采样混浊 因为动态图像序列是时空三维信号，所以采样的结果直接决定了是否能够准确 估算出两帧之间较大的运动矢量。比如一个向左运动的篱状栅格图3 ，如果栅格在 相邻两帧之间的运动矢量较小( 采样间隔的位移小于两个栅格间的距离一半) ，就可 得到足够的局部信息使光流方程非奇异，得出其运动的方向，然而，如果两帧之间 的运动位移较大，我们就无法判断，图像究竟是向卉移还是向右移。这就是所滑的 “采样混浊”引起的光流方程奇异性问题。 圉13 ：向左运动的篱状栅格豳。如果栅格在相邻两帧之闻的运动矢量犬于两个栅格间的距离一半 我们看起来囝像是在向右移动 d 4 北 t 业大学硕十论文贫章 绪论 运动是二维空间物体运动在图像平面上的投影。光流计算的基本等式是在假定相邻 两幅图像中对应两点的灰度不变的条件下得到的。在这个假定条件下， 首先要求相 邻两幅图像间隔时间比较短，此外还假定了场景光照均匀，而且场景中物体的反射 表面是朗伯表面( 物体表面的反射系数固定不变) 。但实际上，这些条件很难同时满 足，而且基本等式对于有强光部分、阴影部分、光照不均匀和透明情况都不成立， 由于背景光照条件复杂或者存在晃动物体，也都会干扰运动检测过程。所以，很多 情况下光流的变化并不完全取决于物体的运动，也可由摄像机运动或照明条件的变 化引起，如摄像机与景物之间存在相对平移或旋转运动。 1 . 2 . 3时空采样混浊 因为动态图像序列是时空二维信号， 所以采样的结果直接决定了是否能够准确 估算出两帧之间较大的运动矢量。比如一个向左运动的篱状栅格图 3 ，如果栅格在 相邻两帧之间的运动矢量较小( 采样间隔的位移小于两个栅格间的距离一半) ， 就可 得到足够的局部信息使光流方程非奇异， 得出 其运动的方向， 然而， 如果两帧之间 的运动位移较大，我们就无法判断，图像究竟是向左移还是向右移。这就是所谓的 “ 采样混浊”引起的光流方程奇异性问题。 图 1 . 3 向 左 运动的 篱状 栅格图 。 如果 姗格 在 相邻两 祯之间 的 运动矢 f大 干两 个 栅 格间 的 距离 一 半， 我们看起来图像是在向右移动 西北 1 _ 业大学硕十论文 第章 绪论 1 . 2 . 4非运动的光流变化 最后，在运动上述估计中， 都假设物体的运动都是刚体的平移运动。 然而在自 然界中，许多物体都存在变形、遮挡等，即并不符合假设中的条件，因而导致目 标 的光流变化估计检测困难。如图 a ，是流体或者变形体产生的旋转、膨胀或缩小口 这一问题的关键在于光流估算时局部化条件中图像分块的大小，由此产生的估算误 差决定于物体本身的位移和变形的大小;另一种估算误差产生于缺少目 标的先验知 识，如形状、运动性质、颜色、 纹理等，譬如物体遮挡的边界或者是由物体表面的 对比度、透明处和高光点带来的运动估计方面的困难，见图4 e 膨胀遮挡透明度 鑫三1!t x- x - x 一一.卜 图 4左为正在膨胀的左移图形:中间是两个相互混盛的运动物体边界。 右边是一个向左， 另一个向 右 的 相 互 层 盛 的 透 明 图 案 。_ . . 、 _ 上述种种困难正是当今图像序列分析所面对的挑战和急待解决的(p7 9 9 1 . 3 运动估计的方法分类 从 1 9 7 9年美国费城州立大学第一个动态图像工作室成立开始，有关图像序列 运动的研究可以分为两个阶段。 第一阶段， 二十世纪8 0 年代到九十年代。 这一个时 期是运动估计的理论建立时期，主要的运动估计算法可以分为两个类别:基于特征 的运动估计和基于光流的运动估计。 第二阶段， 二十世纪末至今。 在这一个十年里， 注意到网络技术和多媒体技术的飞速发展，其使得图像、视频、计算机视觉、多媒 体数据库和网络技术之变得密不可分，运动估计技术呈现出高速增长的态势，其中 出现基于像素、基于块、基于网格、 基于区域和基于全局的分层运动估计的方法。 现有的各种处理方法大致可以分为以 下二种类型:基于图像亮度的匹配技术、 西北 1 _ 业大学硕十论文 第章 绪论 1 . 2 . 4非运动的光流变化 最后，在运动上述估计中， 都假设物体的运动都是刚体的平移运动。 然而在自 然界中，许多物体都存在变形、遮挡等，即并不符合假设中的条件，因而导致目 标 的光流变化估计检测困难。如图 a ，是流体或者变形体产生的旋转、膨胀或缩小口 这一问题的关键在于光流估算时局部化条件中图像分块的大小，由此产生的估算误 差决定于物体本身的位移和变形的大小;另一种估算误差产生于缺少目 标的先验知 识，如形状、运动性质、颜色、 纹理等，譬如物体遮挡的边界或者是由物体表面的 对比度、透明处和高光点带来的运动估计方面的困难，见图4 e 膨胀遮挡透明度 鑫三1!t x- x - x 一一.卜 图 4左为正在膨胀的左移图形:中间是两个相互混盛的运动物体边界。 右边是一个向左， 另一个向 右 的 相 互 层 盛 的 透 明 图 案 。_ . . 、 _ 上述种种困难正是当今图像序列分析所面对的挑战和急待解决的(p7 9 9 1 . 3 运动估计的方法分类 从 1 9 7 9年美国费城州立大学第一个动态图像工作室成立开始，有关图像序列 运动的研究可以分为两个阶段。 第一阶段， 二十世纪8 0 年代到九十年代。 这一个时 期是运动估计的理论建立时期，主要的运动估计算法可以分为两个类别:基于特征 的运动估计和基于光流的运动估计。 第二阶段， 二十世纪末至今。 在这一个十年里， 注意到网络技术和多媒体技术的飞速发展，其使得图像、视频、计算机视觉、多媒 体数据库和网络技术之变得密不可分，运动估计技术呈现出高速增长的态势，其中 出现基于像素、基于块、基于网格、 基于区域和基于全局的分层运动估计的方法。 现有的各种处理方法大致可以分为以 下二种类型:基于图像亮度的匹配技术、 西北 l 业大学硕十论文 第章 绪论 基于图像亮度的微分技术和基于频域的时空滤波器技术。下面分别对于它们加以简 奋 要的介绍。 1 . 3 . 1 基于图像亮度的匹配技术 这一类处理方法主要集中在将图像分割成小的亮度区域或者基于图像的本身 的特征，找出帧与帧之间的对应关系。通常这里常用的数学方法是基于位移帧差 ( d f d ) 的平方和差分( s u m o f s q u a r e d d i f f e r e n c e或成为s s d ) ，线性最小二乘l l s e ( l i n e a r l e a s t - s q u a r e s e s t i m a t e ) 或者求一 致化的 相关函 数的方法; 1 . 3 . 2 基于图像亮度的微分技术 这一技术是对由 “ 亮度恒定假设” 用通常被称为 “ 梯度法”的微分手段 得出的光流方程 ( 具体讨论见第二章) ，运 对动态图像序列的亮度和时间作差分运算。 不仅是对于“ 亮度恒定假设” ， 更广义上来讲， 这种方法都是找出在动态图像序列中 守恒的物理量，并对其微分的方法。 1 . 3 . 3 基于频域的时空滤波器技术 这一类方法通常是借助于时空方向滤波器实现的，它们对速度矢量比较敏感。 不同于前两种方法，这类方法主要的问题都是在频域解决的 ( 具体讨论见第四章) 。 当然也有一些是基于相位的方法，但本质都是利用了傅立叶变换中的帕塞瓦尔定理 并将其应用在局部图像。 在这二种方法之中， 基于图像亮度的匹配技术是其中比较基础性的， 也比 较直 观，因此发展较快，也比较成熟。它被广泛地应用于图像分析和运动估计， 特别是 视频编 码，己 经被很多压缩标准所采用， 如h .2 6 3 , m p e g 一和m p e g - 4 等。 在一 个典型的 块匹配算法中，一帧图 像被分割为mx n或n x n象素大小的块。在 ( n + 2 w ) x ( n + 2 w ) 大 小 的 匹 配 窗 中 ， 将 当 前 块 与 前 一 帧 中 对 应的 块 相比 较 ， 基 于 匹 配标准找出最佳匹配，得到当前块的替代位置。常用的匹配标准有最小均方误差 ( ms e )和最小绝对误差 ( ma e ) ，可表示为: 西北 l 业大学硕十论文 第章 绪论 基于图像亮度的微分技术和基于频域的时空滤波器技术。下面分别对于它们加以简 奋 要的介绍。 1 . 3 . 1 基于图像亮度的匹配技术 这一类处理方法主要集中在将图像分割成小的亮度区域或者基于图像的本身 的特征，找出帧与帧之间的对应关系。通常这里常用的数学方法是基于位移帧差 ( d f d ) 的平方和差分( s u m o f s q u a r e d d i f f e r e n c e或成为s s d ) ，线性最小二乘l l s e ( l i n e a r l e a s t - s q u a r e s e s t i m a t e ) 或者求一 致化的 相关函 数的方法; 1 . 3 . 2 基于图像亮度的微分技术 这一技术是对由 “ 亮度恒定假设” 用通常被称为 “ 梯度法”的微分手段 得出的光流方程 ( 具体讨论见第二章) ，运 对动态图像序列的亮度和时间作差分运算。 不仅是对于“ 亮度恒定假设” ， 更广义上来讲， 这种方法都是找出在动态图像序列中 守恒的物理量，并对其微分的方法。 1 . 3 . 3 基于频域的时空滤波器技术 这一类方法通常是借助于时空方向滤波器实现的，它们对速度矢量比较敏感。 不同于前两种方法，这类方法主要的问题都是在频域解决的 ( 具体讨论见第四章) 。 当然也有一些是基于相位的方法，但本质都是利用了傅立叶变换中的帕塞瓦尔定理 并将其应用在局部图像。 在这二种方法之中， 基于图像亮度的匹配技术是其中比较基础性的， 也比 较直 观，因此发展较快，也比较成熟。它被广泛地应用于图像分析和运动估计， 特别是 视频编 码，己 经被很多压缩标准所采用， 如h .2 6 3 , m p e g 一和m p e g - 4 等。 在一 个典型的 块匹配算法中，一帧图 像被分割为mx n或n x n象素大小的块。在 ( n + 2 w ) x ( n + 2 w ) 大 小 的 匹 配 窗 中 ， 将 当 前 块 与 前 一 帧 中 对 应的 块 相比 较 ， 基 于 匹 配标准找出最佳匹配，得到当前块的替代位置。常用的匹配标准有最小均方误差 ( ms e )和最小绝对误差 ( ma e ) ，可表示为: 西北 l 业大学硕十论文 第章 绪论 基于图像亮度的微分技术和基于频域的时空滤波器技术。下面分别对于它们加以简 奋 要的介绍。 1 . 3 . 1 基于图像亮度的匹配技术 这一类处理方法主要集中在将图像分割成小的亮度区域或者基于图像的本身 的特征，找出帧与帧之间的对应关系。通常这里常用的数学方法是基于位移帧差 ( d f d ) 的平方和差分( s u m o f s q u a r e d d i f f e r e n c e或成为s s d ) ，线性最小二乘l l s e ( l i n e a r l e a s t - s q u a r e s e s t i m a t e ) 或者求一 致化的 相关函 数的方法; 1 . 3 . 2 基于图像亮度的微分技术 这一技术是对由 “ 亮度恒定假设” 用通常被称为 “ 梯度法”的微分手段 得出的光流方程 ( 具体讨论见第二章) ，运 对动态图像序列的亮度和时间作差分运算。 不仅是对于“ 亮度恒定假设” ， 更广义上来讲， 这种方法都是找出在动态图像序列中 守恒的物理量，并对其微分的方法。 1 . 3 . 3 基于频域的时空滤波器技术 这一类方法通常是借助于时空方向滤波器实现的，它们对速度矢量比较敏感。 不同于前两种方法，这类方法主要的问题都是在频域解决的 ( 具体讨论见第四章) 。 当然也有一些是基于相位的方法，但本质都是利用了傅立叶变换中的帕塞瓦尔定理 并将其应用在局部图像。 在这二种方法之中， 基于图像亮度的匹配技术是其中比较基础性的， 也比 较直 观，因此发展较快，也比较成熟。它被广泛地应用于图像分析和运动估计， 特别是 视频编 码，己 经被很多压缩标准所采用， 如h .2 6 3 , m p e g 一和m p e g - 4 等。 在一 个典型的 块匹配算法中，一帧图 像被分割为mx n或n x n象素大小的块。在 ( n + 2 w ) x ( n + 2 w ) 大 小 的 匹 配 窗 中 ， 将 当 前 块 与 前 一 帧 中 对 应的 块 相比 较 ， 基 于 匹 配标准找出最佳匹配，得到当前块的替代位置。常用的匹配标准有最小均方误差 ( ms e )和最小绝对误差 ( ma e ) ，可表示为: 四北 l 业大学硕士论文 第 一 章 绪论 w - 一 w - 十 + 切 f( 一 脚 f( 习 n艺洞 上矿 - mse m a e (i,j ) = - z i.f (m ,n ， 一 f (m + i,n + j ) l 一 ” i,j _ w ( ; 2 ) 其 中 f ( m , n ) 表 示 当 前 块 在 位 置 ( m , n ) ， f ( m + i , ” 十 j ) 表 示 相 应 的 块 在 前 一 帧 中 位 置 为 ( m 十 i, n + j ) ， 后 者 常 在 v l s i 硬 件 中 大 量 运 用 。 块匹配的搜索方 法有全局搜索法和各 种快速搜索算法， 如二步 搜索法 6 1 、 交叉 算法 7 l 、 简单搜索算法【 4 ) 和四步 搜索算法 5 等。 全局搜索法的 优点 是可以 找到全局 最优值，缺点是计算量大;各种快速搜索算法的优点是计算速度得到了提高，但缺 点是固定的块尺寸限制了运动估计场的精度，而且它不适合处理运动场中的不连续 值。特别是在 1 .2节中提到的光流计算存在的奇异性问题，基于图像亮度的匹配技 术不能满足，在空间域仅凭亮度信息和时间域的线性滤波关系，对于图像纹理精度 较高的情况下 ( 正弦条带和正弦网格)往往发生采样混浊。所以本文的重点将放在 后面两种方法:基于图像亮度的微分技术和基于频域的能量技术的具体分析和比较 上 ( 详见第三章和第四章) 。 1 .4本文的主要研究内 容和文章结构 本文的主要工作集中在以下几个方面: t .系统的总结了近二十年来各种运动参数估计的算法，从新的角度将其归结 为三类:基于图像亮度的匹配技术、基于图像亮度的微分技术和基于频域 的时空滤波器技术。 2 .在基于图像亮度的微分技术中，完整的建立了以h - s 方法为代表的模型， 设计并完成了运动参数估计的完整试验. 3 .通过分析光流微分方程在估计运动时存在的奇异性问题，总结了基于图像 亮度的微分技术必须附加的新约束条件， 并将现有的各种约束进行了分类， 为今后分析不同情况下的运动参数估计方法提供了研究参考。 四北 l 业大学硕士论文 第 一 章 绪论 w - 一 w - 十 + 切 f( 一 脚 f( 习 n艺洞 上矿 - mse m a e (i,j ) = - z i.f (m ,n ， 一 f (m + i,n + j ) l 一 ” 9 , , t t ,j 之 间 的 关 系 由 此可见，c a h v摄像机模型很适合于表示这些各种各样的摄像机运动。 西北 : 业大学硕士论文第 _ 章 图像序列的参数模型 2 . 2照明模型 一般认为有两种类型的光源:照明和反射。照明模型描述入射到物体上的光如 何影响反射光的分布，我们所看到的就是这种分布。照明模型可以分为光谱模型和 几何模型。如果想要对来自几种彩色光源，或由 不同色彩的物体或彩色反射面间接 照明的彩色的变化建模，可以使用光谱照明模型。几何模型描述入射光的幅度和方 向分布。这里重点讨论几何模型。 几何照明模型适用于环境和点光源。 对于每一种类型的光源， 也可以把它区分 为局部和总休照明模型。局部照明模型假设照明与物体的位置以及其他物体无关。 总体照明模型还要考虑物体问的影响，例如阴影以及从物体表面反射的光。 2 . 2 . 1漫反射和镜面反射 我们只能看见反光的物休， 而所感觉的颜色取决于它们反射的波长范围。一般 地，反射可以 被分解为两个分量:漫反射在所有方向上具有相等的能量分布;镜面 反 射在人射光的镜向上强度最大( 关于 漫反射和镜面反射的很好的说明参见参考文 献 3 ) 。 只呈现漫反射的 表面称为朗 伯表面， 更 通常地描述为 钝的或无光泽的 木 头表面和水泥墙属于这一类。由于漫反射，我们才能感觉到物体的颜色。镜面反射 可以用发亮的表面和镜子观察到。镜面反射不能显示物体的颜色，只显示人射光的 颜色;因此，我们实际上不能感觉到一个表面上只呈现镜面反射的物体的颜色。除 了 镜子以外， 通常的表面既具有漫反射也具有镜面反射。只有漫反射决定物体表面 的颜色。在日 光下看一个人的眼睛，除了一个白点之外，我们通常看到的是眼睛本 身，这个白点是由太阳光的镜面反射产生的。 根据经验可知，如果我们相对于眼睛 改变我们的位置，那么这个点会在眼睛表面移动 2 . 2 . 2在不同 照明和反射条件下的光强分布 在视频处理中， 照明模型主要用于描述由 真实世界的照明变化引起的视频序列 时间上的变化。由于物体与它所投射的影子一起运动，背景的照明可能发牛变化。 由于物体表面反射光线，这个反射源会改变场景的整体照明。 西北 : 业大学硕士论文第 _ 章 图像序列的参数模型 2 . 2照明模型 一般认为有两种类型的光源:照明和反射。照明模型描述入射到物体上的光如 何影响反射光的分布，我们所看到的就是这种分布。照明模型可以分为光谱模型和 几何模型。如果想要对来自几种彩色光源，或由 不同色彩的物体或彩色反射面间接 照明的彩色的变化建模，可以使用光谱照明模型。几何模型描述入射光的幅度和方 向分布。这里重点讨论几何模型。 几何照明模型适用于环境和点光源。 对于每一种类型的光源， 也可以把它区分 为局部和总休照明模型。局部照明模型假设照明与物体的位置以及其他物体无关。 总体照明模型还要考虑物体问的影响，例如阴影以及从物体表面反射的光。 2 . 2 . 1漫反射和镜面反射 我们只能看见反光的物休， 而所感觉的颜色取决于它们反射的波长范围。一般 地，反射可以 被分解为两个分量:漫反射在所有方向上具有相等的能量分布;镜面 反 射在人射光的镜向上强度最大( 关于 漫反射和镜面反射的很好的说明参见参考文 献 3 ) 。 只呈现漫反射的 表面称为朗 伯表面， 更 通常地描述为 钝的或无光泽的 木 头表面和水泥墙属于这一类。由于漫反射，我们才能感觉到物体的颜色。镜面反射 可以用发亮的表面和镜子观察到。镜面反射不能显示物体的颜色，只显示人射光的 颜色;因此，我们实际上不能感觉到一个表面上只呈现镜面反射的物体的颜色。除 了 镜子以外， 通常的表面既具有漫反射也具有镜面反射。只有漫反射决定物体表面 的颜色。在日 光下看一个人的眼睛，除了一个白点之外，我们通常看到的是眼睛本 身，这个白点是由太阳光的镜面反射产生的。 根据经验可知，如果我们相对于眼睛 改变我们的位置，那么这个点会在眼睛表面移动 2 . 2 . 2在不同 照明和反射条件下的光强分布 在视频处理中， 照明模型主要用于描述由 真实世界的照明变化引起的视频序列 时间上的变化。由于物体与它所投射的影子一起运动，背景的照明可能发牛变化。 由于物体表面反射光线，这个反射源会改变场景的整体照明。 西北 工 _ 业大学硕十论文第_ _ 章 图像序列的参数模型 当讨论对于一个物体表面光源的相互作用时， 涉及到三种类型的能量。 第一个 是 入 射光 通 量， 它 指的 是 从 光 源 发 射出 的 能 量 的 速率 ， 用 瓦 特 ( w ) 度量。 第二 个 是 入 射 辐 照 度 ， 它 指 的 是 物 体 上 每 单 位 表 面 积 的 入 射 光 通 量 ， 单 位 是 w / m ( 注 意 ， 物体 上某一点的 辐照度取决于入射光与表 面在该 点的 法线之间的 夹角 ) 。 最后一个是 反射辐射强度，它度量从物体表面反射的光的能量。 反射辐射强度c的分布取决于入射光辐照度e 的分布和物体表面在该点的 反射系数函数r 。最一般的关系可以描述为: c ( l , v , n , x , t , a ) = r ( l , v , n , x , t , a ) - e ( l , n , x , t , a ) ( 2 . 1 6 ) 其中x是物体表面的 位置，n是 在位置x处的 表面法线矢量，l 是照明 方向， v 是 连 接x 与 摄 像 机 焦点 的 观 测 方向 ， a 是 光 的 波 长 见 图2 .9 ) 3 4 0 显 然， l , v 和 n是x 和t 的函数。 反射系数函数r 定 义为反射光强 度( 即光通亮) 与人 射光强度之间 的比 值。这个标量函数: 也称为漫反射系数，或者简称为反射系数。反射系数函数 取决于入射光的波长、表面的几何形状和材料质地。当物体移动时，同一位置上的 反 射 系 数 随 时 间 变 化 ， r ( l , v , n , x , t , a ) 只 是 对 属 于 时 刻 t 时 表 面 上 那 些x 定 义 的 。 图2 . 9 照明棋型 在下面的 段落中引 入几个简化的 假设， 以 便分析更多的 关于反射辐射强 度( 公式 2 . 1 6 ) 的知识 种情况下， 。 从假设不透明的物体表面和时不变的照明( 以 及观测) 方向开始。在这 公式( 2 . 1 6 ) 简化为: c ( v , n , x , t