（电子科学与技术专业论文）机载视频图像插值方法研究.pdf

国防科学技术大学研究生院工学硕士学位论文 a b s t r a c t v i d e oi m a g ei n t e r p o l a t i o nt e c h n i q u e sh a v ec o m p r e h e n s i v e a p p l i c a t i o n si nt h e f i e l d so fv i d e o i m a g ep r o c e s s i n ga n da n a l y s i s ，t h ea c c u r a c ya n de f f i c i e n c y o f i n t e r p o l a t i o nd i r e c t l yi n f l u e n c et h ef o l l o w i n gt r e a t m e n t s a i r b o r n ed i s p l a ys y s t e mn e e d s t oh a n d l ed i g i t a lm a p sf o rz o o m i n ga n du p g r a d i n gt h ef r a m er a t eo fe x t r a v e h i c u l a r s u r v e i l l a n c ev i d e o t h ei n v e s t i g a t i o no nt h e s eb a c k g r o u n d si ss t i l lr e l a t i v e l ys m a l l ，a n d t h i si so n eo ft h ek e yt e c h n i q u e st oa d v a n c et h eb a t t l ee f f e c t i v e n e s si nan e w g e n e r a t i o n o ff i g h t e rp l a n e t h i sp a p e rh a sm a d ed e e p l yr e s e a r c ho nv i d e oi m a g ei n t e r p o l a t i o na l g o r i t h m s ， e s p e c i a l l yi na i r b o r n ed i s p l a ys y s t e m f i r s t ，i ti n t r o d u c e st h ev i d e oi m a g ei n t e r p o l a t i o n t e c h n i q u e sa n dm o t i o ne s t i m a t i o nt e c h n i q u e s ，a n de x p o u n d st h ee l e m e n t sa n dc a l c u l a t e m e t h o d s ，a l s oa n a l y s e st h e i rc h a r a c t e r i s t i c s ；s e c o n d ，i no r d e rt oz o o mt h ed i g i t a lm a p ，i t p r e s e n t san e wi n t e r p o l m i o na l g o r i t h mi no n ef r a l i l e ，w h i c hb a s e do nc o n t e n td i v i s i o no f i m a g ei nh s vs p a c e i no r d e rt ou p g r a d et h ef r a m er a t eo fe x t r a v e h i c u l a rs u r v e i l l a n c e v i d e o ，i tp r e s e n t san e wi n t e r p o l a t i o na l g o r i t h mb e t w e e nf r a m e s e x t e n s i v ee x p e r i m e n t s s h o wf l i n tt h en e wa l g o r i t h m si m p r o v et h et r e a t m e n te f f e c ta n dt i m ec o m p l e x i t yo f i n t e r p o l a t i o n ，a n dt h e yc a nf e e do nt h en e e do fa i r b o r n ed i s p l a ys y s t e m k e yw o r d s ：v i d e oi m a g ei n t e r p o l a t i o n ，m o t i o ne s t i m a t i o n ，u p g r a d ef l a m e r a t e ，c o n t e n td i v i s i o n 第i i 页 国防科学技术大学研究生院工学硕士学位论文 表目录 表2 1 基本插值算法计算量1 0 表4 1 缩放仿真处理时间2 6 表5 1 累积法预测目标位置一3 9 表5 2 仿真结果对比j 4 0 第1 i i 页 国防科学技术大学研究生院工学硕士学位论文 图目录 图2 1 理想插值4 图2 2 最邻近插值5 图2 3 双线性插值6 图2 4c u b i c 插值( 铲1 2 ) 7 图2 5c u b i c 插值( a _ 0 6 ) 7 图2 6m i t c h e l l 插值8 图2 7 待处理原始图像8 图2 8 放大处理仿真效果图9 图2 9 缩小处理仿真效果图9 图3 1 运动估计原理。1 3 图3 2 代表点匹配算法原理1 5 图4 1 机载数字地图示例。1 8 图4 2 基于内容分割的数字地图插值处理18 图4 3 内容划分效果2 0 图4 4 最邻近插值放大2 1 图4 5 最邻近插值缩小2 2 图4 6 双线性插值实现2 3 图4 7 放大处理效果图2 5 图4 8 缩小处理效果图2 6 图5 1 舱外视频图像示例2 8 图5 21 2 倍帧频提升。2 9 图5 3 线性平均法3 0 图5 4 帧间图像插值框图31 图5 5 整体平移运动示例3 2 图5 6 部分平移运动示例3 2 图5 7 舱外视频图像内容分割3 5 图5 9 飞行目标运动轨迹预测3 9 第1 v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料与我同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文题目：扭羹塑频图倦堑焦友洼珏塞 一 学位论文作者签名：查! 扛蓥日期：伽7 年jf 月7 日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题目：狃载塑麴图鱼堑焦左洼珏究 学位论文作者签名：垄i 丘蓥 作者指导教师签名： 日期：7 卯年it 月7 日 _ 、 眨 日期：却哆年1 1 月秒日 国防科学技术大学研究生院工学硕士学位论文 第一章绪论 1 1 课题背景 t 在某机载座舱显示系统中，要求将数字地图显示在某种分辨率的l c d 之上， 此外还要求将舱外监控视频也在该l c d 屏上显示。由于历史和其它的原因，视频 领域存在多种不同制式，如模拟电视信号主要有n t s c 、p a l 、s e c a m 三种制式， 数字视频信号分c c i r 6 5 6 、r a w 等格式。在p c 领域，更有c g a 、v g a 、s g a 、 x g a 等多种不同行频、场频的格式。在具体应用中，用户还要对图像进行放大、 缩小处理；此外我国航空摄像机为帧频5 0 h z 的p a l 制式，l c d 要求帧频6 0 h z 以上。所以，在显示设备中常需要在分辨率、帧频两方面进行变换，将不同的视 频信号转化成设备正常显示需要的制式。这时，我们就需要一种快捷、高效的插 值方法来实现视频信号重采样。 本课题研究对象是基于机载的视频图像插值算法，算法设计必须考虑到应用 的特殊环境、实时性和处理效果，并对此提出相应的解决方法。 1 2 研究现状 缩放变换是图像处理中的常用技术，国内外对此提出了多种算法，其中基本 的是采用最邻近插值、双线性插值和三次方插值等方法实现缩放。为了达到更好 的效果，人们在此基础上提出了多种改进的插值算法，如m a e l a n d 采用三次样条 函数构建插值像素i l 】，胡敏以二元向量有理插值为基础实现图像缩放【2 j ，c h u l h e e 将b 样条插值函数应用于图像缩放【3 】，e i k h a m y 基于三次插值方法使均方误差最 小【4 】，h w a n g 根据梯度信息对双线性和双三次插值方法进行修i e t 5 1 ，n g u y e n 采用 小波方法实现多分辨率插值【6 】，这些改进插值算法的缺陷是忽略图像本身的内容差 异，对整幅图像采用同一个插值函数进行缩放，因此缩放效果和处理速度不能很 好地得到兼顾。 帧频变换主要包括上变换和下变换，下变换一般可以用去除帧来实现。在本 课题中重点研究的是上变换，即帧频提升。提升帧频的方法有两类：一是由已有 帧线性组合获得新帧，该方法简单易行，但是忽略目标运动信息，新帧可能出现 运动模糊；二是对已有帧进行运动估计生成新帧，这样能克服运动模糊现象，更 好地反映目标运动轨迹。后一类方法的关键是如何准确进行运动估计，人们对此 进行大量研究，提出块匹配算法、代表点比较算法、投影算法、位平面匹配算法【7 】 等。块匹配算法通过在两帧之间按照某种规则寻找最相似的两个目标块位移来确 第1 页 国防科学技术大学研究生院工学硕士学位论文 定运动矢量峭j ，能够精确地估计运动矢量，但计算量非常大，效率低；代表点比较 算法计算量较小，每一个区间取若干个代表点就可达到较高精度【9 】，但选定的代表 点不一定是图像上真正的明显特征点，对图像变化不敏感；边沿检测匹配算法的 难点在于如何找到合理的边沿检测参数，把图像轮廓特征清晰的表现出来；位平 面匹配算法显著降低运动估计的计算量，提高实时性【1 0 1 ，但如何选择适当位平面 进行运动矢量估计比较困难。以上传统运动估计算法都忽略了视频图像本身的内 容特性，对整帧视频图像进行运动估计，处理速度慢。 1 3 本文工作 本文共分六章，第一章是绪论，介绍了课题背景、研究现状和意义。第二章 是视频图像插值技术，从实现原理、时频特性、计算方法等方面阐述与分析了现 有插值算法的优缺点。第三章是视频图像运动估计技术，讨论了几种常用运动估 计算法的原理及优缺点。第四章是基于内容分割的数字地图插值新算法，首先分 析了座舱数字地图图像特性，然后提出了一种基于内容分割的帧内插值新方法。 第五章是基于内容分割的视频图像插值新算法，分析了舱外视频图像的特点，提 出了一种基于内容分割的帧间插值新方法。第六章是总结与展望，对研究成果进 行了系统性概括，并明确了以后的研究方向。 本文针对当前机载座舱显示系统中的插值问题，提出了基于视频内容分割的 帧内与帧间插值计算方法。主要研究内容有以下三个方面： ( 1 ) 深入研究了视频图像插值技术和运动估计技术； ( 2 ) 针对座舱数字地图特性，提出了基于内容分割的数字地图插值新算法； ( 3 ) 针对舱外视频图像特性，提出了基于内容分割的视频图像插值新算法。 第2 页 国防科学技术大学研究生院工学硕士学位论文 第二章视频图像插值技术 插值变换是视频图像处理中的重要研究内容，被广泛应用于实现视频图像分 辨率转换以及帧频变换的处理之中。图像分辨率的转换是为获得图像的细节信息 或者整体概貌而进行的缩放；帧频变换是为了使各种帧频的视频图像能够在指定 设备上正常显示而做的调整，比如本课题需要实现的的机载座舱显示系统中对视 窗任意倍数的缩放，以及p a l 制视频图像在专用液晶屏上显示所需的帧频提升处 理。长期以来国内外对这一领域的研究较多【1 1 h 3 0 ，下面具体介绍插值原理以及各 种插值算法的性能。 2 1 插值原理 图像插值是图像数字化之后的重采样，即用已知的邻近像元来计算未知的像 素值。这种邻近可以是未知点的某个邻域，也可以是整帧图像。计算一般采用邻 近像元的加权平均，这种加权平均可以表现为信号的离散化采样与插值基函数之 间的卷积。 图像插值过程一般是首先建立对应的数学模型，然后按照插值函数重采样， 获得新的数字图像样点。 一幅分辨率为m x n 的数字图像采样点信息可以用m x n 阶矩阵表示为： f ( o ，o )f ( o ，1 ) f ( o ，n 一1 ) f o ，0 )( 1 ，1 ) f ( 1 ，n - i ) ； f ( m 一1 ，o ) 0 彳一l ，1 ) f ( g - 1 ，n 一1 ) ( 2 1 ) 像素点用贝m ，n ) 表示，其中0 m m ，o n n 。对一幅数字图像进行缩放交 换，其实质就是对一幅数字图像进行重采样，假设对原始图像高和宽进行缩放的 系数分别为s 1 和s 2 ，那么根据奈奎斯特采样定理，应该用新的水平与垂直采样周 期s 1 、s 2 对原始数字图像进行重采样，得到经过缩放的数字图像为： 如，= m ；- i 砂等鬻酱鬻1 s i n ( 7 i t ) ( m 2 ：i s , - r o t ) 】s i l l ( 万r ) ( 丁岛- n t ) 】 其中 z ) ? s m t ) 和( g t ) ( n t s 2 一n t )为理想的插值基函 数。 第3 页 国防科学技术大学研究生院工学硕士学位论文 2 2 视频图像插值方法 理想插值基函数在空间域是无限的，物理上无法实现；在实际应用中人们采 用多种可以实现的函数去逼近理想插值基函数，从而形成各种各样的插值算法【3 1 】： 2 2 1 理想插值 对一帧连续的图像舡进行采样，只要满足奈奎斯特定理，采样频谱f ( u ，v ) 在频域的重复就不会混叠，只要在频域增加一个适当的矩形框，原始的连续图像 就可以从它的离散采样函数贝屯? ) 完全恢复出来。一维理想插值在时域可以通过与 s i n c 函数的卷积实现，因此一维理想插值的基函数为： h o ( x ) ：坐! ：s i n c ( 功( 2 3 ) 7 它的示意图为： ， ， 。 t1 o | 一0 8 1 一0 6 一10 4 l 八 一 o 2 i 八、 - 3 2 1o1 纠3 一 一 x a 、插值基函数 b 、傅立叶交换幅度 图2 1 理想插值 图a 为理想无限抽头插值器的空间域图，它在3 x 3 间隔内被截短。图b 为 相应频域图，它的通带有限，范围是氕 c d 靠，并且在通带内，幅值为常数1 ， 阻带为0 ，为理想矩形框。 理想插值函数在理论上可以完全重建船奶，但由于理想插值函数在空间域无 限，因此实际上无法实现。它的意义在于作为一种参考依据，用于比较各种可实 现插值函数的性能。而各种可实现的插值函数实际上是对理想插值函数多种方式 的逼近。 2 2 2 最邻近插值 对理想s i n e 函数最简单的近似方法就是利用空间有限的最邻近原则，炽) 的值 第4 页 国防科学技术大学研究生院工学硕士学位论文 选择与它最邻近点以妨的值，插值基函数为： = 臀慧： 办l ( 力等价于在空间域与一个矩形函数进行卷积。它的示意图为： a 、插值基函数 x 、， l 一如 | 一0 6 、 一0 4 八 一0 2 vi 1 0- 5o51 0 图2 2 最邻近插值 b 、傅立叶变换幅度 ( 2 4 ) 由上图可以看出，它的频谱为s i n c 函数。在临界点上，通带的增益迅速下降， 实际应用中这种插值基函数会产生强烈的锯齿现象。 2 。2 。3 双线性插值 从图像上来分析，最邻近插值只是简单复制最相邻的一个像素点，因此会有 比较明显的锯齿现象出现。为了对此加以改进，入们提出了双线性插值法。s i n c 函数的一维线性近似是一个三角函数： j 1 2 ( 力2 【1 - o 1x 。砌l , o 洲马x 括l p 1 ( 2 5 ) 它的示意图为： 第5 页 国防科学技术大学研究生院工学硕士学位论文 。，2 ( k 一 1 0 i l ! ii - 3 - 2 1 01 2 3 ， a 、插值基函数 x 厂 j j 一0 培 | 一o 6 | 一0 4 一0 2 i 、 、 1 0- 5051 0 图2 3 双线性插值 b 、傅立叶变换幅度 对于双线性插值，则是在长宽两个方向进行一维线性插值，即长宽两个方向 的值都是通过与距离成反比的加权值来得到。从图中可以看出，阻带中的边带幅 度还是比较大，所以双线性插值的主要缺点是会出现高频分量的削弱和数据混淆 现象，位于交界点以外的数据会进入低频区域。直观效果就是插值后出现模糊现 象。 2 2 4 三次方插值( c u b i c ) 与最邻近插值相比，双线性插值用到四邻域的像素信息，细腻程度得到一定 提高。人们在此基础上又提出了更为精细的三次方插值。三次方插值是用三次多 项式去近似表示s i n c 函数。 c u b i c 插值基函数( n = 4 ) 可以表示为： 魄c 功= a 。l + x1 2 3 ) l - 5 引a 3 j 芎三攀雪二墨三 ( 2 6 ) 下面分别给出了 第6 页 国防科学技术大学研究生院工学硕士学位论文 厂 弋 o 武 0 6 n 4 0 2 ，州h - 1 0 5051 0 a 、插值基函数b 、傅立叶变换幅度 图2 4c u b i c 插值( a = - i 2 ) 。 、1 一o 8 一o 6 1 0 4 i b 2 i。? 4叁- 1o1 么3 l ， 。厂 、7 一d 恼 一o a 。o _ 一0 2 l 1 0 - 5051 0 a 、插值基函数 b 、傅立叶变换幅度 图2 5c u b i c 插值( a = - o 6 ) 对比两图可知，a = - o 6 时，它的傅立叶变换在通带内没有任何过冲，正频率方 向只出现旁瓣，而且幅度很小，但高频分量有一定削弱。由于大多数图像的能量 主要出现在低频部分，所以a = - o 6 被认为是一个不错的选择。 2 2 5 米切尔插值( m i t c h e l l ) 米切尔插值与三次方插值类似，它是一族三次方滤波器，也可以作为插值器， 公式如下： ，l - ( 9 b + 6 c - 1 2 ) i 工p + ( 1 2 b + 6 c - 1 8 ) ix1 2 ( 2 6 6 ) ，o 马工i 1 九一= 1 一p + 蚴l x l 3 + ( 6 b + 3 0 c ) i x l 2 - ( 1 2 b + 4 8 c ) + ( s b + 2 4 c ) , 1 q 工l 2 ( 2 7 ) 。【 o , o t h p r w i s e 该插值器有两个参数b 和c 。米切尔提出b = c = l 3 是比较好的选择，对应的示 意图为： 第7 页 国防科学技术大学研究生院工学硕士学位论文 、h 4 ( x ： 。厂 、1 0 | 一o 8 一0 6 i 一lo 4 一lo 2 i! - 3 岔。1o1 t3 4 ( ( i ) 、， | 一b 8 一o k i o 土 一0 2 l1 1 05051 0 a 、插值基函数 b 、傅立叶变换幅度 图2 6m i t c h e l l 插值 由图可以看出，在通带内高频部分被吸收，图像在重采样过程中被平滑，在 阻带内的两个旁瓣与c u b i c ( a = - 0 6 ) 的情况类似。 2 3 插值方法分析 2 3 1 插值效果 从待显示机载座舱数字地图中截取一部分进行实验，原始尺寸为1 2 8x1 2 8 像 图2 7 待处理原始图像 分别采用上述几种插值算法对其进行放大1 2 5 倍和缩小o 8 0 倍处理，得到的 效果图为： 第8 页 国防科学技术大学研究生院工学硕士学位论文 a 、最邻近插值b 、双线性插值 c 、c u b i c 插值( a _ 一0 6 ) d 、m i t c h e l l 插值 图2 8 放大处理仿真效果图 蕤糕 骥滋 d 魁k 搿轻浦域鳜k _ 滋饕 a 、最邻近插值b 、双线性插值 蒸瀵 c 、c u b i c 插值( a - 一0 6 ) d 、m i t c h e l l 插值 图2 9 缩小处理仿真效果图 对比直观效果可见最邻近插值法效果最差，有明显锯齿；双线性法处理效果 得到改善，但是有模糊现象；m i t c h e l l 法的模糊程度比双线性插值法弱；c u b i c 插 第9 页 国防科学技术大学研究生院工学硕士学位论文 值在选择适当的参数时效果最佳。 2 ，3 2 频域特性分析 根据对理想插值函数的分析，一个性能良好的插值函数应当具备平坦的通带， 通带到阻带的边界幅度要小，并且坡度要大；同时阻带内的旁瓣幅度越小越好。 换言之，傅立叶变换图越接近理想矩形越好。 ( 1 ) 通带分析 在上述的几种基本插值方法中，最邻近插值和双线性插值两种方法比较严重 地背离了理想矩形的要求，高频分量被严重削弱，使得在插值过程中，图像被强 烈地平滑，因此，只有在图像没有尖锐边界和高度局部对比度的条件下，才可以 使用。c u b i c 插值方法比较好，通带比较平坦，没有损失太多的高频信息，因此插 值后的图像边界会比较清楚。m i t c h e l l 方法居中，它对高频分量有一定的削弱，也 会对图像产生平滑效果。 ( 2 ) 边界分析 最邻近插值、双线性插值在边界处坡度比较小，而且幅度比较大，会引起混 淆现象；c u b i c 插值方法比较好。 2 3 3 计算量分析 假设原始图像尺寸为h s x w j ，缩放之后的目标图像尺寸为h _ _ p xw j ，简 记为t p ，则几种算法对应的计算量大约为： 表2 1 基本插值算法计算量 最邻近插值法双线性插值法c u b i c 插值法m i t c h e l l 插值法 乘法无 1 8t p 2 0 4 易3 1 0 弓 除法 2 t p 2t p2 t p 6 t p 加法无 9 弓2 7 0 t p 1 5 0t p 由上表可以看出，最邻近插值和双线性插值的计算相对简单；m i t c h e l l 插值和 c u b i c 插值涉及到三次方运算，运算量比较大。 2 4 本章小结 第1 0 页 国防科学技术大学研究生院工学硕士学位论文 本章介绍了几种视频插值算法，从基本原理、时频域特性、实现方法进行分 析，并通过m a t l a b 仿真对它们的实际处理效果进行了比较。经过对比可知：最 邻近算法处理效果最差，但实现最为简便；双线性法处理效果和实现难度都适中； 三次法插值效果最佳，但计算量最大，耗费资源最多。这些插值算法都是对整帧 图像进行统一处理，忽略了视频图像的内容特点，因此存在插值效果与速度无法 兼顾的弊端。 第1 1 页 国防科学技术大学研究生院工学硕士学位论文 第三章视频图像运动估计技术 通常运动估计和运动补偿技术被广泛应用在图像压缩编码领域。在处理视频 信号过程中，由于图像的数据量很大，人们通过各种方法降低图像的冗余度来减 少数据量以便处理和传输。在常规的运动中，运动都呈现出规律性变化。在相近 的范围内，物体之间的运动方向具有很强的相关性，运动矢量的分布都具有一定 的聚集性。在低速运动状态下，相邻帧之间的运动变化是很小的。运动估计利用 相邻帧之间的连续性，去除冗余信息，保留有用信息。 由于输入信号以及输出设备的多样性，通常要进行帧频变换处理。帧频变换 分为提高帧频的上变换和降低帧频的下变换。本文主要讨论帧频上变换，即在视 频图像中增加新帧。为获得良好的上变换效果，同样要用到运动矢量估计技术： 通过对视频帧进行运动估计，得到运动矢量；然后根据得到的运动矢量，预测运 动目标在新帧中的位移，从而得到新帧信息。由此可见，运动估计算法越高级， 得到的运动矢量就越准确，从而新帧信息就越正确，因此运动估计处理【3 2 卜【3 5 】已成 为帧频变换中的重要环节。 3 1 运动估计原理 运动图像的帧与帧之间不仅存在基于像素的线性相关性，还在宏观上存在着 很大的运动相关性，即后一帧图像总是前一帧图像经过平移、缩放、旋转等各种 运动得来的。为了充分利用图像序列的运动信息，预测新帧图像，采用运动估计 技术可以提高视频插值的精细程度。 采用了运动估计技术的帧频上交换通常包括以下过程： ( 1 ) 从图像中分割出运动目标； ( 2 ) 对运动目标进行估计； ( 3 ) 用运动矢量进行补偿预测； ( 4 ) 由现有帧和预测信息生成新帧。 其本原理如下：假设在第k - 1 帧里中心点坐标为( x l ，y 1 ) 的运动物体，在第k 帧移动到中心点坐标为( x 1 + d x ，y l + d y ) l 拘位置，如图3 1 所示，其位移向量l = ( d x ，d y ) 。 则由运动物体的相关性，可以近似假设该物体在第k + l 帧里中心点位置为 ( x l + 2 d x ，y l + 2 d y ) ，再结合背景信息，则能够得到第k 十1 帧的全部信息。 第1 2 页 国防科学技术大学研究生院工学硕士学位论文 图3 i 运动估计原理 3 2 视频图像运动估计方法 运动估计通常以目标宏块为单位进行，计算不同帧图像的对应位置上的宏块 间的位置偏移。这种位置偏移是以运动向量来描述的，一个运动向量代表水平和 垂直两个方向上的位移。 本课题的帧频变换处理对实时性要求较高，因此对运动估计的实现提出了很 高的要求。确定运动矢量的估计算法是关键。常用算法有块匹配法、代表点匹配 法、灰度投影法、位平面匹配法等。 3 2 1 块匹配法 在一个典型的块匹配算法中，一帧图像被分割为m x n 或者是更为常用的n x n 像素大小的块。在科+ 2 w ) x ( n 睨w ) 大小的匹配窗中，当前块与前一帧中对应 的块相比较。基于匹配标准找出最佳匹配，得到当前块的替代位置。对于搜索的 策略，人们研究出了多种算法【3 6 】。 ( 1 ) 全搜索法伊s ) 在所有的运动估计算法中，f s 是性能最好的，因为它是对整个搜索窗口的每 一个点进行块匹配计算，根据均方差( 1 s e ) 或绝对差( m a d ) 最小的原则最后得出最 佳匹配点。m a d 比m s e 计算简单，计算速度快，所以在程序设计的过程中大多 采用m a d 。由于逐点搜索，其计算量也是最大的，如果系统处理速度不够，那么 用这种方法很难实现视频处理系统的实时化。其它算法的性能大都不如f s 。但是 其它的算法都是通过减少在搜索窗中搜索的点数以减少计算量，其性能有所下降， 是以牺牲性能来换取处理速度的提高。 第1 3 页 国防科学技术大学研究生院工学硕士学位论文 ( 2 ) 三步法( 1 s s ) 三步法是运动估计的一种改进的算法，快速而且高效，它基本上保持了f s 的 性能，但其计算量只有f s 的1 0 左右。t s s 在会议电视和可视电话中应用最多， 它通过三步搜索，逐步减小搜索步长：每次搜索都是以上一步的搜索结果为中心， 进行周围一定步长的3 x 3 像素的搜索，搜索精度为1 个像素。第一步，以窗口中 心点为中心，步长为4 ，进行周围8 个点搜索，根据最小绝对差原则得到一个最佳 匹配点，共搜索了9 个点；第二步，以上一步最佳匹配点为中心，步长为2 ，继续 搜索周围8 个点得到匹配点，共搜索了8 个点；第三步，同上一步，只是步长为1 。 最后得到的最佳匹配点就是要得到的运动估计的点，从而得到运动矢量，进行图 像的预测。t s s 共搜索了2 5 个点，而f s 要进行1 5x1 5 = 2 2 5 点搜索，运算时间大 大减少，性能稍有下降。 ( 3 ) 共轭方向搜索法( c d s ) 共轭方向搜索法又称一次一个方向搜索法( o t s ) 。它是一种快速高效的算法。 其性能略低于t s s ，运算时间也略长于t s s 。它是先在一个方向( 设为x 轴方向) 进行搜索，固定轴方向d y = 0 ，对横向的1 5 个点进行逐一匹配。按m a d 或m s e 最小的原则得到一个点( d x o ，0 ) ，然后保持d ) ( o 不变在y 轴方向搜索，又搜索了1 4 个点，得到最佳匹配点( d x o ，d y o ) ，共搜索了2 9 个点。这种算法相对简单，比较容 易实现，但由于只对两个方向进行了搜索，得到的匹配点可能与真正的最佳匹配 点有差距，因此性能上与t s s 基本相同，但搜索点也比t s s 多4 个点，则搜索时 间要稍长一些。 ( 4 ) 两维对数下降法( t d l ) 两维对数下降法，通过快速搜索跟踪最小m a d 点。从运动矢量( 0 ，0 ) 开始，以 十字形分布的5 个点构成每次搜索的点群，求出其中的最小m a d 点；如果最小点 出现在十字形点群的边缘，则下次搜索以该点为中心步长不变；如果最小点出现 在十字点的中心，则下次搜索仍以该点为中心，步长减半；如果搜索过程中新的 十字形群点中心在搜索窗的边缘，步长也要减半。如此循环操作直到步长为1 ，得 到m a d 最小的匹配点就是最优匹配点。如果搜索窗v i 内只有一个m a d 极小点， 也就是只有一个谷点，那么搜索结果就是最佳匹配点；如果有多个谷点。那么搜 索过程中可能进入其中一个谷点而误认为是最佳匹配点，就停止搜索。所以它的 性能比t s s 、c d s 略差。 ( 5 ) 交叉搜索法( c s a ) 交叉搜索法是在t s s 法和t d l 法的基础上为进一步减少计算量而发展起来的 快速算法。第一步以给定点( o ，0 ) 为搜索中心，步长为窗口长度的一半( 假设取为4 ) ， 第1 4 页 国防科学技术大学研究生院工学硕士学位论文 搜索“x 形的5 个点，找到m a d 的最小点；下一步以该最小点为中心，步长减 半继续搜索“x 形的5 个点，直到步长为1 ，搜索得到m a d 最小的点。根据这 个点所处的位置不同，分别做“+ 字形或“ 形搜索。如果最小点是处于中心 或左右上角就用“+ ”字搜索；如果位于左右下角就用“x 形搜索。c s a 法搜索 时间基本和t d l 一样，性能和t d l 也基本相同。 ( 6 ) 动态窗口搜索法( a s w ) 动态窗口搜索法是一种具有智能性的运动估计算法。根据图像的特点，自动 调整搜索窗口的大小。它的计算量界于c d s 和t d l 之间，性能也是界于c d s 和 t d l 之间。在搜索过程中，第一步搜索是“刀字形，下一步就是“+ 刀字形两 者在搜索过程中依次切换。在每一步搜索过程中都可以自适应地调整窗口的大小， 这样可以更准确地搜索到最佳匹配点，直到搜索窗的大小为一个像素，也就是要 匹配的点。在计算量上它比t s s 节省了2 4 - 4 4 ，即使窗口很大，性能也优于 t s s 。 3 2 2 代表点匹配法 代表点匹配算法是在基于普通的块匹配算法的基础上提出的 3 7 1 。块匹配搜索 算法计算量大，效率较低；而代表点匹配算法是分别在参考图像和当前图像选取 一些代表点，然后对代表点进行相关匹配，求运动矢量。这样可以适度提高系统 的运算速度。 代表点匹配算法的原理见下图： 图3 2 代表点匹配算法原理 在参考图像上以像素为单位，选取等距离间隔的点阵集，在当前图像上寻求 与之相匹配的同样等距离间隔的点阵集。两个点阵集初始点坐标的差值，就是两 幅图像间的运动矢量。其实现过程如下：先把从前端处理得到的参考帧和当前帧 进行滤波处理，再把滤波后的图像进行局部运动矢量估计；一般把一帧图像分成 相同大小的四个部分，分别求各部分的局部运动矢量，然后对局部运动矢量进行 分析和计算得到全局运动矢量，最简单确定全局运动矢量的方法就是用局部运动 第1 5 页 国防科学技术大学研究生院工学硕士学位论文 矢量的均值作为全局运动矢量。 3 - 2 3 灰度投影法 先把输入的每一帧二维图像的灰度值映射成两个独立的一维波形，其投影方 法可用公式表示如下【3 8 】： g k ( i ) = q ( ( 3 1 ) j g k ( j ) = g k ( i ，- ，) ( 3 2 ) l 式中晰j ) 是第k 帧图像上( i j ) 处的像素灰度值：g k ( i ) 为第k 帧图像第i 行的 灰度值；g g j ) 为第k 帧图像第j 列的灰度值。 一般情况下，分别将当前帧的行、列投影波形与参考帧的行、列投影波形做 互相关计算，根据两条相关曲线的唯一峰值即可确定当前帧相对于参考帧的行和 列的运动矢量。 设两帧图像的列投影曲线分别为) ，舡) 和y t + j ( x ) ，取n 单位的灰度投影值做相 关运算，其公式如下： 口( f ) = 【y ，( j + i + 1 ) - y f + l ( 朋2 ，1 f n ( 3 3 ) i = 1 则水平方向的运动矢量可由下式决定： ， 瓦= 一m 埘口( f ) 】 ( 3 4 ) z 式中6x 为正时表示当前帧相对参考帧向右移动了i6x l 像素，为负时则表示向 左移动了l6x i 像素。 用同样的方法可以求出当前帧相对参考帧在垂直方向上的位移，水平方向和 垂直方向的位移构成运动矢量。 3 2 4 位平面匹配法 对一帧用多比特表示其灰度值的图像来说，其中的每个比特可看作是一个二 值的图像，称之为一个位平面1 3 9 1 。那么，一帧2 5 6 灰度级、用8 位表示的图像就 有8 个位平面，一般用平面0 代表最低位平面。具有2 k 级灰度的第t 帧图像上( x ，y ) 处的像素的灰度级用函数方式表示为 厂( x ，力= a k - 1 2 - 1 + 口i 一2 2 2 2 + + 口1 2 1 + 口0 2 0( 3 5 ) 此处a 。( o k 2 扣1 ) 为1 或者0 。第k 个位平面用b i ( x ，y ) 表示，这个平面包括 所有的第k 个a 七b ，则b 图像的8 个位平面分别表示为( 算，力：，b ，( x ，y ) 。 第1 6 页 国防科学技术大学研究生院工学硕士学位论文 将m 位灰度表示为 l 口lo 口i + 1 ，0 f s 辨一2厶n ， & 2 1 a i ，i - - m l 恤叫 其中0 表示异或操作。经过变换后，相连的灰度平面仅有一个比特位不同。 这样，灰度级上的变化对整个k 位平面的影响很小。 每个图像的子区域上运动矢量的估计，是通过分析前幅图像选取参考子图像 和当前图像选取最佳匹配区域相匹配。这种方法是以假设子区域内的所有像素有 统一的运动矢量，运动矢量的变化受到搜索窗口的限制。令每个区域的大小为m x n ，搜索窗口是默+ 2 p ) 科+ 2 p ) ，p 是最大搜索位移。则相关测量方法如下： c j ( m , 哟2 击萎y = o 或( 毛力r ( x 帆y + 功 ( 3 7 ) 0 x l l f ，0 ) ，n ，0sm m + 2 p ，0 胛+ 2 夕， 上式表示对当前的位平面和前一帧位平面进行异或运算，即对于搜索范围内 的每一个( m 曲，计算c j ( m 神。c j ( m , n ) 是当前图像匹配区域和参考图像间的不匹配 的比特数，式中k 表示第k 个位平面。c i ( m 神最小时可获得最佳匹配效果。因此 这种算法与以往的匹配算法相比减小了部分计算量。 3 3 本章小结 为了获得更好的帧频提升效果，运动估计算法被应用到视频图像插值处理之 中。本章介绍了块匹配算法、代表点匹配算法、灰度投影算法和位平面匹配算法 等几种经典的运动估计算法。块匹配算法通过在两帧之间按照某种规则寻找最相 似的目标块位移来确定运动矢量，能够精确地估计运动矢量，但计算量大，效率 低；代表点匹配算法计算量较小，但选定的代表点不一定是图像上真正的明显特 征点，对图像变化不敏感；灰度投影算法计算比较简单，但通常只能处理整体平 移的情况，对局部运动的状况不能很好地进行处理；位平面匹配算法降低运动估 计的计算量，但如何选择适当位平面进行运动矢量估计比较困难。这些经典运动 估计算法通常对整帧视频图像进行统一处理，没有考虑视频图像内容的特性，因 此难以获得处理质量和效率的统一，不支持高质量快速处理。 第1 7 页 国防科学技术大学研究生院工学硕士学位论文 第四章基于内容分割的数字地图插值新算法 4 1 座舱数字地图图像特性分析 对图4 1 所示的机载数字地图进行仔细分析后可以发现，数字地图图像中存在 大片背景。经计算机分析，从左至右四幅图像中背景占全图的比例分别为：8 1 9 、 8 1 6 、8 0 6 、9 0 5 ，背景部分的色彩、亮度等图像信息变化平缓，并且与图中 的文字、线条部分有明显差异。 图4 1 机载数字地图示例 为了获取良好的数字地图缩放效果，必须采用高质量插值算法；假如对整帧 图像采用高质量插值算法，势必会在背景区域耗费大量不必要的时间和资源，本 章在尽可能少损失细节信息的前提下，对使用者感兴趣的目标部分采用高质量的 插值算法，对大片背景部分采用高速度的插值算法，不仅获得较好的插值效果， 而且花费较少的处理时间。 4 2 基于图像内容的帧内插值算法 通过上面的讨论，基于内容分割的数字地图插值处理方法如下图所示： 目标 内容 目标象素 插值 输入视频广 广l 广l 判断该插l 广l 输出视频 习璺h 墅h 鲨h 普雾i肾 背景 内容 背景象素 插值 图4 2 基于内容分割的数字地图插值处理 第1 8 页 国防科学技术大学研究生院工学硕士学位论文 首先对视频图像内容进行分割，将原始图像划分为目标内容和背景内容，同 时目标内容还可以分为重要目标和次重要目标，然后根据对象的重要程度，采用 不同的算法进行插值处理。 4 2 1 图像内容分割 分析大量数字地图数据可知，数字地图图像中的文字、线条与背景在h s v 空 间中的v 通道差别较大，因此，先将原始数字地图图像由r g b 空间转换到h s v 空间，针对v 通道选择适当参数作为判据，可以实现图像中文字、线条与背景的 分割。 对8 x 8 的局部图像计算d c t 系数可以捕捉到图像的局部特征，d c t 系数作为 图像分解后各谐波的幅值，反映了该局部区域中各频率分量的相对大小，可作为 空域图像周期性和方向性的一种度量。因此，可以计算待处理数字地图图像v 通 道的d c t 系数，通过上述特征实现数字地图图像的内容分割【加】。 n x n 大小的数字地图图像的d c t 系数计算公式为： e ，：瓯瓯字笋乙c o s z c ( 2 m + 1 ) u c o s x ( 2 n + 1 ) v 咆吼m = 0 萎乙c o s l - 1 - 1 i = o ， 1 4l 、 其中 口2 0 1 产：，群= 0 qn。 肛舱吼2 嘉胪。 肛v 州 一上式中u ，v 分别代表水平和垂直频率，删为数字图像在像素( m 柚处的v 值。 数字地图图像中的目标区域在水平方向和垂直方向通常存在剧烈的v 值变化，因 此它对应的水平谐波和垂直谐波具有较高的频率响应。基于这样一个事实，将整 幅数字地图图像分割成8 x 8 大小的小块( 不足8 g 者补齐) ，求取每个小块子图的 d c t 系数矩阵c ( i j ) ，计算该子图的水平纹理能量晶娟j ) 和垂直纹