（信号与信息处理专业论文）视频格式转换系统研究.pdf

中文摘要 视频格式转换是视频处理领域中的一项关键技术。对大多数显示设备来讲， 视频信号的输入格式与显示设备所要求的格式在图像刷新速率、扫描方式、屏幕 分辨率等方面都有很大差异。正是为解决以上格式上的差异，许多涉及于视频格 式转换的算法被提出来，格式转换芯片也成为显示器系统不可或缺的关键部件。 本论文旨在开发一款实时视频格式转换软件，该软件能够将不同格式的视 频序列转换成目标格式的视频序列并实时播放出来。该软件包括隔行转逐行、尺 寸缩放、帧频提升功能，并具有对话界面。 高质量、低成本、能够满足实时要求的格式转换算法是开发实时视频格式 转换软件的核心内容。本文对多种算法进行模拟、分析和比较，提出了如下算法： 一、优化的运动自适应去隔行算法。该去隔行的运动自适应算法是基 于场间均值和十字滤波。 二、基于d c t 域的全相位图像内插算法。作为d c t 和全相位思想的结 合，本文构造了基于d c t 域的可分离内插核函数，这是一族由余 弦函数组成的内插核函数。为了实时应用，本文提出了查找表实 现方法。实验表明，采用不同阶数的全相位d c t 域可分离内插核 函数，都能够达到优于6 x 6 的立方卷积内插的图像质量。该种内 插算法能够获得很好的内插效果。 三、一种基于运动补偿的线性插帧算法。在运动估计算法中，本软件 采用了一种改进的三步搜索算法( 1 3 s s ) 。该算法不仅能够获得比 较准确的运动矢量，而且十分快捷有效。为了保证用于运动补偿 的运动矢量的准确性，本文采用中值滤波算法校正运动矢量。 关键词：视频格式转换；去隔行；内插；帧频提升；运动估计；运动补偿 a b s t r a c t v i d e of o r m a tc o n v e r s i o ni sak e yt e c h n o l o g yi nd i g i t a lv i d e op r o c e s s f o rm o s t t y p e so fm o n i t o t s ，t h e r ea r em a n yd i f f e r e n c e sb e t w e e nt h ei n p u tv i d e of o r m a ta n dt h e f o r m a tw h i c ht h em o n i t o rd e v i c e sd e m a n d , w h i c hi n c l u d es c a nr a t e ，s c a ns t a n d a r d , r e s o l u t i o n ，e t e t os o l v et h e s ep r o b l e m s ，m a n ya l g o r i t h m sr e l a t e dt ov i d e of o r m a t c o n v e r s i o nh a v eb e e np u tf o r w a r d , a n dt h ev i d e o i m a g es t a n d a r dc o n v e r s i o na s i ci s a l s ob e c o m i n ga ni m p o n a n tm o d u l eo fm o n i t o rs y s t e m t h i sp a p e rp r o p o s e san e ww a yf o rv i d e of o r m a tc o n v e r s i o nc a l lr e a l i z et h e c o n v e r s i o nf r o mi n t e r l a c e ds c a nt op r o g r e s s i v es c a n ，f l a m er a t eu pc o n v e r s i o na n d d i m e n s i o ns c a l i n g t u r nv i d e os e q u e n c e sc o r r e s p o n d i n gt od i f f e r e n ts t a n d a r d si n t on l e t a r g e t e d s t a n d a r da n dp l a y 也e l ni n r e a lt i m e f u r t h e r m o r e t h ef u n c t i o no f m a n - m a c h i n ei n t e r c o m m u n i c a t i o ni n t e r f a c ei si n t e g r a t e di nt h i ss o f t w a r e a 1 lt h em o n i t o r sa s kf o r h i g h - q u a l i t y a sw e l la sc o s t - e f j f i c i e n ts t a n d a r d c o n v e r s i o na l g o r i t h m s a f t e rt h es i m u l a t i o n ，c o m p a r i s o na n da n a l y s i so ft h ep r e v i o u s a l g o r i t h m s ，t h ef o l l o w i n ga l g o r i t h m sa r ep r o p o s e di nt h i sp a p e r ： ( 1 ) a no p t i m i z e dm o t i o na d a p t i v ed e - i n t e r l a c i n ga l g o r i t h mw h i c hi sb a s e do nt h e f i e l da v e r a g i n ga n dc r o s sf i l t e r i n g ； ( 2 ) a l l - p h a s ei m a g ei n t e r p o l a t i o na l g o r i t h mb a s e d0 1 1d c t a sag o o di n t e g r a t i o no f d c ta n da l l p h a s ep h i l o s o p h y ，af a m i l yo fs e p a r a b l ei n t e r p o l a t i o nk e r n e l ，w h i c h i sc o n s t r u c t e db vc o s i n ef u n c t i o n ，i sp u tf o r w a r d l o o k u p t a b l em e t h o di st h e n d i s c u s s e df o rt e a lt i m er e a l i z a t i o n t h es u b j e c t i v ea n do b j e c t i v ee x p e r i m e n t s s h o wt h a tb e r e ri m a g eq u a l i t yi so b t a i n e db yu s i n gt h ep r o p o s e di n t e r p o l a t i o n k e r n e lt h a nb yu s i n g6x6c u b i cc o n v o l u t i o ni n t e r p o h t i o nk e r n e l ； ( 3 ) l i n e a rf r a m e u pc o n v e r s i o na l g o r i t h mb a s e do nm o t i o nc o m p e n s a t i o n ah i 【g h p e r f o r m a n c ea n de a s i l yr e a l i z e dm o t i o ne s t i m a t i o na l g o r i t h mc a l l e dt h ei m p r o v e d 3 - s t e ps e a r c ha l g o r i t h mi sp u tf o r w a r d i tc a no b t a i ne x a c tm o t i o nv e c t o r s f o rt h e c o r r c c m e s so ft h em o t i o nv e c t o r s t h em o t i o nv e c t o r sa r er e v i s e db ym e d i 锄 f i l t e r i n g k e y w o r d s ：v i d e of o r m a tc o n v e r s i o n ；i n t e r p o l a t i o n ；d e i n t e r l a c i n g ；f r a m er a t eu p c o n v e r s i o n ；m o t i o ne s t i m a t i o n ；m o t i o nc o m p e n s a t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得墨鲞盘鲎或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名： 弈永利 签字日期： 加7 年石月露同 学位论文版权使用授权书 本学位论文作者完全了解：叁盗盘鲎有关保留、使用学位论文的规定。 特授权鑫鲞盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 笨水利 签字r 期：如b 7 年月j 7 日 导师签名：气受以乞 签字日期：们7 年月。7 日 第一章绪论 1 1 研究背景 第一章绪论 视频信息是人类最重要的信息源之一，在信号处理领域占有很大的比重。 现存的视频源其实质为活动的三维场景投影到二维平面后再对其进行空间时间 采样的结果。 由于历史的、技术的、以及其它的一些因素，目前的视频采样格式( 后文简 称为视频格式) 非常多样化。9 0 年代以来，随着数字电视技术的飞速发展，许多 国家和组织又都提出了自己的格式标准。这种视频格式的多样性同样还表现在监 控、会议电视等应用领域，由于通讯带宽、存储容量、设备成本等限制，不同的 应用场合会选用特定的采样格式。如此众多的视频格式既方便了视频应用在各个 专业领域的快速推广，同时也造成了不同视频格式间信息交流、编辑、传输、演 播的障碍。近年来，随着信息技术、通讯技术、广播电视、多媒体技术的发展， 各格式视频间的交互需求越来越旺盛，为视频采样格式转换提供了广阔的市场前 景。 与视频采样格式多样化对应的是各种各样的显示器也大量涌现。主要包括： 1 ) 等离子显示屏( p d p ) 2 ) 液晶显示屏( l c d ) 3 ) 数字光处理系统( d l p ) 4 ) 阴极射线管( c r t ) 5 ) 背投电视( r e m 6 ) 正向投影电视 7 ) v a c u t m af l u o r e s c e n td i s p l a y ( v f d ) 8 ) l i g h te m i s s i o nd i o d e ( l e d ) d i s p l a y 9 ) l i q u i dc r y s t a lo ns i l i c o n ( l c o s ) 对大多数显示器来讲，视频信号的输入格式与其本身所要求的格式( 原始格 式) 有很大差异。这些差别在于： 1 ) 图像刷新速率( 即帧率) ( 如视频源为每秒6 0 或5 0 帧而显示器须每秒3 0 帧或2 5 帧) ； 2 1 扫描方式( 视频源为隔行扫描而显示器为逐行扫描) ； 3 、屏幕分辨率( 如视频源为7 2 0 * 4 8 0 而显示器是1 9 2 0 1 0 8 0 ) ； 第一章绪论 4 ) 色度图的差异。 正是为了解决以上的差异，为了解决不同显示器的不同需求，格式转换技术 才迅速发展起来。这也是本文所作研究的目的之一。 1 2 研究内容 本质上说来，视频格式转换是一种时空( t e m p o r a l s p a t i a l ) 三维视场的重采 样过程。一个典型的重采样系统由信号输入、采样、滤波、重采样和输出这样五 个环节构成，图1 - 1 显示了一个一维重采样系统的结构。从信号分析的角度来观 察，如果输入信号为一理想的带限信号；采样率符合奈奎斯特定理，且重构滤波 器完全线性，则输出端可以理想地重现输入信号。而现实世界的待处理信号往往 并非带限的，同时理想的线性滤波器物理上并不可行，因此这样的处理过程总会 引入信息的损失或畸变。这种信号的失真既表现在时域中波形的形变，对于一个 频率响应系统而言更表现在频谱的变化上。在实际系统中，信号的接收部分( 如 眼、耳等等) 往往具有复杂的频谱，只对高增益区段的信号敏感。如果充分利用 接收者的这类屏蔽效应，有选择地舍弃一些次要信息，着重处理重要信息，将能 有效地提高重采样算法的效率。 在现代的重采样系统中，重采样滤波器通常也在离散域中直接对数字信号 进行操作，滤波和重采样同时完成，典型的技术包括时域低通数字滤波、频域填 零扩展等等【l j 。 文赴2 心血n 图1 1 重采样系统结构 对视频采样格式变换而言，重采样主要包括如下三种类型：变扫描率、去 隔行和变帧场率。 变扫描率( s c a n n i n gr a t ec o n v e r s i o n ) 即通常而言的图像缩放( s c a l i n g ) ，一般 用于采用不同分辨率的标准间转换或者画中画( p 妒) 、多画面模式( m 聊) 、拉镜 ( m o r n i n g ) 等视频特效中。基于帧存、处理能力、系统性价比等的考虑，一般采 第一章绪论 用帧( i n t r a f r a m e ) 算法。传统的二维插值技术都可以成为其候选算法。但应注 意，评估一般的图像插值算法是否适合视频缩放一定要考虑到其处理场景的时域 稳定性，如不理想的算法尽管有较好的单帧特性，但可能会由于前后帧处理的不 一致性造成物体轮廓处的跳动现象。 去隔行变换( d e i n t e r l a c i n g ) 是一项特殊的视频信号处理技术。隔行扫描方式 设计的初衷是利用视觉残留特性，在有限的处理带宽内提供尽可能高的垂直分辨 率，同时消除低帧率造成的大面积闪烁效应。由于隔行处理是直接在图像平面垂 直方向上的抽取，并未进行前置滤波，理论上将引入垂直方向的频谱混叠。实践 中经常能观察到的隔行缺陷有诸如行间闪烁、爬行、运动物体垂直轮廓畸变等等。 由于历史原因，隔行扫描视频广泛存在，并且为大量视频终端设备采用。因此， 隔行变换是视频采样格式转换研究的一个重要内容。传统的转隔行可以通过帧内 信息隔行抽取完成，而去隔行算法则有两类：场内( i n t r a - f i e l d ) 插值和场间 ( i n t e r - f i e l d ) 插值。场内插值类似于垂直方向1 ：2 的变扫描率变换，可以选用各种 二维图像插值算法。场间插值将涉及多场信息的有效融合，对静止场景，简单的 合并就可以获得比场内算法更好的去隔行视频，而在大运动场合，场间的差异非 常明显，不恰当的场间算法会造成垂直方向的锯齿，性能甚至劣于帧内算法。 帧饧率变换( f i e l dr a t ec o n v e r s i o n ) 需要在帧饧间重构出新的帧场。最简单 的方式是重复当前帧场，这种技术非常易于实现，在早期的变帧场率应用中被 广泛采用。其缺点是对运动物体有非常明显的跳动现象( j i t t e r ) ，高质量的场率变 换将建立在基于运动矢量的动态补偿内插基础之上，在运动轨迹上重构待插帧 场。 1 3 格式转换理论基础【1 】 1 3 1 静止场景的频谱 人3 = 白，。+ 刀y v ，+ 刀：1 ，= 矿 三； ，n j ，以y ，以：z c t - - ， 第一章绪论 cx，y，r，=厂cx，y，n。委耋，一矿三=。，要三参x，y，万州鲫 舶一奶= 南口即鲫 m 3 ， 式中l d ( a 3 ) 为采样密度的倒数，表示单位空间内的采样点数，螨足u r v = ， a x 0 0 名2 l - ：警2 j m 4 ) - - i o 1 l a y o l(1-5) l 0 0 l a t j - “) c o o u = l 0 1 ( 2 a y ) 0 l ( 1 8 ) l - o 一1 a t 2 a t j 第一章绪论 采样密度为 d ，( ) = a x a y a t( 1 9 ) 当视频场景为静态场景时，信号相对时间轴为一常量，其频谱分布与w 轴 垂直的平面内，为二维平面谱。如果原始信号的频带限制在倒易点阵的“一1 ，平 面单元格内，即截止频率满足条件或 a u 2 e 一歹2 石k + ) a x a y 卜一2 鼻k 栅，+ w ) r 魂( 1 - 1 3 ) k ，歹i 足2 t g r 上式表明在三维频谱空间中“一v w 中，作整体恒速运动的场景其频谱为将初始 场景的二维频谱瓦( 材，v ) 复制在空间平面叱+ w ，+ w = o 中，如图1 5 所示。 对这样的时空三维场景进行采样，由式1 3 可知其采样信号的频谱为连续信号频 谱在倒易点阵处的复制。图1 - 5 ( c ) 为“= 0 处的v w 平面内恒速运动场景的采样 频谱，也称为垂直时间谱。如果不考虑原始频谱平面分布这一特点，则只有当 信号频带限制在图1 - 5 ( c ) q b 的阴影带内时，采样频率满足奈奎斯特采样定理，频 谱不混叠。但对于整体恒速运动场景，其频谱完全可以在三维空间内交错分布， 即使采样频率为亚奈奎斯特采样率，只要满足运动速度非临界速度( 即该速度下 采样后的空间频谱平面将通过多个倒易网格点阵) ，频谱实际并不混叠，仍然可 以无混叠地实现信号的格式变换和重构，但普通的时空滤波器无法胜任，必须由 沿速度矢量滤波的运动补偿滤波器完成。由此可以得出如下结论： 1 ) 真实场景通常包含非恒速运动，但在一个较短的时间内，可以看作匀速 运动( 时间域内的高频部分将为视觉系统抑制) ，对于短时频谱，恒速运 动假设满足。 2 ) 真实场景通常包含多种运动，但基于场景中物体远大于采样栅格的假设 ( 同样人眼对空间域内的小物体不敏感) ，在各物体区域内，整体运动假 设仍满足。 3 ) 如果沿着运动方向进行插值滤波，则能充分利用频谱的空间平行分布这 一特点，在格式变换过程中保留比奈奎斯特截止频率更高的频率信息， 以提供高于静态滤波方式的视频质量。 这一部分我们考察了视频信号的频谱域特性，分析了静止场景和运动场景在 格式变换过程中的频谱变换，提出了确保变换过程中信息完整重构的条件，为格 式变换提供了理论基础。 第章绪论 l 1 8 晰一。f ：。 l 勿目“ 删刑【f 【r ( 吣 0 ) 圈1 整体恒速率运动的频谱 14 图像质量的评价准则 ( c ) h 前常用的图像质量评价方法丰要有主观评价准则和客观评价准则圆。 主观评价的方法是召集一批实验观察者，让观察者根据事先规定的评价尺 度或者自己的经验，对测试图像按视觉教果提出质量判断，并给出质量分数，按 所有观察者给出的分数进行加权平均，所得的结果即为图像的主观质量评价。数 字图像失真丰要包括四种：振铃失真，这是由吉布斯效麻引起的：混叠失真； 块效应； 模糊失真。所| ：i 观察者在质量判断的时候应在上述几方面入手。因 为图像的最终信宿是人，所以这种评价方法似乎更为可靠。但由于操作过于复杂， 且存在不确定性如受人的心情、疲劳程度的影响等，在实际应用中受到严重的 限制。 客观评价的方法是用被测图像偏离原始图像的误差来衡量披测图像的质 量，其思想来源于数据传输过程中均方信噪比的思想。常用的作为客观评价指标 的参数有均方误差州s e ) 和峰值信噪比( p s n r ) 等”i 。 均方误差的计算表达式为： l 一l r 2 脚。亩善孙( 俨咖) j ( 1 - 1 4 ) 其中 z ( f ，) ，0 e i s m l ，0 e ，_ v 一1 为原始图像的像素值t 第一章绪论 三( f ，) ，o f m l ，o 1 为待测图像的像素值。 、峰值信噪比( p s n r ) 表达式如下：。 p s n r1 1 0 l g 鑫2 = l o k熊 芝融“卜ai-oi = 0( f ，叫2 ，- j ) 一x ( f ，圳 lj ( d b ) ( 1 1 5 ) 文献中最常采用的是设= 2 足- 1 ，k 是表示一个像素点所用的二迸制位数， 在许多采集的视频序列和商用图像的应用中，常取k = 8 。所以对8 位二进制图 像，= 2 5 5 ，代入上式得： p s n r = l 。- g 面2 5 5 2 = l 。l g ( d b ) ( 1 1 6 ) 文献 4 1 指出：峰值信噪比不是总能够提供对于自然图像的视觉质量的精确评 价，除非原图像的退化是加性白噪声。文酬5 】嘲中对图像的视觉评价采用的是归 一化互相关系数： c = “s ( 叫，( 一甩万 “讹沪s o l 7 2 ) ( 2 ( 叫) 一s o l 7 2 ) p s n r 和c 值都是越大表明图像的质量越好。 1 5 本论文的研究内容及组织结构 ( 1 - 1 7 ) 本论文是本人在硕士研究生阶段的研究课题，主要是研究视频格式转换的 算法，如内插算法，去隔行算法，帧率提升算法等。 第一章是绪论部分，主要讲述了视频格式转换的研究背景以及发展现状， 另外也讨论了视频格式转换的理论基础以及本论文的研究内容。 第二章对去隔行算法进行了讨论，首先介绍了传统的去隔行算法，讨论了 传统去隔行算法存在的优缺点，最后提出了一种新的去隔行算法。 第三章重点讨论了基于d c t 域的全相位图像内插，首先介绍了传统的内插 算法，接着讨论了基于d c t 域可分离内插核函数的构造，以及其性质；最后比 较地讨论了基于d c t 域的全相位图像内插的性能。 第四章是对运动估计算法展开的讨论，着重讨论了各种运动估计搜索策略， 最后提出了一种改进的三步搜索算法。 第一章绪论 第五章讲述了各种帧率提升算法。， 第六章是对本人编写的视频格式软件的框架、流程、以及操作界面所作的 介绍。 第七章为本论文所做工作的总结与展望。 第二章去隔行算法研究 2 1 去隔行算法综述 第二章去隔行算法研究 在当今的广播系统中，绝大部分的视频信号是隔行采样的。采用这种扫描 格式，能够大幅度地减少视频的带宽，但同时图像的主观质量又不会下降太多。 这是因为，它巧妙地利用了人眼的一个视觉特性，即：相比大区域的闪烁，人眼 对于局部细节的闪烁较为不敏感。因此，对于两个具有完全相同带宽的视频信号 3 0 h z 逐行与6 0 h z 隔行，人们会明显觉得后者看起来更舒服。但是，随着人们需 求的提高，当隔行图像在高分辨率的显示器上显示时，就会不可避免出现大面积 的闪烁和运动物体产生锯齿边，因此，视频去隔行就成了许多视频处理系统中的 一个重要组成部分。隔行扫描方式的引入成功地缓解了视频系统对带宽的要求， 但同时它也给很多视频处理工作，如格式转换、运动估计、压缩编码等，带来了 更多的难度。下面，我们用图示与数学表达式这两种方法来定义视频去隔行的任 务。 图2 1 是隔行转逐行的示意图。其中，实心的圆点表示每一场中的已知信号， 而十字叉点表示每一场中待求的点。而隔行转逐行的任务就是根据己知点的信 息，求得场中未知点。我们也可以将此用公式2 1 表达为： r g ，疗) = 主凌：k 絮砸2 ( 2 - ) 其中， z = b 。，而) 为像素点的坐标矢量，x 2 为垂直坐标，刀= ( 。- 2 ，- 1 ，0 ，l ，2 ) 为 各场的序号，f 五刀) 为原有隔行场中的像素值，f k 刀) 为各场中待求的值，而 只( x ，刀) 则是最后输出的逐行信号。从图种可以看到，由于隔行视频处于亚采样 状态，因此其频谱中基带信号和复制信号存在非常明显的混叠，这给后续的处理 带来较多困难。 第二章去隔行算法研究 jl i，x ，c r 妨| | 厂 j | | 图2 1 隔行转逐行示意图图2 - 2 隔行视频信号的频谱 针对这种对逐行图像的需求，人们设计了许许多多的去隔行算法。在此我 们简单讨论一下这些算法。 2 2 几种典型的去隔行算法 2 2 1 线性滤波去隔行 线性滤波算法具有简单易实现的优点，目前仍在一些低端视频格式转换领 域内被广泛应用。其基本思想是，各场中需要补齐的像素点等于它的若干相邻点 的加权和。用公式表达为： r，、，、 i f k ，1 ) b 2m o d 2 = n r o o d 2 ) r 0 ( x , 栉) = t x ，( x + k u y , n + 朋弦传，穰) ( o t h e r w i s e ) ( 2 2 ) 【其中 ，册f ，一1 , 0 , 1 ， ) 且 + r e ) r o o d 2 = 1 ) 其中，t o = ( o ，蝇) 为垂直方向上的单位向量，h ( k ，m ) 为加权系数。从上式可以 看到，线性滤波的相邻点包括两类，即同一场上的相邻像素( 空间相邻点) 以及 相邻场上的像素( 时间相邻点) 。对于相邻点的分类就引出了三种不同的滤波器 类型：空间滤波( s p a t i a lf i l t e r i n g ) ，时间滤波( t e m p o r a lf i l t e r i n g ) ，以及时一空滤波 ( s p a t i a l t e m p o r a lf i l t e r i n g ) 。 ( 1 ) 空间滤波 所谓空间滤波，就是在求取未知点的时候只使用同一场内相邻点的信息。 最简单的空间滤波就是扫描线重复( l i n er e p e t i t i o n ) ，即一场中未知的像素点直接 取它上边相邻点的值。如果用公式( 2 2 ) 的形式来表示的话，那就是取办( 1 ，0 ) = 1 ， 而其他所有的h ( k ，掰) 都为0 。一种稍微复杂一点的形式为线平均( l i n e a v e r a g i n g ) ，即未知的像素点等于其上下两个相邻已知的点的值的平均。即： 第一章去蕊 f 算法研宄 ( 一1 ，0 ) = h 0 , o ) = 0 5 ，而其他所有的h ( k ，肿) 都为o 。上述两个空问滤波器的频 率响应分别为： 以( ) = b ( 嗾1 以及以，k ) = i i + ；一缸，) ( 2 - 3 ) 它们有一个共同的特点即它们在时问频率方向上是全通的- 这说明使用 空间滤波器不会造成视频运动信息上的损失。但是由于其频谱在垂直方向上的 低通形状使得视频信号在垂直方向上的一些高频分量被抑制- 从而降低了幽像 在垂直方向上的清晰度。m 2 - 3 展示丁空间滤波器的滤波作用，其中灰色阴影部 分为滤波器的通带区域。 另外作为空间滤波嚣中比较先进的算法，当前出现了许多利用具有低通 性质的加窗滤波器进行插值运算的算法。 ( 2 ) 时问滤波f r m p o r a l f i l t c r i n g ) 与空间滤波正好相反，时问滤波器就是使用相邻场内的点来求取当前长的 未知像素。最简单的时问滤波就是场重复( f i e l dr e p e t i t i o n ) ，印一场中未知的像 素点用上一场对应的己知像索值来代替。如果用公式2 - 2 来表示的话，我们取 ( o ，1 ) = 1 而其他所有的h ( k ，所) ) 都为o 。根显然如果视频中没有运动的话。 这一滤波器就是最优滤波器。类似地这一滤波器的频率响麻为： 且) = l c 叫斫】( 2 卅 从上式可以看出时问滤波器在垂直方向上式全通的，因此不会造成酗像垂直清 晰度上的损失，但其在时问频率上的频谱的衰降，会造成视频运动信息的损失。 图2 4 展示了时问滤波器的滤波作用其中灰色阴影部分为滤波器的通带区域。 圈2 - 3 典型空间滤波器的通带示意图圈2 4 典型时问滤波器的通带示意圈 ( 3 ) 时空滤波 所谓时空滤波就是在计算像素点的值的时候综台考虑空间邻点与时问邻 点。从理论上说，如果视额信号满足采样定理即其频谱没有混叠的话那么使 第二章去隔行算法研究 f 1 , 8 ，8 ，1 ( k = _ 3 ，- 1 ，1 ，3 ) ( m = 0 ) 1 8 h ( k ，脚) - 5 ，1 0 ，- 5 ( k = - - 2 ，0 ，2 ) ( 肌- - - 1 ) ( 2 5 ) f0o t h e r w i s e 2 2 2 非线性滤波去隔行 在没有运动的情况下，时间滤波器的性能最好，而在有运动，但没有过多 的垂直细节的情况下，空间滤波的效果最好。很自然地，我们想到能否将前面已 有算法结合起来，根据情况，有选择地使用时间滤波，或空间滤波。 ( 1 ) 运动自适应算法( m o t i o n - a d a p t i v ea l g o r i t h m ) 运动自适应算法需要一个检测图像中是否存在运动的模块，称为运动检测 模块( m o t i o nd e t e c t o r ) ，根据运动检测模块的输出来调整相应的内插策略。为了 保证运动检测的有效性，必须假定运动检测算法所必需满足的条件： ( 1 ) 相对信号来说，噪声必须足够小； ( 2 ) 信号中的低频部分的能量必须大于噪声与频率混叠部分的能量； ( 3 ) 视频中物体的大小必须大于像素点的大小。 运动检测的算法有许多，详细的情况可以参考文献【1 】【7 】【8 1 。当检测出运动的 可能性很大时，结果将会倾向于采用运动最优滤波器，反之则会倾向于静止最优 滤波器，从而达到了自适应的目的。 ( 2 ) 边缘自适应算法( e d g e - a d a p t i v ea l g o r i t h m ) 文献【5 】中提出使用大量相邻点的边缘自适应算法。其基本思想：当视频中存 在运动，而必须采用帧内内插算法时，我们就尽量选择一条边，使沿着这条边方 向上的内插失真最小。图2 5 是这种算法示意图。图中，x 位置代表需要内插 的像素，而a ，b ，c ，d ，e ，f ，g ，h ，j ，k 等则是已知的像素。边缘自适应 算法中，像素x 的值定义为： 其中，x a ，x b ，x c ， 而a ，b ，c ，d ，e ， 被分别定义为： t = 竿小学鼍= 丁c + d ( 2 - 7 ) f 则是图中相应位置处像素的值。 第二章去隔行算法研究 ( 3 ) 中值滤波算法( m e d i a nf i l t e r i n ga l g o r i t h m ) 在所有的非线性算法中，中值滤波算法因其实现简单而成为最受欢迎的一 种算法。一种简单的三点中值滤波算法如下： f f r 工，z 、lm o d 2 ：力r o o d 2 f o ( x , n ) 5 m e - d ( f p ( x 乏靠) ，f ( x + 也：，玎) ，f ( 圳- 1 ) ) 。珈嘲p ( 2 8 ) 其中，中值函数m e d ( a ，b ，c ) 定义为： m e d ( a ，b ，c ) = a ，( b a c ) v ( c 彳 b ) b ，( a b c ) v ( c 则视该待插像素点 为运动区域的像素点；反之，则表明该点为静止区域的待插像素点。 2 3 4 计算最终像素值【1 2 】 需要4 场视频图像数据才能够计算出当前帧像素点的亮度值( 见图2 7 ) 。场三 第二章击融行算法研究 为当前场将它插值成一帧图像。场四和场二用米进行场阃均值计算，场三内进 行基于图像边缘保持的二维滤波算法计算。场一、二、三、四进行运动检测，判 断将使用何种算法进行插值。按下面公式计算得到待计算的像素点的亮度值。 制= 雌翟”叫 任 由于在运动检测过程中需要用到一个3 x 3 的模扳进行处珥! 因此在场的 边界进行插值时，我们采丌 直接复制邻近行或列作为该行或列的值。 场_ 二场三场凹 翻2 - 7 运动信息检测示意圈 | ! f | 2 - 9 是对 ! f | 2 8 采丌】上边介绍的去隔行算法进行处理后的结果。 圈2 - 8 原始图像( 帧圈) 7 2 0 x 5 7 6 第章去隔行算法研究 图2 - 9 击蹦行后的图像 7 2 0 x 5 7 6 通过对比上边两幅图像可以看出去隔行后的圈像质蕾明显提高了。对于 帧圈的静止区域两幅图像的质量差不多但是对于运动区域，去隔行后的图像 画面清晰，去除了原始图像的闪烁、锯齿边现象，且对于字母边缘去隔行的图 像要平滑得多。去隔行后的图像也没有出现明显的振锋效应。不过。在运动较大 的区域去隔行后的图像出现了噪声点，这应该是由于运动自适应算法中运动判 断失误造成的，如将运动的像素点误判为静止区域的点，或将静止点误判为运动 区域的点。 2 4 本章小结 本章是基于去隔行算法进行的详细讨论。首先介绍了传统的去隔行算法， 总结了传统算法所存在的优缺点。然后在传统算法的基础上提出一种运动自适应 的去隔行算法并对该算法处理图像的效果进行了讨论。 第三章内插算法研究 3 1 内插算法综述 第三章内插算法研究 从理论上说，内插操作和信息论中的采样理论，信号处理理论中的多抽样率 信号处理【1 3 】【1 4 】、滤波理论、信号重构理论【1 5 1 、数学中的数值逼近理论等密切相 关。可以从以上所列举的不同的角度去构造内插方法。如用截断的s i n e 函数去作 为内插的核函数就是直接利用了采样理论；用滤波器级联实现抽样率转换的抽取 和内插就是利用了多抽样率信号处理和滤波理论；用多项式逼近的方法去构造内 插的核函数就是利用了数值逼近原理；而本文所提出的内插核函数方法即是利用 了连续信号和离散时间信号之间的关系。从应用上来说，它应用于凡涉及到由已 知信息推知未知信息或由有限信息估计全部信息问题的领域中。具体来说，内插 操作至少有以下几个重要应用：医学图像的配准中，在医学图像的配准中可能 进行图像的各种几何变换，如缩放、旋转和投影等，其中就要用到内插操作。以 及应用于在医学图像显示设备上提高图像质量掣5 1 。遥感、宇航图像的恢复【l6 1 。 如从卫星传回的遥感图像，只得到了部分信息，而需要将其全部信息恢复。在 图像的显示、存储和传输中。现有的数字电视制式所规定的视频格式并不统一， 为了用不同的显示终端、平台接收数字电视信号，甚至是双向传输数字电视信号， 就需要对不同的视频格式之间进行转换用于显示，同时也用于图像或视频的转换 编码中图像空间分辨率的转换【1 。7 】1 1 8 1 。另外，信道所限制的带宽使得要更快地传 输数据就要较小的图像尺寸。在因特网上浏览图片时，也要根据不同的客户端通 讯网选择不同的图像分辨率。另外还有其它用途如：估计概率密度函数和功率谱 密度函数，内插有噪数据，老电影的图像恢复等。 内插理论的发展和信息论中的采样理论，信号处理理论中的多抽样率信号处 理、滤波理论、信号重构理论，数学中的数值逼近理论的发展交织在一起。对于 一维内插，最初，最近邻域或线性内插这些简单的算法被用于重采样问题。在二 十世纪4 0 年代以后，随着s h a n n o n 信息理论的提出，s i n c 函数被选作内插核函数。 然而这一理想的内插核有无限脉冲响应，不适合用于局部内插。于是，截断的s i n c 函数，加窗的s i n c 函数用于内插。从数学的观点来说，t a y l o r 或l a g r a n g e 多项式被 认为是s i r t c 函数的逼近。这种逼近被认为是一种数值分析的方法。另外还有各种 多项式逼近方法，如采用代数多项式的二次逼近和内插方法，以及采用立方多项 式的立方内插方法。后来，由于样条函数在数值计算上比较有效而用于内插。文 第三章内插算法研究 献【1 9 】提出了高斯内插核函数。内插的改进方法和其基本原理并行地进行了发展， 文献【2 0 】提出了线性内插的硬件实现，文献【2 1 】提出了b 样条内插的快速算法。不仅 如此，还有关于图像边缘增强的图像放大的自适应算法圈也不断提出。许多好 的内插算法和基于图像边缘增强的内插方法层出不穷。不管何种内插方法，都或 多或少存在着平滑效应，因此，基于形状和对象的内插方法发展起来 2 3 1 1 2 4 。至 今，内插方法还在不断地发展，如文献【2 5 】用于增强边沿的内插实际上是双立方 内插的一种发展；文献【2 6 】是一种小波分形内插方法；文献【2 刀中对线性内插的改 进使所得的图像质量好于立方卷积。文献 2 8 1 认为一些为小波发展的数学理论( 如 r i e s z 基，投影算子) 都可以用于采样理论，这样，不同背景的研究人员比如信号、 图像处理工程师，谐波分析、数学物理和逼近理论的研究者都可以丰富采样理论 的发展，而采样理论的发展可推动模数转换、信号内插、计算机图形学、小波领 域的发展。有了信号处理相关领域的支持，内插理论的发展应有广阔的前景。 在国内，内插的研究大多集中于保持边缘的算法。是对已有内插算法的改进， 而关于内插原理的研究不多。文献【2 9 】是内插在错误图像掩盖中的应用。而文献【3 0 】 是首先采用基于形态学的预处理算法对红外图像进行预处理，然后采取一种自适 应模糊内插算法进行图像放大，这种自适应模糊内插是依据于双线性内插方法。 另外文献【3 1 】贝l j 是放大2 倍图像的内插，且只讨论了已有方法如：样条、小波、 分形方法的内插质量。文献【3 2 1 是通过对当前待插值点周围象素的灰度进行统计 分析，根据协方差矩阵得到适应边缘位置和方向的加权系数，而在非边缘点处采 用线性内插。因此本文对内插原理的研究是比较有必要的，是对已有内插研究的 补充。 3 2 传统尺寸缩放技术 帧内空间缩放即二维内插，是一类最基本的图像处理过程，一般分为线性和 非线性两大类。线性插值通过线性移不变滤波技术，由待插点的位置计算插值相 位，根据相位得到该插值点周围已知点对该点影响的加权因子，加权求和得到内 插值。这类滤波器包括理想带限滤波及相近的方法( 如双线性内插、三次样条内 插) ，其插值系数随插值点位置固定，与内容不相关，在插值过程不可能产生新 的高频信息。为此，针对分辨率改善的应用需求，人们提出了若干非线性算法 【2 2 】【3 3 】【3 4 1 。众所周知，由观察到的单个图像得到高分辨率图像是一个典型的不定 问题，在缺乏先验模型的前提下，存在无限多种被扩大的图像。帧内改善分辨率 算法是基于结构化的图像统计模型得到的，上述非线性算法虽然能明显改善视觉 效果，但运算量较大，处理过程不规则，不宜硬件实现。与之相比线性类算法虽 第三章内插算法研究 然有边缘模糊的缺陷，但性能稳定，适合各种场景，且处理过程规则，容易电路 实现。 3 2 1 线性算法 最简单的线性算法为近邻复制( n e i g h b o r i n gd u p l i c a t e ) 。线性内插的基本原理 是低通滤波，其设计的基本思路为两类：频域加窗和空域多项式拟合。作为二维 视频处理的算法，应当具有如下特征：1 较少的空域支撑( s u p p o r t ) ，以减少滤波 器抽头数；2 较小的频域边瓣，以减少频谱泄漏，防止混叠；3 较小的通带衰减 以减少有用信号的模糊；4 有适当的过渡带，以防止振铃。上述要求有时是互相 矛盾的，频率域的快速衰减意味着空间域的振荡，反之亦然，因此设计过程中需 要在时域特性和频域特性间权衡。 一、双线性内插 双线性内插是最简单的内插算法，同时也是在低端应用中广泛存在的算法， 他利用了待插点周围四点的信息，用公式表示为 “缸h ( 1 - 如a y ) + 缈( x 宝篙端翁y “+ h 1 ) a 1 x a 力y ( 3 - t ) ，y + 1 ) ( 1 一缸) 每+ ，( x + 1 ， 吖 其内插核在一维上用公式表示为： m ) = l 捌鲥 ( 3 - 2 ) 虽然双线性算法实现起来简单，但是由于它本身固有的止带高频泄漏，容易引起 混叠，同时由于大的通带衰减，导致图像被平滑。 二、立方内插 最常见的四点立方内插用公式可以表示为： i ( x + a x ，y + 缈) = i ( x + i ，y + ，) ( i + a x ) “( ，+ 缈) 扭一1 ：2 j = - 1 2 ( a x ) = 要i 叫3 一要l 缸1 2 + ll a x i a l 一丢鲥+ 要时一4 1 c 1 + 21 - 1 缸1 - x ( n 如 ) x ( n + 5 ) x ( n - 3 ) x ( n 2 ) x ( n - 1 ) i ( n ) x ( n + 1 ) x ( n + 2 ) x ( n + 3 ) x ( n + 4 ) x ( n - 4 ) x ( n - 3 ) x (