（信号与信息处理专业论文）视频格式转换中去隔行算法的研究.pdf

视频格式转换中去隔行算法的研究 摘要 相对于闪烁的细节来说，人类视觉系统对大面积的闪烁更为敏感。电视显 示采用隔行扫描的方式就是得益于这种效应，同时广播格式最初也被设计成跟 电视显示扫描格式相匹配，由此产生的结果是视频链上处处可见隔行扫描的踪 影。隔行扫描的主要缺点是它使得很多图像处理的工作变得复杂化，尤其是它 使得扫描格式转换变的复杂化。随着h d t v 、可视电话、网络以及p c 视频的 大量出现，许多扫描格式需要被转换成广播格式，显示技术的发展也使得隔行 扫描的缺陷如行爬行、行间闪烁等越来越明显，去隔行变得更加重要。 针对嵌入式系统和高级去隔行系统的不同应用，我们分别提出一种基于运 动自适应的去隔行算法以及一种基于运动补偿的自适应去隔行方法，本文的主 要工作及贡献如下： 1 在传统的基于场差的运动检测技术的基础上，提出了一种改进的四场运 动检测，利用当前点8 邻域内像素的运动状态，以投票的方式对当前点的运动 状态做出判断，降低了噪声对检测结果的干扰，因而减少了漏检和误检的概率， 使得检测的结果更为准确和平滑。 2 在传统的边缘平均插值算法( e l a ：e d g e b a s e dl i n ea v e r a g e ) 的基础 上，根据相邻相关的原则，提出一种改进的分级边缘平均( r e l a ) 的插值算 法，克服了e l a 算法固有的缺点，并且没有显著的增加计算复杂度。 3 在三维递归搜索块匹配运动估计算法的基础上，提出一种运动补偿的自 适应去隔行算法，该算法有效地避免了错误运动矢量造成的图像质量陡降，而 且计算复杂度不高，非常适合于去隔行应用。 关键词：视频格式转换；去隔行；运动检测；运动估计 r e s e a r c ho fd e i n t e r l a c i n ga l g o r i t h mo fv i d e of o r m a t c o n v e r s i o n a b s t r a c t c o m p a r e dw i t hf l i c k e r i n gd e t a i l s ，t h eh u m a nv i s u a ls y s t e mi s m o r es e n s i t i v et o l a r g e - a r e af l i c k e r i n g t e l e v i s i o nd i s p l a y sa p p l yi n t e r l a c i n gt ot a k ep r o f i tf r o mt h i sf a c t ， w h i l eb r o a d c a s tf o r m a t sw e r eo r i g i n a l l yd e f i n e dt om a t c ht h ed i s p l a ys c a n n i n gf o r m a t a sa r e s u l t ，i n t e r l a c ei sf o u n dt h r o u g h o u tt h ev i d e oc h a i n t h em a j o rf l a wo fi n t e r l a c i n gi st h a ti t c o m p l i c a t e sm a n yi m a g e p r o c e s s i n gt a s k s p a r t i c u l a r l y , i tc o m p l i c a t e ss c a n n i n g - f o r m a t c o n v e r s i o n s w i t ht h ea d v e n to fh i g h - d e f i n i t i o nt e l e v i s i o n ，v i d e op h o n e ，t h ei n t e m e ta n d v i d e oo np e r s o n a lc o m p u t e r s ( p c s ) i nl a r g en u m b e r s ，m a n ys c a n n i n gf o r m a t sh a v et ob e c o n v e r s e dt ot h eb r o a d c a s tf o r m a t s d e v e l o p m e n to ft h ed i s p l a yt e c h n i q u e sa l s om a k et h e a r t i f a c t so fi n t e r l a c i n gp e r c e i v a b l e t os a t i s f i e dt h ed i f f e r e n tr e q u i r e so fe m b e d d e ds y s t e ma n da d v a n c e dd e i n t e r l a c i n g a p p l i c a t i o n s ，w ep r o p o s eam o t i o n a d a p t i v e - b a s e dd e i n t e r l a c i n gm e t h o da n dam o t i o n c o m p e n s a t i o nb a s e da d a p t i v ed e - i n t e r l a c i n gm e t h o d t h em a i nw o r ka n dc o n t r i b u t i o n so f t h i sp a p e ri sa sf o l l o w s ： f i r s t l y , i nt h eb a s eo ft h et r a d i t i o n a lf i l e d d i f f e r e n c e - - b a s e dm o t i o nd e t e c tt e c h n o l o g y , w ep r o p o s ea ni m p r o v e df o u r - f i e l dm o t i o nd e t e c tm e t h o d ，p r o f i tf r o mt h em o t i o ns t a t eo f8 p i x e ln e i g h b o r h o o do ft h ec u r r e n tp i x e l t h ed e t e c tr e s u l ti sm o r ea c c u r a t ea n ds m o o t h i n g ， r e d u c et h ea f f e c to ft h en o i s et ot h ed e t e c tr e s u l t s e c o n d l y , i nt h eb a s eo ft h et r a d i t i o n a le d g e - b a s e dl i n ea v e r a g e ( e l a ) i n t e r p o l a t i n g m e t h o d ，a c c o r d i n gt ot h ep r i n c i p l et h a tt h ec o r r e l a t i o nb e t w e e np i x e l si sb i g g e rw h e nt h e y a r ec l o s e r , w ep r o p o s ea ni m p r o v e dr a n k e de d g e - b a s e dl i n ea v e r a g e ( r e l a ) m e t h o d ， o v e r c o m et h ei n h e r e n tf l a wo fe l a ，a n dt h ec o m p u t a t i o n a lc o m p l e x i t yi sn o to b v i o u s l y i n c r e a s e db yt h i sc h a n g e f i n a l l y , i nt h eb a s e do f t h r e e d i m e n s i o nr e c u r s i v es e a r c hb l o c k m a t c he s t i m a t i o n ， p r o p o s ea nm o t i o nc o m p e n s a t i o nb a s e da d a p t i v ed e i n t e r l a c i n ga l g o r i t h m ，t h i sm e t h o d i m p r o v e st h eq u a l i t yo ft h ed e i n t e r l a c e dv i d e o ，a n dt h ec o m p u t a t i o n a lc o m p l e x i t yi sn o ts o h i g h ，i sv e r yp r o p e rf o r t h ed e i n t e r l a c i n ga p p l i c a t i o n k e y w o r d s ：v i d e of o r m a tc o n v e r s i o n ：d e i n t e r l a c i n g ；m o t i o n d e t e c t ；m o t i o n e s t i m a t i o n 插图清单 图2 1 去隔行的过程一7 图2 2 静止场景和运动场景的频谱图8 图2 3 空间线性滤波器的频率响应1 0 图2 4 “b o b ”滤波器示意图1 0 图2 5 时间线性去隔行滤波器的频率响应1 1 图2 6 时空线性去隔行滤波器的频率响应1 2 图2 7 用于方向相关性计算的像素点的示意图13 图2 8 三点中值滤波示意图1 4 图2 9 时域背向投影示意图17 图2 1 0 频谱叠加示意图1 9 图3 1 视频信号场结构示意图2 3 图3 2 边缘平均法示意图2 5 图3 3 边缘平均的两种缺陷示意图2 6 图3 4r e l a 算法的流程图2 6 图3 5 场检测法效果对比图2 7 图3 6 椒盐噪声2 5 时场检测效果对比图2 7 图3 7e l a 和r e l a 的插值效果对比2 8 图3 8 测试序列p s n r 对比图2 8 图4 1 块匹配的示意图3 2 图4 2 当前块的时空相邻块3 6 图4 3 空间预测与时空预测3 7 图4 4 双向收敛过程示意图3 7 图4 53 d r s 算法的框图3 9 图4 6 三种主要方法去隔行效果局部放大图4 2 图4 7 三种主要的去隔行方法的p s n r 对比图4 3 表格清单 表3 1 图3 4 中各符号的含义2 7 表3 2 计算复杂度对比一2 9 独创性声明 本人声明所呈交的学位论文是本人在导师指导一i - - 进行的研究工作及取得的研究成果。据我所 知，除了文中特别加以标, t b ；i l l 致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果， 也不包含为获得金目垦工些盔堂 或其他教育机构的学位或证书而使用过的材料。与我- - n - i - 作 的同忠对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签字：铷字日期：溺睥争月哆日 学位论文版权使用授权书 本学位论文作者完全了解盒月垦王些厶堂有关保留、使用学位论文的规定，有权保留并向 国家有关部门或机构送交论文的复印件和磁盘，允许论文被杏阅或借阅。本人授权金g 曼些厶 ! l 可以将学位论文的全部或部分论文内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 岳龟砜 签字日期锄年午月汐日 学位论文作者毕业屙去向： j i ：作单位： 通讯地址： 电话： 邮编： 霉 文砷 名 期 签 日 师 字 导 签 致谢 值此学位论文完成之际，谨向那些曾教导我的师长、鼓励我的前辈、帮助 我的同学和朋友、默默支持我的亲人，表达我最诚挚的谢意! 两年半的研究生学习使我的科研水平和工作能力得到了快速增长，这一切 得益于尊师蒋建国教授在我学习、科研等多方面给予的悉心指导和亲切的关怀。 蒋老师一丝不苟的治学态度、敏锐的学术洞察力、严谨而又不乏灵活性的工作 作风以及丰富的实践经验给我留下了深刻的印象，将使我在学习和工作中受益 终生。在此，谨向蒋老师致以崇高的敬意和衷心的感谢! 感谢齐美彬副教授在我学习过程中给予的悉心指导和关怀! 齐老师在学习 上对我们严格要求，生活中又是我们的良师益友，他的专业精神将永远激励着 我! 同时还要感谢实验室的夏娜副教授、詹曙副教授、吴从中副教授、李小红 副教授、尤小泉老师，感谢他们对我的关心和帮助。 感谢我们实验室同学：感谢包先雨、尹翔、安宝磊等师兄在学习过程中的 指引和帮助；感谢刘扬、郝永杰、李化雷。、童卫勇、宣曼等师兄师姐，在我遇 到问题时给予耐心解答；感谢卢晓红、张前进、施志萍、郝世杰、郭艳蓉、张 乐、常虹、项磊等师兄师姐，在学习研究上给予的建议和帮助。感谢徐普君同 学在项目上给予我的耐心指导，同时还要感谢李本斋、胡有刚、鲜柯、杨立宾、 刘亮、高传莹、李敦、唐媚、钱浩伟、邢世义、吕荣、张文菊、曹二喜、张程 风等实验室的同学，我们在生活上情同手足，在学习上互相帮助，共同营造了 良好的实验室气氛。 最后，我要将这份感激之情献给我的父母，感谢他们在我求学期间给予的 精神和物质上的深切关怀和大力支持，他们多年来的关心、鼓励和无私的爱， 始终是我克服困难的强大动力，向他们表示深深的谢意和衷心的祝福! 作者岳雷飞 2 0 10 年4 月 第一章绪论 1 1 引言 在当今的广播系统中，绝大部分的视频信号是隔行扫描的。这种扫描格式， 能够有效的降低传输的带宽，同时又不会使图像的主观质量降低很多，因为它 巧妙地利用了人眼的一个视觉特性，即：相对于闪烁的细节来说，人类视觉系 统对视频图像大面积闪烁更为敏感【1 1 ，巧妙的以增加闪烁细节的方式来换取大 面积闪烁的减少。因此，对于两个带宽完全相同的视频信号3 0 h z 逐行与 6 0 h z 隔行，人们会明显觉得后者看起来更为舒服【2 】。现行的彩色模拟电视系统 p a l ，n t s c 和s e c a m 都采用这种扫描格式。 但是隔行扫描也存在一些缺陷，比如：爬行、行间闪烁、锯齿效应等1 2 j ， 随着电视显示技术的发展，这些缺陷越来越不能被忽视。虽然目前的高清晰度 电视( 采用逐行扫描方式) 已开始实用化，但是现有的电视系统将在很长一段 时间内继续存在。因此在很多情况下，如何在逐行扫描的显示器上播放隔行扫 描的视频序列是一个很重要的课题，一般我们称这个过程为去隔行。 1 2 应用背景 1 2 1 隔行扫描的背景 时变图像的传输，通常称作视频，需要采取一种方式将二维图像序列转换 成一维图像信号，该信号可以是模拟的也可以是数字的。这个视频中包含的信 息被根据事先定义的扫描格式组织成时间的函数。这个扫描格式是一个视频标 准中的重要部分，它定义了视频数目或者每幅图像中的扫描行数，以及每秒的 图像数目。扫描行数定义了最大可达到的垂直解析度，每秒的图像数目则定义 了( 时域的重复频率，单位：h z ) 最大可达到的时间解析度。最后，最大的可 感知的水平解析度由视频的带宽、点的大小、视频格式决定，如果在数字格式 中则由“图像元素”( 像素) 的抽样频率决定。 研究发现每秒传输10 幅图片就可以让人产生运动的感觉【3 j 。观察者保持 或者说以某种方式记住已消失图像的印象的能力持续o 1 秒左右。运动图像或 者电视采用更高的速率来减少可见的闪烁。闪烁的感知随着观察条件的不同而 变化很大。屏幕的大小、颜色、亮度、观察角度以及背景的亮度都对感知性具 有影响。运动图像以每秒钟2 4 幅的速率被记录。然而，如果以这个速率显示， 闪烁仍然很明显。为了尽可能的消除闪烁，通过每幅图像显示两次的方式将显 示频率增加到两倍。由此而产生的4 8 h z 的图像更新频率，任然被现在的电影 院运动图像所使用。 因此，在电视引入的时候，选择一个至少4 8 h z 的图像更新频率是必须的。 为了避免由于主要能量中的循环频率产生的伪信号，美国以及亚洲的部分国家， 如日本，图像的更新频率被设成6 0 h z ( 5 2 5 扫描线) 。世界的其他部分的大多 数，采用5 0 h z ( 6 2 5 扫描线) 的更新频率。 每秒5 0 或者6 0 幅“完整”图像的视频传输系统被认为在经济上没有吸引 力。个巧妙的可以减少视频带宽，减少系统开销，同时保持几乎无闪烁的图 像的解决办法被发现，这种方法被称作隔行。当一幅图像以隔行方式显示的时 候，奇数扫描线和偶数扫描线交替的投影到屏幕上。( 高阶的隔行因子也被提出 过，但是经证实因子为2 的时候可以将质量最大化) 。一系列扫描线的组合在一 起称为一帧。一帧的奇数行在一起构成了奇场( 也叫做顶场) ，第一次扫描的时 被显示出来，一帧的偶数行在一起构成偶场( 也叫做底场) ，第二次扫描时被显 示出来1 4 j 。像素的更新频率是仍然是5 0 h z 或者6 0 h z ，同时奇偶扫描线的更新 频率分别是2 5 h z 或3 0 h z 。 1 2 2 隔行扫描的缺陷 电视广播系统中所采用的隔行显示技术给电视广播系统带来了很多的便 利。但是同样也给电视系统带来了很多的缺陷，概括起来主要有： ( 1 ) 行爬行：行爬行是由于场交织的过程中眼睛在垂直方向上以每场 一行的速度扫描图像时产生的。例如：如果观察者跟踪屏幕上以此速度做垂直 运动的一个物体( 比如滚动的字幕) ，显示器的行结构变得可见而且似乎在穿过 物体“爬行”。即使图像具有相同的亮度，观察者依然可以看到明显的行运动。 在这种情况下，观察者将会把扫描线看作属于运动的物体。行爬行是隔行产生 的，一般出现在细节较少和没有运动的图像中。观察者离显示器越近，这种现 象越明显。因为每条扫描线每帧只更新一次，而且单行的亮度衰减比较快。眼 睛有时会盯住一组扫描线。当每到来新的一场时，新的扫描线会插入旧的扫描 线之间，眼睛会紧跟着跳到新的一行上，这看起来就像这一组扫描线向上或向 下移动了一行，连续起来观察就好像这组扫描线不断的上移或下移，形成行爬 行现象。人眼一旦盯住这种爬行现象，他观察到的图像质量就会下降。当观察 者远离显示器时，可以缓解爬行现象，因为人眼对扫描线有平均作用。 ( 2 ) 行间闪烁【l 艺】：如果我们将隔行看作具有场交替显示，相邻场间具有 垂直偏移的子抽样过程，但是却没有反混淆滤波。从线性抽样率转换定律pj 可 以知道，缺乏合适的反混淆滤波，就会发生混淆，因为一级复制频谱向基带内 折叠。混淆发生在抽样相位相反的两场中的高频细节处。在普通的电视显示中， 行间闪烁仅仅发生在具有非常精细的垂直细节处。最明显的一个例子是一幅有 暗线和亮线交叉组成的图像，一场只显示亮线，一场只显示暗线，这样一亮一 暗交替显示，形成了周期为图像更新频率一半的i 为烁。行间闪烁主要由屏幕上 物体的水平边缘所造成。因为隔行电视的特性，一条精细的水平线只能出现在 一场中，另一场中就消失了，结果是这个精细的水平边沿相当于以帧频进行显 示。例如，奇数场的第3 1 行是亮的，而相邻的偶数场的第3 2 行则是暗的，结 果是图像中某物体的边缘第3 l 行就以2 5 h z 或3 0 h z 的速度进行闪烁。图像里 存在小的运动时，沿着垂直运动的方向边沿会出现明显闪烁，而观察者对这些 能够觉察到的闪烁会极其厌恶。 ( 3 ) 锯齿效应：隔行扫描普遍具有锯齿效应。这种效应是由于物体的运 动而产生的，静止区域则没有这种困扰。垂直相邻的图像像素在相邻两场以不 同时间出现时就会产生这种瑕疵。隔行扫描是分成两场采集，然后显示的时候 再合成完整的一帧，如果在两场采集的时间间隔内，物体发生了运动，那么合 成帧中图像的边缘就会出现错位，出现象锯齿一样的不自然信号，图像的轮廓 变得模糊不清，使人看起来很不舒服。 1 2 3 去隔行的意义 在传统的模拟广播电视系统中，隔行扫描得到广泛应用，目的是降低视频 图像的大面积闪烁以及有效利用给定的传输带宽。随着显示技术的发展，人 们的关注点开始转向由于隔行扫描固有特性带来的虚像问题，如边缘闪烁、行 间闪烁以及行爬行等。目前，由于大屏幕电视应用的场合越来越广，这些问 题变得越来越明显，虚像由于变得可见从而严重损害了视频图像的画质。我们 国家电视机普及率很高，虽然亮度和色度动态增强电路、数字梳状滤波器等新 的数字技术的出现，从某种程度上来说提高了电视机的性能和图像质量，但是 视频图像的行爬行、行间闪烁以及图像快速运动时产生的锯齿效应及边缘模糊 并没有彻底的得到改善。 随着数字电视，特别是高清电视h d t v 逐渐的进入日常应用中，人们需 要更加清晰的节目源( 数字广播中增加了4 8 0 p 、7 2 0 p 和10 8 0 i 几种格式) ， 另一方面，面向非广播应用的逐行扫描电视的应用场合也在不断增加。逐行扫 描技术能消除行间闪烁，行蠕动和大面积闪烁现象，使得视频图像的垂直解析 度和清晰度提高很多，随着高清晰度大屏幕电视及p c 机视频的出现，逐行扫 描的应用也变得越来越广泛。 虽然高清晰度电视的推广速度正在加快，性能也在不断提高，但是模拟电 视并不会立即推出历史舞台，今后很长的一段时期内它仍将占有自己的一席之 地。未来的若干年，将属于模拟电视向数字电视过渡的时期，目前逐行扫描、 隔行扫描也处在共同存在的过渡时期，许多显示器件不仅能接收传统p a l 、 n t s c 、s e c a m 电视信号，而且能接收数字电视信号，因此把扫描格式不同的 视频信号相互进行转换的是必须的工作。为了消除隔行扫描给显示过程中带来 的虚像问题，同时又作为满足图像编码前期或后期的处理需求的手段，还有让 现有节目源能够充分有效地被数字电视h d t v 利用，隔行视频图像的去隔行过 程可以说是非常关键的技术，离开它我们将会收到很多限制。 1 3 技术背景 随着技术的进步和需求的变化，去隔行算法也在不断的发展变化，主要经 历了三个阶段：线性滤波、自适应的非线性滤波和运动补偿( m o t i o n c o m p e n s a t i o n ) 。 2 0 世纪7 0 年代国外开始采用线性内插滤波器进行去隔行，它的具体实 现方法主要有：时空域的双线性内插滤波、线性垂直时间滤波、加窗s i n c 函数 内插滤波、多项式内插滤波和频率域的离散傅里叶变换等等。这种滤波器具有 和理想低通滤波器相似的频谱特性，由几个到几十个抽头的f i r 组成，结构比 较简单，单片的集成非常容易，因此被广泛应用在格式转换、屏幕缩放等需要 实时地去隔行的场合。但是由于频率空间中隔行视频信号的频谱是有重叠的， 低通滤波不可避免地造成去隔行后的图像出现的时空上的混叠、模糊等效应， 因而影响了去隔行后的图像的质量。 8 0 年代后期，随着对由线性滤波格式转换器造成的图像质量退化现象和 视频信号时空特性的深入理解，出现了大批基于非线性自适应的去隔行方法。 它们主要分为三种：边缘自适应、中值滤波( 隐含的自适应) 和运动自适应。 边缘自适应方法保留了图像的边缘细节，减弱低通滤波造成的垂直和水平方向 上的模糊效应，提高了空间的解析度。中值滤波方法隐含了在时间方向上的运 动自适应和在空间方向上的边缘自适应。运动自适应插值方法很好地消除了传 统的线性滤波去隔行产生的虚像问题。把上面介绍的三种算法相结合，可以构 成混合型的自适应滤波器。这样形成的自适应滤波方法与简单的线性滤波方法 相比，不但没有增加硬件开销而且改善了去隔行性能。不仅如此，有时它还能 极大地缩减硬件规模( 如中值滤波法) 。因此，非线性的自适应滤波算法被广泛 应用在格式转换芯片设计的过程当中。运动自适应滤波虽然利用了运动信息， 但是只是判断运动与否，并不做进一步的挖掘，高速运动的情况下，它的处理 方法实际上还是帧内插值，相邻场间的大量的有用信息被忽略，因此在作帧率 变换时它的处理效果并不是很理想。 9 0 年代中期，随着大规模集成电路v l s i 技术的进步，单片集成运动估计 器成为可能。基于运动补偿的去隔行技术的研究得到全面丌展。运动补偿去隔 行过程分为两个步骤：运动估计和运动补偿插值。具体实现方法有：基于光流 方程的方法、基于区域匹配的方法、基于频率域的方法、正交投影的方法、透 视投影模型的方法、基于递归的方法和基于随机场的方法等等。运动补偿去隔 行算法比较明显地提高去隔行的效果。 现在，主流的算法都是基于运动补偿的，广泛使用的运动估计算法是基于 块匹配的方法，由gd eh a a n 等人【57 】提出的三维递归搜索块匹配算法尤其值得 一提，因为它得到的运动矢量十分接近物体的真实运动，在运算复杂度和估计 结果的准确性之间取得很好的平衡，是被使用较多的算法。l i 等人1 4 4 j 按照正常 4 的方法将m r f 用于对运动补偿后的图像平滑，同时没有破坏边界，进一步提 高了去隔行图像的质量，是比较有代表性的算法，最大缺点是计算量太大。s y d a i 等人【4 5 1 从另外一个角度利用m r f 对候选插值进行限制，一定程度上解决了 计算复杂度的问题。 1 4 本文主要工作及论文组织 1 4 1 本文主要工作 去隔行过程的就是想方设法利用己知的场重构完整的帧，但是由于隔行采 样并不满足奈奎斯特抽样准则，这样就给去隔行带来了很大的困难。去隔行的 方法主要有三种：线性滤波、非线性滤波和运动补偿三种。线性滤波的去隔行 效果很有限，因为隔行信号的频谱中存在混淆，消除这些混淆是线性滤波无能 为力的。非线性的算法往往可以取得更好的效果，因为它们保留了部分图像细 节，但是获取图像细节的能力有限，而且通常还会引入负面效应。基于运动补 偿的去隔行算法迄今为止是最好的，因为它沿着运动轨迹将运动图像虚拟为静 止，理论上可以获得和逐行扫描相同的清晰度。但是由于运动估计本身的问题 和隔行结构给运动估计带来的技术应用上的困难，所以实际中的运动补偿去隔 行总要增加某些限制以保证算法的鲁棒性。 去隔行算法的选用根据需求的不同而有差别，并不存在能满足各种不同需 求的万能的方法，针对嵌入式图像处理系统和高级的去隔行系统的不同应用， 本文分别提出一种基于运动自适应的去隔行算法和一种基于运动补偿自适应的 去隔行方法，主要工作及创新如下： 1 在传统的基于场差的运动检测技术的基础上，提出了一种改进的四场运 动检测，利用当前点的8 邻域内像素的运动状态，对当前点的运动状态做出综 合判断，从而减少了漏检和误检的概率，使得检测的结果更为准确和平滑，降 低了噪声对检测结果的干扰。 2 在传统的边缘平均插值算法( e l a ：e d g e 。b a s e dl i n ea v e r a g e ) 的基础上， 利用相邻相关的原则，提出一种改进的分级边缘平均( r e l a ) 的插值算法， 克服了e l a 算法固有的缺点，而且没有显著的增加计算复杂度。 3 在三维递归搜索块匹配运动估计算法的基础上，提出一种运动补偿自适 应的去隔行算法，该算法有效的提高了去隔行后图像的质量，而且计算复杂度 不高，非常适合于去隔行应用。 1 4 2 论文组织 第一章介绍去隔行的应用背景和技术背景，以及去隔行的意义。 第二章介绍了去隔行的任务和常用的去隔行算法。 第三章提出一种基于嵌入式系统的快速去隔行算法并给出了实验结果分 析和总结。 第四章对运动估计做了简单介绍，并且详细介绍了一种适合扫描 格式转换的运动估计算法二一三维递归搜索块匹配算法，并提出一种 基于运动补偿的自适应去隔行算法。 第五章对本论文的工作做了总结和展望。 第二章去隔行算法的研究 2 1 去隔行的定义 假如我们把隔行扫描当作种时空二次采样的话，那么将隔行视频信号转 换成连行视频信号的去隔行( d e i n t e r l a c i n g ) 过程就是逆向的操作过程，目的 是解决二次采样所产生的频谱混淆等问题】。去隔行就是对隔行视频信号的 奇( 偶) 场罔像信息采用各种技术重建其缺少的偶( 奇) 场图像信息，使之成 为一帧完整图像信号。图21 根好地说明了去隔行所要完成的任务。图的左边 是输入，它是电视信号中通常所说的奇( 偶) 场，它是由一幅图像的所有奇行 ( 偶行) 抽样构成的，相应地称为奇场( 偶场) ，是隔行信号。图的右边是输出， 经过去隔行后变成了一帧完整图像，它代表了和输入的场所代表的图像等同的 一幅图像，但包古丁所有行的采样信息，是进行信号。 俏 场 图2i 去隔行的过程 去隔行过程中输出的遂行视频信号只( i ，h ) ，可以用如下表达式来定义： ，一、i f ( 2 ，h ) ，( y m o d 2 = n m o d 2 )、 。”2 1 _ ( i ，) ，( o t h p r w i s p ) 21 其中i = ( z ，y ) 表示像素的空间位置，, 表示场的序列号，f ( i ，, ) 为输入场信号 它只有在满足y m o d 2 = 月r o o d 2 条的时候a 有信号，即奇场的奇行像素和偶场 的偶行像素。f ( j ，”) 为插值生成的像素，即奇场的奇行像素和偶场的偶行像紊。 将隔行信号转变成运行信号，可以提高视频信号空问垂直方向上的采样密 度。去隔行方法的主要目的是减少以致消除电视信号进行隔行采样过程中j 怔生 的一次谐波对基带频谱的影响，从而使视频信号的清晰度得到提高。为了充分 保持信号的完整性，采样率必须足够大才行。根据采样定理j ，我们知道，为 了使采样得到的信号能够反映原始模拟信号的特性，对它的采样频率至少要高 于信号最高频率分量的2 倍。不满足采样定理时，信号频谱就会出现混淆现象 这是由十采样后的信号中混入了的虚假的信号低频分量。解决信号混淆的基本 方法是将采样前的信号进行低通滤波( 又称为反混淆滤波) ，滤掉高于采样频率 i 2 的信号高频分量确保不出现欠采样。但是，在对视频信号进行采样时， 信号的预处理( 低通滤波) 只能在摄像机的光学通路中进行因此，在实际系 统中，进行信号的反混淆滤波是极为不易的，这样信号的一次谐波分量将会混 进隔行采样的视频信号中。因此，去隔行不是一个直接的线性频率转换问题。 另一方面，人眼视剐膜上的时间频率与场景中的物体运动之间具有不确定 的关系。对于跟踪目标的观察者来说，物体运动产生的高频分量将会在视网膜 上将投影成直流分量口6 ”。假如将信号高频分量用时域滤波器滤除观察者 将会感觉到运动模糊等现象。因此，进行过时域滤波后的视频信号所代表的电 视罔像的质量将会下降。 因此，视频信号的去隔行并不是一个简单的线性滤波过程。到目前为止， 已经有很多的算法被提出来，但是并不存在一个简单有效的算法来解决去隔行 过程中产生的各种问题。 卜p r h i il j禽 零z c 矗 l ( c p h ) ，一，7 口一 ， 7 z ( 面 ( a ) 静i l 场景的隔行信。频谱( b ) 单一垂直运动的隔行信号频谱 注：斟中垂卣频率单位为周图像高度( c y c l e s ，p i c t u r eh e i g h t ) ：f 同。 凹22 静i t 场景和运动场景的频谱图 各种各样的去隔行方法的目的就是在尽量减少一次谐波分量影响的情况下 进行理想的去隔行过程。有一种情况，可以进行理想的去隔行过程，就是当场 景静止的时候，此时隔行视频信号的频谱如图22 ( a ) 所示，图中 表示垂直 空问频率，表示时间频率。此时图像由于是静止的，所以它的频谱在时间 轴上表现为很窄的区域，互相并不重叠。像这种频谱特性，采用一个简单的时 日j 滤波器就可阻进行理想的去隔行过程。图22 ( b ) 是具有一定垂直运动速度 的隔行视频信号的频谱特性。图像发生运动时，它的垂直空间方向的频谱发生 偏转，运动速度决定了它的偏转角度f 9 】。时间轴上，它的频谱区域变宽，图2 2 ( b ) 中的粗黑圆圈部分就是频谱混淆区域。由以上分析可知，就是运动使得隔 行视频信号的频谱出现混淆。 根据以上讨论，我们可以确定，在去隔行的过程中，对运动图像和静止图 像的处理方式将会有很大的差异，并且电视信号的去隔行算法将牵涉到时域和 垂直空域两个方面的问题。 根据实际应用以及理论研究的需要，去隔行方法大量地被提出。首先提出 的直接线性插值，接着发展到非线性自适应方法，最后是针对运动图像的更高 级的运动补偿方法，但是由于产品成本以及硬件实现的问题，所以一直以来， 各种视频格式转换得以实现的最大问题，就在于如何用硬件来实现适合于消费 电子应用的去隔行算法。 2 2 去隔行算法的概述 去隔行方法的分类方式有很多种，如空域与时域以及时空域、线性与非线 性、非运动补偿与运动补偿等等。为了将去隔行技术的各方面阐述的更清晰， 本节将按照去隔行技术发展的时间顺序依次介绍各种算法。 2 。2 1 线性去隔行算法 最早先的去隔行算法就是对隔行视频信号进行时空域的线性滤波，它们之 中最具代表性的是“b o b ”滤波器和“w e a v e ”滤波器。所有的线性去隔行方法都可 以用下面的公式统一描述【1 1 2 】： f o ( i ，疗) = f ( 2 ，胛) ，( y m o d 2 = 刀m o d 2 ) 篆f ( 元+ k f f , n + m ) 翥盎，( o t h e r w i s e ) ( 2 2 ) 豇，m “，一1 ，0 ，1 ，2 ，- ，( k + m ) r o o d2 = 1 h ( k ，m ) 是时空域线性滤波器的脉冲响应， m 表示时间坐标，k 表示空间坐 标，i 表示空间位置矢量，历表示单位矢量( 水平方向：历，垂直方向：厅，) 。h ( k ，m ) 的选取不同的值决定了这个滤波器是一个时域的、空域的还是时空域滤波器。 ( 1 ) 空域线性滤波 空域线性去隔行算法利用场内相邻像素的相关性来对当前未知像素进行 插值，因此，它又被叫做场内线性去隔行算法。图2 3 ( b ) 是空域线性去隔行 滤波器的频率响应。它在时间频率方向上是全通的，保证了输出的一帧图像中 不存在由于运动所导致的不自然信号，但是，它无法区分基频分量和谐波分量， 因而会抑制掉基频分量中的高频部分，同时还会引进谐波分量从而导致频谱混 淆。由于信号高频分量被抑制，所以空域线性滤波会降低去隔行后的图像的垂 9 直清晰度，尤其是图像包含丰富的垂直细节的时候，这种模糊现象就更为明显。 它输出的信号中存在着闪烁( b l u r ) 和伪信号( a l i a s ) ，这些效应只有通过阶数 更高的插值方法才能抑制。空间线性滤波的优点在于运算比较简单，硬件实现 比较容易。 j i 乃( c p h ) p 绺一 ki 7 嘞 ( a ) 隔行信号的频谱( b ) 空间线性滤波器的通带 图2 3 空间线性滤波器的频率响应 空间线性去隔行算法中最简单的是行复制算法，它的脉冲响应如下： m 川= ：；，艺i ： 亿3 ； 这种算法就是利用一场内现有的信息，将上一行的像素复制到下一行以构 成完整的一帧。采用此方法去隔行不会出现运动模糊或运动锯齿，但是会损失 垂直方向上一半的清晰度，使得去隔行后的图像边缘产生明显的阶梯现象( 相 当于边缘的采样精度降低) 。 y 1 3 1n 图2 4 “b o b ”滤波器示意图 1 0 空间线性去隔行算法中另一种比较简单的方法的是行平均算法。与行复制 算法相比，它造成的垂直方向清晰度损失较少，其脉冲响应如下： f o 5 ，( 后= 一l ，聊= o ) h ( k ，聊) = 0 5 ，( 尼= 1 ，m = 0 )( 2 4 ) 1 0 0 ，( o t h p r w i s p ) 这种滤波器是最常用的一种去隔行算法，被称为“b o b ”滤波器图2 4 是 它的滤波过程的示意图。这种方法是用单场内的行来计算，不顾及另外一场中 的行，直接通过相邻行取平均将场图像恢复为一帧。对于运动图像，采用这 样方法去隔行后图像质量不会有显著的恶化，并且具有最小的计算量。它的不 足的地方在于插值前的输入场只有原始的帧一半的垂直解析度，从而损失了图 像的垂直方向上的细节信息。 ( 2 ) 时域线性滤波 时域线性去隔行算法利用场间相邻像素相关性来对当前未知像素进行插 值，因此，它又被叫做场间线性去隔行算法。图2 5 ( b ) 是时域线性去隔行滤波 器的频率响应。它在空间频域内是全通的，保证没有损失输出图像的垂直清晰 度。因此，对于静止图像来说，时域线性去隔行算法是最好的算法但是对于 运动图像来说，时域线性滤波去隔行会造成运动锯齿、运动模糊等由于运动而 产生的不自然信号。时域线性去隔行滤波器，同样也无法区分信号的基频分量 和谐波分量，会丧失基频分量的一部分，并且会引入谐波分量而产生混淆。 jll ( c p h ) 豫。 一 z ( h z ) j i z f , ( h z ) ( a ) 隔行信号的频谱( b ) 时间线性滤波器的通带 图2 5 时间线性去隔行滤波器的频率响应 和空域线性滤波器相对应，时域线性滤波器也有两种简单的形式：场复制 和场平均。场复制算法，又被叫做“w e a v e ”算法，它的脉冲响应如下： 撇川= ：i ，尝i 缆；- 。 5 ， 这种算法就是利用相邻偶场和奇场图像信号直接组合成一帧完整图像。对 静止图像来说，这样组合可以得到一幅拥有完整垂直清晰度的图像。但是，对 运动图像来说，这样组合便会产生锯齿现象。 场平均算法，是利用前后两场的平均来获得当前场缺少的那一场信息，然 后加上当前场组合成一幅拥有完整清晰度的图像。同场复制方法一样，它可以 保护静止图像的垂直清晰度，同时具有一定的滤波作用，但是场平均算法要用 到三场的信息，硬件实现上多需要一个场的寄存器，并且对于图像运动部分， 与场复制算法相比，它会造成更严重的运动不自然信号。 ( 3 ) 时空线性滤波 通常情况下，我们称线性去隔行滤波器为时空线性去隔行滤波器。假如电 视信号在隔行采样之前采取反混淆滤波的话，时空线性滤波器理论上可以完美 地解决去隔行问题。尽管反混淆滤波是不可行的，时空线性滤波器依然是线性 去隔行算法中最好的解决方法。图2 6 是理想的时空线性滤波器的频谱响应， 这种滤波器保留了基频中所有的频率但是位于粗黑圆圈内的频率分量的幅值 大小受到一次谐波分量的影响。随着时间频率的增加，这种混淆造成的垂直细 节清晰度下降程度也在增加。对于具有较高运动速度的物体来说，人眼很难察 觉到物体细节，时空线性滤波器的这种折衷因而是可以接受的。 滤波器通带 j 、厨黪 f ； 飞，葶| 菇 j 7 逊夕( h z ) 图2 6 时空线性去隔行滤波器的频率响应 滤波器通带 由于空域滤波会降低垂直清晰度，时域滤波会产生运动锯齿，因此，在设 计时空线性滤波器时，通常只从相邻的前一场获取的垂直方向上的高频分量。 这样一来，对于不具垂直细节、水平移动的物体，时空线性滤波器就演变成为 一个空域滤波器，因此，不会造成运动不自然信号。这个滤波器可以看成是两 个滤波器的组合：一个滤波器获取前一场中垂直方向的高频信息，以补足由于 场内平均损失的垂直清晰度，另一个滤波器使用场内平均的方法进行线性插值， 以防止运动不自然信号的出现。 2 2 2 非线性去隔行算法 对于静止的图像，线性时域滤波器可以获得完美的去隔行效果；对于垂直 方向上没有细节的图像，线性空域滤波器可以获得比较理想的去隔行效果。然 而，这些算法都只有在特定的情况下才能达到不错的处理效果。这就推进人们 去找寻新的去隔行算法，这种算法对于垂直方向上具有细节的图像或运动的图 像可以获得不错的去隔行效果。大概在上世纪8 0 年代，有人提出了很多基于 检测物体垂直细节和运动的非线性自适应去隔行算法。直到9 0 年代为止，这种 方法一直被看作是效果最好的去隔行算法，直到运动补偿( m o t i o nc o m p e n s a t i o n ) 算法的单芯片( s i n g l ec h i p ) 集成成为可能。非线性技术主要有三种：基于边缘的 自适应滤波、中值滤波和基于运动检测的自适应滤波。还有将这三种方法结合 起来的混合滤波方式。根据对运动、边缘等滤波的不同场景的检测的结果，这 些算法选用不同的或自动切换滤波器参数或结构，以减弱混叠和模糊效应。 ( 1 ) 基于边缘自适应的去隔行算法 对于运动图像来说，场内线性去隔行算法的采用是很有必要的，这样信号 的基频分量能够被很好地保留下来。对于斜边的处理，场内线性去隔行算法