（电路与系统专业论文）视频格式转换算法研究及fpga实现——去隔行、帧频转换、分辨率变换.pdf

东南大学硕士学位论文 摘要 在当今的广播系统中，绝大部分的视频信号是隔行采样的。采用这种扫描格式，能够大幅度地 减少视频的带宽，但也会引起彩色爬行、画面闪烁、边缘模糊及锯齿等现象。这种缺陷经大尺寸屏 幕放大后就更加明显。为改善画面的视觉效果，去隔行技术应运而生。同时，视频信号本身的低帧 频也会导致行抖动、线爬行以及大面积闪烁等视觉效果上的缺陷。增加扫描频率会把这些视觉缺陷 搬移到人眼不敏感的高频区域上去从而产生较好的主观图象质量。而为了适应不同显示终端以及对 图像大小变化的要求就必须对原始信号分辨率即每帧行数和每行像素数进行变换。因此去隔行、帧 频转换、分辨率变换成为视频格式转换的基本内容。 f p g a 的出现是v l s i 技术和e d a 技术发展的结果。f p g a 器件集成度高、体积小，具有通过 用户编程实现专门应用的功能。它允许电路设计者利用基于计算机的开发平台，经过设计输入、仿 真、测试和校验，直到达到预期的结果。使用f p g a 器件可以大大缩短系统的研制周期，减少资金 投入。另外采用f p g a 器件可以将原来的电路板级产品集成芯片级产品，从而降低了功耗。提高了 可靠性，同时还可以很方便的对设计进行在线修改。 该文在介绍了视频格式转换中的主要算法后，重点对去隔行、帧频转换、分辨率变换的f p g a 综合实现方案进行了由简单到复杂的深入研究，分别给出了最简解决方案、基于非线性算法的解决 方案和基于运动补偿的解决方案。最简解决方案利用线性算法将去隔行，帧频转换，分辨率变换三 项处理同时实现，达到f p g a 内部资源和外部r a m 耗用量都为最小的要求，是后续复杂方案的基 础。其中去隔行采用场合并方式，帧频转换采用帧重复方式，分辨率变换采用均匀插值方式。基于 非线性算法的解决方案中加入了对静止区域的判断，静止区域的输出像素值直接选用相应位置的已 存输入数据，非静止区域的输出像素值通过对已存输入数据进行非线性运算得出。基于运动补偿的 解决方案在对静止区域进行判断和处理的基础上，对欲生成的变频后的场问插值帧进行运动估计， 根据运动矢量得出非静止区域的输出像素值。其中为求得输入场问相应时间位置上的插值帧输出数 据，该方案采用了自定义的前后向块匹配运动估计方式，通过对三步搜索算法的高效实现，将 s a d 值进行比较得出运动矢量。 关键词：去隔行，帧频转换，分辨率变换，运动估计，运动补偿，f p g a 东南丈学硕士学位论文 a b s t r a c t a m o n gt o d a y sb r o a d c a s t i n gs y s t e mm o s t l ya r ev i d e os i g n a l so f i n t e r l a c e ds a m p l i n g w i t ht h i ss c a n m a n n e rt h ev i d e ob a n d w i d t hc a nb eg r e a t l yr e d u c e d b u ti ta l s ob r i n g sp h e n o m e n o no f c r a w l i n g , b l i n k i n g , b l u ra n ds a w t o o t h t h e s ed e f e c t sa r es h o w no b v i o u s l yi ns c l v e n so f l a r g es i z e t oi m p r o v et h ev i s u a le f f e c t d e i n t e r l a c i n gt e c h n o l o g ye m e r g e sa st h et i m e sr e q u i r e a tt h es a m et i m e ，t h el o wf r a m er a t eo f t h ev i d e o s i g n a la l s ob r i n g sv i s u a ld e f e c t sl i k et i l ，g l i n g , c r a w l i n ga n db l i n k i n g t h ei n c r e a s i n go f s c a r m i n gr a t ew i l l m o v et h e s ed e f e c t si n t oo p t i c a l l yi n s e n s i t i v ea r e ao f h i g hf r e q u e n c y ，t h u sp r o d u c eb e t t e ri m a g eq u a l i t y s u b j e c t i v e l y m o r e o v e r , t os u i tf o rd i f f e r e n td i s p l a y sa n dt h ed e m a n df o ri m a g er e s i z i n g , r e s e a t i n gi sn e e d e d f o ro r i g i n a ts i g n a it oc h a n g et h el i n ea n dp i x e ln u m b e r t h e r e f o r e d e - i n t e r l a c i n g , f r a m er a t ec o n v e r s i o na n d r e s c a l i n ga l et h eb a s i cc o n t e n t so f v i d e of o r m a tt r a n s f o r m 1 1 e m e r g e n c eo f f p g ai st h er e s u l to f t h ed e v e l o p m e n to f v l s ia n de d a f p g ah a sh i g hi n t e g r a t i o n , s m a l lb u l ka n dc a nb ep r o g r a m m e db yr i s e r i te n a b l e sd e s i g n e rt ou s ec o m p u t e r p l a t f o r mt oa c h i e v eg o a l s b yi n p u t t i n g , s i m u l a t i n g , t e s t i n ga n dv e r i f y i n g b yu s i n gf p g a ，t h ed e v e l o p i n gp e r i o dw i l lb es h o r t e n e d a n dt h ei n v e s t m e n tw i l lb er e d u c e d a l s of p g ac a nc h a n g ep r o d u c to nb o a r di n t op r o d u c to nc h i p , t h u s l o w e rt h ep o w e rc o n s u m p t i o n ，i m p r o v et h er e l i a b i l i v ya n dt h ed e s i g nc a nb em o d i f i e do n l i n e a f t e rs o m em a i na l g o r i t h m sf o rv i d e of o r m a tc o n v e r s i o na r ei n t r o d u c e d , t h ep a p e rg o e s d e e pi n t ot h e d i s c u s s i o no f t h ef p g ad e s i g n i n gs c h e m eo f d e - i n t e r l a c i n g , f l a m er a t ec o n v e r s i o na n dr e s c a l i n ga n d c o r r e s p o n d i n g l yp r o v i d e st h em o s tc o m p a c ts o l u t i o n ，t h es o l u t i o nb a s e do nn o n l i n e a ra r i t h m e t i ca n dt h e s o l u t i o nb a s e do nm o t i o nc o m p e n s a t i o n t h em o s tc o m p a c ts o l u t i o np e r f o r m sd e - i n t e r l a c i n g , f r a m er a t e c o n v e r s i o na n dr e s e a l i n gs i m u l t a n e o u s l yw j t 量lt h el e a s tc o n s u m p t i o no f f p g ar a s o u r c e sa n do u t e rr a m a n di st h eb a s eo f l a t e rs o l u t i o n sw i t c ha r em o r ec o m p l e x i nt h es c h e m e , d e - i n t e r l a c i n gu s e sam e t h o do f f i e l dc o m b i n i n gw h i l ef r a m er a t ec o n v e r s i o na d o p t st h ew a yo f f r a m er e p e a t i n ga n df o rr e s c a l i n g , b ym e a n s o f e v e n i n t e r p o l a t i o n t h e s o l u t i o n b a s e d o n n o n l i n e a r a r i t h m e t i c a d d s t h e j u d g m e n t o f s t a t i ca r e a , u s i n g s t o r e dd a t af o rs t a t i ca r e aa n dt h en o n - l i n e a rr e s u l to f s t o r e dd a t af o rm o t i o n a la r e a t h es o l u t i o nb a s e do n m o t i o nc o m p e n s a t i o nd o e sm o t i o ne s t i m a t i o nf o ri n t e r p o l a t o r yf r a m eb e s i d e st h e j u d g m e n to f s t a t i ca l g a a n df i g u r e so a td a t ao f m o t i o n a la r e aw i t hm o t i o nv e c t o r t h es c h e m eu s e su s e r - d e f i n e dm o t i o ne s t i m a t i o n m e t h o do f f o r m e re n dl a t e rb l o c km a t c h i n g ，f i n d i n gm o t i o nv e c t o rb yc o m p a r i n gs a dv a l u ew i t hf i n e r e a l i z a t i o no f t s s a k e yw o r d a ：d e - i n t e r l a c i n g , f l a m er a t ec o n v e r s i o n , r e s c a l i n g , m o t i o ne s t i m a t i o n , m o t i o nc o m p e n s a t i o n ， f p g a 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经 发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而 使用过的材料与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确 的说明并表示了谢意。 研究生签名：誊i 兰垫2 一日期：2 号2 坐 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文 的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档 的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借 阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东 南大学研究生院办理。 研究生签名；逸i 堂导师签名： d 样哺掣 第一章概述 第一章概述 1 1 隔行扫描缺陷和去隔行的意义 在当今的广播系统中，绝人部分的视频信号是隔行采样的。采用这种扫描格式，能够大幅度地 减少视频的带宽，但同时图像的主观质鼙又不会f 降太多。这是因为，它巧妙地利用了人眼的一个 视觉特性，即：人的视觉系统对图像的小面积闪烁没有对大面积闪烁感觉敏锐。因此，对f 两个具 有完全相同带宽的视频信号3 0 h z 逐行与6 0 h z 隔行，人们会明显觉得后者看起来更舒服。 电视j l + 播系统中所采用的隔行显示技术给电视广播系统带来了很多的便利。但是同样也给电视 系统带来了很多的缺陷，概括起来主要有： 爬行：爬行是一种隔行产生的虚像，它出现在没有运动和较少细节的图像中，这和大面积闪烁 有点像。当人离显示器比较近的时候，这种现象更明显。因为每条扫描线每帧只更新一次，且单行 的亮度衰减较快。人眼有时会盯牢一组扫描线。在每一新场到来时，新的扫描线会出现在旧的扫描 线之间，人眼很容易会跳到新的一行上。看起来好像这一组扫描线向上或向下移动了一行到了一个 新的位置。连续的整体效果就是一组扫描线很快的向上或向下移动，引起了爬行。人眼一旦盯住了 这种爬行的图案，他所看到图像质量就会受到损失。当人离显示器远些时，这种现象会有所缓解， 因为人眼对扫描线有个平均的作用。 行间闪烁：在英国，有些研究人员将这个称为“颤抖”，指的是屏幕上的物体的水平边缘所造 成的闪烁效果，主要和细节和水平边沿有关。一个水平边沿就是图像里一条沿着水平方向的边，比 如说一扇门的顶部。产生水平边沿闪烁效果的原冈是摄像机的分解力过高。因为隔行电视的特性， 一个精细的水平边沿只能在一场中出现，而在另一场中就消失了。这样，这个精细的水平边沿就相 当于以帧频进行显示。例如，奇数场的第3 l 行是亮的，而紧邻的偶数场的第3 2 行是黑的，则表现 为图像中某个物体的边缘第3 l 行就以3 0 h z 或2 5 h z 的速率在屏幕上闪烁。如果图像里有小的运动 的话，边沿会明显的沿着垂直运动的方向闪烁。类似于百叶窗的图像对隔行电视说来是最头疼的。 而观众对这些能够觉察到的闪烁会及其厌恶。 大面积闪烁：大面积闪烁出现在屏幕的大块区域，比较典型的就是在静止的、细节比较少、亮 度比较高的时候出现。大面积闪烁不是因为隔行的原因，主要是由于低的帧频。人在6 0 h z 扫描的 逐行图像也同样可以看到大面积闪烁。如果电视图像只是以5 0 或6 0 h z 的频率更新，人的眼睛是可 以感受到这种闪烁的。 垂直混叠：垂直混叠也与显示屏单行的亮度衰减较快有关，它是对一场只有一半有效行数垂直 细节的图像取样的结果，所产生的网纹图案应该和f 一场产生的同类图案互补，但人眼和屏幕的组 合并朱使两场完全合成整体，其结果是在屏幕上的乖直细节产生混乱。 锯齿效应：锯齿效应是隔行电视的另一个普遍现象。这种现象是在静止或运动物体的对角斜边 会出现锯齿的形状，当垂直方向相邻的图像像素在前后两场以不同时间出现时就会发生这种畸变。 隔行图像的边沿每场只有一半的行数进行更新，这样就导致损失了边沿的细节，一行上的某个像素 会比它在前一场中垂直相邻的像素的时间晚。对静止或运动较少的图像，较低的垂直分辨率会引起 台阶效应。但如果物体是快速运动的，上面所说的延迟会使得本来相邻的像素发生位移，第二场的 这个像素会在第一场垂直相邻像素的右边出现，这时候图像就会显示一连串的阶梯锯盏，使图像的 轮廓不够清楚。就是因为这个原因，隔行电视里曲棍球棒看起来会像个拉链。 我国的电视机普及率很高，尽管数字梳状滤波器、亮度和色度动态增强电路等数字新技术的出 现，在一定程度上提高了电视机的图像质量和性能，但是图像的彩色爬行、画面闪烁和图像快速运 动时产生的边缘模糊及锯齿现象并未从根本上得到改善。这些缺陷的罪魁祸首是模拟电视体制的隔 行扫描方式。现行三大主要模拟彩色电视系统p a l ，n t s c 和s e c a m 均采_ i j 这种扫描方式，这种 缺陷经大尺寸屏幕放大后就更加明显。为改变画面的视觉效果，去隔行技术( d e - i n t e r l a c i n g ) 应运 而生。 虽然高清晰度电视【1 1 的性能正在不断提高，普及速度正在加快，但是模拟电视并不会马上消 失，它在一定时期内仍将在市场上占有一席之地。未来若干年内将是由模拟电视向数字电视转换的 过渡期。由于我国各地区经济发展水平不一致，在经济相对落后的地区这个过渡期可能还会比较 长。在这个转型时期，由于需要覆盖所有标准，隔行，逐行转换功能对电视产品来说是很重要的功 能，模拟电视的隔行扫描到逐行扫描的转换即去隔行是当前视频后处理等电视产品的重要组成部 分。因此去隔行技术的研究有着广阔的前景。 东南大学硕士学位论文 1 2 帧频转换的意义 场( 帧) 频是视频格式定义的一个重要方面，一般来说不同的视频格式对应着不同的场( 帧) 频。当今社会随着个人娱乐和 业应j ；i 需求的发展，“播电视业和视频技术领域发生了翻天覆地的 变化，从模拟信号的n t s c ，p a l ，s e c a m 到现在全新的全数字电视。先进电视制式和多媒体信息 系统的发展导致了图像源码流和显示格式数量的极大增长，相应的就产生了各种各样的视频格式， 这些视频格式本身是不能兼容的，因此要保持不同节目源之间的交换通信，就需要有效灵活的算法 对这些图像格式在不同标准之间转换。当前国际上流行的几种电视制式有：n t s c 每秒3 0 帧( 6 0 场) 每帧5 2 5 行，p a l 和s e c a m 每秒2 5 帧( 5 0 场) 每帧6 2 5 行，他们的扫描频率各不相同，可 以看到在这几种标准下进行节目交换必须进行帧频转化。 对于中国大陆和大部分欧洲国家使用的场频为5 0 的p a l 制式( 这同时也是未来数字电视的传 输标准) ，在高亮度大屏幕显示时会存在许多影响主观观赏效果的问题：比如爬行，行抖动( 行间 闪烁) 以及大面积闪烁这些都是其格式本身带来的痛疾。不难看出，这些缺陷在描述隔行扫描系 统中都已经提到： 爬行时由于单行的亮度衰减较快，较少细节区域处的扫描线会像是在移动提高帧频后亮度 衰减的影响将减小，较少细节区域会看上去呈静止状态。 行抖动时精细的水平边沿每隔一场显示，表现出以帧频进行闪烁提高4 贞频后精细水平边沿 会像是持续显示，抖动将难以察觉。 大面积闪烁也直接是由低帧频导致提高帧频后大面积区域的亮度会变得稳定，闪烁将不明 显 可以看到，这些缺陷虽然存在于隔行系统中，却也是由低帧频引起的。增加帧扫描频率会把这 些视觉缺陷搬移到人眼不敏感的高频区域上去从而产生较好的主观图象质量。例如将隔行图象变换 到逐行图像( 即使帧频加倍) 可以显著减少抖动和爬行。而在视频格式扫描变换中，除了隔行到逐 行的变换达到提高帧频的作用外，还有其他两种方法来解决上述问题：第一种，就是在去隔行以后 再进行帧频提升，即把去隔行以后的5 0 1 - iz 帧频进行提升变换，目前主要有两种变换，分别为 5 0 h z 到7 5 h z 的1 5 倍变换( 通常情况下监视器的工作帧频大约在7 5 赫兹左右) ，和5 0 h z 到6 0 h z 的1 2 倍变换；第二种方法是5 0 h z 隔行到1 0 0 1 - l z 隔行的扫描变换，目前在许多高档电视机中已经 得的应用。 1 3 分辨率变换的意义 如果输入图像和需要显示的输出图像的每行像素数或者每帧行数不同，或为了产生画中画 ( p i p ) 、多画面模式( m p m ) 、拉伸( z o o m i n g ) 等视频特效时，就必须采用分辨率变换技术。将图像放 大显示还能够增加观众的临场感。 另外随着h d t v 。s d t v 等各种高端数字电视以及多媒体系统的迅速发展，伴随而来了终端视 频显示器的多样化，出现了液晶显示器l c d ，等离子显示器p d p 等品种繁多的显示终端。 分辨率变换便是为了适应不同显示终端对图像大小变化的要求而进行的一类最基本的图像处 理。将单一的电视信号显示分辨率灵活地转换成其它格式的分辨率( 如8 0 0 6 0 0 ，1 0 2 4 x 7 6 8 等) ，可使其在具有相应晟佳分辨率的显示终端全幅输出。在多种平板显示器中，等离子体显示器 ( p l a s m ad i s p l a yp a n e l ，简称p d p ) 作为大屏幕、高清晰度壁挂电视的主流产品，正以前所未有的 速度发展着。越来越多的人把眼光投向了p d p 这一超大规模集成电路与尖端工艺技术相结合的新 型显示器件。 液晶显示器也存在一个最佳分辨率，因为液晶显示器采用数字显示方式，直接把显卡输出的模 拟信号处理为带具体地址信息的显示信号，每个像素的亮度和色度信息和屏幕上相麻的像素点对 应，所以液晶显示器只有在显示与该液晶显示板的分辨率完全一样的画面时才能达到最佳效果。假 如液晶显示器工作在低分辨率f ，如8 0 0 6 0 0 时，如果显示器仍然采用像素一一对应的显示方式 的话，那就只能把画面缩小居中利用屏幕中心的那8 0 0x6 0 0 个像素来显示，虽然画面仍然清晰， 但是显示区域太小，以o 2 9 7 m m 点距的1 5 英寸液晶显示器为例：在1 0 2 4 7 6 8 分辨率下的显示区 域为最大即3 0 4 2 2 8 m m ，但在8 0 0 x6 0 0 分辨率下如果以缩小居中方式显示，则显示区域仅有2 3 7 1 7 8 m m 。显然，这种牺牲显示面积来换取显示质量的显示方式对于价格昂贵的液晶显示板是一种 极大的浪费。要在低分辨率下充分利用显示面积，只有对显示信号通过运算处理后，把8 0 0 6 0 0 的画面放大成1 0 2 4x7 6 8 的画面，再输出到液晶板上全屏显示。在这个复杂的处理过程中，需要对 显示画面的内容做出改动，生成新的像素插入到显示画面中。这种改变显示内容的方式必然导致画 面的失真，最明显的就是文字笔画的边缘模糊迹象。因此，为了有效降低这种因为分辨率不足而导 致的视频信号失真问题，就必然涉及到分辨率的格式转换问题。近些年来，作为视频显示格式转换 2 第一章概述 算法的一个重要方向视频序列的分辨率格式转换算法研究越来越引起人们的重视。同时传统模 拟电视信号必须转换为数字电视支持的数字信号格式才能在数字电视上显示，也需要优良的图像插 值技术将低分辨率的i 型像经过插值滤波后转为高分辨率幽像 1 4f p g a 实现 去隔行、帧频转换、分辨率变换成为视频格式转换 2 1 1 3 1 的基本内容。视频格式转换算法的性能 和复杂度取决于戍用场合的性质：消费电子产品要求这种格式转换算法必须容易实现因而也就具有 价格优势从而能够批量生产占领低端消费市场：电视台等专业团体需要高端算法以达到高质量的图 像质量满足高端需要而这个时候算法实现复杂度就不再是决定冈素了。 因为该算法对系统实时性要求较高，一般的d s p 处理器无法满足需要，因此选用f p g a l 4 1 器件 来实现算法。 f p g a ( f i e l d p r o g r a m m a b l e g a t e a r r a y 现场可编程门阵列) 的出现是v l s i ( 超大规模集成电 路) 技术和e d a ( e l e c t r o n i cd e s i g na u t o m a t i o n 电子设计自动化) 技术发展的结果。f p g a 器件集 成度高、逻辑功能强、灵活性大、体积小，具有通过用户编程实现专门应用的功能。它允许电路设 计者利用基于计算机的开发平台，经过设计输入、仿真、测试和校验，直到达到预期的结果。使用 f p g a 器件可以大大缩短系统的研制周期，减少资金投入。更吸引人的是，采用f p g a 器件可以将 原来的电路板级产品集成芯片级产品，从而降低了功耗，提高了可靠性，同时还可以很方便的对设 计进行在线修改。 随着f p g a 技术的发展，满足专用需求的底层硬件资源越来越丰富。与r a l v l 等存储单元相关 的资源有三类：查找表( l o o k - u pt a b l el u t ) 、触发器( f l i p - f l o pf f ) 和e a b ，这三种资源都可 以被综合实现为r a m 等存储单元。 无论哪家生产商的f p g a ，其底层可编程逻辑单元无一例外的都是基于触发器和查找表结构 的。这两种基本可编程资源都可以综合并实现为r a m 等存储单元。 数据少，速度高的存储结构可以用寄存器资源实现；数据相对大一些，时序余量宽松的存储单 元可以用l u t 实现。 e a b 的概念源于门阵列的嵌入式功能，目的是为使复杂的功能在尽可能小的硅片上得以实 现，需将定制的硅片放在门阵列基片上。e a b 即f p g a 中内嵌的存储单元，是在输入输出口上带 有寄存器的存储块，它可以通过配置和粘合逻辑( g l u el o g i c ) 非常方便的实现一些规模不太大的 f i f o 、r o m 、r a m 和双端口r a m 等功能；还能够用来实现乘法器、矢鼍定标器和错误校上e 电路 等的功能；除此之外，还可以应用于算术逻辑单元、数字滤波器、微控制器和微处理器等。 为了满足s o p c 及其它复杂应用，高端f p g a 中的内嵌e a b 的容量与可配置的端口数量越来 越多。目前某些高端器件的e a b 的容量超过1 0 m b i t 。由于e a b 资源是f p g a 内嵌的一种独立资 源，所以在生产r a m 、r o m 、c a m 等存储单元时，戍尽量首先使用e a b ，其原因有二：第一， 使用e a b 资源，可以节约更多的f f 和l u t 等底层可编程单元。使用e a b 是晟丈程度发挥所选器 件效能，节约成本的一种体现；第二，e a b 是一种可以配置的硬件结构。其可靠性和速度与用 l u t 和f f 构建的存储器相比更有优势。 所以将f p g a 应用于视频信号处理时，可以充分发挥其逻辑功能强、执行速度快的优势，较为 理想的实现各种算法，为视频格式转换提供解决方案。其可在线修改的特点也方便了后期对程序的 优化以及应用场合变更时对方案的调整。 3 东南丈学硕上学位论文 第二章视频格式转换算法综述 为了解决去隔行等问题，人们已经研究了很多算法并将其麻用于实际产品中。其中最简单的是 线性方法，直到上世纪7 0 年代末，这一直是应用于电视产品的酱遍方法。从8 0 年代早期开始，有 些学者提出了比线性方法性能更好的非线性方法。接着，针对场景中运动物体的运动补偿的算法被 提出来了，这种算法要做到实时性需要占用大每高速硬件资源，因此当时被认为对于消费类电子来 说过于昂贵。随着超大规模集成电路的发展和数字系统设计手段的提高，在9 0 年代早期出现了基 于运动补偿的面向消费类电子的芯片，这是个重大的突破。 2 1 去隔行算法综述 去隔行处理的基本原理是根据图像序列在时间和空间的相关性，产生出空缺位置处的像素点。 通过这种处理，可以最大限度的恢复出逐行扫描图像，改善电视画面的质量；同时也生成了点阵显 示设备可以接受的逐行格式。 去隔行的任务就是将隔行扫描的输入场( 包括奇场和偶场) 转换成帧。这些帧表示与输入相同 的图像，但包括所有行的采样。一般的定义输出帧f o n ) 为 一岱鸡y m o d 2 - - n m o d 2 f o ( x , n ) ；一 t - f i ( x , n )其它( 2 1 1 ) 其中】，一x y ) 为二维空间的位置坐标，n 为场序号，f ( x n ) 为输入场的像素点灰度值，f i n ) 为 插补场的像素点灰度值。 去隔行算法主要分为非运动补偿( n o n - m o t i o nc o m p e n s a t i o n ) 和运动补偿( m o t i o nc o m p e n s a t i o n ) 两大类1 5 i i ”非运动补偿算法是早期比较简单，且硬件实现比较容易的算法，主要包括线性和非线性 两种算法。运动补偿类算法是目前晟先进的去隔行算法，与非运动补偿算法相比，运动补偿算法极 大的提高了去隔行运算的准确度，但同时由于加大了硬件实现的难度，这种算法一直停留在理论研 究阶段，直到九十年代中期随着v l s i 技术的发展和算法的改进，面向普通消费类市场的单芯片运 动估计器的出现，运动补偿类的格式转换算法才开始成为研究的热点。 下面将分别对非运动补偿算法和运动补偿算法以及运动估计算法做简要介绍。 2 1 1 非运动补偿的去隔行算法 基于非运动补偿的去隔行算法分为两种：线性类算法和非线性类算法。这两种算法中都包括空 间( 场内) 、时间( 场间) 和时空算法。 2 1 1 1线性滤波去隔行 线性滤波算法具有简单易实现的优点，目前仍在一些低端视频格式转换领域内被广泛应用。其 基本思想是：各场中需要补齐的像素点等于它的若干相邻点的加权和。用公式表达为： f ( 墨n )( y m o d2 = n m o d2 ) 厂一 f o ( 墨n 产1 f ( x + k u y , n + m ) h ( k , m ) ( o t h e r w i s e ) ( 2 1 2 ) o7 化m e 一l ，o i ，( n ) m o d2 = 1 ) 其中，x = ( x ，y ) 为像素位置，蜥= ( 0 ，a y ) 为垂直方向上的单位向量，h ( k ，m ) 为加权系数。从上式 可以看到，线性滤波的相邻点包括两类，即同一场上的相邻像素( 空间相邻点) 以及相邻场上的像 素( 时间相邻点) 。对于相邻点的分类就引出了三种不同的滤波器类型：空阃滤波( s p m i a l f i l t e r i n g ) ，时间滤波( t e m p o r a lf i l t e r i n g ) ，以及时一空滤波( s p a t i a l t e m p o r a lf i l t e d n g ) 。 ( 1 ) 空同滤波( s p a t i a lf i l t e r i n g ) 所谓空间滤波，就是在求取未知点的时候只使用同一场内相邻点的信息。最简单的空间滤波就 是扫描线重复( l i n er e p e t i t i o n ) ，即一场中未知的像素点直接取它上面相邻点的值。如果用公式 ( 2 1 2 ) 的形式来表示的话，那就是取h ( 1 ，o 户l ，而其他所有的h ( k ，m ) 都为0 。一种稍微复杂一点的形 式为线平均( l i n e a v e r a g i n g ) ，即未知的像素点等于其上下两个相邻已知的点的值的平均。即：h ( - l 0 产h ( 1 ，0 户0 5 ，而其他所有的h ( k m ) 都为0 。 上述两个空间滤波有一个共同的特点，即它们在时间频率方向上是全通的，这说明使用空间滤 波器不会造成视频运动信息上的损失。但是，由于其频谱在垂直方向上的低通形状，使得视频信号 在垂直方向上的一些高频分量被抑制，从而降低了图像在垂直方向上的清晰度。 ( 2 ) 时间滤波( t e m p o r a lf i l t e r i n g ) 4 第二章视频格式转换算法综述 与空间滤波正好相反，时间滤波就是利用了待插值点在时间轴上的相关性，使用所有相邻场内 的点来求取当前场的未知像素。最简单的时间滤波就是场重复( f i e l dr e p e t i t i o n ) ，即一场中未知 的像素点用上一场对应的已知像素值来代替。如果坩公式2 1 2 来表示的话，我们取h i 0 ，1 p l ，而 其他所有的h ( l m ) 都为o 艮显然如果视频中没有运动的话，这一滤波器就是最优滤波器。 时间滤波器在垂直方向上是全通的，因此不会造成图像垂直清晰度上的损失，但其在时间频率 上的频谱的衰降，会造成视频运动信息的损失。 ( 3 ) 时空滤波( s p a t i a l - t e m p o r a lf i l t e r i n g ) 所谓时空滤波，就是在计算像素点的值的时候综合考虑空问邻点与时间邻点，它结合了上述两 种滤波算法的特性，利用时间空问三维邻域内的信号相关性来重构待插信号。从理论上说，如果视 频信号满足采样定理，即其频谱没有混叠的话，那么使用时空滤波器就能完美地从隔行信号恢复出 逐行信号。由于具有较好的处理品质，此类滤波算法在早期的去隔行芯片中得到广泛运用，个常 用的时空滤波器的系数为： r 1 , g ，8 ，l ( k = - 3 ，- l ，l ，3 ) a ( m o ) 1 8 h c k , m ) = _ - 5 ，1 0 - 5 ( k - - - 2 ，0 2 ) a ( m = 0 ) 1 0 ( o t h e r w i s e )( 2 1 3 ) 线性类格式变换算法利用了视频信号在时间空间频域内带限这一基本假设，算法结构简洁， 规则易于芯片实现，处理品质比较稳定。但线性滤波器也存在诸多缺陷，如通带和止带的频率很难 选择和所设计的低通滤波器不够理想等。 2 1 1 2非线性算法 线性空间滤波类算法会引入图像混叠，而线性时间滤波对于运动场景会引入运动模糊。随着对 多种算法的特性和由此引起的图像退化现象的深入理解，人们开始考虑设计能够根据场景内容在不 同算法和不同系数间进行自动调整的算法，以综合不同算法的优势。这样在上世纪8 0 年代后期和 9 0 年代早期出现了很多非线性类的自适应变换算法。 ( 1 ) 运动自适应算法( m o t i o n - a d a p t i v ea l g o r i t h m s ) 在没有运动的情况下，时间滤波器的性能最好。而在有运动，但没有过多的垂直细节的情况 下，空间滤波的效果最好，很自然地，我们想到能否将前面已有算法结合起来。根据情况，有选择 地使用时间滤波或空间滤波。 运动自适应算法就是根据上述思想发展起来的。运动自适应算法需要一个检测图像中是否存在 运动的模块，称为运动检测模块( m o t i o nd e t e c t o r ) ，根据运动检测模块的输出来调整相应的内插策 略。为了保证运动检测的有效性，必须假定运动检测算法所必需满足的条件：( i ) 相对信号来 说，噪声必须足够小； ( 2 ) 信号中的低频部分的能量必须大于噪声与频率混叠部分；( 3 ) 视频 中的物体大小必须大于像素点的大小。 运动检测的算法有许多，详细的情况可以参考文献【7 】【8 】【9 】。当检测出运动的可能性很大时， 结果将会倾向于采用运动最优滤波器。反之则会倾向于静止最优滤波器，从而达到了自适应的目 的。 待插值点公式可表示为： f 。( x n ，w f s ( xn ) 4 - ( 1 - a ) f 0 。n )( 2 1 4 ) 其中f 5 ( xn ) 为静止图像部分；f m 誓n ) 为运动图像部分；q 为加权系数，由运动检测模块输出 的运动等级设定。 ( 2 ) 边缘自适应算法( e d g e - a d a p t i v ea l g o r i t h m s ) 边缘自适应算法的基本思想是：当视频中存在运动，而必须采用帧内内插算法时，我们就尽量 选择一条边，使沿着这条边方向上的内插失真晟少。 图2 1 1 是这种算法的示意图。图中，x 位置代表需要计算的像素，而a ，b ，c ，d ，e ， f ，g ，h 等则是己知的像素。 5 东南大学硕士学位论文 r l i 1 图2 1 1 边缘自适应内插算法示意图 边缘自适应算法中，像素x 的值定义为： 广x “i a - f i c - d i ) a ( i a - f l q b e i ) ) x ；1x b( ( i a f i i c - d i ) a ( i a - f l | b - e i ) ) lx c ( o t h e r w i s e ) ( 2 1 5 ) 其中，x ，x b ，x c 被分别定义为： x 气a + 日，2 ，x b = ( b + e ) 彪，x c = ( c + d ) 2( 2 1 6 ) 而a ，b ，c 。d ，e ，f 则是图中相应位置处像素的值。 与线性滤波类算法相比，边界自适应滤波器在保留边界信息的同时减少了运算量( - - 维滤波降 为一维滤波) ，是性价比很高的一类格式变换算法。但作为一种场内算法，场频变换和隔行信源的 混叠效应仍无法解决。 在所有的菲线性算法中，中值滤波算法因其实现简单而成为最受欢迎的一种算法。它隐含了对 边界或运动的自适应，种简单的三点中值滤波算法如下： 广f ( 墨n ) ，o m o d2 - - nm o d2 ) f o ( x , n 户 o m e d ( f ( x - h y , r 1 ) ，f ( x 十 n ) ，f ( x , n - i d ，( o t h e r w i s e ) ( 2 1 7 ) 其中，中值函数m e d ( a ，b ，c ) 定义为： r a ， ( b a c ) v ( c a b ) m e d ( a ，b ，c 产1b ，( a b ) v ( c 1 ) ( 2 - l - 1 6 ) la ( o t h e r w i s e ) 则k i 可以定义如下； k 1 = c l i p ( o ，1 ，d 矽) ( 2 - l 一1 7 ) 假设可以调整k 2 使得对于垂直相邻的像素来说沿运动轨迹的差别是一样的。这个假设可以推 出以下结论： lf , , ( x , n ) - f o ( x - d , n - 1 ) j = if o ( x - u y , n ) - f 。( x - u f d , n - 1 ) j( 2 - i 1 8 ) 因此定义： k 2 ( x , n 产堂堂等糟糕嵩器篙型( 2 - i - 1 9 ) 其中6 是为了防止分母为0 。公式2 - 1 1 8 的假设可以推出对插值行像素的时间递归滤波的自适 应调整。当k ，固定为l 时即对原来的像素行不进行滤波。关于算法的详细情况请参看文献d 3 。 2 1 3 运动估计 运动估计是运动补偿算法的基础，要用运动补偿滤波来进行视频格式转换，必须要进行运动估 计从而得到格式转换所需要的运动矢量。 运动估计的方法很多，但是我们必须看到格式转换中对运动估计的要求和视频压缩中是不一样 的1 1 4 j ：在视频编码领域，运动矢量是为了减小预测误差( 而这个误差还通过信道传送) ，运动估计 的真实性( 与真实运动场相比) 要求并不高，而运动场的熵却是一个重要的指标，它将决定运动矢 量最终编码的比特数，估算的误差由误差帧得以补偿；在格式转换领域，要求：( 1 ) 由于内插是在沿 着运动轨迹的方向上进行，所以得到的运动矢量必须准确，即能够反映物体的真实运动。这是一 个非常关键的要求：使用不能反应物体真实运动的矢量会导致物体位置的偏移，反映到最后效果上 就会出