（微电子学与固体电子学专业论文）基于leon3的视频后处理算法研究.pdf

学科名称：微电子学与固体电子学 研究生：权晶 指导教师：高勇教授 摘要 签名：丝 签名：扭 视频后处理就是利用合理的算法对输入的视频信号进行包括去隔行、帧率提升、画质 增强以及其他一些特效功能处理。视频后处理算法对加速视频后处理芯片开发，提高电视 技术水平有着重要的现实意义。 本文基于l e o n 3 的s o c 平台完成视频后处理中去隔行、帧率提升、分辨率转换以及 画质增强的设计。在详细介绍了现有视频去隔行、帧率提升、画质增强和分辨率变换算法 的原理和各自优缺点的基础上，综合考虑硬件资源的可实现性，给出合理的算法流程。首 先选用时空结合的方法对输入视频信号进行去隔行处理，采用m a t l a b 对算法进行软件验 证，使用v e r i l o g 语言完成算法的r t l 级设计：其次对运动补偿帧率提升算法进行了理论分 析和m a t l a b 软件验证，设计了一套完整的自适应运动补偿帧率提升算法硬件实现方案，使 用v e r i l o g 语言完成了r t l 级设计及仿真，证明方案的可行性与合理性。然后采用相同的方 式选取双线性差值算法和基于s o b e l 算子的边缘增强算法实现分辨率转换和画质增强处 理；最后本文将所采取的帧率提升、分辨率提升、画质增强算法整合联调，进行i 汀l 级设 计和仿真，设计具有以上功能的视频后处理算法i p 核，便于移植到整个系统中。 论文主要贡献在于对传统算法进行了分析，制定了一套完整的视频后处理算法的r t l 硬件方案。实验结果表明，去隔行模块、帧率提升模块和分辨率变换模块完成对输入视频 去隔行、帧率以及分辨率变换有显著改善，相比以往算法在垂直清晰度和边缘模糊方面都 有所提高。画质增强模块使输入视频的边缘得到有效保护。 关键词：数字电视，视频后处理算法，去隔行，帧率提升，分辨率，画质增强 西安理工大学硕士学位论文 l i a b s t r a c t t i t l e ：v i d e op o s t p r o c e s s i n ga l g o r i t h mr e s e a r c hb a s e do nl e o n 3 m a j o r ： m i c r o e l e c t r o n i c sa n ds o d s t a t ee i e c t r o n i c s n a m e ：j i n gq u a n s u p e r v i s o r ：p r o f y 6 n gg a o ab s t r a c t s i g n a t u 陀：旦翌堡掣 s - g n a t m ：蚴 r e s e a r c h i n go nt h ev i d e op o s t - p r o c e s s i n ga l g o r i t l l i i lp l a y s 锄i m p o r t a n tr o l ei i ld e s i 印i n g t l l ep o s t - p r o c e s sc l l i p v i d e op o s t - p r o c e s s i n g sm a i n 、o r ki st 0c a j c u l a t ea 1 1 dr e c o n s 仇l c tp i x e l s 诵t l ls o m er e a s o n a b l ea l g o r i t h m s ，s u c h 嬲d e - i m e r l a c i n g ，f h m er a t ec o i e r s i o n ，v i d e oq u a l i t ) r e l l h 锄c e m e n t ，r e s o l u t i o nc o n v e r s i o n ，a i l ds o m eo t h e rs p e c i a je f r e c t s 如n c t i o n s ，i no r d e rt 0g e t ： i d e a lv i d e os i g i l a l h lt h i sp 印e r ，t l l ed e - i n t e d a c i n g ，舭f h m er a t ec o i l v e r s i o n ，m er e s o l u t i o nc o n v e r s i o n 觚d t l l ev i d e oq u a l 时e i l l l 锄c e m e n tm o d u l ea r ed e s i 印e d b 嬲e do nl e o n 3 ss o cp l a t f o 肌a r e ra d e t a i l e d l yt h e o r e t i c a la n a l y s i s 锄di 仰- 0 d u c t i o no ft h ep r e s e n ta l g o r i 咖n s ，c o n s i d e r i n gm e s y s t e m sl l a r d w a r er e s o u r c e sa n dm er e a j i z a b i l i t ) r ，ap r o p o s ea l g o r i t h m f o rt 1 1 e s y s t e mi s d e s i 朗e d a t f i r s tam o d i f i e de d g ed e p e n d e n td e - i n t e f l a c i n ga l g o r i t i l mt h a tc o m b i n e st h e t i m e d o m a i nf i l t e r i n ga 1 1 ds p a t i a lf i l t e r i n gi si n t r o d u c e di nt h ep 印e r ，t h e nt 1 1 em cf - r 锄er a t e c o n v e r s i o na 1 9 0 r i t h mi sd e s i g n e da n di m p l e m e n t e di nr t lh 缸l w a r el e v e l 谢t h 龇v e r i l o g 1 a i l g u a g e ， i ti sp r o v e d 舔觚e 虢c t j h ，ee d g ed e p e r l d e n ta l g o r i t l l 】 n m e a l l w r h i l e ，t l l er e s o l u t i o n c o n v e r s i o na l g o r i t i sd e s i 印e db a s e do nd o u b l el i n e a rd i 仃e r e n c e 锄dm ev i d e oq u a l 时 e i l l l a l l c e m e n tm o d u l eb a s e do ns o b e i 撕t l l m e t i ci r i l p l e m e n t e di i lr t lh a 帕w a r el e v e l 晰t t lm e v e r i l o gl 锄g u 盟g ea 缸rf i l l i s h i n gt l l es 锄e 、0 r k 嬲 p r e v i o u s f i n a l l y ，i n t e 伊a t e dt 1 1 ep r e v i o u s a 1 9 0 r i 恤n sd e s i 龃e d l ev i d e op o s t - p r o c e s s i n gs y s t e m 7 n l em a i nc o r 面b u t i o no ft h j sp a p e ri sm e 锄a l y s i so ft h et r a d i t i o 砌甜g o r i t l l m ，d e s i g i lo ft l l e s c h e m ef o rt l l eh a r d 、硼r ei m p l e m e n t a t i o na l g o r i t h m t h er e s u l t ss h o wb o 吐lt h ea l g o r i m m sc a n i m p r o v et l l ev e n i c a lr e s o l u t i o np r o p e r l ya n de 邶u r et h es h a 印n e s so f e d g e k 呵w o r d s ：d i g i t a lt v ；f p g a ；v i d ep o s t - p r o c e s s i n g 舢g o r i t h m ；d e - i n t e r l a c i n g ；f 姗e 西安理工大学硕士学位论文 m t ec o n v e 琏i o n ：r e s o l u t i o nc o n 、，e r s i o n ；i m a g eq u a l i t ) re 1 1 】：1 a 1 1 c e m e n t i i 前言 1 前言 随着高端电视机和数字电视处理技术的发展，数字电视受到越来越广泛的重视，视 频后处理作为数字接收端技术的一部分，因其开发的灵活性和使用的广泛性成为世界各国 数字电视技术研究的主流方向。相对于传统模拟电视，数字电视可以提供更合适的画面结 构，更优质的电视图像，更高品质的音效，以及更多样化的数据服务和特效功能。先进信 息通信技术和互联网的发展，使得电视广播等传统媒体全部进入了数字化的新时期。将当 前先进的信息通信技术充分利用到传统的电视平面媒体中，使得一个更先进，更有发展潜 力，更新型，更庞大，更有价值，更受关注的产业诞生数字电视产业。目前世界上几 乎每个国家都以他们自身的国情为基准，制定了适合各自国家的从模拟电视转成数字电视 的具体实施计划与方案。作为目前被广泛公认的最要发展前景的产业数字电视技术已然成 为全球各个国家大力发展科技技术的主流方向，成为人们谈论最多的话题之一。 1 1 课题背景和意义 现阶段是数字化、网络化和信息化的时代，我们熟知的电视领域也在科学技术发展 的同时发生着前所未有的技术突进。电视传媒的数字化和网络化越来越深刻体现并渗透到 我们的日常生活中。数字电视集数字信号处理、数字图象处理等众多先进前沿技术于一身， 昭示着未来电视机的发展方向，是当前电视系统的主流。 自电视机技术发展以来，从最早的黑自电视机到彩色电视机、从模拟电视机到数字。 电视机、目前的标清电视机( d t v ) 到高清电视( h d t v ) ，整个电视机的发展历程反映 了现代电子科学技术在数字信息处理以及多媒体技术方面的发展与日俱进。数字高清电视 相比传统模拟电视拥有清晰的画面和音质，给人们的视听生活带来更高的享受，当然长远 的发展相关电视厂商在研究3 d 数字电视，3 d 数字电视则带给人们立体的感受，更加贴近 于生活，使人身临其境。 1 1 1 数字电视背景 数字电视( d t v ：d i g i t a lt e l e v i s i o n ) ，指电视信号从拍摄、编辑、制作、发射等的全 过程都是使用数字信号或所有的数字流信号都是由o 、l 所组成的数字串随机结合组成的 2 1 。具体的过程是3 1 ：图像信号和声音信号，首先经过数字压缩调制后，然后再经过有 线电缆等多种方式传送，随后由确定的数字电视接收机接收到，最后通过某些特定的数字 音频视频解码的方法尽可能高效的还原出原始的图像和伴音。因为整个处理过程中使用了 数字处理技术，因而数字电视具有更小的信号损失率，更高的信号效果接收率。此外数字 信号的高抗干扰性，伴随着各种数字处理，数字压缩，数字传输算法的发展，数字电视具 有模拟电视难以比较的优势： 西安理工大学硕士学位论文 1 ) 数字电视输出信号稳定可靠，设备维护使用简单 2 ) 数字电视可以输出画质更高更清晰的电视信号，甚至其质量水平可以与演播室或 者胶片质量水平相媲美。可以同时兼容性的存在多种制式的电视信号字电视的另一 个明显优势，使用数字电视可以把每个数字频道分为几个子频道，这样既可以满足 某些观众使用一个大数据流的需求，同时也可以满足某些观众对数据流进行分流， 图像清晰度和信息种类之间权衡性的调节，满足不同的观众需求。如转播比赛，为 了转播更清晰的画面，应选取1 9 3 9 m s 的传播；而播放新闻时，对清晰度的要求 相对比较低，只需3 m s 的速度，剩下1 6 3 9 兆字节可用来传输别的内容h 1 咖响。 3 ) 频道数目大大增加。过去利用模拟技术传播一台一般的电视节目需要 8 m h z 的带宽，现在选用数字方式进行电视传播后相同带宽下便可传送数字视频 光碟( d v d ：d 西t a l d e od i s c ) 质量的节目5 至6 个，或可以传送高清晰度电视 ( h d t v ：h i 阻d e f i n i t i o nt e l e v i s i o n ) 质量的节目1 个或2 个订1 。 4 )数字电视提供的互动性服务使得电视台播送的节目具有更加个性化的优势。 移动便携接收，实现与网络互连，视频随意点播业务，连同各种各样的数据增值 业务，以及其他各种便利服务。 5 )数字电视在同样覆盖范围至内具有比模拟电视更小的发射功率，其发射功率可 以比模拟电视小一个数量级。 1 1 2 视频后处理的意义 一个典型的数字电视系统，包括发射和接收两个子系统，发射部分决定了系统质量的上 限与其扩展能力，数字电视机接收电路主要部分是由接收端组成的，由于数字接收端相对 于发射端，比较强调遵守规定的标准以及显示格式之间的兼容性，其灵活性大大减少。数 字电视系统按照不同的技术标准分为信源与信道两个部分，其中信源部分所采用的压缩编 码算法依据的是m p e g 2 标准，为数字信号处理的关键密集区，比如我们在压缩率给定的 条件下要还原出质量更优质的解码图像，视频信号的预处理、缓存器控制策略的选取，以 及量化矩阵系数等内部处理环节方法上的选择邛鲫是我们应该重视的关键地方。决定一 个电视系统信道部分性能的主要技术指标是数字信号的调制与解调所采用的具体技术方 法，正是由于调制与解调采用了不同的方法造成了各国的d 传输标准的不同1 们【l 。 数字视频后处理芯片的研究是当前背景下研究热度最大的核心芯片之一2 】。研究视 频后处理芯片的目的是为了完成各种不同格式与显示终端之间的无缝连接，选取合适的数 字信号处理方法，这些处理方法主要包括去隔行、帧率提高、画质增强等算法n 3 l 。 2 前言 现存视频采样格式( 后文简称为视频格式) 的多样化n 们，要求数字电视要具备兼容传 统模拟视频信号的功能，进而要求相应的视频后处理芯片考虑对传统视频图像格式的处理 问题。表1 1 列出了几种常见的视频采样格式，图1 1 为视频格式转换结构图。 表1 1 几种常见的视频格式 t a b l - 1s 锄1 p l i n gf 0 r r r i a to fs e v e m lv i d e of 1 0 肌a t 标准制定组织采样格式：水平幸垂直事场 率 n t s c5 2 5 6 0c c i r6 4 0 幸4 8 0 宰6 0 i p l a l6 2 5 6 0c c i r7 2 0 宰5 7 6 木5 0 i h d t v 一1 2 8 0s m p t e 7 2 0 幸1 2 8 0 幸6 0 p 3 0 p 2 4 p h d t v 1 9 2 0s m p t el0 8 0 宰l9 2 0 幸6 0 p 6 0 i 3 0 p 2 4 p s i fi s o i e c 2 4 0 木3 5 2 木3 0 p c i fi s 0 i e c 2 8 8 幸3 6 0 木3 0 p q c i f i s o i e c 1 4 4 1 1 8 0 木3 0 p 图1 1 视频格式转换结构图 f i g 1 l f l o wc h a r to f d e of i o 珊a tc o n v e r s i o n 不同视频信号格式之间的不同之处主要表现在以下三方面：去隔行、扫描率变化、以 及变帧场率，如图1 1 所示。去隔行变换( d e 抽t e r l a c i n g ) 是整个视频图像后处理的首个环 节，原理是在有限的带宽条件下利用视觉残留尽可能大的提高图像垂直方向的分辨率，消 灭采用低帧频所导致的大面积闪烁现象。另外从在视频信号格式上讲，d v d ，h d d v d 、 数字电视( 包含高清电视广播) 等编解码统一使用的是m p e g 标准( i s o i e c1 3 818 ) ，支持 多种视频信号格式，如高清电视格式主要包括1 9 2 0 1 0 8 0 、7 8 0 宰7 2 0 、7 2 0 4 8 3 等不同的图 像分辨率，2 4 h z 、2 5 h z 、3 0 h z 等不同的逐行扫描格式，5 0 h z 、6 0 h z 等不同的隔行扫描格 式。为了实现以上各种信号格式的转换，这就需要高清晰度电视机必须具有能够支持这些 信号格式的功能，由此发展研究各种帧率变换及分辨率转换的集成电路芯片显得越来越重 要。对于市场日益扩大的高清数字电视，由于其图像尺寸的增大，因此对视频信号格式 进行包括去隔行处理，帧率转换，图像分辨率变换的要求也进一步提高。目前在标清电视 图像处理范围内选取的算法通常都是相对简单实现容易，但是这些算法在高清电视播放设 3 西安理工大学硕士学位论文 备下一些缺陷和不足就明显的突现出来，限制了电视图像技术的发展。但是，采用运动补 偿类等高级算法却存在着高运算复杂度，大资源耗费率以及高成本付出1 ”，不适合市场 的批量生产。另外值得一提的是，如今多数去隔行，帧率提升，分辨率转换算法着重关注 对图像的插值计算，往往存在一定盲目性。而如果将处理方法提升到对视频图像信息源的 分析并进行有针对性的处理计算，可以使得图像质量得到更好更有效的提升。因此就需要 对去隔行，帧率提升，分辨率转换模块深耕，对视频信号进行合理的处理以实现各种视频 格式的转换，同时保证画面的流畅和画质的真实度。 视频后处理芯片作为一个独立的系统，应用广泛无论是将来的数字电视，以前的模拟 电视，还是目前模拟电视向数字电视过渡时期的数字化电视，只要提供可供选择的视频输 入接口，就能够实现相应的视频后处理功能，另外近年来微电子行业的飞速发展，大大减 小了集成电路器件的特征尺寸，提高了集成电路集成度，单片上的晶体管不断增多、时钟 速度不断加快、电源电压不断降低、布线层数不断增加，这使得将微处理器、存储器、 d s p 和各种接口集成到一块芯片中的s o c ( s y s t e mo nc h i p ) 技术得到大力发展，为视频后处 理的芯片提供了技术支持；同时现阶段计算机性能大幅度提高，很多复杂的算法得以实现， 使得图像处理无论是在算法、系统结构上，还是在应用上都有了巨大的进展。再次随着人 们生活需求的提高，能够提供影像更清晰，色彩更加艳丽，声音更优美的视听享受成为各 个厂商大力发展重视的项目，这也成为视频后处理系统的研究的客观原因。图1 2 所示为 一个完整的数字电视接收系统示意图。 1 2 国内外发展现状 图l - 2 数字电视接收系统 f i g 1 2d 蟛协lt vr e c e m n gs y s t e m 随着美欧、日韩以及中国数字电视的陆续开播以及出台强制规定模拟电视终结的时间 表，使得数字电视市场快速的崛起j 6 1 ，各国都在全力设计支持多种电视标准、大屏幕、 高清化、互联网d t v 、d t v + p v r 的数字电视。 由于视频后处理不仅具有很高的商业价值，更需要高效的算法帮助其实现各种功能， 所以研究视频后处理算法具有很高的现实意义与价值。因此目前国内外都把实现电视信号 的数字化处理作为电视业和科研机构大力发展的项目，核心的视频后处理芯片的开发在各 4 前言 个国家的市场上都是方兴未艾。 目前在全球市场范围内，主要的设计以及生产视频后处理芯片的公司大体分为两大类： 一第类是欧美公司，像s t ( g e n e s i s ) 、嘣d e n t 、a t i 、n x p 、z o 凡州等，这些公司由于 起步早，具有图像处理领域丰富的经验优势明显，可以提供功能齐全的各类视频后处理芯 片，其在技术上处于明显的领先地位。另一类为台湾地区公司，如m s t a rm t k ，日前 中低端视频后处理芯片市场的大部分份额都被这类公司占有。他们可以提高集成度高的芯 片，但是芯片所提供的图像画质质量很一般。 电视视频后处理芯片的发展方向主要是利用高度集成的芯片来降低系统的成本和复 杂性，在画质处理上，为了改善液晶拖尾和运动模糊的问题，3 d 去隔行、3 d 降噪、1 2 0 h z 技术，m e m c ( 运动估计和运动补偿) 技术以及各种彩色、边缘增强技术己成为芯片开发 商画质处理技术水平的代表。在这处理方面做的较好的典型厂家为n ( p 、g e n e s i s 、嘶d e n t 、 m t k 。对于画质增强也推出了自己的芯片，如三星的d i n e ，s o n y 公司的w e g a 等。 在国内随着国家对电视信号数字处理产业发展的重视，一批视频后处理芯片开发的 单位也先后涌出，公司方面有杭州的国芯，成都的威斯达芯片设计公司和近年来新成立的 四川虹微技术有限公司，高校方面有上海交大，西安交大1 舳和浙江大学1 9 1 都对视频后 处理进行研究。如杭州国芯的视频后处理芯片g x 2 0 0 1 配们内部包括去隔行、色彩空间转 换、图像增强等多项视频后处理功能。通过降噪处理，边沿检测，以及自有的补偿算法对 输入信号的图像进行内插，最后产生低噪声、无锯齿的逐行图像。另外采用了色彩空间转 换、图像边沿增强、亮度、对比度增强、图像分析、黑白电平延伸、伽玛校正、去抖动、 图像输出控制为主要功能来实现画质增强。 目前数字电视逐渐朝着高清化、平板化、网络化等几个趋势方向发展。高清晰度电视 ( h d t vh i g i ld e f i n i t i o nt e l e v i s i o n ) 是相对于我们通常所说的标准清晰度电视( s d t s t a n d a r dd e f i i l i t i o nt e l e v i s i o n ) 而提出的。标准清晰度电视宽高比约为4 ：3 ，图像分辨率为 7 2 0 5 7 6 或7 2 0 4 8 0 【l 钔，采用隔行扫描( i n t e r l a c e ds c a l l ) ，而数字电视是采用逐行扫描 ( p r 0 黟e s s i v es c a l l ) ，垂直分辨率相对于模拟电视提高一倍。高清电视的宽高比为1 6 ：9 旺， 图像分辨率包括1 2 8 0 7 2 0 p ，1 9 2 0 1 0 8 0 i ( 隔行) ，1 9 2 0 1 0 8 0 p ( 逐行) 等。利用平板显示 屏作为显示部件的电视接收机就是我们平常所说的平板电视咙1 ，平板电视主要有等离子 ( p d p ) 、液晶( l c d ) 、数字背投技术。 我国数字电视主要由：有线电视、地面电视、卫星电视、口t v 网络电视构成。其市 场主力军是有线数字电视市场，占整体数字电视市场规模的7 4 4 7 ；卫星数字电视占 1 4 7 9 ， 5 5 8 被地面数字电视市场占据；剩下大约5 16 被i p t v 市场所占据记刀。图l 一3 所示为近年来我国数字电视用户规模发展状况： 5 西安理工大学硕士学位论文 图1 3 中国数字电视用户市场发展 f i g 1 3 c h i n ad i 西t a lt v 吣e rm a r k c td e v e l o p m e n t 1 3 论文主要工作与内容安排 本论文在充分了解了视频后处理系统的研究进展和目前流行的各类算法原理基础上， 分析了各类算法的优缺点，考虑硬件实现的可行性以及实用性，完成了基于边沿的去隔行 算法，运动补偿自适应帧率提升算法，双线性差值法改变图像分辨率，画质增强算法的硬 件设计。通过m a n a b 软件仿真以及v e r i l o g 硬件描述语言证实算法的可行性之后完成硬件 r 1 l 级设计。设计合理的数据流向，数据缓存，以及处理架构方案，对设计的算法在搭建 的f p g a 平台上实现硬件级验证。 本论文主要完成了基于l e o n 3 处理器的视频后处理i p 核设计，主要从以下几个章节展 开论述： 第一章前言，介绍课题的研究背景和意义，分别介绍了数字电视以及视频后处理技 术的国内外研究现状，最后阐明了本课题研究的主要内容。 第二章对目前常用的去隔行，帧率提升，分辨率变换和画质增强算法进行了简单的 介绍，阐述了基本的插值算法，运动估计、运动补偿算法，为整个体系选定有效的处理算 法模块。 第三章通过第二章算法分析，提出本系统适用的去隔行、帧率提升、分辨率提升、 画质增强算法思想体系，进行m a t l a b 仿真和分析，对各算法进行r t l 级设计和仿真。同时 将本文所采取的帧率提升、分辨率提升、画质增强算法整合联调，设计具有以上功能的视 频后处理算法i p 核，便于移植到整个系统中。 第四章验证本文所设计的视频后处理算法，说明算法的正确性。 第五章对本论文工作的总结以及对后期进一步工作的展望。 6 视频后处理算法综述 2 视频后处理算法综述 2 1 去隔行去隔行算法概述 图2 1 为视频隔行扫描和逐行扫描示意图。传统的模拟电视是采用隔行扫描的，电子 束在扫完奇数行后接着扫偶数行，如此便完成了一场的扫描。通常，把隔行视频中未经过 去隔行处理的隔行图像称为一场( f i e l d ) ，而将经过隔行处理之后的逐行图像称为一帧 ( 觑衄e ) 。每场图像各自包含其原始图像中的奇数行或者偶数行的像素信息。奇场是由奇 数行组成的场，同理亦然，偶场就是由偶数行构成的场。那么采用隔行扫描的一帧图像是 由相邻的奇偶两场视频信息组成。隔行扫描要求视频帧总的行数必须为奇数，如n t s c 的 总行数为5 2 5 ，p a l 制的总行数为6 2 5 。隔行扫描存在垂直清晰度下降，行间闪烁，并行现 象和爬行现象等缺陷l 逐 行 扫 描 图2 1 逐行隔行扫描示意图 f i g 2 - lp r o g r e s s i v es c 锄i n g ，i n t e r l a c e ds c a n n i n g 妻 隔? 行 扫 描 如图2 2 所示，去隔行技术的基本原理是基于图像序列的时空相关性，把输入的电视 信号分为奇偶场，通过对已有的奇偶行像素采用图像处理技术，估算出当前场中缺失行像 素而生成一帧新的逐行图像，从而消除隔行扫描的缺陷并改善电视画面的质量；从数学角 度分析，去隔行的过程如下式( 2 1 ) 所示： r f ( ) 【y 1 ) y m o d 2 = n m o d 2 f 0 仅y ，n ) = = t ，就认为该点存在边缘。如图表示，a 、b 、c 分别代 表三个方向的绝对插值如式( 2 4 ) ，三者中最小者认为是边沿方向，最后利用该方向的两个 相关像素点加权平均获得插值： a 寻ifo 一1 ，x - l ，n ) 一f ( y + 1 ，x + 1 ，n ) l b = lfo - l ，x ，n ) 一f ( y + l j ，n ) i c = if - l ，x + l ，n ) 一f ( y + 1 ，x 一1 ，n ) i( 2 4 ) 该算法只利用了一场的两行数据，硬件存储不大且计算不复杂，是性价比很高的一类去 隔行算法。飞利浦的e d d i ，f a r o u d j a 的d c d i 2 7 1 是主流的这类算法，已经分别应用于 相关的去隔行芯片。 、 中值滤波 中值滤波算法2 8 结合帧间插值和帧内插值两种算法，在空间时间域( v ，d 里使用三抽 头的中值滤波器，该算法数学表达式为式2 5 ，算法原理如图2 6 。 l o 晶幻归n e d 僻旷砂，r 向户矽，r j 似”)( 2 5 ) y 1 o o y y + 1 oo x 1 n o o o 原始采样点 。待插值点索 中值滤波插值 n 场 图2 6 中值滤波去隔行算法 f i g 2 - 6s c h e m a t i co fm e d i 锄f i l t e r i n gd e - i m e r l a c i n ga l g o r i t h m 睢1 y o 1 焉 视频后处理算法综述 c 基于运动补偿去隔行算法 运动补偿去隔行算法广泛应用于e g l 2 4 ， h 2 6 l 2 6 3 2 6 4 等视频压缩标准2 9 及 相应的单芯片m p e g 岔解码器产品。 第n 场数据 第n 1 场数据 据 图2 - 7 运动补偿去隔行算法 f i g 2 - 7 s c h e m a t i co fm 0 t i o nc o m p e n s a t i o nd e - i n t e r l a c i n ga 1 9 0 r i t h m 传统的运动补偿原理如图2 7 。通过运动估计( m o t i o ne s t i m 砒i o nm e ) 策略在前一帧 f n 1 中搜素与当前场p 点最为相关的匹配像素。结合时域，认为f m l 场中的匹配点就是待 插点的原始点，将运动图像转换成静止图像，运用适合于静止图像的去隔行算法插值，实 现运动补偿，完成去隔行。 2 2 帧率提升算法概述 帧率提升( f r a i n er a t ec o n v e r s i o n ) ，即帧速率的上变换，或者时域速率变换( t e i n p o r a l r a t ec o n v e r s i o n ) ，目的是为了提高输入视频信号的时间分辨率而在一帧或者一场间插值出 新的一帧或者一场。比如当我们想利用电视设备来播放电影节目，就必须把时间分辨率为 2 4 h z 的电影节目源提高到分辨率为5 0 h z 或者6 0 h z 的电视播放设备的时间分辨率下，所以 需要增加新的帧满足播放需求。帧率提升算法的核心是如何插值成新帧，并且插值后帧率 均匀，即每帧图像之间间隔必须相等。下面将讨论几种常用的帧率提升算法3 叩。 图2 8 帧率提升算法原理 f i g 2 - 8s c h e m a t i co f 蜀舢l er a t ec o n v e r s i o na l g o r i t h m 西安理工大学硕士学位论文 如图2 8 所示，f t - l ，f t + l ，为原始输入帧序列，f t - 为插入帧。设输入视频的帧率为川， 输出视频帧率为乃，帧率提升因子为k ，则刃= k 兀。设前一帧r ，中一点a ，经过了时间t 后运动到后一帧只+ ，的b 点，m v 是其在时间t 内的运动矢量，则p 点就是所要求得的插补 帧的插补点。所得到插补帧中的插补点p 的像素值不同主要是因为采用了不同的帧率提升 算法。目前按照选取的两帧信息结合方式的不同，分为静态插值和运动矢量补偿插值二类。 其中，静态算法由于具有确定的结构和参数，与视频内容无关。两帧信息间采用固定的方 法联系，例如简单的帧复制算法、时空线性滤波算法、空中值算法等；运动自适应类算法 主要是把待处理区域按照是否活动和活动幅度动态改变算法结构与参数，常用的算法比如 系数自适应线性类算法，模板自适应类算法等；另外一类算法是根据运动矢量值进行运动 补偿，把两帧的对应区域联系起来，在时域内生成相应的新帧。下面详细的介绍这几种常 用的帧率提升算法乃。 按照新帧产生方式的不同，把帧率提升算法大致归结为两类。第一类算法是不考虑物 体的运动情况的非运动补偿类算法，仅通过参考帧的线性组合来实现，算法简单易实现。 基本的原理为：与待插入新帧最临近的几帧图像的相关像素值的加权值就是待插帧所需的 像素值，用式( 2 6 ) 表示： f 2 b 1 ，rj = 芝：f l ，z + 班) 幸办( 所) m 气一l ( ，- 2 ，一l ，l ，2 ，k ) m ( 2 6 ) 上式中厅和脚即加权系数，非运动补偿线性插帧算法就是按照厅砂的不同取值分成下面 讨论的几类。 a 非运动补偿算法 ( 1 ) 简单的帧复制插入帧的每个像素都来自前一帧图像同一位置处的像素点。这 是最简单方便的算法，但是选取该算法存在由于图像真实运动有被错误估计的可能而引起 图像质量有所损伤，运动抖动模糊等比较明显的缺陷。如果输出帧的帧率与输入帧的帧率 相差一旦超过3 0 h z 。视觉便会观察到，两个同样的物体在同一时刻出现在了一个相同的 位置，误以为存在了两个平行运动物体，这便导致了画面重影或模糊。而当差值未超过 3 0 h z ，即便我们在同时刻同一置只看到一个物体，事实上本来物体均匀运动轨迹已经被 新插入的改变了，使得我们可能会观察到不规则的运动出现，发生运动抖动。 ( 2 ) 时间线性平均差值待插入的新帧的每个像素点都来是由该帧前后序列相同位置 的原始帧中的像素点均值。可以用公式( 2 7 ) 表示 肋“f ( w ，r ) = l 2 胁( 呵，丁+ 1 ) + 砌( 曙，r + 1 ) 】 ( 2 7 ) 由于该算法是基于时间域的线性平均没有考虑空间域的变化，只能针对类似于文字等 的静态图像有相对优异的处理结果。而对于运动的图像，则会导致其边缘模糊。， ( 3 ) 线性平均法 以1 5 倍帧率提为例，其基本原理是：插值帧由其时间轴相邻两 1 2 视频后处理算法综述 边的帧加权平均得到，其插值公式如式( 2 8 ) 所示，待插帧和原始帧序列时间轴之间距离的 反比确定权值。 阳 1 - j口 图2 91 5 倍的帧频率变换算法示意图 f i g 2 9s c h e m a t i co f1 5t i m e sf 豫m er a t ec o n v e r s i o n b l b 2 b 3 b 4 第二类算法考虑物体的运动趋势，利用参考帧中已知运动信息，对待插帧物体的形状 与位置展开预测。也就是运动补偿算法。 b 运动补偿帧率提升算法 运动补偿帧率提升类算法主要是考虑了图像序列内部的运动情况，先对要插补的新帧 周围相邻近的原始序列中与之所对应的像素的一般运动情况进行估计，计算这些点的一般 运动方向。这类算法主要包括运动补偿直接插补与运动补偿线性平均。 ，。 ( 1 ) 直接插补法如上图2 8 示，假设帧频提升因子为2 ，原始帧中的点彳( 砌( w ，丁一，) ，膏 经时间t 后其运动矢量为m v ( 五丁) ，运动到下一帧中的b ( 厅玎o + 朋v o ，f ) ，r + ，) ) 点，那么 插补帧对应的插补点p ， 其像素点值为x + l 2 m v ( x ，r ) ，r ) 如式( 2 9 ) 所示： 1 一一 f d 们= ( + 去m ，( ，r ) ，f ) = 砌【。x + m ，( 曙，丁) ，丁+ l 】或者 z 1 凡u t = ( 。石+ 妄m ，( ，r ) ，丁) = 砌( 。x ，z 一1 ) ( 2 9 ) z 该算法认为经运动估计后所得到的运动矢量是理想的，然而对于实际运动复杂的视频序 列，很难保证理想的运动矢量，因而利用该算法对视频运动的估计并不准确。 ( 2 ) 线性平均法此算法是在直接插补法的基础上，利用前后帧的均值作为运动 补偿后插补帧的插补点。即p 点像素值为f 2 玩( ，7 砌y ( ，7 咒力，升j ) 巩( ，7 五卜”7 。该 算法对于直接利用时间线性平均算法而出现的边缘模糊问题有很大的改善。但是当前景与 背景相比运动明显，采用这类带有运动补偿的线性平均法就有错误的将前景矢量投影到后 景上的危险，而造成虚景。图像单独被显示时引起的虚像并不会明显的被显现，但是在视 o o互l 2 3气ab 乃 2 l 卜 + l 2 a a m 奶躬m = = = = 西安理工大学硕士学位论文 频序列中这些局部区的虚像就会被明显的显示出来。由于虚像是局部存在的，所以整体上 对图像的改进效果还是相对理想的。 ( 3 ) 运动补偿中值滤波算法为了消除带运动补偿的线性平均算法错误的把前景运动 矢量投影至背景上，而导致虚像和边缘模糊，将上式( 2 8 ) 中所求出的插补点像素值与前后 帧像素求中值得到最终的插补点像素。即 ，b 甜= 肌p d f 跏( 。j v ，丁一，) 凡u t 【( x ，丁十l 2 ，纷v ( x ，r ) ，丁) 】，冗刀【( 。r + 聊v ( 7 x ，r ) ，丁+ 1 ) 】 这种算法基于运动矢量的可选性，对于纹理较多的图像，会出现运动的时空边缘模糊。 运动补偿帧率提升算法对于运动物体的处理具有比较理想的效果。运动补偿算法的关 键在于对运动矢量的正确估计，运动矢量估计出现偏差，那么将会连锁的造成后面运动补 偿矢量方向的错误，。使得图像处理的效果越来越差，甚至不如直接线性插帧。所以运动估 计模块作为对运动矢量做出正确精准的判断和估算模块，是运动补偿帧率提升算法的关 键。 ( 4 ) 运动补偿非线性插帧b 刀 对于可变帧频因子七，引入一个参数值口( ，d 口 ) 插补帧中的插补点p ，其像素点 值为向+ j ，玎；口，z 3 ， 砂 j d ) 尼 该算法根据帧频提升因子进行插帧运算，但由于a 是周期函数，求解a 的硬件实现难度比 较大，所以一般并不采用此方法。 ( 5 ) 运动自适应运动补偿线性插帧3 类似于本章第一部分提出的各类运动补偿去隔行算法，都过分的局限于对运动矢量的 正确估计，一旦矢量估算出现错误，会一直把这个被错误估计了的矢量传下去。以减少这 种错误的影响为目的，运动自适应帧频提升算法便随之产生了。添加运动信息估值过程在 1 4 视频后处理算法综述 前面运动估计基础之上，以表明该区域存在运动的可能性大小。 该类算法首先利用带运动补偿的线性平均法求出插补帧伍”，其后使用非运动 补偿时间线性平均算法得到插入帧的像素点时间平均值f d ( x ，t ) ，并添加一个运动估值 k ( x ) ( o k ( x ) 1 ) ，则最终的插帧帧像素点的插补结果为： ( x ，丁) = 肌( x ，r ) + ( 1 一k ) 石( x ，r ) 一个运动着的图像，在视觉意义上来说判断其是否运动的实质就是看其某个区域亮度 变化与转移情况。也就是观察图像的边沿是否存在移动或是发生了改变，边沿的改变本质 上就是在某个特定的区域内图像亮度发生了一个突变，主要表现为图像具体边界的突变与 内部某个区域得亮度突变。因此边沿处理效果的好坏为处理运动着的图像序列的关键。边 沿自适应算法就是根据此理论而被提出的。根据j f 值把视频图像序列分为运动区域和 静止区，就会在最后就会得到比较理想的处理效果。对运动估值k 认为视频图像只有0 ， 1 两种状态，( 1 为运动状态，o 为静止状态) 结果是l 时就使用运动补偿线性平均插补 法，或者带有运动补偿的直接插补：结果是0 时就采用时间平均插补。类似于运动边沿自适 应去隔行算法原理，对插补帧前后帧的像素点进行边缘判断，当边缘大于某一阈值时，认 为图像运动，k = 1 ；当边缘小于阈值时，认为图像静止，k = o 。 作为目前应用最广的运动估计算法：块匹配算法( b m a ) 假设块内像素点运动一致， 首先把图像分割成n n ( 一般取8 8 或1 6 1 6 ) 图像块，然后以分割好的图像块为单位， 在已完成处理的参考帧窗口范围内，以块匹配准则为前提，搜索筛选最相关匹配块，以得 到的最佳匹配块作为当前帧预测块，得到的运动矢量即为当前块的运动矢量。匹配准则、 块大小n 、搜索窗口范围( s e a r c ha r e a ) w 、搜索策略( s e a r e hs c h e m e ) 等是块匹配算法的关键 因素。具体如下： ( 1 ) 匹配准则 作为运动估计最关键的要素。合理的匹配准则对搜索的准确性以及算法处理速度起到 决定性作用。块匹配准则运算的目的是计算出最能体现两个块中像素差异性的指标，一般 我们常见的匹配规则及计算公式主要包括绝对差值和( s a d ) ，绝对方差和( s s e ) ，平均绝 对差和( m a d ) 以及均方误差和( m s e ) ，其计算公式分别如式( 2 1 2 ) ，( 2 1 3 ) ，( 2 1 4 ) ， ( 2 1 5 ) 所示： 绝对差值和( s a d ) 计算公式如：( 2 1 2 ) nn 蛾，川( 以，西) = if o + f ，y + f ，f 一1 ) 一f o + f + 或，j ，+ + 嘭，于) i = 0 倒 ( 2 1 2 ) 绝对方差和( s s e ) 计算公式如( 2 1 3 ) ： nn 她圳( 吱，嘭) = 【if o + y + f ，f 一1 ) 一雕+ f + 或，y + j + 嘭，f ) 】2 触脚 ( 2 1 3 ) 平均绝对差( m a d ) 计算公式如( 2 1 4 ) ： 1 5 西安理工大学硕士学位论文 心q 工( 以，办) = 面南i + f ，y + f ，f 一1 ) 一f o + f + 以，y + + 哆，f ) l vv f 卸，= 0 ( 2 1 4 ) 均方误差和( m s e ) 计算公式如( 2 1 5 ) ： 4 朋甄，棚( 以，嘭) = 面南【f + i ，y + f ，f 1 ) 一f o + f + t ，y + + 嘭，f ) 】2 y yi = o ，= 0 ( 2 1 5 ) ( 2 ) 块尺寸n 块尺寸