（微电子学与固体电子学专业论文）视频去隔行算法研究与硬件设计.pdf

摘要 论文题目：视频去隔行算法研究与硬件设计 学科专业：微电子学与固体电子学 研究生：王小光 指导教师：高勇教授 杨嫒教授 摘要 随着视频技术的飞速发展，隔行扫描的缺点在电视应用中日益明显，数字电视成为必 然的发展趋势。视频后处理成为数字电视系统中一个必不可少的环节。去隔行处理作为视 频后处理中最为核心的功能模块之一，主要是利用合理算法对隔行扫描视频信号进行空缺 行的像素计算，有效的实现对空缺行的重构，完成视频从隔行扫描到逐行扫描的转换。因 此，研究视频去隔行算法对视频后处理芯片的开发以及提高现阶段我国电视技术水平和加 速数字电视的普及都有着重要的现实意义。 本文在详细介绍了现有视频去隔行算法的原理和各自优缺点的基础上，提出了一种新 型的时空结合的边沿检测去隔行算法，对提出算法进行理论分析之后，利用m a t l a b 完成 了算法的软件建模仿真，并通过v e r i l o g 语言对算法进行了r t l 级硬件设计及仿真。仿真 结果表明，相对于传统边沿法，提出算法在保证了边沿的锐利性的同时有效的提高了画质 的垂直清晰度，且易于硬件实现。之后，在对目前较为流行但计算繁琐的运动补偿去隔行 算法进行了理论分析和m a t l a b 软件验证之后，设计了一套完整的运动补偿算法硬件实现 方案，通过v e r i l o g 语言完成了r t l 级硬件模块设计及仿真，仿真结果证明了该运动补偿 硬件方案的可行性与合理性。最后结合提出算法设计了一套详细的视频去隔行处理硬件方 案，并利用f p g a ，s r a m ，f l a s h ，l c d 等搭建硬件验证系统平台，完成对较大数据量 的合理缓存规划和复杂的系统控制设计，实现了对去隔行算法的硬件实现和f p g a 系统 级功能验证。 论文主要贡献在于提出了去隔行算法，对传统算法进行了合理的改进和优化，制定了 运动补偿算法的r t l 硬件方案。同时设计了一套数据缓存合理的视频去隔行处理硬件验 证方案，该平台也可以扩展应用到对其他相关算法的硬件验证，具有可复用性。 关键词：去隔行，数字电视，f p g a ，图像处理，算法； 赳蓝 名名名 签签签 西安理工大学硕士学位论文 t i t l e ：r e s e a r c ho nv i d e od e i n t e r l a c i n ga l g o r i t h ma n d a l g o r i t h m sh a r d w a r ed e s i g n m a j o r ：m i c r o e l e c t r o n i c sa n ds o l i d s t a t ee l e c t r o n i c s n a m e = w a n gx i a o g u a n g s u p e r v i s o r - p r o f y o n gg a o p r o f y u a ny a n g a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fv i d e ot e c h n o l o g y ，t h es h o r t c o m i n go fi n t e r l a c e ds c a n n i n gi s g r a d u a l l yb e c o m i n gm o r ea n dm o r eo b v i o u si nt va p p l i c a t i o n d i g i t a lt vi sb e c o m i n ga n i n e v i t a b l et r e n d t h ed i g i t a lv i d e op o s t p r o c e s s i n gb e c o m e sa ni n d i s p e n s a b l es e g m e n ti nt h e d i g i t a lt vs y s t e m a so n eo ft h em o s tc o r ef u n c t i o n a l m o d u l e si nv i d e op o s t p r o c e s s i n g ， d e i n t e r l a c i n g sm a i nw o r ki st oc a l c u l a t ea n dr e c o n s t r u c tp i x e l si nt h ev a c a n c yl i n ew i t hs o m e r e a s o n a b l ea l g o r i t h m s ，i no r d e rt of i n i s ht h ev i d e of o r m a tc o n v e r t i o nf r o mi n t e r l a c e ds c a n n i n g t o s e q u e n t i a ls c a n n i n g t h e r e f o r e ，r e s e a r c h i n go nt h ed e i n t e r l a c i n ga l g o r i t h mp a l y sa nv e r y i m p o r t a n tr o l ei nd e s i g n i n gt h ep o s t p r o c e s sc h i p ，i m p r o v i n gp r e s e n tt vt e c h n o l o g yl e v e la n d a c c e l e r a t i n gt h eu n i v e r s a la p p l i c a t i o no fd i g i t a lt v a f t e rad e t a i l e d l yt h e o r e t i c a la n a l y s i sa n di n t r o d u c t i o no ft h ep r e s e n td e i n t e r l a c i n g a l g o r i t h m s ，am o d i f i e de d g ed e p e n d e n td e i n t e r l a c i n ga l g o r i t l m lt h a tc o m b i n e st h et i m e d o m a i n f i l t e r i n ga n ds p a t i a lf i l t e r i n g i si n t r o d u c e di nt h ep a p e r t h ew o r ko fa l g o r i t h m sd e s i g n ， s i m u l a t i o i na n dv e r i f i c a t i o ni sd o n ei nb o t hs o f t w a r el e v e lw i t hm a t l a ba n dr t lh a r d w a r el e v e l w i t hv e r i l o gl a n g u a g e t h ea l g o r i t b a ni sp r o v e da sa ne f f e c t i v ee d g ed e p e n d e n td e i n t e r l a c i n g a l g o r i t h m ，w h i c hc a ni m p r o v et h ev e r t i c a lr e s o l u t i o np r o p e r l ya n de n s u r et h es h a r p n e s so f e d g e m e a n w h i l e ，a f t e rf i n i s h i n gt h es a m ew o r ka sp r e v i o u s ，t h em cd e i n t e r l a c i n ga l g o r i t h mi s d e i s g n e da n di m p l e m e n t e di nr t lh a r d w a r el e v e lw i t ht h ev e r i l o gl a n g u a g e ，f i n a l l y ，ah a r d w a r e p l a t f o r mf o rv i d e od e i n t e r l a c i n g ，m a k i n gu po ff p g a ，f l a s h ，s r a ma n dl c d ，i sd e s i g n e dt o t e s t i f yt h er a i s e da l g o r i t h m a ne f f e c t i v ea n dc o m p l e xd a t a c a c h em e t h o da n dc o r r e s p o n d i n g c o n t r o ls y s t e ma r ea l s od e s i g n e da n da p p l i e di nt h i sh a r d w a r ep l a t f o r m t h em a i nc o n t r i b u t i o no ft h ep a p e ri st h ei m p r o v e m e n tt h et r a d i t i o n a le d g e - d e t e c t a l g o r i t h m ，d e s i g no ft h es c h e m ef o rt h eh a r d w a r ei m p l e m e n t a t i o no fm e m ca l g o r i t h r n a n d f o r n m l a t i o no ft h eh a r d w a r ep a l t f o r mf o rd e i n t e r l a c i n ga l g o r i t h mt e s t i n g k e y w o r d s ：d e i n t e r l a c i n g ；d i g i t a lt v ；f p g a ；v i d e oi m a g ep r o c e s s i n g ；a l g o r i t h m ； 目录 目录一i 1 绪论1 1 1 课题背景和意义1 1 2 国内外发展现状2 1 2 1 数字电视3 1 2 2 视频后处理芯片5 1 3 论文主要工作与内容安排6 2 视频去隔行算法综述7 2 1 去隔行处理简介7 2 1 2 隔行扫描的缺陷7 2 1 3 去隔行技术( d e i n t e r a c i n g ) 9 2 2 去隔行算法概述1 0 2 2 1 基于非运动补偿去隔行算法1 0 2 2 2 基于运动补偿去隔行算法1 6 2 3 视频图像的评估2 1 2 3 1 图像质量主观评价2 1 2 3 2 图像质量的客观评价2 1 3 去隔行算法的设计与仿真2 3 3 1 本文提出的改进算法2 3 3 1 1 算法分析2 3 3 1 2 软件设计及仿真验证2 5 3 1 3r t l 级设计及仿真3 1 3 2 运动补偿去隔行算法设计仿真3 4 3 2 1 算法分析与改进3 4 3 2 2 软件建模及仿真验证3 5 3 2 3r t l 设计及仿真3 7 3 3 本章小结4 4 4 去隔行系统的f p g a 硬件设计及实现4 5 4 1 方案制定4 5 4 1 1 硬件系统方案4 5 4 1 2 缓存方案4 7 4 2 各模块设计及仿真4 8 4 2 一c u r r e n t a d r l e t 地址标志信号产生模块4 8 4 2 2m i a n c t r 主控模块4 9 4 2 3c o r em u t i c t r 控制模块5 1 4 2 4 缓存模块5 l 4 2 5 帧缓存控制模块与去隔行模块5 2 4 2 6f l a s h 控制模块5 3 4 2 7s r a m 控制设计5 4 4 2 8 色空间转换模块5 6 工 录 目一 一 c 一 犹要”摘舳 西安理工大学硕士学位论文 4 2 9v g a 显示控制设计 4 3 系统实验及结果分析 4 3 1 各模块联调仿真实验 4 3 2 基于f p g a 的系统硬件验证一 5 总结与展望 5 1 论文总结 5 2 进一步工作 致谢 参考文献 在校学习期间发表的论文 5 7 5 8 5 8 6 1 6 4 6 4 6 4 6 5 6 6 6 8 绪论 1 绪论 随着计算机技术以及集成电路技术的发展进步和相互融合，数字电视将成为2 1 世纪 电视领域的发展必然趋势，它能为人们提供更加适合人类视域的画面结构、优质的图像和 更多形式的电视服务，各国都加快了电视体系数字化的进程。我国正处于传统模拟电视向 数字电视过渡期，为了加快数字电视普及化，我国也制定了严密的技术研发计划和产业发 展规划。世界各国都将数字电视技术看作是信息社会发展中极具重要意义的战略课题。 1 1 课题背景和意义 当今数字电视技术不断完善，性能不断提高，各种新型显示设备也逐步普及，但由 于全数字电视台的建立具有高昂的费用成本、且用高清格式拍摄的节目相对稀少，同时由 于地区发展不平衡以及历史原因，原有的模拟广播信号还会存在很长一段时间，这决定了 从模拟到数字电视时代的转变是一个渐进的过程呓1 。在我国北京、上海、广州等大城市 已经先后完成数字电视的试播工作，开始全面的向数字电视转换，大多数家庭已经使用上 数字电视机顶盒。另一方面，现存的视频采样格式( 后文简称为视频格式) 非常多样化嵋1 。 表卜i 几种视频格式的采样格式 t a b1 - 1s a m p l i n gf o r m a to fs e v e r a lv i d e of o r m a t 标准制定组应用领域采样格式：水平+ 垂直t 场率 孛口 n t s c c c i r 与原n t s c 模拟制式兼容 6 4 0 幸4 8 0 幸6 0 i 5 2 5 6 0 的数字视频格式 p a l6 2 5 6 0 c c i r 与原n t s c 模拟制式兼 7 2 0 * 5 7 6 * 5 0 i 容的数字视频格式 h d t v 1 2 8 0s m p t e 高清数字电视格式 7 2 0 + 12 8 0 + 6 0 p 3 0 p 2 4 p h d t v 1 9 2 0s m p t e 高清数字i 乜视格式 1 0 8 0 + 1 9 2 0 + 6 0 p 6 0 i 3 0 p 2 4 p s i fi s 0 i e c m p e g 1 的标准输入格式2 4 0 + 3 5 2 + 3 0 p 用于视频存储 c i fi s 0 i e c h 2 6 1 的标准输入格式用 2 8 8 + 3 6 0 + 3 0 p 于会议电视 q c i f i s 0 i e c h 2 6 l 的标准输入格式用 1 4 4 + 18 0 + 3 0 p 于可视电视 这就要求数字电视具有中对传统的模拟视频信号保持良好的兼容性的功能，而相应的 视频后处理芯片也要考虑到传统视频图像格式的处理问题。新型数字广播系统与传统的模 拟电视广播系统不同最主要在于后者采用的是隔行扫描视频播放格式。 图1 1 视频格式转换架构图 f i g 1 - 1f l o wc h a r to fv i d e of o r m a tc o n v e r s i o n 纵观视频信号格式各不相同，但主要在三个方面有相异之处：去隔行、变扫描率、和 l 西安理工大学硕士学位论文 变帧场率，如图1 1 视频格式转换架构图所示。其中去隔行变换( d e i n t e r l a c i n g ) 是视频后 处理中关键的处理模块。由于该功能是整个视频图像后处理的首个环节，其处理算法的优 劣直接影响到最终显示图像的质量，因此数字电视后处理芯片中最为关键的技术就是视频 信号的去隔行处理功能。隔行扫描方式设计的原理是利用视觉残留性，在有限的处理带宽 内提供尽可能高的垂直分辨率，同时消除由于低帧频导致的大面积闪烁。由于隔行扫描可 以缩减带宽占用，因此p a l 、n t s c 和s e c a m 三大主要模拟彩色电视系统均予以采用1 ， 并且在高清电视广播标准中也仍然保留了隔行信号格式( 1 0 8 0 i ) 。由于隔行处理是直接在 图像平面垂直方向上的抽取，并未进行前置滤波，理论上将引入垂直方向的频谱混叠。实 践中能观察到的隔行缺陷有行间闪烁、爬行、运动物体垂直轮廓畸变等。所以对于逐行扫 描显示设备来说，面对隔行输入的视频图像信号就需要进行图像扫描格式的转换，即去隔 行。对于市场日益扩大的高清数字电视，由于其图像尺寸的增大，画面更加精细，因此对 去隔行处理技术的要求也进一步提高。传统的用于标准清晰度电视的去隔行处理方法虽然 简单易行，但很多传统应用中并不明显的问题和缺陷在高清电视中已经变得不可接受，因 此传统方法己无法满足当前需要。然而，一些用于高端视频图像处理的运动补偿去隔行方 法因为其运算复杂导致成本高昂巧1 ，也无法真正应用于市场普及。此外，目前多数去隔 行算法着重关注对隔行图像的插值计算，这样的处理往往存在一定盲目性，而如果通过对 视频图像信息源的分析进行针对性的处理计算，可以使得图像质量得到更好的提升。因此 就需要对去隔行模块深耕，对视频信号进行合理的处理以实现视频的逐行化，同时保证画 面的流畅和画质的真实度。 电视行业是数字视讯技术最主要的应用领域，更是消费电子产业和电子信息技术发展 的驱动力之一。我国是全球最大的电视生产和消费国。近年来随着科技水平的提高，已经 相继推出了3 7 、4 2 、4 6 、5 2 、5 5 英寸等一系列液晶电视新产品，随着五代线、六代线和 七代线的量产，面板经济切割尺寸将得到提高。中国的数字电视市场未来发展极其乐观， 据预测，未来1 0 年内数字电视产业将给中国相关行业带来1 5 ，0 0 0 亿元的销售额和1 0 0 0 亿元的利润。国际芯片巨头如t i 、i n t e l 也进入具有广阔前景数字电视的市场，致力于数 字电视相关技术的创新与产品的研发，各国际芯片厂商也与中国家电企业密切合作。因此， 视频后处理芯片迎合数字电视飞速发展的契机，市场潜力极其巨大的，是一个新兴的经济 增长点。0 8 年国务院办公厅相关文件中对数字电视的运营时间表有着明确的规划：2 0 0 8 年，通过数字高清晰度电视向世界播出北京奥运会节目；2 0 1 0 年，东部和中部地区县级以 上城市、西部地区大部分县级以上城市的有线电视基本实现数字化；2 0 1 5 年，基本停止 播出模拟电视信号节目。 但在数字电视核心技术方面，我国与国外有较大差距。自主创新研发高清数字视频处 理芯片和相关技术研究，无论从战略上还是国民科技水平上都是紧迫和必要的。数字电视 作为新技术浪潮，除了使电视的媒体形式发生转变外，也带来了巨大的市场价值和意义。 1 2 国内外发展现状 绪论 1 2 1 数字电视 当今的电视行业正在经历一场数字电视化的转换历程。相对于模拟电视，数字电 视( d t v ：d i g i t a lt e l e v i s i o n ) 规范完整的从节目摄制、节目编辑、信号发射、传输、接 收到节日播出使用数字化技术系统”1 。数字信号具有抗扰性能强、易于处理等特点，结 合各种数字信号处理，数字压缩，数宁传输技术的发展，数字电视具有音效音质好、数字 信号清晰度高、抗扰力强，不受噪声累积的影响高抗干扰性等模拟电视难以拥有的优势： 1 ) 传输可靠性和画面质量提高。在电视信号覆盖范围内，电视显示画面质量与演播 室图像质量真实匹配性高。 2 ) 传输信道带宽较模拟电视大为减少，。以往传输模拟电视信号只能传送一个电视 节目的带宽，在数字电视应用中同样带宽叮以传送5 、6 个数字视频光碟( d v d ) 质量的节日，或1 个、2 个高清晰度电视( h d t v ) 质量的节目。 3 ) 定制个性化网络互动等服务。数字电视提供移动接收、视频点播等互动电视业务。 4 ) 数字信号易于存储，且容易扩展和实现数字处理。 作为新一代的电视制式，需要建立全新的标准以适应发展的需要。得到国际电信联 盟( 1 t u ) 批准的数字电视广播标准体系目前有三种7 1 ：1 ) 美国的a t s c 数字电视标准， 该标准基于高清晰度l 乜视，采用m p e g 一2 视频压缩和a c 一3 音频压缩编码，白2 0 0 7 年3 月1 同开始在美国崮内销售的所有电视机都必须是数字电视，且均须符合a t s c 的技术规 范。2 1 欧洲的d v b 数字电视广播标准组织，该标准基于标清晰度电视，采用m p e g 一2 标 准进行音视频编码和系统复用。该组织分别制订了数字电视卫星广播标准d v b s ( q p s k 调制) 、数字电视有线广播标准d v b c ( q a m 调制) 、数字电视地面广播标准d v b t ( c o f d m 调制) 。目前d v b 标准是世界各国接收并广泛采用的制式。3 ) 闩奉n h k 的综 合业务数字j 播( i s d b ) 标准是柱d v b 摹础i ：的改进标准。 凹1 2 高清格式与标靖格式比较 f i g1 - 2 h d f o r m a ta n ds d f o r m a t 数宁电视在科技发展和用户需求的驱动下逐渐呈现了高清化、平板化以及网络化等儿 个发展趋势。高清晰度电视( h d t v h i g h d e f i n i t i o n t e l e v i s i o n ) 是相对于标准清晰度电视 ( s d t s t a n d a r dd e f i n i t i o n t e l e v i s i o n ) 而提出的。如图1 2 所示。标准清晰度电视的宽商 比约为4 ：3 ，图像分辨率为7 2 0 5 7 6 或7 2 0 4 8 0 ”1 ，传统的模拟电视即是标清电视标准， 采用隔行扫描模式( i n t e r l a c e ds c a n ) ，而数字电视是采用运行扫描模式( p r o g r e s s i v es c a n ) ， 相对于模拟电视垂直分辨率提高一倍。高清电视有效的提升了显示尺寸与画质，并形成了 西安理工大学硕士学位论文 相应电视图像的标准。高清电视的宽高比为1 6 ：9 ”1 ，图像分辨率包括1 2 8 0 7 2 0 p 、1 9 2 0 1 0 8 0 i ( 隔行) 和1 9 2 0 1 0 8 0 p ( 逐行) 等格式( i t u rb t 7 0 9 1 0 和s m p t e 2 7 4 m 1 1 标准的规定) ，3 7 寸以上的显示设备能够更好的体现出高清电视的特点。平板电视1 是 指利用平板显示屏作为显示部件的电视接收机，分为等离子( p d p ) 、液晶( l c d ) 及数字背 投技术( 包括硅基液晶l c o s 背投和数字光源处理d l p ) 。随着l c d 技术的发展以及液 晶屏八代线的投产使用，l c d 液晶屏已克服了响应速度、视角、对比层次、色彩度及成 本等发展瓶颈。液晶电视主要特点是低功耗、高分辨率、寿命长以及画质优良和价格合理。 网络电视( i p t v ) “”随着互联网的普及应用也随之出现与发展。目前，业界开始致 力在数字电视上实现基本的网络通讯功能，融合数字电视和网络多媒体功能。网络化是数 字电视功能的进一步扩展，通过网络通讯连接，将网络上各类信息显示于电视屏幕，实现 用户对网络多媒体资源的阅览甚至与其他用户在线互动视讯交流。但l p t v 的硬件开发成 本和使用费用的降低是设计者和用户都关注的问题。日前在一些高端数字电视上已经实现 了视频点播、网络多媒体播放和在线互动等功能的集成。 自上世纪9 0 年代初以来，我国相芙机构组织开展了数字电视传媒体制和标准的研发 进程。现已确定数字电视卫星广播采用欧洲d v b s 标准，有线广播在采用d v b c 标准， 上海交太制定的a d t b ，t 方案和清华大学的d m b t 方案融合而成的地面广播标准已于 2 0 0 7 年8 月1 日开始实施。中国数字电视主要由有线数字电视、地面数字电视、卫星数 字电视、i p t v 网络电视四类构成。t l ，国数字电视市场的主力军是有线数字电视市场，有 线数字电视市场规模占整体数字电视市场规模的7 44 7 ：其次是占据整体数字电视市场 的1 47 9 的卫星数字电视；地面数字电视市场规模已占据整体数字电视市场规模的 55 8 ：i p t v 市场规模目自u 大约只占5 1 6 。“4 1 如图1 3 。 陬霹 么 蚓卜3 中国数字电视市场规模 比( 2 0 0 9 年 f i g l 一3 c h i n a d i g i t a l t v m a r k e ts h a r ep r o p o r t i o n 囤匿翌 图卜4 中国数字电视用户市场发展 f i g1 - 4 c h i n a d i g i t a l t vu $ c r m a r k e t d e v e l o p m e n t 据统计( 如图i 一4 ) ，2 0 0 6 年中国数字电视用户市场规模达到1 3 5 56 万户，2 0 0 7 年中 国数字电视用户市场规模达到2 9 6 3 万户，2 0 0 8 年中国数字电视用户市场规模达到5 3 1 7 万户，2 0 0 9 年中国数字电视用户市场规模达到8 3 2 6 万户预计到2 0 1 5 年中国数字电视 用户市场规模达到36 6 亿户左右。未来中国数字电视终端市场增长将依然以有线数字电 视作为发展主体，在有线数字电视市场的带动下，地面数字电视、卫星数字电视也己经开 始启动，并不断扩大市场规模，i p t v 也将在业界的研发和网络化普及进程中不断提升自 己在数字电视领域的地位。中国数字电视用户市场将在有线、地面、卫星、i p 等多类别 发展中得到快速的发展。”4 1 2 2 视赣后处理芯片 i h 调斟码h 一处理陋 图i - 5 数字电视接收系统 f i gl 一5d i g i t a lt vr e c e i v i n gs y s t e m 如图1 5 所示“”，数字电视接收系统主要模块是信道解调、信源解码和视频后处理， 三个模块可以是独立的处理芯片，也可作为一个单芯片s o c 系统中的三个处理单元。随 着s o c 的不断发展应用，单芯片后处理芯片将成为发展的必然趋势。 其中信源解码、视频后处理芯片是决定视频图像质量的核心。信源解码芯片是指将数 字化梳状滤波器和彩色数字解码集成，它提供亮色分离后的数字视频信号输出，通常也称 作视频预处理芯片。视频后处理芯片则是通过数字信号处理对解码后的视频图像数据进行 图像格式转换和凰像效果增强处理，把不同格式的输入视频信号转换成某种通用格式的输 出信号，从而应用于播放设备的显示“”，在数字领域实现多输入信号到显示设备之间的 兼容和无缝连接。同时，利用v l s i 作为核心处理器完成去隔行处理1 7 1 i g l 帧频变换“”、 图像尺寸缩放1 2 0 1 图像降噪 2 1 l 图像锐化t 2 2 1 亮度和色度瞬态提升“川2 4 1 、对比度增 强k 2 5 1 颜色增强”6 1 和菜单显示( o s d ) 。7 1 等多种功能。实现原来在模拟域很难实现或 者不可能实现的视频后处理算法，使得图像质量得l u 极大的改善，从而降低对显示设备及 其周边电路的性能要求降低数字电视的设计成本。视频后处理的性能优劣主要因素是硬 西安理工大学硕士学位论文 件架构和相应的各种视频处理算法，算法效果的好坏、精度的高低于计算复杂度成正向关 系，相应的硬件实现成本也随复杂度的提升而提升。保证算法性能同时减少设计成本使得 两者达到折中与平衡，是数字电视视频后处理技术研究的核心课题。 由于视频后处理不仅需要高效的算法实现，而且具有高度的商业价值，所以具有非常 高的研究价值。因此，国内外电视业界或科研机构都非常重视电视视频数字化处理的研发。 当今全球从事数字电视视频处理方面的主要供应商包括泰鼎( t r i d e n t ) 1 2 8 1g e n e s i s 眨鲫和 p i x e l w o r k s 等。这些公司的产品成熟，种类很多，从低端到高端，占有绝大部分的市场份 额。台湾的大小m ( 发科技( m t k ) 、晨星( m s t a r ) ) 和晶宝禾l j ( p o w e r l a y e r ) 等新兴设计 公司也逐步介入该领域，并在业内的发展也极其显著，目前大小m 的研发实力与产品市 占已位列全球前列，其他传统的电视：苍：片供应商也在数字电视控制芯片领域耕耘数年，如 恩智浦( n x p ) 、意法半导体( s t ) 、n e c 、m i c r o n a s 、瑞萨( r e n e s a s ) 、t o s h i b a 以及卓然 ( z o r a n ) 等公司。国内不少科研机构和设计公司也已陆续开发出了拥有自主知识产权的视 频后处理芯片。上海交大和西安交大3 叫高校科研机构都宣布开发出了视频后处理芯片， 商业公司方面深圳艾科创新微电子有限公司、成都威思达芯片设计公司等多款数字视频转 换和后处理芯片也已经产业化。 1 3 论文主要工作与内容安排 本论文的主要工作是在了解视频后处理系统和去隔行核心模块的各类处理算法原理 的基础上，设计验证各去隔行算法并分析其优缺点，同时从实际应用和处理效果以及硬件 实现的可行性角度出发，对现有视频后处理算法中去隔行算法进行优化和改进，特别针对 传统边沿自适应去隔行算法中存在的缺点进行分析并给以改进提出从时域方向寻找相关 方向完成去隔行插值，另外对运动补偿去隔行算法给以改进完成设计验证。通过软件仿真 证实改进算法的可行性之后完成硬件r t l 级设计。最后设计合理的数据流向与数据缓存 及处理架构方案，搭建由f l a s h ，s r a m ，f p g a ，l c d 组成的硬件验证平台，对改进算法 实现硬件级验证。 本论文根据内容划分为数个章节，其结构如下： 第一章介绍本文的选题背景、意义、国内夕i - 4 = 2 f m a x ) ，才能保证采样的数字信号不失真，否则欠采样时， 由于采样后的信号会引入虚假的低频分量而出现信号混淆现象可知消除信号混淆的直接 方法是通过一个低通滤波器将被采样信号中高于采样率i 2 的高频分量滤除，称为反泄淆 滤波器。然而对于采样电视信号，信号的预处理只能在摄像机的光学通路中完成。所以信 号的反混淆在实际系统中不容易实现，将导致一次谐波分量混在隔行采样电视信号中。t u 知，去隔行不是一个单纯的线性采样频率问题。 如果观察者跟踪移动物体，运动产生的高频分量在视m 膜上将投影成直流分量。这时 采用时域滤波将会降低图像质量。电视信号隔行采样后都会出现频谱混迭的现象。严格意 义上讲，击隔行滤波器输出的运行信号的画质会低于由原始的连续信号采样生成的迓行电 视信号。 传统的隔行扫描电视信号是将一帧完整图像分为奇场和偶场分别传输：一帧= 奇场+ 偶场13 2 1 0 去隔行处理过程是与之相反的处理过程。去隔行处理后画面要更优越，提高了 场频，彳亍频并消除大面积闪烁和行间闪烁、提升了垂直分辨率使画面更清晰。 如图2 - 4 所示，去隔行处理基本原理是根据图像序列时空相关性，将输入以隔行扫描 电视信号的奇偶场为单位，通过已有的奇偶行像素，采用图像处理技术估算当前场缺失行 像素生成一帧运行图像，尽可能的恢复出与原始逐行罔像最接近相关的逐行图像，从而消 除隔行扫描的缺酷并改善电视嘶面的质量；同时也生成了在数字点阵显示设备中更具各兼 容性的逐行图像格式。从数学角度分析，去隔行的过程如式( 21 1 ： 西安理工走学硕士学位论文 州。f ，“”“2 一 l 毗h “) o t h e r f 2 1 、 式中的( x ，mn ) 表示画面中各像素的3 d 空问位嚣坐标，n 表示场序列号，f ( x ，弘n 表示输入场的像素点亮度值，yr o o d2 - nr o o d2 表示输入场只有奇数行或者只有偶数行，f ( x ，h n ) 表示重构的插值像素点亮度值，作为偶场的奇行像素或奇场的偶行像素。 里i 里 匡i 匡 一 图24 去辐行处理示意酗及处理效粜 f i g2 4s c h e m a t i c a n dp r o c e s s i n ge f f e c to f d e i n t e r l a c i n g 2 2 去隔行算法概述 逐行扫描能够提供较高质量的图像，但现今大部分电视制式主要还是采用隔行扫描， 所以逐行扫描的节目信号源比较氍乏。为了获取逐行信号，将接受的隔行扫描信号转成为 逐行扫描信号的去隔行成为了研究的热点，随之出现了许多去隔行算法，早期较为简单且 在一定程度可以达到处理效果的丰流算法是线性插值算法，之后的运动自适应算法对于动 态物体的图像有了一定的针对性处理，提升了算法性能。再到以运动自适应算法为基础t 考虑全局统计和边沿平滑滤波的综合算法。为了完善的解决对运动物体的处理问题，研究 人员提出了基于运动补偿的系列算法，谚算法对运动物体具有很好的性能。但山于运算较 为冗繁，硬件实现代价过高只是在高端专业领域应用。随着9 0 年代微电子技术的发展， 单芯片集成度达到了几百万级晶体符，芯片规模得以提高，届时运动补偿去隔行算法外始 在消费类电子中得以应用。下文将针对各种去隔行算法，详细的进行原理介绍、算法分析 以及算法总结。当前算法主要分为两大类：无运动补偿去隔行：运动补偿去隔行算法。 2 2 1 基于非运动补偿去隔行算法 非运动补偿的去隔行算法分为线性和非线性两种类型线性算法是最简单的去隔行算 视频去隔行算法综述 l 一 ( 2 2 ) h ( n 1 ，n ) = i ( m = - i ，n 2 。) ( 2 3 ) 西安理工大学硕士学位论文 yy abc y - 1 、：p o y + 1 一 def x 1x x + 1 图2 - 5 行复制与行平均示意图 f i g 2 - 5 l i n er e p e t i t i o na n dl i n ea v e r a g i n g 行平均算法利用待插行的上下邻行像素的平均值作为插值。它的脉冲响应表述如下： ， 、厂0 5 ( m 2 1 ，n 2 0 ) h ( m ，n ，) 2j 0 5 ( m ：1 。n ：o ) l 。 。t h e r ( 2 4 ) 类似的，它在垂直方向上会分辨率也有所降低，但与行平均算法比较，产生的阶梯现 象较为柔和。图2 5 是行平均算法的示意图。 另外一种改进的行平均算法不仅利用待插点的上下两行像素，还利用到相邻列上下 两行的像素，即左右4 5 度对角线方向上的四个点，共6 个像素点来计算插值 p = ( a + b + c + d + e + f ) 6 。如图2 5 。相对行平均来说，改进方法原理类似，只是引入更多的 象素，但效果没有很大的改进。况且该方法硬件实现时存储使用大于前者，故较少不采用。 ( 2 ) 时间滤波( t e m p o r a l f i l t e r ) 上述滤波器只采用了空间信息完成插值，时域滤波( 场问( i n t e r - f i e l d ) 插值) 引入时 域信息，利用了时域内相邻场问图像信息的相关性来进行线性插值的。又称为“w e a v e ” 算法。有线性场重复( f i e l dr e p e t i t i o n ) 算法和线性场平均( f i e l da v e r a g i n g ) 算法。因为在前后 相邻两场中，与待插行同行的像素均是来自于图像原始行信息，所以可以将相邻场的同行 信息直接复制( 场复制) 或通过前后场同行信息权值计算( 场平均) ，实现插值。如图2 6 ： 、y t t 图2 - 6 场复制与场平均示意图 f i g 2 - 6 f i e l dr e p e t i t i o na n df i e l da v e r a g i n g 场复制的插值过程如下表述： r _ f ( x ，y ，n )ym o d2 = nm o d2 f o ( x ，y ，n ) 2 一 lf i ( x ，y , n 1 ) o t h e r ( 2 5 1 场平均的插值过程如下表述： 视频去隔行算法综述 广f ( x 出n )y m o d2 - n r o o d2 f “x ，y , n ) = 一 l 【f i ( x y , n - 1 卜f i ( x , y , n + 1 ) 】2 o t h e r 闺2 7 场间算法对动、静削像处理效果 g i 9 2 7p r o c e s s i n ge f f e c to f i n t e r - f i e l da l g o r i t h m f o rs t a t i c i m a g ea n dd y n a m i c i m a g e 时域滤波对于空间域是全通的，如图2 7 ，对于静lj 图像，该算法是最好的处理方法。 因为场问插值相当于将来自于同帧且瓦不相同的行信息直接重叠或交织在一起产牛个 逆行的帧拼接构成全图像。毫无失真的保尉了所有的垂直频率分量。硬件实现代价比较小。 但足，对于存在运动物体的图像，由于i 可一区域在奇偶场的位置是不同的，如果芏 接插值 会在运动物体的边缘处j 现严重的边沿锯齿状图案。场复制与场平均算法各需要的数扒准 备为2 、3 场信息，这意味着需要预先缓存1 、2 场罔像数据，硬件实现做好缓存即t q 。 ( 3 ) 时空滤波( s p a t i a l t e m p o r a lf i l t e r ) o ” 时空滤波是对空间、时域滤波算法综合后提出的，它利用3 d 时空域内的信号相关性 计算待插信号。一个滤波器使用当前场内平均行线性插值，另一个滤波器在前一场中取得 垂直方向的高频信息，以弥补场内下均带来的垂直清晰度r 降。时空滤波器从前场中获得 的信息通常仅限于较高的垂直频率分量。对于无垂直细节、水平移动的物体，凌滤波器就 演变为一个空f i j 滤波器因此不会造成边沿锯齿现象。但该算法会产生边缘模糊。这是因 为时空滤波器将前场中得到的垂直细节信息直接与在时间上移位了的当前场相结合的缘 故，对边缘没有保护特性。 总而言之，线性去隔行算法的原理简单且硬件实现较为容易但是不涮算法对j 罔像 的处理效果因情况而异。 b 非线性类算法 线性算法只能在特定的情况f 达到满意的处理效果：线性时域插值对于静止图像的处 西安理工大学硕士学位论文 理可以达到完美的去隔行效果；空间滤波对于在垂直方向上无细节的图像也能达到较为 理想的去隔行效果。在人们对各算法特性的深入分析中，一种将不同算法优势相结合，并 监测处理对象的不同运动情况和细节情况，灵活的切换和调整不同滤波器进行处理以消减 模糊和混叠效应的新算法被提出，而且在理论上是可行的。在2 0 世纪8 0 年代后期和9 0 年代初产生了很多非线性的自适应算法。这些算法的核心是设计合理的计算方式和判断原 则，对处理图像场景的运动情况或边沿细节进行正确的检测。可以是