（微电子学与固体电子学专业论文）高清视频去隔行处理系统的关键技术研究.pdf

中文摘要 随着计算机技术、通讯技术以及超大规模集成电路技术的进步和相互融合， 电视行业正在经历一场由模拟电视全面向数字电视转换的发展过程。由于数字电 视巨大的市场潜力，作为数字电视系统核心的数字视频图像后处理芯片及相关技 术的研发，成为了行业关注和竞争的焦点。对于高清晰度数字电视来说，视频后 处理技术中最为重要的部分就是视频信号的去隔行处理功能，但已有的去隔行算 法已经无法适应高清视频图像处理高性能、低成本的要求，因此本文针对高清数 字电视应用进行了去隔行处理关键技术的深入研究。 本文是天津市重大科技攻关计划项目“视频信号处理芯片的研发”课题的延 伸，并与晶宝利公司合作进行高清数字电视后处理芯片的产品化开发。本文提出 了结合电影模式处理和图像预降噪的高清视频去隔行处理系统，其主要创新点为 去隔行插值、电影模式处理和隔行图像预降噪等三方面关键技术的新型算法研 究。 本文提出了基于全局统计和边缘平滑滤波的新型视频去隔行图像插值技术。 该技术采用全局统计运动检测技术获取运动信息，同时结合边缘平滑滤波的场内 相关性插值技术，进行高清视频图像自适应插值计算。实验结果表明，该技术的 算法复杂度适当，对动态和静止图像都有较好的处理效果。 文章提出了一种新型全格式电影模式处理技术。该技术利用逐像素的帧、场 变化统计以及基于高斯分类的电影模式状态识别对电影模式源进行检测和处理。 在实现方法上采用软硬件协同处理的方式，节省硬件资源占用的同时保证了处理 模式的可更新性。实验结果表明，该技术可以有效识别各种电影模式序列以及影 视混合图像并进行处理，图像还原结果得到有效保证。 本文还提出了隔行图像自适应预降噪技术。该技术根据去隔行插值处理的数 据结构，利用噪声的概率分布特征进行统计和分析，有针对性的采用场内滤波和 场问滤波相结合的自适应降噪处理方法，有效的降低了常见高斯噪声和椒盐噪声 的影响，提升了图像质量。 最后，论文给出了高清视频去隔行处理系统的芯片架构和功能模块设计，并 且定义了模块间的时序关系。仿真测试结果显示本系统设计满足高清视频处理时 序要求，整体系统资源占用适当，适合于高清数字电视视频后处理芯片的实时应 用。 关键字：数字电视、视频图像后处理芯片、高清视频、去隔行处理系统、电影模 式处理、图像预降噪 a b s t r a c t a st h er a p i d l yg r o w t ha n dc o m b i n a t i o no fc o m p u t e rs c i e n c e c o m m u n i c a t i n ga n d v l s it e c h n o l o g y , t vi n d u s t r yi se x p e r i e n c i n gt h et h o r o u g hc h a n g ef r o ma n a l o gt v b r o a d c a s t i n gs y s t e mt od t vs y s t e m t h er e s e a r c ha n dd e v e l o p m e n to fd i g i t a lv i d e o i m a g ep o s t - p r o c e s s i n gi ca n da l g o r i t h m ，w h i c hi st h ek e r n e lo fd t v s y s t e m ，b e c a m e t h em a i nc o m p e t i t i o nf i e l do ft h eh u g ef u t u r em a r k e t t h em o s ti m p o r t a n tf u n c t i o no f h i g hd e f i n i t i o n ( h d ) t vp o s t p r o c e s s i n gi st h ed e - i n t e r l a c ep r o c e s s i n go fi n t e r l a c e d s i g n a l b e c a u s et h eh i g hp e r f o r m a n c ea n dl o wc o s to fh dv i d e oc a n tb ea c q u i r e db y c u r r e n td e - i n t e r l a c i n gm e t h o d ，t h i sd i s s e r t a t i o nm a i n l yf o c u s e so nt h ed e e p l yr e s e a r c h o f d e - i n t e r l a c i n gk e yt e c h n i q u ef o rh d t va p p l i c a t i o n t h i st h e s i si sa ne x p a n s i o no ft h ep r o j e c t r e s e a r c ha n dd e v e l o p m e n to fv i d e o s i g n a lp r o c e s s i n gc h i p w h i c hi ss u p p o r t e db yt i a n j i nk e yt e c h n o l o g i e sr & d p r o g r a ma n dt h ep r o d u c td e v e l o p m e n ti sc o o p e r a t e dw i t hp o w e r l a y e rm i c r o s y s t e m s ( b e i j i n g ) l t d t h i sd i s s e r t a t i o ni n t r o d u c e sli dv i d e od e i n t e r l a c ep r o c e s s i n gs y s t e m w i t hf i l mm o d ep r o c e s s i n ga n di m a g ep r e d e n o i s i n g t h e c r e a t i v ep o i n t so ft h i s d i s s e r t a t i o na r et h r e ek e yt e c h n i q u e s ，i n c l u d e d ：d e - i n t e r l a c i n gi n t e r p o l a t i o n ，f i l mm o d e p r o c e s s i n ga n di m a g ep r e - d e n o i s i n g an o v e lh dv i d e oi m a g ed e i n t e r l a c i n gi n t e r p o l a t i o nt e c h n i q u ew h i c hi sb a s e d o ng l o b a ls t a t i s t i cp r o c e s s i n ga n de d g es m o o t hf i l t e r i n gi sp r o p o s e d i nt h i st e c h n i q u e ， t h ee x a c t l ym o t i o ni n f o r m a t i o ni sc a l c u l a t e db ym o t i o nd e t e c t i o nw i t hg l o b a ls t a t i s t i c t h er e l a t i v i t yd i r e c t i o n a l f i l t e r i n gw i t he d g es m o o t hi s ，a d o p t e db yi n t r a f i e l d i n t e r p o l a t i o n t h ec o m p u t ec o m p l e x i t yo ft h i sh dv i d e oa d a p t i v et e c h n i q u ei s a d v i s a b l ea n dt h eh i g hq u a l i t yr e s u l t sa r ea c h i e v e df r o mb o t ho fm o t i v ea n ds t a t i o n a r y o b j e c t ， n e w t e c h n i q u eo ff i l mm o d ep r o c e s s i n gf o ra l lf i l mc a d e n c e si sp r o p o s e d t h e p i x e ll e v e lf r a m e f i e l dd i f f e r e n c es t a t i s t i ci su s e db yf i l mm o d ed e t e c t i o nb a s e do n g a u s s i a nc l a s s i f i e r t h ed e s i g no fc o o p e r a t i o nw i t hs o f t w a r ec a l c u l a t i o na n dh a r d w a r e o p e r a t i o ns a v e st h eh a r d w a r er e s o u r c ea n dp r o v i d e st h eu p d a t ea b i l i t yo ft h eu n k n o w n c a d e n c e s a st h er e s u l t ，a l lt h ee x i s t i n gf i l mc a d e n c e sa n dv i d e o o n f i l m ( v o f ) c a s e s a r ec o r r e c t l yd e t e c t e da n d p r o c e s s e d a ni n t e r l a c e ds i g n a l a d a p t i v ep r e - d e n o i s i n gt e c h n i q u ei sp r o p o s e d i nt h i s t e c h n i q u e ，t h en o i s ep r o b a b i l i t ys t a t i s t i c a lc h a r a c t e r i s t i ci sa c q u i r e da n da n a l y z e di n t e r m so ft h ed a t as t r u c t u r eo fi n t e r l a c e di m a g e t h ep i x e li ss e l e c t i v ep r o c e s s e db y i n t r a f i e l d f i l t e r i n ga n di n t e r - f i e l df i l t e r i n g r e d u c e dt h eg a u s s i a nn o i s ea n ds a l t p e p p e r q u a l i t y t h i sa d a p t i v ep r o c e s s i n g e f f e c t i v e l y n o i s ea n di m p r o v e dt h ev i d e oi m a g e a tl a s tt h i sd i s s e r t a t i o np r o v i d e st h ev l s ia r c h i t e c t u r eo fh dv i d e od e - i n t e r l a c e p r o c e s s i n gs y s t e ma n dh a r d w a r ed e s i g no ff u n c t i o n a lm o d u l ea n di n t e r f a c e s t h e s i m u l a t i o nr e p o r t ss h o wt h a tt h eh dv i d e ot i m i n g r e q u i r e m e n ti ss a t i s f i e da n d h a r d w a r er e s o u r c eu s a g eo ft h ew h o l e s y s t e mi sr e a s o n a b l e t h i ss y s t e mi ss u i t a b l ef o r r e a l - t i m ea p p l i c a t i o no fh d t v p o s t - p r o c e s s i n gi c k e yw o r d s ：d t v ( d i g i t a lt e l e v i s i o n ) ，v i d e oi m a g ep o s t p r o c e s s i n gi c ，h i g h d e f i n i t i o n ( h d ) v i d e o ，d e - i n t e r l a c ep r o c e s s i n gs y s t e m ，f i l mm o d ep r o c e s s i n g ， p r e d e n o i s i n g 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得叁鲞蠢堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名： 嘶 签字日期：枷寸g年f 月乡日 学位论文版权使用授权书 本学位论文作者完全了解苤鲞盘堂有关保留、使用学位论文的规定。 特授权鑫鲞盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： l 司i 鸯 导师签名：姗炙 抑喙久 签字日期：沙田年6 月6 曰 签字日期：埘年舌月6 日 第1 章绪论 第1 章绪论 随着计算机技术、通讯技术以及超大规模集成电路技术的进步和相互融合， 数字视频处理技术在过去的几十年中蓬勃发展，各种新型方法层出不穷，其应用 领域也延伸到社会的方方面面。目前，数字视频处理技术已经成为许多国家竞相 争夺的技术制高点，可以说其发展水平和应用程度从一定程度上体现着一个国家 的i t 产业的综合实力。 作为数字视频图像处理技术最主要的应用领域之一，电视行业的发展己经日 益成为消费电子产品，乃至整个电子行业发展的驱动力，因此一直受到业界和媒 体的热切关注。虽然我国已经成为世界上最大的电视生产国和消费国，但令人遗 憾的是，很多核心技术的优势并不明显。特别是数字电视技术方面，与欧美日等 发达国家还有很大的差距。开展具有自主知识产权的高清数字电视视频处理芯片 以及相关处理技术研究，对我国数字电视的发展具有重要的战略意义和巨大的市 场价值。 1 1 课题背景 1 1 1 数字电视现状 在经历黑白电视、模拟彩色电视、图文电视、数字处理模拟电视几个阶段之 后，电视行业正在经历一场向数字电视转换的革命。与传统的模拟电视相比较 而言，数字电视具有以下的特点：数字信号清晰度高、音频效果好、抗干扰能力 强，不受噪声累积的影响；数字信号传输采用数据压缩编码技术，更合理有效地 利用各类频谱资源，传输信道带宽较模拟电视大为减少，且输出信号易于存储； 数字电视输出信号具有可扩展性、可分级性和可操作性，便于在各类通信信道或 有线电视信道中传输。 严格意义上的数字电视系统【2 】是从节目摄制、节目编辑、节目制作、信号发 射、信号传输、信号接收到节目显示完全数字化的电视系统。作为新一代的电视 制式，需要建立全新的标准以适应发展的需要。目前，国际电信联盟( i t u ) 已 经批准的数字电视广播标准体系有三种： 一是美国的a t s c 数字电视标准，该标准基于高清晰度电视，编码采用 m p e g 2 视频压缩和a c 3 音频压缩，数字调制采用8 v s b 或l6 v s b 残留边带 调制方式，信道编码采用r s ( 2 0 7 ，1 8 7 ) 编码。美国联邦通信委员会( f c c ) 已作出规 第1 章绪论 定实施强制配备数字电视调谐器的“鲍威尔计划( p o w e l lp l a n ) ”，自2 0 0 7 年3 月1 日开始在美国国内销售的所有电视机都必须是数字电视，且均须符合a t s c 的技术规范。 二是以欧i l i | 为中心的d v b 数字电视广播标准组织，该标准与a t s c 标准不 同之处在于该标准以标准清晰度电视为起点，音频、视频编码和系统复用均采用 m p e g 2 标准。该组织分别制订了数孚电视卫星广播标准d v b - s ( 采用q p s k 调 制) 、数字电视有线广播标准d v b c ( 采用q a m 调制) 、数字电视地面广播标 准d v b t ( 采用c o f d m 调制方式) 。目前d v b 标准最为世界各国接收并广泛 采用。 三是日本n h k 推出的综合业务数字广播( i s d b ) 标准，该标准与d v b 标 准相近，可以看成在其基础上的改进标准。 我国政府有关部门自2 0 世纪9 0 年代初以来，组织开展了数字电视传输体制 和标准的研究开发工作，在数字电视标准方面，目前已经确定数字电视卫星广播 采用欧洲的d v b s 标准，有线广播也在广电行业内默认采用d v b - c 标准，而 2 0 0 7 年8 月l 口开始正式实施的地面广播标准为上海交大提交的a d t b - t 方案 和清华大学提交的d m b - t 方案融合而成。根据国家广电总局的规划，到2 0 1 0 年中国将普及数字电视并在2 0 1 5 年全面停止模拟电视业务。 随着人们需求的不断提高，技术的不断进步，数字电视逐渐呈现出高清化、 平板化以及网络化等几个特点。 固1 ，1 高；青格式与标清格式比较 高清晰度电视( h d t v ，h i g hd e f i n i t i o n t e l e v i s i o n ) 简称高清电视，其概念是 相对于标准清晰度电视( s d t v , s t a n d a r dd e f i n i t i o n t e l e v i s i o n ) 而提出的。标准清 晰度电视的宽高比约为4 ：3 ，闰像分辨率为7 2 0 4 8 0 或7 2 0 5 7 6 ”j 。传统的模拟 电视却采用该格式作为标准，但其有效的扫描行采用隔行模式( i n t e r l a c e ds c a n ) ， 用于数字电视广播的数字电视信号由于为逐行模式( p r o g r e s s i v es c a n ) ，因此垂 直清晰度提高了一倍。为了提升电视图像的尺寸与质量，提出了高清晰度电视的 第l 章培论 概念，并制定出相应的标准，以规范电视图像格式。根据i t u r b t 7 0 9 1 4 1 和s m p t e 2 7 4 m 1 5 i 标准的规定，高清晰度电视的宽高比为1 6 ：9 1 ”图像分辨率包括1 2 8 0 7 2 0 p 、1 9 2 0 1 0 8 0 i ( 隔行) 和1 9 2 0 1 0 8 0 p ( 运行) 等格式，这种比例的图像更 符合人服的视觉特性，如图1 1 所示。通常认为3 7 寸蚍上的显示设备才能真正 体现出高清电视的播放优势。 平板电视闭是指使用平板显示屏来作为电视图像显示的电视接收机按技术 特点可分为液晶( l c d ) 、等离子( p d p i 以及数字背投技术( 包括数字光源处理d l p 和硅基液晶l c o s 背投) 。其中随着近几年液晶技术的发展以及第八代液晶屏 生产线的投入使用，l c d 液晶屏已突破了视角、响应速度、对比层次、色彩鲜艳 度及大屏幕价格的发展瓶颈，加之独有的高分辨辜、低功耗、长寿命的特点，液 晶电视以其完美的图像质量和可接受的价格成为目前发展最快的电视种类。 此外，随着互联网技术的不断发展，网络电视( p t v ) 1 8 1 这种新兴的网络应 用模式也开始崭露头角。但由于硬件设备不够健全、安装费用较高以及消费者长 久的消费习惯不易改变等问题，其发展过程中遇到了很多阻力。因此目前，人们 开始探索在数字电视上实现基本的网络功能，从而将数字电视和网络电视的功能 相融合。应该说网络化是数字电视功能的进一步延伸，通过与互联网或局域网相 连接可以将网络上的各种信息显示在屏幕上，用于观看视频、电视节目以及各 种多媒体信息，甚至与其他的用户进行互动交流。目前在高端数字电视上已经实 现了视频点播、网络互动以及媒体播放等功能。 2 0 0 72 0 0 82 0 0 92 0 1 0 2 0 l i 2418i310o b i 49 17 8 02 7 n l6l 5 1 1 81 361 5ol e l 2 7 199 371 1 001 2 681 4 06 圈1 - 2 电视的市场占有率预期 从调查机构d j 8 p l a y s e a 岫提供的图1 2 数据9 曰以看出，目前传统的c r t 电视虽然仍占据很大比例，但是这主要是历史原因造成的，在未来几年其市场将 不断缩小，而背投型电视更是已经运渐浚出了市场。代表数字电视技术的液晶电 视和等离子电视的市场份额在不断的加大，特别是液晶电视在2 0 0 6 年和2 0 0 7 年的增长率分别达到了1 1 7 和5 6 ，预计在今年将超过传统c r t 电视占据市场 的主导地位。而韩国调查机构d i s p l a y b a n k 的统计数据i t o l 如图】- 3 ，其中显示了 各种液晶l c d 尺寸面板的市场占有率以及对未来的预期，其中4 0 寸左右的大屏 幕液晶电视的增长幅度十分迅速。可以看到，未来的大屏幕高清晰度数字电视的 市场潜力巨大，这就为数字电视相关技术领域带来了广阔的应用空间和优越的发 展契机。 0 萱- 图1 - 3 液昌l c d 面板尺寸的市场占有宰及预期 1 1 2 视频后处理芯片简介 随着用户需求的不断提高，数字电视的画面愈加精细、应用愈加广泛、功能 愈加丰富，而支撑数字电视技术不断进步的正是数字电视处理芯片的发展。目前， 全球数字电视芯片的主要供应商包括泰鼎( t r i d e n t ) 、g e n e s i s 和p i x e l w o r k s 等。 其他传统的电视芯片供应商在数字电视控制芯片领域耕耘数年如恩智浦 ( n x p ) 、意法半导体r s t ) 、n e c ，m i c r o n a s 、t o s h i b a 、瑞萨( r e n e s a s ) 以及卓 然( z o r a n ) 等公司。瞄准这个巨大的市场，诸如联发科技( m t k ) 、晨星( m s t a r ) 和晶宝* u ( p o w e r l a y e o 等新兴设计公司也逐步介入这个领域。 数字电视处理芯片的最主要功能可以分为三部分，分别是信道解调、信源解 码和视频后处理，这三个功能可能是三个独立的处理芯片，也可能作为一个单芯 片s o c 系统中的三个处理功能单元。其中信道解调和信源解码对应不同的应用 地区都有相应的规范标准特别是在我国目前这种标准尚未完全确定的情况下很 难形成统一的规范。而数字视频后处理芯片由于具有较大的通用性和实效性，固 此随着人们对数字电视功能和图像质量的要求不断提高而发展进步，成为当前最 具市场开发价僮的研究领域之一。 l _ 坤o 第l 章绪论 视频后处理芯片的功能主要是利用数字视频处理技术，结合集成电路芯片的 高速运行的特点，对解码后的视频图像数据进行图像格式转换和图像效果增强处 理，以应用于播放设备的显示和提升画面质量1 1 1 。视频后处理功能包括视频信 号去隔行处理【1 2 】【1 3 】、图像尺寸缩放【1 4 】、帧频变换1 1 5 、图像降噪【1 6 】、亮度和色 度瞬态提升1 1 7 1 18 1 、对比度增强1 1 9 、图像锐化【2 0 】、颜色增强 2 q 和菜单显示( o s d ) 【2 2 j 等多种功能。 视频后处理功能的性能主要取决于各种视频处理算法及对应的硬件架构，通 常来讲，算法效果越好、精度越高，那么其计算复杂度也会相应的增加，随之带 来硬件实现代价的提升。对于目前的数字电视的应用来讲，其生产成本是设计中 不可忽视的因素，因此如何在算法性能和实现代价中达到平衡点，是数字电视视 频后处理技术研究的核心课题。 1 1 3 课题意义 在当前模拟电视向数字电视过渡的阶段，虽然数字电视的性能在不断提高， 各种新型显示设备的普及速度也逐步加快，但是由于地区发展的不平衡以及诸多 历史原因，原有的模拟广播信号还会存在很长一段时间，而并不会马上消失。这 就需要目前的数字电视中对传统的模拟视频信号保持良好的兼容性，而视频后处 理功能也要考虑到传统视频图像格式的处理问题。 传统的模拟电视广播系统与新型数字广播系统最大的不同在于其采用的是 隔行扫描的视频播放格式。由于这种隔行方式可以有效降低带宽的占用，因此为 三大主要模拟彩色电视系统p a l 、n t s c 和s e c a m 共同采用，并且在高清电视 广播标准中也仍然保留了隔行信号格式( 1 0 8 0 i ) 。但是对于目前的逐行扫描显示 设备来说，面对隔行输入的视频图像就需要进行图像扫描格式的转换。由于该功 能是整个视频图像后处理的首个环节，其处理算法的优劣直接影响到最终显示图 像的质量，因此数字电视后处理芯片中最为关键的技术就是视频信号的去隔行处 理功能。 对于市场日益扩大的高清晰度数字电视，由于其图像尺寸的增大，画面更加 精细，因此对去隔行处理技术的要求也进一步提高。原有的用于标准清晰度电视 的去隔行处理方法虽然简单易行，但很多传统应用中并不明显的问题和缺陷在高 清电视中已经变得不可接受，因此这些方法已经无法满足当前需要。相对的，一 些用于高端视频图像处理的去隔行方法由于其运算复杂导致成本高昂，也无法真 正应用于市场普及。此外，目前多数去隔行方法都着重关注于对隔行图像的插值 计算，这样的处理往往存在一定盲目性，而如果能够通过对视频图像源的分析进 行有针对性的处理计算，往往能得到更好的图像质量。 第l 章绪论 综上所述，目前的高清数字电视后处理技术中，亟待出现高性能、高精度且 成本适中的去隔行图像处理方法。本文正是基于此种目的和需要，开展了结合电 影模式处理和图像预降噪的高清视频去隔行处理系统的关键技术研究。 1 2 本文的创新点 本论文是天津市重大科技攻关计划项目“视频信号处理芯片的研发”( 项目 编号：0 4 3 1 8 4 5 1 1 ) 课题的延伸，并与晶宝利( 北京) 微电子科技有限公司合作 进行高清数字电视后处理芯片的产品化开发，目标定位于国内中高端数字电视市 场。目前该芯片已进入硬件平台验证阶段，并申报两项国家发明专利。 本文致力于高清晰度数字电视的去隔行处理关键技术的研究，提出了结合电 影模式处理和图像预降噪的高清视频去隔行处理系统。针对高清晰度视频去隔行 处理过程中可能遇到的各种问题，本文的研究对象主要包括去隔行插值、电影模 式处理和图像预降噪三项关键技术。去隔行插值技术负责视频序列隔行像素的插 值计算；电影模式处理技术判断电影源以进行电影序列的恢复；图像预降噪技术 对隔行输入信号进行噪声抑制处理，以保证后续处理的准确性。 文中通过总结已有处理算法的优缺点，对各项关键技术进行了深入研究和分 析，分别提出了与之相对应的新型视频处理算法，主要创新点在于以下几个方面： 1 提出了一种基于全局统计和边缘平滑滤波的新型视频去隔行插值技术。 该技术采用全局统计的运动检测技术获取运动信息，同时结合边缘平滑 滤波的场内相关性插值技术，进行高清图像运动自适应插值计算。实验 结果表明，该技术的算法复杂度和硬件实现难度适当，对动态和静止的 视频都有较好的处理效果。 2 提出了新型全格式电影模式处理技术。该技术利用逐像素的帧、场变化 统计以及基于高斯分类的电影模式状态识别对电影模式源进行检测和处 理。在实现方法上采用软硬件协同处理的方式，节省硬件资源占用的同 时保证了处理模式的可更新性。实验结果表明，该技术可以有效识别各 种电影模式序列以及影视混合图像并进行处理，图像还原结果得到有效 保证。 3 提出了新型自适应隔行图像预降噪技术。该技术根据去隔行插值处理的 数据结构，利用噪声的概率分布特征进行统计和分析，有针对性的采用 场内滤波和场间滤波相结合的自适应降噪处理方法，有效的降低了高斯 噪声和椒盐噪声的影响，提升了视频的图像质量。 此外，本文给出了高清去隔行处理系统的芯片实现架构和功能模块设计，定 义了各个模块之间的接口时序。仿真测试结果显示系统设计可以满足高清视频处 第1 章绪论 理的时序要求，整体系统资源占用适当，适合于高清数字电视视频后处理芯片的 实时应用。 1 3 主要内容安排 本文的主要章节和内容安排如下： 第二章介绍了隔行与逐行视频信号的基本概念，列出了高清隔行视频容易出 现的图像问题，并在空间域和频率域对去隔行处理进行了理论分析，最后提出了 高清视频去隔行处理系统的概念。 第三章首先介绍了目前常见的去隔行图像插值方法，包括线性方法、非线性 方法以及运动补偿方法等，并分析了各种方法的优缺点。在此基础上结合实际应 用，提出了一种应用于高清视频的新型自适应去隔行图像插值技术，文中详细介 绍了基于全局统计的运动检测方法、结合边缘平滑滤波的方向相关性插值方法以 及自适应插值方法，最后进行了算法测试和实验结果分析。 第四章介绍了目前常见的电影模式序列以及在处理过程中可能出现的问题， 在此基础上提出了一种新型全格式电影模式处理技术，详细描述了各算法单元的 具体处理流程，最后对各种电影模式序列图像以及影视混合图像进行了测试处理 实验。 第五章介绍了各种数字噪声及其特点，列出了常见的各种降噪方法，包括帧 内滤波和帧间滤波方法。而后结合隔行视频的特点，提出了新型隔行图像自适应 预降噪技术，并对实验图像进行了测试比较。 第六章介绍了高清去隔行处理系统的整体芯片架构以及各功能模块的设计 和接口时序，并给出了最终的仿真测试结果。 第七章对本文的工作进行了总结，并提出了下一步的研究方向。 第2 章高清视频去隔行处理系统概述 第2 章高清视频去隔行处理系统概述 视频去隔行处理的基本功能是将隔行图像信号转换成逐行图像信号，在处理 过程中可能受到噪声以及不同图像源格式等因素的影响，导致生成图像出现缺 陷。本章首先介绍去隔行处理的基本概念以及可能出现的图像问题，而后从空间 域和频率域角度分析去隔行处理的原理。最后以此为基础提出高清视频去隔行处 理系统的概念并简要介绍该系统的结构。 2 1 去隔行处理基础 2 1 1 隔行与逐行视频的基本概念 在隔行视频信号中，每一幅图像中只包含完整图像中一半的信息，如图2 1 所示通常将去隔行处理之前的一幅隔行图像称为一场( f i e l d ) ，而相对的将处理 之后包含每个像素信息的逐行图像称为一帧( f r a m e ) 。 第n 1 场 ( 底场) 第n 场 ( 项场) 图2 1 帧与场的对应关系。 第n + l 场 ( 底场) 图中黑色点表示原始采样点，而灰色点表示插值采样点。每一场图像中分别 包含图像奇数( 或偶数) 行的信息。为了在描述中加以区分，这里将对应逐行图 像偶数行( 如图中的0 2 4 行) 信息的图像称为顶场( t o pf i e l d ) ，而对应奇数 o 1 2 3 4 5 6 o 1 2 3 4 5 6 o 1 2 3 4 5 6 第2 章高清顿击哺行处理藁 姓 行( 如图中的1 3 5 行) 的图像称为底场( b o t t o mf i e l d ) 2 , 1 2 高清隔行视频可能导致的圈像问曩 由于隔行视频中信息的缺失，因此在实际的播放时往往会导致图像出现问 题，造成观感的下降。特别是对于高清视频来说，这些图像问题将更加明显，下 面总结几种常见的问题： 行间闲烁( f l i c k e r ) 行间闪烁p 】主要和细小的水平边缘有关，即图像中一条沿着水平方向的边， 如门窗的上下边。园为隔行信号的特性。一个精细的水平边缘只能在相邻的两场 中的一场显示，而在另一场中就消失了，这样这个精细的水平边缘就相当于以帧 频( 3 0 h z 或者2 5 h z ) 在进行显示。观察者可以明显的觉察到这种异常的显示， 而如果这种边缘有垂直运动的话，这种冈烁也会随着垂直运动而移动，严重影响 观看效果。 锯齿( j a g g i e s ) 现象 锯齿现象是隔行信号显示的一个普遍的现象，主要出现在静止或运动物体的 对角线斜边处，如圈2 - 2 所示。对于静止或运动较少的图像，较低的垂直分辨 率会引起台阶效应。当图像包含运动对，情况就变得更糟糕了。隔行图像的边缘 每场只有一半的行数进行更新，这样就导致损失了边缘的细节。进一步，当边缘 运动起来之后，下一场的边缘就会出现相对的位移，锯齿装的边缘就这样从一场 运动到下一场，产生连续的锯齿现象。 ( a ) 有锯齿 阻2 - 2 锯齿现象 ( b ) 无锯齿 第2 章高蒲频女行n 目统鬣* 爬行( c r a w l i n g ) 爬行是一种隔行信号产生的虚像，它主要出现在没有运动和较少细节的图像 中当观察者离显示设备比较近的时候这种现象更为明显。因为每条隔行扫描 线每帧只更新一次，人眼有时会盯住一组扫描线。在下一场，新的扫描线会出现 在旧的扫描线之间，看起来好像原来的那组扫描线向上或向下移动到了一个新的 位置上。在下一场，这一组扫描线又出现在原来的位置。最终的观看效果就是一 组扫描线快速的向上或向下移动，从而引起爬行现象。 羽化( 如a t h e r ) 现美 羽化现象通常会出现在运动物体的轮廓处，主要是由于运动检测失误导致 的。当运动的物体被误判断为静止，为了复原静止图像就会采用场间插值处理， 那么在运动物体的轮廓边缘烛，两个存在相对位移图像直接拼合，将导致图像出 现虚影，如图2 3 所示。 薹矗 ( a l 有骑化 田2 - 3 珊化现象 2 1 3 去隅行处理的空间域与频率域相关性 f b l 无羽化 视频去隔行处理就是要根据给定的隔行视额信号。估算出缺失的图像数据， 最终将其恢复为运行视频信号。从视频处理的角度可虬将去隔行处理看作是图像 的上采样变换处理( u p - s a m p l i n gc o n v e r t i o n ) 1 2 4 1 o 第2 章高清视频去隔行处理系统概述 根据视频采样率变换理论，隔行视频信号和处理后的逐行信号表示为如图 2 4 所示的采样晶格( s a m p l i n gl a t t i c e ) 阵列v 及其倒晶格( r e c i p r o c a ll a t t i c e ) 阵 列u 。为了便于说明问题，这里忽略了空间方向上的水平x 轴，而用垂直y 轴和时 间t 轴组成y - 维采样空间坐标系v t ( v e r t i c a l t e m p o r a l ) ，并且将y 轴和t 轴的单 位刻度统一为相同长度。 ( a ) 隔行信号的晶格阵列和倒晶格阵列 ( b ) 逐行信号的晶格阵列和倒晶格阵列 图2 _ 4 隔行信号和逐行信号的晶格阵列和倒晶格阵列。 采样晶格阵列v 及其倒晶格阵列u 在这个采样空间上的基本向量为： 厂2 出 肾【o 出 缈p 2 1 一t j 2 出 11 2 少缈 ( 2 1 ) 第2 章高清视频去隔行处理系统概述 r 血 k = l 10 0 i ，以= 缈j 2 上。 址 1 o a y ( 2 2 ) 假设这个采样空间中的信号为y ( n ) ，那么对整个空间中的采样信号进行傅 立叶变换，根据公式( 2 3 ) 可以得到。 甲( f ) = y ( n ) e x p ( 一，2 刀f 7 圪) ( 2 3 ) 注意到当f r k = 胛z 时，e x p ( 一j 2 z f 7 v n ) 1 ，因此可以得到： 甲( f + u 。) = 甲( f ) ，u = ( v 7 ) 一 ( 2 4 ) 上式说明倒晶格阵列u 即为采样空间的频率域表示。而两者的关系表示为 矿丁u = ，这说明向量相互正交。对于晶格阵列和倒晶格阵列来说，两者的采样 密度d ( 人) = 1 d e v ( a ) 互为倒数。 由于在真实世界中的信号在频率域中的各个方向都是对称的，因此频谱支持 区域( s p e c t r u ms u p p o r tr e g i o n ) 往往表现为圆形( 通常需要适当调整频率域空间 轴的尺度) ，如图2 4 中采样点外围的虚线圆环即表示该采样点的支持区域。根 据奈奎斯特采样原理，为了避免提升采样率导致倒晶格阵列的频谱发生混叠 ( a l i a s i n g ) ，需要将采样点滤波的带通范围限制在该采样点的v o r o n o i 单元 ( v o r o n o ic e l l s ) 之内，公式表示为： 耶，= 怯三羔耋 亿5 ， 其中，v o r o n o i 单元用于表示坐标系中与该采样点距离最近的区域的集合， 通常可以通过将该采样点与相邻的采样点之间的等距线连接包围得到，该单元紧 密包围着采样点的支持区域。 f 抽nf ( n 1 3 ( a ) 原始采样点( b ) 补“0 ”( c ) 滤波插值 图2 - 5 滤波器处理过程 第2 章黼税叛去行魁理幂统i 毗 由图2 - 4 中可以看出，去隔行处理是在保留原始采样点的前提下，提升采 样率。其中 亡几，那么就意味着k ca 。为了填充这些未知的采样点，首 先需要利用“0 ”值进行填充，而后在a ，空间中确定适当的滤波器，对这些采样 点进行计算，如图2 - 5 中的滤渡过程所示瞄l 。 这里需耍注意的是理论上隔行采样信号是由真实世界中的连续信号采样得 到的，但是由于这些连续信号未知。因此就需要以隔行信号的v o m n o i 单元“为 基准，并且扶逐行晶格阵列的v o r o n o i 单元“中捧除不属于h 的部分，即可得到 需要的插值滤波罂。去隔行插值处理的理想滤波罂应为： - j 籍“，e u 【qi f f e v 2 、q 其中d ( a ，) 和d ( 也) 分别表示隔行和运行晶格阵列的采样密度，如图2 - 4 中 所示。上述理想滤波器的频率响应如图3 3 所示，是一个菱形的带通形状。图 中的频率响应是一个理想的带通响应，这就意味着该滤波嚣在空间域中需要的长 度是无限，达在实际中不可能实现，因此只能采用二维滤波器对该理想滤波器阁 进行近似。 圈2 每理想去啊仔滤波曩的攮率响应。 2 2 高清视频去啊行处理系统 本文针对目前高清视频去隔行处理的需要以及其中存在的问题，提出了结合 电影模式处理和图像预降噪的高清视频去隔行处理系统，并进行了硬件设计的仿 真和测试。系统的基本结构如图2 - 7 所示，整体系统包含运动自适应去隔行插 值处理、电影模式处理以及隔行图像预降噪处理三项关键技术。数据缓存单元根 据系统需要对原始隔行图像数据进行存储，以便为后续计算提供有效的参考计算 1 【 第2 章高清视频去隔行处理系统概述 信息。 图2 7 去隔行系统的结构 p 系统的处理流程为：首先对输入的高清隔行数据信号f i 进行缓存，从而得 到有关待处理像素位置的一组参考像素数据；利用预降噪模块进行隔行图像的预 降噪处理，滤除其中的高斯噪声和椒盐噪声，以保证后续处理的准确性：而后对 降噪后的图像信息进行高质量去隔行插值处理，计算插值像素数据；与此同时进 行电影模式的检测，根据电影模式的检测结果，判断所处的视频序列模式，最终 选择输出的处理结果f p 。 下面三章中将详细分析和介绍上述各项关键技术单元的算法。由于去隔行插 值处理技术的算法结构决定了整个系统的数据处理结构，因此做为基础放在第三 章最先介绍；而后第四章介绍与去隔行插值同步计算的电影模式检测处理功能； 最后第五章结合去隔行插值处理中已经用到的数据存储结构，介绍隔行视频的预 降噪功能。 第3 章去隔行插值技术 第3 章去隔行插值技术 去隔行插值技术的主要思想是利用时空域中的临近像素点对待处理像素点 进行估算，近几十年来，已经出现了许多隔行到逐行的插值转换算法，从简单的 线性插值到先进的运动补偿技术层出不穷。下文将介绍各种常见算法的原理、优 势以及存在的问题，并针对高清视频处理的需要，以运动自适应算法为基础，引 入全局统计和边缘平滑滤波技术，提出一种新型去隔行插值处理算法。 3 1 去隔行插值方法概述 实际处理中，为了有效的解决去隔行问题，已经从不同思路提出了多种解决 方案，归纳起来可以分为线性方法、非线性方法以及运动补偿方法几大类，下面 逐一介绍。 3 1 1 线性方法 线性方法是去隔行处理中比较直观的方法，也是较早被采用的方法【2 7 1 。为 了下文说明的统一，这里不妨假定偶数时刻的场为顶场，奇数时刻的场为底场。 线性方法可以用公式表示为： 咖力= 髅数咖啪( m ) 竺y m o 眈d 2 刮m o 舵( 3 ，) 其中，x 和y 分