（光学工程专业论文）数字视频处理芯片中的视频图像增强算法.pdf

西南交通大学硕士研究生学位论文第1 页 摘要 数字电视产业的飞速增长，给数字视频处理芯片开辟了广阔的市场。 我国是电视机生产大国，然而，电视机中所使用的核心视频处理：芭= 片几乎 全被国外公司所垄断，研制具有自主知识产权的数字视频处理芯片对f 打 破国外的技术垄断和振兴我国的民族产业都具有极为重要的现实意义。 电视画而质量永远是电视商家竞争的焦点。各种大屏幕高清晰度的液 晶电视、等离子体电视等进入主流消费，使得电视机厂家和消费者对图像 画质提出了越来越高的要求。本文着重研究提高画质的图像增强处理算 法。 本文研究的图像增强处理算法包括亮度峰化( p e a k i n g ) ，数字亮度瞬 态增强( d l t i ) ，数字色度瞬态增强( d c t i ) ，黑电平扩展( b l e ) ，白 电平扩展( w l e ) ，对比度、亮度、色调、饱和度调节( c b h s 调节) ， 肤色校正( f t c ) ，蓝电平扩展等。本文详细阐述了这些算法的原理及实现 方法，给出了具体分析，列出了实验结果，并针对实验结果提出自己的改 进方法。实验表明，经过p e a k i n g 、d l t i 处理后，图像的边缘及细节清晰 度会大大提升：经过b l e w l e 、对比度亮度调节后对比度得到增强；在对 色彩的处理方面，d c t i 算法提升了色度边缘的清晰度；色调、饱和度算法 统一调节了所有色彩的色调和饱和度，使色彩变得饱和鲜艳。针对人眼较 为敏感的肤色及蓝电平区域，通过f t c 及蓝电平扩展对这些区域的色彩采 取了特别的处理。目前这些算法都己做进芯片中，芯片已经量产。 由于液晶电视逐渐进入主流消费，数字视频处理芯片一般都会支持液 晶显示屏。本文提出了一些专门提高液晶显示屏图像质量的技术，如针对 l c d 的g a m m a 校正技术，加快液晶面板响应时间的技术。 关键词：视频处理；图像增强；亮度峰化；数字亮度瞬态增强；g a m m a 校 正 西南交通大学硕士研究生学位论文第1 1 页 a b s t r a c t t h er a p i dg r o wo fd i g i t a lt vp r o d u c ti n d u s t r yh a sb r o u g h taw i d em a r k e tt o d i g i t a lv i d e op r o c e s s i n gc h i p c h i n ai st h em o s tp r o d u c t i v ec o u n t r yo ft vs e t s h o w e v e r v i d e op r o c e s s i n gc h i p st h a ta r ej n s i d et h ec o r eo ft vs e t sa l m o s ta l l c o m ef r o mo v e r s e a sc o m p a n i e s t or e s e a r c ha n dd e v e l o pv i d e op r o c e s s i n gc h i p t h a th a so u ri n d e p e n d e n ti n t e l l i g e n tp r o p e r t yh a se x t r e m e l yi m p o r t a n tr e a l i s t i c m e a n i n gt ob r e a kt h eo v e r s e a st e c h n o l o g ym o n o p o l ya n dp u l lu po u ro w nn a t i o n i n d u s t r y v i d e oi m a g eq u a l i t yi sa l w a y st h ec o m p e t i t i v ef o c u sp o i n to ft vs e t sc o m p a n i e s w i t hv a r i o u sl a r g es c r e e na n dh i g hd e f i n i t i o nt vs u c ha sl c d b e c o m i n gt h e m a i nc u r r e n tc o n s u m e s ，t vs e tc o m p a n i e sa n dc o i r l l 2 l o nc o n s u m e r sp u tf o r w a r d m o r ea n dm o r eh i g hr e q u e s tt oi m a g eq u a l i t y v i d e oe n h a n c e m e n ta l g o r i t h m st h a t a r eu s e dt oi m p r o v ei m a g eq u a l i t yw i l lb em a i n l yd i s c u s s e di nt h i st h e s i s t h ev i d e oe n h a n c e m e n ta l g o r i t h m st h a ta r er e s e a r c h e db yt h i st h e s i si n e l u d e l u m i n a n c ep e a k i n g ，d l t i ，d c t i ，b l e ，w l e ，c o n t r a s t ，b r i g h t n e s s ，h u e ， s a t u r a t i o na d u s n n e n t ，f l e s ht o n ec o r r e c t i o n ，b l u es t r e t c ha n ds oo n t h e i r p r i n c i p l e s ，i m p l e m e n t a t i o nm e t h o d s ，a n a l y s i sa n de x p e r i m e n t r e s u l t sa r e p r e s e n t e db yd e t a i l s o m ei m p r o v e m e n tm e t h o d sa r ea l s op r o p o s e d t h er e s u l t s s h o wt h a t ，e d g e sa n dd e t a i l si nt h ei m a g ew i l lb em o r es h a r p e nb vp e a k h ga n d d l t i t h ec o n t r a s tw i l lb ei m p r o v e db yb l e w l ea n dc o n t m s t t 3 f i g h t n e s s a a j u s t m e n t i nt h ea s p e c to fc o l o r c o l o rt r a n s i e n tw i l lb ei m p r o v e db yd c t i c o l o r sw i l lb em o r es a t u r a t e da n db r i l l i a n tb yh u ea n ds a t u r a t i o na l g o r i t h m s b e c a u s eo u re y e sa r es e n s i t i v et of l e s ht o d ea n db l u el e v e l ，t h e s ec o l o r sa r e e s p e c i a l l yp r o c e s s e db vf t ca n db l u es t r e t c h a 1 1t h e s ev i d e oe n h a n c e m e n t a l g o r i t h m sh a v eb e e np u ti n t ot h ed i g i t a lv i d e op r o c e s s i n gc h i p ，a n dt h ec h i p s h a v e b e e nb a t c hp r o d u c e d b e c a u s el c dh a sg r a d u a l l yb e c o m et h em a j o rm a r k e t ，l c dd i s p l a yp o r ta r e c o m m o n l ys u p p o r t e di nd i g i t a lv i d e op r o c e s s i n gc h i p s o m et e c h n o l o g i e st h a ta r e s p e c i a l l yu s e dt oi m p r o v el c di m a g eq u a l i t ya r ep r e s e n t e di nt h i st h e s i s ，s u c ha s g a m m ac o r r e c t i o nt ol c d ，s p e e d i n gu pr e s p o n s et i m eo f l c dp a n e l k e yw o r d s ：v i d e op r o c e s s i n g ；i m a g ee n h a n c e m e n t ；p e a k i n g ；d l t i ；g a m m a c o r r e c t i o n 西南交通大学硕士研究生学位论文第1 页 1 1 课题背景及意义 第1 章绪论 彩电行业经历了从黑白到彩电，从普平到超平再到纯平，从普通模拟 电视到数字高清电视的发展。数字电视( d i g i t a l1 v ，简称d t v ) 是数字电 视系统的简称，是音频、视频和数据信号从信源编码、信道编码和调制、 接收和处理等均采用数字技术的电视系统。数字电视传输质量高，易于存 储，便于数字处理和计算机处理，充分利用频谱资源可大量增加节目套 数，可以实现设备的自动化操作，服务多样化等，具有模拟电视无法比拟 的优点【l j 。随着众多国家和地区应用的增长，消费电子类企业对于这一领域 的投入也进一步加强，数字电视产业开始呈现飞速增长的局面。 欧美日等发达国家都已正式播出数字电视，并在加快向数字电视的全 面过渡。我国也加速推进数字化电视的进程，到2 0 0 6 年底，已有青岛、杭 州、深圳等2 5 个城市实现了有线电视数字化，全国有线数字电视用户超过 1 2 0 0 万，计划到2 0 1 5 年全面实现数字化。目前处于模拟到数字的过渡时 期，出现了多种过渡时期的改进收视效果的数字处理彩电，在显示终端方 面，除传统的c r t 彩电外，分辨率高、屏幕面积大、体态苗条的液晶电 视、等离子电视、背投电视已经成为近几年甚至未来数年内的家电消费热 点【2 j 。 随着显示器领域的不断延伸，人们对画质的要求也越来越高。对于字 符、图表和照片而言在视认性的基础上要求更加精细、精准，而动态影像 则有“一般娱乐性节目”和“电影观赏性节目”两种情况，前者比较重视 白色鲜艳显示性，后者要求黑色的收敛性等，可见随着整体环境的变化， 显示器必需具备完全的对策与性能。这是外部原因对显示器的画质所提出 的要求。同时，由于显示器内在因素( 如液晶面板技术) 的限制，需要显 示器在提升画质的技术方面有所突破。 在这样的背景下，注重于提升图像清晰度，改善图像亮度、颜色，提 高画面显示效果的数字视频处理芯片得到了广泛的应用。为了抢占市场， 满足消费者对图像清晰度的更高要求，各大视频处理芯片设计厂商不断提 出更先进的图像处理算法，精益求精，以期达到完美的显示效果。 西南交通大学硕士研究生学位论文第2 页 1 2 国内外研究现状 作为消费电子核心部分，数字视频处理芯片已经成为众多国际厂商追 逐利润的关键领域。中国目前已经成为世界上绝对最大的电视生产国，然 而，这7 0 0 0 万台电视机中所使用的核心视频处理芯片均为进口，竞无一片 “中国芯”。从图i i 的中国l c d 控制芯片的市场占有率看，视频芯片处理 市场几乎全被美国三大巨头p i x e l w o r k s 、g e n e s i s 和t r i d e n t 所占领，它们一 度控制着全球7 5 的市场份额。而后，中国台湾地区半导体业界在奋起直 追之下也拥有了一片领地，而内地厂商既要寻找一闪即逝的市场商机，也 要努力发展自身核心竞争力，可以说中国内地厂商在这重重包围之中举步 维艰。 图1 12 0 0 5 年上半年的中国l c d 电视控制芯片市场p j 国外的数字视频处理芯片产品开发时间较早，分别针对高、低端两种 市场。高端市场产品主要针对数字高清晰度电视的应用，采用的算法较为 复杂，如自适应运动补偿去隔行，先进的图像缩放技术，多层次轮廓清晰 度提升，多区域色彩增强等，实现成本高，如p i x e l w o r k s 公司的p w 系列 产品，g e n e s i s 公司的g m 系列产品，p h i l i p s 公司的t d a 系列产品。低端 产品主要针对模拟电视数字化增强和标准清晰度电视的去隔行处理、图像 缩放、视频增强等，如t r i d e n t 公司的d p t v 系列产品。产品定位越高，针 对画质提升的技术越复杂，图像质量越高。 西南交通大学硕士研究生学位论文第3 页 国内在该领域的研究起步较国外晚一些，并且主要集中在格式转换技 术上。目前的成果主要有：西安交通大学研制出来的“数字视频扫描格式转 换与处理专用集成电路”，实现了具有场帧检测功能的运动自适应帧频提升 算法，进行隔行到逐行运动补偿帧频提升，可应用于网络数字视频、数字 化电视和高清晰数字电视视频显示后处理，是我国第一块具有完全自主知 识产权的数字视频处理芯片。成都威斯达芯片有限责任公司生产的“炎黄一 号”w s c l l l 5 视频扫描格式转换芯片，采用逐行扫描能从现行的模拟 p a l 、n t s c 彩色电视信号中最大限度地去除噪声并提取清晰的图像信号。 杭州国芯科技有限公司研制的数字视频后处理芯片( g x 2 0 0 1 系列) 采用了 多帧算法和边缘技术实现对数字视频信号去隔行和帧率变换。近日，上海 交通大学的图像格式转换芯片也在上海研制成功，并通过了专家鉴定【4 】。 尽管目前大部分核心芯片技术还掌握在美国公司手中，不过，国家对 芯片产业的大力扶持给中国内地的芯片厂商带来了巨大的契机。i c ( i n t e g r a t e dc i r c u i t ，集成电路) 产业作为电子信息产业的基础和核心，直 接影响着中国电子信息产业发展走向。国家“十一五”规划和相关的科技规 划都把发展半导体产业作为重点，国家“十一五”科技规划确定的1 6 个重大 专项课题中，有2 个与集成电路有关。2 0 0 0 年国务院公布了业内称之为“1 8 号文件”的鼓励软件产业和集成电路产业发展的若干政策，中国芯片产 业五年间销售收入年均增长3 0 以上，政府“看得见的手”大大激励了民族 品牌的自主创新能力。许多国内i c 设计厂商都开始进入数字视频处理芯片 的研发，以期在潜力巨大的数字电视芯片市场占领一席之地。 1 3 本文研究的主要内容 本课题来源于深圳艾科创新微电子有限公司的重要研发项目应用 于数字及逐行电视的单芯片数字视频处理器。2 0 0 5 年8 月至2 0 0 6 年9 月， 作为算法工程师，本人一直负责该项目的算法开发，包括去隔行技术、图 像缩放技术、以及亮度瞬态增强、色调饱和度调节等各种视频图像增强技 术。目前该芯片己投入量产。 一个视频处理系统的算法主要包括以下几个部分：视频解码( v i d e o d e c o d e r ) ，去隔行( d e i n t e r l a c i n g ) ，图像缩放( s c a l e r ) ，降噪 ( d e - n o i s e ) ，视频增强( v i d e oe n h a n c e m e n t ) 等，如图l 乏所示。视频解码 包括a d 转换及y c 分离。接收到的复合视频信号( c v b s ) 经过视频解 码后转换程亮度色度分离的y c b c r ( 或v ) 信号，首先经过去隔行处理 西南交通大学硕士研究生学位论文第4 页 将隔行扫描信号变成逐行扫描信号，再经过图像缩放技术将源信号放大或 缩小成显示终端所需要的图像格式，然后进入视频增强模块，利用各种视 频增强技术改善图像质量。最后经过彩色空间转换及g a m m a 校正、0 s d ( o n s c r e e nd i s p l a y ) 技术处理后送给显示终端显示。本文着重研究数字视 频处理芯片中的视频增强技术。视频增强模块包含了许多有助于提高图像 清晰度、改善颜色表现力的技术，它们作为视频处理芯片核心技术之一， 对电视画质的提升起到了至关重要的作用。 图l - 2 视频处理系统的结构 本文第二章概述了与视频相关的一些基本知识。包括隔行扫描与逐行 扫描，彩色电视制式，彩色空间等，同时介绍了一个完整的数字视频处理 芯片系统结构以及主要的算法。 第三章着重研究视频增强技术，包括亮度峰化，数字亮度色度瞬态增 强，黑白电平扩展，对比度、亮度、色调、饱和度调整，肤色校正及蓝电 平扩展。每种技术里的具体实现方法都是本文在综合大量产品资料及先前 研究的基础上自己提出、并经过f p g a 验证通过的。其中在数字亮度色度 瞬态增强技术中提出了自己的改进及创新。通过这些技术的处理，图像将 在亮度、颜色各个方面有很大的提高。 第四章介绍了g a m m a 校正的实现方法，并针对液晶电视提出了液晶电 视所特有的g a m m a 校正曲线。同时，由于液晶电视已成为近年来及未来若 干年内的消费热点，但液晶电视又存在一个最大的问题：响应速度慢，因 此本文还研究了用于加快液晶面板响应速度的技术，若将这项技术集成在 视频处理芯片中，将会是芯片的一大卖点。 最后总结了目前的算法存在的不足，提出今后改进的方向。 西南交通大学硕士研究生学位论文第5 页 第2 章数字视频处理芯片系统 本章首先介绍一些视频处理的基础知识，接下来介绍一个数字视频处 理芯片系统的结构，并重点介绍其图像处理部分的功能，包括去隔行，缩 放，降噪，图像增强等数字化处理过程。 2 1 视频基础知识介绍 2 1 1 隔行扫描与逐行扫描 视频是由一系列静止的图像组成。传统的c r t 电视机为了减少每幅图 像的信息量，采用隔行扫描( i n t e r l a c e d ) 的方式显示图像，如图2 1 所示。 先扫描1 、3 、5 、7 奇数行信号( 称为奇数场信号) ，再扫描2 、4 、 6 、8 偶数行信号( 称为偶数场信号) 。隔行扫描方式降低了视频信号 带宽，传输信号时，可以有效利用频谱资源，但存在明显的行结构，垂直 分辨率低，容易出现由于快速交替变化产生的大面积闪烁，并且在运动的 图像中存在锯齿，如图2 - 2 所示。 奇数场偶数场l 帧h 像 图2 - 1 隔行扫描 f i e l d1f i e l d 2f i e l d3 图2 2 隔行扫描时运动图像出现的锯齿现象【5 】 西南交通大学硕士研究生学位论文第6 页 图2 3 逐行扫描 采用逐行扫描( p r o g r e s s i v e ) 的方式则可避免这些问题。逐行扫描是一 行紧接一行扫描，如图2 3 所示。这种扫描方式的优点是图像细腻，由于行 频的提升消除了行间闪烁。电脑显示器及液晶电视等数字高清电视都是采 用逐行扫描的方式显示图像。 2 1 2 帧频及场频 帧频是指每秒显示的视频帧数。场频是指根据人的视觉生理特性，当 图像的刷新速度达到5 帧秒的时候，人开始感觉图像是活动的，而达到2 4 帧秒的时候，人感觉图像是完全连续和流畅的，所以视频信号帧频应大于 等于2 4 帧。我国的电视画面传输率是每秒2 5 帧、5 0 场。那是由于我国的 电网频率是5 0 h z ，当采用2 5 h z 帧频时，隔行扫描时的场频为5 0 h z ，正好 与电网同频，这样，可以有效地去掉电网信号的干扰。 2 1 3 电视制式 电视信号的标准也称为电视的制式。目前各国的电视制式不尽相同， 制式的区分主要在于其帧频( 场频) 的不同、分解率的不同、信号带宽以 及载频的不同、色彩空间的转换关系不同等等。世界上现行的彩色电视制 式有三种：n t s c ( n a t i o n a lt e l e v i s i o ns y s t e mc o m m i t t e e ) 制( 简称n 制) 、p a l ( p h a s ea l t e m a t i o nl i n e ) 制和s e c a m 制。 1 n t s c 制式：它是1 9 5 2 年由美国国家电视标准委员会指定的彩色电 视广播标准，它采用正交平衡调幅的技术方式，故也称为正交平衡调幅 制。美国、加拿大等大部分西半球国家以及中国的台湾、日本、韩国、菲 律宾等均采用这种制式。 2 p a l 制式：它是西德在1 9 6 2 年指定的彩色电视广播标准，它采用逐 行倒相正交平衡调幅的技术方法，克服了n t s c 制相位敏感造成色彩失真 的缺点。西德、英国等一些西欧国家，新加坡、中国大陆及香港，澳大利 亚、新西兰等国家采用这种制式。 3 s e c a m 制式：s e c a m 是法文的缩写，意为顺序传送彩色信号与存 储恢复彩色信号制，是由法国在1 9 5 6 年提出，1 9 6 6 年制定的一种新的彩色 西南交通大学硕士研究生学位论文第7 页 电视制式。它也克服了n t s c 制式相位失真的缺点，但采用时间分隔法来 传送两个色差信号。使用s e c a m 制的国家主要集中在法国、东欧和中东 一带。 n t s c 制规定帧频为3 0 h z ，每幅图像5 2 5 行，p a l 和s e c a m 制规定 帧频为2 5 帧，每幅图像为6 2 5 行。 2 1 4 视频分辨率 电视的清晰度一般用垂直方向和水平方向的分解率( d e f i n i t i o n ) 来表 示。垂直分解率与扫描行数密切相关。扫描行数越多越清晰、分解率越 高。标清电视( s t a n d a r dd e f m i t i o nt v ，简称s d t v ) 一般定义为具有 7 2 0 x 4 8 0 i 或7 2 0 x 5 7 6 i 的有效分辨率，i 是英文i n t e l a c e d 的第一个字母，表 示隔行扫描方式。高清电视( h i g hd e f i n i t i o nt v ，简称h d t v ) 一般定义 为具有1 9 2 0 x1 0 8 0 i 或1 2 8 0 x 7 2 0 p 的分辨率，p 是英文p r o g r e s s i v e 的第一个 字母，表示逐行扫描方式【”。 2 1 5 彩色空间 彩色空间( c o l o rs p a c e ) 是对一系列颜色的数学表示。最常用的三类彩 色空间模型为r g b ( 用于计算机图形) 、v 或y c b c r ( 用于视频系统) 以及c m y k ( 用于彩色打印) 。不过这些彩色空间中没有一个直接与色 调、饱和度和亮度的直观概念有关，勋比引入了h s i 、h s v 等彩色空间模 型【6 】。 1 r g b 彩色空间 在计算机图形中r g b 彩色空间得到了广泛的应用。彩色显示器件也是 用r 、g 、b 来创建各种颜色的，因此选择r g b 彩色空间简化了系统的结 构和设计。表2 - 1 包含了普遍的视频测试彩条1 0 0 饱和时的r g b 值。 表2 11 0 0 饱和的r g b 彩条 - 蕾 善 暑 耋 差 冀 ii 曼l 警 簟墨 i q 毒 量 r0 t o ：矫蒉52 5 5002 5 5螂0 0 6 0 t o 筋2 s s2 s 52 5 500o b0 t o2 5 5：五502 5 5 2 5 5o2 5 50 但是，r g b 彩色空间在真正处理图像时并不十分有效。在产生任意其 他颜色时三个r 、g 、b 分量都需要占用相同的带宽，造成帧缓存器里每一 个r g b 分量都要占用相同的像素位宽以及显示分辨率。而且，在r g b 彩 色空间中处理图像并不是最有效的方法。例如，要修改一个像素的亮度或 色度，必须从帧缓存器中读入三个r 、g 、b 值，计算亮度或色度，做出必 西南交通大学硕士研究生学位论文第8 页 要的修改，然后再转换成新的r g b 值重新写回帧缓存器。若系统能够直接 对亮度或色度格式进行读，写，处理速度将会快很多。基于这些原因，许多 视频标准都用亮度( 1 u m a ) 以及两个色差信号来表示图像。最常见的有 y u v 、y i q 及y c b c r 彩色空间。 2 y 1 彩色空间 y ( 彩色空问包含亮度y 、色度u v 三个分量，在黑自系统中可只用 亮度y 信息，彩色系统只需再将u 、v 颜色信息解调出来加到y 信息上， 便可组成彩色图像。r g b 与空间转换的方程见式( 2 1 ) 及( 2 - 2 ) 。 y = 0 2 9 9 r + 0 5 8 7 g + 0 1 1 4 b u = - 0 1 4 7 r - 0 2 8 9 g + 0 4 3 6 b = 0 4 9 2 ( b n ( 2 一1 ) v = 0 6 1 5 r o 5 1 5 g o 1 0 0 b = o 8 7 7 ( r r 1 r = y + 1 1 4 0 v g = y 一0 3 9 5 u 一0 5 8 1 v ( 2 - 2 ) b = y + 2 0 3 2 u 8 - b i t 数字r g b 值的范围为0 - 2 5 5 ，因此y 的范围为0 - 2 5 5 ，u 的范围为0 到 1 1 2 ，v 的范围为0 到1 5 7 。w 、，彩色空间被p a l 、n t s c 、s e c a m 制 符合彩色视频标准广泛采用。 3 y i q 彩色空间 y i q 彩色空间是从y u v 空间推导而来，只被n t s c 复合彩色视频标准 选择使用。y i o 空间的与r g b 空间及y u v 空间的关系见式( 2 3 ) 。 y = 0 2 9 9 r + 0 5 8 7 g + 0 1 1 4 口 j = 0 5 9 6 r 一0 2 7 5 g o 3 2 1 b = v e o s 3 3 。- u s i n 3 3 。 ( 2 - 3 ) q = 0 2 1 2 r o 5 2 3 g + 0 3 1 1 b = v s i n 3 3 9 + u c o s 3 3 。 4 y c b c r 彩色空间 y c b c r 彩色空间是在发展世界范围内的数字复合视频标准时被作为 i t u - rb t 6 0 1 的一部分提出来的。y c b c r 是对y 1 v 彩色空间上的缩放和 偏移。8 - b i t 时y 定义范围为1 6 2 3 5 ，c b 和c r 定义范围为1 6 - 2 4 0 。s d t v 下y c b c r 与r g b 空间的转换方程见式( 2 - 4 ) 、( 2 5 ) 。 y = 0 2 9 9 r + 0 5 8 1 g 4 - 0 1 1 4 b c b = - 0 1 7 2 r 一0 3 3 9 g + 0 5 1 1 b + 1 2 8 佗- 4 ) c r = 0 5 1 l r 一0 4 2 8 g 一0 0 8 3 b + 1 2 8 r = y + 0 3 7 1 ( c r 一1 2 8 、 g = y 一0 6 9 8 ( c r 一1 2 8 ) 一0 3 3 6 ( c b 1 2 8 1 ( 2 - 5 ) b = y + 1 7 3 2 ( c b 一1 2 8 ) 西南交通大学硕士研究生学位论文第9 页 各种彩条的y c b c r 值如表2 - 2 所示。当像素点为黑色时，y 、c b 、c r 值分 别为1 6 、1 2 8 、1 2 8 ，因此，当对像素点进行乘法等算术运算时。需要先将 y 、c b 、c r 各减去1 6 或1 2 8 的偏移量，以免引起黑电平的漂移。 表2 - 2y c b c r 彩条 5 h s i 、h s v 彩色空间 为了对颜色操作更加直观，发展出了h s i ( h u e ，s a t u r a t i o n ，i n t e n s i t y ) 和 h s v ( h u e ，s a t u r a t i o n ，v a l u e ) 彩色空间。图2 - 4 表示h s v 彩色模型。色调h 表示各种颜色在水平平面上分布的不同角度，饱和度s 表示一种比率，在 垂直v 轴的中心线处为0 ，到多边形模型的边时为1 。在s = 0 时的亮度v 代表了灰度值。在中心点s = 0 ，v = l 时为全白，在中心点的投影点s = 0 ， v = 0 时为全黑。 h s i 和h s v 的不同在于计算亮度分量上，这个不同决定了亮度i 和色 度分量s 的动态范围。h s i 模型如图2 - 5 所示。 图2 4 h s v 彩色模型嘲 嶝 图2 - 5 h s i 彩色模型f 6 】 话南交通大学硕士研究生学位论文第1 0 页 2 2 数字视频处理芯片系统 一个完整的数字视频处理芯片系统由输入单元，存储单元，运算单 元，时钟单元、用户编程单元及a d c 等系统控制及图像处理部分组成，兼 容多种数字电视的信号格式及模拟电视的信号输入。图像处理部分完成去 隔行，缩放，降嗓，图像增强等数字化处理过程，是芯片的核心所在，也 是决定着图像质量的好坏。图2 - 6 是某公司的一款视频处理芯片p w 3 2 8 的 项层结构图。 图2 - 6 完整的数字视频处理芯片系统m 电视台发送的是隔行的模拟信号，a d c 将接收到的模拟信号转换成数 字信号，经过解调器将亮度、色度等信息分离出来，再送给d e i n t e r l a c e r 进 行去隔行处理，将隔行扫描信号转换成逐行扫描信号。逐行信号经过图像 缩放( s c a l e r ) 处理将图像缩放成与显示屏尺寸一致的大小，再经过一系列 图像增强措施改善图像质量，并将亮色空间转换到r g b 空间来，最后经过 g a m m a 校正等输出给显示屏显示。 由于视频解调器的实现十分复杂，目前只有少数几家做出来的d e c o d e r 能够满足较好的性能，大多数视频芯片厂家都宁愿选择购买别家产品的方 式来实现。除了v i d e od e c o d e r 外，一个完整的数字视频处理芯片系统应包 含如下一些图像处理算法，如图2 7 所示。经过d e c o d e r 处理后送给 d e i n t e r l a c e r 的输入已经是亮色分离了的y i q 、y u v 或y c b c r 信号了。 西南交通大学硕士研究生学位论文第1 1 页 图2 7 数字视频处理芯片系统的总体算法 2 2 1 去隔行 由于电视台发送的是隔行扫描的信号，液晶电视、等离子电视等都采 用逐行扫描方式来显示图像，因此需将隔行信号转换成逐行信号，这一技 术称为去隔行( d e i n t e r l a c e r ) 。 最简单的去隔行方法是行重复，即每一场缺失行的信号由其上一行或 下一行的信号代替，如图2 - 8 所示。更好的做法是通过各种时域或空域上的 插值来获得缺失行的信息。时域插值方法包括场重复、双线性场间插值、 v e t i c a l t e m p o r a l 中值滤波等，它是在场与场之间进行。由于对静止图像来 说，当前场与相邻场存在明显的相关性，所以用时域插值可取得较好的图 像质量。而对运动图像来说，相邻场存在运动，本场内的相关性更大，利 用本场的信息进行空域插值图像质量更好。空域插值方法包括行重复、线 性插值、参量图像模型等。 为了在这两者之中取得平衡，基于运动检测或运动补偿的自适应去隔 行方法成为被广泛研究和应用的对象。这两种方法先检测出图像中的运动 信息，然后根据运动大小决定对像素点采用空域插值和时域插值的权重 口，如式( 2 - 6 ) 所示。式中x 。y 分别表示行、列位置，n 表示场数，r o o d 表 示取余数。，k 。i x ，y ，” 表示采用对运动点的处理空域插值的结果， 只。i x ，y ，i v 】表示采用对静止点的处理时域插值的结果。因此，如何更 准确有效地检测出运动信息，一直是去隔行技术的重点及难点p 】。 t f m l ab 0 l 咖f i e ? ? ? ? ? ttt t oo 二二二二二 。 ji。j 二二二二二 ji ， ，荫，隔 去复 。 谨 o 猫 图 西南交通大学硕士研究生学位论文第1 2 页 驰删= 譬芝删廿彩乙k 只裁挈研2 ( 2 6 ) 2 2 2 图像缩放 图像缩放( s c a l e r ) 也叫图像分辨率转换、图像重采样( r e s a m p l e ) 。 在许多实际应用中，需要对图像以某种方式进行放大或缩小，如高清晰度数 字电视接收到n t s c 或p a l 格式的标准清晰度数字电视信号后需转换成 h d t v 格式( 1 2 8 0 x 7 2 0 ) ，才能在h d t v 的电视上显示；等离子电视、液 晶电视等逐行显示器，须提升接收到的图像分辨率使之和液晶显示屏的物 理分辨率一致。几何变换可以改变图像中部分区域的大小，但变换后的图像 容易产生空间畸变：而插值方法( i n t e r p o l a t i o n ) 可以将这种畸变减少到最 低程度。 一个4 x 4 邻域内在坐标( x ，y ) 处二维插值的原理如图2 9 所示，先完 成x 轴方向即水平方向的插值，分别利用本行内的四点原始像素信息得到四 个中间插值变量，图中用小灰色圆圈表示。然后用这四个小灰色圆圈表示 的中间插值变量完成y 轴方向即垂直方向的插值。 图2 - 9 像素( x ，y ) 二维n n 邻域插值的原理 常用的图像缩放方法有：最邻近插值，双线性插值，s i n e 函数截短插 值，s i n e 函数加窗插值，三次b 样条插值，两点、四点、六点或八点立方 ( c u b i c ) 插值，高斯插值等【12 1 4 1 。以简单的双线性插值为例，其插值核的 表达式如式( 2 7 ) 所示。它是利用待插值点的四个最近相邻像素( 水平和 垂直方向各2 个) 的亮度或色度值以及待插值点和这四个相邻像素的距离 关系计算而得。式中x 表示待插值点与相关的源像素点的距离。 ( x ) ：1 1 - l 纠，o h c o r 一撕 。球t p u f = o ，i i n p u 4 c 甜一t h r ( 3 3 ) 【i n p u t + c o r t h r ，i n p u t 仞r 。珐， 西南交通大学硕士研究生学位论文第1 8 页 3 2 数字亮度瞬态增强d l t i 3 2 1 基本原理 由于信号在传输过程中的损失，除了造成图像中、高频分量衰减外， 另一个降低图像质量的表现就是图像轮廓模糊，层次不清，边界过渡不明 显。图4 7 是亮度边缘的示意图。y 1 代表一种亮度值，y 2 代表另一种不同 的亮度值，点a 为y 1 的边界点，点b 为y 2 的边界点，从a 点经过。点 逐渐上升到b 点的这一段称为亮度信号的过渡带。这一过渡带的宽窄直接 影响到图像的画质：过渡带越窄，图像中两种亮度的边界就越清楚，图像 越清晰。而在实际接收到的电视信号中，这一过渡带通常是较宽的，造成 图像层次不鲜明。数字亮度瞬态增强( d i g i t a ll u m i n a n c e t r a n s i e n t i m p r o v e m e n t ，简称d l t i ) 算法便是检测亮度分量水平方向的过渡带并使 过渡带变窄，边缘变陡，增强图像的瞬态特性，使图像边界轮廓变清晰 【2 ” 。理想情况下可将过渡带缩短成垂直边缘，如图3 7 中的c o d 所示。 y 1 图3 7 亮度信号边缘示意副2 5 】 数字亮度瞬态增强是在y c b c r 空间对y 分量在水平方向作处理。常用 的d l t i 方法有两种：移位法和叠加勾边法。移位法的原理是找到如图3 7 所示的原始亮度信号过渡带的3 个特征点a 、o 、b ，然后将a o 段像素点 的亮度值用a 点的亮度值y 1 代替，o b 段像素点的亮度值用b 点的亮度值 y 2 代替。 叠加勾边法的原理是在原始输入的亮度信号上叠加一个勾边信号，勾 边信号可由二阶微分等产生，叠加的结果是在亮度边缘处形成尖蜂，且边 缘变陡。 3 2 2 移位替代法d l t i 及改进 3 2 ，2 ，1 基本方法 如图3 8 所示f 2 0 ) ，对一条边缘过渡带而言，一阶微分可检测出像素点 是否是边缘的点，二阶微分的符号可用于判断像素是在边缘亮的边还是 西南交通大学硕士研究生学位论文第1 9 页 暗的一边，并且二阶微分中间的零点可以准确的判断出边界【2 8 1 ，因此用亮 度信号的一阶及二阶微分来检测边缘过渡带。 ，一一 ，7 a 输入亮度信号y ， | 7 一、 ， 、 一， 、! 羔磕的绝对值 订一* t d 输出亮度信号 ， + 0 一弋s 多， 图3 - 8 移位法d l t i 原理 注意到，当边缘是由低亮度过渡到高亮度时，理想情况下其一阶微分 是由0 逐渐增加至正的最大值，再由正的最大值逐渐减少至0 。而当边缘是 由高亮度过渡到低亮度时，其一阶微分是由0 逐渐减少至负的峰值，再由 负峰值逐渐增加至0 。如果直接按二阶微分的定义对图像作两次阶微分， 则由于边缘过渡情况不同导致不能简单的用其二阶微分的符号来判断像素 是在边缘的哪一边。因此，将一阶微分的结果取绝对值，图像的二阶微分 通过对绝对值再作一次一阶微分得到，这样就可以统一用二阶微分的符号 来判断像素在边缘的哪一边。本文采用一个5 阶的f i r 滤波器【l20 2 1 来 计算一阶微分，公式如下： y d 够= 2 巧 2 一一一l + 巧+ l + 2 巧+ 2 ( 3 - 4 ) 式中，h d i f f 为生成的一阶微分，t 代表当前要处理的像素点亮度值，l 一。 代表前一像素点的亮度值，y ，+ 代表后像素点的亮度值，其他的依次类 推。 西南交通大学硕士研究生学位论文第2 0 页 移位替代法的关键是确定正确的替代点位置。把替代点距当前点的距 离称为移位路径，具体移位替代方法如下：当像素点的二阶微分大于0 时，这个像素点的亮度值用该像素点往前移位n 个点的亮度值来替代，移 位路径i 1 由二阶微分与增益的乘积来决定，增益由用户在0 ，1 1 6 ， 1 8 ，1 2 之间可调，且增益越大，边缘越陡：当像素点的二阶微分小 于0 时，这个像素点的亮度值用该像素点往后移位n 个点的亮度值来替代 2 0 1 。移位路径通过设置一个参数“l i m i t ”来限制在一定范围内， “l i n f i t ”可设为0 ，2 ，4 或8 。根据以上算法对图3 9 a 的条纹图作 亮度瞬态增强的结果如图3 9 b 所示，可见，边缘明显变清晰了。 a ) 原图b ) 移位替代法d l t i 处理结果 图3 - 9 移位替代法d l t i 处理结果 3 2 2 2 移位替代法改进一加“过山保护” 以上方法对如图3 - 9 a 所示的大面积物体之间的边界改善效果很好，但 是对于两个靠得很近的边缘，例如图3 1 0 中类似“山形”输入信号的边缘 e l 和e 2 ，移位路径决定了a 点的亮度可能需要用其之后的b 点亮度值来代 替，即将a 点亮度替换成a 的亮度。这样替代的结果是移位路径太大造成 “过替代”，在两个亮度边缘交界处形成带有一个或两个突起谷的小山形 状。表现在图像上就是在边缘处凹凸不齐，不会是一条垂直清晰边缘了。 为了避免这种“过替代”现象的产生，需对移位替代法加以改进。改进 方法是利用山形输入信号的一阶微分也会发生符号改变的特性，如图3 - 1 1 所示，找出山形输入信号的顶点，然后将顶点附近的边缘像素的亮度都用 顶点的亮度代替，如图3 ，l o 顶点的虚线所示，而不再是用计算出来的移位 路径了，我们称这个为“过山保护”，具体方法如下： 对原信号作二阶微分并用增益调节和l i m i t 控制得到移位路径( 设为 p a t h ) 后，若p a t h 大于0 ，则从当前点之前的第p a t h 个点( j - p a t h ) 搜索至 当前点( i ) ，若有一阶微分改变符号的位置，则表明这是两个靠得很近的 边缘顶峰相交的位置，那么记下此位置点并用此顶峰的亮度值代替j 点的 值；若没有出现一阶微分改变符号的位置，则表明是正常边缘情况，仍用 西南交通大学硕士研究生学位论文第2 1 页 j - p a t h 点的值代替当前j 点的值；若p a t h 小于0 ，则从当前点j 向后搜索至 歹+ f p 刮个点，其余判断方法跟p a t h 大于0 的情况一样。 i ，一i - ：妒二r i 图3 1 0 未加过山保护的移位替代法d l 2 0 】 ，“、 ， 、 、 、 。山形输 ，i 、龄 入信号 一一 、- 一二 ，、