（微电子学与固体电子学专业论文）视频后处理芯片相关技术研究与设计.pdf

视频后处理芯片相关技术研究与设计 摘要 数字电视技术的快速发展为数字视频后处理芯片的发展提供了广阔的发展 前景。视频后处理芯片不仅能够有效解决各种数字视频格式间的兼容性问题， 而且能够对图像进行增强处理，提高视频画面质量。本文对数字视频的基本知 识进行了简单介绍，分析了数字视频后处理芯片的基本结构，并对数字视频后 处理中的去隔行、图像增强技术进行了重点分析和研究。 为解决隔行视频信号的缺陷，提升电视画面的清晰度，去隔行已成为当前 数字视频后处理芯片中一项不可或缺的技术。在大量阅读文献的基础上，本文 分析了各类常见的去隔行算法的实现原理、去隔行效果、计算复杂度，根据实 际需求提出一种有效的运动自适应去隔行算法实现去隔行，并给出硬件设计的 实现方案。该算法采用相邻的四场信息进行同极性场间运动检测，把待插值区 域分为运动区和静止区，对运动区域采取场内插值，静止区域采取场间插值。 在场内插值方面，采用三次曲线拟合插值技术处理图像平滑区，采用改进型 e l a 算法处理图像的边缘区。经验证本文的所采用的去隔行算法能够较好提升 去隔行图像的清晰度，并有效保护图像中的边缘细节，达到了良好的去隔行效 果。 同时，为了有效提升图像画面质量，改善视觉观赏性，本文分析了视频图 像的对比度增强和图像锐化两项图像增强技术。并且针对硬件实现的特点给出 了硬件实现的基本结构。在图像对比度调整方面采用一种分段线性变换进行对 比度调节。而在图像锐化方面，针对传统的锐化算法对噪声敏感且易出现过度 增强等现象，本文采用一种自适应反锐化掩模技术实现图像的锐化。为了提高 边缘检测的可靠性采用改进的s o b e l 算子进行边缘检测。经验证本文采用的对 比度增强算法和锐化算法具有良好的效果，能够满足我们的应用需求。 关键词：视频处理芯片去隔行改进型e l a对比度增强图像锐化 t h er e s e a r c ha n dd e s i g no fr e l a t e dt e c h n o l o g y 一 1 1 0 rv l d e 0p 0 s t - p r 0 c e s s l n gc n l p a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fd i g i t a lt v ，d i g i t a lv i d e op o s t - p r o c e s s i n gc h i p g a i naw i d ep r o s p e c t sf o rd e v e l o p m e n t i no r d e rt oe f 托c t i v e l ys o l v ec o m p a t i b i l i t y i s s u e so fd i f f e r e n td i g i t a lv i d e of 6 r m a t ，a n di m p r o v et h ev i d e oi m a g eq u a l i t y ，t h e d i g i t a lv i d e op o s t - p r o c e s s i n gc h i pi su s e d i nt h i sp a p e r ，t h eb a s i ck n o w l e d g eo f d i g i t a l v i d e oi si n t r o d u c e d ， t h e nt h e d e - i n t e r l a c i n g a n di m a g ee n h a n c e m e n t t e c h n 0 1 0 9 yh a sb e e nd i s c u s s e d i no r d e rt os o l v et h ei n t e r l a c e dv i d e os i g n a ld e f 色c t ， t h e ni m p r o v et h et v d e f i n i t i o n ，d e i n t e r l a c i n gh a sb e c o m ea ni n d i s p e n s a b l et e c h n o l o g yi nc u r r e n td i g i t a l v i d e op o s t p r o c e s s i n gc h i p w ea n a l y s e sa l lk i n d so fd e i n t e r l a c i n gt e c h n i q u e ， i n c l u d i n gd e i n t e r l a c i n ga l g o r i t h m ，d e i n t e r l a c i n ge f f 色c t ，c o m p u t a t i o n a lc o m p l e x i t y a c c o r d i n gt ot h ea c t u a lr e q u i r e m e n t ，a ne f f i c i e n tm o t i o na d a p t i v ed e - i n t e r l a c i n gi s n r o d o s e di nt b i sd a d e r t h em i x i n gd i x e l si sc l a s s i f i e dt om o t i o no rs t a t i cr e g i o nb y p r o p o s e dl nt h l sp a p e r 1 n em l x l n gp l x e i sl sc i a s s l i l e d 【om o u o no rs 【a n ci 。e g l o i ld y m o t i o nd e t e c t i o no ft h es a m ep a r i t yf b u rf i e l d ，t h e ni n t r a f i e l di n t e r p o l a t i o nm e t h o d i su s e di nm o t i o nr e g i o n ，i n t e r f i e l di n t e r p o l a t i o nm e t h o di su s e di ns t a t i c sr e g i o n t h es m o o t hr e g i o na d o p t st h ec u b i cc u r v ef i t t i n gi n t e r p o l a t i o n ，a n dt h ee d g er e g i o n a d o p t st h ei n l p r o v e de l a t h ee x p e r i m e n ts h o w st h a tt h ep r o p o s e dd e i n t e r l a c i n g t e c h n i q u en o to n l yi m p r o v e t h ei m a g ed e f i n i t i o n ， b u ta l s o p r e s e r v et h ee d g e e f 传c t i v e l v ， a n da c h i e v eb e t t e rd e i n t e r l a c i n ge f l f e c t a tt h es a m et i m e ，i no r d e rt of u r t h e re n h a n c et h ei m a g eq u a l i t y ，w ef o c u so n a n a l y s i n gt h ev i d e oi m a g ec o n t r a s te n h a n c e m e n ta n dt h ei m a g es h a r p e n i n g a n d c o n s i d e r i n gt h ec h a r a c t e r i s t i co fh a r d w a r ep r e s e n t st h eb a s i cs t r u c t u r eo fh a r d w a r e i m p l e m e n t a t i o n ap i e c e w i s el i n e a rt r a n s f o r m a t i o ni su s e d f o ri m a g ec o n t r a s t a d iu s t m e n t 0 w i n gt ot r a d i t i o n a ls h a r p e n i n ga l g o r i t h m i ss e n s i t i v et on o i s ea n d p r o n et oe x c e s s i v ee n h a n c e m e n t ，t h i sp a p e ra d o p t sa na d a p t i v eu n s h a r pm a s k i n g t e c h n i q u et oa c h i e v ei m a g es h a r p e n i n g t h ea p p l i c a t i o no fi m p r o v e ds o b e lo p e r a t o r w h i c he n h a n c et h er e l i a b i l i t yo fe d g ed e t e c t i o n t h ee x p e r i m e n ts h o w st h a tt h e p r o p o s e dc o n t r a s te n h a n c e m e n tt e c h n i q u ea n ds h a r p e n i n gt e c h n i q u eg a i ng o o d e f 代c t a n di t ss u i t a b l ef o ro u ra p p l i c a t i o nr e q u i r e m e n t s k e y w o r d s ： v i d e o p r o c e s s i n gc h i p ； d e i n t e r l a c i n g ；i m p r o v e de l a ； c o n t r a s t e n h a n c e m e n t ；i m a g es h a r p e n i n g 致谢 感谢我的研究生导师叶兵教授! 非常荣幸能够成为您的学生，您渊博的学 识、严谨的治学精神一直是我学习的榜样。叶老师为人真诚、和蔼，无论在学 习上还是生活上都给予我大量的帮助。衷心感谢您在我的研究生期间给予我的 关心、支持和充分的信任。 感谢合肥宏晶微电子科技有限公司提供的实习机会。在这一年的实习时间 里，不仅使我更加熟悉i c 设计的整个流程，同时也亲自参与了公司的视频芯片 开发工作。感谢公司的刘伟总经理在项目实施过程中对我的指导。感谢公司的 李飒翊工程师和黄继业工程师在工作中对我们的支持和帮助。同时也感谢公司 的其他同事在工作和生活上给予的关心和帮助。 感谢我的室友蒋特林、阳育才和谢超同学在生活和学习上给予的帮助。感 谢曾德瑞和赵强同学在实习期间给予的理解和支持。感谢杜侃侃、杨军等同学 在学校期间的帮助。感谢合肥工业大学各位老师对我的教诲。 在此我更要感谓j 我的父母长期以来对我的关爱、理解和支持，是你们的理 解和支持使得我能够顺利完成学业。 衷心的感谢所有关心和帮助过我的人! 普玉伟 2 0 1 2 年4 月 图2 一l 图2 2 图2 3 图2 4 图2 5 图2 6 图2 7 图2 8 图2 9 图3 一l 图3 2 图3 3 图3 4 图3 5 图3 6 图3 7 图3 8 图3 9 图3 一lo 图3 一l l 图3 12 图3 13 图3 1 4 图3 一1 5 图3 一1 6 图3 一l7 图3 1 8 图3 一1 9 图3 2 0 图3 2 l 图3 2 2 图3 2 3 图3 2 4 图3 2 5 插图清单 视频图像序列的结构6 视频图像逐行扫描过程7 视频图像隔行扫描过程7 r g b 颜色空间立方体8 视频后处理芯片的基本结构1 0 去隔行的基本过程1 1 场丢弃实现6 0 h z 到5 0 h z 帧率变换12 时域插值进行6 0 h z 到5 0 h z 帧率变换1 2 线性缩放13 静止场景和运动场景对应的频谱16 行复制17 行平均。17 w e a v e 17 场平均18 e l a 边缘相关性检测窗口1 8 运动自身应去隔行的基本结构19 块匹配搜索示意图2l 搜索区域2 2 三步搜索法的搜索过程2 4 交叉搜索法的搜索过程2 4 菱形搜索法的搜索模板2 5 菱形搜索法的搜索过程2 5 时间反向投影2 6 双向运动补偿2 7 四场运动检测模型2 9 亮度在y 反向上的变化3 0 三次曲线拟合插值的v l s i 结构31 改进型e l a 边缘检测模型3 2 细小边缘模型3 2 改进型e l a 的v l s i 结构3 4 纹理检测数据窗口3 4 本文去隔行算法的流程图3 5 运动白适应去隔行算法的v l s i 结构3 6 去隔行效果对比3 7 图4 1线性变换3 9 图4 2 分段线性变换3 9 图4 3 本文采用的分段线性变换4 l 图4 4对比度增强的v l s i 结构4 3 图4 5对比度增强的实验结果4 4 图4 6 边缘检测模型4 5 图4 7 常见的边缘检测计算模板4 5 图4 8 拉普拉斯计算模板4 6 图4 9 线性反锐化掩模4 6 图4 1 0自适应反锐化掩模过程4 7 图4 1 l改进型s o b e l 算子计算模板4 7 图4 一1 2s o b e l 计算的数据窗口4 8 图4 1 3自适应反锐化掩模算法流程图4 9 图4 1 4自适应反锐化掩模v l s i 结构5 0 图4 1 5数据窗口5 l 图4 1 6 数据缓存部分的v l s i 结构5 1 图4 一1 7改进型s o b e l 的v l s i 结构5 l 图4 1 8 锐化效果测试图5 2 第一章绪论 当前电视技术的发展正在由传统的模拟电视技术向数字电视技术转变【1 】。 数字电视技术是从节目的拍摄、制作、发送、传输、接收和播放过程采用数字 编码、数字传输和数字处理技术的新一代电视技术。与传统的p a l 、n t s c 、 s c e m a 模拟制式相比，数字电视具有明显的优势，主要表现在以下几个方面： 电视的频道率利用率大幅提升：节目的质量和传输的可靠性更高；数字视频易 于实现加密解密以及加扰解扰操作；可扩展性、可分级性及互操作性强，不同 层次质量图像能够相互兼容；便于实现与计算机网络和互联网的互通，符合国 家三网融合的发展趋势【2 j 。 未来的广播电视系统正在朝着数字电视方向发展，所以当前数字电视业务 倍受媒体和业界的亲昧。数字电视已经在欧美等发达国家和地区推广和使用， 我国也已经在部分城市和地区进行了试点，并计划于2 0 1 5 年施行全面数字化【3 1 。 当前正处于模拟电视技术到数字电视技术的过渡阶段，在此期间将是多种视频 格式标准共存的局面。随着人们需求的增长和鉴赏水平的提高，对电视图像画 面的清晰度提出了越来越高的要求。数字视频后处理芯片能够有效解决不同格 式视频信号与数字电视机之间的兼容性问题，改善视频画面的观赏性，满足数 字电视业务多样性的发展需求。视频后处理芯片已发展成为数字电视系统中不 可或缺的一部分。 1 1 视频后处理芯片的产生背景及意义 国内的高清数字电视业务的发展和推广正在如火如荼的进行中，但是发展 数字电视是一项庞大的系统工程，需要相关行业及其支撑技术的推动与促进， 所以在广播电视数字化进程中将会遇到大量的现实问题，比如：建立全数字高 清电视台费用昂贵，高清录制设备相对缺乏，现有的大量家庭仍然在使用模拟 制式的电视机等情况。这些现实条件决定了由模拟向高清数字电视的发展将是 一个长期的过程，并且在过渡期间将会是大量模拟和数字视频格式相互共存的 过程。 在视频节目的拍摄、后期制作和传输过程，我国的广播电视系统已经基本 实现数字化，但是在接收端的多数播放设备仍处于模拟的阶段。不同的国家和 地区根据自己的现实情况提出了适合自己的格式标准。目前数字视频格式众多， 表卜1 中列出了一些常见的数字视频格式标准。由于受传输带宽、储存器容量、 设备成本等因素限制，人们通常会根据需要选择合适的格式标准。虽然视频格 式的多样性方便了视频应用在不同领域中的推广和应用，但是也给不同格式视 频间的信息交流带来了一定的阻碍。例如，采用n t s c 制式的地区与采用p a l 制式的地区之间无法直接实现节目共享。伴随着信息技术的快速发展，信息的 交换和交流变得越来越受关注，不同格式的视频转换需求显得越来越重要。视 频格式转换芯片的出现使得不同格式的视频转换变为现实，有效解决了人们对 视频信息交换和共享的实际需求。 表卜1 常见的数字视频格式 标准名称分辨率帧频显示使用领域制定 ( f p s )幅型比组织 s d t v5 7 6 i7 2 0 x 5 7 6 x 5 0i2 5 4 ：3 ，与原p a l 模拟制式兼 c c i r 1 6 ：9 容的数字电视格式 s d t v4 8 0 i6 4 0 x 4 8 0 x 6 0i3 04 ：3与原n t s c 模拟制式c c 工r 兼容的数字电视格式 h d t v 一7 2 0 p l2 8 0 x 7 2 0 p2 4 2 5 3 01 6 ：9高清数字电视格式s m p t e 5 0 6 0 h d t v 一1 0 8 0 p1 9 2 0 x 1 0 8 0 p 2 4 2 5 3 0 1 6 ：9高清数字电视格式s m p t e 5 0 6 q h d t v 一1 0 8 0 i1 9 2 0 x 1 0 8 0 i 2 4 2 5 3 0 1 6 ：9高清数字电视格式s m p t e 视频后处理芯片不但能够把输入的视频数据转换为与显示终端相匹配的格 式，同时也能够对图像进行相应的增强处理，从而提升电视画面的视觉观赏效 果。 由于液晶显示器( l c d ) 、等离子显示器( p d p ) 等新型显示技术的显像原 理与传统的阴极射线管( c r t ) 显示器不同，采用点阵驱动的l c d 和p d p 等 新型显示器只能显示一定格式的数据，即用于显示的数据要与显示器物理分辨 率匹配，例如：当显示器分辨率为10 2 4 x 7 6 8 时，则输出到显示器的图像分辨率 也需要为10 2 4 x 7 6 8 。然而，现实中视频信号的多样性决定了输入信号的分辨率 不一，因此必须根据显示终端的需求对输入的视频进行缩放处理，才能使输入 视频在显示终端上正常显示。 传统的模拟广播电视使用隔行扫描有效解决传输带宽问题，但是伴随着新 型平板电视屏幕的增大以及分辨率的不断升高，传统隔行信号的缺陷越来越显 著。为了有效克服隔行信号的缺陷提高视频图像的清晰度，需要进行去隔行处 理。数字电视标准中仍包含隔行视频信号，而当前l c d 和p d p 等新型显示技 术均采用逐行扫描，所以隔行信号需要采用视频处理芯片进行去隔行处理后才 能在这些新型显示器上播放。 另一方面，对于过去的传统音像制品，由于分辨率相对较低或者画面质量 退化，如果直接在大尺寸的高清电视机上播放将会产生让人难以接受的效果。 但是对这些音像重新制作又显得不太现实，一种较好的解决方案就是采用视频 处理芯片提升分辨率，改善画面质量。 随着人们生活水平的不断提高，如今各类数字拍摄设备已经走进人们的生 活。由于各类拍摄设备的视频输出接口标准不一( 比如有的设备按照计算机的 接口标准设计) ，使得拍摄设备输出的信号与电视机支持的格式标准不匹配，导 致无法直接播放。要想在电视终端上无失真的还原所拍摄的视频信息，需要对 输入视频格式进行转换使之满足电视终端的格式需求。所以支持多种输入格式 是未来电视设备发展的主流方向【4j 。 因此，在这个模拟视频信号、传统音像制品信号、数字电视信号、计算机 输出信号等多种格式视频信号共存的环境下，使用视频后处理芯片对输入的视 频信号进行相应格式间的转换，增强显示终端与输入视频信号之间的兼容性， 己成为数字电视技术发展中不可或缺的一部分。 1 2 视频后处理芯片的市场前景 当前正处以模拟电视向数字电视技术的过渡期，广播电视的数字化给数字 电视的发展带来了良好的发展契机。视频后处理芯片是为适应数字电视业务的 发展需要而被提出的，同时也满足了消费电子产品对低功耗、轻便、兼容性强 的发展需求。 视频格式的多样性对数字电视的发展提出了较高的要求。只有不断加强产 品技术创新，增强产品的兼容性，才能在激烈的市场竞争中获得更好的发展的 机会。视频后处理芯片采用数字信号处理的方式把不同的视频信号格式转换为 显示终端所支持的格式进行输出，从而实现不同格式视频信号到显示终端之间 的无缝连接，增强了显示设备的兼容性，同时也在很大程度上简化电视产品的 电路结构，有效降低成本。 近年来传统的c r t 电视需求量越来越小，而l c d 、p d p 等平板显示器则 越来越深受人们欢迎。与c r t 电视相比，l c d 和p d p 电视具有轻便、低能耗、 分辨率高、电磁辐射低等优点。随着广播电视数字化的不断演进，l c d 、p d p 等新型平板电视取代传统的c i h 电视已成为电视市场发展的必然趋势。根据 d i s p l a y s e a r c h 的统计，2 0 0 5 年全球液晶电视出货2 1 0 0 万台，2 0 0 9 年增加至1 4 亿台，预计2 0 13 年将会达2 2 亿台，目前液晶电视的市场份额已超过8 0 。 我国作为彩色电视机生产和消费的大国，广播电视数字化的进程将给我国 电视市场带来巨大的发展机会。根据相关的预测，未来十年数字电视产业将会 给国内相关的企业创造1 5 0 0 0 亿元的产值和近1 0 0 0 亿元的利润【川。视频处理芯 片作为数字电视产品的重要组成部分，迎来了良好的发展契机。面对数字电视 产业如此广阔的发展前景，国际芯片设计企业纷纷进入中国市场，与中国家电 生产企业展开合作。 目前，国内数字电视市场上的视频处理芯片市场份额主要被国外芯片设计 公司所占据。例如：中小屏幕液晶电视的视频芯片市场主要被g e n e s i s 、m s t a r 、 r e a l t e k 、n o v a t e k 等公司占据，而大屏幕方案的市场主要被g e n e s i s 和p i x e l w o r k s 占据。国内的设计公司由于在起步晚，技术积累相对薄弱，目前还难以和这些 公司展开有效的竞争。 1 3 集成电路( i c ) 产业的状况 1 3 1当前国内i c 产业状况 我国作为全球最大的i c 产品消费市场，国内自主设计i c 产品只能够满足 2 0 左右的市场需求，c p u 、存储器等通用芯片基本上依赖于进口，在通信、网 络和消费电子等领域的高档芯片也大多依赖于进口。集成电路已经连续7 年成 为我国最大宗的进口商品，其中2 0 1o 年的进口额达到了15 6 9 亿美元。 当前国内的i c 设计企业主要是中小型企业，并且企业力量较为分散，公司 规模和设计能力与国际著名的设计公司相差较大。国内多数i c 设计公司缺乏技 术积累和产品定义的能力，i c 产品仍以中低端市场为主，同时提供系统解决方 案的经验和能力不足，无法及时满足整机企业的需求。另外，由于整机企业对 国产芯片缺少积极性，难以形成整机产品引领国内i c 设计和创新的发展局面。 在芯片企业和整机企业两者间的相互沟通不够充分，未能形成有效的联动机制。 近年来，随着产业结构的优化和企业技术实力的提升，国内i c 产业取得了 良好的发展成绩。i c 设计、制造、封装测试在i c 产业中各自的比重已经从2 0 0 5 年的1 7 7 、3 3 2 、4 9 1 提高到2 0 1 0 年的2 5 3 、3 1 、4 3 7 ，发展成一种 较为协调的格局。国内i c 设计企业与i c 制造企业、i c 制造企业之间不断的深 化合作，例如大唐电信入股中芯国际，上海华虹与宏力半导体合并成立上海华 力建设1 2 英寸生产线。一批i c 设计企业的市场竞争力也得到显著提升，展讯 和联芯科技的t d s c d m a 终端芯片出货量己突破3 0 0 0 万颗；国民技术在国内 市场的安全芯片领域占有大量市场份额。 1 3 2国内i c 行业的发展前景 国务院关于企业所得税若干优惠政策的通知等文件的相继出台，保证 了集成电路产业政策的稳定性，对i c 行业引导社会投资起到了积极作用。由于 投融资渠道逐步丰富和增加，一批本土的i c 企业在国内主板、创业板和美国纳 斯达克上市。大批海外高技术型和管理型人才到国内i c 行业工作或者创业。与 此同时，本土的行业领军人才、高层次人才以及复合型人才也在不断的涌现， 大批的高端人才正在加速向i c 行业汇集。伴随着产业竞争力的提升和产品的不 断创新，我国的i c 设计行业已成为创新最为活跃的高科技领域之一。 软件产业和集成电路行业作为国家战略性的新兴产业，是社会信息化和国 民经济持续发展的基础。因此，2 0 1 1 年国际出台了国务院关于印发进一步鼓 励软件产业和集成电路产业发展若干政策的通知，该政策的施行将为我国的 i c 产业的发展营造更有利的产业环境和更优惠的财税扶持。 最新发布报告显示，2 01 1 年我国i c 设计业销售额预计达到6 8 6 8 1 亿元， 比2 0 1 0 年增长2 5 0 8 ，占全球集成电路设计业的比重将提升至1 3 8 9 。十一 五期间国内的i c 产业的年均增速高于全球该产业的平均增速5 4 ，己成为全 4 球i c 产业发展最快的区域之一。近年来全球半导体产业重心正逐步向亚太区域 转移，使得亚太区域在全球半导体市场中的比重不断上升。随着市场需求的增 长和国家产业政策的支持，i c 设计企业在十二五时期将会迎来更好的发展契机。 如果说中国的半导体行业错过了w i n i n t e l 联盟的p c 时代，那么当前刚刚 掀起的数字电视、智能手机、平板电脑的移动互联网时代将会给国内半导体行 业带来新的契机。移动互联网时代吸引着全球的半导体公司大力投入和布局， 国内的本土i c 设计当然也不应该错过这样的历史机遇，近年不少国内的i c 设 计企业与a r m 公司合作开发嵌入式处理器和l t e 基带芯片。我国在3 g 和4 g 通信标准的具有一定的主导优势，这使得我国i c 设计公司在以智能手机和平板 电脑为主的移动互联设备领域具有较大的发展前景。预计2 0 1 5 年国内i c 市场 规模将达到1 2 0 0 0 亿元。 1 - 3 。3i c 行业的发展趋势 随着应用需求增加，芯片集成度将不断提高。未来一段时间内集成电路仍 将按照摩尔定律继续发展，芯片的集成度和处理能力将会持续增强，存储器的 存储容量将继续增大。当前已经实现3 2 纳米工艺量产，2 0 1 4 年将导入18 纳米。 未来i c 产品将朝着价值优先和功能多样化方向发展，不仅注重运算速度、存储 功能和低功耗设计，也将更加注重一些新功能的集成，如射频通信、功率控制、 传感器等。 随着新技术不断的出现和信息技术的广泛使用，新服务和应用不断的推出， 衍生出大量的新业务和新需求，扩展了i c 产业的发展空间。目前战略性新兴产 业，如移动互联网、云计算、智能电网、数字电视、三网融合、物联网、新能 源汽车等不断快速发展，将成为继计算机、网络通信和消费电子之后i c 产业新 的推动力。 第二章视频后处理芯片系统 视觉作为人类最重要的感觉，是人类从外界获取信息的主要来源。同其他 信息形式相比，视频信息具有信息量大、生动、直观、具体等特点。在电视给 人们带来视觉享受和丰富的娱乐生活的同时，人们也能够通过电视更多的了解 世界、认知世界、开阔视野。随着新世纪电子信息技术的飞速发展，视讯通信 越来越倍受人们的重视。 与模拟信号相比，数字信号具有抗干扰能力强、便于加密、容易存储、便 信号处理和交换等优点。目前，视频和图像信号的数字化已在视讯通讯、广播 电视、视频监控等相关领域得到推广，这对广播电视数字化的快速发展起到了 积极的推动作用。各种数字视频设备已走进了千家万户，如数字电视机、高清 数字机顶盒、数字摄像机、d v d 播放机等。数字视频后处理芯片作为数字电视 产品的核心技术之一，在数字电视时代具有重要意义。 2 1 视频技术基础 2 1 1电视显示的基本原理 通常我们看到的视频画面感觉是连续运动的，而实际上视频画面是由一系 列静止的图像构成。视频相当于一组图像在时间方向上有序排列，是二维图像 在一维时间轴上构成的图像序列【6 i ，如图2 1 所示。 时间 图2 一l 视频图像序列的结构 无论是传统的c r t 电视，还是l c d 、p d p 等新型平板电视，都是把一幅 图像分成多行，然后按照从左到右、由上至下的扫描顺序逐一扫描，最终形成 一幅完整的图像。其中由左向右扫描的扫描过程称为行扫描。由于人眼具有视 觉暂留的特性，只要每秒切换的图像数不少于2 4 张，则看到的画面将是连续的。 逐行扫描( p r o g r e s s i v es c a n ) 和隔行扫描( i n t e r l a c e ds c a n ) 是最为常见的两种 扫描方式【7 1 。 逐行扫描是指扫描每帧图像时，从显示器的左上角开始，由上至下的逐行 进行行扫描，直至整个屏幕被刷新一次的扫描过程，扫描过程如图2 2 所示。 垂| = = = = = ：= = ：= = ：= = 。_ 皇! = 二三三三= = = = = = 一 墓| 乏三三= = = = 一 描 三三三三一 一一一一一一 | = = 三三三= = = = = = = = = 一 一一一 l = = = 二二三三= j = = = = ：= 一。；= = = = = = = = = 二：二：。_ + 图2 2 视频图像逐行扫描过程 隔行扫描把一帧图像分两场进行扫描，先对奇数行进行扫描，直到一帧图 像中的奇数行扫描结束再对偶数行进行扫描。通常把一帧图像扫描过程中由奇 数扫描行构成的场称为奇数场，偶数扫描行构成的场称为偶数场。扫描过程如 图2 3 所示。 蚕 = 二= = 了一 蚕等 描 一一一一一一一一 ；。= 二二二二_ 斗 ： 丫 一一一一一一一一一一一一 一一一，一一一一 水平扫描 场2 图2 3 视频图像隔行扫描过程 2 1 2 颜色空间 在彩色广播电视系统的建设过程中，人们试图通过r g b ( 红、绿、蓝) 传 送彩色视频信号。考虑到此方案占用的带宽是灰度解决方案的3 倍多，所以没 有被采用。后来，人们提出y 、r y 和g y 数据来表示颜色，并开发出传输y 、 r y 和g y 的相关技术【6 j 。今天广泛使用的p a l 、n t s c 和s e c a m 视频标准就 是在这种复合视频信号的基础之上发展起来的。目前在视频领域最常用的颜色 空间有r g b 、y ij v 和y c b c r 。 2 1 2 1 r g b 颜色空间 在计算机图形学和显示器方面广泛使用r g b 颜色空间，r g b 三基色也是 彩色电视的基础。根据三基色原理，自然界中的各种颜色均可以由三基色按照 一定比例混合而得到，同理也可以把任何一种颜色分解为三基色。混合色的色 调和饱和度由三基色的混合比例决定，其对应的亮度为三基色的亮度总和。由 红绿蓝三基色表示的r g b 颜色空间可以用三维的笛卡尔坐标来进行表示，如图 2 4 。 b g 图2 4r g b 颜色空间立方体 三种基色相互独立，任何一种基色都无法只由两种基色混合而成呤3 。红、 绿、蓝三基色根据不同的比例进行相加称为相加混色，如：红色+ 绿色= 黄色， 红色+ 绿色十蓝色= 白色，红色十蓝色= 品红。国际照明委员会( c i e ) 选用波长7 0 0 n m 的光谱为红基色，波长5 4 6 1 n m 的光谱为绿基色，波长为4 3 5 8 n m 的光谱为蓝 基色。 对于8 位的数字信号，r g b 的取值范围在0 到2 5 5 之间。 2 1 2 2y u v 颜色空间 y u v 是p a l 、n t s c 和s e c a m 所采用的颜色空间。现代彩色电视系统中， 三管彩色摄影机或者彩色c c d 摄像设备获得的彩色图像信号通过分色、放大校 正后得到图像的r g b 值，然后再由矩阵变换电路得出亮度信号y 和两个色差 信号u ( r y ) 和v ( b y ) 8 1 。 y u v 颜色空间中亮度信号y 和色度信号u 、v 是分离的，亮度( 1 u m i n a n c e ) 信号y 也被称为灰度值，u 和v 分量则为图像的色度信息，用以表示影像的色 彩及饱和度。如果只有y 分量则得到的图像是黑白图像。彩色电视系统中使用 y u v 颜色模型，通过亮度信号y 有效解决了黑白电视和彩色电视间的兼容性 问题，从而使得黑白电视机能够接收彩色电视系统的信号。 对于8 位的数字信号而言，y 的取值范围为0 2 5 5 ，而u 的取值范围为0 1 2 2 ，v 的取值范围为0 15 7 。y u v 可以与r g b 颜色空间进行相互转换， g a m m a 校准的r g b 与y u v 的颜色空间转换公式如表2 1 所示。 8 表2 1r g b 与y u v 颜色空间转换 y = o 2 9 9 r + 0 5 8 7 g + 0 11 4 b ： r g b 转y u vu = 一o 1 4 7 r o 2 8 9 g + o 4 3 6 b ： v = 0 6 1 5 r o 5 1 5 g 一0 1 0 0 b r = y + 1 1 4 v y u v 转r g bg = y 一0 3 9 5 u 一0 5 8 1 v b = y + 2 0 3 2 u 2 1 2 3 y c b c r 颜色空间 在国际数字分量视频信号标准i t u rb t 6 01 中提出的y c b c r 颜色空间是 由y u v 颜色空间发展而来的【6 1 ，y c b c r 颜色空间可以看作是y u v 颜色空间的 缩放版或者偏移版。采用8 b i t 编码的情况下，亮度y 的范围是1 6 2 3 5 ，色度 c b 和c r 的范围是1 6 2 4 0 。支持有多种采样格式，如：4 ：4 ：4 ，4 ：2 ：2 ，4 ：l ：l ， 4 ：2 ：0 。y c b c r 与r g b 可以进行相互转换，其转化公式如表2 2 所示。 表2 2y c b c r 与r g b 颜色空间的转换关系 s d t v 模式h d t v 模式 r g b 转 y = 0 2 9 9 r + o 5 8 7 g + o 114 by = 0 2 1 3 r + 0 7 1 5 g + 0 0 7 2 b y c b c rc b = 一0 17 2 r 一0 3 3 9 g + 0 51l b + l2 8c b = 一0 11 7 r o 3 9 4 g + 0 5 ll b + 1 2 8 c r = 0 5 1l r 一0 4 2 8 g 一0 0 8 3 b + 1 2 8 c r = 0 5 1l r 一0 4 6 4 g 一0 0 4 7 b + 1 2 8 y c b c rr = y + 1 3 7 l ( c r 一1 2 8 )r = y + 1 5 4 ( c r 1 2 8 ) 转r g bg = y 一0 6 8 9 ( c r 1 2 8 ) 一o 3 3 6 ( c b 一1 2 8 )g = y 一0 4 5 9 ( c r 一1 2 8 ) 一0 1 8 3 ( c b 1 2 8 ) b = y + 1 7 3 2 ( c b 1 2 8 ) b = y + 1 8 1 6 ( c b 1 2 8 ) 2 1 3 数字视频的基本参数 帧频指每秒钟所播放的图像数量。帧频越高则视频画面稳定性越好，画面 的连续性越强。通常电影的帧频为2 4 帧秒，标清数字电视系统帧频为2 5 帧 秒、3 0 帧秒，高清数字电视系统帧频为2 5 帧秒、3 0 帧秒、5 0 帧秒、6 0 帧秒。 场频指隔行扫描系统中每秒钟更新的图像场数，与帧频相对应。电视系统 中采用的场频有5 0 场秒、6 0 场秒。 分辨率是指图像水平采样点和垂直扫描线的数目，是衡量图像清晰度的一 个重要指标。电视系统中通常使用线分辨率度量画面的清晰度。标准清晰度通 常在扫描线5 0 0 行左右，高清晰度要求扫描线在1 0 0 0 行左右。 图像画面的宽高比是根据人眼的视觉特性制定的。目前常见的图像画面宽 高比有4 ：3 和1 6 ：9 两种。 像素宽高比可以由图像画面的宽高比和图像的有效像素进行计算而得出心1 。 如：s d t v 的5 7 6 i 格式( 图像宽高比为4 ：3 ，分辨率为7 2 0 x 5 7 6 ) ，该格式的像 素宽高比为( 4 7 2 0 ) ：( 3 5 7 6 ) = 1 0 6 6 7 ；h d t v 的10 8 0 p 格式( 图像宽高比为1 6 ：9 ， 分辨率为1 9 2 0 x 1 0 8 0 ) ，该格式对应的像素宽高比为( 1 6 l9 2 0 ) ：( 9 10 8 0 ) = l 。 像素宽高比等1 为方形像素，方形像素进行图像处理特别是旋转时，不存在几 q 何失真的状况，且利于计算机与电视间的互操作。因此，各国的数字h d t v 均 选用方形像素。 2 2 视频后处理芯片系统的基本介绍 图2 5 为视频后处理芯片的内部框图。 数据输出 视频后处理芯片的核心作用主要是实现不同格式间的转换以及图像处理， 图2 5 为视频后处理芯片的基本结构图。下面我们对视频处理芯片的去隔行、 帧率变换、图像缩放、图像增强、0 s d 进行简要介绍。 2 2 1 去隔行( d e i n t e r l a c i n g ) 电视系统中扫描方式可分为隔行扫描和逐行扫描两种。隔行扫描一帧由奇 偶两个扫描场组成，奇数场由奇数扫描行构成，偶数场由偶数扫描行构成。隔 行扫描方式显示一幅图像时先扫描奇数场，等奇数场扫描完后再扫描偶数场， 所以易引起图像画面的闪烁。逐行扫描显示一幅图像时则是顺序的由上至下一 行接一行连续扫描。与隔行扫描相比，逐行扫描画面较为平滑稳定，无闪烁现 象。 最初电视系统中采样隔行扫描是为了利用人的视觉残留特性，尽可能的利 用有限的带宽提高图像的垂直分辨率，同时减少或者消除低帧率时视频图像的 大面积闪烁情况。由于隔行图像直接在帧平面抽取时并没有进行相应的前置滤 波，会引入频谱混叠，所以经常会观察到隔行扫描带来的一些缺陷，比如行间 闪烁、锯齿、爬行、运动模糊等现象【9 j 。在模拟电视时代，由于受显示终端分 辨率的限制，隔行扫描的缺陷不易被人眼觉察，对人们观看电视节目的影响较 小。然而，随着数字电视的不断推广和大尺寸高分辨率平板电视的发展，隔行 信号所存在的缺陷在新型显示设备上表现的越来越明显。再加上现在人们对视 频显示设备及视频质量观赏舒适性的要求越来越高，传统的隔行视频信号的画 面显示效果已无法满足消费者的需求。为提升画面质量，改善隔行视频信号的 不足，必须对隔行视频信号进行去隔行处理。 去隔行就是把隔行视频信号转换为逐行视频