（电路与系统专业论文）基于条件插值算法的手持终端图像显示技术研究.pdf

p o s t g r a d u a t eo f2 0 1 0 m a s t e rd i s s e r t a t i o n u n i v e r s i t yc o d e ：10 2 6 9 s t u d e n ti d ：5 1 0 7 1 2 0 2 0 3 9 e a s tc h i n an o r m a l u n i v e r s i t y t e c h n i c a lr e s e a r c ho fh a n d h e l dt e r m i n a l d i s p l a y i n g b a s e do nc o n d i t i o n a li n t e r p o l a t i o n a l g o r i t h m department：schoolo finformations c i e n c e & t e c h n o l o g y m a j o r ： c i r c u i t a n d s y s t e m r e s e a r c hd i r e c t i o n ：d i g i t a ld i s p l a yt e c h n o l o g y s u p e r v i s o r ：y i g i 望g 坠i 坠 s t u d e n tn a m e ： f i n i s h e d ：a p r i l ，2 0 1 0 作者签名： 华东师范大学学位论文著作权使用声明 基于条件插值算法的手持终端图像显示技术研究系本人在华东师范大学攻读学位期间 在导师指导下完成的硕肚博士( 请勾选) 学位论文，本论文的研究成果归华东师范大学所有。 本人同意华东师范大学根据相关规定保留和使用此学位论文，并向主管部门和相关机构如国家 图书馆、中信所和“知网”送交学位论文的印刷版和电子版；允许学位论文进入华东师范大学 图书馆及数据库被查阅、借阅；同意学校将学位论文加入全国博士、硕士学位论文共建单位数 据库进行检索，将学位论文的标题和摘要汇编出版，采用影印、缩印或者其它方式合理复制学 位论文。 本学位论文属于( 请勾选) () 1 经华东师范大学相关部门审查核定的“内部或“涉密学位论文水， 于年月 日解密，解密后适用上述授权。 ( 2 不保密，适用上述授权。 导师签名本人签名 巧参占缉 卜年r 月以日 i “涉密”学位论文应是已经华东师范大学学位评定委员会办公室或保密委员会审定过的学位论文( 需 附获批的华东师范人学研究生申请学位论文“涉密”审批表方为有效) ，未经上述部门审定的学位 论文均为公开学位论文。此声明栏不填写的，默认为公开学位论文，均适用上述授权) 。 猩窒堡硕士学位论文答辩委员会成员名单 姓名职称单位备注 刘锦高教授华东师范大学通信工程系主席 薛燕陵教授华东师范大学通信工程系 王蔚生副研究员华东师范大学通信工程系 摘要 在信息化网络时代、数字化视听感受给我们提供丰富的娱乐生活之余，也让人们获得信息、 知识提供公平的机会和更加快捷的渠道。文字、图像、音频和视频作为载体给人们传递着各种 各样的信息，人机交互的深入发展让每个人都可成为信息的参与者，其中视频在传递信息方面 所占的比重最大。 移动手持终端产品的移动化，便捷化及多媒体化的趋势，让终端对视频的支持更广泛。而 这种视频多基于存储卡的读写实现的，如果要观看直播节目，就必需要求在手持终端上具有视 频的接口。因为手持设备分辨率的不同，所以在终端显示的连接中就要解决好目标显示设备与 视频信号的格式问题，这便是图像缩放技术。 文章介绍和总结了一系列的图像缩放算法：最近邻插值、双线性插值、样条插值、立方卷 积插值等，应用m a t l a b 进行算法仿真，对各种算法的优缺点进行对比分析，并在此基础上提 出了一种新的条件插值方法，弥补了最近邻、双线性插值两种算法各自的不足之处，以计算机 的显示器模拟手持终端，并在f p g a 硬件平台上加以实现来验证该算法，较之一般的算法，硬 件实现简单，图像质量有所改善，系统可以支持动态视频。 本文做了如下工作： l 对手持终端及其视频接口标准进行了广泛的讨论。 2 系统地总结了目前常用的一些图像缩放算法原理及应用，介绍了最新的图像缩放技术， 并使用m a t l a b 对其中部分算法进行仿真分析，对实现结果、优缺点进行评价。 3 综合了最近邻法和双线性插值法的优点，提出了一种硬件实现简单，图像缩放显示效果 较好的条件插值算法，并对这种条件插值算法进行了深入讨论和扩展研究。 4 在数据和实验结果的基础上对各种算法进行对比分析。 5 用计算机显示器模拟手持终端设备，以本实验室设计的f p g a 视频处理板作为硬件平台， 对最近邻法、双线性插值、条件插值算法进行了m o d e l s i m 的仿真分析和f p g a 设计实现。 关键词：图像缩放，条件插值，f p g a a b s t r a c t i nt h ee r ao fi n f o r m a t i o na n dn e t w o r ka sw e l la st h ed i g i t a la u d i o - v i s u a le x p e r i e n c e sh a v e n o to n l ye n r i c h e do u re n t e r t a i n m e n tl i f e ，b u ta l s oo f f e r e de q u a lo p p o r t u n i t ya n dm o r e c o n v e n i e n ta c c e s so fo b t a i n i n gi n f o r m a t i o na n dk n o w l e d g e t e x t s ，i m a g e s ，a u d i oa n dv i d e oc l i p s c a r r yv a r i o u si n f o r m a t i o n a sh u m a n c o m p u t e ri n t e r a c t i o n ( h c i ) g o e sf u r t h e r , e v e r y o n ec a n p a r t i c i p a t e i nt h ei n f o r m a t i o n p r o p a g a t i o np r o c e s s ，w h e r ev i d e oo c c u p i e st h el a r g e s t p r o p o r t i o n t h et r e n do fh a n d h e l dt e r m i n a l sd e v e l o p m e n ti st ob em o b i l e ，p o r t a b l ea n dm u l t i m e d i a ，t h a t i sb e i n ga b bt os u p p o r tv i d e oa tt e r m i n a l s t h i sk i n do fv i d e oi sm o s t l yb a s e do nr e a d - w r i t eo f m e m o r yc a r d i fo n en e e d st ow a t c hl i v ep r o g r a m s av i d e oi n t e r f a c ei sr e q u i r e da tt h eh a n d h e 】d t e r m i n a lo w i n gt ot h ed i f f e r e n tr e s o l u t i o no fh a n d h e l dd e v i c e s i ti sn e c e s s a r yt or e s o l v et h e p i x e ls a m p l i n gp r o b l e m ，i e i m a g es c a l i n gt e c h n o l o g y t h i st h e s i si n t r o d u c e ss o m ea l g o r i t h m ss u c ha sn e a r e s tn e i g h b o ri n t e r p o l a t i o n ，b i - l i n e a r i n t e r p o l a t i o n a n dp r o p o s ean e wm e t h o dc a l l e dc o n d i f i o n a li n t e r p o l a t i o nw h i c hm a k e su pf o r t h ed i s a d v a n t a g e so ft h et w op r i o ra l g o r i t h m s ，t h ea l g o r i t h mi ss i m u l a t e db ym a t l a ba n d i m p l e m e n t e do nf p g ap h f f o r m t h er e s u l tj n d i c a t e st h a tl e s sh a r d w a r er e s o u r c e sa r eu s e da n d t h ei m a g eq u a l i t yi sm u c hb e t t e rc o m p a r e dw i t ht h eg e n e r a la l g o r i t h m s ，a n dt h i ss y s t e mi sa b l e t os u p p o r td y n a m i cv i d e o 。 t h er e s e a r c hw o r ko ft h ed i s s e r t a t i o ni n c l u d e s ： 1 m a k ee x t e n s i v ed i s c u s s i o no nv i d e oi n t e r f a c es t a n d a r do fh a n d h e 】dt e r m i n a l s 2 s y s t e m a t i c a l l ys u m m a r i z et h ep r i n c i p l ea n da p p l i c a t i o no fs o m eg e n e r a li m a g es c a l i n g a l g o r i t h m s ，i n t r o d u c et h el a t e s ti m a g es c a l i n gt e c h n o l o g y , s i m u l a t ep a r to ft h ea l g o r i t h m b a s e do nm a t l a b a n de v a l u a t et h er e s u l t si n c l u d i n gm e r i t sa n dd e m e r i t s 3 c o m b i n et h ea d v a n t a g e so fb o t hn e a r e s tn e i g h b o ri n t e r p o l a t i o na n db i l i n e a r i n t e r p o l a t i o n p u tf o r w a r dac o n d i t i o n a li n t e r p o l a t i o ni nw h i c hh a r d w a r ei se a s yt or e a l i z e a n di m a g es c a l i n ge f f e c ti sc o n s i d e r a b l e a n dm a k ef u r t h e rd i s c u s s i o na n de x t e n s i o n a l r e s e a r c ho nt h i sc o n d i t i o n a li n t e r p o l a t i o n 4 m a k ec o n t r a s t i v e l ya n a l y s i so fv a r i o u sa l g o r i t h m sb a s e do nt h ed a t aa n de x p e r i m e n t a l r e s u l t s 5 e n g a g e i nm o d e l s i ms i m u l a t i o na n df p g ai m p l e m e n t a t i o no nn e a r e s tn e i g h b o r i n t e r p o l a t i o n ，b i - l i n e a ri n t e r p o l a t i o na n dc o n d i t i o n a li n t e r p o l a t i o nu s i n gt h ed e s k t o p d i s p l a yt os i m u l a t eh a n d h e l dt e r m i n a la n df p g av i d e op r o c e s s i n gb o a r ds e r v i n ga s h a r d w a r ep l a t f o r m k e yw o r d s ：i m a g es c a l i n g ，c o n d i t i o n a li n t e r p o l a t i o n ，f p g a 2 3 2 数字图像缩放技术分类1 8 2 4 图像品质评价1 9 2 5 本章小结。2 0 第三章图像缩放算法研究2 1 3 1 最近邻法2 1 3 1 1 算法原理2 1 3 1 2 仿真及分析2 1 3 2 双线性插值法2 2 3 2 1 算法原理。2 2 3 2 2 仿真及分析2 5 3 3 其它几种插值算法2 6 3 3 1 立方卷积2 6 3 3 2 样条插值一2 7 3 4 条件插值算法一3 2 3 4 1 条件插值算法原理3 2 3 4 2 算法特点3 3 3 4 3 算法仿真及分析3 3 3 5 本章小结3 5 第四章基于f p g a 的系统实现3 6 4 1f p g a 技术简介3 6 4 2 系统硬件平台3 7 4 3f p g a 设计模块3 9 4 4 缩放模块实现4 7 4 4 1 最近邻法的f p g a 实现4 7 4 4 2 双线性插值法的f p g a 实现5 0 4 4 3 条件插值法的f p g a 实现5 l 4 5 本章小结5 3 第五章结束语5 4 附录一：攻读硕士期间取得的成果5 5 附录二： 附录三： 参考文献 致谢 统一的工业标准和相对滞后的协议制定让很多可能快捷创利的机会不得不眼争 争的拱手让与别人，而且引用别国的标准就得向其不断的交付巨额专利费用，欧 美、日本等少数发达国家在这方面引领风骚的状况万万不是中国所能望其项背 的。 从m p 3 到m p 4 ，从只有通话功能到视频音乐功能多样的手机，从传统电视到 现在网上的i p t v ，对视频功能的需求和获取的方式在改变电子产品革新的同时， 人们的生活习惯和娱乐方式都发生着巨大的改变，3 g 网络的大力推进，让人们 的生活更加的便捷，让以前各司其职的设备也可以做成统一的功能广泛集中化的 产品。而在现在，手持设备主要还是以存储为基础实现音频、图像、视频的播放。 如果要实现实时的电视节目播放，就必须这种手持设备上有这种专门的视频信号 接收接口，而这种接口可以是串行接口，可以是并行接口；可以是有线接口，也 可以是无线接口。 h d m i ，d v i 等视频接口标准在现在的产品中还扮演着重要的角色，而与未来 的移动手持设备对视频的要求是否相适应还有待商榷，但如果专门对这种手持的 终端设置尽早做出国内自己的视频接口标准绝对是件令人振奋的事，会对以后 生产的统一和便捷产生积极影响。而目前为止，广泛的移动手持设备的视频接口 标准还未形成，业界有关其标准之争也进入白炽化，t i 、a r m 和诺基亚为主的阵 营宣布m i m i ( 移动产业处理器接口联盟) 外，其后国家半导体也宣布了面向手机 和其它移动系统的高速串行接口m o b i l ep i x e ll i n k ( m p l ) ，并宣称己获得超过 1 0 家手机厂商的支持，而瑞萨科技也携爱普生共同发布开放式移动视频接口 ( m v i ) 标准，并宣称对包括半导体厂商在内的所有业者免费。此外，英飞凌、 飞利浦、n e c 和高通等公司均已表示正在开发开放的移动应用接口标准。这些标 准的提出预示着将来移动手持设备的视频功能走向成熟的市场化道路。 为了满足移动设备对高性能显示的需求，精工爱普生公司和瑞萨科技有限公 司正在设法使他们联合开发的串行移动视频接口成为事实上的标准。两家公司将 在他们自己的产品中集成这种接口，并向其他芯片制造商免费提供此规范，从而 促进它的应用。随着手机加入更多的多媒体功能，它们的显示器需要越来越高的 分辨率，为了实现平滑的视频显示，这些因素要求手机拥有一种新型的高速接口， 爱普生和瑞萨是最近成立的移动工业处理器接口联盟( m i p i ) 的成员，这个组织试 图使围绕基带和应用处理器的接口标准化，各大公司相继出招，为抢先成为这个 潜在的巨大市场的标准占有者。 虽然目前移动手持终端接口尚未形成广泛统一的标准，但对这种实现视频信 号在手持终端显示的视频接口标准的定义必将是移动电子产品未来发展的方向。 1 1 2 技术更新 图像缩放技术是实现手持终端的视频显示的一项关键的技术。 对于图像缩放技术来说，目前有很多种算法，其中比较常用和成熟的算法有： 最近邻插值、双线性插值、样条插值、三次卷积插值等等，对图像缩放算法的研 究具有重要的意义。 在计算机中，重建物理图像其实是一种计算模型而已，物理图像在计算机世 界里面是无法真正的重建的，毕竟计算机是离散系统，而物理图像是连续的事物， 计算机无法完整而精确的进行描述。然而我们却可以找到多种的计算模型，来描 述我们需要重建的物理图像。需要注意的是，我们找到的是计算模型，然后我们 要根据这个计算模型，来进行重新采样。 图像从实物图像到物理影像再到数字图像的变换过程，是一个不可逆的变换 过程，在每次变换过程中，都会丢失掉大量的信息。如果想要从数字图像重建 物理图像，其实是在已有的数字图像数据的基础上，对物理图像做出的一种近似 而已。对于已有的数字图像，我们有多种计算模型，来重建物理图像，而这个重 建的物理图像，一般都是通过连续图像模型来描述。 最简单的一种计算模型是最近邻算法。除了最近邻点算法之外，还有双线性 2 插值算法和曲面插值算法。其中双线性插值算法比较简单，且易于计算，因此在 工程上得到了广泛的运用。而曲面插值可以得到更好的图像效果，但是其插值原 理和计算方法都比较复杂。 从早期的插值方法，如最近邻法、双线性插值法以及三次内插法及卷积方法 等应用到图像缩放的插值算法，1 9 9 0 年d u r a n d 等提出将数字图像网点上的像素 插值成b 样条，再根据缩放要求对新的网点进行采样输出。1 9 9 7 年，d a r w i s h 提出了一种利用自适应的重采样算法，对图像进行放大处理，算法一般适用于较 放大因子较大的情况。a l b i o l 等人提出的图像放大技术是基于数学形态学，利 用线性插值和梯度计算，该方法对像素变化缓慢的区域采用线性方法插值，而在 边界处进行特殊处理。1 9 9 8 年l e e 等人提出了高阶样条缩放方法，利用斜投影 算子构造简单快速的图像缩放算法。1 9 9 9 年孙庆杰提出了基于b e z i e r 曲面的放 大方法。2 0 0 0 年，l e u 利用边界分割技术对图像进行放大，得到了比最近邻法和 双线性插值更有效的缩放算法。m a l g o u y r e s 等提出了图像缩放的非线性变分问y 题数值方法，该算法具有较好的边界保持功能。p a n d a 等提出了图像与信号处理 的广义b 样条插值和逼近技术。s e k i w a 利用多神经网络，克服了普通神经网络 进行图像放大时所产生的失真现象( 特别是放大倍数较大时) 。l e n 提出称作斜 坡边界模型的图像放大，同是保持源图像中的连续性与清晰度“3 。 第3 4 届s i g g r a p h2 0 0 7 数字图形学年会上，以色列的两位教授s h a ia v i d a nj 咛 和a r i e ls h a m i r ，展示了一种新的缩放裁剪图像方法，他们称之为s e a mc a r v i n g f o rc o n t e n t - a w a r ei m a g er e s i z i n g ，这项技术能计算出图像上的关键部分和不 重要区域，从而使得随意改变一个图像的高宽比( a s p e c tr a t i o ) 但不会让内容 变得扭曲成为可能。简单的说，利用这个技术我们可以在缩放时固定图片中特定 区域的大小，或者可以在缩小时让特定的区块被周围图像缝合消除，并且因为 “s e a mc a r v i n g 的缝补算法，可以让图片缩放后仍然维持整体的完整性。这项 技术即将应用在新版的p h o t o s h o p 软件中。 视频信号显示在手持终端时必定会碰到源和目标的分辨率差异，如果不加处 理，就不可能在终端得到正常的清楚的图像信号，而且，缩放技术和方法的选择 也对终端的显示效果有重大影响。 1 2 研究意义 手持终端因其方便小巧性在生活中应用越来越广泛，以满足人们随时随地 获得资讯的要求，本课题是在f p g a 数字视频实验平台上，将视频信号显示在模 3 拟手持终端上，其目标是探索一种可以用手机观赏电视的技术。 图像缩放的实现有软件和硬件的方法，软件方法常见的有m a t l a b 和v c + + ( 基 于p c ) ，d s p 等；硬件的方法有a s i c ，f p g a 等。相比软件实现，硬件方式较为复 杂，但是其良好的实时特性是软件所无法达到的。下面从市场和实现方法两方面 来阐述该设计的意义。 k ：， 一、从市场方面来看：一：、 ( 1 ) 终端产品从固定到移动的变化。 以移动电话为例，如图1 - 1 所示的来自工信部的数据矬表明：2 0 1 0 年1 月份，全国移动电话用户净增9 2 2 1 万户，达到7 5 6 6 0 4 万户。 ，一产k r “、叶h 一 k 二r 一，二 一 厂7 、 、 一一2 一2 0 0 s 2 一2 。i 。 越 。 1 月2 月3 月4 月5 月6 月7 月8 月9 月1 0 月1 1 月1 2 月 图卜12 0 0 7 - 2 0 1 0 年移动电话用户各月净增比较 从表1 - 1 可以看出2 0 1 0 年1 月，固定本地电话通话量比上年同期下 降1 3 5 ，而移动本地电话通话时长比上年同期增长2 3 3 。 指标名称单位2 0 1 0 年1 月2 0 0 9 年1 月 增长率( ) 固定本地电话 亿次 4 0 2 44 6 5 0- 1 3 5 通话量 传统固定电话亿次 3 3 1 33 5 0 5 5 5 无线市话亿次 7 1 11 1 4 5- 3 7 9 移动本地电话 通话时长 亿分钟 2 9 9 5 52 4 3 0 42 3 3 表1 - 12 0 1 0 年固定本地与移动本地通话量比较 ( 2 ) 从单功能到多媒体趋势，从低速到宽带。 4 0 0 0 0 0 0 0 0 0劢 c 1 0 9 8 7 6 5 4 3 图卜22 0 0 7 2 0 1 0 年互联网用户各月净增比较 二、从实现方法来看 图像的缩放是数字图像处理的重要内容之一。有很多领域需要用到图像缩放 技术，譬如电子出版、数码相机、掌上终端等。图像缩放可以用软件或者硬件的 方法来实现。 ( 1 ) 软件实现 可以用基于p c 的软件解决方案，m a tl a b 和v c + + 等都可以对图像进 行处理，实现像素的重采样，即实现图像的缩放。实现起来简单，适应 范围广，不论是相对简单的算法或是复杂度高的算法，一般来讲都可以 实现。但是对于设计一个在终端实现显示的嵌入式系统来讲，毕竟不会 用庞大的p c 这样的代价。所以软件的方法可以用来验证算法，但不适合 做成实物，而且软件实现的速度相对比较慢，没有很好的实时性。 ( 2 ) 硬件实现 硬件的实现方法有d s p 、a s i c 、f p g a 等。其中d s p 具有强大的数字运算 和处理功能，能实现较难的算法。a s i c 的设计相对固定，开发时间长， 不易改变，而f p g a 具有开发简单、静态可重复编程和动态在系统编程的 特点，适合高速信号的处理。f p g a 以其优良的性能和越来越具有竞争力 的价格使得其市场远景非常乐观，它包含的资源越来越丰富，可实现的 功能也越来越强大。本设计即是利用f p g a 实现视频信号的缩放处理，将 视频信号显示在不同分辨率模拟手持终端上。与软件方法相比，硬件实 5 现实时性更好。 1 3 本章小结 本章介绍了本课题的研究背景和研究意义。 1 ) 手持终端的视频接口尚未有统一的行业标准，现有的视频接口标准是否适 应未来的手持终端设备有等商榷，众多公司已经在着手策划推出自己的标准，以 试图引领未来手持设置终端视频显示市场的潮流，竞争的激烈和无序使得标准不 能及时提出。 2 ) 在技术上，要实现手持终端图像显示，其中最关键的技术是图像缩放技 术，图像缩放技术随着时代发展在不断更新，从最早的最近邻法、双线性插值等 到样条插值、卷积插值再到基于小波的图像缩放，到最新的根据内容的缝补算法， 技术上的不断成熟让很多算法已在很多领域得到应用。 3 ) 在上述背景下，未来市场需求的要求和本设计使用的f p g a 实现方法的优 势表明对手持终端图像显示技术的研究意义重大。 6 2 1 手持终 我们常 是固定的，每一个点就是一个像素。而且手机分辨率并不是指屏幕大小，而且也 可以说和屏幕本身的大小没有关系。比如，2 1 英寸液晶显示屏幕可以显示 2 4 0 3 2 0 分辨率的图像，就叫做“q v g a2 1 英寸液晶显示屏：3 8 英寸液晶 显示屏幕可以显示2 4 0 x 3 2 0 的图像，就叫做“q v g a3 8 英寸液晶显示屏”。 当下的手机屏幕分辨率规格大致分为q v g a 、h v g a 、v g a 、w v g a 四种，因此许 多应用软件也相继推出了各个分辨率的对应版本，比如说前段时间比较热门的百 度手机输入法，目前也推出了w v g a 和v g a 版本，现介绍一下这四种分辨率。 q v g a ( q u a r t e rv g a ) ：其分辨率为2 4 0 3 2 0 像素，是当下智能手机最常用 的分辨率级别。2 4 0 3 2 0 像素的意思就是，手机屏幕横向每行有2 4 0 个象素点， 纵向每列有3 2 0 个像素点，乘起来就是3 2 0 2 4 0 = 7 6 8 0 0 个象素点。早期的 智能手机也大都采用这一显示级别的屏幕。 h v g a ( h a l f - s i z ev g a ) ，其分辨率为4 8 0 3 2 0 像素，宽高比为3 ：2 。一直 都很热销的i p h o n e 和黑莓的b o l d9 0 0 0 ，还有全球第一款a n d r o i d 系统手机谷 歌g 1 都采用了这一显示级别的屏幕。图2 - 1 展示了几种不同分辨率的手持终端 设备。 图2 - 1 v g a ( v i d e og r a p h i c sa r r a y ) 是早起i b m 提出的电脑显示标准，但现在已经 应用于手机产品的显示上。其分辨率为6 4 0 4 8 0 像素，宽高比为5 ：4 。昔日的 h t c 机皇d i a m o n d 采用的就是v g a 分辨率。 w v g a ( w i d ev g a ) 是v g a 的宽屏模式，分辨率更是达到了8 0 0 x 4 8 0 像素和 7 8 5 4 4 8 0 像素两种，h t c 后来生产的d i a m o n d2 和t o u c hh d 就是w v g a 的代表作。 图2 2 展示了这种分辨率的手机。 | t 、。? 。| 一j 鼠曩才彳2 。气急纛蘧+ 臌麓 i z 二+ ? 口itp 。 ， o m 0 图2 2 单纯就屏幕显示来说，分辨率和屏幕大小是紧密相关的。假设屏幕大小一定， 那么分辨率越高屏幕显示就越清晰；相同的道理，假如分辨率一定，屏幕越小显 示图像也就越清晰泞3 。 但随着科技的发展和时代的进步，手机也正在向着大屏幕高分辨率发展，除 此之外，其它的手持终端设备的发展也具有相似的趋势。 2 2 视频简介 2 2 1 视频概述 视频( v i d e o ) 泛指将一系列的静态图像以电信号方式加以捕捉、纪录、处 理、存储、传送与重现的各种技术。3 。从狭义的概念来讲，视频指动态的画面， 如图2 3 所示，由数据行组成静态图像，由一系列静态图像组成视频。 图2 - 3 视频技术最早是从阴极射线管的电视系统的建立而发展起来的，但是之后新 的显示技术的发明，让视频技术包括的范畴更大了。基于电视的标准和基于计算 8 机的标准，被试图从两个不同的方面来发展视频技术。现在得益于计算机性能的 提升，并且伴随着数字电视的播出和记录，这两个领域又有了新的交叉和集中。 电脑现在能显示电视信号，能显示基于电影标准的视频文件和流媒体，和快 到暮年的电视系统相比，电脑伴随着其运算器速度的提高，存储容量的提高，和 宽带的逐渐普及，通用的计算机都具备了采集，存储，编辑和发送电视、视频文 件的能力。 l 、画面更新率 f r a m er a t e 中文常译为“画面更新率”或“帧率”，是指视频格式每秒钟播 放的静态画面数量。典型的画面更新率由早期的每秒6 或8 张( f r a m ep e rs e c o n d ， 简称f p s ) ，至现今的每秒1 2 0 张不等。p a l ( 欧洲，亚洲，澳大利亚等地的电视 广播格式) 与s e c a m ( 法国，俄国，部分非洲等地的电视广播格式) 规定其更新率 为2 5 f p s ，而n t s c ( 美国，加拿大，日本等地的电视广播格式) 则规定其更新率 为2 9 9 7f p s 。电影胶卷则是以稍慢的2 4 f p s 在拍摄，这使得各国电视广播在播 映电影时需要一些复杂的转换手续( 参考t e l e c i n e 转换) 。要达成最基本的视觉 暂留效果大约需要l o f p s 的速度。 2 、隔行扫描与逐行扫描 视频可能以隔行扫描或逐行扫描来传送。隔行扫描是早年广播技术不发达， 带宽甚低时用来改善画质的方法。n t s c ，p a l 与s e c a m 皆为交错扫描格式。在视 频分辨率的简写当中经常以i 来代表隔行扫描。例如p a l 格式的分辨率经常被写 为5 7 6 i 5 0 ，其中5 7 6 代表水平扫描线数量，i 代表隔行扫描，5 0 代表场频。 为了将原本为隔行扫描的视频格式( 如d v d 或模拟电视广播) 转换为逐行扫 描显示设备( 如l c d 电视，等离子电视等) 可以接受的格式，许多显示设备或播 放设备都具备有去隔行的程序。但是由于隔行信号本身特性的限制，去隔行并无 法达到与原本就是逐行扫描的画面同等的品质。 如图2 - 4 是逐行扫描示意图，2 - 5 是隔行扫描示意图。 v e r t i c a lh o r i z o n t a l s c a n n i n g s c a n n i n g 1 、- _ 警 i 鲁 ：= 、争 ：_ ； i t ：，一争 图2 - 4 9 h o r i x o n t a l v e r t i c a ls c a n n 工n g s c a n n i n g 、 - | 一- ；一 - - 一- i 一- 0， f i e l d1 h 。r 工z o n t a l s c m i n g f i e l d2 图2 5 3 、视频分辨率 视频的画面大小称为“分辨率”。数字视频以像素( p i x e l ) 为度量单位，而 模拟视频以水平扫描线数量为度量单位。标清电视信号分辨率为 7 2 0 7 0 4 6 4 0 x 4 8 0 i 6 0 ( n t s c ) 或7 6 8 7 2 0 x 5 7 6 i 5 0 ( p a l s e c a m ) 。新的高清电视 ( h d t v ) 分辨率可达1 9 2 0 x 1 0 8 0 p 6 0 ，即每条水平扫描线有1 9 2 0 个像素，每个画 面有1 0 8 0 条扫描线，以每秒钟6 0 张画面的速度播放。 4 、长宽比例 长宽比( a s p e c tr a t i o ) 是用来描述视频画面水平与垂直像素的比例。传统 的电视屏幕长宽比为4 ：3 ( 1 3 3 ：1 ) 。h d t v 的长宽比为1 6 ：9 ( 1 7 8 ：1 ) 。而3 5 m m 胶卷底片的长宽比约为1 3 7 ：1 。 虽然计算机屏幕上的像素大多为正方形，但是数字视频的像素通常并非如 此。例如使用于p a l 及n t s c 信号的数字保存格式c c i r6 0 1 ，以及其相对应的非 等方宽屏幕格式。因此以7 2 0 x 4 8 0 像素记录的n t s c 规格d v 图像可能因为是比较 “瘦”的像素格式而在放映时成为长宽比4 ：3 的画面，或反之由于像素格式较 “胖”而变成1 6 ：9 的画面。 5 、色彩空间与像素数据量 色彩空间( c o l o rs p a c e ) 或色彩模型( c o l o rm o d e ln a m e ) 规定了视频当 中色彩的描述方式。例如n t s c 电视使用了r i o 模型，而p a l 使用了y u v 模型， s e c a m 使用了y d b d r 模型。 在数字视频当中，像素数据量( b i t sp e rp i x e l ，简写为b p p ) 代表了每个 像素当中可以显示多少种不同颜色的能力。由于带宽有限，所以设计者经常借由 色度抽样之类的技术来降低b p p 的需求量。( 例如4 ：4 ：4 ，4 ：2 ：2 ，4 ：2 ：0 ) 。 y c b c r 色彩空间是一个限定范围带偏置版本的y u v 空间。y 定义为1 6 2 3 5 1 0 范围内的8 - b i t 数据；c b 和c r 定义为1 6 - 2 4 0 之间的数据。有几个不同的y c b c r 采样格式，如4 ：4 ：4 、4 ：2 ：2 、4 ：1 ：1 、4 ：2 ：0 。 图2 - 6 是y c b c r 信号采样格式分别为4 ：4 ：4 和4 ：2 ：2 时的示意图。电视图像 既是空间的函数，也是时间的函数，而且又是隔行扫描式，所以其采样方式比扫 描仪扫描图像的方式要复杂得多。分量采样时采到的是隔行样本点，要把隔行样 本组合成逐行样本，然后进行样本点的量化，w v 到r g b 色彩空间的转换等等， 最后才能得到数字视频数据强j 。 a c t i v e x - f i e l d1a c t i v e x - f i e l d1 l i n e【x l - i = 1 e l d2 l i n e 【x l - f i e l d2 n u m 8 e rn u m b e r 喧卜咱驴画垣卜咱卜1 画_ 咱驴垣卜一+ l ”画喱卜_ 喱卜黟 _ _ 咱卜 i1 】画1 咱卜画+ 2 画咱卜叫争画垣卜咱卜2 画_ 川驴垣卜+ 【2 】 旭卜咱卜争画垣卜 l2 】画咱卜卜回+ 直 喧卜_ _ 碹卜叫虱卜画值卜3 - 碴卜_ + oc c rs l m p l eoc e k c rs n d p l e ys a m p l e ys a m p l e 图2 6 后文在讲系统实现时，其中解码和格式转换部分会涉及到上面的4 ：2 ：2 格式 数据，要先将其重采样得到4 ：4 ：4 格式，再进行色空变换。 本文主要研究的图像缩放也是一种像素重采样。比如说要将源图像放大，就 必需插入像素；相反若要将源图像缩小，就心需要丢去一些像素。所以会根据水 平和垂直方向的缩放因子及不同缩放算法，来对像素进行重采样和计算。 2 2 3 视频接口和时序 一、视频接口 视频接口分为模拟接口和数字接口。下面分别介绍各种接口标准。 v g a 输入接口：v g a 接口采用非对称分布的1 5 p i n 连接方式，其工作原理： 是将显存内以数字格式存储的图像( 帧) 信号在r a m d a c 里经过模拟调制成模 拟高频信号，然后再输出到等离子成像，这样v g a 信号在输入端( l e o 显示屏 内) ，就不必像其它视频信号那样还要经过矩阵解码电路的换算。从前面的视频 成像原理可知v g a 的视频传输过程是最短的，所以v g a 接口拥有许多的优点， 如无串扰无电路合成分离损耗等。 d v i 输入接口：d v i 接口主要用于与具有数字显示输出功能的计算机显卡 相连接，显示计算机的r g b 信号。d v i ( d i g i t a lv i s u a li n t e r f a c e ) 数字显示接口， 是由19 9 8 年9 月，在i n t e l 开发者论坛上成立的数字显示工作小组( d i g i t a ld i s p l a y w o r k i n gg r o u p 简称d d w g ) ，所制定的数字显示接口标准。 d v i 数字端子比标准v g a 端子信号要好，数字接口保证了全部内容采用数 字格式传输，保证了主机到监视器的传输过程中数据的完整性( 无干扰信号引 入) ，可以得到更清晰的图像。 标准视频输入( r c a ) 接口：也称a v 接口，通常都是成对的白色的音频接 口和黄色的视频接口，它通常采用r c a ( 俗称莲花头) 进行连接，使用时只需要将 带莲花头的标准a v 线缆与相应接口连接起来即可。a v 接口实现了音频和视频 的分离传输，这就避免了因为音视频混合干扰而导致的图像质量下降，但由于 a v 接口传输的仍然是一种亮度色度( y c ) 混合的视频信号，仍然需要显示设备 对其进行亮色分离和色度解码才能成像，这种先混合再分离的过程必然会造成 色彩信号的损失，色度信号和亮度信号也会有很大的机会相互干扰从而影响最终 输出的图像质量。a v 还具有一定生命力，但由于它本身y c 混合这一不可克服 的缺点因此无法在一些追求视觉极限的场合中使用。 s 视频输入：s - v i d e o 具体英文全称叫s e p a r a t ev i d e o ，为了达到更好的视频 效果，人们开始探求一种更快捷优秀清晰度更高的视频传输方式，这就是当前如 日中天的s - v i d e o ( 也称二分量视频接口) ，s e p a r a t ev