（微电子学与固体电子学专业论文）多模视频解码芯片中环路滤波模块的设计.pdf

兰州大学碳：l 学位论文 摘要 随着半导体技术与计算机技术的发展，音视频产品数字化，高清晰度化成为未来 消费类电子发展的大趋势，高清晰数字电视( h i g hd e f i n i t i o nt e l e v i s i o n ) 成为当前数 字电视产业的发展趋势和研究热点。在现阶段，用于h d t v 视频压缩编码的最新标 准主要有h 2 6 4 a v c 和a v s ，它们都采用基于块的整数变换、量化和运动补偿技术， 不可避免的会引入块效应，严重影响了图像的主观质量和编码效率。所以在这两款标 准中都采用环路滤波作为后处理技术来去除块效应。 在仔细分析h 2 6 4 a v c 和a v s 环路滤波算法的基础上，本文提出有效的结构来 实现两者的去块效应环路滤波。由于这是一种自适应的环路滤波，其自适应性分别体 现在块边界级( e d g e - l e v e l ) 、条带级( s l i c e l e v e l ) 、像素级( s a m p l e - l e v e l ) ，导致环 路滤波速度缓慢。本文的设计着重从多个层次利用并行处理技术来提高环路滤波的速 度，包括流水线设计、数据流驱动控制策略以及算法并行性设计。 作为多模视频解码芯片的子模块，本文的设计支持h 2 6 4 a v c 和a v s 两款视频 编解码标准的复用，这种可重用设计节省了硬件资源。另外，通过适当的数据存储和 调度使得水平边界滤波和垂直边界滤波复用一个一维滤波器，也降低了资源开销。 仿真结果表明本文的设计可以实时的进行h 2 6 4 a v c 和a v s 的高清图像去块效 应环路滤波。 论文的内容安排如下：第一章简要介绍视频压缩的基本概念以及视频编解码的基 本技术，包括熵编码、运动补偿和后处理技术等；第二章阐述h 2 6 4 a v c 和a v s 标 准中的去块效应环路滤波；第三章基于两款视频编解码标准中去块效应环路滤波算法 的异同，提出一种有效的复用设计；第四章基于复用设计思想，提出了一种支持复用 的去块效应环路滤波的硬件实现结构，并深入探讨和分析了并行处理策略以及其在本 设计中的应用；第五章给出用v e r i l o gh d l 实现复用设计后的仿真和综合结果：第六 章给出结论。 关键词：h 2 6 4 a v c 、a v s 、视频编解码、高清、去块效应环路滤波、复用、流 水线设计、并行处理 兰州大学硕士学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to fs e m i c o n d u c t o ra n dc o m p u t e rt e c h n o l o g y , t h ed i g i t a la n d h i g hd e f i n i t i o no fa u d i o - v i d e op r o d u c t sh a v eb e c o m et h et r e n do ft h ec o n s u m e re l e c t r o n i c ， n o w a d a y sh i g hd e f i n i t i o nt e l e v i s i o nh a sb e c o m et h et r e n do fd i g i t a lt va n dal o to f r e s e a r c he f f o r t sh a v eb e e nm a d e a tp r e s e n t ，t h ed o m i n a t i n gn e ws t a n d a r d su s e df o rh d t v v i d e oc o m p r e s s i o na r eh 2 6 4 a v ca n da v s ，b o t ho ft h e ma d o p tb l o c k - b a s e di n t e g e r t r a n s f o r m ，q u a n t i s a t i o na n db l o c k b a s e dm o t i o nc o m p e s a t i o n ( m c ) ，w h i c hw i l lb et h e s o u r c eo fb l o c k i n ga r t i f a c t sa n dw i l lr e d u c et h es u b j e c t i v ev i d e oq u a l i t ya n dc o m p r e s s i o n p e r f o r m a c e s ot h e ya d o p taf i l t e ri nm o t i o n - c o m p e n s a t i o nl o o pa sap o s t - p r o c e s s i n gt o r e m o v eb l o c k i n ga r t i f a c t s o nt h eb a s eo fa n a l y s i st h ed e b l o c k i n gl o o pf i l t e ra l g o r i t h m ，t h i sp a p e rp r o p o s e sa n e f f i c i e n ta r c h i t e c t u r et or e a l i z et h ed e b l o c k i n gl o o pf i l t e ri nh 2 6 4 a v ca n da v s i ti s a d a p t i v ei nt h r e el e v e l s ：e d g e l e v e l ，s l i c e l e v e l ，s a m p l e l e v e l ，w h i c hl e a d sv e r ys l o w s p e e d o u rd e s i g ne m p h a s i z e so nu s i n gp a r a l l e lp r o c e s s i n gt e c h n o l o g yf r o mm u l t i - l e v e lt o i m p r o v es p e e d ，i n c l u d i n gp i p e l i n i n gd e s i g n ，d a t a - f l o wd r i v es t r a t e g ya n da l g o r i t h m i c p a r a l l e l i s md e s i g n a sas u b m o d u l ei nm u l t i m o d ev i d e od e c o d e rc h i p ，o u rd e s i g ns u p p o r t st h er e u s eo f h 2 6 4 a v ca n da v s t h er e u s e a b l et e c h n o l o g ys a v e st h eh a r d w a r er e s o u r c e i na d d i t i o n o n l yo n ee d g ef i l t e ri su s e df o rb o t hv e r t i c a lf i l t e r i n ga n dh o r i z o n t a lf i l t e r i n gi no u rd e s i g n b yp r o p e rd a t as t o r a g ea n da t t e m p e r , t h i sr e u s i n gs t r a t e g yr e d u c e st h er e s o u r c ec o s t t h es i m u l a t i o nr e s u l ts h o w st h a tt h i sa r c h i t e c t u r ec a nf u l f i l la d a p t i v ed e b l o c k i n gl o o p f i l t e ri nt w os t a n d a r d sf u n c t i o n a l l y t h eo r g a n i z a t i o no ft h i sp a p e ri sa sf o l l o w s i nc h a p t e ro n ei tb r i e f l yi n t r o d u c e st h e c o n c e p to ft h ev i d e oc o m p r e s s i o na n dt h eb a s i ct o o l so fv i d e oc o d e c ，i n c l u d i n ge n t r o p y e n c o d i n g ，m o t i o nc o m p e s a t i o na n dp o s t p r o c e s s i n ge t c i nc h a p t e rt w o ，i td i s c u s s e st h e a l g o r i t h mo fd e b l o c k i n gl o o pf i l t e ri nh 2 6 4 a v ca n da v sr e s p e c t i v e l y i nc h a p t e rt h r e e b a s e do nt h es i m i l a r i t i e sa n dd i f f e r e n c e so fd e b l o c k i n gl o o pf i l t e ri nt h et w os t a n d a r d s ，i t p r o p o s e sa ne f f i c i e n tr e u s i n gd e s i g n i nc h a p t e rf o u ri tp r o p o s e sah a r d w a r ei m p l e m e n t a t i o n a r c h i t e c t u r ew h i c hs u p p o r t sr e u s i n gd e s i g n ，a n df u r t h e rm o r ei t p r o b e si n t ot h ep a r a l l e l p r o c e s s i n gs t r a t e g ya n da n a l y s e st h e r ea p p l i c a t i o n si no u rd e s i g ni nd e p t h i nc h a p t e rf i v ei t a c c o m p l i s h st h es i m u l a t i o na n ds y n t h e s i sf o rr t lm o d e l ，a n dt h e ng i v e st h er e s u l t i n c h a p t e rs i x ，i tm a k e st h ec o n c l u s i o n k e yw o r d s ：h 2 6 4 a v c ，a v s ，v i d e oc o d e c ，h i g hd e f i n i t i o n ，d e b l o c k i n gl o o pf i l t e r , r e u s e ，p i p e l i n ed e s i g n ，p a r a l l e lp r o c e s s 原创性声明 本人郑重声明：本人所呈交的学位论文，是在导师的指导下独立进 行研究所取得的成果。学位论文中凡引用他人已经发表或未发表的成 果、数据、观点等，均已明确注明出处。除文中已经注明引用的内容 外，不包含任何其他个人或集体已经发表或撰写过的科研成果。对本文 的研究成果做出重要贡献的个人和集体，均已在文中以明确方式标明。 本声明的法律责任由本人承担。 论文作者签名：三鱼基日期：丝i ：三：垄 关于学位论文使用授权的声明 本人在导师指导下所完成的论文及相关的职务作品，知识产权归属兰 州大学。本人完全了解兰州大学有关保存、使用学位论文的规定，同意 学校保存或向国家有关部门或机构送交论文的纸质版和电子版，允许论 文被查阅和借阅；本人授权兰州大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，可以采用任何复制手段保存和汇编本学位 论文。本人离校后发表、使用学位论文或与该论文直接相关的学术论文 或成果时，第一署名单位仍然为兰州大学。 保密论文在解密后应遵守此规定。 论文作者签名： ! 当盘导师签名： 兰卅i 大学硕二f 一学位论文 绪论 当今时代，信息技术和计算机互联网飞速发展，多媒体信息已成为人类获取信 息的主要载体，成为电子信息领域技术开发和研究的热点，但同时也伴随海量数据的 产生，这对信息存储设备及通信网络均提出了很高要求，从而成为阻碍人们有效获取 和使用信息的重大瓶颈。因此研究高效的多媒体数据压缩编码方法，以压缩形式存储 和传输数字化的多媒体信息具有重要意义。而人类获取的信息中7 0 来自于视觉，视 频信息在多媒体信息中占有重要地位 8 ：同时视频数据冗余度最大，经压缩处理后的 视频质量高低是决定多媒体服务质量的关键因素。因此对视频编码的研究已成为热 门。伴随着视频编码相关学科及新兴学科的迅速发展，新一代数据压缩技术不断诞生 并日益成熟，视频编码相关标准的制定也日臻完善。 视频编解码标准主要由i t u t 和i s o i e c 开发。i t u t 指国际电信联盟 ( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o nt e l e c o m m u n i c a t i o n ) ，i s o i e c 指国际标准化组 织( i n t e r n a t i o n a lo r g a n i s a f i o nf o rs t a n d a r d i z a t i o n ) 和国际电工委员会( i n t e r n a t i o n a l e l e c t r o t e c h n i c a lc o m m i s s i o n ，i e c ) 。i t u t 发布的视频标准有h 2 6 1 、h 2 6 2 、h 2 6 3 、 h 2 6 3 + 、h 2 6 3 + + ，i s o i e c 公布的m p e g 系列标准有m p e g - 1 、m p e g 2 、m p e g 一4 和 m p e g 一7 。1 9 9 7 年，i t u t 与i s o i e cm p e g 合作，成立了j o i n tv i d e ot e a mo v t ) ，致 力于开发新一代的视频编解码标准，i t u t 将该标准命名为h 2 6 4 ，i s o i e c 将其称为 1 4 4 9 6 - 1 0 m p e g 一4a v c ，是m p e g 一4 的第1 0 部分【1 。 除了h 2 6 4 a v c 之外，还有一些标准也比较流行，如m p e g 4 、a v s 、w m 9 。 m p e g 一4 是由m p e g 提出的新一代基于内容的多媒体数据压缩编码国际标准，它与传 统视频编解码标准的最大不同在于第一次提出了基于对象的视频编码新概念 1 6 。 a v s 是由我国自主制定的音视频编码技术标准，主要面向高清晰度电视、高密度光 存储媒体等应用。2 0 0 6 年2 月2 2 日，数字音视频编解码技术标准工作组( a v s i 作组) 收到国家标准化管理委员会发给信息产业部科技司的通知，信息技术先进音视频 编码第2 部分：视频已经批准，国家标准号g b t2 0 0 9 0 2 2 0 0 6 ，于2 0 0 6 年3 月1 日起 实施。w i n d o w m e i d a9 ( w m 9 ) 是微软公司开发的新一代数字媒体技术。 根据我国指定的数字电视广播时问表，我国将在2 0 1 5 年停止模拟电视播出，实 现数字广播电视有线、卫星和无线的全国覆盖。这一重大举措将启动国内庞大的数字 兰州i 大学坝= l 学位论文 电视市场，由于高清晰度电视( h d t v ) 的音频和视频信号是压缩的数字信号，因此， h d t v 的核心解码芯片将是激烈竞争的焦点。在现阶段，可用于h d t v 视频压缩编码 的标准有m p e g 2 、h 2 6 4 a v c 和a v s 。作为新一代的视频编码标准，h 2 6 4 a v c 和 a v s 采用比m p e g 2 更先进的编码技术，可以提供非常好的视频质量，具有更好的图 像压缩性能，能节省更多的宽带资源和存储资源 2 1 1 3 4 。但是目l i i j - h d t v 信源解码 芯片主要基于m p e g 一2 技术，国内h d t v 、数字电视和数字电视机顶盒制造商一般购 买来自国外核心芯片供应商的完整解决方案。在这样的背景下，在视昕领域拥有自己 的核心芯片显得非常重要和紧迫。 2 0 0 4 年9 月，由宁波中科集成电路设计中心联合中科院计算所研制完成了高清解 码芯片“凤芯一号”，该芯片是国内第一款支持中国自主视音频编码标准a v s 的高清 视频解码芯片，支持标准清晰度电视s d t v 和高清晰度电视h d t v ( 7 2 0 p 、1 0 8 0 i ) 制式。 上海富瀚微电子也发布了支持s d t v 的h 2 6 4 a v c 解码a s i ci p 核f h 8 6 0 0 ，可以集成 j ! l j s o c 芯片中，应用于d v b 、i p 机顶盒、便携式媒体播放器和移动电视等。综上所述， l 2 6 4 a v c 和a v s 标准作为h d t v 视频解码方案的核心技术是成功的。虽然如此，目 前业界还没有一款可以同时支持h t 2 6 4 a v c 和a v s 两个视频标准的解码芯片，因此研 究一款多模视频解码芯片是很有意义的，可以很好的节省硬件资源并简化系统设计。 而且研究h 2 6 4 a v c 和a v s 两个视频标准的复用，既可紧跟国际音视频产业发展潮 流，又能解决具有我国自主知识产权的a v s 标准的芯片支持匮乏问题，能更好地推动 国产编解码标准的产业化。 h 2 6 4 a v c 和a v s 都采用基于块的变换、量化和运动补偿，这些技术不可避免会 引入块效应，严重影响了图像的主观质量和压缩效率，因此h 2 6 4 a v c 和a v s 都采用 环路滤波来去除块效应。本文以h 2 6 4 a v c 和a v s 的环路滤波技术为研究对象，在深 入理解两款标准中的去块效应环路滤波的算法以及算法的异同之后，提出了一种有效 的硬件结构，重点讨论了该结构中的复用设计。由于在单位时间内高清视频解码芯片 所要处理的数据量远大于解码其他格式视频图像的数据量，所以他的实时性要求非常 高，采用并行设计是提高解码速度的主要途径，本论文详细分析了该结构中采取的并 行优化策略。最后利用硬件描述语言完成了环路滤波模块的硬件设计，并进行了仿真 和综合，结果表明该设计可以正确完成两个标准的去块效应环路滤波，能够支持 1 0 8 0 i 3 0 f p s 码流的实时解码。 兰卅l 大学1 i | j ! 卜学位论文 第一章视频编解码 视频编解码是对数字视频图像的压缩( c o m p r e s s i n g ) 和解压缩( d e c o m p r e s s i n g ) 过程。数字视频代表自然的视觉图像，包含有视频场景的空域特征和时域特征。视频 编码( 压缩) 就是利用数字视频图像的冗余度，采用一系列的压缩技术把数据压缩成 可以用比原始图像数据少的比特流表示的过程。然后对这些比特流进行传输和存储。 视频解码( 解压缩) 再把压缩形式的比特流数据还原为与原始数据相同或相近形式的 数据。根据解压缩后的数据和原始图像数据之间的匹配程度，压缩可以分为有损压缩 和无损压缩。 1 1 与视频有关的基本概念 l i l 兰州大学硕士学位论文 2 条带( s l i c e 、 条带由一系列连续的宏块组成。条带是在发生错误时，数据重同步而继续正常解 码的基本单元。 3 宏块f m a c r o b l o c n 宏块是视频解码过程的基本处理单元。一个宏块包括个1 6 1 6 的亮度样值块和 对应的色度样值块。对于一个色度格式为4 ：2 ：0 的宏块，包括两个8 x 8 色度样值块。 4 块( b l o c k l 块是一个m x n 的样值矩阵或者变换系数矩阵( m 列n 行) 。 1 1 2 帧率( f r a m er a t e ) 在个视频序列中，连续两帧之间的时问间隔是帧率的倒数。隔行扫描帧中两场 之间的时间间隔是帧率的倒数的二分之一。如果连续两帧的时间间隔是0 0 2 秒，则帧 率为5 0 h z 。帧率代表时域采样的频率，频率越高，视频序列的运动越平滑，但是也有 越多的像素点被采样和存储。 1 - 1 3 帧( f r a m e ) 和场( f i e l d ) 视频序列由连续的静态图像组成，静态图像可以是一帧图像，也可以是一场图像， 这是两种图像格式。对一幅静态图像连续采样( , p r o g r e s s i v es a m p l i n g ) 可以得到帧，而 对一幅静态图像的奇数行和偶数行分别采样( i n t e r l a c e ds a m p l i n g ) 可以得到两个场。 一个完整的视频 贞包含一个顶场( t o pf i e l d ，由奇数行构成) 和一个底场( b o t t o mf i e l d ， 由偶数行构成) ，如图1 2 所示。采用隔行扫描可以提高视频序列的质量。这是因为在 相同数据量的情况下，隔行扫描的帧率是逐行扫描的两倍，使运动的视觉效果更加平 滑【1 】。 图1 2 交叉的场序列 兰州大学颂= 卜学位论文 1 1 4 色彩空间 单色的视频图像中每个像素点可以用一个值表示。这个值表示该像素点的亮度， 值越大表示该点越亮【7 。如果用n 比特表示一个像素点，则0 代表黑色，( 2 “- 1 ) 代 表白色，中间的其他值代表不同的灰度。视频应用中每个像素点的亮度用8 比特表示。 多色的视频图像中每个像素点的颜色需要用多个数表示，我们称这种以数来表示 色彩的形式为色彩空间，目前比较流行的色彩空间有r g b ( r e d g r e e n b l u e ) 色彩空间 和y c b c r ( 1 u m i n a n c e r e dc h r o m i n a n c e b l u ec h r o m i n a n c e ) 色彩空间。视频应用中一般采 用y c b c r 色彩空问。这是因为在y c b c r 色彩空间中，只有亮度和色度中的红色、蓝 色被传输，而人的视觉系统对亮度比对色度敏感，所以对于色度可以采用较少的比特 数传输 7 。 图1 _ 3 所示为各种不同的图像格式。对于4 ：2 ：0 格式，c b 和c r 矩阵水平和垂直方 向的尺寸都只有y 矩阵的一半。对于4 ：2 ：2 格式，c b 和c r 矩阵在水平方向的尺寸只 有y 矩阵的一半，在垂直方向的尺寸和y 相同。对于4 ：4 ：4 格式，c b 和c r 矩阵在水 平和垂直方向的尺寸都和y 矩阵一样。 ， 圆。圆。圆。 圆。圆o圆。 圆。圆。圆。 圆o圆。圆。 ， 圆圆4圆圆圆圆 圆圆圆圆圆圆 圆圆圆圆圆圆 圆圆圆圆圆圆 4 ：4 ：4 格式下亮度和色度样本位置 l j 代表亮度样本代表色度样本 图1 3 三种不同的图像格式 4 ：2 ：0 格式非常广泛的用于视频会议、数字电视等消费类应用中。这是因为每个色 兰州人学硕士学位论文 差分量只包含亮度分量四分之一的采样点。 若图像大小为7 2 0 x5 7 6 ，采用8 比特精度： 在4 ：2 ：0 格式下，色度c b 、c r 的分辨率为3 6 0 x 2 8 8 ，表示一幅图像所需要的比特数 为：7 2 0 5 7 6 8 + 3 6 0 2 8 8 x8 2 = 49 7 66 4 0 比特； 在4 ：4 ：4 格式下，色度c b 、c r 的分辨率为7 2 0 5 7 6 ，表示一幅图像所需要的比特数 为：7 2 0 5 7 6 8 x3=9 9 5 32 8 0 比特； 可以看出，4 ：2 ：0 所需要的比特数是4 ：4 ：4 的一半。 1 1 5 视频格式 根据用户对图像分辨率的需求，有不同的视频格式。通用中问格式( c o m m o n i n t e r m e d i a t ef o r m a t ，c i f ) 是各种格式的基础。图1 4 显示了在不同的分辨率下( 从 4 c i f 到s u b q c i f ) 一个视频帧的亮度分量。 图14 不同分辨率下的视频图像 图像的分辨率是指画面由多少像素构成。我们通常所看到的分辨率都以乘法形式 表现的，比如7 2 0 5 7 6 ，其中“7 2 0 ”表示水平方向像素点个数，“5 7 6 ”表示垂直方 兰州大学砸：卜学位论文 向的像素点个数。图像的分辨率越大，图像也就越清晰，但同时电需要更大的存储容 量。所以图像的分辨率也不是越大越好，取决于应用种类、存储容量和传输带宽。不 同分辨率的图像可用于不同的应用，k t , 女n ，4 c i f 分辨率比较大，一般用于标准清晰 度电视和d v d ；c i f 和q c i f 非常广泛的用于视频会议：q c i f 或者s u b ，q c i f 主要用 于移动多媒体应用。表l l 列出了各种视频格式下亮度分量的精度和表示一帧未压缩 图像所需要的比特数，可以看出，图像越大，保存一幅图像所需要的容量也就越大。 表1 i 视频格式 1 2 视频压缩 压缩是把数据压缩到用比原始数据少的比特表示的过程，视频压缩是把一个数字 视频序列压缩到可以用很小的比特流来表示的过程。这是因为原始数字视频文件往往 会很大，会占用大量的存储空问。解决这些问题的方法是压缩数据一让文件变小。所 以随着数字电视、d v d 一视频以及网络流媒体的广泛应用，视频压缩成为广播、娱乐 媒介不可或缺的一部分，这主要是出于以下两个方面考虑：首先，传输数字图像的带 宽需求远小于未压缩图像的。例如，n t s c 图像以6 4 0 4 8 0 的分辨率、2 4 b i t s 像素、 每秒3 0 帧的质量传输时，其数据率达2 7 m b y t e s 秒或2 1 6 m b i t s 程) 。此外，n t s c 声 音信号还要使未压缩图像的比特率增加一些。第二个原因是以2 7 m b y t e s 秒的速率， 1 5 秒的未压缩图像将占用4 0 5 m b y t e s 的存储空间，这对于大多数只能处理小图像片 断的个人电脑来说都是不可接受的。通过视频压缩的手段把视频图像的数据量缩小， 以压缩形式存储和传输，既可以节省存储空问又可以提高通信系统的传输效率。 压缩与解压缩是一对相反但不一定对称的过程。压缩是把原始数据转换为压缩形 式，实现压缩的器件或程序称为编码器：解压缩是把压缩形式的数据还原为与原始数 据相同或相近形式的数据，实现解压缩的器件或程序称为解码器。如图1 5 所示为一 兰州大学硕= 卜学位论文 对编解码器。 r 一r 一 曩羹一编码l 一黧一l 解码 一显示 图1 5 编码解码 视频压缩是通过去除图像之间的冗余信息实现的，这是因为图像数据之间存在大 量的冗余信息，通过去除这些冗余信息可以使原始图像的数据大量减小。根据经过编 码解码过程后的图像与原始图像是否等同，压缩可分为有损压缩和无损压缩。在一个 无损压缩的系统中，利用压缩后的数掘进行重构( 解压缩) ，得到的数据与压缩前的数 据完全一样。无损压缩用于要求解压缩后的信号与原始信号完全一致的场合，压缩效 率为1 2 - 1 4 8 】。有损压缩是指利用压缩后的数据进行重构，得到的数据与压缩前数 据不完全一样，但是不会让人对原始资料表达的信息造成误解。有损压缩适用于重构 信号不一定非要与原始信号完全相同的场合。例如，图像和声音的压缩就可以采用有 损压缩，因为其中包含的数据往往多于我们的视觉系统和听觉系统所能接受的信息， 丢掉这些数据不至于对声音或者图像所表达的信息产生误解，但可以大大提高压缩效 率。 图像数据的压缩主要基于对各种图像数据信息冗余度及视觉冗余度的压缩，前者 是基于图像数据中有许多相关信息，使用数学方法来表示这些相关数据就可以减少数 据量，这是无损压缩技术；后者是基于人的眼睛对图像细节和颜色的辨认有一个极限， 把超过极限的部分去掉，也可以达到压缩数据的目的，这是有损压缩技术。实际的图 像压缩是综合使用各种有损和无损压缩技术来实现的，包括如下一些方法：统计冗 余度的压缩，空问冗余度的压缩，时间冗余度的压缩和视觉冗余度的压缩。 1 2 1 统计冗余度压缩 对于一串由许多数值构成的数据来说，如果其中某些值经常出现，而另外一些值 很少出现，这种由取值上的统计不均匀性就构成了统计冗余度，可以对其进行压缩。 具体方法是对那些经常出现的值用短的码组来表示，对不经常出现的值用长的码组来 表示，最终用于表示这一串数据的总的码位相对于用定长码组表示而言得到了降低， 这就是熵编码的思想。目前用于图像压缩的熵编码方法主要是霍夫曼编码。这种编码 方法1 9 5 2 年由h u f f r n a n 提出，为了达到最好的压缩效果，每个数值的编码长度应与 此数值出现的概率p 尽可能地成反比，接j 丘l 0 9 2 ( 1 p ) l e 特。l 0 9 2 0 p ) 表示包含在该数值 兰州大学琐l 学位论文 中的信息量，也就是编码该数值所需要的最少位数。霍夫曼编码虽然压缩比不高，约 为1 6 ：1 ，但它是无损压缩，在图像压缩编码中被广泛采用。 视频图像在每一点的取值上具有任意性。对于运动图像而言，每一点在一段时间 内能取可能的任意值，在取值上具有统计均匀性，难以直接运用熵编码的方法。但可 以通过适当的变换编码，如d c t 变换，使原图像变成由一串统计不均匀的数据来表示， 然后利用霍夫曼编码来进行压缩。 1 2 2 空间冗余度压缩 一幅视频图像相邻各点的取值往往相近或相同，具有空间相关性，这就是空问冗 余度。图像的空问相关性指相邻像素点取值变化缓慢，如图1 6 中十字箭头区域所示， 从频域的观点看，这意味着图像信号的能量主要集中在低频附近，高频信号的能量随 频率的增加而迅速衰减。通过频域变换，可以将原图像信号用直流分量及少数低频交 流分量的系数来表示，这就是变换编码的思想。 视频图像中经常出现连串连续的像素点具有相同值的情况。只传送起始像素点 的值及随后取相同值的像素点的个数，也能有效地压缩码率，这就是行游程编码 ( r u n l e v e le n c o d e r ) 。r l e 所能获得的压缩比有多大，主要取决于图像本身的特点。 如果图像中具有相同像素值的图像块越大，图像块数目越少，获得的压缩比就越高。 反之，压缩比就越小。r l e 是无损压缩技术。目前在图像压缩编码中，行游程编码并 不直接对图像数据进行编码，主要用于对量化变换系数进行编码。 1 2 3 时间冗余度压缩 时间冗余度表现在电视画面中相继各帧对应像素点的值往往相近或相同，具有时 间相关性，如图1 6 所示。在知道了一个像素点的值后，利用此像素点的值及其与后 一像素点的值的差值就可求出后一像素点的值。因此，不传送像素点本身的值而传送 其与前一帧对应像素点的差值，也能有效地压缩码率，这就是差分编码d p c m 。由差 分编码进一步发展起来的预测编码，是根据一定的规则先预测出下一个像素点或图像 子块的值，然后将此预测值与实际值的差值传送给接收端。目前图像压缩中的预测编 码主要是- 帧问预测编码，方法是先根据一个子块的运动矢量求出下一帧对应子块的预 测值及其与实际值的差值( 残差) ，接收端根据运动矢量及残差恢复出原图像。由于运 动矢量及残差的数据量远低于原图像的数据量，因而能达到图像数据压缩的目的。 兰卅i 大学碰! 二卜学位论文 图1 6 视频序列中的时域相关性和空域相关性 1 2 4 视觉冗余度压缩 视觉冗余度是相对于人眼的视觉特性而言的。人眼对于图像的视觉特性包括：对 亮度信号比对色度信号敏感，对低频信号比对高频信号敏感，对静止图像比对运动图 像敏感等。因此，包含在色度信号、图像高频信号和运动图像中的一些数据并不能为 人眼对于图像的清晰度作出贡献，而被认为是多余的，这就是视觉冗余度。 压缩视觉冗余度的核心思想是去掉那些相对人眼而言是看不到的或可有可无的 图像数据。对视觉冗余度的压缩通常反映在各种具体的压缩编码过程中。如对于变换 系数的直流与低频部分采取细量化，而对高频部分采取粗量化，使得变换能借此压缩 码率，并能有效地进行行游程编码。隔行显示技术的使用，也是利用了人眼对运动图 像细节不敏感的特性。 1 3 视频编解码的主要技术 如果解码后得到的数据与原始数据相同，属于无损压缩，如果解码后得到的数据 与原始数据不完全相同，属于有损压缩。当前的一些视频标准中采用了一系列技术以 达到高效率的视频编码，包括帧内预测、帧问预测、变换、量化和熵编码等。图1 7 所示为一个编码器的框图。 0 兰州大学坝二卜学位论文 原始 数捌 压缩 数据 图1 7 编码器的框图 由图1 7 可以看出，编码器主要由三个部分构成：时域模型，空域模型和熵编码【1 。 时域模型的输入数据是未进行压缩的原始数据，其主要任务是利用相邻图像间的相关 性去除视频序列的时域冗余，这是一种帧问预测编码的方法，时域模型的输出是残差 和运动矢量信息。空域模型利用相邻像素点之间的空间相关性，通过帧内预测、变换 和量化等技术继续去除空间冗余度和视觉冗余度。熵编码可以去除数据问的统计冗余 度，产生压缩的比特流( 或文件) 进行存储、传输。压缩数据包括残差、运动矢量和 一些头信息。 解码器对压缩后的比特流解码，产生解码图像。解码器的解码过程与编码器的编 码过程相反。对接受到的压缩数据首先进行熵解码，然后对熵解码得到的数据进行反 量化、反变换产生残差数据，并采用和编码器同样的预测方法产生预测数据，预测数 据和残差数据相加就可以得到重构数据。 1 3 1 时域模型 时域模型是使用先前解码图像生成当前图像样本预测值的过程，是用来消除图像 间的时域冗余。这种预测方式被称为帧间预测。时域模型的输出是当前帧和预测帧的 差值，即残差。预测过程越精确，残差所包含的能量越少，因而可以达到较大的码率 压缩，主要用于对运动图像的处理。 实现时域模型编码的方法是运动估计和运动补偿。运动估计是编码器中计算最为 复杂的部分。我们给当前帧编号为“1 ”，参考帧编号为“o ”，假设在编码端用第0 7 帧的原始帧作为参考帧的话，在解码端无法得到该参考帧的原始数据，只有解码后的 数据。而编码过程是有损压缩，第0 帧的原始帧和解码帧之间必定存在一些差异， 这些差异导致解码端对第“l ”帧的预测错误，而这个错误有可能会因为第1 帧作 为后续帧的参考帧而继续累积，从而严重影响图像质量。因此，运动估训要求用已经 解码的帧作为参考帧，所以一个完整的编码器中应该包含一个解码器，用来重建参考 帧，如图1 8 所示。 兰卅l 大学硕二卜学位沦文 图1 8 带解码器的编码器 目前被各种视频标准广泛使用的是基于块( b l o c k - b a s e d ) 的帧问预测。块指的是当 前帧中的一个矩形区域，以下为一个m n 块的运动估计和运动补偿过程： 首先，编码器在已解码的帧中寻找和当前块最匹配的m n 块，将当前块与最佳 匹配块的空间距离( 运动矢量) 最佳匹配块所在图像在参考图像列表中的索引传给运 动补偿。所谓最匹配是指将当前块和该搜索块相减能产生最小的残差。搜索最佳匹配 块的过程称为运动估计。 其次，运动补偿根据运动矢量与参考图像索引计算出m n 的预测块，然后用当 前m n 块减去预测m n 块得到残差m n 块。 最后，残差经过变换、量化、熵编码进行进一步压缩，其他的头信息和由运动估 计所产生的运动矢量经过熵编码压缩，然后对这些比特流进行传输或存储。 显而易见，运动估计所用的矩形尺寸越小，所找到的预测块和当前块匹配程度越 高，运动补偿所产生的残差数据量也就越小，编码残差的比特数减少；但同时运动矢 量个数增多，需要更多的比特数来表示运动矢量和块划分的选择情况。所以，需要折 衷考虑以上两个情况，对于图像中的单调区域采用大尺寸块的运动补偿，对于图像中 细节丰富的区域采用小尺寸块的运动补偿。 1 3 2 空域模型 空域模型是利用同一幅图像内相邻像素点之间的相关性，通过帧内预测、变换和 量化去除图像的空问冗余度和视觉冗余度。 1 帧内预测 帧内预测是在相同解码图像中使用先前解码的样本值生成当前样本预测值的过 程，是利用图像内相邻像素点的相关性来去除空间冗余。在图1 9 中，x 是当前编码的 兰卅i 大学t , , j i - l ：学位论文 样本块。如果图像按光栅扫描顺序处理，a 、b 和c 块( x 的相邻像素块) 的像素值在解 码器和编码器中都可以得到，所以，可以利用这些块的像素值来预测当前块。编码器 利用各像素点之间的关系，给出x 的预测矩阵p ( x ) ( 基于相邻像素点的组合) ，用x 减 去p ( x ) 则得到残差矩阵r ( x ) ，然后对r ( x ) 进行编码、传输。解码器利用同样的方法产 生预测块p ( x ) ，并与r ( x ) 相加得n x 。 由于后续使用的量化过程是有损压缩，在解码器产生p ( x ) 的a 、b 、c 与编码器中 原始的a 、b 、c 有可能不同，为了保持编码端和解码端的一致，编码器出应该用解码 后的a 、b 、c 来产生e ( x 1 。 图1 9 空域预测 这种预测方式的压缩效率由p ( x ) 的精确性来决定，p ( x ) 越接近x ，所产生的残差 数据量越小，压缩效率越高。 2 变换编码 变换编码是一种针对统计冗余度进行压缩的方法。变换编码是指对一组信号进行 某种函数变换，从- - t 0 信号空间变换到另一种空问( 变换域) ，然后再对信号进行编码， 从而达到压缩的目的。在变换域中的数据相关性低，能量高度集中。变换是可以反向 进行的，即存在反变换，以恢复原来的数据。在图像压缩中，一组数据是指由帧内预 测或帧问预测产生的残差数据( 通常是二维数组) ，变换的目的是为了降低二维数组之 间的相关性，通过变换只保留少数几个对视觉影响大的变换系数和大部分无关紧要的 变换系数。变换编码本身不能起到压缩的作用，紧随变换编码之后的量化是一个有损 压缩，通过量化可以去掉变换系数中无关紧要的高频分量，只保留极少数几个低频分 量。 目前比较流行的变换编码有基于块( b l o c k b a s e d ) 和基于图像( i m a g e b a s e d ) 两 种。前者对存储器的要求比较低，而且适用于压缩由基于块的运动补偿所产生的残差， 兰州大学硕：b 学位论文 缺点是会在块边界产生块效应。基于图像的变换编码是以整幅图像为基础的，对存储 器的要求比较高，所以在视频编解码标准中一般采用基于块的变换。 3 量化 量化是针对变换系数进行的，量化过程就是以某个量化步长去除变换系数，得到 量化系数。量化步长的大小称为量化精度，量化步长越小，量化精度就越高，包含的 信息越多，所需的传输带宽越高，这种量化被称为“细量化( 或精量化) ”。相反，量 化步长越大，量化精度就越低，包含的信息越少，所需的传输带宽越窄，这种量化被 称为“粗量化”。不同的变换系数对人类视觉感应的重要性是不同的，因此编码器根 据视觉感应准则，对一个二维变换系数矩阵中的变换系数采用不同的量化精度，以保 证尽可能多的包含特定的空间频率信息，又使量化精度不超过需要。变换系数中，低 频系数对视觉感应的重要性较高，因此分配的量化精度较细：高频系数对视觉感应的 重要性较低，分配的量化精度较粗。通常情况下，变换块中的大多数高频系数量化后 都会变为零。量化的目的是去掉对视觉感应不重要的变换系数( 量化后为0 的系数) ， 而只保留极少数对视觉感应重要的变换系数( 量化后非o 的系数) 。这些系数一旦被去 掉，将不能被恢复，因此量化是一种有损压缩。 量化过程如式( 1 1 ) 所示，q p 代表量化步长，x 代表变换系数，f q 为量化系数。 f q 2 r 0 n d ( q p p ) ( 1 - 1 ) y = f q q p( 1 - 2 ) 其中：r o u n d ) = s i g n ( x ) x f l o o r ( i x l + o 5 ) ： s i g n ( x ) 2 二蒜，f f d 。r 取不大于x 的最大整数。 l 若变换系数x 的取值范围是0 2 5 5 ，以q p 为1 0 的精度进行量化，则量化系数f q 的 取值范围是o 2 6 ，可见，传输量化系数需要的比特数将远小于传输变换系数需要的比 特数。但是，由于式( 1 1 ) 中取整函数的存在，量化系数进行反量化( 式( 1 - 2 ) ) 也不可 能还原为原值，所以量化是有损压缩。表1 2 中给出了对同一组变换系数采取不同的 量化步长进行量化和反量化的结果。 由表1 2 可以看出，量化是有损压缩。q p 越大量化后得到的量化系数越小，因而 压缩比越高，但同时反量化后得到的数据与量化前数据差别越大，