（微电子学与固体电子学专业论文）离散余弦变换ip核的设计与研究.pdf

摘要 摘要 离散余弦变换( d c t ) 及其反变换( i d c t ) 在图像编解码方面应用十分广泛，至 今己被p e g ，m p e g l ，m p e g 一2 ，m p e g 一4 和h 2 6 x 等国际标准所采用。由于其计算 量较大，在很多实际应用中需要采用硬件设计的d c t i d c t 处理电路来满足我们对 处理速度的要求。本文所研究的内容就是针对图像处理应用的二维d c t 处理核的 硬件实现。 本文首先介绍了d c t 和i d c t 在图像处理中的作用和原理，说明了d c t 变换 实现图像压缩的过程，并介绍了多种视频标准。接着，对多种一维d c t 的快速算 法和二维d c t 的算法进行了讨论，并详细介绍了本设计所采用的l o e f f l e r 快速 算法。 在i p 核总体结构上采用行列分解的方法，为提高一维d c t i d c t 的速度， 在基于l o e f f l e r 快速算法的结构中插入了多级流水线，乘法运算通过多个定系 数乘法器来完成。针对c c i t t 关于d c t 有穷字长的精度标准对本设计进行了有限 字长仿真。中间变换的变换值采用乒乓存储处理方式，完成对中间数据的转置操 作。 本文的离散余弦变换i p 核的实现采用典型的自顶向下设计方法，首先确定 系统级的设计方案，并以v e r i l o gh d l 语言给出了行为级描述。在x i l i n xi s e 平台上完成f p g a 的设计，并下载到x i l i n xv i r t e x i i 型f p g a 器件上，并通过 f p g a 原型验证。之后，进一步采用台积电的0 2 5 u m 工艺库，完成a s i c 设计。 芯片总面积为1 2 m m 2 ，功耗为7 3 6 4 m w ，最高工作频率可达到1 0 8 7 m h z 。 关键字：图像压缩，离散余弦变换，寄存器传输级，现场可编程门阵列 a b s t r a c t a b s t r a c t d i s c r e t ec o s i n et r a n s f o r i i l ( d c t ) a n di n v e r s ed i s c r e t ec o s i n et r a n s f o r i l l ( i d c t ) h a v eb e e nw i d e l yu s e di nc o d i n ga n dd e c o d i n go fi m a g ep r o c e s s i n gr e c e n t l y u pt o n o w , i ti sa d o p t e db ym a n yi n t e r n a t i o n a ls t a n d a r dg r o u p si n c l u d i n gj p e c m p e g1 ， m p e g 2 ，m p e g 4a n dh 2 4 xe t c i ti sd i f f i c u l tt om a k ear e a l t i m ei m p l e m e n t a t i o no f i tb ys o f t w a r em e t h o db e c a u s ei tt a k e st o om a n yc p uc y c l e s ，i nc o n t r a s tw eu s e h a r d w a r ei m p l e m e n t a t i o nt os a t i s f yt h ep r o c e s s i n gr a t er e q u i r e m e n t t h i st h e s i sh a s b e e nm a i n l yt a k i n ga c c o u n to fh a r d w a r ei m p l e m e n t a t i o no f8 x 82 dd c ti pc o r ef o r a p p l i c a t i o ni ni m a g ep r o c e s s i n g f i r s t l y , t h et h e o r ya n da d v a n t a g e so fu s i n gd i s c r e t ec o s i n et r a n s f o r ma n d i n v e r s ed i s c r e t ec o s i n et r a n s f o r mi ni m a g e sc o m p r e s s i o ni sp r e s e n t e d w ep o r t r a y e d t h ep r o c e s so fu s i n gd c t i d c ti ni m a g ec o m p r e s s i o n t h e nw em a d eav i v i d d i s c u s s i o na m o n gs e v e r a lf a s td c ta l g o r i t h m sa n dg a v ed e t a i l e di n t r o d u c t i o no f l o e f f i e r sf a s td c t a l g o r i t h mw h i c hw a sd i s c u s s e di nt h i sp a p e r t h ei pc o r eu s et h er o wc o l u m nd e c o m p o s i t i o nm e t h o d ( r c m ) t od e c o m p o s e t h et w od i m e n s i o n a ld c ti n t oo n ed i m e n s i o n a ld c t w h e nc a l c u l a t i n gt h e1d d c t i d c t , w em a d es o m ei m p r o v e m e n t si nl o e f f i e r sf a s td c ta l g o r i t h ma c c o r d i n g t ot h ec h a r a c t e r i s t i c so fi m a g ec o m p r e s s i o n a f t e rr e a r r a n g i n ga n ds i m p l i f y i n gt h e c a l c u l a t i o nc y c l e s ，w eg o tas h o r t e rc r i t i c a lp a t ha n dt h u ss p e e du pt h ep i p e l i n i n g t h e m u l t i p l i c a t i o ni nt h ed c ta l g o r i t h ma d o p t sf i x e dc o e f f i c i e n t b a s e do nt h ep r e c i s i o n r e q u i r e m e n to ft h ed c t f i n i t el e n g t hi nc c n t as i m u l a t i o no ff i n i t el e n g t hi sc a r r i e d o u t ap i n g - p a n gp r o c e s so fs t o r a g ei su s e dt oa c h i e v et h et r a n s p o s eo p e r a t i o no ft h e t e m p o r a r yd a t a a t o p - d o w nd e s i g nm e t h o di sp r o p o s e dt oi m p l e m e n tt h ei po fd i s c r e t ec o s i n e t r a n s f o r m a t i o n f i r s to fa l l ，t h es y s t e m - l e v e lt h e m eo ft h ed e s i g ni si n t r o d u c e d ， f o l l o w e db yad e s c r i p t i o ni nb e h a v i o r - l e v e ll a n g u a g eu s i n gv e r i l o gh d l n e x t ，t h e d e s i g ni sc o m p l e t e do nt h ep l a t f o r mo fx i l i n xi s ea n dc h e c k e db yx i l i n xv i r t e xi i t h ec h i pi si m p l e m e n t e di nt s m c0 2 5 u mp r o c e s sw i t hat o t a la r e ao f1 2l n l n z t h e m e a s u r e m e n tr e s u l ts h o w st h a tt h em a x i m u mo p e r a t i n gf r e q u e n c yc a nb eu p t o10 8 7 m h z ，a n dp o w e rc o n s u m p t i o ni s7 3 6 4 m wt o t a l l y k e y w o r d s ：i m a g ec o m p r e s s i o n ，d i s c r e t e c o s i n et r a n s f o r m ( d c t ) ，f i e l d p r o g r a m m a b l eg a t ea r r a y ( f p g a ) ，r e g i s t e rt r a n s f e rl e v e l ( r t l ) u 学位论文独创性声明 本人所呈交的学位论文是我在导师的指导下进行的研究工作及 取得的研究成果。据我所知，除文中已经注明引用的内容外，本论文 不包含其他个人已经发表或撰写过的研究成果。对本文的研究做出重 要贡献的个人和集体，均已在文中作了明确说明并表示谢意。 作者签名：扭日期：作者签名： 基于通用c p u 的方案 基于通用c p u 的方案结构灵活，对算法的修改也可以快速实现，当推出一 个新的视频压缩标准后，往往很快就会推出相应的软件编解码方案。但是由于 通用c p u 的计算能力有限，通常无法完成实时的音、视频编码工作，而只能采 取存储编码工作的方式。即，将摄像机采集的原始数据存储在硬盘中，然后再 从影片中读取视频流进行编码。由于高分辨率的视频图像数据近乎海量，采用硬 盘存储一部影片的原始视频数据是不现实的，这限制了通用c p u 方案的应用， 使得这种方案仅适用于验证算法的有效性或者将视频流从一种压缩格式转换到 另外一种压缩格式。 d i v x 以及开放源码的x v i d t t 是最近在网络上极为流行的流媒体压缩格式， 同时也是一套完整的流媒体编码解码方案。他们采用与m p e g 4 类似的编码策 略，能够在一张6 5 0 m 的c d r o m 上存放一部影片，其图像质量略低于d v d 。 d i v x 及x v i d 的二维d c t 编码部分使用行列分解法，并使用l o e f f i e r 快速算法 进行一维整数d c t 计算。f f m p e g 是一个开放源码的m p e g 解决方梨引，包含 了对音、视频流的编码、转换、解码等功能模块。f f m p e g 的二维d c t 编码部分 采用的是浮点a a n 算法1 9 j 。 基于数字信号处理器( d s p ) 的方案 数字信号处理器( d s p ) 是一类专用c p u ，通过采用哈佛结构，并且专门针 对数字信号处理如f f t 、f i r 等进行了优化设计，使得d s p 的处理能力远远高 于通用c p u 。采用d s p 进行音频、视频的压缩编码工作具有开发成本低，开发 3 第一章绪论 周期短等优点。 金燕波等采用以t i 公司的高速d s p 芯片t m s 3 2 0 c 6 2 0 1 为核心的数字信号 处理板作为图像压缩器的硬件平台【1 0 1 ，通过自行开发的压缩程序，实现了图像 的实时压缩。魏忠义等在a d s p 开发板上实现了j p e g 图像压缩编码算法【l ，其 中的二维d c t 部分采用行列分解法，一维d c t 部分使用d f t 方法实现。刘宝 兰等采用美国德州仪器( t i ) 公司的t m s 3 2 0 d m 6 4 2 开发板作为实现和开发的平 台，并在其上进行算法的实现和优化 12 1 。其中的二维d c t 变换算法采用的是 h 2 6 4 a v c 参考设计j m 的算法，并使用汇编语言进行了优化。 基于f p g a 的方案 f p g a ( f i e l dp r o g r a m m a b l eg a t ea r r a y ) 是一种设计灵活，开发速度很快的现场 可编程逻辑器件。与d s p 相比，f p g a 的主要优点有： 1 、速度快，f p g a 有内置的高速乘法器和加法器。 2 、d s p 内部一般没有大量的存储器，而目前高档的f p g a 中有巨量的高 速存储器，其速度更快，电路也更简单。 3 、f p g a 是硬件可编程的，比d s p 更加灵活，d s p 往往需要外部的接口和 控制芯片配合工作，f p g a 则不需要，这样使得硬件更简单和小型化。 陈玲晶等自行设计了基于p c i 总线的i p 测试验证平台【1 3 1 ，利用该平台的资 源，采用s p a r n 2 e x c 2 s 6 0 0 ef p g a 硬件，实现并且验证了所设计的二维离散余 弦变换i p 核。在他们的设计中采用行列分解法将二维d c t 计算分解为两重一维 d c t 计算，并采用d a ( d i s t r i b u t ea r i t h m e t i c ) 结构进行一维d c t 计算。 基于a s i c 方案 a s i c 是按照特定用户的要求或特定电子系统的需要而设计、制造的集成电 路。与f p g a 相比，a s i c 具有较低的功耗、更小的芯片面积以及更快的运行速 度。但是由于a s i c 缺乏灵活性，研发成本较高，通常只在产品已定型并且需要 大批量生产时才会采用a s i c 技术。目前的a s i c 方案已经可以将整个音、视频 编码系统集成到一片芯片中( s o c ) ，而将二维d c t i d c t 变换作为其中的一个功 能模块。 在考虑d c t i d c t 的a s i c 实现时，根据不同的应用目的，结合不同的算法， 有不同的实现方式。集成电路设计技术发展到今天，逻辑功能的实现已经不是很 大的挑战了，而怎样在最短的时间设计出面积小，速度快，功耗低的电路才是最 大的挑战。所以，即便采用同一算法，但在设计方法、工艺技术上不同，设计出 的电路的性能也会大相径庭。以下列出了几种已实现的典型8 8 结构d c t 芯片 的特性【1 4 】。 4 第一章绪论 表1 1 几种典型8 8 结构d c t 芯片的性能列表 设计者工艺芯片面积品体管数时钟频率实现方式 0 8 u m 6 4 * 3 3 7 k k c h a ub i c m o s 2 7 8 6 6 61 0 0m h z 基于d a 算法 m m g a t e a r r a y 1 2 u m 基rd a 算法，改进 j c c a r l a c h 2 6m m 2 5 0 0 0 02 7 删z c m o s 转换电路 0 8 u m s u r a m o t od o u b l e m e t a l6 4 * 3 3m m 21 0 2 0 0 01 0 0 姗z 基于d a 算法，双层列 c m o s 交叠r o m 技术 0 8 u m b a s e r u l e3 8 5 * 3 4 5 基于d a 算法， m m a t s u i 2 1 2 0 0 0 02 0 0m h z d o u b l e m e t a lm m s a - f f 结构 c m o s 0 6 u mc m o s 改进的d a 算法，只用一 t m a s a k i1 7m i l l 22 1 0 3 4 51 0 2 删z t r i p l e m e t a l s个1 dd c t 处理单元 0 8 u m6 9 5 * 6 9 基于d c t 定义的 c l w a n g 2 1 0 8 3 6 33 3 删z c m o sm m 脉动结构 0 8 u m 1 4 7 1 6 2网格d c t 结构算法， v s r i m i v a s a nb i c m o s 2 3 2 0 0 0 05 0 姗z m m 帧递归 g a t e a r r a y 0 8 u m c m o s 基于乘法器，只用一个 a m a d i s e t t i1 0m m 26 7 0 0 01 0 0m h z t r i p l em e t a l l dd c t 处理单元 0 8 u m 基于l e e 算法 s i n g l ep o l y 4 7 5 * 5 2 6 9 c m w u 2 6 5 9 2 01 5 6 删z只用一个1 dd c t 处理 d o u b l em e t a lm m 单元 c m o s 1 4 文章结构 本论文研究、设计了可用于视频编解码系统中的离散余弦变换i p 核，该i p 核兼容j p e g ，m p e g 等国际标准。在设计实现上，主要针对提高处理速度采取了 优化设计。本文共分六章，各章的具体内容如下： 第一章是绪论，简要介绍了视频压缩编码的相关背景、口核设计的基本概 念及意义、国内外的研究情况。 第二章介绍了数字压缩技术的发展史，研究了基于d c t 的视频编码标准， 就各标准的内容及相互之间的关系进行了讨论，并介绍了视频压缩的流程及原 理、离散余弦变换( d c t ) 在图像处理中的作用核工作原理。 第三章介绍了d c t 算法的数学基础，研究、对比了各种快速d c t 算法及各种 5 第一章绪论 2 d d c t 算法，重点介绍了l o e f f l e r 算法。对基于l o e f f l e r 算法的一维d c t i d c t 单 元硬件实现架构进行了优化设计。针对在二维d c t 处理核的硬件架构提出了两种 实现方案，分析、比较了两种方案的有缺点后确定了本设计的实现结构。 第四章详细介绍了d c t 处理核的r t l 级的设计，分别对各部分模块做了详细 的设计说明。处理核通过行列分解将二维d c t 分解为两重一维d c t 变换，一维 d c t 采用8 级流水线结构设计，提高了处理核的性能。针对c c i t t 的d c t 误差标 准对d c t 处理器进行了内部字长仿真，对各模块进行了功能仿真验证。 第五章阐述视频编解码系统中的离散余弦变换i p 核的实现过程。在x i l i n x v i r t e x l i 型f p g a 器件上实现设计并通过f p g a 原型验证。之后，采用台积电的 0 2 s u m 工艺库完成了a s i c 设计。 最后一章对全文的工作进行了总结，并指出工作中存在的问题及今后的研究 方向。 6 第二章视频压缩原理 第二章视频压缩原理 2 1 数字压缩技术的发展史 1 8 4 3 年莫尔斯( m o r s e ) 的电报码是最原始的变长码数据压缩实例。1 9 3 8 年里夫斯( r e e v e s ) 、1 9 4 6 年德劳雷恩( e m d e l o r a i n ) 以及贝尔公司的卡特勒 ( c c c u t l e r ) 分别发明了脉冲编码调制( p u l s ec o d em o d u l a t i o n ，p c m ) 、增量 调制( d e l t am o d u l a t i o n ) 以及差分脉冲编码调制( d i f f e r e n t i a lp c m ，d p c m ) 。 1 9 4 8 年香农( c e s h a n n o n ) 在其经典论文“通信的数学原型1 5 】”中首次 提到信息率失真函数概念，1 9 5 9 年又进一步确立了率失真理论，从而奠定 了信源编码的理论基础。1 9 4 8 年提出电视信号数字化后，就开始了图像压缩编 码的研究工作。 1 9 5 2 年霍夫曼( d a h u f f m a n ) 给出最优变长码的构造方、法【1 6 】。同年贝尔 实验室的奥利弗( b - m o l i v e r ) 等人开始研究线性预测编码理论；1 9 5 8 年格雷 哈姆( g r a h a m ) 用计算机模拟法研究图像的d p c m 编码方法；1 9 6 6 年奥尼尔( j b o n e a l ) 对比分析了d p c m 和p c m ，对电视信号传输进行了理论分析和计算机 模拟，并提出了用于电视的实验数据，又于1 9 6 9 年进行了线性预测的实验。 2 0 世纪6 0 年代，科学家们也开始探索比预测编码效率更高的编码方法。人 们首先讨论了包括k l 变换、傅立叶变换等正交变换。1 9 6 8 年安德鲁斯( h c a n d r e w s ) 等人采用二维离散傅立叶变换( 2 d d f t ) 提出了变换编码。此后相 继出现了沃尔什哈达玛( w a l s h h a d a m a r d ) 变换、斜变换( s l a n t 变换，由e n o m o t o 和s h i b a t a 引入) 、k l 变换、离散余弦变换( d c t ) 等。 1 9 7 6 年美国贝尔系统的克劳切( r e c r o c h j i e r e ) 等人引入了语音的子带编 码，1 9 8 5 年奥尼尔( s d o n e i l ) 将子带编码推广到对图像的编码。1 9 8 3 年瑞 典的f o r c h h e i m e r 和f a h l a n d e r 提出了基于模型图像编码【1 7 j ( m o d e l b a s e d c o d i n g ) 。在后来的图像编码会议( p c s ，p i c t u r ec o d i n gs y m p o s i u m ) 上( 1 9 8 8 - 1 9 9 6 年) ，以及其他一些国际会议对极低码速率的视频编码进行了深入的研究工作。 1 9 8 6 年，m e y e r 在理论上证明了一维小波函数的存在【1 8 】，创造性地构造出 具有一定衰减特性的小波函数。1 9 8 7 年m a l l a t 提出了多尺度分析的思想及多分 辨率分析的概念，成功地统一了在此之前各种具体小波的构造方法，提出了相应 的快速小波算法m a l l a t 算法，并把它有效地应用于图像分解和重构；1 9 8 9 年，小波变换开始用于多分辨率图像描述。 与小波变换的提出几乎同时，另外一些科学家探讨了使用分数维理论进行数 7 第二章视频压缩原理 据压缩【1 9 1 。1 9 8 8 年美国g e o r g i a 理工学院的m f b a m s l e y 在b y t e 上发表了分 形压缩方法，1 9 9 2 年a j a c q u i n 实现分块迭代函数系统( p i f s ) ，完善了分形编 码压缩方法。 1 9 8 8 年在图像压缩编码的发展历史中是极为重要的一年。几十年研究的成 果集中表现在确定了h 2 6 1 和j p e g 两个建议的原理框架，奠定了2 0 世纪9 0 年 初相继提出的m p e g 、h 2 6 3 等标准的基础。 目前，视频流传输中最为重要的编解码标准有国际电联的h 2 6 x 等，联合图 像专家组的j p e g 、j p e g 2 0 0 0 ，国际标准化组织运动图像专家组的m p e g 系列 标准等。国内为抢占高清领域，也推出了许多媒体压缩、传输标准，其中e v d 主要面向数字媒体的存储领域，a v s 主要面向数字媒体的传输领域，两者都拥 有良好的发展前景。 2 2 视频标准 2 2 1 静止图像压缩标准 国际标准化组织( i s o ) 和国际电报电话咨询委员会( c c i t t ) 联合成立的 专家组j p e g ( j o i n tp h o t o g r a p h i ce x p e r t sg r o u p ) 经过五年艰苦细致地工作后， 于1 9 9 1 年3 月提出了i s oc d l 0 9 1 8 号建议草案：多灰度静止图像的数字压缩编 码( 通常简称为j p e g 标准) 1 2 0 1 。这是一个适用于彩色和单色多灰度或连续色 调静止数字图像的压缩标准。它包括基于d p c m ( 差分脉冲编码调制) 、d c t ( 离 散余弦变换) 和h u f f m a n 编码的有损压缩算法两个部分。前者不会产生失真，但 压缩比很小；后一种算法进行图像压缩时信息虽有损失但压缩比可以很大，例如 压缩2 0 倍左右时，人眼基本上看不出失真。 j p e g 标准实际上有三个范畴： 1 基本顺序过程( b a s e l i n es e q u e n t i a lp r o c e s s ) 实现有损图像压缩，重建图 像质量达到人眼难以观察出来的要求。采用的是8 8 像素自适应d c t 算法、量 化及h u f f r n a n 型的熵编码器。 2 基于d c t 的扩展过程( e x t e n d e dd c tb a s e dp r o c e s s ) 使用累进工作方 式，采用自适应算术编码过程。 3 无失真过程( l o s s l e s sp r o c e s s ) 采用预测编码及h u f f i n a n 编码( 或算术编 码) ，可保证重建图像数据与原始图像数据完全相同。其中的基本顺序过程是 j p e g 最基本的压缩过程：符合j p e g 标准的硬软件编码解码器都必须支持和实 现这个过程。 第二章视频压缩原理 2 2 2 视频通信编码标准h 2 6 x 系列 h 2 6 1 标准是1 9 9 0 年底正式推出的，它是i t u - t 为在窄带综合业务数字网 ( n - i s d n ) 上开展实时的双向声像业务( 可视电话、视频会议) 而制定的，支持 c i f 和q c i f 的分辨率格式，码率为6 4 k b s 的整数倍，因此也称为p x6 4 标准。 它包含有包括运动补偿的帧间预测、d c t 变换、量化、熵编码，以及速率控制等 部分。h 2 6 1 标准适用于电视或可视电话会议。 h 2 6 3 标准是i t u t 为低于6 4 k b s 的窄带通信信道制定的替换h 2 6 1 的标准视 频编码标准【2 ，支持c i f 和q c i f 的分辨率格式。h 2 6 3 的发展分为三个阶段。初 始标准的技术工作于1 9 9 5 年1 1 月完成。h 2 6 3 的扩展( h 2 6 3 + ) ，于1 9 9 7 年9 月完 成。第三个阶段的结果( h 2 6 3 + + ) ，于1 9 9 9 年合并入标准，并且于2 0 0 0 年1 1 月 正式通过。h 2 6 3 是在h 2 6 1 基础上发展起来的，和h 2 6 1 相比，它支持半像素的 运动补偿精度、越过图像边界的运动矢量、基于上下文的算术编码、先进的预测 模式、前向和后向帧预测以及分级的比特流等。 h 2 6 4 是由i s o i e c 与i t u - t 组成的联合视频组( j v t ) 制定的新一代视频压缩 编码标准【2 2 1 。与n 2 6 3 或m p e g 一4 相比，n 2 6 4 在使用与上述编码方法类似的最佳 编码器时，在大多数码率下最多可节省5 0 的码率。h 2 6 4 在所有码率下都能持续 提供较高的视频质量。h 2 6 4 能工作在低延时模式以适应实时通信的应用( 如视 频会议) ，同时又能很好地工作在没有延时限制的应用，如视频存储和以服务器 为基础的视频流式应用。h 2 6 4 提供包传输网中处理包丢失所需的工具，以及在 易误码的无线网中处理比特误码的工具。 在系统层面上，h 2 6 4 提出了一个新的概念，在视频编码层v c l ( v i d e oc o d i n g l a y e r ) 和网络抽象层n a l ( n e t w o r ka b s t r a c t i o nl a y e r ) 之间进行概念性分割， 前者是视频内容的核心压缩内容之表述，后者是通过特定类型网络进行递送的表 述，这样的结构便于信息的封装和对信息进行更好的优先级控制。 2 2 3 运动图像压缩标准m p e g 系列 该系列标准目前包括了m p e g 1 、m p e g 2 、m p e g 4 、m p e g 7 、m p e g 2 1 等。其中m p e g 7 用于多媒体检索，m p e g 2 1 用于媒体交换。这里我们仅讨论 m p e g 1 、m p e g 2 、m p e g 4 。 m p e g - 1 ( i s o i e c i11 7 2 ) 标准于1 9 9 3 年正式推出【2 3 1 ，是用于最高1 5 m b p s 的数字存储媒体的活动图像和及其伴音的压缩编码标准。主要针对s i f ( s t a n d a r d i n t e r c h a n g ef o r m a t ) 标准分辨率的图象( 对于n t s c $ 1 为3 5 2 2 4 0 ，对于p a l s 0 为3 5 2 2 8 8 ) 。m p e g 一1 标准包括系统、视频、音频、一致性和参考软件五个部分， 9 第二章视频压缩原理 具有随机存取、快速正向逆向搜索、逆向重播、视听同步、容错性等功能，m p e g - 1 主要作为v c d 的标准和用于数字电话网络上的视频传输。 m p e g 一2 ( i s o i e c1 3 8 1 8 ) 标准于1 9 9 4 年正式推出，目的是进行更高的分辨 率( 标清7 2 0 x 4 8 6 ，高清1 9 2 0 x1 0 8 0 ) 下的视频及其音频的编码，它的码率在 3 m b p s - - 一，l o o m b p s 之间。m p e g 一2 支持固定比特率传送、可变比特率传送、随机访问、 分级编码、比特流编辑等功能，能够提供广播级的视像和c d 级的音质。m p e g 一2 主要用于数字存储媒体、高清晰度电视和数字视频广播等领域，除了做为d v d 的 指定标准外，还为广播，有线电视网，电缆网络以及卫星直播提供广播级的数字 视频。 m p e g 一4 ( i s o 1 e c l4 4 9 6 ) 标准于1 9 9 9 年正式推出【2 4 】，它可以进行从极低分 辨率到高清晰度分辨率间的各种分辨率下的压缩编码，它的压缩率是m p e g 一2 的 1 5 - - - 2 倍，是一个适合多种多媒体应用的面向对象的视频压缩编码标准。m p e g 一4 采用基于对象的方式，通过对不同的视听对象( 自然的或合成的) 独立进行编码， 同时允许在不同的对象之间灵活分配码率，从而实现较高的压缩效率。目前基于 m p e g 一4 标准的应用有：数字电视、低比特率下的移动多媒体通信，实时多媒体监 控、动态图象、视频会议、i n t r a n e t 上的视频流与可视游戏、p s t n 网上传输的可 视电话、d v d 上的交互多媒体应用等。 2 2 4a v $ 标准 a v s 标准是“信息技术先进音视频编码 系列标准的简称，是我国具备自主 知识产权的第二代信源编码标泄2 4 1 。a v s 标准包括系统、视频、音频、数字版权 管理等四个主要技术标准和一致性测试等支撑标准。其主要目标是成为制订数字 音视频的压缩、解压缩、处理和表示等共性技术标准，为数字音视频设备与系统 提供高效经济的编解码技术，服务于高分辨率数字广播、高密度激光数字存储媒 体、无线宽带多媒体通讯、互联网宽带流媒体等重大信息产业应用。a v s 视频部 分已于2 0 0 6 年3 月1 日正式成为国家标准。作为数字音视频产业的共性基础标准， a v s 标准将被广泛应用于高清晰度和标准清晰度数字电视广播、激光视盘机、移 动多媒体通信、视频会议与视频监控、宽带网络流媒体、数字电影等产业群。与 其他类似标准相比，a v s 有两大优势：基于自主技术和部分开放技术构建的开放 标准，妥善解决专利许可问题；中国日渐强大的产业化实力和市场提供了良好土 壤。在这两大优势的助推下，a v s 已成为全球范围内最有可能成为事实标准的第 二代音视频编码标准。 目前，a v s 标准中涉及视频压缩编码的有两个独立的部分：a v s 第二部分 ( a v s p 2 ) 主要针对高清晰度数字电视广播和高密度存储媒体应用；a v s 第七部 1 0 第二章视频压缩原理 分( a v s - p 7 ) 主要针对低码率、低复杂度、较低图像分辨率的移动媒体应用。在 视频编码技术方面，a v s 标准采用了一系列技术来达到高效率的视频编码，包括： 帧内预测、帧间预测、变换、量化和熵编码等。帧间预测使用基于块的运动矢量 来消除图像间的冗余：帧内预测使用空间预测模式来消除图像内的冗余。再通过 对预测残差进行变换和量化消除图像内的视觉冗余。最后，运动矢量、预侧模式、 量化参数和变换系数等用熵编码进行压缩。 2 3 视频压缩的基本原理 本文的设计主要是针对m p e g 标准的视频编解码系统中的变换编码，下面 对m p e g 的压缩原理进行简单介绍。 m p e g 可以完成对视频和音频的压缩，这里我们当然只谈视频压缩部分。通 过压缩去除视频信息源中的3 重冗余度：空间冗余度、时间冗余度和结构冗余度。 同一帧讯源图像中相邻像素之间的幅度值相近，即同一行上的相邻像素之间 幅值相近，或者相邻行之间同样位置上的像素幅值相近，被称为图像的空间冗余 度。 相邻两帧讯源图像同一位置上像素幅度值相近，体现了信源图像的时间冗余 度。 信源图像上每个像素所用比特数的多少表示了比特结构，多用的比特数为冗 余量，体现了静态冗余度。 m p e g 主要从两个方面降低冗余度： 1 、利用图像信号的统计特性进行压缩。采用运动补偿( m c ) 去除时间冗余 度；采用离散余弦变换( d c t ) 和游程长度编码( r l c ) 去除空间冗余度；采用 可变长度编码( v l c ) 去除静态( 比特结构) 冗余度。 2 、利用人的视觉生理特性设计压缩。人眼对构成图像的不同频率成分、物 体的不同运动程度等具有不同的敏感度，这是由人眼的视觉生理特性所决定的， 眼睛对亮度的敏感程度要大于对色彩的敏感程度。据此，可控制图像适合于人眼 的视觉特性，从而达到压缩图像数据量的目的【1 5 1 。m p e g 标准压缩首先对色差 信号进行亚采样，减少数据量，采用运动补偿技术，减少帧间冗余度，利用二维 d c t 变换去除空间相关性，对d c t 分量进行量化，舍去不重要的信息，将量化 后d c t 分量按照频率重新排序，将d c t 分量进行变字长编码，最后对每个数据 块的直流分量( d c ) 进行预测差分编码。m p e g 视频的编解码基于混合编码系 统的编解过程，其框图如图2 1 和图2 2 所示。 第二章视频压缩原理 重建块 图2 1 混合编码系统的编码器框图 图2 2 混合编码系统的解码器框图 从图2 1 和图2 2 中可以看出，混合编码系统主要压缩技术包括变换编码和 预测编码【2 5 】。 预测编码 预测编码不是对一个像素直接编码，而是用同一帧( 帧内预测编码) 或相邻 帧( 帧间预测编码) 中的像素值来进行预测，然后对预测残差进行变换编码。显 然预测编码实际是利用了图像数据中的空间和时问冗余。线性预测编码又称为差 分脉冲编码调带o o p c m ，由于算法简单，易于硬件实现，己被各种视频编码标准采 纳。 帧间预测编码的主要方法有帧重复法、帧内插法和运动补偿法等。其中运动 补偿法在视频编码中使用的最为广泛。运动补偿预测通常可以采用单向预测( 一 个参考帧) ，双向预测( 两个参考帧) 和插值预测( 取两个参考帧预测值的平均) 来实现。由于运动补偿预测可以有效的减少视频序列的时域冗余，因此成为构成 当前主要视频编码标准最基本的技术之一。 变换编码 变换编码是构成当前主要视频编码标准的另一项最基本技术，用来消除图像 的频域( 变换域) 冗余。 1 2 第二章视频压缩原理 正交变换编码通常是将空域相关的像素点映射到另一个正交矢量空间，使得 变换后的系数之间相关性降低。常见的正交变换有k - l ( k a r h u n e n l o e v e ) 变换、 离散傅立叶变换d f t ( d i s c r e t ef o u r i e rt r a n s f o r m ) 、离散余弦变换d c t ( d i s c r e t e c o s i n et r a n s f o r m ) ，沃尔什哈达玛( w a l s h h a d a m a r d ) 变换和哈尔( h a r r ) 变 换。k - l 变换是均方误差准则下的最优变换，但实现困难。在现行视频编码标准 中几乎都采用了性能最接近k l 变换的离散余弦变换。 变换编码除了采用正交变换编码外，还有子带编码和小波编码。由于正交变 换编码使得图像的能量集中在低频区域，表示图像中缓慢变化的内容，而图像的 边缘、细微的纹理等细节部分集中在变换域的高频区。为了实现压缩，通常采用 同一个量化器进行量化，这样就牺牲了图像的细节部分，造成解码图像模糊。在 高压缩比时，基于块的正交变换编码还会产生块效应，降低图像质量。而子带编 码则是将图像分裂成几个不同频段的子带，对不同的子带设计不同的编码参数， 提高图像质量。小波变换编码充分利用了小波分析在时域和频域同时具有良好的 局部化特性、与人眼视觉特性相符的多分辨率能力、分解系数分布平稳、自然分 级的金字塔式数据结构等优点，在视频压缩领域引起广泛的关注。它利用与正交 分解完全不同的小波分解，以原始图像( 不是原始图像中的块) 为初值，不断的 将上一级图像分解为4 个子带：上一级图像中的低频信息、垂直方向、水平方向 和对角线方向的边缘信息。从多分辨率分析出发，一般每次只对上一级的低频子 图图像进行分解。将整个图像而非其中的块作为整体进行传送，因此不会产生块 效应。 2 4 离散余弦变换原理 离散余弦变换是通过正交变换把图像从空间域转换到能量比较集中的变换 域，然后对变换系数进行量化、编码，从而达到压缩数据的目的。正交变换之所 以能够压缩数据，主要有以下性质： 1 、交变换具有熵保持性，即通过正交变换后并不丢失信息。 2 、变换具有能量保持性，并能把能量重新分配与集中。这就有可能采用熵 压缩法来压缩系数，即在质量允许的情况下，舍弃一些能量很小的系数，而对能 量较大的系数分配较多的比特，对能量较小的系数分配较少的比特，从而使数据 有较大的压缩。 3 、去相关性，可使高度相关的空间样值变为相关性较弱的变换系数，从而 减少空间样值之间冗余度。 d c t 广泛应用于图像压缩、数据压缩、滤波等领域，已经被证明在是图像 和视频压缩编码中非常有效的技术之一。很多图像、视频压缩标准都采用了d c t 第二章视频压缩原理 变换。目前，图像压缩方面的国际标准主要有m p e g 系列( m p e g 1 、m p e g 2 、 m p e g 4 ) ，以及h 2 6 x 系列( h 2 6 1 、h 2 6 3 、h 2 6 3 + 、h 2 6 4 ) 和静止图像压缩 标准j p e g 、j p e g 2 0 0 0 等；除了j p e g 2 0 0 0 以外，以上标准全部采用基于d c t 的 图像压缩算法。d c t 将运动补偿误差或原画面信息块转换成代表不同频率分量 的系数集，这样有两个优点：其一，信号常将其能量的大部分集中于频率域的一 个小范围内，这样一来，描述不重要的分量只需要很少的比特数；其二，频率域 分解映射了人类视觉系统的处理过程，并允许后继的量化过程满足其灵敏度的要 求。 相比其它变换，离散余弦变换具有以下两点优势： 一是d c t 变换接近最佳k l 变换。因为k l 变换能产生非相关的变换系数( 非 相关变换系数对压缩极为重要) ，可以单独处理各系数而不损失压缩效率，但k - l 变换至今没有快速算法，因此，因此无法用硬件来实现。 二是用d c t 而不用d f t 的原因在于，d f t 要进行复数运算，一次复数相当于四 次实乘和二次实加，因而d f t 需要的运算量很大，难于满足实时图象处理的要求， 而d c t 是一种实数域的变换，需要的运算量