（通信与信息系统专业论文）基于dsp的多媒体处理库.pdf

摘要 在多媒体系统中，视频编解码技术占有重要的位置，是构建多媒体应用的核 心模块之一。自上世纪8 0 年代以来，国际标准组织推出了诸如m p e g 系列和 h 2 6 x 系列等众多卓有实效的音视频压缩编码标准，它们在各个领域中发挥着重 要作用。 在当前，采用d s p 实现视频编解码已成为热门的研究课题。为了用于实现多 媒体数据处理，针对音视频的d s p 处理器结构经过了特别优化设计，且提供了 丰富的多媒体处理指令集。基于d s p 的视频编解码器具有灵活性高，易于升级 更新，开发周期短的特点，因此，d s p 是实现视频应用系统的理想平台之一。如 何把d s p 强大的数据处理能力和先进高效的图像压缩技术结合起来，是本文要 讨论的重点。 为降低在d s p 平台上的视频处理实现的工作量，本文提出了一个为视频编解 码提供各个层次上的基于d s p 的库函数的多媒体处理库( m u l t i m e d i ap r o c e s s i n g l i b r a r y ) 。建立这个库的目的是为在d s p 上进行视频处理应用的人员提供一系列 高效方便的库函数，从而缩短开发周期，降低开发成本。本文首先介绍了音视频 编码标准的发展历程，然后阐述了m m l 的构建原则和层次划分并列举了m m l 中与m p e g 4 和h 2 6 4 这两个视频标准相关的库函数，接下来分别针对a d i 公司 的b l a c k f i n 处理器和t i 公司的d m 6 4 2 处理器的特点对以上的库函数的优化进行 了讨论并给出了优化结果，最后为了探索m m l 的可行性，用m m l 中与h 2 6 4 解码相关的函数初步建立了一个网络h + 2 6 4 解码器。 m m l 的优点在于用户可以直接调用库函数来构建视频编解码器，而不需要 了解底层的实现机制，这样就可大大降低开发的难度和时间；另一方面，m m l 函数都经过了d s p 指令优化，它们的执行性能也得到了保障，可以帮助用户高 效地建立自己的视频应用程序。 关键词：视频编解码，d s p ，多媒体处理库 a b s t r a e t v i d e oc o m p r e s s i o ni st h ek e yt e c h n o l o g yo fm u l t i m e d i ad a t ap r o c e s s i n g ，a n dv i d e o c o d e ci so n eo ft h em o s ti m p o r t a n tc o r em o d u l e sf o ram u l t i m e d i aa p p l i c a t i o ns y s t e m i nr e c e n t2 0y e a r s ，i s oh a sp r o v i d e das e r i e so f h i g h p e r f o r m a n c ea n d i o v i d e oc o d i n g s t a n d a r d s s u c ha sm p e ga n dh 2 6 x w h i c hn o w p l a yv e r yi m p o r t a n tr o l e si nm a n y f i e l d s r e c e n t l y , r e s e a r c h e r sp a ym o r ea n dm o r ea r e n t i o no nv i d e oc o d e cb a s e do nd s e t h eh a r d w a r es t r u c t u r eo fd s pp r o c e s s o rc o r ei se s p e c i a l l yd e s i g n e df o rm u l t i m e d i a d a t ap r o c e s s i n g ，a n dp l e n t i f u lm u l t i m e d i ad a t ap r o c e s s i n gi n s t r u c t i o n sa r ea v a i l a b l e t h ei m p l e m e n t a t i o nu s i n gd s pc a ns h o r t e nt h et i m et om a r k e ta n do f f e rc o n v e n i e n c e f o ru p g r a d i n ga n dr e p r o g r a m m i n g t h e r e f o r e ，t h i st h e s i sf o c u s e st h ea t t e n t i o no nh o w t oc o m b i n et h es t r o n gd a t ap r o c e s s i n ga b i l i t yo fd s p 、i mt h eh i g h e f f i c i e n t c o m p r e s s i o nt e c h n o l o g y t h i st h e s i sb u i l d sam u l t i m e d i ap r o c e s s i n gl i b r a r yw h i c hi su s e df o rv i d e o p r o c e s s i n go nd s p i no r d e rt om a k et h ei m p l e m e n t a t i o no fv i d e oc o d e ce a s i e r t h i s l i b r a r yi sd e s i g n e dt oo f f e rs o m ee m c i e n ta n dc o n v e n i e n tf i m c t i o n st ot h ed e v e l o p e r s o fv i d e oc o d e c i nt h i sp a p e r , v i d e oc o m p r e s s i n gt e c h n i q u e sa n dv i d e oc o d i n g s t a n d a r d sh i s t o r ya l ef i r s ti n t r o d u c e d 。t h e nt h es c h e m eo fb u i l d i n gm m la n dt h e m p e g 4 & h 2 6 4f u n c t i o nd e s c r i p t i o n sa r eo f f e r e d f i n a l l yw eu s es o m eo ft h e f i m c t i o n si nm m l t oi m p l e m e n tan e t w o r kd e c o d e ro f h 2 6 4 t h ea d v a n t a g eo fm m li st h a tu s e r sc a nc a l lt h ef u n c t i o n sd i r e c t l yw i t h o u t k n o 、i n t h ep r o c e s s i n gm e c h a n i s mi nt h e m ，t h e r e f o r es a v et h et i m ea n dm a k ei te a s y f o rp r o g r a m m i n g ；o nt h eo t h e rh a n d t h ef i m c t i o n si nm m la r eo p t i m i z e do nd s p , s o t h e yc a nw o r ke m c i e n t l yi nt h eu s e r so w np r o g r a m k e yw o r d s ：v i d e oc o d e c ，d s p , m u l t i m e d i ap r o c e s s i n gl i b r a r y 第一章绪论 1 1 引言 随蓿信息时代的来临，多媒体技术已经渗透到生活的每个角落。视频图像是 多媒体信息的重要组成部分，但是，数字化的视频信号的数据量之大是非常惊人 的，这使得在开发多媒体应用系统时，对包含巨大数据量的视频图像数据的采集、 存储、传输成为最大的瓶颈。因此，视频数据的高效压缩意义重大，是降低网络 带宽限制，节省存储成本和突破处理器主频限制的关键技术。 视频压缩算法运算量很大，实时处理对通用处理器的要求因而变得很高，在 这种情况下，各种专用高速数字信号处理器( d s p ) 应运而生。然而，为了利用 这些专用处理器开发人员必须花费大量时间学习其软硬件知识，若能简化这一过 程，则将大大提高开发效率。因此，如果用d s p 器件的汇编语言设计一个针对 多媒体处理( 尤其是视频处理) 的函数库，用户只需在高级语言环境下像调用标 准函数一样调用这些专用功能，这样对加快多媒体的应用，缩短开发时间将具有 很大的意义。本文的目的就是开发一套基于t i 和a d i 的d s p 平台的多媒体处 理库，并根据目前视频编码技术的发展趋势，将研究的重点放在m p e g 4 和h 2 6 4 库函数的建立及实现上。视频压缩技术和编码标准是建立多媒体处理库的基础， 因此在以下的内容中将首先对视频编码的基本原理、方法及编码标准的进展进行 简单回顾。 1 2 视频压缩原理 视频数据压缩就是将庞大数据中的冗余信息去除，即消除数据之间的相关 性，而保留相互独立的信息分量。视频数据中的冗余主要包括三类：人眼视觉系 统h v s ( h u m a n v i s u a ls y s t e m ) 对亮度和色度的不同心理反应形成的心理冗余； 图像在时域和空域上的相关性形成的统计冗余【2 】以及平均编码长度和信源熵之 间的偏差形成的熵冗余 引。为消除这些冗余，目前主流的视频标准主要采用了以 下几种方法来进行视频数据的压缩。 1 2 1 空间采样 与色度信号的变化相比，人眼对亮度信号的变化更灵敏，因此利用人眼视 觉系统对色差信号的这种不敏感性，可以消除视频数据中含有的主观冗余度，从 而有效降低原始编码数据量。所以众多视频编码方案首先将图像数据分成y u v 信号( 一个亮度分量和二个色度分量) ，然后再对色度分量进行降采样。目前广泛 使用的采样格式有4 ：2 ：2 ，4 ：2 ：0 和4 ：1 1 等。 1 2 2 预测编码 预测编码就是利用信号问的相关性将每个像素用其前值( 前像素、前行、前帧) 做预测，并传输实际信号与预测信号差值。信号相关性越强，预测精度越高，实 际信号与预测信号的差值就越小，其编码后的比特数就可相应减少。这就是预测 编码实现压缩的机理。1 9 5 2 年，c c c u l t e r 首先提出了d p c m ( d i f f e r e n t i a lp u l s e c o d em o d u l a t i o n ) 的概念h 。同年b e l l 实验室的b m o l i v e 第一次从理论上和实 验上对图像的线性预测编码进行了研究。1 9 6 6 年，j b o n e a l 分析计算了二维线 性预测器的最佳预测系数，确立了最佳线性预测的设计理论【5 1 。1 9 6 9 年m o u n t s 等首次提出帧问预测编码方法1 6 j ，8 0 年代初开始了对做运动补偿预测所用的运动 估值技术的研耕”。发展到今天，运动补偿预测已经在视频图像编码方法中占有 重要的地位。 预测编码根据时空相关特性可分为时域帧间预测和空域帧内预测两类。帧问 预测指的是利用图像序列间的时间相关性，使用已编码帧的像素值作为参考，从 而以补偿残差值取代当前帧像素值来表征当前帧特性的冗余消除方法；同时，一 幅图像内的相邻像素问也具有较强的相关性，因此可以利用帧内预测方法来消除 空间冗余。 1 2 3 变换编码 变换编码己成为用于静止画面编码和视频编码的一种非常流行的压缩方法。 变换编码的目的在于去掉帧内或帧间残差图像内容的相关性，对变换系数进行编 码，而不是对画面的原始像素进行编码【8 】。尽管图像变换本身并不导致数据压缩， 但是通过采用正交变换编码技术进行多维坐标系的旋转变换，把散布在各个原坐 标轴上的原始图像数据集中到新的坐标系中少数坐标轴上的作法可以使图像数 据在变换域内最大限度地不相关。将图像数据从空域变换到频域后，可利用人眼 视觉系统对高频信号不敏感的特点，将高频系数尽量量化为零而产生长零串，这 样非常有利于消除编码熵冗余。正交变换的种类很多，如k l 变换、d c t 变换、 s l a n t 变换和w a l s h - h a d a m a r d 变换等。19 6 8 年，h ca n d r e w s 和w kp r a t t 首先将离 散傅里叶变换( d f t ) 用于处理静止图像h ，得到了较好的压缩效果。次年，w k p r a t t 等人提出利用只有加减运算的h a d a m a r d 变换对图像进行编码【1 0 j 。进入7 0 年代后，又先后出现了k l 变换、h a a r 变换、s l a n t 变换等方法，并从理论上证明 了在均方误差最小准则下，k l 变换是最佳变换，但它的缺点是计算复杂度大， 工程上难以实现。1 9 7 4 年由n a h m e d 和l k r r a o 提出了离散余弦变换( d c t ) ”， 由于d c t 变换在假定信源为一阶平稳马尔可夫过程时最接近k l 变换且有快速 算法，因此常被作为变换编码的基本方法。 1 2 4 熵编码 熵编码是建筑在随机过程的统计特性基础上的，基本思想是对出现概率较大 的符号分配短码宇，对出现概率较小的符号分配长码字，从而达到编码后的平均 码长最小。熵编码包括香农范诺编码、霍夫曼编码和算术编码等。1 9 4 8 年， s h a n n o n 在提出信息熵理论的同时，也给出了一种简单的编码方法s h a i l l l o n 编码【1 ”。1 9 5 2 年，r m f a n o 又进一步提出了f a n o 编码。这些早期的编码方 法揭示了变长编码的基本规律，也确实可以取得一定的压缩效果，但离真正实用 的压缩算法还相去甚远。第一个实用的编码方法是由d a h u f f m a n 提出的 h u f f m a n 编码 1 3 】，它有效率高，运算速度快，实现方式灵活的特点，从2 0 世纪 6 0 年代至今，在数据压缩领域得到了广泛的应用。1 9 6 8 年前后，p + e l i a s 发展 了s h a n n o n 和f a n o 的编码方法，构造出从数学角度看来更为完美的 s h a n n o n f a n o e l i a s 编码。沿着这一编码方法的思路，1 9 7 6 年，j r j s s a n e n 提 2 c o d em o d u l a t i o n ) 的概念”j 。同年b e l l 实验室的b m o l i v e 第一次从理论r 和实 验上对图像的线性预测编码进打r 研究。1 9 6 6 年，j bo ，i l e a l 分析计算了一维线 性预测器的最佳预测系数，确立了最佳线性预测的设计理沦口i 。1 9 6 9 年m o u n l s 等首次提出帧问预测编码方法州，8 0 年代初开始了对傲运动补偿预浞所j l | j 的运动 估值技术的研究 i 。发展到今天，运动补偿预测已经在视频图像编吗方法中占有 重要的地何。 预测编码根据时空相关特性可分为时域帧问预测和空域帧内预测两类。l 贞问 预测指的是利用图像序列问的时间相关性，使用已编码帧的像素值作为参考，从 而以补偿残差值取代当前帧像素值柬表征当前帧特性的冗余消除方法；同时，一 幅图像内的相邻像素问也具有较强的相关性，因此可以利用帧内预测方法来消除 空间冗余。 1 2 3 变换编码 变换编码已成为用于静止而而编码和视频编码的一种非常流行的压缩方法。 变换编码的目的在于去掉帧内或帧间残差图像内容的相关性，对变换系数进行编 码，而不是对画面的原始像素进行编码l 。尽管图像变换本身并不导致数据压缩， 但是通过采用正交变换编码技术进行多维坐标系的旋转变换，把散布在各个原坐 标轴上的原始图像数据集中到新的坐标系中少数坐标轴r 的作法可以使图像数 据在变换域内最大限度地不相关。将图像数据从空域变换到频域后，可利用人眼 视觉系统埘高频信号不敏感的特点，将高频系数尽量量化为零而产生长零串，这 样非常有利于消除编码熵冗余。正交变换的种类很多，o n k - l 变换、d c 俊换、 s l a n t 变换和w a l s h - h a d a m a r d 变换等。1 9 6 8 年，i i ca n d r e w s 和w kp r a t t 首先将离 散傅里叶变换( d p t ) 用于处理静止图像”i ，得到了较好的压缩效果。次年，w k p r a t t 等人提出利用只有加减运算的h a d a m a r d 变换对图像进行编码【1 0 i 。进入7 0 年代后，叉先后出现了k l 变换、h a a r 变换、s l a n t 变换等方法，并从理论上证明 了在均方误差最小准则下。k l 变换是最佳变换，但它的缺点是计算复杂度大， 工程上难以实现。1 9 7 4 年由n a l u u e d 1 k r r a n 提出了离散余弦变换( d c t ) i l l i ， 由于d c t 变换在假定信源为一阶平稳马尔可夫过程刚是接近k l 变换日有快速 算法，因此常被作为变换编码的基奉方法。 1 24 熵编码 熵编码是建筑在随机过程的统计特性基础上的，基本思想是对出现概率较大 的符号分配短码字，对出现概率较小的符号分配长码字，从而达到编码后的平均 码长晟小。熵编码包括香农范诺编码、霍夫曼编码和算术编码等。1 9 4 8 年， s h a n n o n 存提出信息熵理论的同时，也给出了一种简单的编码方法s h a i l n o n 编码【1 2 j 。1 9 5 2 年，rm f a n o 又进一步提出了f a n o 编码。这些早期的编码方 法揭示了变长编码的基本规律，也确实可以取得一定的压缩效果，但离真萨实用 的压缩算法还相去甚远。第一个实用的编码方法是由d a h u f f m a n 提出的 h u f f f n a n 编码 1 3 ，它有效率高，运算速度快，实现 式灵活的特点，从2 0 世纪 6 0 年代至今，在数据压缩领域得到了广泛的虑用。1 9 6 8 年前后，p e l i a s 拉展 了s h a n n o n 和f a n o 的编码方法，构造出从数学角度看来更为完美的 s h , m n c n 。f a n o e l i a s 编码。沿着这一编码方法的恩路，1 9 7 6 年，j r i s s a n e n 提 s h , m n c n 。f a n o e l i a s 编码。沿着这一编码方法的恩路，1 9 7 6 年，j r i s s a n e n 提 c o d em o d u l a t i o n ) 的概念h 。同年b e l l 实验室的b m o l i v e 第一次从理论上和实 验上对图像的线性预测编码进行了研究。1 9 6 6 年，j b o n e a l 分析计算了二维线 性预测器的最佳预测系数，确立了最佳线性预测的设计理论【5 1 。1 9 6 9 年m o u n t s 等首次提出帧问预测编码方法1 6 j ，8 0 年代初开始了对做运动补偿预测所用的运动 估值技术的研耕”。发展到今天，运动补偿预测已经在视频图像编码方法中占有 重要的地位。 预测编码根据时空相关特性可分为时域帧间预测和空域帧内预测两类。帧问 预测指的是利用图像序列间的时间相关性，使用已编码帧的像素值作为参考，从 而以补偿残差值取代当前帧像素值来表征当前帧特性的冗余消除方法；同时，一 幅图像内的相邻像素问也具有较强的相关性，因此可以利用帧内预测方法来消除 空间冗余。 1 2 3 变换编码 变换编码己成为用于静止画面编码和视频编码的一种非常流行的压缩方法。 变换编码的目的在于去掉帧内或帧间残差图像内容的相关性，对变换系数进行编 码，而不是对画面的原始像素进行编码【8 】。尽管图像变换本身并不导致数据压缩， 但是通过采用正交变换编码技术进行多维坐标系的旋转变换，把散布在各个原坐 标轴上的原始图像数据集中到新的坐标系中少数坐标轴上的作法可以使图像数 据在变换域内最大限度地不相关。将图像数据从空域变换到频域后，可利用人眼 视觉系统对高频信号不敏感的特点，将高频系数尽量量化为零而产生长零串，这 样非常有利于消除编码熵冗余。正交变换的种类很多，如k l 变换、d c t 变换、 s l a n t 变换和w a l s h - h a d a m a r d 变换等。19 6 8 年，h ca n d r e w s 和w kp r a t t 首先将离 散傅里叶变换( d f t ) 用于处理静止图像h ，得到了较好的压缩效果。次年，w k p r a t t 等人提出利用只有加减运算的h a d a m a r d 变换对图像进行编码【1 0 j 。进入7 0 年代后，又先后出现了k l 变换、h a a r 变换、s l a n t 变换等方法，并从理论上证明 了在均方误差最小准则下，k l 变换是最佳变换，但它的缺点是计算复杂度大， 工程上难以实现。1 9 7 4 年由n a h m e d 和l k r r a o 提出了离散余弦变换( d c t ) ”， 由于d c t 变换在假定信源为一阶平稳马尔可夫过程时最接近k l 变换且有快速 算法，因此常被作为变换编码的基本方法。 1 2 4 熵编码 熵编码是建筑在随机过程的统计特性基础上的，基本思想是对出现概率较大 的符号分配短码宇，对出现概率较小的符号分配长码字，从而达到编码后的平均 码长最小。熵编码包括香农范诺编码、霍夫曼编码和算术编码等。1 9 4 8 年， s h a n n o n 在提出信息熵理论的同时，也给出了一种简单的编码方法s h a i l l l o n 编码【1 ”。1 9 5 2 年，r m f a n o 又进一步提出了f a n o 编码。这些早期的编码方 法揭示了变长编码的基本规律，也确实可以取得一定的压缩效果，但离真正实用 的压缩算法还相去甚远。第一个实用的编码方法是由d a h u f f m a n 提出的 h u f f m a n 编码 1 3 】，它有效率高，运算速度快，实现方式灵活的特点，从2 0 世纪 6 0 年代至今，在数据压缩领域得到了广泛的应用。1 9 6 8 年前后，p + e l i a s 发展 了s h a n n o n 和f a n o 的编码方法，构造出从数学角度看来更为完美的 s h a n n o n f a n o e l i a s 编码。沿着这一编码方法的思路，1 9 7 6 年，j r j s s a n e n 提 2 出了一种可以成功地逼近信息熵极限的编码方法一算术编码。它利用任何一个 数据序列均可表示成0 和1 之间的一个间隔的特性进行编码，每个间隔的位置与数 据的概率分布有关，可以根据信源的统计特性，对未知概率模型的信源自适应地 配置其分布。1 9 8 2 年，r i s s a n e n 和g g l a n g d o n 一起改进了算术编码。之后， 人们又将算术编码与j g c l e a r y 干f l i h w i t t e n 于1 9 8 4 年提出的部分匹配预测模 型( p p m ) 相结合，开发出了压缩效果近乎完美的算、法【“ 。对于无损压缩而言， p p m 模型与算术编码相结合，已经可以最大程度地逼近信息熵的极限。虽然算术 编码虽然可以获得最短的编码长度，但其本身的复杂性也限制了算术编码的一些 应用。 目前，h u f f m a n 编码和算术编码已经被广泛用于各种图像压缩编码标准中， 对变换、预测编码之后的图像系数作进一步的编码。 1 2 5 新一代编码技术 其它的编码方法还有诸如予带编码、小波编码、分形编码与模型基编码等。 图像的子带编码借鉴于语音的子带编码，它将输入信号的频带用带通滤波器 分成若干连续的频段，称之为子带，对每个子带中的信号采用单独的编码方案去 编码。在信道上传送时，将每个子带的代码复合起来；译码时，对每个子带单独 译码，然后把它们组合起来，还原成原来的信号。 s h a p i r o 于1 9 9 3 年提出嵌入式零树小波编码( e z w ) 算法后【l 引，小波变换理论在 图像压缩领域的应用取得了重要突破。与f o u r i e r 分析相比，小波变换是时间和频 率的局域变换，能更加有效地提取信号和分析局部信号。利用小波变换可以一次 变换整幅图像，而且可以达到很高的压缩比。 分形编码是一种直接在空间域寻找并最大限度地利用图像的自相似性的编 码方法。分形用于图像编码比较有效的方法是1 9 8 4 年m f b a m s l e y 提出的迭代函 数系统i f s l l 6 l ，它把一幅图像分解为若干类景物的子图像，对每类子图像寻找出 一个分形算法，简称为i f s 码，使这组i f s 码所代表的分形图像在主观上与原始子 图像非常相似。由于i f s 码的信息量比原始图像要少得多，因而可以获得较高的 压缩比。 模型基图像编码 i7 j 首先由瑞典的f o r e h h e i m e r 等人于1 9 8 3 年提出，它不要求图 像信号一定具有自相似性可以用更普遍、更基本的基元如三角或椭圆来建立模 型。模型基图像编码第一类景物里的物体三维模型为严格已知，称为“语义基” 图像编码；第二类则是针对未知物体的模型基图像编码，需要实时构造物体的模 型，称为“物体基”图像编码。模型基编码的核心是对模型本身或模型参数进行 编码传输，如果模型足够好，对模型的描述又足够成熟，那么模型基编码就有很 强的可利用性。 以上所述的各种方法都能有效地消除冗余，因此在实用视频压缩标准中通常 采用多种方法结合的混合编码方案，以求达到最佳的编码效率。 1 3 视频压缩标准 1 _ 3 1h 2 6 1 1 1 8 1 h 2 6 1 是最早的运动图像压缩标准，它是i t u t 为在综合业务数字n q ( i s d n ) 上开展双向声像业务( 可视电话、视频会议) 而制定的，速率为px6 4 k b i t l s ( p 为 整数) 。当p 小于6 时，只能传输清晰度不太高的图像，可应用于电视电话；当 p 大于6 时，可以传输清晰度较好的图像，可适用于电视会议等。h 2 6 1 标准详 细制定了视频编码的各个部分，包括运动补偿的帧间预测、d c t 变换、量化、 熵编码，以及与固定速率的信道相适配的速率控制等部分。它只能处理c i f 和 q c i f 两种图像格式，每帧图像分成图像层、宏块组( g o b ) 层、宏块( m b ) 层、块 ( b l o c k ) 层来处理。 1 3 2m p e g l 1 9 m p e g l 可适用于不同带宽的设备，如c d r o m 、v i d e o c d 、c d i ，也可被 用于数字电话网络上的视频传输，如非对称数字用户线路( a d s l ) ，视频点播 ( v o d ) ，以及教育网络等。它的目的是把2 2 1 m b i t s 的n t s c 图像压缩到1 2 m b i t s ， 压缩率为2 0 0 ：1 ，这是图像压缩的工业认可标准。它可针对s i f 标准分辨率的 图像进行压缩，传输速率为1 5 m b i t s ，每秒播放3 0 帧。m p e g l 的编码速率最 高可达4 - 5 m b w s 。与h 2 6 1 相似，m p e g l 也采用运动补偿和二维d c t 变换， 对量化后的d c t 系数进行变长编码，而每个数据块的直流( d c ) 分量采用预测 差分编码方式。 1 3 3m p e g 2 h 2 6 2 1 2 0 1 m p e g 2 的视频编码部分即是h 2 6 2 。m p e g 2 的设计目标是高级工业标准的 图像质量以及更高的传输率。它除了作为d v d 的指定标准外，还可用于为广播、 有线电视网、电缆网络以及卫星直播提供广播级的数字视频。m p e g 2 所能提供 的传输率在3 m b 1 0 m b s 间，在n t s c 制式下的分辨率可达7 2 0 x 4 8 6 ，能够提供 广播级的图像质量。m p e g 2 的另一特点是，可提供一个较广范围的可变压缩比， 以适应不同的画面质量、存储容量以及带宽的要求，为此，m p e g 2 定义了不同 的p r o f i l e 和l e v e l ，并且根据不同的p r o f i l e 定义了不同的子集，而每个p r o f i l e 又 以l e v e l 来对编码参数作进一步的限制。m p e g 2 标准采用了半像素精度的运动矢 量搜索，引入了“帧”( f r a m e ) 和“场”( f i e l d ) 的编码方式，并且支持可分级 技术，其中包括空间可分级性、时间可分级性和信噪比可分级性等。 1 3 4h 2 6 3 t 2 1 1 h 2 6 3 是i t u t 为低于6 4 k b i t s 的窄带通信信道制定的视频编码标准，支持 用于视频会议和视频电话应用程序的视频压缩和解码。它是在h 2 6 1 基础上发展 起来的，其标准输入图像格式可以是s q c i r 、q c i f 、c i f 、4 c i f 或者1 6 c i f 的 彩色4 ：2 ：0 亚取样图像。h 2 6 3 与h 2 6 1 相比，采用了半像素运动补偿、无限 制的运动向量、基于语法的算术编码以及与m p e g 中的p b 帧一样的帧预测方 法等较先进的技术，从而达到了进一步降低码率和提高编码质量的目的。后来推 出的h 2 6 3 + 2 2 】和h 2 6 3 + + 标准扩充了h 2 6 3 的编码可选项，提供了更大的适用 范围。如h 2 6 3 + 标准允许更大范围的图像输入格式，自定义图像的尺寸，使之 可以处理基于视窗的计算机图像、更高帧频的图像序列及宽屏图像；而h 2 6 3 + + 在h 2 6 3 + 基础上增加了3 个选项，以增强码流在恶劣信道上的抗误码性能，同时 4 提高了编码效率。 1 3 5m p e g 4 1 2 3 1 m p e g 4 标准不仅针对一定比特率下的视频、音频编码，而且更加注重多媒 体系统的交互性和灵活性。它主要应用于可视电话、可视电子邮件等，对传输速 率要求较低，在4 8 6 4 k b i t s 之间。m p e g 4 利用很窄的带宽，通过帧重建技术、 数据压缩，以求用最少的数据获得最佳的图像质量。 m p e g 4 的最大特点是引入了“视频对象”( v i d e oo b j e c t ) 概念，可以动态地 侦测图像各个区域变化，基于对象地调整压缩方法，以获得比m p e g l 更大的压 缩比。与m p e g l 和m p e g 2 标准相比，除了传统的编码功能之外，m p e g 4 具备 了更多引人注目的功能，包括了有效压缩、对象内容的存取和可扩展性、空域和 时域的可扩展性以及强健的纠错能力等。 1 3 6h 2 6 4 a v c 【2 4 】 h 2 6 4 标准是由i t u t 和i s o 两个国际标准化组织的有关视频编码的专家联 合组制定的，以实现视频的高压缩比、高图像质量和良好的网络适应性为目标。 h 2 6 4 标准继承了h 2 6 3 和m p e g l 2 4 视频标准协议的优点，但它采用“回归基 本”的简洁设计，在结构上并没有变化，只是在各个主要的功能模块内部使用了 一些先进的技术，提高了编码效率2 5 1 1 2 6 1 1 2 7 】【2 8 】 2 9 l ；而且加强了对各种信道的适应 能力，采用“网络友好”的结构和语法，有利于对误码和丢包的处理；应用目标范 围较宽，可以满足不同速率、不同分辨率以及不同传输或存储场合的需求。 h 2 6 4 a 、，c 与之前的视频标准相比，具有以下几点特性： 1 和其他主流视频标准一样，h 2 6 4 也是采用基于块的混合编码模式，但h 2 6 4 在混合编码的框架下引入了新的编码方式，提高了编码效率，更贴近实际应用。 h ，2 6 4 没有繁琐的选项，而是力求“回归基本”，它具有比h 2 6 3 + + 更好的压缩性 能，又具有适应多种信道的能力。在图像质量相同的情况下，h 2 6 4 可以比h 2 6 3 和m p e g 4 节约5 0 的码率。 2 h 2 6 4 采用面向网络传输的结构和语法，通过引入面向口包交换的编码机制， 实现视频数据在网络中的分组传输，而且对不同的内容采用数据分割( d a t a p a r t i t i o n ) 技术来编码传输，从而满足各种不同速率、不同场合的视频应用。h 2 6 4 还具有较好的抗误码和抗丢包的处理能力，适用于干扰严重的无线信道视频传 输。 3 ，h 2 6 4 的基本框架( b a s e l i n ep r o f i l e ) 无需使用版权，具有开放的性质，能很 好地适应i p 和无线网络的使用，这对目前因特网传输多媒体信息、移动网中传 输宽带信息等都具有重要意义。 1 3 7a v s 3 0 a v s 是由我国自主制定的音视频编码技术标准，主要面向高清晰度电视、高 密度光存储媒体等应用，已于2 0 0 6 年初正式成为国家标准。a v s 标准以当前国 际上最先进的m p e g 4 和h 2 6 4 a v c 框架为基础，强调自主知识产权，同时充 分考虑了实现的复杂度。相对于h 2 6 4 ，a v s 的主要特点有：( 1 ) 8 x 8 的整数变换 与6 4 级量化；( 2 ) 亮度和色度帧内预测都是以8 x 8 块为单位，亮度块采用5 种预 测模式，色度块采用4 种预测模式；( 3 ) 采用1 6 x 1 6 、1 6 x 8 、8 x 1 6 和8 x 8 四神块 模式进行运动补偿；( 4 ) 在1 4 像素运动估计方面，采用不同的四抽头滤波器进行 半像素插值和l 4 像素插值；( 5 ) p 帧可以利用最多2 帧的前向参考帧，而b 帧采 用前后各一个参考帧。 1 4 编解码器实现方法 各种视频压缩技术都存在计算量很大的特点，因此视频压缩的实时实现成为 了重要的研究课题。一般编解码器的实现方式可分为专用芯片硬件实现和软件编 程实现。其中软件实现可基于p c 也可基于d s p 。 基于专用的a s i c 芯片实现可以获得很高的处理速度，因为芯片设计可以针 对专门的算法进行高度优化。但是，复杂的压缩算法导致开发难度较大，而且其 中有大量的专用模块，当算法需要修改时，便无法适应新的算法，只能重新设计。 更加灵活的方案是利用可编程多媒体d s p 处理器。在d s p 平台上进行视频 开发有以下几方面优势： 1 用户开发自由度更大，可以满足市场不断提出的新要求，在第一时间提升 产品性能。 2 d s p 处理能力强大，可以在一个d s p 上同时实现多路音视频信号的压缩 处理，还可提供很多视频专用功能，如视频滤波和o s d 功能等。 3 外围接口丰富，开发周期短，可实现快速技术更新和产品换代。 4 芯片功耗低，可以为提高产品的稳定性提供可靠的保障。 因此，使用d s p 来进行视频压缩已经成为流行的做法。研究者们提出了很多 视频标准的实现和优化方法，这些研究多数着眼于对编解码器性能的提升，但在 当今这个i t 产业迅猛发展的时代，如何提高开发效率也是十分重要的课题，而 设计一个基于d s p 的函数库，为开发人员提供一个方便而强有力的工具箱，不 失为提升效率的好方法。 1 5 全文结构安捧 本文为了完成当前主流视频编码标准在各个d s p 平台上的实现，建立了一个 多媒体处理库( m u l t i m e d i ap r o c e s s i n gl i b r a r y ) ，这个库为视频编解码提供了各 个层次上的基于d s p 的库函数。建立这个库的目的是为在d s p 上进行视频处理 应用的人员提供一系列使用便利而且高效的库函数，从而缩短开发周期，降低开 发成本。作者所做的主要工作是创建m m l 中的视频编码部分，首先根据各个视 频编码标准的具体特点对m m l 中的函数进行规划，即决定标准中的哪些功能模 块有必要被写进函数库中。在确定函数要实现的功能之后，分析并给出每个函数 的接口参数和返回值。最后用c 语言实现函数库中各个函数的功能。这些函数 经过在d s p 上的实现和优化，最终构成了可被用户直接调用的m m l 函数。并 且为了探索m m l 的可行性，用完成的m m l 中与h 2 6 4 解码相关的函数初步建 立了一个网络h 2 6 4 解码器。 全文内容共分为七章： 第一章绪论简要介绍了视频压缩编码的基本方法，以及主流视频编码标准的 发展及特点。 6 第二章主要介绍了m m l 视频处理部分的层次结构，并对各个层次中的函数 进行概略的说明。 第三章和第四章首先分别分析了m p e g 4 和h 2 6 4 标准的技术特点，然后对 m m l 的m p e g 4 和h 2 6 4 部分的库函数按照第二章中提到的层次划分原则进行 了详细的介绍。 第五章论述了m m l 函数在a d i 公司的b l a c k f i n 处理器和t i 公司的d m6 4 2 处理器上的优化方法，并给出了优化后的结果。 第六章利用m m l 中的函数和s o c k e t ，d i r e c t s h o w 等技术初步实现了一个网 络h 2 6 4 解码器。 第七章总结全文，并展望了迸一步的研究方向。 论文的主要成果有： 1 为便于开发调用，在对各视频标准进行仔细分析的基础上，提出了对m m l 库的分层实现的方法： 2 针对m p e g 4 和h 2 6 4 两个视频标准，用c 语言实现了m m l 中与其相关的各 个函数； 3 使用m m l 中的函数构建了一个简单的网络h 2 6 4 解码器。 第二章l v l i m i l 简介 上一章介绍的各种标准在各个领域发挥着重要的作用：m p e g l 和m p e g 2 分别作为v c d 和d v d 工业标准的核心走入了千家万户；h 2 6 3 以其良好的性能 服务于视频会议和可视电话；m p e g 4 和h 2 6 4 则因为低码率等优点，极有希望 在迅速发展的移动通信网中获得应用；而a v s 在正式成为中国音视频标准之后， 以其在专利方面的优势，相信能够有较广阔的应用前景。 计算机软硬件技术的进步推动着音视频标准朝着越来越复杂、运算量越来越 大的方向发展，这种趋势也为音视频处理的实时实现带来了越来越多的困难。算 法的复杂性对处理器提出了更高的要求，这也使得算法优化变得极为必要。而另 一方面，虽然各个标准都具有很强的灵活性以满足不同用户和环境的需要，但其 中都有相对固定的技术部分，以视频标准为例，复杂一些的如量化、变换和句法 元素编码等等，实现简单但运算量大的如s a d 计算和插值等等。基于这种现实， 可以建立一个函数库来将这些部分封装成为高效的功能模块，用户可以通过调用 库中的函数在不同的平台上实现这些功能。i n t e li p p 库就是一个最典型的例子。 i n t e l 推出的i n t e l 9i n t e g r a t e dp e r f o r l t l a n c ep r i m i t i v e s ( i n t e l 。i p p ) 是一套高度优 化的跨体系结构软件库，它为多媒体、音视频编解码、图像处理、信号处理、语 音压缩、密码技术、计算机视觉提供了大量的库函数。i n t e l i p p 针对大量的英 特尔微处理器进行过优化，如i n t e l 。奔腾4 处理器、采用i n t e l 曾迅驰1 1m ) 移动计算 技术的i n t e l 。奔腾。m 处理器组件、i n t e l 曾安腾2 处理器、i n t e l 至强( m 处理器以 及基于i n t e l 4 】) ( s c a l e 。技术的i n t e l 。p c a 应用处理器。通过采用一套跨各种体系结 构的通用a p i ，开发人员可以获得平台兼容性、降低开发成本并轻松移植应用 程序。 i p p 是针对i n t e l 系列处理器而开发的，适合用户在p c 上进行开发，但随着 d s p 技术的快速发展，很多硬件厂商都推出了便于多媒体应用的d s p 芯片，它 们一般都拥有功能灵活的指令集和丰富的存储器，非常适合嵌入式系统应用；然 而，嵌入式系统对实时性和功耗的要求很高，在其上实现多媒体实时处理也因此 变得极具挑战性。目前在各种不同平台上的视频编解码器优化研究工作已经取得 了很多成果。eg u e d i r i 等人对实时的视频编解码器优化可以采用的方法进行了 介绍j ，m t o y o k u r a 等人讨论了基于处理器指令的视频压缩优化通用方法【3 2 1 。 对于具体标准的编解码器优化，许多学者也针对不同的d s p 平台提出了多种算 法优化方案口3 j 3 4 j i ”j 。他们的研究大多着重于编解码器的整体实现，而本文将重 点放在建立一个基于d s p 的多媒体处理库m m l 来对