（信号与信息处理专业论文）基于双核dsp的mpeg4标清视频编码器的实现与优化.pdfVIP

南京邮电学院硕士研究生学位论文摘要 基于双核d s p 的m p e g 4 标清视频编码器的实现与优化 摘要 1 9 9 8 年1 1 月公布的m p e g 一4 标准是为交互式多媒体通信制定的压缩标准。本文主要 研究m p e g - 4 的视频编码算法在双核d s p 上的实现与优化。 同以前的视频编码一样，m p e g _ 4 视频编码也是采用基于块的变换编码和预测编码的 混合编码框架。m p e g - 4 中的变换编码、预测编码、变长编码等是视频编码中的关键技术， 这些技术对编码的实时实现、图像质量和比特率都有着重要的影响。本文的主要工作就是 研究m p e g - 4 视频编码器在a d i 公司的高速d s pb f 5 6 1 芯片上的实现与优化，尤其是对 标清电视格式( s d t v ) 视频的实时编码处理。 本文首先对m p e g - 4 视频编码标准进行分析和研究，熟悉并掌握其主要模块的编码原 理。其次，将m p e g - 4 编码程序移植到b f 5 6 1 开发板上并对其进行分析和测试。针对主 要模块在编码中的耗时比例，实现对编码器主要模块的优化。最后，针对b f 5 6 1 芯片的 结构特点调整视频编码器的流程，分别在单核与双核上实现与优化m p e g - 4 视频编码器。 实验结果表明，在单核基础上优化后的m p e g - 4 视频编码器，在保证图像质量和码率 的情况下，达到了实时编码c i f 格式视频序列的要求。而在双核基础上优化后的m p e g - 4 编码器在同等情况下可以达到d 1 视频格式实时编码的要求。 关键词：视频编码器，m p e g - 4 ，算法优化，a d s p b f 5 6 1 ，双核 南京邮电学院硕士研究生学位论文 摘要 t h eo p t i m i z e di m p l e m e n t a t i o no fs d t vm p e g - - 4v i d e o e n c o d e ro nt h ed u a lc o r e s d s p a b s t r a c t 1 1 1 em p e g - 4s t a n d a r di sa n n o u n c e di nj a n u a r yl9 9 8 i t sas t a n d a r df o rt h ei n t e r a c t i v e m u l t i m e d i ac o m m u n i c a t i o n t i l i sa r t i c l em a i n l ys t u d i e st h er e a l i z a t i o na n do p t i m i z a t i o no f m p e g - 4v i d e oc o d i n gp a r to nd o u b l ec o r e s d s p t h em p e g - 4v i d e oc o d i n gi sa l s oah y b r i dc o d e cf r a m e w o r kb a s e do nt h eb l o c kt r a n s f o r m c o d i n ga n dp r e d i c t i o nc o d i n g i t ss a m e 埘mb e f o r e h a n dv i d e oc o d i n g ，t h et r a n s f o r mc o d i n g ， p r e d i c t i o nc o d i n ga n dv a r i a b l e - l e n g t hc o d i n ga n ds oo na r ek e yt e c h n o l o g i e so ft h ev i d e o c o d i n g ，t h e s et e c h n o l o g i e sh a v et h ei m p o r t a n ti n f l u e n c e o l lt h er e a l t i m ec o d i n g ，p i c t u r eq u a l i t y a n db i tr a t e 1 k sa r t i c l e sp r i m et a s ki st os t u d yt h er e a l i z a t i o na n dt h eo p t i m i z a t i o no fm p e g - 4 v i d e oe n c o d e ro na d ic o r p o r a t i o n sh i g hs p e e dd s pb l a c k f m 5 61c h i p ，i np a r t i c u l a rt oa c h i e v e ar e a l - t i m ee n c o d e rf o rp r o c e s s i n gt h es d t vv i d e o f i r s t ，t h ea r t i c l ea n a l y s i sa n dr e s e a r c ht h em p e g 4v i d e oc o d i n gs t a n d a r d ，i sf a m i l i a r 谢m a n dg r a s p st h ec o d i n gp r i n c i p l eo ft h es t a n d a r d sm a i nm o d u l e n es e c o n d ，t h ea u t h o rt r a n s p l a n t s t h em p e g - 4c o d e dp r o g r a mt ob f - 5 61d e v e l o p sp a n e la n dc a r r i e st h ea n a l y s i sa n dt h et e s tt oi t , i nv i e wo ft h ec o n s u m e sp r o p o r t i o no fm a i nm o d u l e ，p r o p o s e sa n dr e a l i z e st h eo p t i m i z a t i o no f t h ee n c o d e r sm a i nm o d u l e a tt h el a s t ，t h ea u t h o rs e p a r a t e l yr e a l i z e sa n do p t i m i z e sm p e g 一4 v i d e oe n c o d e ro nt h es i n g l ec o r ea n dt h ed o u b l ec o r e sa c c o r d i n gt ot h eb f 一5 61u n i q u ef e a t u r e t h ee x p e r i m e n t a lr e s u l ti n d i c a t e dt h a tt h em p e g - 4v i d e oe n c o d e ro nt h es i n g l ec o r eo f b f 5 6 1c a nr e a l t i m ec o d ec i fv i d e os e q u e n c ei nt h eg u a r a n t e ep i c t u r eq u a l i t ya n di nt h ec o d e r a t es i t u a t i o n i nt h es a m el e v e ls i t u a t i o n ，t h em p e g - 4v i d e oe n c o d e ro nt h ed o u b l ec o r e si s p o s s i b l et or e a l - t i m ec o d ed lv i d e o s e q u e n c e k e yw o r d s ：v i d e oe n e o d e r , m p e g - 4 ，a l g o r i t h mo p t i m i z a t i o n , a d s p - b f 5 6 1 ，d u a lc o r e s l i 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：塑当趟壁日期：竺塑盏刍旦! l f 日 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：壶墨鸯抖坠 导师签名： 南京邮电大学硕士研究生学位论文 前言 箭孝 刖舌 近年来，随着因特网在全球范围的日益普及，移动通信的迅猛发展，网络传输带宽的 增长，产生了各种新兴多媒体业务，如视频会议、可视电话、高清晰度电视、视频点播、 视频检索、数字图书馆、远程医疗以及视频监控等，都向视频编解码技术提出了许多新的 要求，从而使视频编解码技术成为当今信息科学与技术的研究热点。 为此，n u - t 和i s o 先后制定了h 2 6 1 、h 2 6 3 、h 2 6 3 + 、h 2 6 3 + + 、m p e g 1 、m p e g - 2 、 m p e g - 4 等一系列视频压缩编码标准，基本上解决了中高码率信道上图像存储和传输的要 求。随后2 0 0 1 年n u t 和i s o i e c 成立了联合视频工作组，共同制定了最新的国际视频 压缩标准h 2 6 4 ，同时也是m p e g - 4v i s u a lp a r t1 0 。 虽然已经有更加先进的视频编码标准h 2 6 4 ，但是研究以前的视频编码标准比如 h 2 6 3 、m p e g - 4 等在各种平台上的实现还是十分有意义的。本文就是在a d i ( a n a l o g ) 公司 提供的平台上实现与优化m p e g - 4 视频编码器，此编码器可以实时编码4 c i f 格式视频， 满足大众对高质量视频的需求。 在现有的视频编解码系统中，人们通常采用以下方式来实现视频压缩算法： a ) 用纯硬件方式，如采用专用芯片来完成。这种方式实现的编解码系统实时性好， 压缩率高且图像质量好，但是编解码方案固定，无法对其进行升级与更新，并且系统成本 很高，难以在市场上推广。 b ) 用纯软件方式，如在通用的计算机上实现编解码算法。这种方式实现灵活，算法 易更新易升级，缺点是很多场合不适合使用计算机作为编解码平台，导致应用范围窄。 c ) 用高速视频d s p 芯片的软件实现。这种方式充分利用了d s p 的高速信号处理功能， 使用软件实现的算法程序在d s p 上运行，执行时间较短，可以获得较高的压缩性能，功耗 较小，同时方案易于升级与更新。 d ) 现在人们还采用一种新的编解码方式，采用d s p 与专用芯片的组合来实现编码系 统或解码系统。这种方式主要采用专用芯片来进行模块的并行处理，比如本身变化很小的 d c t 变换模块，其它则使用高速d s p 进行处理，这样比单纯使用d s p 处理速度更快，实 时性更好，也易于升级与更新。 a d i 公司的b l a e k t m 系列d s p 结合了双m a c 、正交r i s c 微处理指令集加上动态电 源管理部件以实现对处理器电压和频率的实时调整，从而使d s p 的功率消耗和处理性能的 实时性达到最优，非常适合于实时视频编解码器的开发应用，尤其是对功耗要求严格的无 线视频处理的应用场合。而a d s pb f 5 6 1 是其中的一款高性能的双核心处理器芯片，本文 1 南京邮电大学硕士研究生学位论文 前言 选择该芯片作为m p e g 4 编码器的开发平台。 本文主要工作如下： 1 ) 理解与研究m p e g - 4 视频编码标准。 2 ) 理解a d s pb f 5 6 1 芯片结构，在b f 5 6 1 平台上实现m p e g - 4 的编码算法。 3 ) 对m p e g - 4 进行结构优化和模块优化，提高了编码处理速率，实现其对c i f ( 3 5 2 x 2 8 8 ) 格式视频序列的实时编码。 4 ) 在a d s pb f 5 6 1 平台上实现m p e g - 4 基于双核处理的编码算法，进一步提高编码 处理速率，实现其对4 c i f ( 7 0 4 x 5 7 6 ) 格式视频序列的实时编码。 论文共分五章，各章的内容安排如下： 第一章，视频编码标准与常用d s p 简介，介绍视频编码技术的基本原理和方法，视频 编码的国际标准，常用高速视频处理d s p 。 第二章，单核m p e g - 4 算法的实现与优化，分析了a d s pb f 5 6 1 的指令特点、结构 特点以及v i s u a ld s p + + 开发环境，详细讨论了m p e g - 4 视频编码算法在单核上的实现与优 化。 第三章，双核m p e g - 4 算法的优化与嵌入式实现，分析了a d s pb f 5 6 1 双核之间的 同步与通信，详细讨论调整m p e g - 4 编码器的结构以实现在一个双核上运行的m p e g - 4 视 频编码器。并在嵌入式u c l i n u x 系统下实现。 第四章，实验结果分析，给出了m p e g - 4 基于a d s pb f 5 6 1 平台的单核编码优化结 果和双核编码优化结果。分析了单双核编码器的性能和双核编码器在嵌入式系统下的性 能。 第五章，总结和展望，总结本文所做工作，探讨本课题进一步研究与开发的方向。 南京邮电大学硕士研究生学位论文 第一章视频编码标准与通用d s p 简介 第一章视频编码标准与常用d s p 简介 当今时代，随着信息技术和计算机互联网的飞速发展，特别是随着i n t e m e t 和移动通 信的迅猛发展，视频信息和多媒体信息在i n t e m e t 和移动网络中的处理和传输技术成为了 当前我国信息化中的热点。众所周知，人类获取的信息中6 0 来自于视觉，视频信息在多 媒体信息中占有重要地位。同时视频数据冗余度最大，经压缩处理后的视频质量高低是决 定多媒体服务质量的关键因素。视频信息的信息量太大，要使得视频得到有效的应用，必 须首先解决视频压缩编码的问题，其次解决压缩后视频质量保证的问题。这两者是相互矛 盾、相互制约的两个方面。而视频编码的任务就是既要有较大的压缩比，又要保证一定的 视频质量。 视频压缩技术的实现方式比较多，有基于通用p c 机，有基于通用工控机，有基于嵌 入式工控机，有基于f p g a ，有基于d s p ，有基于专用压缩芯片。其中，基于d s p 平台处 理视频的优点是灵活性强，能满足对特殊视频格式和处理的需要，具有很好的可扩展性、 可升级性和易维护性，所以本文采用高速可编程d s p 方式来实现m p e g - 4 视频编码器。 本章的主要内容，首先介绍视频压缩编码的主要原理与方法。其次介绍已经面世的几 种主要视频压缩标准，最后介绍常用高速d s p 的特点和各主要厂家的d s p 产品。 1 1 视频编码的基本原理和方法 图像压缩编码是图像通信、数字电视、多媒体技术等发展信息高速公路的核心技术之 一。自从1 9 4 8 年o l i v e r 提出线性p c m 编码理论以来，图像压缩编码技术得到了迅 速的发展和广泛的应用，并日臻成熟。下面介绍视频编码的主要原理和方法。 1 1 1 视频编码的基本原理 图像压缩编码的目的就是要以尽量少的比特数表征图像，同时保持复原图像的质量， 使之符合特定应用场合的要求。图像的原始数据量因其非常庞大而难以传输与存储，极大 地制约了图像通信的发展，所以对图像的压缩编码是势在必行的。 图像压缩编码同通常的压缩算法一样都是基于两个方面进行的，一方面是无损压缩编 码，另一方面就是有损压缩编码。无损压缩编码是利用图像信号的统计性质来实现图像压 缩。比如图像在相邻像素间、相邻行间及相邻帧间均存在较强的相关性，依据信息论中信 息编码的原理，去除冗余度。而有损编码则是利用人眼的视觉特性来实现图像压缩。人类 南京邮电大学硕士研究生学位论文 第一章视频编码标准与通用d s p 简介 的眼睛对高频率的信号成分的视感度低，故在一定程度上压缩甚至去掉高频成分对人眼并 无太大影响。又色度信号的视感度低于亮度信号，故可对色度信号频带在行和列方向进行 压缩。 通过充分利用图像本身固有的统计特征和人眼的视觉特征，从空间域、频率域、时间 域三个途径来减少图像信息的冗余度并获得满意的主观质量，其基本原理框图如图1 1 所 示。 量化后 图1 1 图像压缩编码的基本原理 图1 1 表明图像处理的一般流程。首先进行映射变换，其目的是要通过变换改变图像 数据特性，使其更有利于进行压缩，即可去除图像空间域、频率域和时间域的冗余度，映 射变换实现了对图像信号的恰当表征。其次需进行量化，其目的是为了以后用有限数目的 比特数来表示变换后的数据，但是量化必然引入误差。人眼的视觉特性允许重建的图像有 一定的失真，但需仍能保持所需的图像质量。量化正是根据这一特性实现对变换后数据的 有限比特表示，即去除了图像的视觉冗余度。最后需进行编码器处理，即量化后的数据需 经过二进制编码最终生成码字输出，对每个量化级应该指定一个专门的码字，去除符号冗 余度达到最终视频编码的目的。 1 1 2 视频编码的主要方法 图1 1 表示图像压缩编码的基本原理主要分成三个部分：映射变换、量化器和编码器。 下面分别介绍这三个部分的主要编码方法： a 映射变换部分的主要编码方法有： 1 ) 预测编码：又称d p c m ( d i f f e r e n t i a lp u l s ec o d em o d u l a t i o n ) ，它可分为帧内预测 和帧间预测两种。帧内预测比如h 2 6 4 的9 种帧内预测模式。帧间预测，特别是已广泛采 用运动补偿技术的帧间预测，对于序列图像编码效果非常理想，且简单易于实现。 2 ) 变换编码：对变换域中的变换系数进行量化编码。如f o u r i e r 变换、d c t ( 离散余弦 变换) 、k l ( k a r h u n e n l e o v e ) 变换、子带编码以及近几年发展起来的小波编码均属于变换 南京邮电大学硕士研究生学位论文第一章视频编码标准与通用d s p 简介 编码。d c t 由于其性能接近k l 变换且具有快速算法而得到广泛使用，被几个国际标准采 纳。 3 ) 模型编码t 先对原始图像建立模型，然后求出模型参数并对模型参数进行量化编码。 利用模型编码可以大大提高压缩比，是图像编码中颇具发展前景的方法。 4 ) 分形编码：利用图像中存在的分形特征，即图像中存在的自相似性来进行图像表征。 b 量化部分的主要编码方法有： 1 ) 标量量化：标量量化是对映射变换后的数据逐个进行量化。 2 ) 矢量量化：矢量量化则是将数据成组地进行量化。矢量量化是根据s h a n n o n 率失真 理论而提出来的一种量化方法。在理论上，即使是对于无记忆信源，该方法也总是优于标 量量化。 c 编码器部分的主要编码方法有： 1 ) 游程编码( r u t v - l e n g t hc o d i n g ) ：像素的联合出现概率是表征给定图像的结构相关 性的重要指标。由此，可通过统计相同灰度像素段长度，称为一个游程，结合该灰度值即 可表征该像素段，这就是游程编码。由于其充分利用段像素本身相关性，从而减少了所需 比特数，达到压缩编码目的。 2 ) h u f f m a n 编码：该编码属于可变长编码。在可变长编码中，对于出现概率大的信息 符号编短码字，对于出现概率小的信息符号编长码字。如果码字长短严格按照符号概率大 小的相反顺序，则平均码字长度一定小于按照任何其他符号顺序排列方式得到的码字长 度。h u f f m a n 编码正是基于这种思想进行编码的，因此是可变长编码中的最佳方法，其平 均码长接近于信源的熵。 3 ) 算术编码：算术编码与h u f f m a n 编码在统计模型之间有一个很大的区别是算术编 码中使用了条件概率。算术编码总是能给出较好的压缩性能，同时还具有一阶自适应编码 的优点。它的编码效率要比h u f f m a n 编码的效率高，节省码字，但是h u f f m a n 编码相对容 易实现。 1 2 视频压缩的主要标准 自1 9 8 4 年c c i t t 公布了第一个视频编码国际标准以来，视频压缩编码技术得到了飞 速的发展。国际标准化组织( i s o i e c ) 和国际电信联盟( i t u t ) 制定了一系列国际视频 编码标准。视频编码标准的发展历程如图1 2 所示。 南京邮电大学硕士研究生学位论文第一章视频编码标准与通用d s p 简介 h 2 6 1h 2 6 l h 2 6 3 h 2 6 3 +h 2 6 3 + + ( v e r s i o n1 )( v e r s i o n2 ) i t u t ， m 【p e g h 2 6 2 h 2 6 4 标准 m p e g 2 咿e g 4a v c m 甲e g - 4 咿e g 1m p e g - 4 十m 商0 n 2 ( v e r s i o n1 ) iiii lii 1 9 8 81 9 9 0 1 9 9 21 9 9 41 9 9 61 9 9 8 2 0 0 02 0 0 22 0 0 4 图1 2 国际视频编码标准发展历程 1 2 1i s o i e c 编码标准 1 m p e g - 1 标准 m p e g - l 制定于1 9 9 2 年，它是将视频数据压缩成1 - 2 m b s 的标准数据流。m p e g 1 对动作不激烈的视频信号可获得较好的图像质量，但当动作激烈时，图像就会产生马赛克 现象。它没有定义用于额外数据流进行编码的格式，因此这种技术不能广泛推广。它主要 用于家用v c d ，它需要的存储空间比较大。 2 m p e g 2 标准 m p e g - 2 制定于1 9 9 4 年，是为高级工业标准的图像质量以及更高的传输率而设计， 为了力争获得更高的分辨率( 7 2 0 x 4 8 6 ) ，提供广播级视频和c d 级音频，它是高质量视频 音频编码标准。在常规电视的数字化、高清晰电视h d t v 、视频点播v o d ，交互式电视等 各个领域中都是核心技术之一。m p e g 2 编码码率从每秒3 兆比特1 0 0 兆比特，是广播 级质量的图像压缩标准，并具有c d 级的音质。m p e g 2 的音频编码可提供左、右、中及 两个环绕声道，以及一个加重低音声道，和多达7 个伴音声道。作为m p e g 1 的兼容性扩 展，m p e g 一2 支持隔行扫描视频格式和其它先进功能，可广泛应用在各种速率和各种分辨 率的场合。但是m p e g 2 标准数据量依然很大，不便存放和传输。 3 m p e g - 4 标准 m p e g - 4 是为交互式多媒体通讯制定的压缩标准。m p e g - 4 于1 9 9 8 年1 1 月公布，原 6 南京邮电大学硕士研究生学位论文第一章视频编码标准与通用d s p 简介 预计1 9 9 9 年1 月投入使用的国际标准m p e g 4 不仅是针对一定比特率下的视频、音频编 码，更加注重多媒体系统的交互性和灵活性。m p e g - 4 标准主要应用于视像电话( v i d e o p h o n e ) ，视像电子邮件( v i d e oe m a i l ) 和电子新闻( e l e c t r o n i cn e w s ) 等，其传输速率要求较低， 在4 8 0 0 6 4 0 0 0 b i t s s e e 之间，分辨率为1 7 6 x 1 4 4 。m p e g - 4 利用很窄的带宽，通过帧重建技 术，压缩和传输数据，以求得最少的数据获得最佳的图像质量。 m p e g - 4 支持对象型态编码及合成图像的压缩、适用于高阶交互功能与特殊视频制作、 容错性编码技术及细微式可调性编码技术，可适用于频宽变化剧烈的网络，更适于交互a v 服务以及远程监控。 m p e g - 4 的设计目标还有更广的适应性和可扩展性。m p e g 4 试图达到两个目标：一 是低比特率下的多媒体通信；二是多工业与多媒体通信的综合。据此目标，m p e g 4 引入 a v 对象( a u d i o v i s a u lo b j e c t s ) ，使得更多的交互操作成为可能。m p e g - 4 标准是面向对 象的压缩方式，根据图像内容，将其中的对象( 物体、人物、背景) 分离出来分别进行帧 内、帧间编码压缩，并允许在不同的对象之间灵活分配码率，对重要的对象分配较多的字 节，对次要的对象分配较少的字节，从而大大提高了压缩比，使其在较低的码率下获得较 好的效果。 1 2 2i t u t 编码标准 1 h 2 6 1 标准 i t u - t 于1 9 9 0 年公布的h 2 6 1 标准，最初是针对在i s d n 上实现电信会议应用特别是 面对面的可视电话和视频会议而设计的。实际的编码算法类似于m p e g 算法，但不能与后 者兼容。h 2 6 1 在实时编码时比m p e g 所占用的c p u 运算量少得多，此算法为了优化带宽 占用量，引进了在图像质量与运动幅度之间的平衡折中机制，也就是说，剧烈运动的图像 比相对静止的图像质量要差。因此这种方法是属于恒定码流可变质量编码而非恒定质量可 变码流编码。 2 h 2 6 3 标准 i t u t 于1 9 9 5 年7 月推出了低码率视频压缩编码的h 2 6 3 建议，并于1 9 9 6 完成了h 2 6 3 编码标准。h 2 6 3 使用户可以扩展带宽利用率，可以在低达1 2 8 k b p s 的速率上实现全运动 视频( 每秒3 0 帧) 的编码处理。h 2 6 3 以其灵活性、节省带宽和存储空间的特性，具有低投 入并可提供迅速的投资回报的特点。h 2 6 3 是为低达2 0 k 到2 4 k b p s 带宽传送视频流而开 发的，且基于h 2 6 1 编解码器来实现。但是，原则上它只需要一半的带宽就可取得与h 2 6 1 南京邮电大学硕士研究生学位论文 第一章视频编码标准与通用d s p 简介 同样的视频质量。h 2 6 3 具有灵活性、节省带宽和存储空间、安装方便、可方便的进行二 次开发等特点。h 2 6 3 与h 2 6 1 相比采用了半像素的运动补偿，并增加了可选的4 种有效 的压缩编码模式。 3 h 。2 6 3 + 标准 i t u t 在h 2 6 3 的基础上修订并发布了h 2 6 3 标准的版本2 ，非正式地命名为h 2 6 3 + 标准。它在保证原h 2 6 3 标准核心句法和语义不变的基础上，增加了若干选项以提高压缩 效率或改善某方面的功能。允许更大范围的图像输入格式，自定义图像的尺寸，从而拓宽 了标准使用的范围，使之可以处理基于视窗的计算机图像、更高帧频的图像序列及宽屏图 像。采用先进的帧内编码模式。增强的p b 帧模式改进了h 2 6 3 的不足，增强了帧间预测 的效果。去块效应滤波器提高了压缩效率。增加了时间分级、信噪比和空间分级，对在噪 声信道和存在大量包丢失的网络中传送视频信号很有意义。另外，片结构模式、参考帧选 择模式等都增强了视频传输的抗误码能力。 4 h 2 6 3 + + 标准 h 2 6 3 + + 在h 2 6 3 + 基础上增加了3 个选项，主要是为了增强码流在恶劣信道上的抗误 码性能，同时为了提高编码效率。这3 个选项为： ( 1 ) 选项u 一一称为增强型参考帧选择，它能够提供增强的编码效率和信道错误再生 能力( 特别是在包丢失的情形下) ，需要设计多缓冲区用于存贮多参考帧图像； ( 2 ) 选项v 一一称为数据分片，它能够提供增强型的抗误码能力( 特别是在传输过程中 本地数据被破坏的情况下) ，通过分离视频码流中d c t 的系数头和运动矢量数据，采用可 逆编码方式保护运动矢量； ( 3 ) 选项w 一在h 2 6 3 + 的码流中增加补充信息，保证增强型的反向兼容性，附加 信息包括：指示采用的定点i d c t 、图像信息和信息类型、任意的二进制数据、文本、重 复的图像头、交替的场指示、稀疏的参考帧识别。 5 h 2 6 4 标准 h 2 6 4 标准是由i t u - t 的v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 和i s o f i e c 的m p e g ( m o t i o n p i c t u r ee x p e r t sg r o u p ) 联合成立的“联合视频组 j v t ( j o i n tv i d e ot e a m ) 共同制定的新一代 视频编码标准，2 0 0 3 年3 月，公布了标准的最终草案，称作h 2 6 4 a v c 或m p e g - 4v i s u a lp a r t 1 0 。h 2 6 4 能提供比m p e g 4 和h 2 6 3 标准更高的压缩性能，使图像的数据量减少5 0 。对 网络传输具有更好的支持，引入了面向数据包编码。有利于将数据打包并在网络中传输。 具有较强的抗误码特性，以适应在噪声干扰大、丢包率高的无线信道中传输。对不同应用 的时延要求具有灵活的适应性。编码和解码复杂度具有可扩展性。 8 南京邮电大学硕士研究生学位论文第一章视频编码标准与通用d s p 简介 1 3m p e g 4 视频标准介绍 m p e g - 4 于1 9 9 9 年正式成为国际标准，与以前的m p e g 1 与m p e g 2 相比，更注重 多媒体的交互性和灵活性，可用于可视电话和视频会议等场合。m p e g 4 包含音视频对象 编码工具集和编码对象句法语言两个部分。 m p e g - 4 标准提供自然和合成的音频，视频以及基于图形对象的编码工具。m p e g 一4 标准由若干部分组成，主要部分为系统、音频和视频。m p e g - 4 码流主要包括基本码流和 系统流。下面分别介绍主要部分。 1 3 1 系统 m p e g - 4 系统把音视频对象及其组合复用成一个场景，提供与场景相互作用的工具， 使用户具有交互能力。图1 3 是其系统终端模型。 交互式音视频场景 t 合成显示 j ljljl r 对象场景a v 数据向上合流信息 s l 流 p s ls ls ls l jl 复用 t s ( u d p ) i p a t m 害害今复用流 传输存储介质 压缩层 同步层 传输层 图1 3m p e g - 4 终端模型 图1 3 表示了m p e g - 4 系统可分三个处理层次：压缩层，同步层和传输层。 a 压缩层，执行媒体编解码的系统组件。 b 同步层，负责各个压缩媒体的同步和缓冲。 - 9 南京邮电大学硕士研究生学位论文 第一章视频编码标准与通用d s p 简介 c 传输层，对已经存在的各种传输协议描述。 1 3 2 视频 m p e g 一4 支持对自然和合成视觉对象进行编码，合成的视觉对象包括2 d 、3 d 动画与 人面部表情动画等。对于静止图像，m p e g - 4 采用零树小波算法以提高压缩比，同时还提 供多达1 1 级的空间分辨率和质量的可伸缩性。对于运动视频对象的编码，m p e g - 4 采用图 1 4 所示编码图，以支持对对象的编码。 图1 4 m p e g - 4 视频编码图 图1 4 表示m p e g 4 编码视频帧的流程，这也是以后进行编码优化的基础。m p e g 4 视频编码部分采用许多以前没有使用到的技术，下面简要介绍这些技术。 a ) 高效的编码工具使得编码效率显著提高。比如d c a c 系数预测、无约束运动矢量、 子图形、全局运动补偿等。还有一系列工具用来增强压缩比特流对传输误差的复原能 力，这里不作多述。 b ) 基于视频对象( v 0 ) 的编码，在某一时刻出现的视频对象以v o p 的形式出现，编 南京邮电大学硕士研究生学位论文第一章视频编码标准与通用d s p 简介 码也主要针对这个时刻v o 的形状、运动、纹理这三类信息进行。 1 )形状编码，相对以前的标准而言，m p e g - 4 第一次引入了形状编码压缩算法。 运动估计与运动补偿，类似以前的标准，分三种帧格式：i 、p 、b ，m p e g - 4 也有 相应的三种帧格式：iv o p 、pv o p 、bv o p 。同以前的标准一样每个v o p 被分 成1 6 x 1 6 的宏块进行处理。 2 )纹理编码。纹理信息有两种：内部编码的iv o p 象素值和帧间编码的pv o p 、 bv o p 的运动估计残差值。m p e g 4 采用分块的纹理编码，v o p 边框仍然分为1 6 1 6 的宏块。 3 )分级扩展编码，m p e g - 4 一个重要的功能是利用v o l 结构来实现空域和时域 的分级扩展，这里不多做介绍。 1 4 常用d s p 简介 随着计算机及通信技术的发展，尤其是随着因特网与移动通信技术的发展，图像和视 频的应用越来越广泛，也就需要更好更快的对图像信号进行数字信号化处理。数字信号处 理器就是一类专门为数字信号处理任务而优化设计了体系结构和指令系统的通用处理器， 具有处理速度快和复合功能的单周期指令等特点，在高速数据处理中得到了越来越多的应 用。 1 4 1 适合媒体信息处理d s p 的特点 通用d s p 芯片内部一般都采用程序和数据分开存储和传输的哈佛结构，具有专门的 硬件乘法器，采用流水线操作，提供特殊的d s p 指令，可用来快速地实现各种数字信号处 理算法，加之集成电路的优化设计，使其处理速度比最快的c p u 还快1 0 - 5 0 倍。根据数 字信号处理的要求，一般d s p 芯片都具有如下的一些主要特点： 1 ) 在一个指令周期内可完成一次乘法和一次加法。 2 ) 程序和数据空间分开，可以同时访问指令和数据。 3 ) 片内具有快速r a m ，通常可通过独立的数据总线在程序空间和数据空间中同时访 问。 4 ) 具有低开销或无开销循环及跳转的硬件支持。 5 ) 快速的中断处理和硬件i o 支持。 6 ) 具有在单周期内操作的多个硬件地址产生器。 南京邮电大学硕士研究生学位论文 第一章视频编码标准与通用d s p 简介 7 ) 可以并行执行多个操作。 8 ) 支持流水线操作，使取指、译码和执行等操作可以重叠执行。 另外，为适合媒体通信要求，d s p 还应有如下特点： 1 ) 高集成度。应该包含p c i 总线和u s b 设备接口等。 2 ) 高性能。应该有一个能够配置为高速缓存器或s r a m 的一级存储器( 1 e v e lo n e m e m o r y ) 。片上存储器的使用能最大限度地减少了耗时耗能的片外存取操作。还要有足够 的数模变换器跟模数变换器之间的片上串行连接端口。 3 ) 增强的媒体指令。增强的媒体指令以n 倍于其他d s p 的性能对丰富的多媒体内容 进行处理，能够利用算术逻辑单元( a l u ) 实现在一个时钟周期内的多次算术运算。 4 ) 高效的功率管理。可以允许对电压和频率进行独立调整以最大限度地降低每个处 理任务所消耗的能量。 适合媒体信息处理的d s p ，必须要有更加强大的运算能力的支撑，才能满足媒体信息 系统的实时性要求。a d i 公司的b f 5 6 1d s p 就是能够很好满足媒体信息处理的高速d s p ， 它具有高集成度、高集成性，具有1 0 倍于其它d s p 的媒体指令，有高效地动态电源管理， 尤其是双核功能提供强大的处理能力。 1 4 2 适合视频处理d s p 的简介 目前在数字视频领域内，主要有以下一些d s p 厂商：t i 、a d i 、p h i l i p s 、被p i x e l w o r k s 收购的e q u a t o r 、c r a d l e 等等。各家厂商的d s p 都有其特点，以下分别以公司分类进行简 要的介绍： 1 t i 公司视频处理d s p 简介： t i 公司作为d s p 行业的龙头企业，其d s p 功能是十分强大的，其d s p 产品市场占有 率很高。t i 的t m s 3 2 0 d m 6 4 x 系列占据非常重要的地位。2 0 0 0 年，t i 推出针对数码相机 的专业图像处理系列d s p ：t m s 3 2 0 d s c 系列，被一些厂商应用于m o t i o nj p e g 的数字视 频算法中，随后1 r i 又推出t m s 3 2 0 d m 2 7 0 和t m s 3 2 0 d m 3 2 0 等在d s c 系列改进的产品， 在多媒体的便携式播放器上有很好的应用。而真正成为数字视频的里程碑式的产品则是 2 0 0 3 年1 1 发布的t m s 3 2 0 d m 6 4 x 系列的视频d s p 产品，该产品以t i 的c 6 4 x 为核心处 理器，以t m s 3 2 0 d m 6 4 2 为例，具有6 0 0 m h z 的处理能力，有3 个视频端口，带有p c i 和网络接口，该产品功耗低，因此产品一经面世得到了数字视频行业的强烈关注。2 0 0 4 年 下半年t m s 3 2 0 d m 6 4 2 开始批量供货，国内一些著名的视频监控厂商采用d m 6 4 2 推出更 新原来采用p n x l 3 0 0 系列的产品。另外，t i 还计划不断升级t m s 3 2 0 d m 6 4 x 的运算速度 1 2 南京邮电大学硕士研究生学位论文 第一章视频编码标准与通用d s p 简介 以及还将推出内嵌a r m 9 和c 6 4 x 的数字视频专用d s p 。 2 a d l 公司视频处理d s p 简介： 作为在d s p 领域内t i 的最大竞争对手，2 0 0 2 年a d i 公司推出了b l a c k f i n 系列d s p ， 其中的a d s pb f 5 3 5 是一款合适的数字视频应用的d s p 。a d s pb f 5 3 5 具有6 0 0 m h z 的 核内时钟，3 0 0 m h z 主频，一个v p 口，没有预览通道，接口资源也很丰富，b l a c k f i n 系列 的d s p 采用双m a c 的结构具有正交的类似r i s c 的微处理器指令集，单指令多数据和多 媒体操作都引入单指令结构。这样的d s p 芯片结构不但易于编程，可以快速的进行信号处 理和多媒体处理，而且可方便的扩展u s b 、p c ii o 、u 越玎、s p o r t 等接口，非常适合对 视频信号的读入，处理以及传输。a d i 最新的双核a d s pb f 5 6 1 也是专业视频处理d s p 领域内不容忽视的产品。但是相比较p h i l i p s 和t i ，a d i 的数字视频d s p 的劣势在于能够 支持b l a c k f m 的第三方算法太少。 3 p h i l i p s 公司视频处理d s p 简介： p h i l i p s 公司是最早开发视频d s p 的厂商之一，最早在1 9 9 6 年就推出了t r i m e d i a 系列 的第一款芯片t m 1 0 0 0 ，当时主要的定位是数字电视方面的产品，随后推出了t m 1 1 0 0 、 t m 1 3 0 0 、p n x 1 3 0 0 ( 刑1 3 0 0 改进版) 系列。虽然在数字电视方面没有取得很大的成功， 但是p n x - 1 3 0 0 系列芯片在视频监控产品中得到了大规模的应用，也算是无心插柳柳成荫。 随后p h i l i p s 推出p n x 1 5 0 0 系列，也同样在视频监控应用方面成为主流。p h i l i p s 公司推出 p n x l 7 0 0 系列。现在主流的p n x l 5 0 0 主流的3 0 0 m 内频，内部配有专门的媒体协处理器， 在p n x l 3 0 0 系列的基础上，解决了以前p n x l 3 0 0 系列中功耗过大的问题，增加了网络口， i d e 接口，提供了开发信息化家电和数字视频设备的主要接口，提供l e d 高分辨输出、高 清视频输出( 1 9 2 0 x 1 0 8 0 ) ，具有视频滤波和d e i n t e r l a c e 处理视频处理单元，可以作为2 d 图形加速器，内嵌看门狗并具有两个r e s e t 管脚。 4 e q u a t o r 公司视频处理d s p 介绍： 被p i x e l w o r k s 收购的e q u a t o r 公司，也是最早做数字视频领域内的专业d s p 厂商， e q u a t o r 最先推出的m a p c a 及随后推出的b s p 1 5 系列产品，在会议电视领域和数字基顶 盒领域都得到很好应用，由于是专业的视频d s p 厂商，e q u a t o r 的产品也非常具有特点， 以b s p 一1 5 为例：该芯片最高可达到4 0 0 m