（通信与信息系统专业论文）基于dsp的h264算法实现及应用.pdf

捅要 信息技术发展日新月异，人们对多媒体应用的需求也变得越来越大，网络视 频通信正成为现在人们日常交流通信的重要方式。h 2 6 4 视频编解码标准以其高效 的压缩性能，良好的图象质量，更好的网络友好性和较好的抗误码性能，现已广 泛应用于互联网视频压缩传输方面的应用。 h 2 6 4 在技术上集合了以往各标准的优点，在细节处理方面更是引入了许多新 的算法，如多模式运动估计、帧内预测、变长编码、4 x 4 二维整数变换等。因此 h 2 6 4 在编码质量和压缩比上比原有的视频编码标准都有了明显的提高，在相同的 视觉感知质量上，编码效率比h 2 6 3 ，m p e g 2 和m p e g - 4 提高了5 0 左右。但 是h 2 6 4 在大幅度提高性能的同时也大大地增加计算复杂度，这就给硬件设计和 实现带来了很大的难度。 在众多的h 2 6 4 算法的实现方案中，使用d s p 芯片进行处理是目前比较常用 的方案，d s p 芯片采用改进的哈佛结构总线，内部有乘法器、累加器，采用流水 线结构，具有良好的并行性，并有专门适合数字信号处理的指令系统，使得d s p 在视频处理方面具有较大的优势。 本文详细介绍了h 2 6 4 编解码算法，d s p 的芯片架构，以及实时传输协议( r t p ) 。 采用t i 的t m s 3 2 0 d m 6 4 6 7 芯片进行开发，实现了h 2 6 4 视频编解码算法，以及 编码后码流的网络传输功能。能够将1 0 8 0 p 输入的视频编码压缩成d l 3 0 帧输出， 并通过r t p 协议进行打包发送给p c 端。对原始的算法代码进行了优化，使得编 码时在c p u 使用率降低的同时提高了编码实时性。 关键词：视频编解码 h 2 6 4d s pr t p a b s t r a c t i n f o r m a t i o nt e c h n o l o g yi sd e v e l o p i n gr a p i d l y , t h en e e d so fm u l t i m e d i aa p p l i c a t i o n s b e c o m em o r ea n dm o r e ，n o wt h ev i d e ot r a n s m i s s i o nw i t hn e t w o r ki st h ei m p o r t a n tw a y o ft h ep e o p l ed a i l yc o m m u n i c a t i o n h 2 6 4h a sb e e nw i d e l yu s e di nn e t w o r kv i d e o c o m p r e s s i o nf o ri t sh i l 曲c o m p r e s s i o nr a t i o ，g o o di m a g eq u a l i t ya n dt h ea d v a n t a g e so f n e t w o r kf r i e n d l ya n dh i g he f f i c i e n c yo fr e s i s te r r o rc o d i n g h 2 6 4h a st h ea d v a n t a g e so ft h ep a s tv i d e oc o m p r e s ss t a n d a r d s ，i m p o r t e dm a n y n e wa l g o r i t h mi nt h ed e t a i lp r o c e s s i n g ，l i k et h em u l t i - m o d em o t i o ne s t i m a t i o n ，i n t r a p r e d i c t i o n ，f l e x i b l el e n g t hc o d i n gb a s e do nt h ei m a g ec o n t e n t , 4 x 4t w o - d i m e n s i o n t r a n s f o r m ，a n ds o o n t h eh 2 6 4 sc o m p r e s s i o nr a t i oa n d c o d eq u a l i t yh a sb e e n s i g n i f i c a n t l yi m p r o v e d w i t ht h es i m i l a ri m a g eq u a l i t y , t h ec o d i n ge f f i c i e n c yo fh 2 6 4 h a sb e e nr a i s e db y5 0 c o m p a r e dw i t hh 2 6 3 m p e g 一2 m p e g - 4 h o w e v e r , h 2 6 4 g r e a t l yi m p r o v et h ep e r f o r m a n c em e a n w h i l eg r e a t l yi n c r e a s e t h ec o m p u t a t i o n a l c o m p l e x i t y , t h i sb r o u g h tg r e a td i f f i c u l tt ot h eh a r d w a r ed e s i g n t h e r ea l em a n yi m p l e m e n t a t i o ns c h e m eo ft h eh 2 6 4a l g o r i t h m , u s ed s pi st h e m o s tc o n l h l o ns o l u t i o nm e t h o d t h ed s pu s i n gt h ei m p r o v e dh a r v a r ds t r u c t u r e ， h a s m u l t i p l i e r , a c c u m u l a t o r s ，a s s e m b l y l i n e s t r u c t u r e ，g o o dp a r a l l e l ，a n d h a st h e i n s t r u c t i o ns y s t e mf o rd i g i t a ls i g n a lp r o c e s s i n g ，m a k ed s ph a sm a n ya d v a n t a g e si nv i d e o p r o c e s s i n g t h i sp a p e ri n t r o d u c e st h eh 2 6 4a l g o r i t h m ，d s pa r c h i t e c t u r e ，a n dt h er e a l - t i m e t r a n s f e rp r o t o c 0 1 u s et m s 3 2 0 d m 6 4 6 7c h i p sf o rd e v e l o p m e n t , r e a l i z a t i o nt h eh 2 6 4 a l g o r i t h ma n dn e t w o r kt r a n s m i s s i o nf u n c t i o n c a nc o m p r e s s10 8 0 pi n p u tv i d e oi n t ot h e d 1 3 0 f p so u t p u t ，a n dn e t w o r kr e a l - t i m et r a n s m i s s i o nw i t hr t p o p t i m i z a t i o no ft h e o r i g i n a la l g o r i t h mc o d e ，i m p r o v et h ea l g o r i t h m r e a l - t i m ew i t ht h el o w e rc p u u t i l i z a t i o n k e y w o r d ：v e d i oc o d e c h 2 6 4d s pr t p 第一章绪论 第一章绪论 随着科学技术的不断发展进步，人类对信息的需求越来越丰富，对科技产品 的依赖也越来越大，希望随时随地都能能够方便、快捷、灵活地通过数据、语音、 图像和视频等多种方式进行及时通信。多媒体通信逐渐成为人们日常生活中交往 的一种重要的方式。随着3 g 网络的发展，这种需求越来越大，视频以其直观性， 确切性，高效性，广泛性等等使得在各个领域中的运用越来越多，但是视频通信 所需要的信息量往往非常大。数字化的信息，尤其是数字化后的视频和音频信息， 具有数据海量性的特点，这给信息的存储和传输造成很大的困难也是现在主要的 研究方向之一。 在信息发达的今天，你可以在许多应用领域多媒体传输的应用，多媒体传输几 乎应用于各个行业。例如，可视电话、数字电视、遥感照片、会议电视、军事侦 察图像和传真照片等等，大量的图像视频数据传输业务几乎涉及各个行业。由于 图像视频数字化以后的数据量非常庞大，在传输、存储以及各种处理加工过程中 围绕这种瓶颈都遇到了许多问题。 但经过多年的研究和积累，目前的视频编解码标准体系和理论已经比较成熟。 随着硬件和网络的发展，还有许多不同的应用场景和难题需要我们解决，这就要 求我们不断的对现有的技术和标准进行扩展和改进，以满足日益更新的需求。本 文对目前国际上最流行的视频编解码标准h 2 6 4 进行分析与实现，本章介绍视频 编码标准的发展状况、实现方法和本文的研究内容及章节安排。 1 1 视频压缩算法背景 国际上视频编码技术的主导以及标准的指定组织主要为国际电信联盟兀u t 【6 j 和国际化标准组织i s o i e c 。i t u - t 的h 2 6 x 系列主要面向视频会议和视频电话等 实时视频通信，而m p e g 标准主要面向于视频存储、广播视频等服务。除r r u - t 和i s o i e c 外，目前流行的视频压缩标准还包括r e a l 公司的r m 、m i c r o s o r 公司 的v c i ( w m v 9 ) 和r m v b 以及o n 2 的v p 系列等。但技术实现方面，现有的视频 压缩编码采用的技术框架基本一致，区别仅在于技术细节实现的方式及模式不同。 国际视频压缩标准的演进过程如图1 i 所示。 2 基于d s p 的h 2 6 4 算法实现及应用 图1 1 国内外视频压缩算法演进图 国际主流的视频编码技术在技术实现方面，已发布的视频压缩编码采用的技术 框架基本一致，区别仅在于技术细节实现的方式、复杂度及模式的不同。目前， 己发布的视频编码国际标准中，最新标准为t 发布的h 2 6 4 。广播和视频通信 中常用的视频压缩标准为m p e g 2 、m p e g 4 和h 2 6 4 ，以及国标a v s ，网络多媒体 中常用的视频压缩标准为r m 和r m v b ，相关主流视频编解码技术列表如表1 1 所示。 表1 1 主流视频编解码技术 标准名称发布机构发布时间主要应用 h 2 6 31 1 r 【j t 1 9 9 6 桌面可视电话、移动视频通信等 数字电视、d v d 、高清晰度电视、有线电视及卫星 m p e g 2i s o c 1 9 9 6 电视、视翱点播等 i p 网络视频会议、交互式视频通信、便携式视频通 m p e ( mi s o ，m c1 9 9 9 信终端、专业视颁等 j 、，t ( i s o i e c ) 有线电视、无线视频通信、包基网络的视频流传输 h 2 6 42 0 0 3 、i p 视频会议系统、光盘存储、高质量视频编解码 & i t u t 系统、多摸体觚件等 r m r e a l n e t w o r k s 1 9 9 7 i 强彻2 0 0 0 包基网络的视频流传输、流媒体传输等 w m v ( v c - m i c r o s o t ：t2 0 0 6 i p t v 、混合电视以及消费类电子等 v p 8 o n 2 ( g o o g l e ) 2 0 0 8 i f t v 、网络多媒体等 国家标准化管i p t v 、高清晰度电视、有线电视及卫星电视、视频 a v s2 0 0 6 理岙员会点播筹 1 2 视频编码简介 1 2 1 视频编码原理 视频编码的目的就是去相关，实现对视频的压缩。通过减少视频序列间的相关 性，降低视频序列内容中的冗余，通过较少的比特数来表示视频内容，最终实现 对视频的压缩。视频序列中冗余主要表现在以下几个方面： 。空间冗余 匾 第一章绪论 。 时间冗余 编码冗余 。人眼视觉冗余 结构冗余和知识冗余 在同一帧画面中，邻近的像素之间存在很强的相关性，尤其是位于同一个视频 对象中的相邻位置时，相关性极强，这就是常说的空间冗余。而对于连续帧在时 间是连续的，对于运动缓慢的图象，位置的变换很小，此时视频序列在时域上存 在较强的相关性。对于编码符号，若编码的平均码长高于所表示信息的信息熵， 这个差值就形成了编码冗余。编码冗余、空间冗余和时间冗余都依赖于图像数据 的统计特性，可以统称为统计冗余。 人眼视觉冗余，是由于人眼对于某些空间频率感觉迟钝，因而不同视频频率成 分的内容对于人眼系统而言其重要性是不同的，也叫频域冗余。譬如人眼对于的 亮度信号的敏感性高于对色度信号的敏感性。结构冗余是由于图像的某些区域存 在非常强的纹理结构，图像像素值有特征明显的分布模式，这就形成结构冗余。 或者图像中包含的信息与某些先验知识有关，例如人的五官位置对于人脸而言就 是一种先验知识，这种冗余构成知识冗余。 1 2 2 视频编码实现的主要方法 信源编码的方法根据压缩数据能否被准确解压缩出来而分为两大类：无损编码 和有损编码。虽然无损编码可以无失真的恢复获得原始数据，但其压缩效率很低。 因此在大部分视频压缩中都是将无损编码和有损编码结合使用。视频编码中主要 压缩技术有以下几种。 。变换编码【l j 变换编码主要是用来消除图像的频域( 变换域) 冗余。正交变换编码通常是将空 域相关的像素点映射到另一个正交矢量空间，使得变换后的系数之间相关性降低。 常见的正交变换有，k - l ( k a r h u n e n l o c v e ) 变换、离散傅立叶变换d f r ( d i s c r e t e f o u r i e rt r a n s f o r m ) 、离散余弦变换d c t ( d i s c r e t e c o s i n et r a n s f o r m ) ，沃尔什哈达玛 ( w a l s h - h a d a m a r d ) 变换和哈尔( h a r t ) 变换。k - l 变换是均方误差准则下的最优变换， 但实现困难。在现行视频编码标准中几乎都采用了性能最接近k - l 变换的d c t 。 变换编码除了采用正交变换编码外，还有子带编码和小波编码。由于正交变换 编码使得图像的能量集中在低频区域，表示图像中缓慢变化的内容，而图像的边 缘、细微的纹理等细节部分集中在变换域的高频区。为了实现压缩，通常采用同 一个量化器进行量化，这样就牺牲了图像的细节部分，造成解码图像模糊。在高 压缩比时，基于块的正交变换编码还会产生块效应( b l o c ke f f e c t ) ，降低图像质量。 而子带编码则是将图像分裂成几个不同频段的子带( s u b - b a n d ) ，对不同的子带设计 4 基于d s p 的h 2 6 4 算法实现及应用 不同的编码参数，提高图像质量。小波多换编码充分的利用了小波分析在时域和 频域同时具有良好的局部化特性，与人昨视觉特性相符的多分辨率能力，分解系 数分布平稳，自然分级的金字塔式数据结构等优点，在视频压缩领域引起广泛的 关注。它利用与正交分解完全不同的小波分解，以原始图像( 不是原始图像中的块) 为初值，不断的将上一级图像分解为4 个子带：上一级图像中的低频信息、垂直 方向、水平方向和对角线方向的边缘信息。从多分辨率分析出发，一般每次只对 上一级的低频子图图像进行分解。将整个图像而非其中的块作为整体进行传送， 因此不会产生块效应。由于小波变换的金字塔式数据结构的每一层都包含整个图 像的信息，只是其中的分辨率不同，因此可以选择传送部分或全部，非常简单， 自然的实现可分级视频编码。 。 预测编码【1 j 预测编码是通过使用当前帧或者相邻帧中的像素值来预测当前编码的象素值， 然后对预测残差进行量化和编码。这种编码方法就是利用了图象的空间冗余和时 间冗余的特征。线性预测编码又称为差分脉冲编码调制d p c m ( d i f f e r e n t i a lp u l s e c o d em o d u l a t i o n ) ，其优点是算法简单，易于硬件实现。帧间预测编码的主要方法 有帧重复法、帧内插法和运动补偿法等。其中运动补偿法在视频编码中使用的最 为广泛。运动补偿预测通常可以采用单向预测( 一个参考帧) ，双向预测( 两个参考 帧) 和插值预测( 取两个参考帧预测值的平均) 来实现。由于运动补偿预测可以有效 的减少视频序列的时域冗余，因此成为构成当前主要视频编码标准最基本的技术 之一。 统计编码【l 】 根据香农信息论的观点，信源冗余度来自信源本身的相关性和信源内部事件概 率分布的不均匀性。统计编码主要有基于概率分布特性的霍夫曼编码和算术编码， 以及基于相关性的游程长度编码三类。 霍夫曼编码( h u f f m a nc o d i n g ) 是一种变长编码v l c ( v a r i a b l el e n g t hc o d i n g ) 。霍 夫曼编码将信源符号按概率大小重新排序，通过二叉树算法，依次将两个概率最 小的节点合并，直至根结点。完成树的构造后，给所有的树枝分配0 和l ，这样 就可以给高概率符号分配短码，而概率小的符号则分配较长的码字，去除符号间 的统计冗余。在已知信源符号概率时，可以给出极好的编码性能。但霍夫曼编码 严重依赖信源的统计特性，编码前必须有信源概率分布的先验知识。对于复杂的 视频来说，只能用对大量数据统计后获得的近似分布来代替，因此实际应用时无 法达到最佳性能。另一方面v l c 提高了编码效率，但不利于硬件实现。游程长度 编码r l c ( r u n - l e n g t hc o d i n g ) 是将符号值相同的连续符号串用一个游程长度和一 个代表值描述。这样可以用更紧密的序列代替原有的相同值符号串。在视频压缩 中，量化后的数据常常出现大量的连零系数，利用游程长度编码可以有效的降低 第一章绪论 5 表示零码的比特数。 算术编码( a r i t h m e t i cc o d i n g ) 是2 0 世纪8 0 年代发展起来的，理论上，算术编 码和霍夫曼编一码都是最佳的，但在信源概率分布未知的情况下，算术编码优于 霍夫曼编码。算术编码的基本原理是用【0 ，l 】之间的一个概率区间来表示数据序列。 将信源x 的一个给定状态x = x l ，x n 与 0 ，l 】间的一个由大概率p 和小概率q 限 定的概率子区间相联系，区间的长度等于序列的概率p ( x ) 。编码器从n = l 开始， 逐位的处理输入的符号流。每输入一位，更新当前符号的条件概率，并以此调整p 和q 限定的概率子区间。随着n 的增加，和输入符号序列相联系的概率子区间就 变得越来越小。最后用这个表示概率子区间的小数给符号序列编码。 - 分形编码和模型基编码 本文的主要集中于基于块匹配的编码框架中，因此分形编码和模型基编码超出 了本文的讨论范围，不做详细叙述。 1 2 3h 2 6 4 算法的优势 常用的视频压缩编解码公开算法主要为m p e g 2 、m p e g 4 和h 2 6 4 三种， m p e g 2 为上一代视频压缩编码标准，但由于其商业运作非常成功，这一标准对应 的产品至今仍占据大量市场。m p e g 4 和h 2 6 4 是当前应用中最为活跃的标准， h 2 6 4 可视为m p e g 4 的升级版本，在i s o i e c 公开发布的视频压缩体系中，作为 m p e g 4 的第1 0 部分出现。 h 2 6 4 在标准m p e g 4 的基础上增加了帧内空域预测、1 4 像素精度运动估计、 变块大小运动估计、多帧参考、环内滤波、加权预测、算数编码等复杂运算，通 过这些复杂运算h 2 6 4 可进一步提升压缩性能，但同时计算复杂度也成倍地增加。 新一代的视频编码标准h 2 6 4 具有较佳的编码效率和压缩效率，其基本框架和 已有的视频编码标准类似，但它包含很多独特的技术特征，对多媒体通信发展和 新一代的网络业务有着重要的意义。 与之前的视频标准相比，h 2 6 4 的重要优势归纳如下： 1 ) 具有较高的压缩性能。相对于h 2 6 3 和m p e g - 4 ，视频压缩比提高了一倍。 2 ) 较高质量的视频图像。h 2 6 4 协议能够在各种情况下提供了稳定的视频质量， 尤其是在低比特率的情况下，也能保持较高的图像质量。 3 ) 良好的灵活性和适应性。为了满足灵活性和适用性的要求，h 2 6 4 a v c 的设 计包含了视频编码层( v i d e oc o d i n gl a y e r ，v c l ) 和网络抽象层( n e t w o r ka b s t r a c t l a y e r ，t q a l ) 。v c l 负责压缩视频内容，n a l 以适应各种传输网络和存储介 质的方式将v c l 的输出格式化，并加上头信息。 4 ) 良好的抗误码性能。h 2 6 4 增加了许多在网络传输中发生差错和丢包时能够恢 复视频质量的算法设计，如灵活的宏块顺序( f m o ) 、冗余片和数据分割等，对 6 基于d s p 的h 2 6 4 算法实现及应用 于丢失的信息提供了错误掩盖的工具。 5 ) 应用领域广泛。h 2 6 4 a v c 的技术设计方案面向至少以下几个应用领域：各种 网络上的广播；在光磁设备、d v d 上的交互式或连续式存储；在i s d n 、以 太网、局域网，无线和移动网络上的传统服务；在各种网络上的视频点播或流 媒体服务；在各种网络上的多媒体信息服务( m m s ) 。除此之外，更多新的应用 会建立在已有和将有的网络之上。2 0 0 5 年3 月提出了h 2 6 4 的f r e x t ( f i d e l i t y r a n g ee x t e n s i o n ) 修订案。该修订案根据娱乐业应用的实际要求，在复杂度可接 受的前提下，增加对高分辨率的支持，在原有的三个档次( b a s e l i n ep r o f i l e ，m a i n p r o f i l e 和e x t e n d e dp r o f i l e ) 的基础上，新增加了面向高清应用的h i g hp r o f i l e ， 使h 2 6 4 标准能够适用于高清电视一类的应用。 在诸多视频编解码实现方案中，可根据实际应用场景和软硬件及性能需求的不 同，选用不同的算法。目前业界最常用的算法仍为m p e g 4 和h 2 6 4 两类算法，介 于h 2 6 4 的众多优势，因此本文选用目前最流行的h 2 6 4 算法进行深入分析。 1 3 基于d s p 的h 2 6 4 算法实现方案 视频编解码d s p 主要面向工业监控领域，主要的几大厂商为德州仪器( t d 、亚 德诺( a d ) 、恩智浦( n x p ，飞利浦旗下半导体公司) 和飞思卡尔( f r e e s c a l e ) ，在技术 更新速度、成熟度、市场推广方面，t i 公司的d s p 都领先于其他厂商。 以往的多媒体处理d s p 通常依靠处理器的高主频、多指令多数据架构提高整 体计算性能，但由于h 2 6 4 的复杂度相对于以往d s p 有大幅度提升，通用的指令 或者多媒体加速指令已经不能满足实时编码的要求。近几年的多媒体处理d s p 都 采用“主处理器+ 协处理器”的架构，其核心思想与专用芯片一致，主处理器完成 视频编解码配置、操作系统和外围接口的配置工作，协处理器完成专用的视频编 解码功能。 d s p 处理方案中，多媒体处理d s p 可以单片完成视频压缩编码功能，同时， d s p 支持丰富的外围接口，方便系统集成，其方案框图如图1 2 所示。 图1 2 d s p 方案框图 第一章绪论 7 d s p 处理器功能强、性能可靠。近几年发布的多媒体处理器趋势为高清、高速、 高集成度。通过在d s p 内部集成专用电路的视频编解码协处理器，多媒体处理d s p 在高清视频编解码方面表现突出，视频编解码的性能已经赶超专用芯片。已经实 现单芯片高清编解码。多媒体d s p 的集成度高，外部只需挂载d d r i i 芯片即可完 成视频编解码功能。d s p 外围接口丰富，可根据需求配置相关接口参数，工业中 常用的接口d s p 基本都可以支持。芯片等级相对较高。目前t i 的高性能d s p d m 6 4 6 7 已经有宽工业级芯片供货，其稳定性和可靠性相对于工业级芯片有更进一 步的提升，开发方案的成熟度高。但是高性能d s p 的功耗比较大，d m 6 4 6 7 在编 一路高清视频时，整板功耗大约在2 5 w 左右。d s p 视频编解码方案需要开发者除 视频编解码理论基础外还需要有一定的项目开发经验，就t id s p 来说，需要开发 者熟悉一整套的开发平台、标准参考框架、操作系统的使用等，开发的难度相对 于芯片难度比较大。 现在使用较多的t id a v i n c i 视频编解码芯片有d m 6 4 6 7 、d m 3 6 5 、d m 3 6 8 等 芯片，最大能支持1 9 2 0 x 1 0 8 0 6 0 f p s 编解码要求，都支持h 2 6 4 的基本、主要和 扩张档次。基于以上所述的d s p 在视频处理方面的优势，本文所设计的硬件系统 是选用t i 公司的t m s 3 2 0 d m 6 4 6 7 芯片搭建的。 1 4 本文研究内容 本文简要介绍了视频压缩编码国内外发展的现状，以及各种视频编解码的软硬 件实现方案，对比各种编解码算法和实现方案的利弊，提出了h 2 6 4 a v c 视频压 缩编解码的标准和d s p 硬件实现的方案组合。深入研究h 2 6 4 a v c 视频编解码算 法，以及d s p 的视频编解码实现方案，独立完成了d s p 上的h 2 6 4 的算法实现， 实现本地自编自解以及网络r t p 协议传输的功能，具有良好的工程实践性。 本文结构安排如下： 第一章主要对现有的视频编码标准发展现状及现在主流的视频编解码硬件实 现方案进行了介绍，简单概括了图像压缩编码的原理及方法和各方案的优缺点， 提出本文的软硬件实现方案，并介绍了作者所完成的主要工作。 第二章介绍了h 2 6 4 a v c 视频编解码的国际标准，详述了h 2 6 4 a v c 视频编 解码器的基本结构和技术亮点，以及h 2 6 4 a v c 的关键技术等。 第三章对本文使用的t it m s 3 2 0 d m 6 4 6 7 芯片进行了介绍，详细描述了d a v i n c i 系列的芯片的架构、指令集、处理器、寄存器和中断等内容，使读者对d s p 的视 频算法实现的硬件技术有个感性的认识。 第四章是关于本次设计的软硬件实现部分，介绍了硬件实现平台，以及软件平 台和设计方法，介绍了r t p 协议的打包方法，以及算法部分的优化方法。实现了 8 基于d s p 的h 2 6 4 算法实现及应用 项目的初期目标，完成了d s p 上的h 2 6 4 视频编解码以及网络传输功能。 第五章是结束语。 第二章h 2 6 4 视频编解码标准 9 第二章h 2 6 4 视频编解码标准 1 9 9 6 年r r u t 在初步完成了h 2 6 3 视频编码国际标准的制定工作后，确定了 近期和长期的这两个目标。近期目标是用于进一步扩展和增加h 2 6 3 标准的特色， 增强低比特率编码的能力，并产生了h 2 6 3 的增强版，即h 2 6 3 + 和h 2 6 3 + + 。长 期目标是制定一种新的视频编码标准，用更好的质量和更高的压缩比支持视频会 议等低比特率的应用，并由此产生了h 2 6 l 草案。2 0 0 1 年，m p e g 对h 2 6 l 草案 进行了评估并且认识到了h 2 6 l 潜在的优越性，于是由m p e g 和v c e g 的专家共 同组成了联合视频小组j v t ( j o i n tv i d e ot e a m ) ，进一步完善h 2 6 l 模型，共同制定 了新的视频编码国际标准，新标准的官方名称为：i t u - tr e c h 2 6 4 和i s o e c m p e g - 4p a r t1 0a v c 【6 】。 这一标准的基本草案是在2 0 0 2 年1 0 月形成的，其最后的批准工作已在2 0 0 3 年3 月完成。h 2 6 4 在技术上集中了以往各标准的优点，并吸收了标准制定过程中 所积累的经验。与h 2 6 3 + 和m p e g - 4 相比，h 2 6 4 在使用与上述编码方法类似的 最佳编码器时，在大多数相同情况下可最多节省5 0 的码率。h 2 6 4 在所有码率的 情况下都能持续地提供较高的视频编解码质量，能工作在低延时模式以适应实时 通信的要求( 如视频会议) ，同时又能很好地工作在没有延时限制的应用中，如视频 存储和以服务器为基础的视频流式应用环境。h 2 6 4 提供包传输网中处理包丢失所 需的工具，以及提供在易误码的无线网中处理比特误码的工具。 h 2 6 4 的高压缩效率可以给视频实时通信、数字广播电视、可视电话、视频 存储等应用带来很多好处，大大提高了人们的视频欣赏质量。然而，与这种高压 缩效率相伴的是h 2 6 4 实现较为复杂度，与m p e g 2 相比，虽然h 2 6 4 的压缩性 能提高了一倍以上，但h 2 6 4 的计算复杂度提高了两倍以上。h 2 6 4 获得优越性能 的代价是计算复杂度的大幅增加，例如分成设计、多帧参考、多模式运动估计、 改进的帧内预测等，这些都显著提高了预测的精度，从而获得了比其他标准更好 的压缩性能。 视频编码技术基本是由i s o i e c 制定的m p e g - x 和r r u - t 制定的h 2 6 x 两大 系列视频编码国际标准组成的。从h 2 6 1 视频编码建议，到h 2 6 2 3 、m p e g 1 2 4 等都有一个不断追求的共同目标，即在尽可能低的码率条件( 或存储容量) 下获得尽 可能好的图像质量。而且，随着市场对图像传输需求的增加，信道的特殊性增加， 如何适应不同信道传输特性的问题也日益显现出来。于是i e o i e c 和i t u - t 两大 国际标准化组织联手制定了视频新标准h 2 6 4 来解决这些问题。h 2 6 4 是1 1 r u - t 的 v c e g ( 视频编码专家组) 和i s o i e c 的m p e g ( 活动图像编码专家组) 的联合视频组 0 v t ：i o i n tv i d e ot e a m ) 开发的一个新的数字视频编码标准，它既是i t u t 的h 2 6 4 ， 1 0 基于d s p 的h 2 6 4 算法实现及应用 又是i s o i e c 的m p e g - 4 的第1 0 部分。1 9 9 8 年1 月份开始草案征集，1 9 9 9 年9 月，完成第一个草案，2 0 0 1 年5 月制定了其测试模式t m l - 8 ，2 0 0 2 年6 月的t 第5 次会议通过了h 2 6 4 的f c d 板。2 0 0 3 年3 月正式发布。具体来说，h 2 6 4 支 持三个不同档次的应用： 基本档次：主要用于视频会话，如会议电视、可视电话、远程医疗服务等； - 主要档次：主要用于消费电子应用，如数字电视广播、数字视频存储等； - 扩张档次：主要用于网络的视频流，如视频点播。 2 1h 2 6 4 编解码器的结构 h 2 6 4 并不明确地规定一个编解码器如何实现，而是规定了一种协议，一个编 码视频比特流的句法和该比特流的相应的解码方法，各个厂商的编码器和解码器 在此框架下应能够互通，因此在实现上具有较大的灵活性，并且有利于各厂商之 间的相互竞争。 h 2 6 4 编码器和解码器【1 】的功能组成分别如图2 1 和图2 2 所示。 图2 1 h 2 6 4 编码器 图2 2 h 2 6 4 解码器 从图2 1 和图2 2 中可见，h 2 6 4 和基于以前的标准( 如h 2 6 1 、h 2 6 3 、m p e g 一1 、 m p e g - 4 ) q a 的编解码器功能块的组成并没有太大的区别，主要的不同在于各功能 块的实现细节。由于视频的内容的多变，在不同的情况下，空间冗余和时间冗余的 第二章h 2 6 4 视频编解码标准 差别很大。对于这种多变的冗余性就必须采用相应的自适应的技术措施；由于信 道在环境恶劣下也是多变的，例如互联网，有时畅通，有时不畅，有时阻塞；又 如无线网络，有时发生严重衰落，有时衰耗很小，这就需要采取相应的自适应方 法来对抗这种信道畸变带来的不良影响。这两方面都变带来了自适应压缩技术的 复杂性。h 2 6 4 就是利用实现的复杂性获得压缩性能的明显改善。 2 2 1h 2 6 4 编码器 2 2 视频编码简介 - 基于前向路径的编码器【l l 在编码器端输入视频流，通过参考帧获取当前帧v o 的当前宏块的预测像素值 p ( 帧内模式：以当前帧宏块的相邻宏块重建数据作为参考帧，按照最佳的预测方向 得到当前宏块的预测像素值p ；帧间模式：以一个或多个参考帧的相同位置的宏块 作为参考帧，通过运动估计和运动补偿，按照前向或者后向的预测方向得到当前 宏块的预测像素值p ) ：然后，从帧内预测模式和帧间预测模式中选择出残差较小 的预测模式作为最佳的预测模式，再以选出来的最佳预测模式进行预测，得到宏 块最终需要的预测像素值。 对残差宏块进行变换和量化，并对残差宏块进行重建，得到重建宏块和重建帧。 首先，前宏块中减去预测宏块p ，得到残差宏块d 。，并d 。对进行变换和量化，得 到量化系数x ；然后，对量化系数x 进行反量化和反变换后得到残差宏块d ：，预 测宏块p 与d ：相加得到重建宏块“c ；用环路滤波器去除重建宏块“的块效应， 得到滤波后的重建宏块，再由重建宏块( 组建重建帧。 对量化系数x 进行z i g - z a g 扫描，将一个4 4 二维数组变为一个长为1 6 个元 素的一维序列后进行熵编码，熵编码后的结果传递到网络层进行传输。 。基于重建路径的编码器【 量化后的宏块系数x 解码后用来重建一个帧，进而对下一个宏块进行编码。 系数x 经过反量化和反变换后得到残差宏块d ：，它与原来的残差宏块d 。己经不同， 量化的过程带来了精度上的损失，所以d ：较d 。有失真。 预测宏块p 与d ：相加得到一个重建宏块“( x t 原宏块的恢复，存在失真) ，用 滤波器去除块效应后由一系列的宏块c 重新构建参考帧。 2 2 2h - 2 “的编码格式 制定h 2 6 4 的编码格式主要有两个目标：获得高的视频压缩比和视频质量，具 有良好的网络亲和性。和h 2 6 3 、m p e g - 4 相比，h 2 6 4 的压缩比约为它们的2 倍。 为此，h 2 6 4 的功能分为两层，即视频编码层( v c l ，v e d i oc o d i n gl a y e r ) 和网络提取 1 2 基于d s p 的h 2 6 4 算法实现及应用 层( n a l , n e t w o r ka b s t r a c t i o nl a y e r ) 。v c l 数据即编码处理后的输出，它表示被压 缩编码后的视频数据序列。在v c l 数据传输或存储之前，这些编码的v c l 数据， 先被映射或封装进n a l 单元中。 每个n a l 单元都包括一个原始字节序列负荷( p b s p ) 和一组对应于视频编码数 据的n a l 头信息。n a l 单元序列的结构图如图所示。 i l n a lr b s ph 札r b s pn lr b s p l 图2 3 n a l 单元结构 2 2 3h 2 6 4 解码器 相对于编码器的结构而言，解码要简单一些。解码器从网络提取层接收压缩的 比特流。对数据元素进行嫡解码、重排序，得到一组量化后的系数x 。而后再对x 进行反量化和反变换得到d ：( 它与编码器中所示的d ：相同) 。解码器用从比特流中 解出的头信息，构建预测宏块p ( 它与编码器中的预测宏块p 相同) 。p 与d ：相加得 到”，再经过去方块滤波得到重建解码宏块。从以上的论述中我们可以看出， 编码器中的重建路径是为了确保编码器与解码器使用相同的参考帧构建预测宏块 p 。否则，编、解码器中的预测宏块p 将会不同，从而导致编解码器之间的误差累 积和“漂移( d n r ) ”现象。 此外h 2 6 4 标准中还支持数据分割( d a t ap a r t i t i o n ) ，即将各个宏块中的同种类 型数据集中放在一起传输。例如：可以将一个s l i c e 中所有宏块的直流系数放入一 个包，所有运动矢量放入另一个包，剩余的数据放入一个包。这样在传输出错的 情况下，有利于解码端进行误码掩盖。 2 3h 2 6 4 关键技术 h 2 6 4 算法具有分层设计，高精度、多模式运动估计，4 x 4 块的整数变换，统 一的v l c ，帧内预测，面向p 和无线环境等技术亮点，通过以下这些关键技术实 现了这些技术亮点。 2 3 1 帧间预测n 1 对于视频图像来说，前一帧图像和后一帧图像之间有很多相似部分，这种冗余 信息叫做时间冗余。对于序列图像来说，这是最主要的一种冗余。我们可以用前 一帧图像中的相似部分的数据来预测当前帧中的数据，然后对于预测数据与实际 数据的差值进行编码压缩，能够大幅度的压缩视频数据量。帧间预测编码就是利 用连续图像序列之间的相关性来进行压缩的。其中采用了多种运动估计。 第二章h 2 6 4 视频编解码标准 - 多宏块划分模式估计：h 2 6 4 的预测模式中，一个宏块可以划分1 6 1 6 、1 6 8 、8 1 6 、8 8 、8 4 、4 x 8 和4 4 七种不同模式的尺寸，这种那个多模 式的宏块划分更切合图像中那个的实际运动物体的形状，于是每个宏块中可包 含有l 、2 、4 、8 、1 6 个运动矢量，提高了运动估计的运算精度。 - 高精度估计：h 2 6 4 中采用了l 4 像素甚至l 8 像素的运动估计，即真正的运 动矢量的位移以1 4 甚至1 8 像素为基本单位，显然，运动矢量位移的精度越 高，则帧间剩余误差越小，传输码流越低，压缩率也就越高。 内插运算：h 2 6 4 中采用了6 阶的f i r 滤波器的内插获得1 2 像素位置的值， 当1 2 像素值获得后，1 4 像素值可以通过线性内插获得，对于4 ：1 ：1 的视 频格式，亮度信号的1 4 像素精度对应于色度部分的1 8 像素的运动矢量，因 此，需要对色度信号进行1 8 像素的内插运算。 多参考帧估计：h 2 6 4 中可采用多个参考帧的运动估计，即在编码器的缓存中 存有多个编码好的参考帧，编码器从其中选择一个参考帧( 此参考帧给出了最 好的编码效果) ，并指出是哪个帧被用于预测，这样就能获得比只用上一个刚 编码好的帧作为预测帧更好的编码效果。 2 3 2 帧内预测 在h 2 6 4 标准中，可用帧内预测去除空间域上的冗余性，进一步提高编码效率。 在帧内预测模式中，预测值p 是基于已编码重建块和当前编码块形成的。对于亮 度像素而言，有两种预测模式：帧内4 x 4 和帧内1 6 1 6 。其中，4 x 4 亮度子块 有9 中可选的预测模式，独立地预测每一个4 4 亮度子块，适合用在带有大量细 节的图像编码；1 6 x1 6 亮度块有4 中可选的预测模式，预测整个1 6 x1 6 亮度块， 这种预测模式适合于平坦区域的图像编码。对于色度块，也有4 中预测模式，类 似于1 6 1 6 亮度块预测模式。编码器通常选择使预测块p 块和当前块差异最小的 预测模式。 1 14 x 4 亮度预测模式【1 】 心陟 砀。p 图2 4 帧内预测示意图 图2 54 x 4 的9 预测方向 如图2 4 所示，4 x 4 亮度块a 叩为待预测像素，其上方和左方的像素6 间为 已编码和重构的像素，用作编解码器中的预测参考像素。4 x 4 块( 除了边缘块特殊 1 4 基于d s p 的h 2 6 4 算法实现及应用 处理以外) 每个像素都可用这1 7 个最接近的已编码的像素的不同加权和来预测。图 2 5 是帧内4 x 4 预测的九种种预测模式，其中模式2 是d c 预测，是根据j o q 中 已编码像素预测，而其余模式只有在所需预测像素全部提供才能使用。 2 ) 1 6 x1 6 亮度块预测模式【l 】 1 6 x1 6 整个亮度块可以整体预测，使用与当前宏块相邻的3 3 个像素生成亮度 分量的预测值。共有4 种预测方式：垂直预测，水平预测，d c 预测和平面( p l a n e ) 预测，分别利用当前宏块上方、左方和左上方己编码的像素来预测当像素值。 3 ) 8 x 8 色度预测模式【i 】 每个帧内编码宏块的8 8 色度成分由已编码的左上方色度像素预测得到的， c b 和c r 两种色度成分通常用同一种预测模式。它的4 种预测模式类似于帧内