（光学工程专业论文）基于dm642平台的数字视频传输研究.pdf

硕士学位论文 基于d m 6 4 2 平台的数字视频传输研究 摘要 h 2 6 4 是国际电联i t u t 的视频编码专家组v c e g 和国际标准化组织i s o i e c 的活 动图像专家组m p e g 联合制定的视频编码新标准，其目的是为了获得更好的图像压缩效 果和更好地适应不同的网络环境。 本文首先介绍了视频编码技术h 2 6 4 ，讨论了h 2 6 4 中所采用的新技术。然后介绍 了开发基于d m 6 4 2 的视频采集传输系统所需的硬件和软件环境。考虑到视频传输系统 网络传输和实时性的要求，本文研究了远程视频传输系统的关键传输技术，提出了解决 视频数据连续性和视频数据丢包等问题的方法。最后本文给出了基于l a n 的视频实时 传输的软件设计和实现方法。 关键词：d m 6 4 2 ，h 2 6 4 视频算法，d s p b i o s ，r f 5 ，n d k a b s t r a c t 硕士学位论文 a b s t r a c t h 2 6 4i st h en e ws t a n d a r do fv i d e oc o d e sf o r m u l a t e db yt h ei n t e r n a t i o n a le l e c t r i c i t y a s s o c i a t i o ni t u d t sv i d e o c o d e s e x p e ag r o u p ( v c e g ) a n d t h ei n t e r n a t i o n a l s t a n d a r d i z a t i o no r g a n i z a t i o ni s o i e c sm o v i n gp i c t u r ee x p e r tg r o u p ( m p e g ) i t sg o a li sf o r o b t a i n i n gt h eb e t t e ri m a g ec o m p r e s s i o n e f f e c ta n da d a p t i n gt h ed i f f e r e n tn e t w o r ke n v i r o n m e n t w e l l v i d e ot r a n s m i s s i o ns y s t e m ，w i t ht h et r a n s i s s i o no nt h en e t w o r ka n dr e a l - t i m et a k e ni n t o a c c o u n t ，t h ep a p e rd e p t hs t u d yo ft h er e m o t ev i d e ot r a n s m i s s i o ns y s t e mak e yt r a n s m i s s i o n t e c h n o l o g y ，p u tf o r w a r ds u g g e s t i o n st os o l v et h ec o n t i n u i t yo fv i d e od a t aa n dv i d e od a t a p a c k e tl o s sa n d o t h e rp r o b l e m s f i n a l l y , t h i sp a p e rg i v et h el a n b a s e dr e a l - t i m et r a n s m i s s i o n o fv i d e os o f t w a r ep r o g r a m m i n ga n dr e a l i z e k e yw o r d ：d m 6 4 2 ，h 2 6 4 ，d s p b i o s ，r f 5 ，n d k i i 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名： 辩 砷年夕月，歹日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名：墨赴矽圹年乡月夕日 硕士学位论文基于d m 6 4 2 平台的数字视频传输研究 1 绪论 1 1 本文背景 随着当代多媒体技术的迅速发展，数字视频的采集，压缩，传输和保存成为当前对 媒体技术的研究热点，全世界有很多公司和科研所都在着力于这一领域的研究，各项研 究成果也不断涌现。由于受信道传输带宽和存储容量的限制，多媒体技术的各项应用都 离不开高效的数字图像( 视频) 压缩算法。 从上个世纪8 0 年代开始，国际电讯联盟i t u t 和国际标准组织i s o i e c 这两大组 织不断推出的一系列针对不同应用领域的数字视频编码标准，开创了视频通信和存储应 用的新篇章。i t u t 系列的主要标准有：h 2 6 1 、h 2 6 3 、h 2 6 4 ，主要应用于实时视频通 信领域，如桌面会议电视、可视电话等；i s o i e c 系列标准有：m p e g 1 ，m p e g 一2 ， m p e g 4 ，m p e g 7 ，m p e g 2 1 ，主要应用于广播电视、视频存储、互联网或无线通信 的流媒体等。 视频的编解码离不开高效的d s p 芯片，自上世纪7 0 年代第一片数字信号处理器芯 片d s p s ( d i g i t a ls i g n a lp r o c e s s o r s ) f 口j 世以来，d s p s 就以数字器件的稳定性、可重复性、 可大规模集成性，及可编程性高和易于实现自适应处理等特点，给数字信号处理d s p ( d i g i t a ls i g n a lp r o c e s s i n g ) 的带来了巨大发展，并使数字信号处理方法更灵活，功能更强 大更复杂。在众厂家推出的高速数字处理器当中，t i 公司推出的c 6 0 0 0 系列数字信号 处理器具有较高的数字信号处理能力，适用于视频通信等应用领域。数字多媒体处理器 d m 6 4 2 是c 6 0 0 0 系列d s p 平台中，拥有较高处理性能的定点d s p s ，它是基于第二代 高效先进的v e l o c i t i 超长指令字( v l i w ，v e r yl o n gi n s t r u c t i o nw o r d ) 体系结构 v e l o c i t l 2 1 j 设计出来的，在7 2 0 m h z 时钟频率下拥有高达5 7 6 0m i p s 处理能力，它同时 支持应用片上存储器、硬件板片逻辑以及附加的片上外设等。 本文基于d m 6 4 2 平台研究h 2 6 4 的视频编解码算法，并实现h 2 6 4 视频流在网络 上的传输，具有一定的现实意义。 1 2 数字视频编解码技术的发展与研究现状 随着i s o i e c 制定的m p e g x 和i t u t 制定的h 2 6 x 两大系列视频编码国际标准的 不断推出，数字视频的压缩、通信和存储技术都得到了较快发展。从h 2 6 1 视频编码建 议的提出，到h 2 6 2 3 、m p e g 1 2 4 等标准的制定都在不断追求的一个目标，即在尽可 能低的码率( 或存储容量) 下获得尽可能好的图像质量。随着数字图像和视频传输的应 用越来越广泛，社会的发展需要人们研究和区分不同信道对于传输的要求。于是i s o i e c l 绪论 硕士学位论文 和i t u t 两大国际标准化组织便联合制定了新的视频标准h 2 6 4 来解决这些问题。 h 2 6 1 1 2 1 建议是1 9 9 0 年i t u t 制定的一个视频编码标准，又称为p 6 4 ，其输出码 率是p 6 4 k b i t s ，其中p 为6 4 k b s 的取值范围，是l 到3 0 的可变参数，是针对i s d n 网上的会议电视和可视电话应用的视频编码技术。p 取值较小时，只能传清晰度不太高 的图像，适合于面对面的电视电话；p 取值较大时( 如p 6 ) ，可以传输清晰度较好的 会议电视图像。它使用了混合编码方法，包括了基于运动补偿的帧间预测，基于离散余 弦变换的空域变换编码，量化，z i g z a g 扫描和熵编码。h 2 6 3 【3 j 建议的是低码率图像压 缩标准，是对h 2 6 1 的改进和扩充，支持码率小于6 4 k b i t s 的应用。但h 2 6 3 以及后来 的h 2 6 3 + 和h 2 6 3 + + 可支持众多的图像格式，如s u b q c i f 、q c i f 、c i f 、4 c i f 甚至1 6 c i f 等格式，其建议本身已发展成支持全码率应用的建议。 m p e g 1 1 4 1 标准是m p e g 组织制定的第一个视频和音频有损压缩标准，专为c d 光 碟介质而定制，一张7 0 分钟的c d 光碟传输速率大约在1 4 m b p s 左右。m p e g l 标准视 频编码部分的基本算法与h 2 6 1 h 2 6 3 相似，也采用运动补偿的帧间预测、二维d c t 、 量化、v l c 游程编码等技术。此外m p e g 1 还引入了帧内帧( i ) 、预测帧( p ) 、双向预 测帧( b ) 和直流帧( d ) 等概念，进一步提高了编码效率。m p e g 2 标准1 5 j 设计目标是 高级工业标准的图象质量以及更高的传输率，在提高图像分辨率方面，它做了一些改进， 例如它的运动矢量的精度为半像素；它在编码运算中区分“帧 和“场 ；引入了编码 的各类可分级性技术，如空间可分级性、时间可分级性和信噪比可分级性等。在提高传 输率方面，它提供了较广范围的可改变压缩比，以适应不同画面质量，存储容量，以及 带宽的要求。近年推出的m p e g 4 标准【6 】更适于交互a v 服务以及远程监控，引入的基 于视听对象( a v o ：a u d i ov i s u a lo b j e c t ) 的编码，大大提高了视频通信的交互能力和编 码效率。m p e g 4 中还增加了一些新技术，如形状编码、自适应d c t 、任意形状视频对 象编码等。但在视频编码方面，m p e g 4 还是和h 2 6 3 相类似的混合编码器。 总之，h 2 6 1 建议是视频编码的经典之作，h 2 6 3 是其发展，但h 2 6 3 选项较多， 易用性较差。m p e g x 系列标准从针对存储媒体到适应传输媒体，其核心视频编码的基 本框架是和h 2 6 1 一致的，m p e g 4 中提出的“基于对象的编码”部分由于尚有技术障 碍难以普及。因此，在此基础上发展起来的，由两大国际标准化组织的共同制定的新的 视频编码建议h 2 6 4 ，在混合编码的框架下引入了新的编码方式，提高了编码效率，面 向实际应用，具有广阔的应用前景。 h 2 6 4 7 】是i t u t 的v c e g ( 视频编码专家组) 和i s o i e c 的m p e g ( 活动图像编 码专家组) 的联合视频组( j v t ：j o i n tv i d e ot e a m ) 开发的一个新的数字视频编码标准， 它既是i t u t 的h 2 6 4 ，又是i s o i e c 的m p e g 4 高级视频编码( a d v a n c e dv i d e oc o d i n g ， a v c ) ，还是m p e g 。4 的第1 0 部分。因此，不论是m p e g 4a v c 、m p e g - 4p a r t1 0 ，还 是i s o i e c1 4 4 9 6 1 0 ，都是指的h 2 6 4 标准。 2 硕上学位论文基于d m 6 4 2 平台的数字视频传输研究 h 2 6 4 和以前的标准一样，虽然也是d p c m 加变换编码的混合编码模式。但它采用 简洁的设计，不用众多的选项，“回归基本 ，获得了比h 2 6 3 + + 更好的压缩性能；加强 了对各种信道的适应能力；采用“网络友好 的结构和语法，有利于对误码和丢包的处 理；应用目标范围较宽，能满足不同速率、不同解析度以及不同传输( 存储) 场合的需 求；其基本系统开放，无需版权。 在h 2 6 4 标准中有很多技术亮点n 如统一的v l c 符号编码，基于4 4 块的整数 变换、高精度、多模式的位移估计，分层的编码语法等。这些技术使得h 2 6 4 算法具有 很高的编码效率，在相同的重建图像质量下，压缩效率能够比h 2 6 3 提高一半以上。h 2 6 4 标准的码流结构对网络的适应性很强，容错能力很高，能够很好地适应互联网和无线网 络的应用。 1 3d s p 技术的发展与研究现状 在d s p 芯片出现之前，数字信号处理只能依靠低速的m p u ( 微处理器) 来完成，根 本就无法满足大量信息的高速实时处理要求。世界上首枚单片d s p 芯片是1 9 7 8 年a m i 公司宣布的$ 2 8 1 1 ，1 9 7 9 年美国i n t e l 公司发布了的商用可编程器件2 9 2 0 ，但两种芯片 内部都没有现代d s p 芯片所必须的单周期乘法器。1 9 8 2 年日本的h i t a c h i 公司生产出了 用c m o s 工艺制作的浮点d s p 芯片，1 9 8 4 年a t & t 公司推出了第一个高性能的浮点 d s p 芯片的d s p 3 2 。随着d s p 芯片的出现和不断发展，d s p 应用系统由大型化向小型 化的迅速迈进，数字信号处理技术在计算和通信等领域得到了极为广泛的应用。 从1 9 8 0 年至今，d s p 芯片制造技术得到了飞快发展，d s p 芯片的应用越来越广泛。 从制造工艺来看，1 9 8 0 年采用41 1m 的n 沟道m o s 工艺，现在普遍采用亚微米c m o s 工艺。从运算速度来看，d s p 芯片内部的关键乘法器部件从1 9 8 0 年占模区的4 0 左右 下降到5 以下，片内r a m 也增加了一个数量级以上。m a c ( 一次乘法和一次加法) 占用时间已经从最初的4 0 0 n s ( 如t m s 3 2 0 1 0 ) 下降到4 0 n s ( 如t m s 3 2 c 4 0 ) 以下，处 理速度提高了1 0 多倍。此外，随着d s p 芯片的发展，d s p 系统的成本、体积、重量和 功耗都得到了很大程度的下降。 现在的d s p 属于第五代产品，系统集成度更高，将d s p 芯核及外围元件综合集成 在单一芯片上。这种d s p 芯片不仅在计算机及通信领域广为应用，而且逐渐成为人们 日用消费电子产品更新换代的决定因素。多媒体信号处理技术正处于一个高速发展的阶 段，与基于p c 机的c p u 技术和基于专用芯片组技术比较，数字多媒体处理器，例如 t i ( t e x a si n s t r u m e n t ) 公司的d m 6 4 2 ，因其具有特有的数字音频视频输入输出接口、多媒 体协处理器等器件，实际应用简单，可裁减性强，设备厂商可以根据市场变化及时调整 应用软件，适应市场需求，而不会受制于刻板的专用芯片组。 在各厂商生产出的高速数字处理器中，t i 公司推出的c 6 0 0 0 系列数字信号处理器 3 l 绪论 硕士学位论文 将数字信号处理器的处理能力提高到了一个新的境界，芯片设计面向视频处理及通信等 高端领域。数字多媒体处理器t m s 3 2 0 d m 6 4 2 是c 6 0 0 0 系列d s p 平台中，拥有高处理 性能的3 2 位定点d s p ，在7 2 0 m h z 时钟频率下有高达5 7 6 0 m i p s 【8 】的处理能力，是实现 h 2 6 4 编解码的理想平台；它在t i 的c 6 4 xd s p 内核上进一步集成了完备的视频音频 输入输出接口、以太网接口、p c i 总线等片上外设，适合直接对音频视频等进行各种 复杂的运算高速处理；它能无缝衔接各类外部数据传输接口，非常适用于v o i p 、数字视 频服务器、多通道数字视频录像机( d v r ) 、多通道数字视频监控等应用领域，提供高 效高质量的视频编解码解决方案。这类数字信号处理器已经成为嵌入式数字多媒体应用 硬件平台的最佳选择。 1 4 内容安排 h 2 6 4 视频编解码技术已经很成熟，计算复杂度适中，较易在d s p 之类的多媒体处 理器上实现，是目前视频会议、可视电话、视频监控等应用系统主要采用的编解码技术。 用d s p 实现的编解码器具有可编程的特性，方便升级和更新。本文的工作主要是在t i 公司的数字媒体处理器d m 6 4 2 的平台上，实现和优化了h 2 6 4 视频编解码，并研究实 现了d s p 端视频流经网络传输并显示到p c 端的视频通信。 本文结构安排如下： 第一章：绪论，讲述了视频编解码技术和d s p 技术的发展与现状。 第二章：分析视频压缩理论，论述了h 2 6 4 视频编码的技术特点及其容错工具。 第三章：介绍了系统的硬件和软件，包括d m 6 4 2 的研究，以及开发调试环境c c s 和d s p b i o s 等。 第四章：详细介绍了本论文所构造的系统在i p 网络上传输h 2 6 4 编码的视频时使 用的关键技术。 第五章：设计并实现了h 2 6 4 编码视频流从d s p 端经网络传输到p c 端的视频通信 方案，对其中的关键步骤作了简要介绍。 第六章：总结并展望系统方案的后续研究方向。 4 捌 学位论文 桀rd m “2 平台的盐中砒颠传输研究 2h 2 6 4 视频编码技术介绍 2 1h 2 6 4 编码过程 h 2 6 4 采用的是基于块的混合变换编码结构。如图21 所示，输入的视频图像被划 分为1 6 x1 6 的宏块，以宏块为基础逐次完成对一帧图像的编码。 目2 lh2 6 4 的编码框架 h 2 6 4 将待编码图像主要分为两大类：帧问图像和帧内图像。对于帧闻图像，若宏 块的编码模式是帧间编码模式，则先进行运动补偿预测，然后对预测差进行变换、量化、 游程编码和熵编码：若宏块的编码模式是帧内编码模式，则采用帧内图像中的宏块编码 方法。与以往的编码方法有较大不同的是，h2 6 4 对于帧内图像，要先对帧内块进行预 测，然后对预测差进行变换、量化、游程编码和熵编码。编码后输出的比特流主要包含 熵编码系数、量化步长、运动矢量、参考帧索引、预钡4 模式、宏块类型等。 如果编码图像要作为后续图像的参考图像，则需要在编码端完成其解码过程，先对 其变换量化系数进行反量化和反变换，然后与帧内或帧问预测块相加得到解码图像，再 进行环内滤波，存入帧缓存作为后续参考帧。在解码端，其解码过程与编码端的解码过 程相似，只是将环内滤波后的图像在作为参考帧的同刖，将其输出作为解码图像。 2h 2 6 4 视频编码技术介绍硕士学位论文 2 2h 2 6 4 技术的档次分类 h 2 6 4 标准的编解码框架与以前提出的标准如h 2 6 1 、h 2 6 3 及m p e g 1 2 4 相比， 并无显著变化，也是采用d c t 变换编码加d p c m 的差分编码结构( 即混合编码结构) ： 以运动矢量代表图像序列各帧的运动内容，使用已解码帧对其进行运动估计和补偿或使 用帧内预测技术，所得的图像预测值经过变换、量化、游程编码和熵编码等处理后，形 成编码比特流。与已有的其它标准相比，其基本编解码结构未有明显的提高，但各个部 分的技术方案的都作了改进，且充分应用新算法，使得总体压缩的性能大为提高。 h 2 6 4 标准分成三种档次( p r o f i l e ) 基本档次( b a s e l i n ep r o f i l e ) 、主档次( m a i np r o f i l e ) 及扩展档次( e x t e n d e dp r o f i l e ) ，代表了针对不同应用的算法集及技术限定。其中，基本 档次包含了低复杂度、低延时的技术特征；考虑到网络环境的异构性和信道误码的产生， 增强了容错性；主要是针对交互式的应用，应用于视频会议、可视电话和无线通信等实 时通讯服务，基本档次是其它更高级别的档次的基础。而主档次采用了多项提高图像质 量和增加压缩比的技术措施，编码效率更高，如视频存储和电视广播。扩展档次的设计 主要针对流媒体的应用，所有容错技术和对比特流的灵活访问及切换技术都包括在此框 架中。2 0 0 4 年t 又增加了一个高端档次，该档次支持高精度拓展( f i d e l i t yr a n g e e x t e n s i o n s ，f r e x t 明) ，该拓展支持更高的象素精度和更高的色度精度。 图2 2h 2 6 4 的结构框图 对于采用某一个档次，h 2 6 4 解码器必须支持这个档次里面包括的内容，而编码器 则不需要支持这个档次的所有内容，但必须符合标准规定的码流结构。以下是h 2 6 4 四 个档次【4 】规定的内容： 曲基本档次( b a s e l i n ep r o f i l e ) 只支持对is l i c e 及ps l i c e 两种像条的操作，只支持基 于上下自适应的可变长编码( c o n t e x t - b a s e da d a p t i v ev a r i a b l el e n g t hc o d i n g ，c a v l c ) ， 支持灵活宏块排序( f l e x i b l em a c r o b l o c ko r d e r ，f m o ) 和冗余像条( r e d u n d a n ts l i c e ) 技术。 6 硕士学位论文基于d m 6 4 2 平台的数字视频传输研究 b ) 扩展档次( e x t e n d e dp r o f i l e ) 包含基本档次的所有特征，除了不能支持基于上下文 的自适应二进制算术编码( c o n t e x t - b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ，c a b a c ) p b ， 还支持b 、s p 、s is l i c e ，支持加权预测和数据划分技术。 c ) 主档次( m a i np r o f i l e ) 支持i 、p 、b 像条，支持加权预测，支持逐行( p r o g r e s s i v e ) 和隔行( i n t e r l a c e d ) 扫描，提供对于c a v l c 编码和c a b a c 编码的支持，但并不支持f m o 、 a s o 及r s 等可用于对付网络丢包的技术。 d ) 高端档次( h i g hp r o f i l e ，也叫f r e x t ) 包括主档次的所有特征，另外增加了自适应 的4 x 4 和8 8 的整数变换，用户自定义量化加权矩阵，高效的帧间无失真编码和更多 的j v 格式( 如4 ：2 ：2 和4 ：4 ：4 ) 。 其中每个档次本身还可划分多个等级( l e v e l ) 。等级一般对应于编码器的处理能力和 内存要求。不同的等级可能支持不同的图像格式q c i f 、c i f 、i t u r6 0 1 ( s d t v ) 、h d t v 、 s - h d t v 等。等级还对码流、帧大小、图像缓存等作出相应规定。 2 3h 2 6 4 的技术特点 h 2 6 4 标准中有多个技术亮点，如统一的v l c 符号编码，高精度、多模式的位移估 计，基于4 x 4 块的整数变换、分层的编码语法等。由此h 2 6 4 算法的编码效率比以前 的标准大有提高，达到m p e g 的2 倍，能够在1 5 2 k b p s 的网络上传输d v d 质量的图像。 h 2 6 4 的码流结构增强了网络适应性，增加了差错恢复能力，能够很好地适应互联网和 无线网络的应用。 2 3 1 分层设计 h 2 6 4 压缩标准分为视频编码层( v i d e oc o d i n gl a y e r , v c l ) 和网络抽象层( n e t w o r k a d a p t a t i o nl a y e r , n a l ) 两层，其中视频编码层v c l 采用高效率压缩编码技术( 如帧内预测、 多尺寸块模式搜索运动估计、基于上下文的自适应二进制算术编码c a b a c 、环路滤波 等来提高编码效率【l 叫) 。 网络抽象层n a l 则定义了编解码器本身与传输网络的接口，并以n a l 单元为操作 对象，n a l 接口的实现要和具体传输协议标准结合起来，如h 3 2 0 1 1 1 系统，m p e g 2 系统， r t p i p 1 3 j 系统等。 h 2 6 4 将高效率编码和网络友好性的任务分离开，分别由v c l 和n a l 完成，然后 在v c l 和n a l 之间定义了一个基于分组方式的统一接口，打包和相应的信令属于n a l 的一部分。 v c l 层包括基于块的运动补偿混合编码和一些新特性。v c l 中包括v c l 编码器与 v c l 解码器，主要功能是视频数据的压缩编码和解码，它包括运动补偿、变换编码、熵 7 2h 2 6 4 视频编码技术介绍硕士学位论文 编码等压缩单元。与以前的标准一样，h 2 6 4 并没有把前处理和后处理等功能包含其中， 增加了标准的灵活性，使得v c l 可以传输按当前的网络情况调整的编码参数。 n a l 负责使用下层网络的分段格式来封装数据，包括组帧、逻辑信道的信令、定 时信息及序列结束信号等。例如，n a l 支持视频在电路交换信道上的传输格式，支持 视频在互联网上利用r t p u d p i p 传输的格式。n a l 包括数据包的包头信息、段结构信 息和实际载荷信息，即上层的待封装的v c l 数据。 罟 q 虽 暑 u v i d e oc o d i n gl a y e r 画i 型c 竺翌o d 坐e d l 诎 d a t ap a r t i t i o n i n gi r ：磊s 。础删 ln e t w o r ka b s t r a c t i o nl a y e rl lh 3 2 0lm p 4 f fih 3 2 3 1 i p lm p e g 2i i e t c 1 r “_ _ “_ _ _ _ - o h ”_ _ - _ “_ _ _ _ _ 一一1 r “一”o r 。_ _ o o _ - o “ 2 3 2 高精度多模式运动估计 图2 3v c l 层和n a l 层结构图【7 1 与h 2 6 3 相比，h 2 6 4 进一步增强了运动估计的搜索精度，h 2 6 3 在运动估计时采 用了半像素估计，而h 2 6 4 中则进一步采用1 4 像素甚至1 8 像素的运动估计，即真正 的运动矢量的位移可能是以1 4 甚至1 8 像素为基本单位的。 在h 2 6 4 中，采用了6 阶f i r 滤波器的内插获得1 2 像素位置的值：当1 2 像素值 获得后，1 4 像素值可通过线性内插获得，l u m a 分量的运动矢量( m v ) 即使用1 4 像 素精度。而c h r o m a 分量的m v 由l u m am v 导出，由于c h r o m a 分辨率是l u m a 的一半( 对 4 ：2 ：0 ) ，所以其m v 精度将为1 8 ，这也就是说1 个单位的c h r o m am v 所代表的位移仅 为c h r o m a 分量取样点间距离的1 8 ，如此精细的预测精度较之整数精度可以使码率节省 超过2 0 。 在h 2 6 3 的运动预测中，宏块有两种分解模式。在不使用非限制运动矢量模式下， 每一个宏块m b 作为一个块，使用一个运动矢量；在非限制运动矢量模式下，每一个宏 块m b 可分为4 个8 8 块，每块使用一个运动矢量。而在h 2 6 4 的运动预测中，一个 宏块( m b ) 的大小仍然是1 6 1 6 个象素，但是划分为两层，1 6 1 6 宏块层和8 8 子宏 块层。每一层又被划分为更小的子块，如图2 4 所示。按象素大小可分为1 6 1 6 、1 6 8 、8 1 6 、8 8 、8 4 、4 8 、4 4 共7 种不同模式的块尺寸，这时宏块拥有和小块 数量相对应的运动矢量。这种多模式的灵活和细致的划分，更切合图像中实际运动物体 8 硕士学位论文 基于d m 6 4 2 平台的数字视频传输研究 的形状，大大提高了运动估计的精确程度。 o1 o 1 宏块分割：1 6 1 6 ，8 1 6 ，1 6 x 8 ，8 8 01 0 1 01 23 子宏块分割：8 8 ，4 x 8 ，8 4 ，4 4 图2 4 宏块与子宏块分割 h 2 6 4 继承了h 2 6 3 中的多参考帧技术，即允许编码器使用先前的多帧进行运动估 计，使得在p 、b 帧预测时预测误差更小。同时h 2 6 4 还对不同时间的参考帧引入不同 的权重，这个特点使得h 2 6 4 在选择参考帧时扩展到空间和时间上，使得码率控制更为 精确。 2 3 3 整数变换与量化 h 2 6 4 对帧内或帧间预测的残差( r e s i d u a l ) 进行d c t 变换编码。为了克服浮点运 算带来的硬件设计的复杂，更重要的是舍入误差造成的编码器和解码器之间不匹配的问 题，新标准对d c t 的定义做了修改，使得变换仅用整数加减法和移位操作即可实现， 这样在不考虑量化影响的情况下，解码端的输出可以准确地恢复编码端的输入。h 2 6 4 标准采用整数d c t 变换主要对三类数据进行变换：4 4 的残差块、4 x 4 的亮度块d c 分量和2 2 的色度块。这样，缩小了变换块的尺寸，运动物体的划分更精确，不但变 换计算量较小，而且在运动物体边缘处的衔接误差也大为减小。为了减小小尺寸块的变 换方式对图像中较大面积的平滑区域的块之间带来的灰度差异，可对帧内宏块亮度数据 的1 6 个4 4 块的d c 系数( 每个小块一个，共1 6 个) 进行第二次4 4 块的变换，对 色度数据的4 个4 4 块的d c 系数( 每个小块一个，共4 个) 进行2 2 块的变换。 9 2h 2 6 4 视频编码技术介绍 硕士学位论文 4 44 4 8 8 4 x44x4 8 4 4 84x8 8 4 图2 5 4 4 块的整数变换 量化是对变换结果的操作。h 2 6 4 采用的是标量量化器( s c a l a rq u a n t i s e r ) ，量化步长 由量化参数( q p ) 决定，q p 可在0 , - , 5 1 的整数中取值，q p 每增加6 ，量化步长翻倍，即 q p 每增加1 ，量化步长增加1 2 5 ，这种方式提高了h 2 6 4 对码率控制的能力。变换系 数幅度的归一化被放在反量化过程中处理以减少计算的复杂性。为了获得较好的彩色逼 真性，对色度系数采用了较小量化步长。 2 3 4 熵编码 对于s l i c e 层以上的数据，h 2 6 4 采用e x p g o l o m b 码，这是一种没有自适应能力的 v l c 。而对于s l i c e 层及其以下的数据，如果是残差预测，h 2 6 4 有两种熵编码的方式： 基于上下文的自适应变长码( c o n t e x t b a s e da d a p t i v ev a r i a b l el e n g t hc o d i n g ，c a v l c ) 和 基于上下文的自适应二进制算术编码( c 0 n t e x t b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ， c a b a c ) ；如果不是残差预测，h 2 6 4 采用e x p g o l o m b 码( e x p o n e n t i a lg o l o m bc o d e s ) 或 c a b a c 编码，视编码器的设置而定。 ( 1 ) c a v l c v l c 的基本思想就是对出现频率大的符号使用较短的码字，而出现频率小的符号采 用较长的码字。在h 2 6 3 中，不同的系数进行v l c 编码采用各自不同的码表。h 2 6 l 对此进行了改进，所有的v l c 编码都采用一个码表，这种v l c 编码称之为通用可变长 编码u v l c ( u n i v e r s a lv l c ) 。h 2 6 4 又对h 2 6 l 的v l c 编码方法进行了改进。在h 2 6 4 中，量化后的d c t 变换系数使用基于内容的白适应可变长编码c a v l c ，其他系数还是 使用u v l c 编码。 在h 2 6 4 中，对于d c t 变换系数采用若干v l c 码表，不同的码表对应不同的概率 模型。编码器能够根据上下文，如周围块的非零系数或系数的绝对值大小，在这些码表 中自动地选择，最大可能地与当前数据的概率模型匹配，从而实现了上下文自适应的功 能。 ( 2 ) c a b a c c a b a c 使用二进制算术编码，对于非二进制的符号首先经过“二进制化 过程转 1 0 硕学位论文基干d m 6 4 2 平台的数字视频传输研究 变为0 、1 码。然后自适应于最近编码数据符号的统计来选择一个概率模型，称之为上 下文模型。根据选择的模型进行二进制算术编码，最后对概率模型进行更新( 例如对1 进行编码，则1 的频率计数相应增加) 。j p e g 2 0 0 0 采用该方式，h 2 6 4 也是如此，这 样的编码器不需要信源统计特性的先验知识，而是在编码过程中自适应地估计。显然， 与c a v l c 编码中预先设定好若干概率模型的方法比较起来，c a b a c 有更大的灵活性， 可以获得更好的编码性能大约1 0 码率的降低。 2 3 5 帧内预测 在视频编码m p e g 标准中，帧内预测是在d c t 变换和量化之后进行的，是利用当 前块的d c 系数与己编码重建的临近块的d c 系数之间的差值的大小，选择预测方向， 分别对d c 和a c 系数进行预测。这种后置的帧内预测方法并不能最大限度的去除空日j 冗余信息，所以一般编码后的数据量较大，压缩性能不高。 h 2 6 4 利用了图像象素间的空间相关性，采用了新的帧内预测g n t r a 预测1 模式。利 用当前像素块周围左边- - n 和上边一行的像素( 己编码重建) 对当前像素块中的像素值进 行预测，只对实际值和预测值的差值进行编码，这样就能用较少的比特数来表达i n t r a 编码的像素块信息i l ”。这种预测是基于块的，亮度分量( 1 u m a ) 可以有9 种4 x 4 块的 i n t r a 预测模式，适合表现图像细节部分，见围2 6 ；有4 种1 6 x1 6 块的i n t r o 预测模式， 适合平滑图像区，见图27 。色度分量( e h r o m a ) 由于比较平滑，预测都是对整个8 8 块进行的，有4 种预测模式。 即兀屠隋l i k 厉萨萨 f 既厂眵r 图2 69 种帧内4 x 4 预测操作示意图【” 2h 2 6 4 视频编码技术介绍硕士学位论文 00 t o r t l e a l ) 1 ( h o r i z o n t a l ) 图2 7 四种帧内1 6 1 6 预测模式 不同于9 种4 4 块和4 种1 6 1 6 块的i n t r a 预测模式，i p c m 编码类型允许编码 器简单跳过预测和变换编码过程，直接发送采样值。i _ p c m 允许编码器精确地表示采样， 通常用来表示一些反常图像，而不会明显增加数据量。 2 3 6 帧间预测 帧间预测编码用于降低图像的时间相关性，通过采用多帧参考、更小的运动预测区 域及运动补偿等方法，对下一帧进行精确预测，从而减少传输的数据量。每个亮度宏块 被划分成形状不等的区域作为运动描述区域。宏块有1 6 1 6 、1 6 x8 、8 1 6 、8 8 共4 种划分方法，对于8 8 的子宏块分割时，又可以进一步划分为8 x 8 、8 4 、4 8 和4 4 共4 个子区域。这样每个宏块有多种划分方法，每个区域包含自己的运动矢量，每 个运动矢量和区域选取信息必须通过编码传输。 因此，当划分块数少时，则区域较大，用于表示运动矢量和区域选择的数据量较小， 但运动补偿后的残差会增大；当划分块数多时，则区域变小，残差减小，预测更精确， 但用于表示运动矢量和区域选取的数据量增大。大区域适合反映帧间同质部分，小区域 适合表示帧间的细节部分。 2 3 7 面向i p 和无线环境 h 2 6 4 草案中包含了用于差错消除的工具，便于压缩视频在误码、丢包多发的环境 中传输，增强基于i p 信道或移动信道中传输的鲁棒性。 为了抵御传输差错，h 2 6 4 视频流中的时间同步通过采用帧内图像刷新来完成，而 空间同步采用条结构编码( s l i c es t r u c t u r e dc o d i n g ) 来支持。同时，为了便于误码以后的 再同步，在一幅图像的视频数据中还提供了一定的重同步点。另外，帧内宏块刷新和多 参考宏块允许编码器在决定使用哪种宏块模式的时候，可以考虑到编码效率和传输信道 的特性。 在h 2 6 4 中，除了利用量化步长的改变来适应信道码率外，还常利用数据分割的方 法来应对信道码率的变化。数据分割，是指在编码器中生成具有不同优先级的视频数据 1 2 硕士学位论文基于d m 6 4 2 平台的数字视频传输研究 以支持网络中的服务质量q o s ( q u a l i t yo f s e r v i c e ) 。例如采用基于语法的数据分割 ( s y n t a x b a s e dd a t ap a r t i t i o n i n g ) 方法，将每帧数据的按其重要性分为几部分，允许在缓 冲区溢出时保护重要数据，丢弃不太重要的信息。还可以采用类似的时间数据分割 ( t e m p o r a ld a t ap a r t i t i o n i n g ) 方法，通过在p 帧和b 帧中使用多个参考帧来完成分级保 护。 在无线通信的应用中，我们可以通过改变每一帧的量化精度或空间时间分辨率来支 持无线信道的大比特率变化。但在多播的时候，要求编码器对变化的各种比特率进行响 应是不可能的。因此，不同于m p e g 一4 中采用的精细分级编码f g s ( f i n eg r a n u l a r s c a l a b i l i t y ) 的方法( 效率比较低) ，h 2 6 4 采用流切换( s t r e a ms w i t c h i n g ) 技术来代替分级 编码。h 2 6 4 中定义了两种新的帧类型s p 帧和s i 帧来完成不同流的切换，而避免频繁 刷新i n t r a 帧带来的效率下降。 2 4h 2 6 4 编码及容错工具 h 2 6 4 标准在提高图像传输的容错性方面做了大量工作，重新定义了适于图像的结 构划分。在编码时，图象帧各部分被划分到多个s l i c e 结构中去，每个s l i c e 都可以被独 立解码不受其它部分的影响。h 2 6 4 的编码结构分为视频编码层v c l 和网络抽象层 n a l ，这种分层设计也进一步提高了系统稳定性和鲁棒性。 h 2 6 4 标准在以前的基础上提出了3 种关键技术，用参数集、灵活宏块次序( f l e x i b l e m a c r ob l o c ko r d e r i n g ，f m o ) 、冗余片( r e d u n d a n ts l i c e s ，r s ) 来进行错误恢复【】。 2 4 1 参数集 参数集是h 2 6 4 标准的一个新概念，是一种通过改进视频码流结构增强错误恢复能 力的方法。参数集应用在所有的h 2 6 4 比特流中，它所包含的信息极其重要，它的受损 将影响到大量的v c l 和n a l 单元，被影响的单元即使能正确接收到也不能被正确解码， 在h 2 6 4 新标准中共使用了两种类型的参数集。 ( 1 ) 序列参数集( s e q u e n c ep a r a m e t e rs e t ，s p s ) ，包括与图像序列( 定义为两个i d r 图像间的所有图像) 有关的所有信息，应用于已编码视频序列。 ( 2 ) 图像参数集( p i c t u r ep a r a m e t e rs e t ，p p s ) ，包含所有属于该图像的所有分片的相 关信息，包括图像类型、序列号等，用于解码已编码视频序列中的1 个或多个独立的图 像。 多个不同序列和图像的参数集被解码器正确接收后，存储于不同的已编号位置，通 过参考每个已编码片片头的存储位置，编码器选择使用恰当的图像参数集，图像参数集 中包含1 个要使用和参考的序列参数集。 2h 2 6 4 视频编码技术介绍 硕士学位论文 参数集的灵活使用大大增强了编解码器的抗误码能力。在有误码倾向环境下，使用 参数集的关键是，在相应的v c l 与n a l 单元到达解码器时，确保参数集已可靠及时地 到达解码器。 参数集具体实现的方法也是多样化的：( 1 ) 通过带外传输，这种方式要求参数集通 过可靠的协议，在首个片编码到达之前传输到解码器；( 2 ) 通过带内传输，这需要为参 数集提供更高级