（通信与信息系统专业论文）h264大尺寸解码器的实现与优化.pdf

h 2 6 4 大尺寸解码器的实现与优化 摘要 随着通信产业的飞速发展，视频通信的需求量日益增大，高质量、 高速传输的视频通信业务成为业界热点。然而，目前的公用电话网和 无线网络有速率有限、误码率较高等问题，很难满足多媒体通信的发 展需要。因此，视频业务的进一步发展需要将视频压缩编码技术与多 媒体通信终端的高速处理技术相结合，并尽快形成视频终端产品推向 市场。 目前，h 2 6 4 视频压缩标准己经作为一种新型的标准被广泛的接 受。主要原因在于h 2 “视频压缩标准与其它视频压缩标准相比具有 压缩比和图像质量两方面的优势。在编码效率方面，h 2 “标准的压 缩性能至少是m p e g 2 的2 倍；而在图像的主观质量感受方面，h 2 “ 标准也比其它标准要好得多。当然，h 2 6 4 标准的优越性能是以其复 杂度的成倍增加为代价换取的，h 2 6 4 编解码器往往需要更多的运算 量和存储空间。这就导致一般的处理平台已经不能满足h 2 6 4 高计算 复杂度的需要。 由于处理速度快和资源消耗小两方面的优势，d s p 芯片在很多领 域都有非常出色的表现。t i 公司生产的c 6 4 x 系列定点芯片具有很强 的并行处理能力和信号处理功能，是实现h 2 6 4 解码器的理想平台。 本文选用的t m s 3 2 0d m 6 4 2 数字媒体处理器是c 6 4 x 系列芯片中性 能较好的一款d s p 。它的内核处理器拥有6 4 个通用3 2 位寄存器和8 个带有v e l o c i t i 2 扩展功能的独立功能单元，包括2 个乘法单元和6 个算数逻辑单元。8 个功能单元的v e l o c i t i 2 扩展功能包括一些新的 指令，这些指令可以提升视频和图像设备的性能，增强v e l o c i t i 结构 的并行度。d m 6 4 2 还采用了两级c a c h e 结构并拥有多种强大的外设。 本文比较详尽的介绍了h 2 6 4 视频压缩标准及其扩展技术f r e x t 新技术特点及应用前景。同时，通过对t it m s 3 2 0d m 6 4 2 数字媒体 处理器结构、性能和应用等方面的分析，提出基于t it m s 3 2 0d m 6 4 2 硬件平台的h 2 6 4 大尺寸解码器系统的具体实现方案。 本文的论述重点分为基于p c 实现解码器和基于d s p 实现解码器 两部分。在基于p c 的解码器实现部分中，结合对h 2 6 4 标准参考代 码j m l 0 2 的研究，详细介绍了解码器在j m 模型基础上所做的结构 优化和最终实现解码的流程结构，并通过c 语言的代码优化使解码 效率进一步提高。在基于d s p 的解码器实现部分中，详细介绍了解 码器的硬件平台和系统结构，以及解码器向d s p 移植的过程、系统 的网络接收和视频输出模块设计与实现，最后介绍在系统实现后采用 的一些嵌入式系统常用优化技巧，并对解码器性能进行评估。 经过多次测试和验证，本文实现的分别基于p c 和基于d s p 的 h 2 6 4 大尺寸解码器系统都具有很好的完整性和有效性。 关键词h 2 6 4解码器t m s 3 2 0d m 6 4 2移植优化 t h ei m p l e m e n 7 r a l t i o na n do p t i m z a l i o no f h 2 6 4d e c o d e rf o r d e oo fd 1 a b s t r a c t 1 1 1 eh 2 6 4v i d e oc o m p r e s s i o ns t a n d a r dh a sa c h i e v e das i g n i f i c a n t i m p r o v e m e n to v e ra 1 1p r e v i o u sv i d e oc o m p r e s s i o ns t a n d a r d s i nt e r m so f c o d i n ge f f i c i e n c y , t h en o ws t a n d a r dc a l lp r o v i d ea tl e a s t2 xc o m p r e s s i o n i m p r o v e m e n to v e rt h eb e s tp r e v i o u ss t a n d a r d sa n ds u b s t a n t i a lp e r c e p t u a l q u a l i t yi m p r o v e m e n t so v e rb o t hn 口e g 一2a n d m p e g 一4 a tt h es a m et i m e , t h eh 2 6 4s t a n d a r di ss i g n i f i c a n t l ym o r ec o m p l e xt h a na n yo f t h ep r e v i o u s s t a n d a r d s c o n s e q u e n t l y , t h e h 2 6 4d e c o d e ri s e x p e c t e d t ob e s i g n i f i c a n t l ym o r ed e m a n d i n gi nt e r m so fc o m p u t a t i o n sa n dm e m o r y r e q u i r e m e n t s s i n c ea n yd e c o d e rs h o u l db ea b l et oh a n d l ea l l ”l e g a l ”b i t s t r e a m s ( i e w o r s t c a s es c e n a r i o ) ，t h ei m p l e m e n t a t i o no ft h ed e c o d e ri s e v e nm o r ec o m p l i c a t e d m o r e o v e r , t h ed e v e l o p m e n to fa ne m b e d d e d d e c o d e ri m p l e m e n t a t i o nw h e r et h ei n t e r n a lm e m o r ys i z ei sl i m i t e di sa c h a l l e n g e t h et m $ 3 2 0d m 6 4 2d i 西t a lm e d i ap r o c e s s o r ( d m 6 4 2 ) i st h e h i g h e s t i r f o r m a n c ef i x e d - p o i n td s pf r o mt e x a si n s t r u m e n t s t h ed s p c o r ep r o c e s s o rh a s6 4g e n e r a lp u r p o s e3 2 - b “r e g i s t e r sa n de i g h th i g h l y i n d e p e n d e n tf u n c t i o n a lu n i t s t w om u l t i p l i e r sa n ds i xa r i t h m e t i cl o g i c u n i t sw i t hv e l o c i t i 2e x t e n s i o n s t h ev c l o c i t i 2e x t e n s i o n si nt h ee i g h t f u n c t i o n a lu n i t si n c l u d en e wi n s t r u c t i o n st oa c c e l e m t et h ep e r f o r m a n c ei n v i d e oa n di m a g i n ga p p l i c a t i o n sa n de x t e n dt h ep a r a l l e l i s mo f t h ev r e l o c i t i a r c h i t e c t u r e t h ed m 6 4 2u s e sat w o l e v e lc a c h e - b a s e da r c h i t e c t u r ea n d h a sap o w e r f u la n dd i v e r s es e to fp e r i p h e r a l s i naw o r d w i t ht h e p r o c e s s o r s6 0 0 m h zp r o c e s s i n gp o w e ri np r o d u e t i o nt o d a ya n da l l a g g r e s s i v ep r o c e s st e c h n o l o g yr o a d m a pf o rc o n t i n u e dh i g h e rc l o c kr a t e s ， t h i sd s pi sm o s ts u i t e dt oo v e r c o m et h ec o m p l e x i t ya n dc o m p u t a t i o n a l r e q u i r e m e n t so f h 2 6 4 t od e v e l o pa n do p t i n l i z eh 2 6 4d e c o d e rs o f t w a r eo nt h et e x a s i n s t r u m e n t s t m s 3 2 0 d m 6 4 2d i g i t a lm e d i ap r o c e s s o ri st h em a i nt a s ko f t h i st h e s i s i nt h ef i r s tp a r to ft h i st h e s i s t h eh 2 6 4v i d e oc o m p r e s s i o ns t a n d a r d i s i n t r o d u c e d 。f o l l o w i n g w i t hi t se x t e n s i o n f r e x t b e s i d e s 。t h e a p p l i c a t i o no f h 2 6 4v i d e oc o m p r e s s i o ns t a n d a r di sa l s od i s c u s s e d i nt h es e c o n dp a r to ft h i st h e s i s t h ea r c h i t e c t u r ea n dc o m p l e x i t yo f h 2 “s o f t w a r ed e c o d e ra r ea n a l y z e d a n dt h ee m p h a s i sa n dd i 伍c u l t i e so f o p t i m i z a t i o na r ef i g u r e do u t t h ee f f i c i e n c yo f t h ed e c o d e rb a s e do np c i s l i s t e do u ta f t e r w a r d s i nt h et h i r dp a r to ft h i st h e s i s t h es y s t e mo fh 2 6 4d e c o d e ro n t m $ 3 2 0d m 6 4 2d i g i t a lm e d i ap r o c e s s o ri si n t r o d u c e d t h i ss y s t e m c o n t a i n st h r e ep a r t s ：t h ed e c o d e rs o f t w a r ew h i c hi sm i g r a t e df r o mp c s o f t w a r ew i t l ls e v e r a lc h a n g e s ；t h en e t w o r kp a r ta n dv i d e oo u tp a r tw h i c h a r ed e v e l o p e dt oe n s u r et h ei n t e g r i t yo f t h es y s t e m t h ed s p b 1 0 si st h e b a s eo ft h ew h o l es y s t e m , a n di t sp r i n c i p l ei si n t r o d u c e da l o n gw i t ht h e i m p l e m e n t a t i o no ft h es y s t e m c o m b i n gw i t ht h ec h a r a c t e r i s t i c so f t m $ 3 2 0d m 6 4 2 t h em e t h o du s e dt oo p t i m i z eh 2 6 4d e c o d e ri sf i g u r e d o u t a tl a s t t h ee f f i c i e n c yo f t h ed e c o d e rb a s e do nd s pi sl i s to u t t h ee x p e r i m e n t sr e s u l t sp r o v et h a tt h eh 2 6 4d e c o d e rb a s e do nd s p i nt h i st h e s i si si n t e g r a la n de f f e c t i v e k e yw o r d sh 2 6 4 d e c o d e rt m 3 2 0d m 6 4 2 m i g r a t i o n o p t i m i z a t i o n 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处， 本人签名：南b ! 舅燕 本人承担一切相关责任。 日期：丛霉。：通 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在- 年解密后适用本授权书。非保密 论文注释：本学位论文不属于保密范围，适用本授权书。 j 矽彳日期：核刃 i 北京邮电大学硕士论文i - l 2 6 4 大尺寸解码器的实现与优化 第一章选题背景 随着通信产业的飞速发展，视频通信的需求量日益增大；然而，目前的公 用电话网和无线网络有速率有限、误码率高等问题，很难满足多媒体通信的发展 需要。因此，在高质量、高速传输的视频通信业务成为业界热点的同时，视频编 码压缩技术与媒体通信终端的高速处理技术的结合成为视频业务发展的关键。 一方面，适合传输的视频压缩技术除具有高压缩效率外，压缩后的视频流 应具有峰值信噪比( 质量) 、时域、空域和复杂度等全面的可伸缩性，能够最大 限度地适应网络的异构特性。同时，视频流还应具有一定的容错性以抵抗传输错 误的影响。最新的h 2 6 4 视频压缩标准是开放统一的视频编解码标准，它能够把 提高视频图像的传输效率和为用户提供更高质量的画面两个目标结合起来，是适 合多媒体通信的协议标准和算法指导 另一方面，近年来高速发展的数字信号处理器( d s p ) 采用了特殊的软硬件结 构，是一种特别适合数字信号处理运算的微处理器，因此，使用d s p 芯片快速 地实现数字信号处理算法是灵活构建视频终端的一种有效方案。本论文采用的 t m s 3 2 0d m 6 4 2 以高性能著称，是适合宽带网络和数字影像高端应用的一款 d s p 芯片。 综上所述，本论文采用t m s 3 2 0d m 6 4 2 作为核心处理器构建媒体终端平台， 并在此平台上实现h 2 6 4 解码算法，对于视频通信业务的发展是具有一定意义和 价值的积极探索。 1 1 视频压缩编码标准介绍 1 1 1 概述 随着r r 技术的迅猛发展，网络应用日益普及，视频业务呈现日益多样化的 特点，从可视电话、视频会议到d v d 、数字电视等各个领域都发展迅速，视频 编码标准的制定在其中起到了重要的推动作用。 目前世界上最广泛使用的数字视频编码标准主要源自两大标准体系。一个 是r r u - t ，该组织制定的视频编码标准称为“建议”，即h 2 6 x 系列，主要用于 实时视频通信，如可视电话、视频会议。另一个主要的视频编码标准组织为 i s o 1 e c ，其标准主要是m p e g 系列，侧重于视频存储( v c d 、d v d ) 、视频广 播( 电视广播) 以及视频流的应用。两者的共同目标是在尽可能低的码率( 或存储 容量) 下获得尽可能好的图像质量。 随着市场对图像传输需求的增加，如何更好的解决不同特征信道下的视频 北京邮电大学硕士论文 h 2 6 4 大尺寸解码器的实现与优化 传输问题成为标准制定的发展方向。为此，i s o i e c 和r r u t 两大标准组织联 手制定了新的视频编码标准h 2 6 4 ( m p e g - 4 第1 0 部分) 。 h 2 6 4 是开放统一的视频编解码标准，对解码兼容性有明确的规定。比如， 任何编码器产生的符合h 2 6 4 标准的比特流都能被符合h 2 6 4 标准的解码器处 理。h 2 6 4 标准的技术特点可以归纳为以下三个方面： 1 注重实用，采用成熟的技术，追求更高的编码效率，简洁的表现形式； 2 注重对移动和p 网络的适应，采用分层技术，从形式上将编码和信道 隔离开来，实质上是在源编码器算法中更多地考虑到信道的特点； 3 在混合编码器的基本框架下，对其主要关键部件都做了重大改进，如多 模式运动估计、帧内预测、多帧预测、统一v l c 、4 x 4 二维整数变换等。 h 2 6 4 使运动图像压缩技术向前迈进了一大步。它具有优于h 2 6 3 和 m p e g - 4 的压缩性能，采用一系列最新的压缩技术，提高了压缩率，可应用于因 特网、数字摄像、数字视频录像、d v d 及电视广播等领域的图像压缩。 h 2 6 4 标准的主要用于矩形视频的高效编码和传输，它能够把提高视频图像 的传输效率和为用户提供更高质量的画面两个目标结合起来，所以该标准被应用 于双向视频通信、广播和高品质视频编码以及包交换网络的视频流传输中，具有 广泛的应用前景。 1 1 2 应用前景 h 2 6 4 的高压缩效率提供了新的应用和商业机厶【”。现在可以在x d s l 上以 1 m b i t s 的速率传输t v c p a l ) 质量的视频流。另外一个商业应用领域是卫星电视 传输。选择8 - p s k 和t u r b o 编码，并采用h 2 6 4 ，每个卫星的节日数量是现有使 用m p e g - 2 的d v b s 系统的3 倍。因为提供了如此大的额外传输容量，使替换 现有机顶盒成为可考虑的选择。 对d v b - t 来说，h 2 6 4 也是一个有利的选择。如在德国选择的传输参数的 条件下( 8 km o d e ，1 6 - q a m ，码率2 3 ，和1 4g u a r di n t e r v a l ) ，每8 m i - l z 信道上 允许的比特率为1 3 2 7 m b i 伽。采用m p e g - 2 编码，每个信道的t v 节目限制在4 个，而采用h 2 6 4 ，节目数量可增加到l o 或1 1 个，甚至更多。这不仅是因为编 码效率的提高，还由于大量不同节目的不同比特速率下的统计复用增益也提高 了。另外一个有效的选择与“e l e c t r o s m o g ：有关，即将q p s k ，码率l ，2 与h 2 6 4 联合使用。这样每个信道保留4 个节目，但是与上面提到的发送模式( 1 6q a m ， 2 3 ) 相比，发送功率较少了1 5 。 更进一步有利的商用领域是h d 传输和存储。现在能够以大约8 m b i t s 的速 率编码h d 信号，符合d v d 标准，这样势必刺激和加速家庭影院市场的发展 4 北京邮电大学硕士论文h 2 6 4 大尺寸解码器的实现与优化 每个卫星或电缆信道可以传输4 h d 节目，对广播运营商来说更有吸引力，因为 比m p e g - 2 的传输成本更低。 在移动通信领域，h 2 6 4 也发挥重要的作用，因为与3 g p p 指定的编码机制 - h 2 6 3 基类、h 2 6 3 + 和m p e g - 4 简单类比较，h 2 6 4 编码效率可以提高一倍。 在3 g 系统中可用数据速率代价较高，所以这点尤为重要。 h 2 6 4 代表了视频编码标准向前发展重要的一步。它比现有的标准的性能提 高2 倍，特别是与全球范围的数字电视系统采用的m p e g - 2 相比有2 2 5 2 5 倍 的提高。这使开发新的应用和商用机会成为可能。尽管h 2 6 4 的解码器复杂度是 m p e g - 2 的2 3 倍，编码器复杂度4 5 倍，但是由于技术有了大幅度的发展， 它的外部设备的复杂度比m p e g - 2 相对要小。 另外，h 2 6 4 是公共和开发的标准。每个制造商都可以在竞争的环境中开发 自己的编码器和解码器。这样迅速降低了价格，使这项技术对每个人来说都是可 承受的。同时，没有固定的专利形式，对今天网络时代来说，这点对广播通信是 最重要的。 新一代视频压缩编码标准h 2 6 4 的新进展f r e x t ，相对于第一版标准扩展了 视频源的采样格式与比特深度，加入了一些提高编码效率的工具。从而使得 h 2 6 4 进一步提高了编码效率，扩大了应用范围。 目前，高类已经代替主类成为广播和其他娱乐应用的首选，其主要原因是高 类比起先前的主类只增加了极小的算法复杂度，却大大提高了压缩性能，且编码 器控制灵活。其中，h 4 2 2 p 类可望在演播室环境中得以应用。在补充了f r e x t 之后，h 2 6 4 被迅速推广到各种应用中，主要包括：欧洲数字视频广播标准d v b 、 美国先进电视系统委员会a t s c 、d v d 论坛的h d d v d 规范和蓝光光碟协会 ( b d a ) 的b d r o m 规范。 1 2 视频终端及硬件平台介绍 媒体通信终端是指能集成多种媒体信息、实现多种媒体同步机制，并具有 交互功能的一种新型通信终端。它的实现方式主要有：纯软件在p c 上实现、基 于d s p 或者f p g a 的硬件实现、i c 实现等。这些实现方式分别以p c 、数字信 号处理器( d s p ) 芯片、可编程逻辑阵列( f p o a ) 芯片和集成电路( a s l c ) 芯片为核 心。 数字信号处理器( d s p ) 采用了特殊的软硬件结构，是一种特别适合数字信号 处理运算的微处理器。近年来，得益于集成电路技术的迅速发展，厂商不断推出 性能显著改善的d s p 芯片，其价格也越来越低；十几年间，d s p 芯片已经在信 号处理、通信、雷达等许多领域得到广泛应用。因此，d s p 非常适用于产品实 5 北京邮电大学硕士论文n 2 6 4 大尺寸解码嚣的实现与优化 用化前期研究。 结合h 2 6 4 大尺寸解码器的应用需求，本文阐述的解码器实现方案以d s p 芯片为核心构建视频终端，并最终选择t m s 3 2 0d m 6 4 2 芯片。 t m s 3 2 0d m 6 4 2 是基于t i 开发的第2 代高性能先进甚长指令结构的数字信 号处理器，它使用的d s p 核为t m s 3 2 0c 6 4 x ，是t m s 3 2 0c 6 0 0 0 系列d s p 开发 平台中性能最好的一代。t m s 3 2 0 c 6 4 x 片内有8 个并行的处理单元，分为相同的 两组。它的体系结构采用超长指令集( v l i w ) 结构，每条指令字长为3 2 比特，一 个指令包由8 条指令组成，总字长为8 x 3 2 = 2 5 6 比特。芯片内部设置了专门的指 令分配模块可以将2 5 6 比特的指令包同时分配到8 个处理单元，并由8 个单元同 时运行它具有高达6 0 0 m h z 的c p u ，从而使得其运算能力达到6 0 0 m h z x 8 条指 z 拿= - - 4 8 0 0 m i p s 。这些性能保证了t m s 3 2 0d m 6 4 2 在v o i p 、视频点播w o o ) 、多 通道数字录像应用，以及需要高质量的音视频编解码领域的广泛适用性，奠定了 它在高端多媒体应用中的地位。 1 3 论文的主要内容 本论文围绕在t it m s 3 2 0d m 6 4 2 平台上h 2 6 4 大尺寸解码器的实现与优化 展开。内容的章节安排如下： 第2 章介绍h 2 6 4 编解码原理，描述其系统结构及技术特点，最后介绍h 2 6 4 的新发展f r e x t 技术。 第3 章介绍基于p c 的解码器系统设计，其中包括解码器基础模型的选择、 解码器实际框架结构，结构优化方法及优化后的软件实现流程，最后介绍p c 上 代码优化方法，并评估p c 上的解码器性能。 第4 章介绍基于d s p 的解码器系统设计，其中包括系统硬件结构、解码器 代码移植、多任务的原理与实现，最后介绍在d s p 上对解码器进行优化的一些 方法，并评估d s p 上的解码器性能。 第5 章对论文及工作成果进行总结，提出下一步的可行性建议。 6 北京邮电大学硕士论文i - l 2 6 4 大尺寸解码器的实现与优化 第二章h 2 6 4 系统介绍 2 0 0 3 年5 月发布的h 2 6 4 标准有着良好的可适应性，即h 2 6 4 编解码器能 够在很广的范围内使用，并且能够在各种网络和系统上( 如组播、d v d 存储、 r t p i p 包网络，删t 多媒体电话系统) 工作；同时，与以前的视频编码标准 相比，h 2 6 4 编解码器能够在更低的码率下提供很好的视频质量。 2 0 0 4 年9 月j v t 完成了一个对原标准的拓展，称为高精度拓展( f i d e l i t y r a n g ee x t e n s i o n s ，f r e x t ) 该拓展通过支持更高的像素精度( 包括1 0 比特和 1 2 比特像素精度) 和支持更高的色度精度( 包括4 ：2 ：2 和y i 4 ：4 ：4 ) 来支 持更高精度的视频编码，同时加入了一些新的特性( 比如自适应的4 x 4 和8 x 8 的整数变化，用户自定义量化加权矩阵、高效的帧间无失真编码，支持新增的色 度空间和色度参差变化) 本章结构安排如下： 2 1 节介绍h 2 6 4 视频压缩编码标准的分层结构； 2 2 节介绍h 2 6 4 视频压缩编码标准的编解码原理； 2 3 节介绍h 2 6 4 视频压缩编码标准的关键技术； 由于本文的解码器主要针对大尺寸、高保真的视频压缩应用，因此在基类 编解码器的基础上添加了f r e x t 技术的8 x 8 整数变换及8 x 8 量化。f r e x t 技术 的相关内容在2 4 节中介绍。 2 1h 2 6 4 系统的分层结构 h 2 6 4 视频编码标准适应不同网络间视频的传输，其主要原因是h 2 6 4 引入 了分层结构，即将图像压缩系统分成网络提取层和视频编码层，因此实现了将压 缩编码与网络传输分离，使编码层能够移植到不同的网络结构中，有利于视频在 不同网络间传输。 h 2 6 4 系统分层结构如图2 1 所示。 视频编码层中进行视频压缩、解压缩操作，而网络提取层专门为视频编码 信息提供文件头信息，安排格式以方便网络传输和介质存储。使网络对于视频编 码层是透明的，具有更强的网络友好性和错误隐藏能力。 7 北京邮电大学硕士论文h 2 6 4 大尺寸解码器的实现与优化 h 2 6 4 概念鹱 溉编码器 v c l 解码嚣 v c l - 嗡a l 接 i n l 编码瓣姒l 解码嚣 n a l 编码器接u n a l t f 码器接u 一j ii1 能犁| i 尝戮粼li tl2 6 4 捌| l 燃獬| 。 l 齄翰层、) 墨；卜孑7 自- 线阿络无战嘲络 2 1 1 视频编码层v c l 图2 - 1h 2 6 4 系统分层结构图 与m p e g - 4 和h 2 6 3 类似，h 2 “视频压缩标准是一种基于运动补偿的 d p c m 混合编码。一方面，h 2 6 4 标准通过复杂的帧问预测来减少运动图像时域 上的相关信息，另一方面，它通过对预测残差进行d c t 转换来减少运动图像空 间上的相关信息。 与以前的视频编码标准一样，h 2 6 4 没有将前处理和后处理等功能包括在草 案中，这样可以增加标准的灵活性。但h 2 6 4 标准在模式选择、运动搜索精度、 多参考帧、整数变换等诸多细节部分做出改进，使得整体压缩性能进一步提高。 2 1 2 网络提取层n a l 网络提取层定义了数据封装的格式和统一的网络接口数据承载在网络提 取层单元t n a l u ) 中，这有利于数据经打包后在网络中传输。对于面向比特流和 面向数据包的传输，n a l u 采用统一的数据格式，每个n a l u 包含单个字节的 包头信息和多个字节的数据。包头信息包含存储标志和类型标志。其中，存储标 志用于指示当前数据不属于被参考的帧，从而便于服务器根据网络的拥塞情况进 行丢弃；类型标志用于指示图像数据的类型。 网络提取层负责使用下层网络的分段格式来封装数据，包括组帧、逻辑信 道的信令、定时信息的利用和发序列结束信号等。n a l 支持视频在电路交换信 道的传输格式，支持视频在i n t e m e t 上利用r t p u d p i p 传输的格式。n a l 包括 自己的头部信息、段结构信息和实际载荷信息( 如果采用数据分割技术，数据可 8 北京邮电大学硕士论文h 2 6 4 大尺寸解码器的实现与优化 能由几个部分组成) 。n a l 的任务是提供适当的映射方法将头部信息和数据映射 到传输协议上。这样，在分组传输中可以消除组帧和重同步开销。 为了提高h 2 6 4 的n a l 在不同特性的网络上定制v c l 数据格式的能力， 在v c l 和n a l 之间定义的基于分组的接口、打包( 即上述n a l 对v c l 数据 的承载过程) 和相应的信令也属于n a l 的一部分。这样，高编码效率和网络友 好性的任务分别由v c l 和n a l 来完成。 2 2h 2 6 4 编解码原理 h 2 6 4 视频压缩标准沿用了过去视频压缩标准的定义方法，即没有直接定义 编解码器( c o d e c ) ，而是定义编码视频流的语法和语义，以及对码流进行解码 的方法本节对h 2 6 4 的编解码原型2 1 做分别介绍。 2 2 1 编码原理 编码器包含两个方向的码流，前向码流( 从左到右) 为编码过程，反向码 流( 从右到左) 为重建过程。h 2 6 4 编码原理如图2 2 所示。 图2 - 2h 2 6 4 编码原理框图 1 前向码流 f n 是编码器的输入帧，编码器中的帧图像是以宏块为单位处理的，宏块是 原始图像中1 6 x 1 6 像素大小的图像划分。宏块编码可以分为帧内和帧间两种模 式。不管使用哪种模式，都要根据重建帧构建用于预测的宏块p 帧内预测模式中，p 是通过当前帧经过变换、量化、反量化、反变换重建 帧n 形成的，如图2 - 2 中的1 | f 。；应该注意的事，帧内预测的参考图像没有经过 9 北京邮电大学硕士论文 1 - 1 2 6 4 大尺寸解码器的实现与优化 滤波处理。 帧间预测模式中，p 是由先前已编码图像的重建帧经过运动预测与补偿形 成的。在图2 - 2 中，参考帧用先前已编码帧f n 1 表示，宏块预测的参考帧可以是 前向的也可以是后向的( 时间顺序上的前后) 。得到预测值之后，用当前宏块减 去预测值p ，形成预测残差宏块d n ；然后对残差进行变换和量化得到x ( 量化 后的变换系数) ；x 再进行重新排序和熵编码。熵编码后的系数，和宏块解码所 需的其他辅助信息一起形成压缩码流。这些辅助信息包括宏块预测模式、量化步 长、以及描述宏块运动预测补偿的运动矢量信息等。压缩码流传送到网络适配层 ( n a l ) 进行传输或存储。 2 重建码流 反向过程是对量化后的宏块系数x 进行解码重建的过程，重建后续宏块编码 所需的参考块。 系数x 进行反量化和反变换得到残差宏块d 。由于量化过程是有损的，因 此d 。不完全等同于原始残差宏块砜，而是d 。的近似值。 预测宏块p 和d 。相加得到重建宏块( 原始宏块的近似) 。用去块效应滤波 器消除块效应的影响，从一系列宏块f 。中恢复重建参考帧。 2 2 2 解码原理 解码器的码流方向是从右到左的，对应编码的逆过程。如图2 3 所示。 解码器从n a l 接收压缩后的比特流；经过熵解码和顺序重排，得到量化后 宏块系数x ；反量化、反变换生成d 。，这一过程和编码器重建码流生成d 。的 过程一致。使用码流中解出的头信息，解码器从参考帧中得到预测宏块p ，和编 码器形成的原始预测宏块p 相同。p 与d 。相加得到l l f 。，对重建图像进行滤波， 去除块效应，得到解码图像f 。 图2 3h 2 6 4 解码原理框图 对比h 2 6 4 编解码流程可以看到，编码器的重建码流的目的是为了保证编解 码器使用的预测值p 相同，即使用的参考帧相同。否则，使用不同的预测值p 会导致在编解码器间产生错误或者偏差。 1 0 北京邮电大学硕士论文! t 2 6 4 大尺寸解码器的实现与优化 2 3h 2 6 4 关键技术 本节主要介绍h 2 6 4 标准的关键技术【3 1 。 2 3 1 帧内预测 在帧内预测模式中，预测块p 是基于已编码重建块和当前块形成的。帧内 预测的实质是利用图像中相邻块的相关性，用当前块减去预测块p ，去除相关信 息，获得预测残差。通常预测残差的能量很小，再将残差数据进行量化编码，以 达到压缩的目的。 对于亮度值，预测块p 有基于4 x 4 子块或者基于1 6 x1 6 宏块两种。对于每个 4 x 4 亮度块共有9 种预测模式，而对1 6 x 1 6 的亮度块有4 种可选模式；对于4 x 4 的色度块预测模式通常只用一种。 1 4 x 4 亮度块预测模式 4 x 4 亮度块的9 种预测模式如图2 4 所示，箭头表示每种模式的预测方向。 对于模式3 8 ，预测值由预测像素的加权平均值获得。编码器将选择使当前块 预测残差最小的预测模式。 图2 44 x 4 亮度决预测模式 2 1 6 x 1 6 亮度块预测模式 除4 x 4 亮度块的9 种预测模式外，亮度块的预测还可以对整个1 6 x 1 6 宏块 进行亮度预测。1 6 x 1 6 亮度块的预测模式有四种，如图2 5 所示。 图2 - 5 帧内1 6 x 1 6 亮度块的预测 北京邮电大学硕士论文 h 2 6 4 大尺寸解码器的实现与优化 模式0 ( 垂直) ：用上边的样值推断( h ) 模式l ( 水平) ：用左边的样值推断( v ) 模式2 ( d c ) ：左边和上边样值( h + v ) 的均值 模式3 ( 平面) ：线性函数采用左边和上边的样点h 和v 。该模式适用于亮 度平缓变化的区域。 3 8 x 8 色度块预测模式 h 2 6 4 的原图像采用4 ：2 ：0 的采样模式，每个宏块中包含一个8 8 的色度块。 宏块中色度块的预测也是通过对上边和左边己编码重建的样点进行计算产生的。 色度预测的四种模式和1 6 x 1 6 亮度块的预测模式非常相似，只是顺序上有所差 别：d c ( 模式0 ) 、水平( 模式1 ) 、垂直( 模式2 ) 和平面( 模式3 ) 。通常两个 色度块( u 和v ) 采用的预测模式相同。 色度块的预测模式和当前块的亮度预测模式相同，也就是说，如果当前块的 亮度成分是用帧内模式编码的，那么两个8 x 8 色度块也要采用帧内模式编码。 4 帧内预测模式编码 4 x 4 块选用的帧内预测模式需要进行标记，传送给解码器。用于标识帧内预 测模式的标记本身就需要一定数量的比特。通常，帧内模式邻近的4 x 4 块具有 很高的相关性，如图2 - 6 所示。 a bc 图2 - 6 相邻4 x 4 块的帧内预测 对于每个当前块c ，编解码器都计算最可能模式( m o s t _ p r o b a b l e _ m o d e ) 。 如果a 和b 都是采用4 x 4 模式，而且a 、b 、c 都在同一条块内，c 块的 m o s t _ p r o b a b l e _ m o d e 就是a 和b 预测模式的最小值，否则m o s t _ p r o b a b l e _ m o d e 将设为默认值：模式2 ( d c 预测) 。 2 3 2 帧间预测 帧间预测是通过先前已编码的一帧或多帧图像对当前帧进行预测的一种模 式，该模式的参考块p 是在参考帧图像中当前位置平移样点获得的，即运动预 测补偿。h 2 6 4 编解码器中的运动补偿的基本单元也是块。h 2 6 4 的帧闻编码和 以前的标准主要不同点在于：预测块的大小可变范围很大，并且采用了更精确的 运动矢量l 4 像素搜索。 1 树型结构的运动补偿 北京邮电大学硕士论文h 2 6 4 大尺寸解码器的实现与优化 h 2 6 4 运动补偿支持的亮度块大小范围从1 6 x 1 6 像素到4 x 4 像素，而且切割 方式很灵活。对于宏块( 1 6 1 6 大小的样点) 可以被分为以下四种方式：1 6 x 1 6 ， 8 x 1 6 ，1 6 8 ，8 8 ，这种划分方式属于宏块的切割。如果选择8 x 8 模式，每个宏 块可分为4 个8 x 8 的切割块，对于每个8 8 块还可以进一步细分为4 种模式：8 x 8 ， 8 x 4 ，4 x 8 ，4 x 4 ，这种划分方式称为宏块的子切割。切割和子切割增加了宏块的 组合形式。这种将宏块分割成各种不同大小的块的方法就叫做树型结构的运动补 偿。 宏块的每个切割和子切割都需要一个独立的运动矢量。每个运动矢量都要进 行编码和传送，同时宏块的分割模式也要进行编码和传送。通常，对于缓慢变化 的区域选择较大的切割模式，而图像的细节部分选用较小的切割模式则更有效。 宏块中色度块( c b 和g ) 的大小是亮度块的一半，色度块的划分结构和亮 度块一样，只是水平和垂直方向的像素大小刚好是亮度块的一半。亮度块的8 x 1 6 块对应色度块的4 x 8 ；亮度块8 x 4 的划分对应色度块的4 2 块，依次类推。其分 割的水平和垂直方向上运动矢量应用到色度块时也应减半。 h 2 6 4 参考编码器对图像区域进行了最佳分割，也就是使得编码残差和运动 矢量综合指标最小的分割方式。 2 像素运动矢量 帧间编码的宏块每个分块在参考图像相同大小的区域进行预测。两个区域间 的偏移( 运动矢量) 精确到次像素( 对于亮度信号而言) 。在参考图像中并不存 在次像素位置的亮度或色度样值，所以有必要通过邻近像素进行插值。如图2 7 所示。 ( a ) 图是当前帧中的一个4 4 子切割，该块将从参考图像的邻近区域进行预 测； ( b ) 图中运动矢量的垂直和水平分量都是整数，则参考块相应的样点是实际 存在的( 灰点) ； ( c ) 图中运动矢量的垂直和水平分量中的一个或者两个都是分数，预测样点 ( 灰点) 将通过参考帧中邻近证书像素( 白点) 的插值产生。 ( a ) 当前块样点 ( b ) 参考样点m y 0 ，- 1 )( c ) 考样点m y ( 0 7 5 ，一0 5 ) ooooodoo 。国。目 。o 于占于于 o dooo 固曰ooop 口口o o oooo000oooo oo oo0d 竺o o c 户。白 o o 置爰占于 o oo0ooooo doo0 oooo0ooooo0ooooo00 图2 - 7整数和次像素位置的样值 北京邮电大学硕士论文 h 2 6 4 大尺寸解码器的实现与优化 与整像素运动补偿相比，次像素运动补偿可以得到更好的压缩性能，但是以 运算复杂度的增加为代价的。同样，1 4 像素的精确度高于1 2 像素。 当视频源的采样格式采用4 ：2 ：0 的时候，色度信号的预测需要1 8 像素位置 的色度值( 对应亮度信号1 4 位置的样值) 。这些样值是通过色度信号整像素位 置的样值进行双线性插值得到的。 3 运动矢量预测 对每个切割的运动矢量进行编码需要用一定量的比特表示，切割块越小，需 要的运动矢量越多，用于编码该矢量的比特数也就越多。与帧内