（通信与信息系统专业论文）dm642监控视频h264编码器的实现和优化.pdf

浙江大学硕士学位论文 摘要 视频编解码是多媒体系统的核心技术，是构建多媒体应用的核心模块之一。目前，视 频编码器的实现主要有以下几种常见的方法：一是基于p c 机，用软件实现，但通用p c 机非专用于视频处理，实现效率不高；二是使用专用的视频压缩a s i c 芯片；三是采用d s p 。 数字媒体处理器是一种针对视音频的d s p ，为了用于实现视音频等多媒体数据处理，其处 理器结构经过了特别优化设计，且提供了丰富的多媒体处理指令集。基于d s p 的视频编 码器的灵活性比a s i c 编码器要高，易于升级更新换代，开发周期短。d m 6 4 2 是t i 公司 新一代高性能数字媒体处理器，它是专用于视频系统应用的高性能d s p ，具有4 8 0 0 m i p s 的运算性能和丰富的外围接口( 多通道视频口、以太网口等) 。所以，d m 6 4 2 是目前实现 视频应用系统的理想平台之一。 本文围绕对视频编码器运动估计算法的研究及编码器基于d m 6 4 2 的实现工作而展 开。首先针对监控视频背景固定不变，运动的前景物体较少，场景相对稳定的特点，提出 了跳过宏块预判算法和提前中止算法，实验证明，跳过宏块预判算法能检测出4 5 左右 的跳过宏块，提前中止算法能减少7 5 左右的搜索点数，更重要的是，这两种算法不光 只是用于h 2 6 4 编码器，还可用于诸如m p e g 4 等其他标准的视频编码器中；接着，我们 结合d m 6 4 2 嵌入式系统的硬件特性，从调整编码器软件框架流程、优化使用存储器系统、 程序代码级优化、提高指令的并行性等几方面进行讨论，优化和实现了基于d m 6 4 2 的 h 2 6 4 软件编码器。在这个过程中，总结了基于d m 6 4 2 的视频压缩编码软件开发的一些 方法和技巧，可为今后基于1 id m 6 4 2 平台的软件开发提供借鉴。 全文第一章引出了本文的工作：第二章确立了可分级的编码方案；第三、四章是本文 的主要内容，第三章介绍了本文提出的跳过宏块预判算法和提前中止算法；第四章讨论了 h 2 6 4 编码器在d m 6 4 2 处理器上的优化和实现；最后，第五章对本文的工作进行了总结， 并提出了今后工作的方向。 关键词：视频监控，h 2 6 4 ，运动估计快速算法，d m 6 4 2 ，数字媒体处理器 浙江大学硕士学位论文 a b s t r a c t v i d e oc o m p r e s s i o ni sk e yt e c h n o l o g yo fm u l t i m e d i ad a t ap r o c e s s i n g ，a n dv i d e oc o d e ci s o n eo ft h em o s ti m p o r t a n tc o r em o d u l e sf o ram u l t i m e d i aa p p l i c a t i o ns y s t e m s c u r r e n t l y , t h e i m p l e m e n t a t i o no fv i d e oe n c o d e ri sa sf o l l o w s ：i ) v i d e oe n c o d e rs o f t w a r eo np c h o w e v e r , i ti s n o td e d i c a t e di nv i d e od a t ap r o c e s s i n gf o rp c sc p us ot h a tt h ee n c o d e rs o t t w a r eb a s e do np ci s n o te f f e c t i v e ；i i ) u s i n gd e d i c a t e da s i cc h i pf o rv i d e oc o d i n g ；i i i ) v i d e oe n c o d e rb a s e do n p r o g r a m m a b l ed i g i t a lm e d i ap r o c e s s o r , s u c ha sd s e t h eh a r d w a r es t r u c t u r eo f d s p p r o c e s s o ri s e s p e c i a l l yd e s i g n e d f o rm u l t i m e d i ad a t ap r o c e s s i n g n o to n l yp l e n t i f u lm u l t i m e d i ad a t a p r o c e s s i n gi n s t r u c t i o n sa r ea v a i l a b l e ，b u ta l s oi ti sm o r ef l e x i b l ef o ri m p l e m e n t a t i o no fv i d e o e n c o d e rt h a na s i cc h i p t h ei m p l e m e n t a t i o nu s i n gd s pc a ns h o r t e nt h et i m et om a r k e ta n d o f f e rc o n v e n i e n c ef o r u p g r a d i n ga n dr e p r o g r a m m i n g a t6 0 0 m h za n d4 8 0 0 m i p s ，t h en e w g e n e r a t i o n d s pd m 6 4 2d i g i t a lm e d i ap r o c e s s o ro f f e r s i n d u s t r y l e a d i n gp e r f o r m a n c e t h e p r o c e s s o r ，w h i c hi si n t e g r a t e dm u l t i m e d i aa n dn e t w o r kp e r i p h e r a li n t e r f a c e sr e d u c e ss y s t e mc o s t f o rm u l t i m e d i aa p p l i c a t i o n s s u c ha sv i d e op h o n et e r m i n a lo v e ri p t h es y s t e mc a i lb e i m p l e m e n t e dt h r o u g ho n - c h i pi n t e g r a t i o no fk e ya u d i o v i d e oa n dc o n n e e t i v i t yp e r i p h e r a l s s o ， d m 6 4 2i sa ni d e a lp l a t f o r mf o rm u l t i m e d i aa p p l i c a t i o n s t h ep a p e rw i l le m p h a s i so nr e s e a r c ho fm e a l g o r i t h m ，t h ei m p l e m e n t a t i o no fh 2 6 4v i d e o e n c o d e rb a s e do nd m 6 4 2p l a t f o r m a c c o r d i n gt ot h ef a c tt h a tv i d e os c e n ei ss m o o t h ，l i t t l e m o t i o n ，h a sm a n yb a c k g r o u n db l o c k s ，m e t h o df o rd e t e c t i n gs k i p p e dm a c r o b l o c ka h e a do f d i s c r e t ec o s i n et r a n s f o r ma n dq u a n t i z a t i o na n de a r l yt e r m i n a t i o na l g o r i t h mi sp r o p o s e d t h e s e a b o v et w oa l g o r i t h m ，n o to n l yg e tg o o dr e s u l t si nh 2 6 4e n c o d e r , b u ta l s oc a nb ea p p l i e di n v i d e os t a n d a r ds u c ha sm p e g 4 s e c o n d l y , t h ea p p l i c a t i o no p t i m i z a t i o ni nd m 6 4 2e m b e d d e d s y s t e mw a sm a i n l yb a s e do nt h ef o l l o w i n gs i d e s ：a p p l i c a t i o na r c h i t e c t u r e ，f u n c t i o na s s e m b l y c o d e s ，m e m o r ys y s t e me t c a i t e rt h eo p t i m i z a t i o n ，t h ea p p l i c a t i o nn o to n l ym e e t sw i t ht h e r e q u i r e m e n t s ，b u ta l s om a k e sag o o dp r e p a r a t i o nf o rt h es y s t e mu p d a t ei nt h ef u t u r e ，a n dm a n y s k i l l so fs o t t w a r ed e v e l o p m e n tb a s e do nd m 6 4 2a r es u m m a r i z e d i nt h ef i r s tc h a p t e r , i n t r o d u c et h ew o r kp r e s e n t e di nt h i sp a p e r s e c o n d ，w ew i l lc h o o s e g o o de n c o d e rp l a n t h en e x tt w oc h a p t e r sa r em a j o rc o n t e n t so ft h i sp a p e r , f a s tm ea l g o r i t h m s a n do p t i m i z a t i o na n di m p l e m e n t a t i o nb a s e do nd m 6 4 2w i l lb ed i s c u s s e dr e s p e c t i v e l y i nt h ee n d ： t h ef i f t hc h a p t e ri sa b o u ts o m ec o n c l u s i o n sa n dt a s k si nt h ef u t u r e k e yw o r d s v i d e os u r v e i l l a n c e ，h 2 6 4 ，f a s tm o t i o n e s t i m a t i o na l g o r i t h m ，d m 6 4 2 ，d i g i t a l m e d i ap r o c e s s o r 浙江大学硕士学位论文 第一章引言 随着数字技术的迅猛发展，人类社会已经步入了数字时代，各种技术层出不穷，极大 地改变了人类的生活。多媒体技术就是其中一项重要技术，它利用数字编码来描述和表达 图像、声音等各种媒体信息，带给人们极大的方便。 在各种媒体信息中，图像占据着尤其重要的位置。科学实验表明，人类从外界获取的 知识之中有8 0 都是通过视觉感知获取的。然而，数字图像中包含的数据量十分庞大，如 考虑中分辨率( 6 4 0 x 4 8 0 ) 下，全屏幕显示( f u l ls c r e e n ) ，真彩色( t r u ec o l o r2 4 位) ，全动作( f u l l m o t i o n ，2 5 3 0 帧秒) 的图像序列，播放1 秒钟的视频画面数据量为6 4 0 x 4 8 0 x 9 0 = 2 7 ，6 4 8 0 0 0 字 节，相当于存贮一千多万个汉字所占用的空间。如此庞大的数据量，给图像的传输、存贮 以及读出造成了难以克服的困难。因此，如何有效地对图像进行压缩一直是研究的重点和 热点，图像压缩编码日益成为一个越来越活跃的研究领域。图像编码技术的发展和广泛应 用也促进了许多有关国际标准的制定。 在现有的视频压缩标准中，最新制定的h 2 6 4 能取得最高的编码效率，但也带来了极大 的运算复杂度。为了进行实时的运用，就必须对现有的h 2 6 4 编码器进行优化。各种编码 算法优化能在基本保持图像质量的基础上，显著地降低运算复杂度，而d s p 以其处理能力 强，软件编程简便而成为h 2 6 4 编码器硬件平台的首选。 本章首先概述了视频压缩编码技术，然后介绍了编码技术的实现，最后提出了本文的 主要工作。 1 1 视频压缩编码技术简介 多媒体视频信号可以压缩的主要根据为：一、视频信号上存在大量的冗余度并且这种 冗余度在编解码后可以无失真地恢复；二、可以利用人的视觉特性，在图像变化不被觉察 的条件下减少量化信号的灰度级，以一定的客观失真换取数据压缩 1 。 从信息论观点来看，视频作为一个信源，描述信源的数据是信息量( 信源熵) 和信息冗 余量之和。数据压缩实质上是减少冗余量，冗余量的减少是减少数据量而不是减少信源的 信息量。多媒体视频信号的冗余度存在于结构和统计两方面。统计冗余就是在视频信号中， 各符号出现概率不等造成的冗余。结构上的冗余度表现为很强的空间( 帧内) 、和时间( 帧间) 相关性。 一般情况下画面的大部分区域信号变化缓慢，尤其是背景部分几乎不变。因此，视频 浙江大学硕士学位论文 信号在相邻像素间、相邻行间、相邻帧间存在强相关性，这种相关性就表现为空间冗余和 时间冗余。 人眼对图像的细节分辨率、运动分辨率和对比度分辨率的感觉都有一定的界限。致使 对图像处理时引入的失真不易察觉，仍会认为图像是完好的或足够好的。因此可以在满足 对图像质量一定的要求的前提下，减少表示信号的精度，实现数据压缩。 一个视频编码器，有三个主要的功能模块组成，时间模块、空问模块，熵编码器，如 图1 1 所示。无压缩的视频作为编码器输入，时间模块利用相邻帧的相似性来去除时间冗 余，通常采用运动补偿压缩，时间模块的输出是残差( 当前图像值与预测值之差) 及一系 列参数，典型的如运动矢量等。空间模块利用相邻象素之间的相关性去除了空间冗余，通 常采用变换、量化方法将输入的残差转换成系列量化系数。时间模块输出的一系列参数 和空间模块的系数将被熵编码器去除统计冗余，压缩成一个比特流，以便传输或者存储【2 】。 由此可见，视频编码的基本技术是：预测、变换以及熵编码。 v i d e o i n p u t e n c o d e d o u t p u t 图1 - l 编码器框图 除了上述三种技术外，又出现了基于模型的编码技术 3 】 4 】，基于对象( o b j e c tb a s e d ) 的编码技术 5 】，可分级的编码技术【6 等一系列技术。模型编码的关键是对特定的图像建 立模型，并根据这个模型确定图像中景物的特征参数，如运动参数、形状参数等。基于模 型的编码方法，适合于特定视频内容的编码，如视频压缩标准m p e g 4 中引入的人脸编码 部分，它对运动的人脸编码效果很好。基于对象( o b j e c tb a s e d ) 的编码技术是m p e g 4 的最 大特色，它把对象作为视频压缩的基本单位，可以提供给用户更多的交互性功能，就使用 的编码技术而言，主要是任意形状的图像块的压缩，比如利用空间分辨率较好的小波变换 进行基于对象的视频压缩 7 】，或者使用形状自适应的d c t 变换 8 1 1 9 等等。可分级的编码 技术的基本思想是，我们知道，视频的编解码需要一定的资源的支持，比如计算资源、带 宽资源、采集回放资源等，当用户拥有的资源达不到完全实现编码或解码的时候，该技术 可以使用户同样实现编码或解码的目的，只是服务的质量差一些 1 0 】。按照可分级的资源 的不同，可以分为：采样率可分级、复杂度可分级、带宽可分级等等。以上三种方法中， 模型编码由于不可能为自然界中所有物体建模，所以并不适用于通用的视频压缩。后两种 技术都属于功能性的技术，与原有的编码技术相结合，可以用来提供给用户更多的功能。 浙江大学硕士学位论文 目前视频领域中最为重要的编解码标准有国际电联的h 2 6 1 ，h 2 6 3 ，h 2 6 4 和国际标 准化组织运动图像专家组的m p e g 系列标准m p e g l 2 1 4 ，而在网络的视频流传输中，则 活跃着r e a lv i d e o ，w m v , q u i c k t i m e 等，此外还有o n 2 的v p 5 ，v p 6 以及我国自主研制的 a v s 等。总的来说，m p e g 系列标准从针对存储媒体的应用发展到适应传输媒体的应用， 其视频编码的基本框架是和h 2 6 x 一致的，只不过h 2 6 x 致力于高效率的视频编码技术， 而m p e g 更侧重系统和框架。具体来说，从h 2 6 1 到h 2 6 2 3 ，m p e g 一1 2 4 等都有一个共 同的不断追求的目标，即在尽可能低的码率( 或存储容量) 下获得尽可能好的图像质量，但 如何适应不同信道传输特性的问题也日益显现出来。可以说，h 2 6 1 是视频编码的典范之 作，h 2 6 3 是其发展，但h 2 6 3 选项众多，往往令使用者无所适从。m p e g - 4 的“基于对 象的编码”部分由于尚有技术障碍，目前还难以普遍应用。在此基础上发展起来的h 2 6 4 克服了上述弱点，在混合编码的框架下引人了新的编码方式，提高了编码效率，并大大加 强了“网络友好性”。同时，它是两大国际标准化组织共同制定的，应用前景十分看好。h 2 6 4 标准的这些优点使得它在视频监控、视频通信等领域将有着广泛的应用。 1 2 视频压缩编码技术的实现 各种视频压缩技术都存在一个共同的特点，那就是计算量很大。这对于视频压缩的实 时实现是一个挑战。因此，视频压缩的实时实现方案是一个研究的热点。一般可有两种方 法来实现，一是专用a s i c 芯片硬件实现，二是软件编程实现。软件实现可基于p c 也可 基于d s p 。 基于专用的a s i c 芯片实现既可以作为专用的编解码器，又可以作为其中的核心模块。 这种方法十分有效，因为芯片设计可以针对专门的算法进行高度优化。和微处理器相比， 专用视频解码器芯片不需要取指、译码等过程，还可以将控制器所需要的硬件开销减到最 小，因此它可以获得更高的处理速度，并占用更少的硬件电路。其缺点在于其中有大量的 专用模块，当算法需要修改时，便无法适应新的算法，只能重新设计。 更加灵活的方案是利用可编程多媒体d s p 处理器。在d s p 平台上进行视频产品开发 有以下几方面的优势： 第一，用户开发自由度更大，支持多种个性化开发，可以满足市场不断提出的新的要 求，在第一时间提升产品性能，增强产品的竞争能力。； 第二，d s p 处理能力强，可以在一个d s p 上同时实现多路音视频信号的压缩处理，还 可提供很多视频专用功能，比如视频滤波、高分辨显示输出、o s d 功能等； 第三，外围接口丰富，开发周期短，可实现快速技术更新和产品换代； 浙江大学硕士学位论文 第四，芯片功耗低，为提高产品的稳定性提供可靠保障。 多媒体d s p 处理器早期有p h i l i p s 公司的t r i m e d i a1 1 0 0 和1 3 0 0 1 1 1 2 ，及e q u a t o r 公司的b s p 一1 5 等。全球最大的d s p 制造商德州仪器( t i ) 推出了一款高性能多媒体处理 器t m s 3 2 0 d m 6 4 2 ，它基于c 6 4 xd s p 内核，采用二级缓存，并提供了丰富的外围接口，如3 个多通道视频口、以太网接口等，且功耗比t r i m e d i a 和e q u a t o r 等处理器要低。d m 6 4 2 可用于多媒体应用开发，如可视电话终端、网络摄像机等，系统实现方便，主要芯片只需 采用一片d m 6 4 2 即可，外加存储芯片s d r a m 、视频d e c o d e r 、e n c o d e r 和以太网p h y 等外 围芯片。d m 6 4 2 可实现多路视频采集和输出。所以，d m 6 4 2 是目前实现视频应用系统的理 想平台。 1 3 本文的工作 本文的工作着重在t i 公司的新型数字媒体处理器d m 6 4 2 的硬件平台上，实现和优化 h 2 6 4 视频编码器，使编码器能获得较好图像质量和编码性能。下面简单介绍本文的主要 工作和创新点： 第二章中首先简单介绍了h 2 6 4 编码框架，分析了h 2 6 4 采用的新技术对编码性能的 影响，然后比较了h 2 6 4 相较于以前标准性能的优势，分析了编码复杂度以及不同的参数 设置对编码器性能的影响，确立了可分级的编码方案。 第三章主要针对监控视频的特点，通过对h 2 6 4 编码器运动估计部分的研究，提出了 跳过宏块预判算法和提前中止算法。 第四章结合d m 6 4 2 嵌入式系统的硬件特性，调整和优化基于p c 的编码器软件，我们 将从代码移植、代码优化和内存调度策略等几个方面进行讨论。在这个过程中，总结了基 于d m 6 4 2 的视频压缩编码器软件开发的一些方法和技巧，可为今后基于t i c 6 0 0 0 系列d s p 系统的软件开发提供借鉴。 最后，在第五章中，对基于d m 6 4 2 的h 2 6 4 编码器的研究工作进行了总结，为将来的 发展提出了展望和规划。 本文的主要贡献和创新之处有： 1 通过分析不同的参数设置对编码器性能、复杂度的影响，确定了可分级的编码方案， 即根据实际需求选择合适的编码方案。 2 针对监控视频的特点，提出了跳过宏块预判算法和提前中止算法。跳过宏块预判算 法是预先判断编码宏块是否为跳过宏块，如果是，这些宏块将不再进行运动估计，从而减 4 浙江大学硕士学位论文 少计算复杂度，实验证明，判断效率可达4 5 左右。提前中止算法，针对监控视频中背景 块较多的特点，引进了多种块大小的最佳运动检测( v a r i a b l eb l o c k s i z e b e s tm o t i o n d e t e c t i o n ，v b b m d ) 算法【1 3 】，并且改进了这种算法中的关键技术一阈值的选取。在 v b b m d 算法中，阈值是根据f o r m a n 序列选取的固定值。我们根据监控视频帧间相关性 高的特点，改进了阈值的选取，使其能根据视频序列的运动情况选取合适的阈值。与 v b b m d 算法相比，阈值选取更具有针对性。 3 针对d i d 6 4 2 的特点，对视频编码程序的结构、算法和数据存储方面进行了优化。其 中包括根据d s p 硬件资源限制，对编码程序结构进行调整，使调整后的程序对系统资源的 需求更小，流程更规整；针对d m 6 4 2 的v l i w 指令体系，对程序局部函数代码进行汇编流 水优化，提高程序的整体效率；针对d i d 6 4 2 存储器系统的特点，结合h 2 6 4 编码器中内存 使用情况，对编码过程中的内存调用进行e d m a 操作以及缓存结构的优化。经过优化后的 编码程序在程序结构上更为紧凑、运行效率更高、数据流动更为顺畅。 下面，将分章节详细介绍这些具体的工作情况。 浙江大学硕士学位论文 第二章编码方案的选择 h 2 6 4 也被称为“m p e g 一4v i s u a lp a r t1 0 ”，也就是“m p e g - 4a v c ( a d v a n c e dv i d e o c o d i n g ) ”，是由i s o i e c 下属的m p e g ( m o v i n gp i c t u r e se x p e r t sg r o u p ) 和i t u 下属的 v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 共同成立的t ( j o i n tv i d e ot e a m ) 共同制定的， 并于2 0 0 3 年3 月被正式确定为i s ( i n t e m a t i o n a ls t a n d a r d ) 。与以往的标准相比，h 2 6 4 具 有最高的编码效率，其主要优点有 1 4 1 ： ( 1 ) 在相同的重建图像质量下，h 2 6 4 比h 2 6 3 + 和m p e g 4 ( p a r t2 ) 节约5 0 码率； ( 2 ) h 2 6 4 可在很宽的码率范围内提供高质量的视频服务； ( 3 ) h 2 6 4 对信道时延的适应性较好，既可工作在低时延模式以满足实时业务，如会议 电视等，又可工作于无时延限制的宽松场合，如视频存储等； ( 4 ) 具备较强的抗误码能力，包括支持传输环境恶劣的无线网络； ( 5 ) 采用分层模式，视频编码层( v c l ) p b 特有的网络适配层( n a l ) 专为网络传输设计， 因而进一步提高网络友好性。 以上特点使得h 2 6 4 一推出就受到了极大的关注，在可以预见的将来必将得到广泛的 应用。本章将分析h 2 6 4 所采用的新技术对编码效率、编码复杂度造成的影响，确定了可 分级的编码方案。 2 1h 2 6 4 编码框架 h 2 6 4 标准的主导思想是与现有的视频编解码标准一致的基于块的混合编码方 法，但是它同时运用了大量不同的技术。h 2 6 4 编码器基本框图2 1 所示。 圈2 1h 2 4 稿码暑框田 浙江大学硕士学位论文 第二章编码方案的选择 h2 6 4 也被称为“m p e g 4v i s u a lp a r t1 0 ”，也就是“m p e g _ 4a v c ( a d v a n c e dv i d e o c o d i n g ) ”，是由i s o t l e c 下属的m p e g ( m o v i n gp i c t u r e se x p e r t sg r o u p ) 和i t u 下属的 v c e g ( v i d e o c o d i n g e x p e r t s g r o u p ) 共同成立的j v t ( j o i m v i d e o t e a m ) 共同制定的， 并于2 0 0 3 年3 月被正式确定为i s ( i n t e r n a t i o n a ls t a n d a r d ) 。与以往的标准相比，h 2 6 4 具 有最高的编码效率，其主要优点有【1 4 ： ( 1 ) 在相同的重建图像质量下，h 2 6 4 比h 2 6 3 + 和m p e g 一4 ( p a r t2 ) 节约5 0 码率； ( 2 ) h2 6 4 可在很宽的码率范围内提供高质量的视频服务； ( 3 ) h 2 6 4 对信道时延的适戍性较好，既可工作在低时延模式以满足文时业务，如会议 电视等，又可工作于无时延限制的宽松场合，如视频存储等； ( 4 ) 具备较强的抗误码能力，包括支持传输环境恶劣的无线网络； ( 5 ) 采用分层模式，视频编码层( v c l ) 外特有的网络适配层( n a l ) 专为刚络传输设计， 因而进步提高网络友好性。 以上特点使得h 2 6 4 一推出就受到了极大的关注，在可以预见的将来必将得到j 一泛的 应用。本章将分析h 2 6 4 所采用的新技术对编码效率、编码复杂度造成的影响，确定了可 分级的编码方案。 2 1h 2 6 4 编码框架 h 2 6 4 标准的主导思想是与现有的视频编解码标准一致的基于块的混合编码方 法，但是它同时运用了大量不同的技术。h2 6 4 编码器基本框图2 1 所示。 法，但是它同时运用了大量不同的技术。h2 6 4 编码器基本框图2 1 所示。 6 浙江大学硕士学位论文 有关研究表明，h 2 6 4 编码视频流与m p e g - 2 编码视频流相比要节省6 4 的比特率， 与h 2 6 3 v 2 ( h 2 6 3 + ) 或m p e g 一4s i m p l ep r o f i l e 编码视频流相比，平均可节省3 9 的比 特率，而最多可节省5 0 的比特率( 如图2 2 所示) 1 5 。 t a ，r l p o t oc l f _ g 日m _ f k ，。 ， 彳“ ， 群 ， ，。f 并，。 ， 。?矿j r 。 f 绣 j 謦j 虢 i t m p e g 2 i - 呈嚣警。 j * h j f b 4 磁“ 9 1 3 04 6 0 01 8 0 0 图2 - 2 编码性能比较 h 2 6 4 有3 个p r o f i l e ：b a s e l i n e p r o f i l e ，m a i n p r o f i l e ，e x t e n d e d p r o f i l e 以满足不同应用的 需要。m a i np r o f i l e 的编码效率最高，e x t e n d e dp r o f i l e 其次，b a s e l i n ep r o f i l e 最低【16 。表 2 1 列出了各个p r o f i l e 所针对的应用和采用的编码算法。 表2 1h 2 6 4 的p r o f i l e p r o f i l e 算法典型应用 b a s e l i n eia n d p p i c t u r e t y p e s ( n o t b ) 低延时应用 i n - l o o pd e b l o c k i n gf i l t e r ( 可视电话、电视会 1 4 - s a m p l em o t i o nc o m p e n s a t i o n 议等】 t r e e - s t r u c t u r e dm o t i o ns e g m e n t a t i o nd o w nt o4 x 4 b l o c ks i z e v l c - b a s e de n l r o p yc o d i n g s o m ee n h a n c e de r r o rr e s i l i e n c ef e a t t i r e s f l e x i b l em a c r o b l o c k o r d e r i n g a r b i t r a r y s l i c e o r d e r i n g r e d u n d a n ts l i c e s m a i n a l lb a s e l i n ef e a t u r e s e x c e p te n h a n c e d e l t o r 流媒体、移动应用 r e s i l i e n c ef e a t l l r e s 等 浙江大学硕士学位论文 bo i c t u r e s c a b a c m b - l e v e lf l a m e f i e l ds w i t c h i n g a d a p t i v ew e i g h t i n gf o rba n dpp i c t u r ep r e d i c t i o n i n t e r l a c e e x t e n d e d a l lb a s e l i n ef e a t u r e s 电视广播应用等 b p i c t u r e s m o r ee r r o rr e s i f i e n c e ：d a t ap a r t i t i o n i n g s p s 1s w i t c h i n gp i c t u r e s h 2 6 4 不仅定义了p r o f i l e ，还定义了l e v e l ，针对处理器的处理能力和内存大小，l e v e l 提供了语义限制。我们知道，图像尺寸是影响编码执行所需处理能力和内存大小的关键因 素。因此，h 2 6 4 标准针对不同的图像大小和最大比特率来定义了1 5 个l e v e l 。另外，l e v e l 还限制了使用的最大参考帧数。表2 - 2 列出了标准中指定的各个l e v e l 以及一些参数限制 f 1 8 1 。从表中可以看出，h 2 6 4 支持的最大图像格式为4 k * 2 k ，与m p e g 4 最大支持4 c i f 相比，具有很强的优势。 表2 - 2 h 2 6 4 的l e v e l 浙江大学硕士学位论文 2 2h 2 6 4 性能与复杂度分析 从表2 1 可以看出，为满足实际应用的需要，h 2 6 4 采用了一系列新技术，下面将从 改善压缩性能、提高图像质量、增强网络适应性三方面对采用的新技术进行分析。 1 改善压缩性能 ( 1 ) 树结构的运动补偿，块最小尺寸为4 4 h 2 6 4 采用了不同大小和形状的宏块分割与亚分割的方法。一个宏块的1 6 x 1 6 亮度值 可以按照1 6 x 1 6 、1 6 x 8 、8 x 1 6 或8 x 8 进行分割，而如果选择了8 x 8 分割，那么还可以按照 8 x 8 、8 x 4 、4 x 8 或4 x 4 进行亚分割( 如图2 3 所示) ，这些宏块分割与亚分割的模式可以组 合出许多种宏块的分割方法。这种把宏块划分成不同大小的块和亚块进行运动补偿的方法 被称为树结构的运动补偿。宏块分割与亚分割所产生的每一个亮度块都有自己的运动矢 量。对于宏块中的色度值，分割方法是和亮度一样的，但是由于4 ：2 ：0 采样的关系，色度 分割块的大小是亮度分割块的一半，而且当色度块在利用运动矢量时，必须要将它各个分 量除以二。 目匝田 e 匝口 = 4= a酬e = bm 僻， 图2 - 3h 2 6 4 中的宏块划分 这种新技术的使用，与h 2 6 3 + 相比，能转换成相当于2 8 3 的码率节省，与此同时， 采用7 种不同的块大小，以f o r e m a n ( q c i f ) 为例，仅整象素块匹配就花费了7 5 的编 码时间，7 种块的运动估计时间占总运动估计时间的比例为，1 6 1 6 ：3 2 ，1 6 8 ：1 2 ，8 1 6 ：1 3 8 8 ：1 2 ，8 4 ：l o ，4 8 ：1 1 ，4 4 ：9 。 ( 2 ) 亚象素插值 h 2 6 4 可以达到四分之一像素的运动精度，这是通过利用整像素点的亮度值进行内插 得到的。内插过程先是通过6 抽头的滤波器来获得半像素精度，然后用线性滤波器来获得 四分之一像素的精度。又由于4 ：2 ：0 采样的关系，色度的运动精度就达到八分之一像素， 这也是通过线性滤波器插值得到的。 使用亚像素空间精度与使用整数像素空间精度相比，能产生大于2 0 的码率节省；1 2 浙江大学硕士学位论文 象素块匹配占编码时间的l l ，1 4 象素块匹配占编码时间的1 4 ( f o r e m a n ( q c i f ) ) 。 ( 3 ) 多参考帧 再次，h 2 6 4 还可以采用多参考图像( 最多前向和后向各5 帧) 来进行运动预测，这 样可以对周期性运动、平移封闭运动和不断在两个场景问切换的视频流有效果非常好的运 动预测。使用多参考帧预测与只使用一个参考帧相比，能产生5 1 0 的码率节省。 使用了多参考图像，h 2 6 4 不仅能够提高编码效率，同时也能实现更好的码流误码恢 复，但需要增加额外的时延和存储容量。研究发现，在编码端采用多参考帧，是最重要的 复杂度瓶颈。 ( 4 ) 新的帧内预测 在以往标准中，只采用i n t r a 编码的图像称为i 图像，在i 图像中是直接把像素块的数 值进行变换，这样处理的结果就导致i 图像包含了大量的数据，压缩效率不是很高。h 2 6 4 根据相邻像素可能有相同的性质，利用了相邻像素的相关性，采用了新的i n t r a 预测这种 模式。通过当前像素块的左边和上边的像素( 已编码重建) 进行预测，只对实际值和预测 值的差值进行编码，这样就能用较少的比特数来表达i n t r a 编码的像素块信息。在当前的 标准中，亮度块可以有9 种4 x 4 块的i n t r a 预测模式和4 种1 6 x 1 6 块的i n t r a 预测模式，如 图2 4 ，图2 5 所示。而色度8 x 8 块的4 种模式与亮度的4 种1 6 x 1 6 块的模式相同。 图2 44 x 4 块的9 种i n t m 预测模式 图2 - 51 6 x 1 6 块的4 种预测模式 这种新的帧内预测，与h 2 6 3 + 高级帧内编码模式中d c t 域的帧内预测相比，在相同的 码率下，其p s n r 值平均提高了4 3 7 d b 。但是，由于采用了两种不同的分块大d 、4 x 4 ，1 6 x 1 6 及1 3 种预测模式，大大增加了编码器的复杂度。 浙江大学硕士学位论文 ( 5 ) 熵编码 h 2 6 4 使用了两种熵编码方法，即基于上下文的自适应变长编码c a 、，l c ( c o n t e x t b a s e da d a p t i v ev a r i a b l el e n g t hc o d i n g ) 与一致变字长变码u v l c ( u n i v e r s a l v a r i a b l el e n g t hc o d i n g ) 相结合的编码和基于上下文的自适应二进制算术编码c a b a c ( c o n t e x t b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) 。 在以往的标准中，都是采用u v l c 的，但是对于u v l c 来说，所有的符号都采用一 张仅从概率统计分布模型得出的码表。它虽然简单，但是可能会有以下的缺点：概率分布 可能不是很符合实际情况；概率分布是静止的；忽略了符号相关性，没有利用条件概率： 码字必须要有整数个比特。这些缺点使得u v l c 在中高码率时压缩效果不是很好。 c a v l c 是用于对变换系数的编解码。变换和扫描后的系数有如下几个特点：经常等 于士1 ，其他非0 系数的变化有一定的规律性和相关性，0 系数的游程编码也具有一定特性。 由于这些特点能与c a v l c 相适应，所以c a v l c 对变换后的系数可以进行较大的压缩。 c a b a c 使编码和解码两边都能使用所有句法元素( 变换系数、运动矢量) 的概率模 型。为了提高c a b a c 的效率，通过一种称之为内容建模的过程，使基本概率模型能适应 随视频图像而改变的统计特性。内容建模提供了编码符号的条件概率估计，利用合适的内 容模型，存在于符号间的相关性可以通过选择目前要编码符号邻近的已编码符号的相应概 率模型来去除，不同的句法元素通常保持不同的模型。同时，由于利用了算术码字，对于 每个符号来说，就用到了非整数个比特。如果给定的符号为非二进制，它将使用u v l c 二进制树完成二进制化。每一次二进制判决后，算术编码器使用新的概率估计进行编码， 此概率估计是在前一内容建模阶段更新的。在每一次二进制化编码以后，向上调整用于刚 刚编码的二进制符号的概率估计。这样，模型就保持了对实际统计特性的跟踪。 c a b a c 熵编码节省的码率通常在1 0 1 5 之间，但是这就需要比基本u v l c 更多 的计算量和存储容量( 最多4 0 ) 【1 5 。 2 改善图像质量 ( 1 ) 系数变化及量化 h 2 6 4 把运动估值和i n t r a 预测的残差结果从时域变换到频域，使用了类似于4 x 4 离散 余弦变换d c t ( d i s c r e t ec o s i n et r a n s f o r m ) 的整数变换，面不是像m p e g 2 和m p e g 一4 那 样采用8 x 8d c t 的浮点数变换。由于h 2 6 4 使用的是以整数为基础的空间变换，具有效 果好、计算快( 只需加法与移位运算) 、反变换过程中不会出现失配问题等优点，并且结 合量化过程，保证了在1 6 位计算系统中，计算结果有最大的精度且不会溢出。同时，由 于变换块大小从8 x 8 变为4 x 4 ，能够减少块效应和振铃效应。根据残差系数的不同，h 2 6 4 浙江大学硕士学位论文 采用了3 种整数变换。 l1 2l ll l一2 l1 12 1l 2一l 11 l 一1 一l j 图2 6 h 2 6 4 的3 种整数变换矩阵 h 2 6 4 采用了5 2 个梯状量化系数，量化值的设计使得q p ( q u a n t i z a t i o np