（信息与通信工程专业论文）基于合成参考帧的视频编码技术研究.pdf

浙江大学硕士学位论文 摘要 视频通信特别是视频监控、可视电话中大多场景会长时闻不变，并且遥常有 较大的噪声，尤其是当光照条件不好时，如在室内、夜阏，嗓声曼太，噪声的 影响使得编码时残差增大，这就大大影响了视频的压缩效率，导致视频码率的 大辐提高，论文提出的合成参考帔技术较好地舞决了这个闯题。 论文首先以a v s 为例简单分析了基于预测和变换编码的混合视频编码技 术，对予a v s 视频编码时的运动矢量、残差状况进行了统计和分析。接着对于 加嗓的视频序裂的编码性能、运动矢量、宏块帧内编筠情况等进行了实验分析。 论文认为减小参考帧中的视频噪声有利于提高运动估计的准确性、减小残差， 麸甭提高编码效率。 论文提出了逐帧递赡更新的合成参考帧视频编码方法和基于运动补偿的合 成参考帧视频编码方法掰种方法。这两种方法均能降低视频编码中的噪声，提 高预测编码的准确性，降低编码码率。在每种编码方法中，论文给出了合成参 考帧的使用方法，合成参考帧的合成更新过程，利用合成参考帧的视频编码原 理，剩用合成参考帻麴其体编码过程，以及详尽的实验数据分析。 两种合成参考帧都是经过帧间滤波的图像，有较少的噪声，用其进行预测 编码可以减小编码残差，降低编码玛率，提嵩了预测准确性，使编码的主客观 性能都得到了提高。其中逐帧递嬲更新的合成参考帧更适合于场景不动，置大 部分区域静止的视频序列。测试结果表明，对于这样的典型含嗓监控视频痔列， 逐帧递麴更新的合成参考帧编码方法与改进前的编码方法相比，在相同的p s n r 下能够节省约2 0 的码率，且编码重建图像的主观质量有所改善。蒸于运动补 偿的合成参考帧视频编码方法，嚣其有运动睾卜偿捧爝，所以具有更强的适用性， 对大部分监控视频序列，编码性能均有改善，与改进前的编码方法相比，对典 型含噪监控视频序列，在相砑麴p s n r - f 能够节省2 0 以上的码率，编码重建 图像的主观质量也得到改善。 关键词：视频编码，a v s ，褫频监控，合成参考帧，视频滤波 浙江大学硕士学位论文 一_ a b s t r a c t i nv i d e oc o m m u n i c a t i o ne s p e c i a l l yv i d e os u r v e i l l a n c ea n dv i d e op h o n e ，v i d e o s e q u e n c e sa l w a y sh a v el o n gp e r i o do fs t a t i cs c e n ea l o n gw i t hs o m en o i s e i nm a n y c a s e s ，t h ei l l u m i n a n c el e v e li sl o w e r , s u c ha sa tn i g h to rs o m e p l a c e sa si nh o u s eo r g a r a g e ，s ot h ev i d e os e q u e n c e sc o n t a i nm o r en o i s e t h en o i s e1 c a d st ot h ei n c r e a s eo f t h ep r e d i c t i o nc o s tf o rv i d e oc o d i n g t h e nt h ec o d i n gb i t r a t ei n c r e a s e sa l o t a i l dt h e c o s tf o rv i d e ot r a n s m i s s i o na n d r e c o r d i n gi si n c r e a s e d t h i sp a p e rf i r s ti n t r o d u c e st h ek e yt e c h n o l o g i e so fv i d e oc o d i n gs t a n d a r da v s t h e nt h i sp a p e rg i v e ss t a t i s t i co fm o t i o nv e c t o r sa n dm a d o fm a c r o b l o c bd u r i n g t h ev i d e oc o d i n g t h e np a p e rs h o w st h ec o d i n g p e r f o r m a n c ew h e nc o d i n gt h ev i d e o s e q u e n c e sa d d e dg a u s s i a nn o i s e a i m i n ga tt h ep r o b l e m so fn o i s ea b o v e t k sp a p e r p r o p o s e san e wk i n do fr e f e r e n c ep i c t u r e 一- s y n t h e s i z e dr e f e r e n c ep i c t u r e t h i sp a p e rp r o p o s e st w ok i n d so f s y n t h e s i z e dr e f e r e n c ep i c t u r ec o d i n gm e t h o d s o n ei sa b o u ts y n t h e s i z e dr e f e r e n c e p i c t u r eu p d a t e dr e c u r s i v e l yp i c t u r eb yp i c t u r ea n d t h eo t h e ri sa b o u ts y n t h e s i z e dr e f e r e n c ep i c t u r eb a s e do nm o t i o nc o m p e n s a t i o nf o r v i d e oc o d i n g i ne a c hv i d e oc o d i n gm e t h o du s i n gs y n t h e s i z e dr e f e r e n c ep i c t u r e ，w e g i v eo u tt h ep r i n c i p l eo fc o d i n g ，t h eu s a g eo fs y n t h e s i z e dr e f e r e n c ep i c t u r e ，a n dt h e u p d a t i n gs t r a t e g i e sf o rs y n t h e s i z e dr e f e r e n c ep i c t u r e t h ec o d i n gp r o c e d u r eu s i n g r e f e r e n c ep i c t u r ei sd e s c r i b e di nd c t m l ，a n dt h ee n c o d i n gp e r f o r m a n c e i sa n a l y z e d t h es y n t h e s i z e dr e f e r e n c ep i c t u r ei sap i c t u r ea r e rb e i n gi n t e r - f r a m ef l i t e r e d t h et w om e t h o d su s i n gs y n t h e s i z e dr e f e r e n c ep i c t u r ef o rv i d e oc o d i n gc a l lb o t h b r i n gn o i s er e d u c t i o ni nr e f e r e n c ep i c t u r ea n di m p r o v et h ea c c u r a c yo ft h em o t i o n c o m p e n s a t i o n t h ec o d i n gm e t h o du s i n gs y n t h e s i z e dr e f e r e n c ep i c t u r eu p d a t e d r e c u r s i v e l yp l c t u r cb yp i c t u r ei sm o r ef a v o r a b l ef o rs e q u e n c e sw h i c hh a v eal o n g p e r i o do fs t a t i cs c e n e t h ec o d i n gb i t r a t e sc a nd e s c e n da b o u t2 0 w i t ht h es 锄e p s n rw h e n c o d i n gt y p i c a ls u r v e i l l a n c es e q u e n c e t h ec o d i n gm e t h o d u s i n g s y n t h e s i z e dr e f e r e n c ep i c t u r eb a s e do nm o t i o nc o m p e n s a t i o ni sf a v o r a b l ef o ra l m o s t a l lv i d e os e q u e n c e s i tc a l li m p r o v et h ea c c u r a c yo fm o t i o np r e d i c t i o na n dc a na l s o b r i n ga b o u t2 0 d e c r e a s eo fc o d i n gb i t r a t e k e y w o r d s ：v i d e oc o d i n g ，a v s ，v i d e os u r v e i l l a n c e ，s y n t h e s i z e dr e f e r e n c ep i c t u r e ， v i d e of i l t e r i n g i i 浙江大学硕士学位论文 第一章绪论 随着互联网的迅猛发展以及多媒体技术的日益成熟，视频通信的应用越来越广 泛，实现视频通信的方式也变得多种多样，如可视电话、即时通信、视频聊天、i p t v 以及远程监控、远程医疗等等。由于视频通信发展的前景广阔，视频编解码技术无 疑成了视频通信行业中关键所在。 1 1 研究背景 8 0 年代后期，随着芯片技术、传输技术、数字通信、视频编解码技术和集成电 路技术不断发展并日趋成熟，适合商用和民用的可视电话才得以浮出水面，走向人 们的视野。可视电话、视频会议等的图像的内容通常是在一个细节不十分复杂的前 景前，有一个活动量不大的单个人的头肩像。 视频监控是视频通信行业中的另一个核心组成部分。随着现代化社会的不断发 展和安全技术防范行业的持续发展，人们对监控系统的需求层次不断提高。从上世 纪8 0 年代中期的模拟视频监控系统开始，到9 0 年代后期的数字化视频监控系统， 直到现在的视频监控系统正在全面迈向数字化、网络化、智能化和集成化的方 向发展。除正在控制的摄像机背景较多改变外，视频监控中大多场景会长时间不变。 但当天气变化，有云飘过，阳光改变使阴影变化等情况时，视频图像也会受到影响。 可视电话、视频会议以及视频监控等视频通信中的图像内容通常具有以下特点： ( 1 ) 具有较多的背景区域。背景区是指摄像机不动而摄取的运动目标后面的背景， 它对运动目标起陪衬作用，一般它是静止的，若外界条件不变，则相邻两帧背 景区的绝大部分数据相同，这就意味着两帧背景区之间的帧间相关性很强。 ( 2 ) 图像内容中通常有较大的噪声，主要是输入编码器前引入的视频噪声，如传感 器光电子噪声、放大电路热噪声、电源干扰引入的噪声、模拟视频信号传输时 引入的噪声等，尤其是当光照条件不好时，如在室内、夜间时，图像中的噪声 往往更大。 随着视频通信的广泛应用，应用在视频通信中的视频编解码技术也越来越关键。 若视频图像内容具有较好的清晰度，图像质量很好的情况下其背景区域是保持不变 的，充分利用其静止的背景区编码是非常有效的。但是实际中视频图像往往存在一 定的噪声，尤其是当光照条件不好时，如室内、夜间，噪声往往更大，实验证明夜 间编码码率甚至比白天编码码率的一倍还多，这严重影响了视频的压缩效率。尤其 是随着监控系统的规模的扩大，如此大的数据量给传输和录像都带来了极大的困扰。 浙江大学硕士学位论文 针对视频监控越来越广泛的应用，a v s ( a u d i ov i d e oc o d i n gs t a n d a r d ) 视频编 码标准正在推出一套适合于视频监控需求的标准a v s s 。a v s s 针对视频监控的需 求如降低图像噪声及编码码率等而需要引入新技术，以适应视频监控场景中序列的 编解码的需求。 因此，利用上述视频监控、视频会议和可视电话等视频通信中图像的特点，针 对上述研究背景，提高含噪视频图像的压缩效率具有很好的实用价值。 1 2 视频通信中的编解码技术及存在的不足 视音频的编解码技术是视频通信中的关键技术。1 9 8 8 年i t u t 颁布了h 2 6 1 【1 】 建议草案，该建议以混合编码为核心，以后制定出一系列的视频编码标准，如i t u t 的h 2 6 3 1 2 、h 2 6 4 a v c 3 4 1 以及i s o 的m p e g l 2 4 1 5 1 6 7 8 等。 h 2 6 1 是最早的运动图像压缩标准，是i t u t 为i s d n 开展可视电话、视频会 议而制定的，速率为6 4 k b i t s 的整数倍。它详细制定了视频编码的各个部分，包括 运动补偿的帧间预测、d c t 变换、量化、熵编码以及与固定速率的信道相适配的速 率控制等部分。h 2 6 1 只对c i f 和q c i f 两种图像格式进行处理，每帧图像分成图 像层、宏块组( g o b ) 层、宏块( m b ) 层、块( b l o c k ) 层来处理。 h 2 6 3 是国际电联l t u t 的一个标准草案，是为低码流视频编码而设计的。随 后出现的第二版m 2 6 3 + ) 及h 2 6 3 + + 增加了许多选项，使其具有更广泛的适用性。 h 2 6 3 的编码算法与h 2 6 1 相比做了一些改善和改变，以提高性能和纠错能力。1 9 9 8 年i u t - t 推出的h 2 6 3 + 是h ，2 6 3 建议的第2 版，它提供了1 2 个新的可协商模式和 其他特征，进一步提高了压缩编码性能。另外，h 2 6 3 + 对h 2 6 3 中的不受限运动矢 量模式进行了改进，加上1 2 个新增的可选模式，不仅提高了编码性能，而且增强了 应用的灵活性。h 2 6 3 已经基本上取代了h 2 6 1 。h 2 6 3 + + 在h 2 6 3 + 基础上增加了3 个选项，这3 个选项为：选项u 、选项v 和选项w ，主要是为了增强码流在恶劣信 道上的抗误码性能，同时为了提高增强编码效率。 m p e g 是活动图像专家组( m o v i n gp i c t u r ee x p o a sg r o u p ) 的缩写，于1 9 8 8 年成 立，是为数字视音频制定压缩标准的专家组，目前已提出m p e g 1 ，m p e g 2 ， m p e g - 4 等标准。m p e g 1 标准于1 9 9 3 年8 月公布，用于传输1 5 m b i t s 数据传输 率的数字存储媒体运动图像及其伴音的编码。m p e g 组织于1 9 9 4 年推出m p e g 2 压缩标准，以实现视音频服务与应用互操作的可能性。m p e g 2 标准是针对标准数 字电视和高清晰度电视在各种应用下的压缩方案和系统层的详细规定，被认定为 s d t v 和h d t v 的编码标准。运动图像专家组m p e g 于1 9 9 9 年2 月正式公布了 m p e g - 4 ( i s o i e c l 4 4 9 6 ) 标准第一版本。同年年底推出了m p e g - 4 第二版，且于2 0 0 0 浙江大学硕士学位论文 年年初正式成为国际标准。m p e g - - 4 与m p e g 1 和m p e g - 2 有很大的不同，m p e g - 4 不只是具体压缩算法，它是针对数字电视、交互式绘图应用( 影音合成内容) 、交互 式多媒体( w w w 、资料撷取与分散) 等整合及压缩技术的需求而制定的国际标准。 m p e g - 4 标准将众多的多媒体应用集成于一个完整的框架内，旨在为多媒体通信及 应用环境提供标准的算法及工具。 h 2 6 4 a v c 是目前由i t u - t 的视频编码专家组( v c e g ) 及i s o d e c 的活动图像 专家组( m p e g ) 大力发展研究的、适应于低码率传输的新一代压缩视频标准。2 0 0 3 年3 月由两个专家组组成的联合视频专家组0 v t ) 公布了这一压缩视频标准的最终 草案，此标准被称为i t u t 的h 2 6 4 协议或i s o i e c 的m p e g - 4 的高级视频编码部 分。h 2 6 4 不仅比h 2 6 3 和m p e g - 4 节约了5 0 的码率，而且对网络传输具有更好 的支持功能，它引入了面向i p 包的编码机制，有利于网络中的分组传输，支持网络 中视频的流媒体传输。h 2 6 4 具有较强的抗误码特性，可适应丢包率高、干扰严重 的无线信道中的视频传输，支持不同网络资源下的分级编码传输，从而获得平稳的 图像质量。 2 0 0 2 年6 月成立的a v s 9 1 0 11 1 1 2 1 是中国自主制订的数字电视、i p t v 等音 视频系统的基础性标准。a v s 标准第2 部分视频( a v s l - p 2 ) 属高效的第二代视频编 码技术，相比于第一代标准m p e g 2 ，编码效率提高2 3 倍，并且实现方案简洁， 因此，a v s 视频标准已经为i p t v ，数字电视广播等应用做好了充分的技术准备。 同时，a v s 标准具有专利许可方式简洁、相关标准配套的优势。这将为中国的i p t v 、 数字电视广播等重大信息产业应用及民族i t 产业发展起到积极的推动作用。 上述这些基于块的预测和变换的编码技术在视频监控、视频通信领域得到了广 泛的应用。但是当编码图像中含有较多的噪声的时候，由于噪声的特点及其影响， 现有的这些编码技术会使得编码残差变大，从而大大影响了编码效率。视频序列中 的噪声大多可看成高斯随机噪声，文献 1 3 1 1 1 4 1 都为视频序列中噪声建立高斯模型进 行分析。和视频信号的帧间相关性不同，高斯噪声具有很大的随机性，且高斯噪声 的帧间相关性要大于帧内相关性。 设图像中噪声均值为零，噪声方差为仃2 。每帧图像的噪声是独立同分布的， 则当前图像和参考图像差值中的噪声方差为2 0 2 。这些噪声数据作为一部分残差进 行了编码，逐帧累计起来，噪声的数据量非常大，大大影响了视频编码效率，导致 编码码率很高，同时影响图像的质量，使得p s n r 大幅下降。 浙江大学硕士学位论文 1 3 国内外研究现状 针对图像中含有噪声这一特点，为了提高这种视频序列的编码效率，图像去噪 问题无疑成了研究的热点。一般地，信号主要分布在低频区域，而噪声主要分布在 高频区域，但同时，图像的细节信息也分布在高频段。图像去噪的常用方法是通过 预处理方法抑制图像中的高频信息，提高图像信噪比，改善图像的视觉效果，使之 更符合人眼的视觉特征。但图像去噪需要尽量保留图像细节信息。 去除噪声可以基于硬件实现，也可以基于软件算法实现。目前推出的一些去噪 芯片如e v d 1 、n e x t c h i p 等，以及图像处理芯片，f p g a 等能够去除一定的噪声， 但是它们都采用预处理方式，复杂度高，开销大，且实现困难，同时进行帧间滤波 的话也会带来较大帧存负担。 目前对于视频信号的降噪方法大致可以分为以下几类：第一类是空域降噪方法 【1 5 1 8 】，它仅仅在空域对信号做降噪处理；第二种是时域降噪方法 1 9 2 5 ，它仅仅 在时域作降噪处理；第三类是时空降噪方法 2 6 2 8 ，它同时在时域和空域进行降噪 处理，也就是通常所说的3 d 降噪。 空域降噪方法是直接在空间域上进行平滑处理的技术，典型的有中值滤波、加 权平均滤波等方法。在这类方法中，图像被认为是由许多灰度变化缓慢的小块组成， 相邻像素间存在很高的空间相关性，而噪声是统计独立的。如帧内平均滤波用像素 邻域内的各像素的平均灰度值代替该像素来的灰度值，实现图像的去噪。这种算法 简单，计算速度快，但是它主要的缺点是在降低噪声的同时，使图像产生较为严重 的模糊，特别是在边缘和细节处，而且邻域越大，模糊程度越严重。 由于连续的多帧图像往往有很多的冗余信息，这就给我们在时域上的去噪处理 带来可能。对于静止的图像序列，简单的多帧平均法对提高信噪比，改善图像质量 有明显的效果。对连续n 帧图像，如果图像序列中的噪声是相互独立、均值为零的 加性随机噪声，若将这n 幅图像进行平均，则可将功率信噪比提高n 陪。然而对于 运动图像，这种简单的平均将会导致运动图像拖尾现象的产生。r a k e s h 提出了在运 动估计后对多帧图像进行k a l m a n 滤波的方法。对运动的部分进行运动估计来进行 时域滤波，能够减少拖尾现象，但是也会带来或多或少的运动细节损失，且复杂度 高，不利于实现。 3 d 滤波是将时域滤波和空域滤波结合起来，能够使得滤波效果更加明显，但同 样具有细节损失的问题。3 d 滤波具有较大的复杂性，作为预处理代价较大，不利于 实现。 图像经过上述预处理降噪后，或多或少都会有细节损失，有时图像模糊度严重， 浙江大学硕士学位论文 经过预处理的图像再进行编码后，再加上编码过程中量化等因素引入的误差损失， 使得重建图像质量偏离真实图像更远。即使有些图像预处理去噪后损失很小，但是 这种算法往往复杂度高，实现困难。 为了降低视频通信如监控视频中大面积背景区域编码码率，展开了很多关于运 动补偿策略的研究 2 9 3 4 】。这些研究从运动搜索，帧间预测等方面寻找优化，尽管 这些研究可以在一定程度上降低编码码率，但是对于监控序列中的暴露区等却不能 很好地保证运动估计的准确性。为了提高被遮盖的背景区域在运动目标移除后( 即暴 露区) 的运动估计的准确性，1 9 9 0 年h e p p e r 3 5 首先提出了背景缓存的概念来提高含 有大量背景的视频的编码效率。在h e p p e r 的文章里，需要运用一种运动检测算法来 获得背景区域。随后，相关的研究 3 6 3 9 也利用了背景缓存的概念。这些文章都为 背景区域分配了多个缓存，利用运动检测等算法来放置保留这些背景，必要的时候 用这些缓存中的背景来对暴露区的背景区域进行帧间预测，提高了暴露区的运动估 计的准确性。 但是这些研究只是针对暴露区部分来进行研究，并且引入了多个缓存分配，加 大了算法复杂度，在每帧图像上暴露区不大时，压缩效率的提高并不显著。在实际 应用中，常常更为突出的是噪声对编码效率的影响，而上述研究并不能提高编码效 率。 1 4 本文的工作 本文就是根据a v s 视频编码标准中对于视频监控的需求所确定。针对监控中视 频序列存在长时间不变的背景，光照等条件不好时噪声幅度较大等的主要特点以及 图像预处理去噪方法的不足，在a v s s 编码方法的基础上，本文在帧间预测时运动 估计过程中引入了一种新的参考帧合成参考帧( s y n t h e s i z e dr e f e r e n c ef r a m e ) ， 简称s r 帧。研究内容主要包括两种s r 帧的合成方法，s r 帧在帧间预测过程中的 运用方法，利用s r 帧的视频编码方法原理，用s r 帧的具体编码过程以及编码性能 测试结果。 1 5 论文安排 本文主要针对视频监控等视频通信应用中的视频编码的需求，针对这些场景中 视频序列的特点，提出了一种基于合成参考帧的视频编码方法。该编码方法可以提 高视频编码效率，使得编码结果的主客观性能都有所提高。 第二章首先筒述了a v s 视频编码的结构，码流特征以及关键技术分析，然后给 浙江大学硕士学位论文 出了a v s 视频编码性能分析以及对加噪序列的编码性能分析。 第三章首先提出了对视频序列中的噪声估计方法，接下来引入了逐帧递归更新 的合成参考帧视频编码方法。文章给出了合成参考帧的使用方法、合成参考帧的合 成方法、合成参考帧视频编码原理、参考帧管理以及利用合成参考帧的具体编码过 程。并且给出了详尽的实验数据分析。 第四章提出了基于运动补偿的合成参考帧视频编码方法。文章具体分析了基于 运动补偿的合成参考帧的合成方法、基于运动补偿的合成参考帧视频编码原理、参 考帧管理以及基于运动补偿的合成参考帧的具体编码过程。并给出了详尽的实验数 据分析。 第五章给出了全文总结和展望。 浙江大学硕士学位论文 第二章a v s 视频编码技术及其性能分析 本章以a v s 视频编码标准为例给出基于块的预测和变换编码的视频编码的 技术介绍以及编码性能分析。 2 0 0 2 年6 月，中国信息产业部批准成立“数字音视频编解码技术标准工作 组( a v s - v 作组1 ，目前参加工作组的单位己达1 0 0 多家，覆盖了国内本领域 的主要产品开发生产厂家与研究单位，也包括跨国企业与机构。工作组的任务是： 面向我国的信息产业需求，联合国内企业和科研机构，制( 修) 订数字音视频的压 缩、解压缩、处理和表示等共性技术标准，为数字音视频设备与系统提供高效经 济的编解码技术，服务于高分辨率数字广播、高密度激光数字存储媒体、无线宽 带多媒体通讯、互联网宽带流媒体等重大信息产业应用。针对于视频监控的需求， a v s 推出了基于监控的标准a v s s 。它的实现主要是基于a v s p 2 的基础，去掉 了p a f f 编码模式。 2 1a v s 系统结构 无论是a v s l - p 2 1 9 1 0 还是a v s l p 7 标准，都和h 2 6 4 标准具有相同的编码 框架，如图2 1 所示。但由于标准制定时出于对不同应用的考虑，在技术取舍上 对复杂度性能的衡量指标也不相同，因而在复杂性、编码效率上的表现也各有异 同。比如一般认为h 2 6 4 的编码器大概比m p e g 2 复杂9 倍，而a v s l p 2 则由 于编码模块中的各项技术复杂度都有所降低，其编码器复杂度大致为m p e g 2 的6 倍，而编码在高清序列上表现出与h 2 6 4 相近的性能。 浙江大学硕十学位论文 图2 1a v s 视频编码框架 在系统结构的制定中，a v s l 一p 2 视频编码的主要特点是应用目标明确，技 术有针对性。该标准充分考虑高清晰度和高分辨率数字媒体传输和显示的特点以 及技术实现的复杂度，对一些核心的压缩技术进行了取舍和优化。与h 2 6 4 a v c 的b a s e l i n ep r o f i l e 相比，a v s l p 2 增加了b 帧、i n t e r l a c e 等技术，使得压缩效 率明显提高，而与h 2 6 4 a v c 的m a i np r o f i l e 相比，又减少了c a b a c 等实现难 度大的技术，从而增强了可实现性，有利于大规模应用的实现。a v s l 一p 2 采用 的基于块的混合视频编码框架。具体包括运动估计，运动补偿，空域上的变换以 及基于统计的熵编码等技术。解码的基本单位是宏块，一个宏块包括一个1 6 x 1 6 的亮度样值块和2 个8 x 8 的色度样值块。在语法结构上码流包括：序列、图象、像 条、宏块和块。 a v s l p 2 核心技术包括：8 8 整数变换、量化、帧内预测、1 4 精度像素插值、 特殊的帧间预测运动补偿、二维熵编码、去块效应环内滤波等。目f i i j a v s1 p 2 视 频编码只定义了一个档次( p r o f i l e ) 即基准档次。该基准档次又分为4 个级别 ( 1 e v e l ) ，分别对应高清晰度与标准清晰度应用。 2 2 编码比特流的结构 视频序列是比特流的最高层语法结构 9 】。视频序列由序列头开始，后面跟 着一个或多个编码图像，每帧图像之前应有图像头。编码图像在比特流中按比特 流顺序排列，比特流顺序应与解码顺序相同。解码顺序可与显示顺序不相同。序 列结束码表明了一个视频序列的结束。标准支持两种序列：逐行序列和隔行序列。 浙江大学硕士学位论文 场由构成帧的三个样本矩阵中相间的行构成，即帧样本矩阵的第一行、第三 行、第五行，依此类推，构成一个场，称为顶场；第二行、第四行、第六行， 依此类推，构成另一个场，称为底场。解码器的输出是一系列帧，两帧之间存在 一个帧时间间隔。对隔行序列而言，每帧图像的两场之间存在一个场时间间隔。 对逐行序列而言，每帧图像的两场时间间隔为0 。 视频序列头由视频序列起始码开始，后面跟着一串编码图像数据。起始码是 按字节对齐的。由起始码前缀和起始码字组成。起始码前缀为2 3 个0 1 ：t ；特和1 个1 比特，起始码字为一个字节的整数。序列头可在比特流中重复出现，称为重复序 列头。使用重复序列头的主要目的是支持对视频序列的随机访问。 一幅图像是一帧，其编码数据由图像起始码开始，到序列起始码、序列结束 码或图像起始码结束。在比特流中，隔行扫描图像的两场的编码数据可依次出现， 也可以交织出现。两场数据的解码和显示顺序在图像头中规定。图像的解码处理 包括解析过程和解码过程。 a v s 标准定义了三种解码图像：帧内解码图像( i 帧) ，前向帧闯解码图像( p 帧) ，双向帧间解码图像( b 帧) 。如果视频序列中没有b 帧，解码顺序与显示顺序 相同。如果视频序列中含有b 帧，则解码顺序与显示顺序不同，解码图像输出显 示前应进行图像重排序。图像重排序规则如下： 如果当前解码图像是b 帧，输出此b 帧解码的图像；如果当前解码图像是i 帧或p 帧，且存在前一个i 帧或p 帧的解码图像，输出前一个解码图像；如果不存在前一 个i 帧或p 帧的解码图像，则不输出任何解码图像。 p 帧或b 帧最多可有两帧参考图像。p 帧可参考前向的两帧。在一帧中，后解 码的场还可参考当前帧的另外一场。b 帧可参考一前一后两帧。运动矢量可以超 出参考图像的边界，在这种情况下应使用距离运动矢量所指位置最近的图像内的 像素进行边界扩展。对亮度样本矩阵，所有用于构造参考块的像素在水平和垂直 方向均不应超出参考图像边界# 1 1 6 个像素。 图像划分为宏块，宏块左上角的点不应超出图像边界。在比特流中，当隔行扫描 图像的两场编码数据依次出现时，任意宏块的像素应来自同一场。a v s 最小的图 像单元为8 8 块，在4 ：2 ：0 的图像格式下，一个宏块包括4 个8 x 8 亮度块( 和2 个8 8 色度块( 1 个c b ，l + c r ) ；在4 ：2 ：2 的图像格式下，一个宏块包括4 个8 x 8 亮度块( 和4 个8 x 8 色度块( 2 个c b ，2 个c r ) ；在4 ：4 ：4 的图像格式下，一个宏块包括4 个8 x 8 亮度块( 和8 个8 8 色度块( 4 个c b ，4 + c r ) 。 2 3a v $ 的关键技术简述 ( 1 ) 变换量化技术 浙江大学硕士学位论文 a v s 的变换和量化技术与h 2 6 4 最大的不同在于变换尺寸。h 2 6 4 选择4 x 4 的 块变换，因为其最小的运动搜索块尺寸为4 x 4 ，变换块的尺寸不能低于搜索块， 否则会明显降低变换性能。采用4 x 4 变换的优势在于：采用整数变换设计，其快 速算法完全用加减法和移位实现，而不用乘法，计算复杂度很低。而且整数变换 不存在浮点d c t 的变换与反变换的失配问题，矩阵的数值小，减少了变换量化中 间过程的数值动态范围，能够完全在1 6 b i t 内实现，方便1 6 位芯片的硬件实现。4 x 4 变换的缺点是变换块的尺寸小，其去相关性不足。虽然h 2 6 4 采用对宏块的4 x 4 变换后的直流系数再次作h a d a m a r d 变换的方法进一步去相关性，性能仍然不如 8 x 8 变换。a v s 为了避开h 2 6 4 的专利问题，选择了以往标准广泛采用的8 x 8 变换 尺度，而且验证8 x 8 变换在高清晰电视这类应用中的性能不会比4 4 变换差。 ( 2 ) 帧内预测技术 帧内预测可以去除i n t r a 块的空间冗余，h 2 6 4 中采用了基于4 x 4 块的帧内预 测，利用该块左边和上方相邻块的元素直接预测该块的系数，根据预测的方向不 同，共分为9 种模式，在a v s 中，也采用了对8 x 8 块的帧内预测，按照预测的方向 不同共分为5 种模式。采用率失真优化的方法，将采用某种预测 i n t r ap r e d i c t i o nm o d e 的预测变换量化熵编码后的编码比特数r 与对应的重建 i n t r a 块的失真度d 加权求和，得到该种模式的编码c o s t = d + 2 r ，将所有的模式 编码一次，选择c o s t 最小的那种预测方式。a v s 这种帧内预测改变对编码器的率 失真性能并没有明显影响，而且提高了运算效率。 ( 3 ) a v s 像素插值技术 h 2 6 4 和a v s 中都采用了1 2 、1 4 精度的运动补偿技术。h 2 6 4 中采用6 抽头滤 波器( 1 ，5 ，2 0 ，2 0 ，5 ，1 ) 作用于a n u 等整数像素点，插值得到半像素点a a 、 b b 、c c 、d d 、e e 、i f , g g 、1 1 l l ，以及b 、h 、s 、m 和i ，再通过对相邻整数像素点与 半像素点求均值，得到四分之一精度的像素点a 、c 、d 、n ，再通过j 与相邻的半 像素精度点求均值得至l j f , i 、k 、q ，最后通过b 、h 、m 、s 四个半像素点求均值得 出另外4 个四分之一精度点e 、g 、p 、r 。 a v s 通过更简单的4 抽头滤波器( 1 ，5 ，5 ，1 ) 得到半像素点，再通过4 抽 头滤波器( 1 ，7 ，7 ，1 ) 和均值滤波器得到四分之一像素点。滤波器的复杂度减 小，在不降低性能的情况下减少插值所需要的参考像素点，减少了数据存取带宽 需求，这在高分辨率视频压缩应用中是非常有意义的。采用这种滤波器的目的也 是为了避开h 2 6 4 的专利技术。 ( 4 ) 率失真优化 率失真优化主要是在宏块级完成，即为当前宏块选择最优的编码模式。对于 帧间预测，同样需要对a v s 支持的4 种宏块划分方式全部做编码测试，通过率失 真函数计算得到最优的运动补偿宏块划分方式。由于8 x 8 子块只有5 种预测方式， 浙江大学硕士学位论文 相对于9 种模式的h 2 6 4 ，计算量得到简化。总体说来，率失真优化以计算复杂度 和编码时间为代价，换取了编码性能的大幅度提高。 ( 5 ) 环路滤波 每个8 x 8 亮度块之间的边界有一个“边界强度 b s ，色度块的边界强度用对 应位置亮度块边界的b s 代替。如果b s 等于o n 不要对边界滤波，否则根据局部样 本值的特性和b s 值对边界滤波。 除图像边界及条带的边界之外，宏块的所有边界都应进行滤波。此处宏块边 界定义为宏块内部各个8 x 8 块的边界，以及当前宏块与相邻宏块的上边界和左边 界。环路滤波以宏块为单位，按照光栅扫描顺序依次处理。图像中每个宏块的滤 波过程如下g 对亮度和色度分别做环路滤波，首先从左到右对垂直边界滤波，然后从上到 下对水平边界滤波。当前宏块的上边或者左边的样本值可能在以前的宏块环路滤 波过程中已经被修改，当前宏块的环路滤波的输入为这些可能被修改的样本值， 并且当前宏块环路滤波可能进一步修改这些样本值。当前宏块垂直边界滤波过程 中修改的样本值作为水平边界滤波过程的输入。 帧内预测使用环路滤波前的重建图像样本值。 2 4a v s 视频编码性能分析 视频的一场或一帧可用来产生一个编码图像。通常，视频帧可分为两种类型： 连续或隔行视频帧。在电视中，为减少闪烁现象，把一帧分成两个隔行的场。显 然，这时同一场内邻行之间的时间相关性比同一帧内各邻近行之间的时间相关性 强，而同一帧内的各邻近行之间的空间相关性比同一场内各邻近行之间的相关性 强。因此活动量较小或静止的图像宜采用帧编码方式，活动量较大的运动图像宜 采用场编码方式。 i 帧只包含i 宏块，p 帧可包含p 宏块和i 宏块，而b 帧可包含b 宏块和i 宏块。 i 宏块利用从当前帧中已经解码的像素作为参考进行帧内预测，而不能取其 他帧中的已解码像素作为参考进行帧内预测。 p 宏块利用前面已经编码的图像作为参考图像进行帧间预测，一个帧间预测 的宏块可进一步作宏块的分割，划分成子块。 b 宏块则利用双向的参考图像( 当前和未来的已编码图像帧) 进行帧间预测。 不同的宏块有其不同的编码方式，对应的参考帧选取，运动矢量，残差等编 码参数不同。 a v s 对预测得到的运动矢量采用差分编码，充分利用相邻块的运动相关性， 通过上方和左边相邻块的运动矢量预测当前块的运动矢量，只编码传送预测值与 浙江大学硕士学位论文 实际值的差值。预测模式中有几种特殊模式：ps k i p 、bs k i p 、bd i r e c t1 6 x 1 6 、 bs y m1 6 x 1 6 模式。s k i p 模式都不编码运动补偿的残差，也不传送运动矢量，运 动矢量由该块的相邻块的运动矢量通过缩放得到，由得到的运动矢量指向的参考 图像直接获取运动补偿图像；bs y m 模式，即对称模式，如果两场图像交16x1 6 替出现，则后向参考索引与前向参考索引相等，如果两场图像依次出现，则后向 参考索引为1 减前向索引值，先用常规方法得到该b 块的前向运动矢量，再通过 反方向缩放直接得到后向运动矢量，该方式与常规的b 帧双向预测不同，可以绕 过b 帧专利。bd i r e c t1 6 x 1 6 模式下，当前块的运动矢量由后向参考帧对应块的 运动矢量按照当前b 帧与其前、后向参考帧距离的比例分配给前向和后向运动矢 量的估计值。 2 4 1a v s 视频编码中参考帧选取情况分析 a v s 视频编码中每帧图像使用的参考图像不应超过两个。参考索引值用来确 定对当前图像进行解码处理所用的参考图像，参考图像的两场可有不同的参考索 引值，因此参考索引的取值范围是0 3 。参考索引值随着参考图像与当前图像距 离( 显示顺序) 的增加而增加，索引值为o 的参考图像与当前图像的距离最近，索 引值为l 的图像距离其次，索引值为3 的图像距离最远。 如果使用加权预测，解码的加权预测参数按参考索引值由小到大依次分配给 各参考图像( 或场) 。如果当前图像是b 帧，对参考索引值相同的前后参考图像( 或 场) ，解码的加权预测参数先分配给前向参考图像( 或场) ，再分配给后向参考图 像( 或场) 。 1 编码时参考帧选取状况分析 用视频编码标准a v s p 2 的源代码n n 5 2 jr l 【3 3 来对视频监控序列进行编码， 对于不同的监控序列编码时参考帧的选取情况进行统计分析。编码测试条件如表 2 1 所示，其中，帧率为2 5 帧s ，i 帧时间间隔为2 s ，运动搜索范围为3 2 ，编码时不 含b 帧。 表2 1 编码测试条件列表 f r a m e s t o b e e n c o d e d = 3 0 0 s e a r c h r a n g e = 3 2 i n t r a p e r i o d = 5 0 r d o p l ：i m i z a t i o n = l n u m b e r b f r a m e s = 0 p r o g r e s s i v e _ f r a m e = 0 f r a m e s k i p = 0i n t e r l a c e c o d i n g o p t i o n = 0 u s e h a d a m a r d = lf r a m e r a t e = 2 5 浙江大学坝i j 学位论义 编码n i 曲t _ s t a t i c 序列，其q p = 4 2 ，统计该序列中的第2 0 帧p 帧( 图2 2 ) 编码时所 选用的参考帧情况，统计结果如图2 3 所示： 图2 2n i g h t _ s t a t i c 序列第2 0 帧图像幽2 3n i g h t _ s t a t i c 第2 0 i 帧编码时参考l 帧选取情况 编码s u b s t a t i o n 序列，q p = 3 2 ，统计该序列的第2 3 帧p 帧( 图2 4 ) 编码时所选用的 参考帧情况，统计结果如图2 5 所示。 图2 4s u b s t a t i o n 第2 3 l 帧图像图2 5s u b s t a t i o n 第2 3 帧编码时参考f 帧选取情况 在图2 3 ，图2 5 中，p 0 是指选用参考帧0 做帧间预测的宏块个数占整帧宏块个 数的百分比，p 1 是指选用参考帧1 做帧问预测的宏块个数占整帧宏块个数的百分 比，pi n t r a 是指选用帧内编码的宏块个数占整帧宏块个数的百分比，p o i 是指宏 块中包含即选用参考帧0 的子块又包含选用参考帧1 做帧问预测的子块，这样的宏 块个数占整帧宏块个数的百分