（信号与信息处理专业论文）mpeg2到avs视频转换编码码率控制策略研究.pdf

摘要 随着数字音、视频及多媒体技术的发展，视频编码技术得到快速发展。应用 于不同领域的m p e g 1 、m p e g 2 、m p e g 4 、h 2 6 x 等国际编码标准以及我国自 主开发的a v s 视频压缩编码标准相继出台。为了适应用户终端的多样性以及网 络自身的传输特性，需要将已压缩的视频码流进行转换，即转换编码，以实现网 络间的资源共享。 将经过压缩的视频数据进行远程传输时，需要考虑网络拥塞、信道带宽及终 端处理能力。码率控制策略的目的就是通过调整编码端的编码参数，保证信道正 常传输，并获得尽可能好的图像质量。 作为对视频转换编码及码率控制研究的基础，本文首先对转换编码结构以及 m p e g 2 和a v s 视频编码标准建议的码率控制策略进行了介绍。接着，对影响 输出码率的因素和码率控制中关键问题进行了分析，为提出新的码率控制算法打 下基础。 论文在分析两个编码标准特点和解码信息基础上，提出了适用于m p e g 一2 到a v s 转换编码的码率控制算法。包括：帧层比特分配策略优化，即根据解码 信息，给不同复杂度的帧分配不同编码比特数；宏块层目标编码比特数实现算法， 即利用p 域线性源模型建立量化与比特率准确关系。最后，结合a v s 编码标准 建议的码率控制策略及本文提出的改进算法，实现了输出码率的有效控制。 课题组开发了将m p e g 2 标准的d v d 码流转换为a v s 标准t s 流的视频转 换编码系统。本文第二部分总结了已完成的基于d i r e c t s h o w 的a v st s 流播放器 软件开发工作，包括一路a v s 节目音视频流的分割模块和a v s 视频流解码模块 的设计和实现。 关键词：视频转换编码码率控制m p e g 2 a v sd i r e c t s h o w a b s t r a c t a l o n gw i t hb o o m i n gd i g i t a la va n dm u l t i m e d i at e c h n o l o g y , v i d e oc o d i n g t e c h n o l o g yh a sg r e a t l yd e v e l o p e d n o w a d a y s ，t h ei n t e r n a t i o n a lc o d i n gs t a n d a r d s ， s u c ha sm p e g - i ，m p e g 一2 ，m p e g - 4 ，h 2 6 xa n dc h i n e s ei n d e p e n d e n t l yc r e a t i n ga v s h a v e b e e ne s t a b l i s h e da n d a p p l i e d t od i f f e r e n ta r e a s i no r d e rt o a d a p t t o h e t e r o g e n e o u s c l i e n tt e r m i n a l sa n dt r a n s m i s s i o nc h a r a c t e r i s t i co fn e t w o r k s ， p r e e n c o d e dv i d e os h o u l db et r a n s c o d e di n t oa n o t h e rc o d i n gf o r m a t s o ，t h er e s o u r c e s o fn e t w o r k sc a nb es h a r e d w h e nt h ec o m p r e s s e dv i d e os e q u e n c ee x p e r i e n c e sl o n g d i s t a n c et r a n s m i s s i o n ， n e t w o r kc o n g e s t i o n ，c h a n n e lb a n d w i d t ha n dd i s p o s a la b i l i t yo ft e r m i n a ls h o u l db e c o n s i d e r e d t a r g e to fr a t ec o n t r o li st om a i n t a i nt h ec h a n n e ln o r m a la n do b t a i nb e t t e r i m a g eq u a l i t yb ya d ju s t i n gt h ep a r a m e t e r so fe n c o d e r a st h eb a s i so ft h ef o l l o w i n gr e s e a r c ho nr a t ec o n t r o lo ft r a n s c o d i n g ，s e v e r a l t r a n s c o d i n gs t r u c t u r e sa n dt h er e c o m m e n d e dr a t ec o n t r o lm e t h o d so fm p e g - 2a n d a v sc o d i n gs t a n d a r d sa r ei n t r o d u c e di nt h et h e s i sf i r s t a n dt h e n ，t h ea f f e c t i n gf a c t o r s o ft h eb i tr a t ea n dk e yp a r to fr a t ec o n t r o li nt r a n s c o d e ra r ea n a l y z e d ，w h i c ha r e t h e o r i e sb a s i so ft h en e w a l g o l i t h m s o nt h eb a s i so ff u l la n a l y s i so nt h ec h a r a c t e r i s t i c so ft w oc o d i n gs t a n d a r d sa n d i n f o r m a t i o na d o p t e df r o md e c o d e r , t h i st h e s i sp r o p o s e st w oa l g o r i t h m s o n ei sb i t a l l o c a t i o no p t i m i z a t i o ni nf r a m el a y e r , n a m e l y , d i f f e r e n tb i t sa r ea l l o c a t e dt of r a m e s w i t hd i f f e r e n tc o m p l e x i t ya c c o r d i n gt od e c o d i n gi n f o r m a t i o n t h eo t h e ri st h e e s t a b li s h m e n to fa c c u r a t e r e l a t i o n s h i p o fq u a n t i t a t i v e p a r a m e t e r s a n db i t si n p - d o m a i n f i n a l l y ，b yc o m b i n e dr a t ec o n t r o ls t r a t e g yi na v s ，t h en e wr a t ec o n t r o l s c h e m ei m p l e m e n t se f f e c t i v e l yc o n t r 0 1 o u rl a bg r o u ph a sd e v e l o p e das y s t e mw h i c hc a nt r a n s c o d ed v ds t r e a mt oa v s t ss t r e a m t h es e c o n dp a r to ft h i st h e s i ss u m m a r i z e st h es o f t w a r ed e v e l o p i n gf o ra v s t sp l a y e ru s i n gd i r e c t s h o wf r a m e w o r k ，w h i c hc o n s i s t so fa na v sa u d i o v i d e o s p l i t t e rf i l t e ra n da na v sv i d e od e c o m p r e s s o rf i l t e r k e yw o r d s ：v i d e ot r a n s c o d i n g ，r a t ec o n t r o l ，m p e g - 2 ，a v s ，d i r e c t s h o w 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得苤盗盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：曼磊 签字日期：孑年6 月4 日 学位论文版权使用授权书 本学位论文作者完全了解苤鲞盘堂 有关保留、使用学位论文的规定。 特授权苤鲞盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 乏磊 导师签名：1 戛乏 签字同期：2 幻8 年多月牛日签字同期：训艿年易月o 日 雕吾 1 课题背景 l j - 刖吾 随着科技的飞速发展，多媒体、网络通信已成为生活的一部分，我们正在进 入数字信息时代。人类获取的信息中7 0 来自于视觉，数字化的视频信息在多媒 体信息中占有重要地位，其数据量之大非常惊人。同时视频数据冗余度最大，经 压缩处理后的视频质量高低是决定多媒体服务质量的关键因素之一。因此数字视 频技术是多媒体应用的核心技术，对视频编码的研究已成为信息技术领域的热门 话题。与此同时，视频编码相关标准的制定也日臻完善。 国际上主要有三个制定有关图像视频压缩编码标准的组织：国际标准化组织 ( i s o ：i n t e r n a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n ) 、国际电工委员会( i e c ： i n t e r n a t i o n a le l e c t r ot e c h n i c a lc o m m i s s i o n ) 和国际电信联盟( i t u ：i m e m a t i o n a l t e l e c o m m u n i c a t i o nu n i o n ) 。许多标志压缩编码技术迅速发展和广泛应用的视频图 像压缩编码国际标准就是上述3 个组织制定的。如：i s o d e c 关于静止图像的编 码标准j p e g ，i t u t 关于电视电话会议电视的视频编码标准h 2 6 1 、h 2 6 3 、h 2 6 4 和i s o i e c 关于活动图像的编码标准m p e g 1 、m p e g 2 和m p e g 4 等。这些标 准融合了各种性能优良的图像编码方法，集中了图像编码领域的最新研究成果， 反映了目前图像编码的发展水平和最新进展。 m p e g 即m o v i n gp i c t u r ee x p e r tg r o u p ( 运动图像专家组) ，是i s o f l e c 在19 8 8 年成立的专门从事制定多媒体视音频压缩编码标准的工作组。m p e g 系列标准已 成为国际上影响最大的多媒体技术标准，其中m p e g 1 和m p e g 一2 是采用以香 农信息论为基础的预测编码、变换编码、熵编码及运动补偿等第一代数据压缩编 码技术；m p e g 4 ( i s o i e c14 4 9 6 ) 贝j j 是基于第二代压缩编码技术制定的国际标准， 它采用基于内容的压缩编码，实现数字视音频、图形合成应用及交互式多媒体的 集成。 我国在2 0 0 2 年6 月成立的“数字音视频编解码技术标准工作组”联合国内 外从事数字音、视频编解码技术研发的科研机构和企业，以当前最先进的 m p e g 4a v c h 2 6 4 框架为起点，提出了具有自主知识产权的数字音视频编解码 技术标准a v s ( a u d i ov i d e oc o d i n gs t a n d a r d ) 。为我国数字电视等音视频产业自主 发展，提供了一种可供选择的技术支持。 随着视频压缩技术的快速发展和多种相关标准的发布，为解决不同标准节目 刚舂 资源的共享，视频转换编码技术应运而生。m p e g 2 标准作为当前应用最多的视 频压缩标准，对d v d 等视听消费电子及标准清晰度电视和高清晰度电视 ( s d t v & h d t v ) 、多媒体通信等信息产业的发展产生了巨大而深远的影响。 m p e g 2 标准在得到广泛应用的同时，积累了丰富的节目资源。a v s 作为我国新 一代的视频压缩编码标准，在不久的将来将被国内信息产业界广泛采用。同时， 由于它采用了一系列更加复杂而有效的视频压缩算法，与m p e g 2 视频编码标准 相比，压缩性能得到了显著提高。可见，m p e g 2 到a v s 的转换编码技术将有 广阔的应用前景。 通常，在有带宽限制的转换编码中，转码器通过调整编码端量化步长来控制 转码得到的比特数。采用较大的量化步长将生成相对较小的编码比特数，同时也 将产生较大的图像质量失真。因此，为适应不同传输带宽限制，需要通过码率控 制策略在确保缓存区既不上溢也不下溢前提下，尽可能提高转换编码得到的图像 质量。码率控制作为编码器的关键组成部分，在各个标准中被广泛地研究，譬如 m p e g 2 、m p e g 4 和h 2 6 4 等。但不同标准间的视频转换编码相对于单纯视频 压缩编码，有更多已有的编码信息可以利用。合理充分地利用这些信息选择合适 的控制策略可以优化重建视频的质量、降低转码复杂度、提高转码效率。目前， 对于这类问题的需求与日俱增，但对于这类问题的解决还没有形成成熟的方案。 因而对于该方向的研究存在很大空间。 在这种技术背景和潜在需求推动下，本硕士论文选定了m p e g 2 到a v s 视 频转换编码码率控制算法作为主要研究内容。 论文主要研究内容 本论文主要包括两部分内容：一是m p e g 2 到a v s 视频转换编码码率控制 策略的研究，这是论文的主要部分；二是基于d i r e c t s h o w 技术的a v s 播放器的 设计和实现。 在m p e g - 2 到a v s 视频转换编码码率控制策略的研究方面，主要分析了帧 层比特数分配方法和宏块层量化参数计算方法。提出了根据图像复杂度的帧层码 率分配和基于夕域的宏块层目标码率实现算法。 在基于d i r e c t s h o w 技术的a v s 播放器实现中，主要实现了从本地a v st s 流文件中任选一路节目，生成p e s 文件并播放。 2 刖吾 3 论文的构成 论文内容分成五章。 第一章为m p e g 2 和a v s 码率控制方案的概述部分，在分析转换编码特点 的基础上提出了级联转换编码结构下码率控制策略需要重点研究的问题。 第二章详细论述了转换编码中帧层目标比特数分配流程，以及根据图像复杂 度的帧层目标比特分配算法，并介绍了算法的具体实现方案和实验结果。 第三章详细阐述了基于p 域的宏块层码率控制算法研究工作。给出了a v s 整数d c t 变换系数的分布模型以及宏块层码率控制算法具体实现方案，并分析 了实验结果。 第四、五章详细论述了基于d i r e c t s h o w 技术的a v s 播放器的设计和实现。 第一章视频转换编码码率控制 1 1 引言 第一章视频转换编码码率控制 视频压缩码流需要在有一定带宽限制的信道中传输，同时必须满足传输时延 和缓存限制。研究码率控制策略的目的就是通过合理调整编码器端编码速率，保 证信道正常传输和缓存不发生上下溢，并获得尽可能好的图像质量，从而为传输 高质量多媒体视频提供良好的技术平台i lj 。 数字视频压缩编码中，码率控制策略包括码率分配和码率实现两个部分。前 者靠算法去估计目标分配比特，后者通过调整相关编码参数实现目标码率。视频 压缩编码采用变换编码与量化的结合，通过调整量化系数来控制输出码率的高 低。量化系数大，得到的编码比特少，导致编码质量下降；反之，量化系数小， 编码比特数随之增大，图像质量得到改善。如果不考虑像素域到频率域变换和反 变换导致的精度误差，那么压缩编码的误差仅来源于量化处理。因而，码率控制 策略的优劣对于编码器的性能影响重大。由于数字视频压缩编码标准仅对解码端 比特流的语法和解码器作出限定，而不规定编码器实现细节，因而作为编码端重 要组成部分的码率控制策略有很大的灵活性。在不同学者和机构已经提出的视频 压缩编码标准中，码率控制策略主要有m p e g 2t m 5 引、h 2 6 3t m n 8 i j j 、m p e g 4 v m 8 1 4 】和h 。2 6 4j m i5 j 四种。t m n 8 码率控制用于h 2 6 3 参考软件中，主要针对极 低码率的视频编码控制，该算法允许在输出码率无法达到目标码率要求时，采用 丢帧的方法降低码率。v m 8 码率控制用于m p e g 4 参考软件中，只提供帧级码 率控制。由于不调整量化步长，该算法可给出更一致的可视质量，但要求缓存器 容量大、增加编码延时。与t m 5 相比，t m n 8 和v m 8 的控制方法较为简单。h 2 6 4 码率控制算法体现在h 2 6 4 参考软件和a v s 参考软件中。但是由于h 2 6 4 和a v s 标准中加入了率失真优化算法，且码率控制算法以及率失真优化算法1 6 j 中都使用 了量化参数，这就导致了进行码率控制时出现了文献 7 3 中所述的“蛋鸡悖论” 问题。即率失真优化需要在码率控制中确定的量化参数下进行，而码率控制环节 需要在率失真优化后确定的图像平均编码误差基础上进行。因而之前的码率控制 策略不能直接用于新的编码标准。 同编码处理相同，转换编码中的码率控制算法对码流质量的影响也非常明 显。转换编码时可以从输入的编码流中采集大量的有用信息，如编码图像的平均 量化步长，图像的编码比特数以及宏块的d c t 残差数据等等。因此，转换编码 4 第一章视频转换编码码率控制 处理与编码处理相比，在码率控制方面具有一定的优势，可以获得更好的码率控 制性能。本章先对转换编码做简要介绍，之后在对t m 5 码率控制算法和a v s 码 率控制算法回顾的基础上，提出了需要重点研究的转换编码码率控制问题。 1 2 视频转换编码技术 由于多媒体的应用和所运行网络平台的多样性和广泛性，对媒体互通的需求 日益增长。视频转换编码便是为了实现压缩的视频流在异型网间互通，将进来的 压缩视频流转换成另一种视频格式、规格、传输速率或简单变换成一种新的语法 结构，但不必全部解码或再次编码操作。 转换编码技术主要包括四类：比特率转换、空间分辨率转换、时间分辨率转 换和异类转换编码技术【8 】。比特率转换编码技术是实际应用最广的一种转换编码 处理，在数字电视、无线多媒体通讯及互联网流媒体等领域都有需求。分辨率转 换主要为适应终端性能而进行。同时，随着各种多媒体网络的出现，为解决不同 编码标准问资源共享的异类视频转换编码应用已经日渐广泛。 推动异类码流转换技术研究的动力之一是一种特定解码器希望能够接收其 它编码标准码流，以及在低带宽信道和恶劣环境中传输视频数据等。异类视频转 换编码技术除了包括同类视频转换编码技术中涉及到的比特率转换、空间分辨率 转换和时间分辨率转换，还包括异类视频码流间的语法转换。同时，由于源码流 和目标码流有很多不同的特性，相比于同类视频转换编码，异类视频转换编码方 法更加复杂。 一种直接的视频转换编码方法是级联重编码方法，如图1 1 所示，即对输入 压缩视频流解码后再编码【9 1 。这种方法包含输入比特流的全解码，在完全再编码 前对解码序列重新规定尺寸、重新排序以及大范围的重新运动估计和各种编码模 式遍历比较。因此，这种方式有最高的复杂度、处理时间和功耗。尽管级联结构 可以获得较好的图像编码质量，但其实现难度比较高。 图1 1级联重编码型转换编码器 图1 2 为双环级联转换编码器结构，其中解码部分和重新编码部分各有一个 运动补偿环路。该转码器重用了源码流中运动矢量和编码模式等信息。由于运动 估计约占编码计算量的6 0 ，直接使用源码流中的运动矢量可以显著的降低编 第一章视频转换编码码率控制 码的计算量。 图1 - 2双环级联转换编码 图中加灰的特殊处理模块中可以实现空间分辨力的下采样、使用跳帧技术等 的时间分辨力下采样。同时，在各个不同处理中都需要在运动补偿环节前进行运 动矢量细化搜索和宏块模式判断优化。 双环级联转换编码结构相比级联重编码结构，可以在相对较低实现复杂度前 提下，完成比特率、空间分辨率、时间分辨率以及异类视频转换编码，实现不同 的处理需求。而本论文研究的异类转换编码码率控制策略则具体针对m p e g 2 到a v s 双环级联转码器进行。 1 3t m 5 码率控制算法n 町n t m 5 码率控制通过调整宏块的量化步长实现。在t m 5 算法中，整个码率控 制过程分为三个小步骤： 1 3 1 目标比特分配 通过目标比特分配，计算编码下一帧图像可用的比特数。每帧图像编码之前， 都要先计算目标比特数，检查缓存器的状态，判断图像本身的性质，再进行量化 等级的计算和调整。 ( 1 ) 复杂度的计算 在对某一类型的图像进行编码之前，需要用到同一类型的上一帧图像的复杂 度。当编码过程刚开始时，对每个编码类型图像的第一帧，其复杂度初始值的计 算如下： 墨= 1 6 0 u 11 5( 1 - 1 ) x 。= 6 0 u 1 1 5 ( 1 - 2 ) 托= 4 2 u 1 1 5( 1 3 ) 第一章视频转换编码码率控制 其中u 为信道带宽，单位为b i t s 。由上式可以看出，在t m 5 算法中，i 、p 、b 三种图像的初始复杂度之比为16 0 ：6 0 ：4 2 = 8 0 ：3 0 ：2 1 。 当某一类型图像( i 、p 或b ) 编码结束后，都要用式( 1 4 ) 对相应图像的全局复 杂度进行更新 x i = s qx p = s p q ，托= & q ( 1 - 4 ) 其中置，x p ，扎表示图像的复杂度，它们是图像本身所具有的性质；s ，s ， 是对相应帧编码后产生的比特数；q ，q 。，q 是对相应图像帧编码时，图像 中所有宏块( 包括跳过的宏块) 实际量化步长的平均值。 ( 2 ) 图像目标比特数计算 根据图像的复杂度，下一个编码帧的目标比特数，无，五的计算方法如下： i 细a ) 【t 焉州( 8 z ) p = m a x 细戥lt 署 ( 1 5 ) ，u ( 8 c ) i ( 1 - 6 ) ( 1 - 7 ) 上面各式中，c 为帧率，k 。和蚝是两个与量化矩阵有关的常数比例因子， 对于m p e g 一2 缺省量化矩阵，k ，= 1 0 ，k 6 = 1 4 。，和m 是当前图像组中剩余的 p 帧和b 帧数。t 是分配给图像组的比特数的剩余值，其计算和更新过程如下： 在序列开始时，t = 0 ；在对每个图像组( g o p ) 中第一帧图像编码前，用下式计 算初始的t 值： t = g + t g = u x 只 ( 1 - 8 ) 其中是该图像组中的图像帧数。在一帧图像编码结束后，更新如下： t = t a f 属6 ( 1 - 9 ) 其中4 。是前一帧图像编码生成的比特数。 1 3 2 码率控制 码率控制这一步要计算出每个宏块的量化参数。t m 5 采用的码率控制方法 棼 i 第一章视频转换编码码率控制 基于“虚拟缓存器”。在对图像序列进行编码之前，首先确定每个虚拟缓存器的 初始状态；然后在编码过程中，根据该虚拟缓存器的状态对量化等级进行调整。 在对图像中第j 个宏块编码前虚拟缓存器状态用下面各式计算： 彰= 鹾+ 4 一l - 等葛 o - l o ) b ；= b ：+ a j 一! 毛糕( 1 - 1 1 、) 矽= 磁+ a j r 等等( 1 - 1 2 ) 其中鹾，彤，磁分别是相应虚拟缓存器的初始充满度；a j 一。表示当前图像中从 宏块0 到宏块j - 1 编码所用比特数的总数；m b c n t 表示一帧图像中的宏块总数； z ，以分别是相应下一编码帧的目标比特数；彰，彤和劈分别是对相应 图像中第j 个宏块进行编码前虚拟缓存器的充满度。j = m b _ c n t 时，彰，彤和 骘表示该帧图像编码后虚拟缓存器的状态，该状态将作为下一幅相同类型的图 像的虚拟缓存器的初始状杰。 在对图像序列进行编码之前，虚拟缓存器初始状态的设置如下 b ：= 1 0 r 3 1 b i = k p b i b ：= k b 战 其中r 为一个反映参数，其值为，= 2 x u f ( 1 一1 3 ) ( 1 - 1 4 ) ( 1 1 5 ) 根据每个虚拟缓存器的状态乃，就可以用下面的经验公式计算第j 个宏块的 量化参数q p j ： 卯，：型( 1 - 1 6 ) r 利用上面各式，可在编码过程中根据虚拟缓存器的状态随时对量化参数进行 调整。只要使虚拟缓存器始终处于正常状态，就能保证每帧图像所用的比特数与 所分配的目标比特数之间的误差保持在一定的范围内。 1 3 3 自适应量化 这一步将根据图像空间活动性，对每个宏块的量化参数进行调整，得到其相 应的量化步长，用来对该宏块进行量化。活动性以宏块为单位计算。宏块j 的活 动性可用下面公式计算： 口甜i = 1 + m i n ( v a r s b l k )( 卜1 7 ) s b l l 、= 1 8 式中 第一章视频转换编码码率控制 v a r s b l k = 去( 最- p m e a n ) 2 ( 1 - 1 8 ) 6 4 智、“ 一 、 pm e a n ：一1 y 只 ( 1 1 9 ) 一 6 4 篙“ 其中是8 x 8 图像块中第k 个像素值：s b l k 表示宏块j 的4 个帧格式8 8 亮度块 和4 个场格式8 8 亮度块。然后对宏块j 的活动性进行归一化计算 ：三：竺! ! ! 竺鲨= 竺( 1 - 2 0 ) n a c t 二= 上三二- _ 一 一 a c t ，+ 2 a v g a c t 其中a v g _ a c t 是上一个编码图像的平均活动性。对第一帧需编码的图像，设定 a v g _ a c t = 4 0 0 。最后，计算用于每个宏块量化的量化步长 m q u a n t f = q p ，n a c t j ( 1 2 1 ) 其中囝，是第二步中得到的宏块量化参数。m q u a n t ，的范围是l 到3 1 之间。 以上给出了t m 5 码率控制的具体算法。t m 5 算法对于没有场景切换的图像 序列的编码效果比较令人满意，并且在计算上比较简单，易于硬件实现。但有一 定局限性。这表现在：( 1 ) 该算法无法有效处理场景切换问题；( 2 ) 各宏块目标 比特数的分配没有考虑图像局部特性，例如：宏块中每一个块的不同特性；( 3 ) 活动性用空间域的数据进行计算，并且对活动性的大小没有限制，容易产生图像 块效应；( 4 ) 每帧图像间没有量化参数范围限制，可能出现图像质量不连续。 1 4a v s 码率控制算法1 2 】 a v s 的参考软件采用与h 2 6 4 相同的码率控制方案，i i p j v t - g 0 1 2 【7j 提案的码 率控制算法。该算法采用了固定g o p 结构，使用缓存流体流动模型、二次率失真 模型等技术，从不同层次进行码率控制。a v s 码率控制解决了t m 5 码率控制算法 中的一些问题。例如，该算法根据统一的缓存满度分配目标比特以防止缓存上、 下溢；相邻图像间设置q p 变化范围以防止图像质量大范围波动等。该算法包括 三层：图组层( g r o u po f p i c t u r e ，g o p ) 层码率控制、帧层码率控制和基本单元 ( b a s i c u n i t ，b u ) 层码率控制。 1 4 1 图组层码率控制 图组层码率控制需要计算每个g o p 中所有未编码帧的剩余比特数和起始i 帧的量化参数。 a v s 的码率控制方法也是基于“虚拟缓存器”。不同于t m 5 码率控制算法中i 、 p 、b 各类型编码图像采用各自的缓存器，a v s 码率控制方法中采用统一的虚拟缓 9 第一章视频转换编码码率控制 存器，且该虚拟缓存器根据如下图所示的流体流动模型【1 3 1 更新每一帧编码后的 缓存满度。 一； 图1 3 流体流动模型 虚拟缓存器的大小皿由编码器设定的框架( p r o f i l e ) 和级男) 1 ( i e v e l ) 决定。虚拟缓 存满度初始值为譬，流体流动模型的更新公式如下： b 。( n i ，一i ) = b c ( n i ，) + 彳( 强，) 一百u ( 1 - 2 2 ) 皿( ：t 忍( 1 - 2 3 ) 皿( ，z ) = 毽( ，) ( 1 - 2 4 ) 其中，b 。( 刀h ，) 为第i - 1 个g o p 编码结束后的缓存满度，a ( n “) 是第i 个 g o p 中第j 帧编码所用比特数。 g o p 的目标比特数是通过信道带宽、帧率、g o p 长度和虚拟缓存满度决定 的。首先根据确定的g o p 长度卿为第i 个g o p 分配比特数： z ( 碍，。) = i u n g o p b c ( n i - l , n 。p ) ( 1 - 2 5 ) 由上式可以看出后面g o p 的编码结果与前面编码的g o p 相关，为了保证每个 g o p 有统一的编码质量，各个g o p 应尽可能只使用分配的比特数。即编码完一 个g o p 之后，缓存满度e ( ) 应维持在等。编完一帧后，剩余比特数通过 下式更新： ( 强，) = 霉( 玎州) 一a ( n 州) ( 1 - 2 6 ) 第一个g o p 中i 帧和其中第一个p 帧的量化参数需要设定为经验值。其它 g o p 中l 帧和第一个p 帧的量化参数通过下式求得： 织，= 等斗等 ( 1 - 2 7 ) l o tt彦r工 第一章视频转换编码码率控制 其中，n p 是前一个g o p 中p 帧个数。鼬m 坳是前一个g o p 中所有p 帧量化参 数的总和。另外，上式求得的量化参数与g o p 的长度相关。 1 4 2 帧层码率控制 帧层码率控制的目标是计算所有帧的量化参数。 因为b 帧不用做其它帧预测的参考帧，因此其量化参数可以比相邻i 帧或p 帧大以节省比特数。同时为保持图像质量的连续性，相邻帧量化参数的变化范围 限制在 - 2 ，2 之间。在a v s 码率控制中，b 帧的量化参数通过简单的线性内插方 法计算。 以下按两个p 帧间的连续b 帧个数为l ，两个p 帧的量化参数分别为o p 和 囝，来讨论量化参数的计算。b 帧的量化参数可根据下式求得。 1 ) l = i 。两个p 帧之间的相邻b 帧个数为l 。 i q p l + q p 2 + 2 i f q p ，o p 2 q b, = 2 2 【印，+ 2 其它 2 ) l i 。两个p 帧之间的相邻b 帧个数大于1 。 璐：q p , + a + m a x m i n 丝 掣，2 ( i 1 ) ) ，- 2 ( i 一1 ) ) 其中，口是第一个b 帧同跏的差值，可通过下式求得： ( 1 2 8 ) ( 1 2 9 ) - 3 q p 2 一q p l 一2 l - 3 2 q p 2 一q p l = 一2 l 一2 一l q p 2 一q p l2 2 一l ( i - 3 0 ) 0 幼2 一印。= 一2 l 1 q p 2 一q p l = 2 三+ 1 2 其它 最终求得的b 帧量化参数为： 缈= m i n m a x q b , ，0 ) ，6 3 ( 1 3 1 ) p 帧的量化参数求取过程是先计算目标缓存满度，根据目标缓存满度求p 帧的 目标比特数。最后，根据目标比特数求量化参数。具体过程如下： 第一步：计算p 帧的目标比特数，通过以下两步完成。 1 ) 计算目标缓存满度。 因为第一个p 帧的量化参数在g o p 层已经确定，只需计算g o p 中其它p 帧的 目标缓存满度。编码完第一个p 帧后，初始化目标缓存满度。 第一章视频转换编码码率控制 乃，( 2 ) - i 统( 刀f 2 ) 后续p 帧的目标缓存满度为： t b l 小1 ) _ 姚户警+ 其中，嘭( n “) 是p 帧的平均复杂度加权值， 计算过程如下： f l - 3 2 ) 死( 玎。) 是b 帧的平均复杂度加权值。 嘶j ：掣+ 型掣 呱户掣+ 塑掣 ( 1 - 3 4 ) ( 刀“) = s p ( ，z “) g ( 珥，) 啉) = 警 其中，s p 和咒是对应帧的编码比特数，q p 和绕是对应的编码量化步长。 由于实际缓存满度不能准确实现目标缓存满度，需要通过下一步减小二者之间 的误差。 2 ) 计算目标比特数。 为了使实际缓存满度与目标缓存满度趋于一致，可通过下式由帧率、信道可用 带宽、目标缓存满度和实际缓存满度计算第i 个g o p 中第j 帧的目标比特数： 触户掣+ y ( t b l ( n i j ) 一只( 训( 1 - 3 s ) 根据线性跟踪理论1 1 4 ，由上式通过计算可得 哎( 玎，+ 。) 一t b l ( n i , + 1 ) ( 1 一，) ( e ( 咒u ) 一t b l ( n f ，) ) ( 1 3 6 ) 其中y 是常数，取大的丫值可以实现波动较小的缓存满度变化。 同时，计算目标比特数还需考虑该g o p 的剩余比特数 如“，= 而两黔篇 最终的目标比特数可表示为f ( n “) 和f ( n “) 的加权和： f ( n ，) = p x f ( n i ，) + ( 1 - f 1 ) x f ( n i ，) 1 2 ( 1 - 3 7 ) ( 1 3 8 ) 第一章视频转换编码码率控制 其中是一个常数，没有b 帧时取0 5 ，有b 帧时取0 9 。 第二步：计算p 帧的量化参数并进行率失真优化。 根据二次率失真模型计算该帧的量化参数。二次率失真模型如下式： f ( n i j 脚。等蚂警+ ( 1 - 3 9 ) 其中，a ，、a ：为模型参数，m a d 为当前图像平均绝对误差。a v s 码率控制算法通 过线性预测模型求得该值，以解决“蛋鸡悖论”问题。a 。、a ：以及m a d 线性预测 模型的模型参数，在编码完一帧后通过线性回归方法1 1 5 1 更新。 1 4 3 基本单元层码率控制 心沪箬( 1 - 4 0 ) 2 恙 ”i 元h d r , l _ l ( ，睁孚， m 4 。， fz， 聊胁一m h d r ，忐羽一忐， u “ 聊胁2 7 瓦+ ，- 1 。瓦 第一章视频转换编码码率控制 前一帧所有已编码基本单元对当前基本单元编码头部信息所用比特数的估计值。 编码当前基本单元内容所需比特数为： ， r t ，= 挚一 ( 1 - 4 2 ) 1 v u 6 2 ) 用之前已编码帧相同位置基本单元的m a d 值估计当前基本单元的m a d 值。 3 ) 用同帧层码率控制中所述的二次率失真模型求当前编码基本单元的量化参数。 4 ) 对当前基本单元中所有宏块进行率失真优化。 5 ) 更新剩余比特数和未编码基本单元个数等参数。 a v s 基本单元层的码率控制在帧层码率控制的基础上提高了量化参数求取 的准确程度。帧层码率控制中，一帧的量化参数是在对前几个已编码帧平均复杂 度估计的基础上求取的。而在基本单元层的码率控制中，一帧中不同的基本单元 分别根据前几个已编码帧的对应部分进行复杂度估计以求取各自不同的量化参 数。在此基础上完成的码率控制可以更准确的实现预先分配的目标比特数。 1 5 转换编码码率控制技术 在级联重编码转码结构中，转码器的编码端可以不经任何改变地采用上两节 所述的码率控制策略。在双环级联转换编码中，由于运动矢量和编码模式都是重 用的已有信息，转码器不需进行基于率失真模型的宏块各种编码模式比较，但是 也可以将编码器中码率控制策略移植到转码器中。本节在详细分析转码器中码率 控制关键环节地基础上，提出了转换编码码率控制中需要重点研究的问题。 1 5 1 引起码率变化的因素及码率控制策略分类 视频压缩编码标准中视频编码算法引起比特率变化的原因有以下几个方面： 1 )量化处理在视频图像编码中与各种变换过程相结合以达到去除图像空间 冗余度的目的。一般情况下，变换过程可以将图像的能量在变换域集中，然后通 过量化过程保留对人眼较为敏感的部分，去除相对不重要的成分，达到压缩数据 的目的。量化过程存在信息的丢失，是图像编码中引起失真的环节，也是实施码 率控制的所在。好的码率控制策略能在保证目标码率的情况下，改善图像质量。 2 )数字视频信号包含了大量依赖于序列的时域和空域冗余，视频编码器的 压缩效率取决于视频序列中检测并压缩的时域和空域冗余量，这种冗余使得输出 比特率是随时间动态变化的函数。例如，跳过宏块说明该宏块与相邻时域宏块有 很好的相关性，一帧图像中跳过宏块数量的变化必然导致编码输出比特率的变 1 4 第一章视频转换编码码率控制 化。另一方面，同一视频帧像素间的空间相关性决定了每个8 8 块的6 4 个变换 系数编码所需的比特数，也决定了游程编码中的相关参数。由于视频块的量化系 数有不同的等级和零游程长度，当量化参数在编码过程中保持一致时，游程编码， 器也会对各像块产生不同数目的变字长码字。 3 )编码算法中的熵编码引起比特率的变化。采用变长编码，通过获得最佳 的每码字平均长度来优化压缩效率。与定长编码不同，变字长编码根据事件的发 生概率来设计码字。变字长编码参数采用不同的码表，产生不同的比特数。而且， 变字长参数对总输出比特率的贡献要比定长编码的参数大的多。 码率控制分为变速率码率控制和恒定速率码率控制。为了保证解码序列有稳 定的感觉质量，在编码过程中需要保持固定的量化值，固定的量化参数产生变化 的每帧比特率。相反，在帧或宏块基础上，改变量化值却能获得恒定的输出比特 率。图1 4 表示了视频传输中，时域活动性和编码比特率对图像质量的影响。其 中，图( a ) 为图像时域活动性，图( b ) 为恒定比特率编码，图( c ) 为变比特率编码。 时域活动性 时问 时问 盱i 司 ( c ) 图l _ 4 质量与比特率之间的关系 一般变速率码率控制用于d v d 等视频码流存储设备，而恒定速率码率控制 用于流媒体网络传输以及电视信号传输等信道带宽受限情况下。由于上述诸多因 素，在恒定速率码率传输中，即使按各帧图像质量的变化，用某种算法计算出相 第一章视频转换编码码率控制 应的量化参数，并用于控制码率，也不能使每帧编码比特数严格一致。因此，各 个视频压缩标准的参考编码器，包括m p e g 2t m 5 和a v s ，都采用基于缓存区 的码率控制算法。尽管在传输前缓存压缩的视频流会产生一定量的延迟，但采用 缓存器可以平滑比特率的波动，短期调整视频输出码率。 在恒定速率码率控制中，质量和编码比特率是两个需要同时考虑的因素。根 据实际应用的具体需求，有的编码系统码率控制策略侧重于满足编码码率要求， 如t m 5 的码率控制策略，其核心就是保证缓存区不上溢和下溢。而h 2 6 4 、a v s 作为最先进的视频编码压缩标准，其码率控制策略是基于率失真优化的。在保证 了c b r 码流满足缓存区要求后，还进一步考虑了不同编码模式的失真特性，即 将编码质量同码率要求一起作为码率控制数学模型中的两个条件，从求解条件极 值的角度出发，求得最佳量化系数。但这种方法的使用对系统的运算能力提出了 较高要求。本论文主要研究视频转换编码恒定速率码率控制，即将一种标准的恒 定速率码流或变速率码流转换为目标标准的恒定速率压缩视频码流。 1 5 2 转换编码码率控制的关键环节 在视频信号压缩处理过程中，码率控制算法大体可分为后向控制和前向控制 两类。后向控制方法主要依赖缓存器容量和信道速率来调整各编码器的量化参 数，如图1 5 所示。这种方法简单而直接，能有效地保证编码器输出与信道码率 相适应，但在输出码率较低时，图像质量易有较大波动。 图1 5 后向码率控制方法 前向码率控制是通过对各编码单位编码比特数的预测，或通过试验迭代的方 法，来确定相应的量化参数。与后向码率控制方法相比，运算量明显增大，但由 于考虑了图像内容，因而得到的图像质量高于后向码率控制算法。 目前码率控制策略的研究基本上采用前向和后向相结合的方法，以获得更好 的效果，如图1 - 6 所示。通过后向控制方法，控制编码时延、缓存器充满程度等； 通过前向控制方法考虑图像信息，给每帧选择合适的目标比特数。两者结合，调 整目标比特数，达到控制输