面向立体视频的比特分配与码率控制算法.doc

第7期朱仲杰等：面向立体视频的比特分配与码率控制算法21第28卷第7期通信学报Vol.28 No.72007年7月Journal on CommunicationsJuly 2007面向立体视频的比特分配与码率控制算法朱仲杰1,3,梁丰1,蒋刚毅2,3,郁梅2,3（1. 浙江万里学院 宁波市DSP重点实验室，浙江 宁波 315100；2. 宁波大学 电路与系统研究所，浙江 宁波 315211；3. 北京大学 视觉与听觉信息处理国家重点实验室，北京 100871）摘 要：提出一种面向立体视频的比特分配与码率控制算法以提高立体视频的编码效率和码流可靠性。算法对传统二次率失真模型进行了改进，并结合人眼的立体视觉特性，提出了新的码率控制策略。实验结果显示，改进后的率失真新模型具有更高的准确性，提出的算法能根据编码参数进行有效的比特分配和码率控制。关键词：立体视频；比特分配与码率控制；率失真模型；人眼视觉特性中图分类号：TN919.81文献标识码：A文章编号：1000-436X(2007)07-0015-07Bit-allocation and rate-control algorithm for stereo video codingZHU Zhong-jie 1,3, LIANG Feng1, JIANG Gang-yi 2,3, YU Mei2,3 (1. Ningbo Key Lab. of DSP, Zhejiang Wanli University, Ningbo 315100, China；2. Institute of Circuits and Systems, Ningbo University, Ningbo 315211, China；3. National Key Laboratory of Machine Perception, Peking University, Beijing 100871, China )Abstract: A new bit-allocation and rate-control algorithm for stereo video coding was proposed to improve its coding efficiency and stream reliability. The conventional quadric rate-distortion model was improved and a new one was introduced by incorporating the human visual system (HVS) characteristics. Experimental results show that the improved new rate-distortion model is more precise than the conventional one and the proposed new algorithm can efficiently implement bit allocation and rate control according to coding parameters. Key words: stereo video; bit-allocation and rate-control; rate-distortion model; human visual system 1 引言收稿日期：2007-01-15; 修回日期：2007-05-13基金项目：国家自然科学基金资助项目(60472100); 浙江省自然科学基金资助项目(200502123); 宁波市自然科学基金资助项目(2006A610013); 北京大学视觉与听觉信息处理国家重点实验室开放基金资助项目(2005176)Foundation Items: The National Natural Science Foundation of China(60472100); The Natural Science Foundation of Zhejiang Province(200502123); The Natural Science Foundation of Ningbo(2006A610013);The Open Project Foundation of National Key Laboratory of Machine Perception of Peking University (2005176)立体视频有两路视频信号，能提供景物的深度信息，人们在观看时能获得立体视觉效果。它被认为是未来视频技术的一个重要发展方向，在诸多领域有着广泛的应用前景13。但立体视频技术还不成熟，离大规模的应用还有较长的路要走，还有许多关键问题有待深入研究。其中，比特分配与码率控制技术是立体视频编码与传输中一个核心与关键问题。目前，虽然在视频编码中，已有若干码率控制算法被提出并得到了应用，如MPEG-2的TM5算法、H.263的TMN8算法以及H.264的JVT-F086、JVT-G012算法等46。但由于视频编码与立体视频编码的差异，这些算法不能直接应用于立体视频，所以面向立体视频的码率控制与比特分配算法需要单独研究。立体视频有2个视频通道，其比特分配和码率控制问题更加复杂，研究高效实用的面向立体视频的比特分配与码率控制算法具有重要意义。目前，有关立体视频的比特分配与码率控制技术的研究工作还较少，只有少数学者在此方面进行了初步研究。Woo W.等人基于率失真理论研究了立体视频编码中的最佳比特分配问题，提出了最优比特分配的基本思想和相关算法7。但该算法非常复杂、计算量大，在实际应用中不具有可操作性。本文主要研究高效、实用的面向立体视频的比特分配与码率控制算法，重点考虑在总码率受限情况下，如何进行有效的码率资源分配，以获得最佳的视觉效果。由于率失真模型在码率控制中的核心作用，其准确性直接影响到整个码率控制算法的性能，因此，本文在详细分析现有视频码率控制算法的基础上，首先提出一种新的率失真模型，以更好地进行码率估计。然后，基于立体视频编码的特点和其码率控制的要求，提出一种面向立体视频的帧级码率控制算法。实验仿真结果显示，与传统二次率失真模型相比，新的率失真模型具有更高的准确性，提出的面向立体视频的比特分配与码率控制算法能基于事先给定的编码参数进行有效的码率控制。 2 立体视频编码方案立体视频有两路视频信号，在编码时通常采用视差估计与补偿技术（DCP）和运动估计与补偿技术（MCP）相结合的方法以充分去除各种冗余信息。本文采用立体视频编码器8，其结构如图1所示。与单通道视频编码类似，在立体视频编码中也可以给出立体图片组的概念。将在一段时间内由左右两幅图片构成的连续立体序列作为一个基本编码单元，称为立体图片组（SGOP），如图2所示。在同一时刻由左右2个相机拍摄得到的左右两幅图像称为一个图像对，一个图片组由若干个图像对组成。根据预测和编码方式的不同，可以将图片组中的图片分成不同的类型。如在图2所示的图片组中，共有5种不同的图片类型。图2中，MCP表示运动估计与补偿技术，DCP表示视差估计与补偿技术，I表示帧内编码图片，PM、BM分别表示主通道中基于MCP的预测编码和双向预测编码图片，PD、BD分别表示辅通道中结合DCP技术的预测编码和双向预测编码图片。图1 立体视频编码器结构图2 立体视频图片组结构3 面向立体视频的比特分配与码率控制算法 3.1 码率控制新策略与率失真理论 编码压缩后的立体视频数据流可以看作由视频流图信息、运动/视差数据和量化后的DCT系数数据3个部分构成。严格意义上的比特分配和码率控制应完全包括此三部分数据比特的合理分配与控制。但实际上，由于图信息和运动/视差数据在视频序列的不同图片中往往变化不大，所以常用的码率控制策略主要是通过调整编码参数来控制DCT系数数据量。在现有的视频码率控制技术中，许多算法对DCT系数数据量的调节都是通过改变量化参数来实现的。由于码率量化参数（）之间并不是在所有的范围内都呈明显的单调下降关系，在很多时候，当R较小时减小Q值并不能有效地降低编码数据量。对立体视频来说，由于有2个视频通道，数据量庞大，当网络带宽较小时，单纯调节Q值可能难以达到理想的码率控制效果，此时就很容易引起跳帧，从而严重影响解码后的视频的视觉效果。根据人眼的立体视觉特性，一个通道内图像分辨率的部分下降不会影响到整体的立体视觉效果9,10。基于此，在本文的码率控制算法中，采用新的码率控制策略：对基本层仍然采用模式，对于增强层，采用图片空间分辨率和Q值这2个参数来进行码率控制，即码率控制模式由单纯的模式改为模式，其中Sr表示图片的空间分辨率参数。令表示编码第i个视频通道第j帧图像中第k个宏块的量化参数，表示编码整个视频序列的全部量化参数集合，Sr表示图片的空间分辨率参数，表示使用量化参数、编码整个视频序列所用的比特数量，表示相应的编码失真。设表示总的可用比特，则基于率失真优化的比特分配与码率控制问题可以表述为：寻找最佳的，在满足的条件下,使得最小，即, (1)引入拉格朗日乘子，式（1）带约束的优化问题可以转换成如下非约束的形式 (2)因此，最优比特分配与码率控制问题就等价为求解使得最小的。在实际算法中，求解式（2）的精确解非常困难，一般的比特分配与码率控制算法都是根据经验方法寻求式（2）的近似解。3.2 率失真模型的改进 在单通道视频编码标准中，常用的码率控制算法几乎都使用率失真模型来进行码率预测,常见的模型有对数模型、指数模型、二次模型等11,12。其中，经典的二次率失真模型得到了广泛应用，被认为是迄今为止最佳的率失真模型之一，其数学原理简介如下13。设原始视频信源信号p（c）服从拉氏分布，即 (3)定义失真D（x）为 (4)经过数学推导，可得到如下的率失真函数 (5)将式（5）按照泰勒级数展开 (6)令,即可得到实际码率控制中广泛使用的二次模型(7)其中，为模型参数。从上述过程可以看出，模型的推导不是非常严谨。首先，模型是在假设信源服从拉普拉斯分布的基础上给出的，但实际图像的DCT系数通常不是严格服从该分布；其次，在式（6）中，展开后的泰勒级数只保留了第一和第二项，高次项被丢弃了，会造成误差；另外，简单的令也不够准确。因此，该模型在实际应用中会存在欠缺，难以进行精确的码率预测。为了提高率失真模型的准确性，在大量实验和经验数据的基础上，本文对传统二次率失真模型进行改进，提出了一种新的模型 (8)其中，a、b、c为模型系数，可以由如下的统计分析方法给出：令，设， , 是已存在的n个样本值，令 (9)利用多元回归技术，可以计算得到模型参数C为 (10)其中，是的转置矩阵，是的逆矩阵。3.3 算法描述提出的比特分配与码率控制采用JVT-G012类似算法结构，但对其中的部分内容和步骤进行了改进，以满足立体视频编码的要求。算法流程分为图片组层码率控制和帧层码率控制2个层次。图片组层码率控制主要是在给定码率、帧率的条件下，确定增强层的编码模式和I帧的量化参数。帧层码率控制主要是对图片组内的非帧内编码帧分配码率并计算其量化参数。算法的关键步骤简介如下1) SGOP可用比特数的计算设表示图片组的长度，表示帧率，表示编码速率，则图片组的初始预算比特总数由式(11)给出 (11)其中，是设置的虚拟缓冲区初始值，缓冲区的大小用来表示，表示编码完第j帧后的虚拟缓冲区占用度，表示编码完前一个SGOP后缓冲区的占用度。表示编码完第j帧后SGOP的剩余比特数，编码完一帧后，其值由式（12）更新 (12)其中，表示编码第j帧实际使用的比特数。2) 码率控制模式的选择 码率控制模式由帧率、编码速率以及图像尺寸决定。定义模式选择参数如下(13)其中，表示以像素为单位的图像尺寸，、为阈值参数，由经验值确定。当时，表示增强层采用控制模式；当=1时，表示增强层采用模式，且分辨率为全分辨率的80；当=2时，表示增强层采用模式，且分辨率为全分辨率的60；当=3时，表示增强层采用模式，且分辨率为全分辨率的40。3) I帧量化参数的计算在一个SGOP中，I帧的作用至关重要，其量化参数的选取将直接影响整个SGOP的编码效率和编码后的图像质量。所以需给I帧分配合适的码率，并准确地计算其量化参数。如果分配较多的码率，以降低I帧的失真度，那么就会减小后续图像在编码时的预测MAD值，这样就可以用较少的比特数进行编码而达到较好的视觉质量。但是，如果I帧的码率分配过多，不但会引发码流波动，而且会引起跳帧，严重影响解码后的视频质量。所以I帧量化参数必须在码率和失真度之间进行折中。在本文算法中，I帧的目标码率根据式（14）计算(14)其中，、分别表示图片组中未编码的、帧的数量。、表示各帧的复杂度，其值由前一个SGOP中同类型帧的平均复杂度估计得到。估算出I帧的目标码率后，根据如下的二次率失真模型，计算I帧的量化参数，记为(15)其中，表示头信息，从已编码帧估计得到。当前I帧的复杂度由式(16)计算得到(16)最后，对量化参数进行调整使其在允许的范围内。4) 帧层码率控制 帧层码率控制主要是对图片组内的非帧内编码帧分配码率并计算其量化参数。为了满足网络传输的要求并获得最佳立体视觉效果，编码压缩时应尽量保持整个立体视频码流码率的稳定性，同时尽量保持基本层图像视觉质量的稳定性。因此，在进行帧层码率控制时，对于基本层中的前后帧的量化参数，要尽量避免大的波动，对于增强层，则允许量化参数有较大的波动。设, 第j帧的目标码率由式（17）给出 (17)其中，为第j帧的目标缓冲区占用度，表示帧类型。估计得到当前帧的目标比特后，利用率失真模型可计算其量化参数。编码复杂度采用MAD,通过前一帧的MAD值预测得到。最后，对量化参数进行调整使其在允许的范围内。编码完当前帧，分别更新MAD模型和R-D模型的参数，并进行跳帧处理。4 实验测试为了检验提出的新的率失真模型的准确性和码率控制算法的有效性，进行了计算机仿真测试，测试使用了以下的标准立体视频测试序列：1) Train_and_Tunnel图像序列，图像尺寸为720576；2) Herve图像序列，图像尺寸为512512；3) Pascal图像序列，图像尺寸为512512；4) Im图像序列，图像尺寸为512512。为了合理地评价提出的新率失真模型的性能，采用如下测试方法：首先对一帧图像采用不同的量化步长进行编码，得到实际曲线，然后分别采用新旧率失真模型对实际曲线进行拟合，然后分析它们与实际曲线的拟合精度，从而比较2个模型的性能。为此，定义模型误差如下 (18)其中，表示使用第i个2个量化参数进行编码时图像的实际编码比特数，表示使用模型预测得到的编码比特数。对于提出的比特分配与码率控制新算法，主要考察实际编码时的码率控制精度和码率偏移2个性能指标。码率偏移性能指标定义如下 (19)其中，表示编码第j帧的实际码率，表示目标码率，K表示实际编码帧数。平均码率偏移反映了实际码率波动的剧烈程度,其值越小,说明实际输出码率越平稳。图3图5与表1给出了改进率失真模型的实验结果。其中，图3、图4和图5分别给出了Herve Train和Im序列的测试结果，图中量化参数和码率都进行了归一化处理。表1给出了2个模型的具体拟合误差值。表2给出了整个码率控制算法的实验结果,实验中阈值参数、设置如下， （20）图3 Herve序列实验结果 表1新旧率失真模型性能比较表2码率控制算法实验结果图4 Train 序列实验结果 测试序列帧类型新模型原模型TrainI320.2410.2P197.3727.9B117.1695.1ImI57.7412.7P86.2654.4B85.0673.0HerveI57.7389.8P63.0543.1B21.1559.2图5 Im 序列实验结果 编码序列目标码率/（Mbits-1）实际码率/（Mbits-1）码率误差/（Mbits-1）平均码率偏移Train10.00010.3820.3820.3531.5001.5250.0250.2460.6400.6410.0010.132Im10.00010.2810.2810.2471.5001.5430.0430.0190.6400.6430.0030.323Herve10.00010.1040.1040.7071.5001.5520.0520.2720.6400.6420.0020.3095 结束语比特分配与码率控制是立体视频编码与传输中的一项关键技术，文章在分析了现有视频码率控制中率失真模型的不足和立体视频编码的特点后，提出了新的率失真模型和新的码率控制策略。与传统的二次率失真模型相比，新的率失真模型具有更高的准确性，能更好地进行码率预测。码率控制新策略是基于人眼的立体视觉特性，改变了传统码率控制中的单一R-Q模式，可以更好地进行低速率编码下的码率控制。提出的面向立体视频的码率控制算法能基于事先给定的编码参数进行有效的码率控制。参考文献：1LI G P, HE Y. A novel multi-view video coding scheme based on H.264A. ICICS-PCM C. Singapore, 2003.493-497.2 JIA H Z, GAO W, LU Y. Stereoscopic video coding based on global displacement compensated predictionA. Proceedings of the International Conference on Information and Communications Security, C. Singapore, 2003. 61-65.3DING L F, CHEN S Y, HUANG Y W. Stereo video coding system with hybrid coding based on joint prediction schemeA. Proceedings of 2005 International Symposium on Circuits and SystemsC. Kobe, Japan, 2005. 6082-6085.4MA S, GAO W, WU F. Rate control for JVC coding scheme with HRD considerationsA. Proceedings of International Conference on Image ProcessingC. Barcelona, Spain, 2003. 793-796.5JINAG M Q, YI X Q, LING N. Improved frame-layer rate control for H.264 using MAD ratioA. Proceedings of IEEE International Symposium on Circuits and SystemsC. Vancouver, Canada, 2004. 813-816. 6PAN F, LI Z G, LIM K. A study of MPEG-4 rate control scheme and its implementationsJ. IEEE Transactions on Circuit and System for Video Technology, 2003, 13(5):440-446. 7WOO W, ORTEGA A. Optimal blockwise dependent quantization for stereo image codingJ. IEEE Transactions on Circuits and Systems for Video Technology, 1999, 9(6):861-867. 8ZHU Z J, JIANG G Y, YU M. Fast disparity estimation algorithm for stereo video codingA. Proceedings of 2002 IEEE Region 10 Conference on Computers, Communications, Control and Power EngineeringC. Beijing, China, 2002. 285-288. 9RHYS H. Digital Stereo Video: Display, Compression and TransmissionD. The Australian National University, Canberra, Australia