（信号与信息处理专业论文）基于宏块层的h264自适应码流控制研究.pdf

南京邮电大学硕士学位论文 摘要 1 9 9 6 年3 月i t u t 推出了适用于低码流的视频编码压缩标准h 。2 6 3 。2 0 0 3 年h u t t 和i s o i e c 共同推出了更高压缩比的视频编码标准h 2 6 4 a v c ，i t i j t 推出的这些视频编 码标准通常称为h 2 6 x 。在h 2 6 x 视频编码系统中，编码器的输出码流会随着输入图像内 容的不同雨改变，码流控制就是为了在固定传输速率的信道中保证传输图像质量的稳定以 及可靠的传输所采用的关键措施。h 2 6 x 建议本身对这部分内容是开放的。因此，在针对 不同的应用范围研究相应的控制策略和算法对改善视频编码系统的性能具有非常重要的 意义。 本文首先研究了各种传统的码流控制算法，包括h 2 6 3 校验模型t m n 8 中采用的码流 控制策略、m p e g 2 校验模型t m 5 中采用的码流控制策略和m p e g - 4 校验模型中提出的码 率控制，并在这基础上做了简单的比较和分析，然后重点阐述h 2 6 4 a v c 中j v t - g 0 1 2 码 流控制算法的原理和过程，着重分析了h 2 6 4 中码率控制与率失真优化之间的“蛋鸡悖论” 和m a d 预测的线性模型的提出，并给出了算法实现的流程。接着对j v t o g 0 1 2 方案重算 法豹不足之处进行修改。引用了m a d r a t i o 的概念进行帧级码率控制，并提出了宏块层的 自适应码流控制策略。最后对本文算法进行计算机模拟和试验结果的比较。通过比较可以 看到，本文提出的算法计算复杂度降低很多、缓存控制波动性稍微增大、图像质量有所提 高。三者之间取得了比较好的折中，具有一定的实用价值。 关键词：码流控制、h 。2 6 4 视频编码、蛋鸡悖论 查塞塑皇查堂塑占兰竺堕苎 塑茎 a b s t r a c t i n1 9 9 6 ，ar e c o m m e n d a t i o nn a m e dh 2 6 3f o rv i d e oc o d i n gf o rl o wb i tr a t ec o m m u n i c a t i o n i sp r o p o s e db yi t i j t - i n2 0 0 3 ，i t u ta n di s o i e cj o i n t l yp r o p o s e dav i d e oc o d i n gs t a n d a r d w i t hh i g h e rc o m p r e s s i o nr a t ep e r f o r m a n c e ：h 2 6 4 a v c a l lt h ev i d e oc o d i n gs t a n d a r d sp r o p o s e d 坶i t u tc a nb ep u tt o g e t h e ri nt h ef a m i l yo fh 2 6 x ，i nt h eh 2 6 xv i d e oc o d i n gs y s t e m ，t h e o u t p u td a t as t r e a m sv a r yw i t ht h ev a r i a n c eo fi n p u ti m a g e s r a t ec o n t r o li so n eo ft h es t r a t e g i e s t oe n s u r et h es t e a d ya n dc r e d i b l et r a n s m i s s i o no fi m a g e si nf i x e dr a t ec h a n n e l s t h ec o n t e n to f r a t ec o n t r o li so p e ni nh 2 6 x t h e r e f o r e ，t h er e s e a r c ho fr a t ec o n t r o la l g o r i t h m su n d e rd i f f e r e n t a p p l i c a t i o ni sv e r yi m p o r t a n tf o rt h ep e r f o r m a n c ei m p r o v e m e n t so f v i d e oc o d i n gs y s t e m f i r s t l y , t h i sd i s s e r t a t i o nb d e f l yo v e r v i e wt h et r a d i t i o n a lr a t ec o n t r o la l g o r i t h m s ，i n c l u d i n g t h er a t ec o n t r o ls t r m e g ya d o p t e di nh 2 6 3t e s t i n gm o d e lt m n g ，t h er a t ec o n t r o ls t r a t e g ya d o p t e d i nm p e g - 2t e s t i n gm o d e lt m 5 ，a n dt h er a t ec o n t r o ls t r a t e g ya d o p t e di nm p e g 4 s e c o n d l y , t h e d i s s e r t a t i o nd e s c r i b et h ej v t - g 0 1 2r a t ec o n t r o la l g o r i t h mi nh 2 6 4 a v c ，a n a l y s e st h e “c h i c k e n a n de g g ”d i l e m m ab e t w e e nr a t ec o n t r o la n dr a t ed i s t o r t i o na n dt h em a dl i n e a rp r e d i c t i o nm o d e l ， a n dd e s c r i b et h er e a l i z a t i o np r o c e s so ft h ea l g o r i t h m t h i r d l y , t h ed i s s e r t a t i o nd o e ss o m e m o d i f i c a t i o nt ot h ej v t - g 1 0 2r a t ec o n t r o ls t r a t e g yu s i n gt h ec o n c e p to fm a dr a t i o ，a n d p r o p o s e st h ea d a p t i v er a t ec o n t r o la l g o r i t h mb a s e do nm a c r o b l o c kl a y e r f i n a l l y , s i m u l a t i o n r e s u l t so ft h ea l g o r i t h m sd e s c r i b e di nt h ed i s s e r t a t i o na r eg i v e na n dc o m p a r e d i t sr e s u l t sa l s o s h o wt h a tt h er a t ec o n t r o la l g o r i t h mp r o p o s e di nt h ed i s s e r t a t i o nc a ni m p r o v et h eq u a l i t yo ft h e t r a n s m i s s i o n i m a g ew i t hl o wc o m p u t ec o m p l e x i t ya n ds l i g h t l yi n c r e a s e d b u f f e rc o n t r o l f l u c t u a t i o n o fa l lt h er a t ec o n t r o la l g o r i t h m sd e s c r i b e di nt h ed i s s e r t a t i o n ，t h ep r o p o s e d a l g o r i t h ml e d ac o m p r o m i s eb e t w e e nc o m p l e x i t ya n dp e r f o r m a n c e ，a n dh a s p r a c t i c a lv a l u e s k e y w o r d ：h 2 6 4 、r a t ec o n t r o l 、c h i c k e na n de g gd i l e m m a 南京邮电大学 硕士学位论文摘要 学科、专业：工学信号与信息处理 研究方向： 图像处理与多媒体通信 作 者：j 塑堕级研究生徐皓指导教师塞菱星 题目：基于宏块层的h 2 6 4 白适应码流控制研究 英文题目：t h er e s e a r c ho nt h ea d a p t i v er a t ec o n t r o la l g o r i t h m b a s e do i lm a c r o b l o c kl a y e ri nh 2 6 4v i d e oe n c o d e r 主题词：码流控制h 2 6 4 视频编码蛋鸡悖论 k e y w o r d s ： r a t ec o n t r o lh 2 6 4v i d e oe n c o d e r c h i c k e na n de g gd i l e m m a 南京邮电大学学位论文独创性声明 y 8 5 8 7 7 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：缝! 睦 日期：坐! ! ：垒堡 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名： 垒盥 导师签名 粗魄 南京邮电大学硕士学位论文 前言 随着现代通信技术、数字信号处理技术和计算机技术的飞速发展，多媒体技术得到了 广泛的应用。人们对视频编码技术及其在网络中的应用如可视电话、会议电视、远程监控 等越来越感兴趣。而这些应用都受传输信道带宽和存储容量的限制，要求视频编码算法具 有高效的视频压缩性能。为此，i t u 和i s o 从上世纪8 0 年代末就开始了图像压缩的标准 化工作，先后制定了h 2 6 1 、h 2 6 3 、m p e g 1 、m p e g 。2 、h 2 6 4 1 a v c 等若干视频编解码标 准，这就基本上满足了中、高码流图像存储和传输的要求。特别是h 2 6 4 a v c 标准，它极 大地提高了视频的压缩效率，特别适用于远程监控、会议电视、可视电话等领域。然而， 对于不同的应用场合，往往有不同的视频质量要求。同时，传输信道带宽、处理嚣能力等 实际因素会对视频编码的比特率和图像质量形成种种限制。为了在这些条件限制下，达到 最佳的压缩性能，对视频编码过程进行码流控制是非常必要的。因此，如何有效地控制码 流，成为视频压缩编码与传输中的关键性课题。 本文的工作是：了解并分折了多种编码控制算法，分析它们各自的优缺点；深入研究 h 2 6 4 1 a v c 编码中码流控制算法的特点、实现和存在的不足之处；根据h 2 6 4 a v c 编码器 中码流控制算法的不足之处，做出改进以适合实际的应用。 本论文的安排如下： 第一章主要阐述视频通信豹发展以及编码控制的意义；第二章扼要介绍i t u t t 和 i s o i e c 提出的视频编码标准和特点；第三章分析了传统视频编码中的码流控制策略并进 行比较；第四章研究了最新视频编码标准h 2 6 4 a v c 中的码流控制方案并做出改进；第五 章给出仿真实验结果的分析；第六章是全文的总结以及对未来的展望。附录中附有码流控 制代码中的重要变量和函数的说明。 南京邮电大学硕士学位论文第一章视频编码与码流控制 第一章视频编码与码流控制 1 1 视频通信的发展 当今时代，随着信息技术和计算机互联网的飞速发展，多媒体信息已成为人类获取信 息的最主要载体，同时也成为电子信息领域技术研究和开发的热点。众所周知，人类获取 的信息中7 0 0 , 6 来自于视觉，视频信息在多媒体信息中占有重要地位；同时视频数据冗余度 最大。经压缩处理后的视频质量高低是决定多媒体服务质量的关键因素。因此数字视频技 术是多媒体应用的核心技术，对视频编码的研究已成为信息技术领域的热门话题。 近年来，视频压缩技术的进展已经进入多媒体革命的前沿，随着计算机和电子通信技 术的飞速发展，人们已从单一媒体通信时代跨入了多媒体通信时代。当前如何有效地进行 多媒体信息压缩特别是视频信息压缩编码使其在网络上实时传输是极富挑战性的前沿课 题。视频通信已经从十几年前只有少数人才可以使用的会议电视系统发展到今天有大规模 人群使用的远程视频监控系统、手机可视电话系统、网络视频聊天系统等。其应用领域己 渗透到包括政府会议、企业会议、远程医疗诊断、远程教育、远程监控等诸多方面，市场 前景十分广阔。 远程医疗诊断 远程医疗系统能允许医疗专家与病人进行远程咨询，并能使病人无论身在何处， 都能获得有效的、经济的医疗服务。同时处于异地的远程医疗终端也可共享大医院的 高级医疗设备、共享宝贵的专家资源。 视频会议系统 通过多播技术和实时传输协议，可以降低网络的负担，同时提高服务的质量。因 此，低成本、高效率的网络视频会议系统的应用前景将是十分可观。 远程教育系统 远程教育系统不受地域、时间的限制，使教育和专业培训面向个人成为可能。包 括现场远程教学，远程答疑，远程广播式教学，人机交互式教学，资料和试题。 远程脓控系统 大多数监控系统是一种专用系统，只有在监控室才能观看。如果采用基于i s d n 、 l a n 、i p 的视频监控系统，则不论你在什么地方，只要能上网，通过认证和鉴权都可 以查看结果。 应用的需求极大推动着图像压缩编码向更深的方面发展，为了不同的应用需求，出现 2 南京邮电大学硕士学位论文第一章视频编码与码流控制 了多种视频编码压缩标准，以及针对不同视频编码压缩标准码流控制算法模型，目前仍在 不断地更新和补充。 1 2 视频编码中的编码控制 1 2 1编码控制的目的 对于不同的应用场合，往往有不同的视频质量要求。同时，传输信道带宽、处理器能 力等实际因素会对视频编码的比特率和图像质量形成种种限制。为了在这些条件限制下， 达到最佳的压缩性能，对视频编码过程进行控制是非常必要的。编码控制的目的就是在实 际传输比特率的限制下，以实际所能允许的计算复杂度来获得尽可能好的图像质量。在给 定条件下( 如信道带宽和处理器能力给定) ，此时，编码比特率、计算复杂度和重建图像 质量将取决于采用的视频的编码标准、输入视频和编码控制方法。不同的编码标准，如 h 2 6 3 和h 2 6 4 ，将有不同的编码结果。不同的输入视频，如缓慢运动和剧烈运动的视频， 也会有不同的编码结果。采用不同的编码控制策略，也会有不同的编码结果。 1 2 2 编码的质量控制 在编码端，视频序列无论经过怎样的处理，都是为了能够高效地通过信道传输，最终 在解码端( 接收端) 解码播放。( 有的场合在接收端没有解码，仅把码流存储起来了，但 日后用到的时候还是要解码播放的，) 当视频被采集后，都存在一定程度的噪声干扰。噪 声恶化了图像质量，使图像模糊。因此，可以在视频送编码器编码前。采取滤波( 或者称 为图像平滑) 的方法来消除噪声。滤波的方法有多种，如邻域滤波，中值滤波等。另一个 问题是图像边缘往往出现模糊，从而导致轮廓不清晰，线条不鲜明。可以通过图像锐化的 方法( 如梯度法、掩模匹配法等) 来增强细节，进而解决这个问题。上述的这些处理措施 都可以称为图像的预处理。 先分析一下不同的编码标准下的不同的图像质量。在3 0 h z 的频率下对m i s s a a e i 进行 编码前5 0 帧，编码标准分别为h 2 6 3 ( t m n 5 ) 和h 2 6 4 ( b a s e l i n e ) ，不应用码流控制措施。 通过调节不同的量化步长，得到它们的码流和对应的平均亮度峰值信噪比的性能曲线，如 图“1 所示。 罢戛些皇粪差璺妻兰篓兰妻：= - 。：? ：。：。 苎= 童塑塑塑堡皇塑堕堡塑 了多种视频编码压缩标准，以及针对不同视频编码压缩标准码磊疆丽虿珏疆亘百丽丽石 不断地更新和补充。 1 2 视频编码中的编码控制 1 2 1 编码控制的目的 对于不同的应用场合，往往有不同的视频质量要求。同时，传输信道带宽、处理器能 力等实际因素会对视频编码的比特率和图像质量形成种种限制。为了在这些条件限制下， 达到最佳的压缩性能，对视频编码过程进行控制是非常必要的。编码控制的目的就是在实 际传输比特率的限制f ，以实际所能允许的计算复杂度来获得尽可能好的图像质量。在给 定条件下( 如信道带宽和处理器能力给定) ，此时，编码比特率、计算复杂度和重建图像 质量将取决于采用的视频的编码标准、输入视频和编码控制方法。不同的编码标准，如 h 2 6 3 和h 2 6 4 ，将有不同的编码结果。不同的输入视频，如缓慢运动和剧烈运动的视频， 也会有不同的编码结果。采用不同的编码控制策略，也会有不同的编码结果。 1 2 2 编码的质量控制 在编码端，视频序列无论经过怎样的处理，都是为了能够高效地通过信道传输，最终 在解码端( 接收端) 解码播放。( 有的场合在接收端没有解码，仅把码流存储起来了，但 曰后用到的时候还是要解码播放的。) 当视频被采集后，都存在一定程度的噪声干扰。噪 声恶化了图像质量，使图像模糊。因此，可以在视频送编码器编码前，采取滤波( 或者称 为图像平滑) 的方法来消除噪声。滤波的方法有多种，如邻域滤波中值滤波等。另一个 问题是图像边缘往往出现模糊，从而导致轮廓不清晰，线条不鲜明。可以通过图像锐化的 方法( 如梯度法、掩模匹配法等) 来增强细节，进而解决这个问题。上述的这些处理措施 都可以称为图像的预处理。 先分析一下不同的编码标准下的不同的图像质量。在3 0 h z 的频率下对m i s s a q c i 进行 编码前5 0 帧t 编码标准分别为h 2 6 3 ( t m n 5 ) 和h 2 6 4 ( b a s e l i n e ) ，不应用码流控制措施。 通过调节不同的量化步长，得到它们的码流和对应的平均亮度峰值信噪比的性能曲线，如 通过调节不同的量化步长，得到它们的码流和对应的平均亮度峰值信噪比的性能曲线，如 图“1 所示。 南京邮电大学硕士学位论文第一章视频编码与码流控制 了多种视频编码压缩标准，以及针对不同视频编码压缩标准码流控制算法模型，目前仍在 不断地更新和补充。 1 2 视频编码中的编码控制 1 2 1编码控制的目的 对于不同的应用场合，往往有不同的视频质量要求。同时，传输信道带宽、处理器能 力等实际因素会对视频编码的比特率和图像质量形成种种限制。为了在这些条件限制下， 达到最佳的压缩性能，对视频编码过程进行控制是非常必要的。编码控制的目的就是在实 际传输比特率的限制下，以实际所能允许的计算复杂度来获得尽可能好的图像质量。在给 定条件下( 如信道带宽和处理器能力给定) ，此时，编码比特率、计算复杂度和重建图像 质量将取决于采用的视频的编码标准、输入视频和编码控制方法。不同的编码标准，如 h 2 6 3 和h 2 6 4 ，将有不同的编码结果。不同的输入视频，如缓慢运动和剧烈运动的视频， 也会有不同的编码结果。采用不同的编码控制策略，也会有不同的编码结果。 1 2 2 编码的质量控制 在编码端，视频序列无论经过怎样的处理，都是为了能够高效地通过信道传输，最终 在解码端( 接收端) 解码播放。( 有的场合在接收端没有解码，仅把码流存储起来了，但 日后用到的时候还是要解码播放的，) 当视频被采集后，都存在一定程度的噪声干扰。噪 声恶化了图像质量，使图像模糊。因此，可以在视频送编码器编码前。采取滤波( 或者称 为图像平滑) 的方法来消除噪声。滤波的方法有多种，如邻域滤波，中值滤波等。另一个 问题是图像边缘往往出现模糊，从而导致轮廓不清晰，线条不鲜明。可以通过图像锐化的 方法( 如梯度法、掩模匹配法等) 来增强细节，进而解决这个问题。上述的这些处理措施 都可以称为图像的预处理。 先分析一下不同的编码标准下的不同的图像质量。在3 0 h z 的频率下对m i s s a a e i 进行 编码前5 0 帧，编码标准分别为h 2 6 3 ( t m n 5 ) 和h 2 6 4 ( b a s e l i n e ) ，不应用码流控制措施。 通过调节不同的量化步长，得到它们的码流和对应的平均亮度峰值信噪比的性能曲线，如 图“1 所示。 南京邮电大学硕士学位论文 第一章视频编码与码流控制 4 4 4 3 皿4 2 均4 1 亮柏 度 信3 9 嗓相 比3 7 ( d b ) 弘 3 5 弘 3 3 51 0 1 5 2 0 z 53 03 54 04 55 0 码率k b s ) 图1 1m i s s a 序列在不同编码标准下平均亮度信噪比性能曲线 从图1 1 可以看到，在相同的码流下，h 2 6 4 的平均亮度信噪比明显大于h 2 6 3 的平均 亮度信噪比，即图像质量优于h 2 6 3 。 下面将具体分析在同一个编码标准下，跳帧和量化步长对图像质量的影响。 取编码标准为h 2 6 3 ( t m n 5 模型) ，q p 为固定值2 0 ，没有码流控制。分别取跳帧数为 0 、1 、2 、3 、4 、5 、6 、7 、8 、9 ，得到对应的平均的亮度信噪比，如下图1 2 所示： 4 南京邮电大学硕士学位论文第一章视频编码与码流控制 m 均 亮 度 信 噪 比 f d b 0246 81 0 跳帧数 图1 2m i s s a 和f o r e m a n 序列的跳帧数对亮度信噪比的影响 从图1 , 2 可以看出，无论是m i s s a 曲线还是f o r e m a n 曲线，随着跳帧数的逐渐加大，平 均亮度信噪比变化不大，只是稍有下降。因此，编码时跳帧对重建图像质量的影响不是很 大，但由于是跳帧编码，所以解码播放的时候会有图像跳跃现象。 取编码标准为h 2 6 3 ( t m n 5 模型) ，跳帧数为0 ，即不跳帧，q p 分别取5 、8 、1 l 、1 4 、 1 7 、2 0 、2 3 、2 6 ，没有码流控制，得至它们对应的平均亮度信嗓比曲线，如图1 , 3 所示： m 均 亮 度 信 噪 比 d b ) 51 01 52 02 5 3 0 q p 图1 3m i s s a 和f o r e m a n 序列的q p 与平均亮度信噪比性能曲线 从图1 3 中可以看出，无论是m i s s a 曲线还是f o r e m a n 曲线，q p 越大，平均亮度信噪 比越小。因此，单从保证图像质量角度来讲，应该让q p 尽可能的小。 ：5 m 娩 引 约 勰 盯 南京邮电大学硕士学位论文 第一章视频编码与码流控制 1 2 3 编码的码流控制 由于受到信道带宽和播放质量要求等因素的影响，一般情况下，总是要对编码器进行 码流控制，使其编出的码流适合信道的传输和满足播放质量的要求。首先，可以看到，对 同一个序列，在编码质量相同的情况下，应用不同的编码标准编码，将有着不同的码流。 以h 2 6 3 ( t m n 5 ) 和h 2 6 4 ( b a s e l i n e ) 为例，没有其它码流控制措施，比较两者在相同平均 亮度倍噪比下的码流，见圈1 4 ： 码3 0 塞 ( k b s ) 2 5 0 jmj j j73 b3日404 1 平均亮度信噪比( d 8 ) 图1 4h 2 6 3 和h 2 6 4 的码流与平均亮度信噪比性能曲线 从图1 4 中可以看出，相同的亮度信噪比情况下，h 2 6 4 的码流比h 2 6 3 小得多。 下面我们再看看在同样编码标准下，启用码流控制的重要性。编码标准为h 2 6 4 ，初 始q p 设置为3 0 ，见表1 1 。 表1 1 序列在有无码流控制下的码流对比 平均信噪比d b 测试图像序列输出码流k b s ( s n ry ) c o r t t 副n l e c f 无控制2 4 3 63 5 9 2 ( i p p p ) j v t _ g 0 1 2 2 4 3 6 3 6 7 5 n e w s 无控制 4 5 0 23 6 6 3 ( i p p p l j v t _ g 0 1 24 5 1 l3 7 0 7 没有码流控制的时候，码流不是过大就是过小。码流过大就会使得码字来不及发送， 导致编码线程挂起或者缓冲区溢出，数据被淹没或丢失，因此播放就可能会有停顿或者误 码。而过小则是浪费了带宽。从表1 1 看出没有码流控制时图像质量也稍差。 6 塑塞坚皇盔兰堡主堂堡垒奎蔓二主堡塑塑里兰堡亟丝型 显然，视频编码的标准的应用离不开合理的码流控制策略，在实际的视频通信应用系 统中，除了要保证视频在一定质量的要求下得到合理的压缩外，在传输中也要保证视频码 流的平稳性，即视频输出缓冲区的平稳性。因此，一般从以下两个角度考虑视频编码器码 流控制的策略。 保证编码器输出码流平稳 保证编码器输出码流的平稳是指视频被采集后经过编码器压缩产生的码流比特数 要与实际的信道特性相匹配。通常，实际的信道都是通过协商分配一定的带宽来传送 视频的，这就要求编码器编码产生的码流在一段时间内在某一个固定值的范围内不能 有太大的波动。即保证视频输出缓冲区既不会因为生成的码流过大来不及传送而造成 缓冲区的上溢。也不会因为生成的码流过小而造成缓冲区的下溢。缓冲区的溢出会给 编码器带来灾难性的后果，因而视频编码码流控制策略所要解决的首要问题就是保证 编码器输出码流的平稳。 保证重建图像质量的稳定 保证重建图像质量的稳定是指在保证编码器输出码流平稳的基础上使解码端重建 的图像主观质量和客观评价质量指标相对稳定。通常，由于图像复杂度的差异，会使 重建图像因量化步长的不同而造成各帧图像质量差异很大。编码嚣码流控制策略的另 一个目标就是要尽量保证重建图像质量的稳定性。 保证编码器输出码流的平稳和保证重建图像质量的稳定对矛盾的统一体，编码控制 的目的就是在他们之间寻找折衷点。在以前的码流控制研究工作中，由于受到网络带宽等 因素的限制，一般考虑编码器输出码流平稳的因素多一些，近几年来，随着网络宽带化趋 势的发展，保证重建图像质量的稳定显的越来越重要。 1 3 本文工作提要 本文的工作大体可分为三部分。首先是对传统编码方案中的码流控制策略的分析和总 结，分别熟悉i t u t 和i s o i e c 提出的视频编码标准特点以及分析和研究其相对应的码流 控制策略；其次是对i t u t 的最新视频编码h 2 6 4 a v c 编码方案中的j v t - g 0 1 2 码流控制 策略进行深入分析和研究，包括编码模型分析、码流控制数学模型分析和码流控制实现流 程的深入研究：最后针对j v t - g 0 1 2 中的码流控制策略不足之处做一些有利于实际应用的 改进，包括m a dr a t i o 的计算、码流分配算法的改进以及宏块量化参数的调整，并给出实 验仿真的结果和结论。 7 要蔓塑皇查兰堡圭兰垒堡兰苎= 童望塑塑璺皇曼塑丝型 论文共分六章，第一章介绍了视频通信的发展、码流控制的意义及论文工作概要；第 二章扼要介绍现有的视频编码标准；第三章分析传统视频编码方案中码流控制的策略；第 四章研究了最新视频编码h 2 6 4 a v c 码流控制策略及改进；第五章给出了实验仿真的结 果；第六章对全文作了总结，并提出了今后的研究方向和改进措施。 南京邮电大学硕士学位论文第二章视频编码的标准 第二章视频编码的标准 随着数字化时代的到来，广播、通信、计算机三大技术的日益融合，用户已愈来愈迫 切需要能够自由地从各种传输媒体中读取数字视频信息，这就为制定有关国际标准提供了 重要的契机。同时，又由于网络状况和用户的不同，对视频质量的要求不同，因此，采用 恰当的编码控制来满足这一要求已成为必需的措施。下面首先扼要介绍现行的视频编码标 准。现行的视频编码标准一部分是由l t u - t 提出来的，主要应用于实时传输的h 2 6 1 、h 2 6 3 、 h 2 6 3 + 和h 2 6 3 + + 标准，另一部分是国际标准化组织i s o i e c 的运动图像专家组提出的用 于视频存储的m p e g 一1 、m p e g 一2 和m p e g - 4 标准。2 0 0 2 年，i t u ，t 的视频编码专家组 f 、，c e g ) 和i s o i e c 的活动图像专家组( m p e g ) 联合制定的视频编码新标准h 2 6 4 a v c 标 准，也是m p e g 4 的第十部分，是当今最流行的视频编码标准，是本文研究的重点。 2 1i t u t 视频编码标准 2 1 1h 2 6 1 系列标准 h 2 6 1 是i t u t 针对可视电话、会议电视和窄带i s d n 等实时编解码和低时延应用提 出的一种编码标准，适用于p 6 4 k b p s 的视昕业务，其中p 是一个取值范围为1 3 1 的整数。 h 2 6 1 大体上分为两种编码模式：帧内编码和帧间编码。在帧内编码时采用了8 8 数 据块的d c t 运算，然后对变换系数进行量饨，接下去对量化系数采用z 形扫描，最后通 过d c 系数的预测编码、a c 系数的游程编码和a c 系数的h u f f m a n 编码组合实现最后的 压缩比特流。而在帧间编码时采用了基于1 6 1 6 的宏块和整像素精度的运动估计。这些 算法有效地压缩了视频序列在时间和空间上的冗余度。 2 1 2h 2 6 3 系列标准 h 2 6 3 是对h 2 6 1 的改进，是i t u t 为低于6 4 k b i t s 的窄带通信信道制定的极低码流视 频编码标准。其信源编码算法是基于h 2 6 1 的。它们都采用了一种混合的信源压缩编码算 法方案，最后采用变长编码形成传输码流。 为了适应极低码流传输的要求，h 2 6 3 在以下方面作了改进： 1 图像格式 h 2 6 1 定义了c i f 和q c i f 两种图像格式，而在h 2 6 3 中有五种标准的图像格式： 9 塑塞堂皇查堂堡主兰垡笙兰 塑三兰塑塑塑堕塑堡壅 s u b q c i f 、q c i f 、c i f 、4 c i f 和1 6 c i f 。 2 块组结构 h 2 6 3 和h 2 6 1 中对宏块( m b ) 的定义是相同的，即一个宏块对应于4 个亮度块和2 个色度块，每个块大小是8 8 。h 2 6 1 中块组( g o b ) 可以表示c i f 图像的1 1 2 或者q c i f 图像的1 3 ，每一个块组包含3 3 个宏块。而h 2 6 3 中一个块组为s u b q c i f 图像的1 6 ， q c i f 图像的1 9 ，c i f 、4 c i f 和1 6 c i f 图像的1 1 8 。 3 运动估计 在h 2 6 1 中，运动估计的精度为整像素间隔，运动矢量范围为( 1 6 ，+ 1 5 ) 。而在h 2 6 3 中采用半像素精度运动估计，取值范围为( 1 6 。0 ，+ 1 5 5 ) 。而且运动矢量是以差分预测的 方式编码传输。 4 运动矢量数据 h 2 6 1 中对运动矢量采用一维前值预测与v c l 相结合的方式进行编码，h 2 6 3 中则采 用更复杂的二维预测与v c l 相结合的方式对预测差值进行编码传输。在每个宏块一个运 动矢量数据( m v d ) 的情况下，差分编码的候选预测矢量来自周围的3 个宏块。预测矢量按 照水平和垂直分量分别进行计算。 5 d c t 系数变长编码 在h 2 6 1 中变长编码由二维v c l ( 烈j n ，l e v e l ) 加上块结束标志来实现的，其中 r u n 为编码系数前的连续0 个数，l e v e l 为编码系数的非0 值。而在h 2 6 3 中量化系数 采用三维v c l ( l a s t ，r u n ，l e v e l ) 编码表示，其中l a s t 为l b i t ，用来指示是否为最 后一个非零系数。 6 误码检测与纠正措施 h 2 6 1 建议中用b c h 码作为误差纠错码，而h 2 6 3 中本身没有误差检测机制。对误 码的处理可以由外部方式( h 2 2 3 建议) 实现。 7 四个可选模式 h 2 6 3 还提供了四个可选模式，它们是：非限制运动矢量模式、高级预测模式、p b 帧 模式、基于语法的算术编码模式。 与h 2 6 1 相比，h 2 6 3 的压缩效率提高了约5 0 ，能提供更好的图像质量、更低的速 率，适合于讲视频会议、可视电话应用，它现在已经基本上取代了h 2 6 1 标准，并现已被 几种可视电话采用为网络终端。 1 0 南京邮电大学硕士学位论文第二章视频编码的标准 2 1 3h 2 6 3 + 和h 2 6 3 + + 标准 1 9 9 8 年i t u t 推出的h 2 6 3 + 是h 2 6 3 视频编码标准的第二版，它在保证了原h 2 6 3 标准的核心句法和语义不变的基础上，它增加了1 2 个新的可选择模式和其它特征，进 步提高了压缩编码性能。例如，h 2 6 3 只有5 种视频源格式，h 2 6 3 + 允许使用更多的源格 式，图像形状和时钟频率也有多种选择，拓宽了应用范围；另一重要的改进是可扩展性， 它允许多显示率、多速率及多分辨率，增强了视频信息在易误码、易丢包异构网络环境下 的传输。另外，h 2 6 3 + 的图像分段依赖性也可以是受限的，以减少差错传播。2 0 0 0 年r r u t 又推出了h 2 6 3 + + 9 1 ，对h 2 6 3 又做了一些新的扩展，增加了一些新的特性，主要是为了 增强码流在恶劣信道上的抗误码性能，同时也是为了增强编码效率。新增的可选模式有： 增强参考帧选择模式、数据分片模式、扩展的追加增强信息模式等。 2 2i s o i e c 视频编码标准 2 2 1m p e g 1 标准 m p e g - 1 标准主要是为数字存储媒介中音频和视频信息压缩而提出的，应用于 c d - r o m 、数字录音带、计算机硬盘和可擦写光盘等，比特率不超过1 5 m b i t s ，传输信道 可以是i s d i n 和l a n 等。 m p e g - 1 对视频图像的编码过程类似于h 2 6 1 标准，不同点在于m p e g 1 引入了双向 运动补偿，即预测帧可以是前面的相邻帧也可以是后面的相邻帧，从而将视频图像序列的 编码模式分为三种类型：帧内图( i 帧) 、前向预测图( p 一帧) 和双向预测图( b 帧) 。 i 帧采用j p e g 标准中所使用的编码方式。p - 帧的编码方式类似于h 2 6 1 中所使用的预 测编码模式。对b 帧的编码比较复杂，因为它既要用到蓠向预测编码又要用到后向颞测编 码。对每个1 6 1 6 的块结构，都需要进行前向运动矢量和后向运动矢量的预测，由此得 到的一个前向预测块和一个后向的预测块，通过对这两个块的信号取平均而得到第三个 “预测块”，然后选择三个预测块作为最终的预测块。接下去的处理和p 型图相同。 双向预测也称为插补预测，可以有效地预测前后帧中相类似信息的区域，从而可以有 更多的可利用信息，因此可以大幅度地压缩图像数据。正因为如此，m p e g 1 标准的性能 优于h 2 6 1 标准。 南京邮电大学硕士学位论文 第二章视频编码的标准 2 2 2m p e g 2 标准 m p e g 组织于1 9 9 5 年推出m p e g - 2 压缩标准，以实现视音频服务与应用互操作的可 能性。它是在m p e g 1 标准的基础上进一步扩展和改进，m p e g 。2 标准是主要针对标准数 字电视和高清晰度电视在各种应用下的压缩方案和系统层的详细规定，编码码流从每秒3 兆比特1 0 0 兆比特。m p e g 2 在系统和传送方面作了更加详细的规定和进一步的完善， 适用于广播级数字电视的编码和传送，被认定为s d t v 和h d t v 的编码标准。m p e g 2 视 频信号压缩编码完全引用了m p e g 一1 基于d c t 的、有运动补偿的帧间双向预测的基本结 构，只是对其做了部分扩展。 m p e g - 2 的编码码流分为六个层次。为更好地表示编码数据，m p e g - 2 用句法规定了 一个层次性结构。它分为六层，自上到下分别是：图像序列层、图像组( o o p ) 、图像、宏 块条、宏块、块。 2 2 3m p e g 一4 标准 m p e g 4 标准主要应用于视频电话( v i d e op h o n e ) ，视频电子邮件( v i d e oe m a i l ) 和电子新 闻( e l e c t r o n i cn e w s ) 等，其传输速率要求较低，在4 8 0 0 6 4 0 0 0 b i b s e e 之间，分辨率为1 7 6 1 4 4 。m p e g - 4 利用很窄的带宽，通过帧重建技术，压缩和传输数据，以最少的数据获得 最佳的图像质量。m p e g 4 中引入了a v 对象( a u d i o v i s a u lo b j e c t s ) 的概念，使得更多 的交互操作成为可能。其原理是：将信息视为由一系列视频和音频对象组成的对象集合， 对每个组成图像的对象均提取其对象模型和对象参数，以此对该对象作精确的描述，然后 提取出表示这些对象间相互关系的用于各个对象重组的场景描述参数。在译码端，译码器 根据加载在编码数据流中的表示各个对象之间相互关系的场景描述参数恢复各个对象之 间的原有关系，从而重建原图像。 m p e g 4 是第一个使用户可在接收端对画面进行操作和交互访问的编码标准。由于 m p e g - 4 基于对音视频对象( a v o ) 独立编码，必须同时传送编码对象的组成结构信息“场 景描述”，它不属于a v o 的特征信息，仅表示场景中各a v o 对象之间的时空结构关系。 “场景描述”信息是独立传输的，解码时在解码端可改变选定a v o 的“场景描述”参数， 对图像和声音的有关内容进行编辑和操作。例如：增删某个对象、改变某个音视频对象的 音调、激活分级编码信息等，编码端无需任何改变。 1 2 南京邮电大学硕士学位论文 第二章视频编码的标准 2 3 h 2 6 4 a v c 视频编码标准 为了进一步提高编码效率和编码的纠错能力等，从1 9 9 9 年开始，i t u t 以h 2 6 3 为基 础，开始研究新一代的低码流视频压缩标准h 2 6 4 。一方面，h 2 6 4 把h 2 6 3 中的一些已经 证明行之有效的可选模式作为h 2 6 4 中的基本模式固定下来；另一方面，h 2 6 4 又加入了 一些新的研究成果，在系统结构、编码方法、变换、运动估计和运动补偿等方面都提出了 许多新的概念。主要特性有： 1 h 2 6 4 在系统结构上的改进 k i 2 6 4 在系统层面上提出了一个新的概念，在视频编码层( v i d e oc o d i n gl a y e r , v c l ) 和网络抽象层( n e t w o r k a b s t r a c tl a y e r , n a l ) 之间进行概念性分割。 2 新的算法特点 帧内预测 帧内预测用于减少空域的冗余度，包括i n t r a 4 4 和i n t r a 1 6 x1 6 两种类型，与 以往的压缩协议不同，预测始终是通过参照邻近已编码块在空域范围内进行。 统一的熵编码 h 2 6 4 中的熵编码有两种，一种是对所有的语法单元采用统一的v l c ( u v l c ： u n i v e r s a l v a r i a b l e - l e n g t h c o d i n g ) ，另一种是采用内容自适应的二进制算术编码( c a b a c ： c o n t e x t - a d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) 。 4 4 块的整数变换 在变换方面，h 2 6 4 使用了基于4 4 数据块的类似于d c t 的变换，但使用的是以整 数为基础的空间变换，不存在反变换因为取舍而存在误差的问题。 量化步长变化幅度的控制 h 2 6 4 为了提高码流控制的能力，量化步长的变化的幅度控制在1 2 5 左右，而不是 以不变的增幅变化。变换系数幅度的归一化被放在反量化过程中处理以减少计算的复杂 性。为了强调彩