（通信与信息系统专业论文）h264码率控制算法的研究与优化.pdf

大连理j r 大学硕士学位论文 摘要 随着计算机网络技术和多媒体信息处理技术的发展，数字视频技术已经成为当今社 会普遍应用的热点技术。作为新一代的视频编码标准，h 2 6 4 在编码过程中引入了一系 列的新技术，显著地提高了视频编码性能，成为目前编码效率最高、应用前景最广泛的 视频编码技术。 在视频通信过程中，为了保证编码器的输出码率满足网络带宽需求，编码器需有效 地控制码率，以获得输出码率和编码质量的最佳折衷。码率控制是h 2 6 4 视频编码的关 键技术之一，其控制效果将直接影响视频编码的网络传输性能。 论文着重研究基于h 2 6 4 的码率控制算法，分析了j m 8 6 测试模型中码率控制算法 存在的一些问题，并针对帧层码率控制算法做了较大改进。对比原算法，论文提出的帧 层码率控制算法修改了帧复杂度的计算方法，充分考虑了图像复杂度、邻近帧灰度差值、 已编码帧实际编码比特数以及码率控制反馈情况等信息，自适应地调整帧层目标比特数 和量化参数，使视频序列的目标比特分配更加合理。同时，论文提出的码率控制算法还 对宏块层的率失真优化过程做了改进，根据每个宏块的预测目标比特数来调整率失真优 化的拉格朗同系数，使帧层码率控制效果更优。 实验结果表明，论文改进的帧层码率控制算法在降低码率的同时，提高了视频编码 的平均峰值信噪比，改善了视频编码质量，而且该算法还降低了视频序列峰值信噪比的 均方差，使编码结果更加平稳，更利于视频的稳定传输。 关键词：h 2 6 4 ；码率控制；j m 8 6 ；目标比特 h 2 6 4 码率控制算法的研究与优化 t h er e s e a r c ho f r a t ec o n t r o la 1 9 0 r i t m 1b a s e do nh 2 6 4 a b s t r a c t w i mn l ed e v e l o p m e n to ft l l ec o m p u t e rn e t w o r ka 1 1 dm u l t i m e d i at e c h n o l o g y ，d i g i 词v i d e o t e c l l i l o l o g yh 器b e e n 印p l i e d 晰d e l yi nt o d a y ss o c i e 锣a san e wg e n e r a t i o no fv i d e oc o d i n g s t a i l d a r d ，h 2 “h 嬲m a d eo b v i o u sp r o 铲e s si nc o d i n ge 伍c i e n c yb yu s i n gas e r i e so fa d v a l l c e d c o d i n gt o o l si i l 也ee n c o d i n gp r o c e s s b e c a u s eo ft 1 1 ee x c e l l e n tp e r f i o m a l l c e ，h 2 6 4w o u l db e u s e di nm o r ea p p l i c a t i o na r e a si nt 1 1 e 如t u r e f o rt h ep r o c e s so fv i d e oc o m m u n i c a t i o n ，i 1 1o r d e rt om e e tt l l eb a n d 、i d 也r e q u i r e m e n t ，i t i sn e c e s s a wt 0c o n 仃o lt h eb i tr a t ee 疗e c t i v e l yt og e t 也eb e s tc o m p r o m i s eb e t 、e e no u t p u tr a t e a n dt h ec o d i n gq u a l 埘r 础ec o i l t r o l i so n eo fk e yt e c h i l i q u e si i lh 2 6 4 ，w h i c h 淅l l 醐f e c t 也e p e i o n n 锄c eo ft h ev i d e oc o d i n gn e 咖r k 仃a n s m i s s i o nd i r e c t l y b a s e do nt l l ej m 8 6m o d e l ，b ya 1 1 a l y z i n gs e v e r a ld i s a d v a i l t a g e so f t l l ea 1 1 0 c a t i o ns c h e m eo f 胁e l a y e rt a r g e tb i t s ，an e wa l g o r i m mf o r 丘锄e l a y e rr a t ec o i l n 。o l i sp r o p o s e di nt 1 1 i sp a p e r b ym o d i 匆i n g t l l ec a l c u l a t i o no ft l l e f h m e - l a y e rc o m p l e x i 锣，c o n s i d e r i n gt l l ep i c t u r e c o m p l e x i 锣，也en e i g h b o r h o o df - 均m ed i f ! f ：h e n c ea n dt h ee n c o d e df r a m ef e e d b a c ki n f o m a t i o n ， t l l ep r o p o s e da l g o r i t l l mc a na d a p t i v e l ya d j u s tm en u m b e ro f 也ef r 锄e - 1 a y e rt a r g e tb i t sa n dq p ， w h i c hm a l ( e sb i ta l l o c a t i o no f 也ev i d e os e q u e n c em o r er a t i o i i a l l y a tt h es 锄et i m e ，血i s p a p e r a l s oi m p r o v e sm ep r o c e s so fi t d oi nt l l em a c r o b l o c kl a y e r b a s e do nt h ep r e d i c t i o nb i t s o ft l l em a c r o b l o c k ，t h el a g r a n g ec o e f ：f i c i e n th a sb e e nm o d i f i e da d a p t i v e l y s i m u l a t i o n sd e m o n s t r a t et h a tm ep r o p o s e da l g o r i t h mc a i li n c r e 髂em ep s n r ，a l l o c a t et h e t a r g e tb i t sl o g i c a l l ya n di m p r o v et h eq u a l i t yo fv i d e oc o d i n gs i g n i f i c a n t l y s i m u l t a n e o u s l y ，i t c a j lr c d u c et h em s eo fp s n rw h i c hm a k e st h ec o d i n gq u 出i t ym o r es t a b l e k e yw o r d s ： h 2 6 4 ：r a t ec o n t r o i ：j m 8 6 ：t a r g e tb 计s 大连理工大学硕士学位论文 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目： 璺：丝塑畚必警亟塑霉丛业 作者签名：j 馥一日期卑年旦月日 大连理工大学硕士学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题目： 作者签名： 导师签名： 大连理工大学硕士学位论文 1绪论 近年来，随着计算机图像处理技术、网络通信技术以及视频编解码技术的发展，多 媒体技术已经广泛地应用在人们的学习、工作和生活中，成为现代社会必不可少的技术 之一。如今，无论是在学术界还是产业界，多媒体技术已经成为人们普遍关注的热点， 多媒体业务正不断地更新、拓展。 多媒体包含多项内容，如图像、声音、文字和视频等数据，其表达能力强，传递信 息丰富，比单一的语音通信模式更能适应市场需求。数字视频技术作为多媒体信息中的 关键技术，因其直观性、确切性和高效性，在近2 0 年间广泛地应用在广播和通信领域。 目前，随着移动通信技术和i n t e m e t 的普及、发展，数字视频技术已经成为电子信息业 的热点问题。自从1 9 8 4 年第一个视频编码国际标准出台以来，已陆续有近十个视频编 码标准被颁布实行，这极大地推动了数字广播和视频通信技术的发展。h 2 6 4 视频编码 标准作为当今最新的编码标准，同之前的其他视频编码标准相比，其压缩性能显著提高， 且编码质量较高。因此，h 2 6 4 编码标准更适应于视频的网络传输应用。 在视频网络传输应用中，为了保证网络传输的稳定性和可靠性，传输的视频码流必 须考虑带宽因素，确保其码率不能超出信道的有效带宽。因此，在编码时，编码器必须 合理地控制输出码率，使传输到网络上的视频流最大限度地满足带宽需求。基于h 2 6 4 的码率控制算法延用了m p e g 2 等标准的码率控制思想，但是由于h 2 6 4 引人了一些新 的编码技术，编码原理较复杂，导致在进行码率控制时，编码器需要考虑的因素也较多， 计算复杂度也相应增高。 目前，h 2 6 4 码率控制算法的理论研究大多基于h 2 6 4 标准的官方测试模型j m 模型系列。其中，j m 8 6 模型应用最为广泛，其码率控制算法主要采用t g 0 1 2 和 t h 0 1 7 提案。在j m 8 6 中，编码器将根据视频流结构采取分层的码率控制策略，预 测不同层次m a d 值和目标比特数，并计算相应的量化参数，从而实现码率控制。 1 1 视频编码技术的发展概况 自1 9 4 8 年0 1 i v e 提出预测编码( p c m ) 理论以来【l 】，视频编码技术就得到了迅速发 展。在视频编码技术5 0 多年的发展史中，t o m e s 等人将其分成两个发展阶段【2 1 。在第一 个发展阶段，视频编码技术主要以像素块或像素为编码单位，来考虑图像或图像序列中 的时间冗余度、空间冗余度和统计冗余度【3 】，而较少地考虑视觉冗余度，忽略了人类的 视觉特性。因此，在视频编码的第一个发展阶段，编码器虽然实现了图像压缩编码，但 是编码效率、视频压缩比以及视频编码质量都较差，还不能满足实际应用的需求。因此， h 2 “码率控制算法的研究与优化 自二十世纪八十年代初起，为了追求高效的编码效率，视频编码技术进入第二个发展阶 段。在第一个发展阶段的编码技术基础上，第二个发展阶段进一步考虑了视觉冗余度， 以及视觉数据中的结构冗余度，极大地提高了视频压缩比。 由视频编码的两个发展阶段可知，视频编码的目的就是通过去除图像数据中的各种 冗余度，如时间冗余度和空间冗余度等，以实现图像存储或传输内容的压缩。通常情况 下，不同的冗余度对应不同的编码方法，本文重点介绍时间冗余度、空间冗余度和统计 冗余度的去除方法【4 嘲。 ( 1 ) 预测编码( p c m ) 对视频序列相邻两帧的图像内容进行分析，可知两帧图像对应位置间的像素值近 似，相邻帧间存在时间冗余度，如图1 1 所示。 相邻两帧同一位置像素幅值相近 相邻帧( 时间冗余度) 图1 1 时间冗余度 f i g 1 1 t e m p o r a lr e d u n d a n c y 因此，为了降低编码过程中的时间相关性，人们采用预测编码技术。该技术根据已 编码帧的像素值得到当前帧的预测值，并在编码时仅对预测值和原始值的差值进行编 码，不仅减少了编码的数据量，还去除了视频数据的时间冗余度。 ( 2 ) 变换编码 对一帧视频图像进行分析，可知图像中相邻位置之间的像素值近似，每帧图像内存 在空间冗余度，如图1 2 所示。 五 足 相邻： 酉， 相邻像素间幅值相近 问同样位置像素幅值相近 同帧( 空间冗余度) 图1 2 空间冗余度 f i g 1 2 s p a 蠢i a lr e d u n d a n c y 大连理工大学硕士学位论文 为了消除空间相关性，人们对图像数据进行离散余弦变换( d c t 变换) ，即将数据 从时域转到频域进行分析。根据实验统计可知，经过d c t 变换之后，一幅图像的数据信 息大部分分布在低频区域，较少部分分布在高频区域，且d c t 变换矩阵中的大部分非零 系数集中在矩阵的左上角。因此，为了进一步减少编码比特数，提高视频压缩比，编码 器还需对d c t 变换矩阵中的数据进行量化处理。 ( 3 ) 统计编码 对量化矩阵进行编码时，每个元素都需要占用一定的比特数，多用的比特数称为统 计冗余度，也称为静态冗余度。为了提高压缩比，运用较少的比特数表示图像，编码器 在量化之后将对量化系数进行统计编码，也称为熵编码。 熵编码技术就是根据编码数据的出现概率进行编码，是一种无损编码方法。比较常 见的熵编码方法包括游程编码( r u n 一1 e n g t hc o d i n g ) 、霍夫曼编码( h u f f m a nc o d i n g ) 和算术编码( a r i t h m e t i cc o d i n g ) 。 在熵编码阶段，编码器首先将二维的量化矩阵通过z i g z a g 扫描转换成一维序列， 然后对一维数据序列进行游程编码。游程编码包括两项，即编码符号和该符号连续出现 的个数，具体表示为( r u n ，1 e v e l ) ，r u n 为游程长度，即该符号连续出现的个数，l e v e l 为编码符号。例如对“a a b b b c c c c d d 进行游程编码，可得2 a 3 b 4 c 2 d 。可见，当视频序 列中有大块数据连续相同时，使用游程编码可以极大地提高压缩比。 经过游程编码后，需要编码的数据量仍然较大，还需进一步压缩。此时，编码器可 对游程编码的结果进行霍夫曼编码或算术编码。霍夫曼编码是一种最佳的不等长编码， 其编码的平均长度较短。算术编码在霍夫曼编码之后提出，比较适用于信源概率分布未 知的情况。目前，在霍夫曼编码和算术编码的模型基础上，研究者们已经提出了更优的 熵编码方法，如应用在h 2 6 4 标准中的基于上下文的自适应可变长编码( c a v l c ) 和 基于上下文的自适应二进制算术熵编码( c a b a c ) 等。 1 。2 数字视频编码标准 国际上视频编码标准主要有两大系列：国际电信联盟( i t u t ) 制定的h 系列标准 和国际标准化组织与国际电工委员会第一联合技术组( i s o i e cj t c l ) 制定的m p e g 系 列标准【7 1 。 h 系列主要包括h 2 6 l 、h 2 6 3 、h 2 6 3 + + 和h 2 6 4 视频编码标准，该系列主要应用 于实时视频通信领域，如可视电话、视频会议等。m p e g 系列主要包括m p e g 1 、m p e g 2 和m p e g 4 视频编码标准，该系列主要应用于视频存储( c d 、d v d ) 、广播电视、因 h 2 “码率控制算法的研究与优化 特网、流媒体等领域。表1 1 f 8 9 1 按时间顺序总结了各个视频编码标准的应用场合。本文 着重介绍h 系列的视频编码标准。 表1 1 视频编码标准的发展概况以及应用 t a b 1 1 d e v e l o p m e n t sa n d 印p l i c a t i o n so ft h ev i d e 0c o d i n gs t a n d a r d s h 2 6 1 视频编码标准【l o 】由i t u t 在19 9 0 年正式发布。该标准是第一个实用的数字 视频图像编码标准，采用了1 6 1 6 宏块的运动补偿、8 8 块的d c t 变换、量化、游程 编码以及可变长编码等技术。h 2 6 1 主要应用于可视电话和视频会议等业务，主要支持 两种图像格式，即q c i f ( 1 7 6 1 4 4 ) 格式和c i f ( 3 5 2 2 8 8 ) 格式。h 2 6 1 编码技术仅 采用了简单的整像素运动补偿，i 帧、p 帧编码模式，因此其视频压缩比并不高。 h 2 6 3 视频编码标准【】于1 9 9 6 年3 月正式被i t u t 推出。h 2 6 3 标准以h 2 6 1 标准 的编码框架为基础，采用亚像素运动补偿技术，还增加了四种有效的编码模式。同时， h 2 6 3 支持的图像格式相对较多，包括s u b q c i f ( 1 2 8 9 6 ) 格式，q c i f 格式，c i f 格 式，4 c i f ( 7 0 4 5 7 6 ) 格式和1 6 c i f ( 1 4 0 8 1 1 5 2 ) 格式。 h 2 6 3 + + 视频编码标准在h 2 6 3 标准的基础上，增加了1 5 个可选的编码模式以及一 些抗误码技术。h 2 6 3 + + 扩大了h 2 6 3 的应用领域，提高了视频的抗误码能力和视频编 码质量。 h 2 6 4 视频编码标准【1 2 - 1 4 】是2 0 0 3 年由t ( i t u t 的视频编码专家组v c e g 和 i s o i e c 的活动图像专家组m p e g 共同成立的联合视频小组) 提出的。h 2 6 4 标准仍然 延用了以前编码标准的混合编码框架，但是为了提高编码性能，该标准采用了多项新技 术，如帧内预测、多参考帧、整数变换、s p s i 帧和c a v l c 等，已成为目前编码性能 最出色的视频编码标准。在保证相同编码质量的前提下，h 2 6 4 的编码码率比h 2 6 3 标 准可节省大约3 0 5 0 ，极大地提高了视频压缩比。 大连理工大学硕士学位论文 同以前的编码标准相比，h 2 6 4 标准具有更高的编码效率、更强的错误恢复能力、 自适应的延时特性以及利于网络传输的分层码流结构。因此，h 2 “标准在广播电视、 视频存储以及视频会议等领域的应用将越来越广泛。 1 3h 2 6 4 码率控制算法的研究现状 h 2 6 4 视频编码标准以1 6 1 6 大小的宏块为基本编码单元。在编码之前，编码器将 根据率失真优化过程中的最小代价函数选择帧内或帧间宏块的最优编码模式，然后再进 行整数变换和熵编码。在熵编码阶段，h 2 6 4 采用的是基于上下文的自适应可变长编码 ( c a v l c ) 或基于上下文的自适应二进制算术熵编码( c a b a c ) ，每帧的编码比特数 根据视频内容的变换而不断地更新。因此，h 2 6 4 编码器最终输出的码率也是不稳定的。 这可能导致视频传输码率超出网络有效带宽，产生上溢或下溢的现象，非常不利于视频 通信的稳定传输f 1 5 j6 】。因此，为了保证视频通信的稳定传输，并充分利用网络带宽资源， 学者们开始关注码率控制算法【l 7 1 引。 近年来，视频编码技术不断地发展，码率控制算法也得到越来越多的关注。早在9 0 年代，针对不同编码标准的码率控制算法就已经被学者们广泛地研究。例如面向m p e g 2 的t m 5 码率控制算法【1 9 】，面向m p e g 4 的v m 8 码率控制算法【2 0 】和面向h 2 6 3 的t m n 8 码率控制算法【2 1 1 。这三者都是比较典型的码率控制算法，其原理都是通过预测不同层 次的目标比特数和调用某种率失真模型来计算量化参数，实现码率控制【2 2 1 。 h 2 6 4 作为新一代的视频编码标准，在编码过程中加入了许多新技术，极大地增加 了编码的复杂度，使上述提到的码率控制算法不能直接运用在h 2 6 4 码率控制中。在 h 2 6 4 编码器中，率失真优化和码率控制部分都涉及到量化参数，出现了蛋鸡悖论的问 题：对当前帧或宏块进行率失真优化时，需用量化参数来计算代价函数；但是，量化参 数却在该帧或宏块的m a d 值计算之后才能得到，且该帧或宏块的m a d 值只能在率失 真优化之后出现。所以，针对h 2 6 4 的码率控制算法其核心就是如何解决蛋鸡悖论的问 题f 2 3 盈】。 在2 0 0 3 年初，m a 等人最先提出了一种面向h 2 6 4 的码率控制算法【2 5 】。该算法采用 t m 5 模型，进行了两次率失真优化，有效地控制了码率。但是，这种方法计算复杂度较 大，不利于实时码率控制。因此，随后m a 等人又引入基本单元层的概念，提出了一种 自适应的分三层的码率控制算法。其最典型的就是应用在h 2 6 4 测试模型j m 中的 t g 0 1 2 和t h 0 1 7 提案。2 0 0 4 年，s l l i l l a 等人提出了一种相对简单的h 2 6 4 码率控 制算法，该算法利用了非零量化系数的个数与码率之间的关系，采用了p 域线性率失真 模型，对于场景切换的情况具有较好的码率控制效果1 2 6 1 。同年，x u 等人又提出了一种 h 2 “码率控制算法的研究与优化 分层的码率控制算法，该算法只进行了一次率失真优化，复杂度较低，输出的码流也较 稳定【2 7 】。但是，其视频编码质量与m a 的方法相比较低。 目前，研究h 2 6 4 码率控制算法的研究者主要以j m 模型为平台，研究并改进 t g 0 1 2 【2 8 】和t - h o l 7 【2 9 】提案中的码率控制算法。例如，m i n g q i a n gj i 锄g 等人最早提 出在目标比特计算时考虑编码复杂度m a d ，使目标比特分配得更加合理【3 0 】；白晓燕等 人针对场景切换问题提出了自适应的码率控制算法【3 1 】；王丽丰等人分析了g o p 初始量 化参数对码率控制的影响，在确定初始量化参数时，加入视频编码前的参数信息，提出 了精确预测初始量化参数的方法【3 2 】；m i n g q i a n gj i a i l g 等人在2 0 0 6 年又提出了一种新的 码率控制算法，该算法在考虑m a d 复杂度的基础上，还充分考虑了缓存器的占有度以 及已编码帧的信噪比信息，有效地提高了码率控制的质量f 3 3 】；还有一些学者针对基本单 元层值的预测问题，提出了新的解决方法，并取得了较好的结果【3 4 3 6 1 。 1 4 本文的主要工作 本文在分析了h 2 6 4 的编码原理及其关键技术的基础上，着重研究了基于h 2 6 4 的 码率控制算法，并对j m 8 6 测试模型中用到的j v t h 0 1 7 码率控制算法进行了改进。 本文的主要工作如下： ( 1 ) 简要介绍了视频编码的基础知识，包括彩色空间、视频格式以及视频质量的 评价标准。 ( 2 ) 具体分析了h 2 6 4 的编码器原理，着重介绍了帧内预测、帧间预测、整数变 换、量化以及率失真优化部分的基本原理。 ( 3 ) 阐述了码率控制算法的基本原理及影响码率控制的关键技术。同时，本文介 绍了几种经典的码率控制算法，包括：t m 5 码率控制算法、v m 8 码率控制算法和t m n 8 码率控制算法。 ( 4 ) 结合j m 8 6 测试模型，本文重点分析了t h 0 1 7 码率控制算法，描述了该 算法在j m 8 6 中的实现流程以及分层控制的基本原理，并对其进行了仿真实验。 ( 5 ) 分析了t - h 0 1 7 码率控制算法存在的一些问题，并提出了一种改进的帧层码 率控制算法。本文提出的算法改进了帧层m a d 值的计算方式，在计算目标比特数时引 入了图像复杂度以及己编码帧的比特数等因素，还根据已编码帧的码率控制信息修正了 量化参数，使输出码率更接近目标码率，视频输出质量更加平稳。 大连理工大学硕士学位论文 2h 2 6 4 编码关键技术 2 1 视频编码基础知识 2 1 1 彩色空间与视频格式 ( 1 ) 彩色空间 用来表示亮度和色度的方法称为彩色空间，常用的彩色空间有r g b 和两种【4 1 。 在r g b 彩色空间中，任何色彩都可以由r ( 红) 、g ( 绿) 、b ( 蓝) 三种颜色按不同 比例混合而成。r g b 彩色空间可以方便地对彩色图像进行捕获和显示，主要用于普通 的图像显示以及计算机图形学。在y u v 彩色空间中，由于人眼视觉系统( h v s ) 对亮 度信号和色度信号的敏感程度不同，色彩主要由y ( 亮度) 和u 、v ( 色差) 按不同比 例表示。v 彩色空间可以更有效地表示彩色图像，主要用于电视系统和视频压缩。 ( 2 ) 视频格式 y u v 图像的主要采样格式为4 ：2 ：0 ，4 ：2 ：2 和4 ：4 ：4 ，如图2 1 所示【4 】。 固固；固 固 圆 圆圆l 圆 一一一一_ 一一一一l 一- 固i 固固i i 固圆! 圆 圆 ；固固；圆 4 ：4 ：4 ；固 圆 固l 固 一一一一_ 一一一一一 圆 lpi 固 l ! 一一一一叶一一一一卜一 圆；圆；固 ； oo ； 一一一一_ 二一一一一l 一 ：i oo i 一+ 一卜一一- ； 表示亮度y 采样点。表示色度u 、v 采样点 图2 1 采样格式 f i g 2 1s 踟p l ef 0 珊a t 在4 ：4 ：4 采样格式中，图像中的每个像素点都需要占用3 8 个比特，即y 、u 、v 在图像中的采样点数相同，每个像素点都需存储y 、u 、v 三个分量。在4 ：2 ：2 采样格式 中，在垂直方向，色度分量具有和亮度分量相同的采样点数，但在水平方向，色度分量 的采样点数是亮度分量的一半，即图像中每个像素点中存储一个y 值，每两个像素点存 储一个u 值和一个v 值。在4 ：2 ：o 采样格式中，在垂直方向和水平方向上，色度分量的 采样点数都是亮度分量的一半，即每个像素点存有一个y 值，每2 2 个像素点存有一 个u 值和一个v 值。 h 2 6 4 码率控制算法的研究与优化 我们现在所观看的视频只采用几个固定的格式，如标清格式和高清格式。国际上标 准电视格式为7 2 0 5 7 6 像素，即每帧由5 7 6 行，每行由7 2 0 个像素构成：高清数字电 视的格式由美国的电影电视工程师协会( s m p t e ) 制定，包括7 2 0 p 、7 2 0 i 、1 0 8 0 p 、1 0 8 0 i 四种格式。其中，7 2 0 表示1 2 8 0 7 2 0 像素格式，1 0 8 0 表示1 9 2 0 1 0 8 0 像素格式，p 表示逐行扫描，i 表示隔行扫描。 目前，不同国家选择的彩色电视制式并不相同。因此，为了能够在电视制式不同的 国家之间实现视频通信，需先将各自的视频格式转为一种公共格式，再进行视频传输。 现在普遍应用的公共格式包括：亚q c i f 、q c i f 、c i f 、4 c i f ，其具体内容如表2 1 所示。 表2 1 视频帧格式 t a b 2 1v i d e of r a m ef 0 册a t 2 1 2 质量评价 对于视频质量的评价主要包括主观视频质量评定和客观视频质量评定两种方法。每 个人的视觉特性并不相同，为了使视频图像尽可能地符合每个人的视觉感受，在对视频 图像进行主观评估前，应选择若干内容作为评估项目，共同利用5 项或7 项参照内容对 同一图像进行评估，最后以加权平均法对图像质量进行整体的主观评定，如表2 2 【4 1 所示。 表2 2 主观评价标准 t a b 2 2t h es u b j e c t i v ee v a l u a t i o nc r i t e r i a s 大连理工大学硕士学位论文 主观的评价结果比较容易被大家接受，但是评估方法耗费人力，效率较差。因此， 相比之下，利用客观视频质量评估则容易实行的多，且速度较快。 传统的客观视频质量评定方法主要是根据压缩图像与原始图像的误差来衡量图像 压缩的质量，最常用的有均方误差m s e 和峰值信噪比p s n r 。 mn| 舰= 一乃) 2 加) ( 2 1 ) i = 1 ，= l， 其中，兀和兀分别表示原始图像和编码图像在( - ，) 处的像素值。 邢m = 1 0 l g ( 2 ”一1 ) 2 彪姬 ( 2 2 ) 其中，m s e 为原始图像和编码图像的均方误差，( 2 ”一1 ) 2 为图像中信号最大值的平方，刀 表示每个像素的比特数。 2 2h 2 6 4 编码器原理 h 2 6 4 并没有明确地规定一个编解码器如何实现，而是规定了已编码的视频比特流 的句法和该比特流的解码方法。图2 2 为h 2 6 4 的通用编码器框图【4 5 】。 图2 2h 2 “编码器 f i g 2 2 h 2 6 4e n c o d e r 在图2 2 中，编码器主要包括两个数据流通路：一个“前向”通路( 从左到右) 和 一个“重构”通路( 从右到左) 。 h 2 6 4 码率控制算法的研究与优化 ( 1 ) 对于前向通路，编码器以宏块为单位来处理当前帧的数据r ，选择以帧内或 帧间方式来编码每个宏块。若选择帧内模式，预测值由当前已经编码、解码、重构的片 ( s l i c e ) 中产生。若选择帧间模式，预测值是由当前片中已编码的参考图像经运动补偿 后得出的。对于帧内编码和帧间编码，在h 2 6 4 编码器中都会得到一个预测值尸。编码 器用当前帧的实际值凡与预测值p 的差值来表示残差数据岛，编码后期的整数变换、 量化、熵编码等都是对该残差数据瑰进行处理。因此，通过帧内、帧间预测编码后， h 2 6 4 的编码比特数将大幅减少，码率有所降低，视频压缩比也随之增高。 ( 2 ) 重构通路的设置主要是为帧内预测和帧间预测提供参考图像。在重构通路中， 编码器通过反量化和反变换产生一个残差块d 么，将其与预测块相加即可得到一个重构 的块甜f ，刀( “表示没有进行滤波) ，然后经过滤波生成最终重构的参考图像。 2 。3 帧内预测与帧间预测 ( 1 ) 帧内预测 h 2 6 4 不同于以往的视频编码标准，在进行帧内编码的同时也采用了预测编码模式。 帧内预测具有不同的选择模式，且在进行编码时编码器需分别考虑亮度块和色度块的选 择模式【3 7 ，3 8 】。例如，4 x 4 亮度块预测可选用9 种预测模式，其预测模式比较丰富，能够 更细致、更准确地描述图像信息；1 6 1 6 亮度块预测可选用4 种预测模式，其预测模式 相对简单，不能细致地描述图像信息，适合于图像内容比较平坦的区域；8 8 色度块预 测可选用4 种预测模式，类似于1 6 x1 6 的亮度块预测模式。 帧内预测主要指根据周边已编码块( 当前块的上方或左方的块) 的像素值预测当前 块的像素灰度值。图2 3 【6 】为4 4 亮度块预测实例，其中a 叩为待预测像素，a m 为已 编码并重构的像素，可作为预测参考像素。 ma b c de fg h i abcd j ef g h klkl j lmn o p ， 图2 34 4 亮度块预测举例 f ig 2 34 4l u m ap r e d i c t i o nm o d e s 4 4 亮度块具有9 种编码模式，其具体预测方法如图2 4 【6 1 所示。图中8 个数字分 别代表不同的编码模式，箭头方向为其对应的预测方向。模式2 表示d c 预测，即取 大连理工大学硕士学位论文 八蝴所有已编码像素的平均值，因此在图2 4 中未显示。在图2 4 中显示的8 种预测方 向中，模式o 、1 是简单的垂直、水平预测模式，而模式3 8 相对复杂，预测像素需要 由a m 加权平均获得【6 1 。 过易 形孓1 图2 44 4 亮度块预测方向 f i g 2 4 4 41 啪ap r e d i c t i o nd i r e c t i o n s 1 6 1 6 亮度块预测只有4 种预测模式，如图2 5 所示【6 】。同4 4 亮度块预测模式相 比，1 6 1 6 亮度块预测模式更简单，比较适用于平坦区域。因此，在一帧图像相对平坦 的区域编码器应采用1 6 1 6 亮度块模式，在图像内容活动性较强的区域应采用4 4 亮 度块模式。 h e 锄h + v 图2 51 6 1 6 亮度块预测模式图例 f i g 2 5 16 16l u m ap r e d i c t i o nm o d e s 在h 2 6 4 中，帧内色度预测采用基于8 8 块的预测模式。色度块的4 种预测模式 与1 6 1 6 亮度块预测的4 种预测模式相似。 ( 2 ) 帧间预测 h 2 6 4 的帧间预测在采用运动估计和运动补偿进行预测的基础上，还采用了一些新 技术。例如，h 2 6 4 将1 6 1 6 大小的宏块进行多次分割，提出了亚像素精度的运动矢量， 采用多参考帧机制等【1 2 】。 土 垂h ， ( 。而 i h 2 “码率控制算法的研究与优化 h 2 6 4 帧间预测采用树状结构的运动补偿机制，其原理是将1 6 1 6 的宏块划分成多 种形式。在图2 6 【1 2 】中，宏块被划分为1 个1 6 1 6 块，2 个1 6 8 块，2 个8 1 6 块， 和4 个8 8 块。在图2 7 【1 2 】中，8 8 的子宏块又可以进一步划分为4 种形式，即1 个8 8 块，2 个8 4 块，2 个4 8 块和4 个4 4 块。 1 6 1 61 6 88 1 68 8 田田田 图2 61 6 1 6 宏块分割 f i g 2 6 16 16m a c r o b l o c kp a j t i t i o n s 8 88 44 84 4 田田田 图2 78 8 子宏块分割 f i g 2 7 8 8s u b m a c r o b l o c kp 2 i r t i t i o n 8 这种树状结构的划分方法，充分考虑了图像的内容变换情况，有效地提高了编码性 能。在编码时，对于运动幅度较大的区域，为了提高编码质量，编码器应采用较小的分 割块；对于运动幅度较低的平坦区域，为了降低码率，编码器应采用较大的分割块。 在进行编码时，为了进一步降低码率，h 2 6 4 利用邻近分割相关性较强的特点，对 运动矢量也进行了预测。m v 表示已计算的运动矢量，m v p 表示预测矢量，m v d 表示 两者的差值，即( m v p m v ) 。最后在h 2 6 4 编码器中，被编码传送的是m v p 和m v d 。 图2 8 和图2 9 为m v 预测的两种不同情况【6 】，其中图2 8 为分割尺寸相同时的情况， 图2 9 为分割尺寸不同时的情况。在图2 8 中，d 为当前分割块，a 、b 、c 为提供预测 的参考分割块。 bc 酽一! 一r atd荔 ，。v 搿i 图2 8当前块和邻近分割尺寸相同 f i g 2 8c u r t e n ta n dn e i g h b o u r i n gp a r t i t i o n s ( s 锄ep a r t i t j o ns i z e s ) 大连理工大学硕士学位论文 在图2 9 中，d 为当前分割块，a 为当前分割块左侧最上边的分割块，b 为当前分割 块上侧最左边的分割块。 bc 4 81 6 8 a 爹簪：驴强一簟”警露 v 一 眷 雾，、冀 ；?嗣 t ”d：ji ：霭 尹。曩 蓼罨 缀女撼麓碰。，女锄。崩渊 图2 9 当前块和邻近分割尺寸不同 f i g 2 9 c u 鹏n t 锄dn e i g h b o 州n gp a n i t i o n s ( d i 航枷tp a n i t i o ns i z e s ) 2 4 整数变换 由本文第1 1 节内容可知，为了消除视频图像在空间上的冗余度，编码时需采用离 散余弦变换( d c t ) 。d c t 运算是比较复杂的，尤其是实数矩阵相乘，计算量非常大。 式( 2 3 ) 为实数d c t 变换公式。 】，= 删7 ( 2 3 ) 其中，y 为d c t 变换矩阵，即变换结果；x 为像素矩阵，其矩阵元素为视频图像的像 素值；a 为变换系数矩阵，若采用4 4 d c t 变换，则矩阵a 如式( 2 4 ) 所示， 其中，口= ， 彳= 口口 6c 口一口 c-6 口口 一c6 一nn 6一c 6 = 压嘶8 ) 一压c o s ( 3 碱均为娥 ( 2 4 ) 由式( 2 3 ) 和式( 2 4 ) 可知，实数d c t 变换的矩阵运算比较复杂，且容易产生误 差。h 2 6 4 为了解决这个问题，采用了一种近似于d c t 的整数变换，大大减小了矩阵计 算量。h 2 6 4 进行整数变换时，需对矩阵a 进行改造，变换公式由式( 2 3 ) 变为式( 2 5 ) 。 h 2 6 4 码率控制算法的研究与优化 y = 蜒| x c h 两e l 11 21 1 1 12 11 12 1 1 21 12 1l l一1 1 2 11 1 2 12 21 口2 口6 2 口2 口6 2 口6 2 6 2 4 口6 2 6 2 4 口2 口6 2 口2 口6 2 口6 2 6 2 4 口6 2 6 2 4 ( 2 5 ) 其中，运算符号“o 表示矩阵间对应元素相乘，所以最后一个矩阵实际上并不参与矩 阵运算，我们可以视之为一个常数，直到量化运算时再选择处理。由此可知，( c ，肥，r ) 中只剩下整数的加减法与移位运算，运算的复杂度大大减小。 2 5 量化 h 2 6 4 的量化过程与整数变换紧密相关，其量化公式为： 一堋吐赤j q 石， 其中，y 为已编码的输入样本点，9 f 印为量化步长，f q 为y 的量化值，d “耐( ) 表示 四舍五入取整。 在h 2 6 4 中，量化步长9 f 印可以取5 2 个值，与量化参数q p 相互对应。q p 值越 小，量化步长越短，q p 值越大，量化步长越长，且q p 每增加6 ，量化步长9 ，印增加 倍。， 在h 2 6 4 中，量化过程是对式( 2 5 ) 直接进行操作的。在进行量化时，令朋表示 式( 2 5 ) 中的目，其取值如下： la 2( o ，o ) ，( 2 ，o ) ：( o ，2 ) 或( 2 ，2 ) 阿= 6 2 4( 1 ，1 ) ，( 1 ，3 ) ，( 3 ，1 ) 或( 3 ，3 ) ( 2 7 ) 【口形2 其他情况 由此，可得具体的量化公式： z ：f ，一俐c 蠢) 8 ， 其中，形，是矩阵w 中的系数( 形= q 玛r ) ，为整数计算。但是，删9 印仍为实 数计算，且分母9 印的取值包含小数，因此式( 2 8 ) 还需进一步化简。 大连理工大学硕士学位论文 于是，h 2 6 4 编码器引入另一个参数m f ，令脚：竺罢型! ，其中9 6 泌值则根据 u s t e p 9 印值和q p 值的关系取值： 叫删5 + 加( 警) ( 2 9 ) 其中，加d ，o 表示向下取整，可见q p 每增加6 ，驴泌值则随之增l 。至此，式( 2 8 ) 最终改为： 乙叫等) ( 2 1 0 ) m f 的取值均为整数，其值可根据q p 值查表得到。由式( 2 1 0 ) 可知，量化过程变 为整数运算，且m f 除以2 和船只需执行简单的移位操作，这使整个量化过程避免使用除 法，极大地降低了运算复杂度。 2 6 基于拉格朗日的率失真优化 2 6 1 率失真理论 无论是视频通信或视频存储，对视频文件的大小都有一定的限制。为了满足实际应 用时的高压缩比，在进行视频编码时就必然会损失一些视频质量，而引入一定程度的失 真度。怎样权衡视频压缩的失真度和视频编码的性能成为编码时需考虑的重要问题。 率失真优化( r a t e d i s t o r t i o no p t i m i z a t i o n ) 理论主要描述在有损压缩中编码失真度 和编码码率之间的关系。编码失真度和编码码率之间存在反比的关系，当编码失真度较 大时，编码质量较差，编码的比特数较少，编码码率随之降低；当失真度较小时，视频 质量有所提高，编码比特数增多，码率随之增高。 率失真优化的目的就是在有限的失真度( d ) 条件下，编码器能够获得最小的编码 比特率，常用尺( d ) 表示。进行有损编码时，失真度d 的取值主要根据重构图像和原