（信号与信息处理专业论文）h264视频编码的复杂度、码率控制与质量评价.pdf

浙江大学硕士学位论文 摘要 2 0 0 3 年3 月， 联合视频工作组j v t ( j o i n t v i d e o t e a m) 正式提出了新一代视频压缩标 准h . 2 6 4 / a v c ， 该标准是i t u - t 与i s o / i e c两个国际标准化组织继mp e g - 2 / h . 2 6 2 标准之后， 再一次共同提出的视频编码标准。 h .2 6 4 / a v c标准支持从低带宽、 高误码率的无线移动视频 通信到高码率、 低延迟的视频广播及在线流媒体等多种应用，因此，日 益受到业界的关注。 本文从 h .2 6 4 / a v c视频应用的角度，针对编码复杂度、 码率控制和质量评价进行了 研 究与分析。 首先， 为了 实现更高的编码效率， h .2 6 4 / a v c 标准采用了很多新的编码技术， 如多参考 帧预测、多 尺寸 编码块模式、1 / 4 像素精度运动矢量、整数变换量化、基于内 容的 嫡编码、 新型帧内 预测、 去除方块效应的滤波器等。 在相同 解码图 像质量下， h .2 6 4 / a v c比m p e g - 2 和h .2 6 3 的编码性能至少提高一倍以 上。 同时， h . 2 6 4 / a v c编解码器的计算复杂度与其它视 频压缩标准相比， 高出了 几倍甚至十几倍。 着重分析了 每个编码技术和编码参数对编码器性 能的影响以 及它们之间的关联性， 并给出了 在保证性能的 情形下通过合理设置编码参数， 有 效的降低编码复杂度的方法。 其次， 本文论述了 码率控制的原理和信源模型， 针对h .2 6 4 的码流特点， 提出了一种的 采用对数模型的分层码率控制算法。它在g o p 层、帧层和基本单元层三个层次上分别进行 控制， 解码图 像的p s n r较高，同时， 它的各宏块的q p 值更为平滑， 因此得到的 解码图 像 的主观质量更好; 而且控制得到的实际码率更接近目 标码率。 另外， 由于采用了流体传输模 型， 可以 及时 根据信道带宽 变化而更新码率， 本文提出的 码率控制算法不仅适合c b r情形， 也可以应用于v b r场合。 最后， 文章从视频的空域信息、时域信息出发，以 及由 之产生的三个度量参数， 提出 了一种基于人眼视觉特性的客观视频质量的 评价方法，它包含了对空域信息和时域信息的 度量，较好的反映了 人眼视觉系统，与主观度量的结果基本一致。 关键词:h . 2 6 4 ， 编码复杂度，编码参数， 对数模型， 码率控制， 质量评价 浙江大学硕士学位论文 ab s t r a c t h .2 6 4 / a v c v i d e o c o d i n g s t a n d a r d i s p r o v i d e d f o r m a l l y b y j v t ( j o i n t v i d e o t e a m ) i n ma r c h 2 0 0 3 , a n d i t w i l l b e t h e s e c o n d s u c c e s s f u l v i d e o c o m p r e s s i o n s t a n d a r d a ft e r t h e mp e g - 2 / h .2 6 2 i n f u t u r e . t h e s t a n d a r d i s d e s i g n e d t o g i v e a n e w t e c h n i c a l s o l u t i o n t o a b r o a d r a n g e o f a p p l i c a t i o n s , s u c h a s v e ry l o w b i t r a t e c o n v e r s a t i o n a l s e r v i c e s a n d e n t e r t a i n m e n t q u a l i t y b r o a d c a s t , i n t e r a c t i v e v i d e o - o n - d e ma n d s e r v i c e s e t c . s o t h i s s t a n d a r d o b t a i n s mu c h a tt e n t i o n f r o m a c a d e mi c a n d i n d u s t r i a l f i e l d s . s e v e r a l i m p o r t a n t i s s u e s f o r r e a l - t i m e v i d e o c o d i n g h a v e b e e n a d d r e s s e d i n t h i s p a p e r . t h e y a r e t h e a n a l y s i s a n d r e g u l a t i o n o f t h e c o d i n g c o m p l e x i t y , a p p l i c a b l e r a t e c o n t r o l a n d v i d e o q u a l i t y a s s e s s m e n t . f i r s t l y , h .2 6 4 s t a n d a r d a d o p t s m a n y n e w t o o l s t o e n h a n c e t h e c o d i n g e f fi c i e n c i e s , w h i c h a r e m u l t i p l e r e f e r e n c e p i c t u r e s , v a r i a b l e b l o c k - s i z e w i t h s e v e n b l o c k s i z e s i n m o t i o n p r e d i c t i o n , q u a r t e r - p i x e l a c c u r a c y f o r m o t i o n v e c t o r , s h o rt w o r d - l e n g t h i n t e g e r t r a n s f o r m , c o n t e x t - a d a p t i v e e n t r o p y c o d i n g a n d l o o p f i l t e r f o r d e b l o c k i n g . t h i s p a p e r a n a l y z e s t h e i m p a c t o f e v e ry c o d i n g t o o l a n d p a r a m e t e r t o t h e e n c o d e r i n d e t a i l a n d t h e d e p e n d e n c y w i th i n t h e s e t o o l s . t h e n a m e t h o d o f e f f i c i e n t l y a n d r e a s o n a b l y s e tt i n g e n c o d i n g p a r a m e t e r s i s b r o u g h t f o r w a r d a t t h e b a l a n c e o f c o m p l e x i t y a n d p e r f o r m a n c e . s e c o n d l y , t h e m e c h a n i s m a n d i n f o r m a t i o n s o u r c e m o d e l i s d e s c r i b e d . c o s i d e r i n g t h e c h a r a c t e r o f h .2 6 4 b i t s t r e a m , w e a d o p t a l o g - m o d e l a n d p r e s e n t a l a y e re d r a t e c o n t r o l a l g o r i t h m . i t i n c l u d e s t h e r a t e c o n t r o l o f g o p l a y e r , fr a m e l a y e r a n d b a s i c u n it l a y e r . p s n r a n d s u b j e c t i v e q u a l i t y o f t h e -d e c o d e d p i c t u r e s i s i m p r o v e d a n d t h e a c t u a l b i t r a t e i s m o r e c l o s e t o t h e t a r g e t b i t r a t e . a l s o t h i s m e t h o d c a n b e a p p l i e d t o c b r a n d v b r c o n d i t i o n s b e c a u s e o f u s i n g fl u i d fl o w m o d e l . l a s t l y , w e d i s c u s s s p a t i a l , t e m p o r a l i n f o r m a t i o n a n d t h r e e d e r i v a t i v e m e a s u r e m e n t s b a s e d o n h u m a n v i s u a l s y s t e m . t h e n w e p r e s e n t a n o b j e c t i v e v i d e o q u a l i t y a s s e s s m e n t a l g o r i t h m . c o m p a r e d w i th s u b j e c t i v e q u a l i t y m e a s u r e m e n t , i t h a s a d v a n t a g e s o f l o w e r c o s t a n d b e i n g m o r e t im e s a v i n g , a n d i s m o r e fl e x i b l e t o b e u s e d i n v a r i o u s t e s t e n v i ro n m e n t s ; i t o v e r p a s s e s t h e t r a d i t i o n a l o b j e c t i v e q u a l i t y andrate r e s u l t s s h o we d q u a l i t y , w h i c h c o mp r e s s ing . i n it s h i g h c o r r e l a t i o n w i t h h u m a n p e r c e p t i o n s y s t e m . e x p e r i m e n t t h i s p r o p o s e d me t h o d c o u l d e ff e c t i v e l y e v a l u a t e t h e o b j e c t i v e v i d e o c o u l d b e a u s e f u l t o o l i n t h e d o m a i n o f v i d e o s i g n a lp r o c e s s i n g k e y w o r d s : h .2 6 4 / a v c , c o d in g c o m p l e x i t y , e n c o d in g p a r a m e t e r , l o g - m o d e l , c o n tr o l , v i d e o q u a l i t y a s s e s s m e n t 1 1 浙江大学硕士学位论文 第一章 绪论 本章简 要回 顾了 数字视频编码的发展历史、 原理和标准， 对h . 2 6 4 / a v c视频编码标准 进行了简 要的介绍，系统总结关于复杂度、 码率控制和质量评价的已 有成果， 最后给出 全文 结构安排。 1 . 1引言 2 1世纪是一个数字信息时代， 数字信息 化几乎涉及到世界的各个角落，改 变了人类的 生活和工作方式。 以多媒体和网 络为依托的信息技术己 成为拓展人类能 力的 创造性工具。 信 息化的 一个主要特征就是多媒体技术的广泛应用， 随着多媒体业务的 不断拓展， 多媒体技术 已 成为工业界和学术界的一个研究热点。 同时， 超大规模集成电 路技术、 数字信号处理技术、 双通道v r a m和网络技术的飞 速发展 钟， 2 0 0 0 ， 有效的 促进了 数字视频压缩算法和视频 处理器结构的改进，使得多媒体技术的实际应用成为可能。 多媒体内容丰富， 包括文字、声音、图象、图形和视频等数据， 信息容量大， 表达能力 强， 它代替单一的 语音通信模式己 是不可阻挡的 趋势。 其中 视频又是多媒体信息中 最重要的 成分， 它具有直观、 形象、 准确、高效和应用广泛等特点， 但视频信息的庞大数据量对通信 系统中有限的带宽和存储空间提出了严竣的挑战。 例如，对于d v d ， 输入视频格式为d 1 , 帧 率 为3 0 f p s ， 色 差 格 式为4 :2 :2 ， 则 视频 数 据 码率 为7 2 0 x 4 8 0 x 1 6 x 3 0 = 1 6 5 .9 m b p s , d v d 容量为4 . 7 g b ， 仅能存储4 , 7 x 8 / 1 6 5 . 9 = 2 2 6 .4秒长度的节目 。因此， 视频数据的高效压缩 意义重大，是降 低存储成本， 缓解网 络带宽， 突破存储空间和处理器主频限 制的关键技术。 1 . 2视频压缩原理 未经压缩的数字视频图 像含有大量的 数据兀余， 研究表明 冗余主要分为三类: 图 像在 时 域和空域 上具有很强的 相关性we e , 1 9 9 8 ， 形成统 计冗余; 人眼视觉系统h v s ( h u m a n v is u a l s y s t e m ) 对亮度和色度的 不同 心理反 应t e k a lp , 1 9 9 5 ， 形成心 理视觉 冗余; 平均 编码长 度和信源墒之间的 偏差l 樊， 1 9 9 5 ， 造 成嫡冗余。 此外， 对于 某些特殊 类型图 像而言， 可能还存在结构冗余和知识冗余等其它形式的数据冗余。 研究视频信号中 冗余消除方法、 实现信息传输、 存储和处理的 有效性和可靠性是视频编 码的 主要关心问 题【 t e k a l p , 1 9 9 5 . 按照压缩后的数据是否能够完全还原成原始数据划分， 信 源编码可以 分为无损编码和有损编码。 无损压缩可以精确地恢复原始数据。 s h a n n o n 第一定 理指出了无损编码中 平均码长和信源之间的关系，同时也给出了编码平均码长的 极限 周， 1 9 9 3 。 无损ff 缩的常 用方法有h u f f m a n 编码、 游程编码r l c ( r u n - l e n g th c o d in g ) 等， 但无 损编码的 压缩比 通常比 较低， 约在2 : 1 左右g ib s o n , 1 9 9 9 ， 这远远不能 达到视频应用 对压缩 比的 要求。 不同于无损编码， 有损编码采用折衷的方法，以 损失保真度换取压缩比的 增加。 有损编码主要采用了空间采样、 时空预测、 变换、 量化和嫡编码等技术以 有效地消除各种数 浙江大学硕士学位论文 据冗余 陈，2 0 0 3 。目前的视频压缩标准主要都采用了如图 mc - d p c m / d c t视频编码器框图。 d p c m 的基本原理是基于图象相邻象素之间具有较强的相关性。 1 . 1所示的基于混合 每个象素可以根据以 c c :编码控制 t :变换q :量化 m u x :复合器 p : 控制参数9 :量化因子 me :运动估值 b :缓冲区 c : d c t 系数v :运动矢量 图1 . 1基于mc - d p c m/ t视频编码器 前已 知的象素值预测。 因此， 在编码中传输的不是象素取样值本身， 而是取样值的预测值和 实际 值之间的 偏差。 d p c m可以 提 供一个中 等程 度的 压缩 t e k a lp , 1 9 9 5 ， 它的 实 现相对简单， 己 被各种视频编码标准采纳用来消除视频信号的时 域相关性i s o , 1 9 9 1 ; i t u , 1 9 9 3 ; i s o , 1 9 9 5 ; i t u , 1 9 9 6 ; i s o , 1 9 9 8 ; i t u , 2 0 0 1 o 变换编码， 已 有三十多年的研究历史，已 被证明 是一种高效的图 象压缩方法， 是迄今为 止所有有损编码国际标准的基础， 它可以 有效地消除图象数据之间的空间相关性。 基本的 变 换编码是把图象分割成块，逐块进行二维正交变换、量化， 最后对量化后的系数进行编码。 常见的变换有， d f t ( d i s c re t e f o u r i e r t r a n s f o r m) 、 d c t , h a d e m a r d 和h a r r 变换， 其中d c t 在相邻象素间的相关系数逼近 1 时有类似于 k l t ( k a r h u n e n - l o v e v t r a n s f o r m ) 的特性 章， 1 9 9 9 。 除了14 .2 6 4 采用 整数 变换 外， 其它 所有视频编码标准都是采用d c t i s o , 1 9 9 1 ; i t u , 1 9 9 3 ; i s o , 1 9 9 5 ; i t u , 1 9 9 6 ; i s o , 1 9 9 8 ; i t u , 2 0 0 1 , d c t能够很容易地提供2 5 : 1 的压缩比 而 视觉效果没有明显降低 t e k a l p , 1 9 9 习。 1 . 3数字视频编码标准 二十五年前，图像和视频编码成为一个广泛研究的课题。 现在它的 应用遍及各行各业， 已 经从纯学术研究转变为高度的商业行为。不断增长的商业需求进一步推动着标准的形成， 各 种国际视频编码标准的推出， 使不同来源的图 象和视频可以 在不同的硬件平台上处理， 在 浙江大学硕士学位论文 不同的存储设备上存储， 不同通信网络上传输。 目 前从事视频压缩标准制定的国际 组织主要 有国 际电 信联盟it u 一的 视频编 码专 家组v c e g ( v id e o c o d i n g e x p e rt g r o u p ) 和国际 标 准化组织i s o i i e c的 运动图像专家组m p e g ( m o t io n p i c t u r e e x p e rt g r o u p ) . 两个标准化 组织基于不同的 应用需求， 采用近似的压缩编码技术， 分别制定了h . 2 6 x 和m p e g - x 系列 视频压缩标准。 其中i t u 一 下 针对可视会议等应用分别制定了日 . 2 6 1 , 日 . 2 6 2 , 日 . 2 6 3 , 日 . 2 6 3 十 、 h . 2 6 3 + + , h . 2 6 l h . 2 6 4 / a v c ; i s o / i e c相继制定了 m p e g - 1 , m p e g - 2 , m p e g -4。以 上国际压缩标准尽管应用领域不同，但是均采用了预测编码结合变换量化的混合编码模式。 其中两大视频标准化组织于1 9 9 2 年联合提出的m p e g - 2 / h . 2 6 2 是现有最成功的国际视频压 缩标准，目 前又再次联手提出了h . 2 6 4 / a v c / a v c ,即m p e g 一第1 0 部分。图1 . 2 给出了 各个标准出现的时间及其关系。 】 刀少丁 h . 2 6 x 系列 h. 2 6 1h. 2 6 3 1 h2 6 3 + 11. 2 6 3 十卜 工 日门刀 5 0 /e( 联合标准 1 2 6 4 图1 .2视频压缩标准的关系 1 . 3 . 1 h . 2 6 1 i t u, 1 9 9 3 1 日 . 2 6 1 是最早出现的视频编码标准，是it u 一 的前身c c i 丁 下 针对可视电话、会议电视 和窄带 i s d n等要求实时编解码和低延时应用提出的一个编码标准。它的输出码率是 p x 6 4 k b iu s ， 其中p为0 到3 1 的 整数，当p小于6 时， 只能传输清晰度不太高的图像，可 应用于电视电 话;当尸大于6时， 可以 传输清晰度较好的图像， 适用于电 视会议等。 日 .2 6 1 采用的算法主要是帧间预测和二维d c 丁变换的混合编码方法， 该标准同时支持帧间 编码和帧内 编码，当 帧间 预测效率较低的时候，则直接采用d c t 变换。 1 . 3 . 2 m p e g - 1 i s o, 1 9 9 1 m p e g - 1 标准制定的目 标码率是1 . 2 m比 特渺 ， 对于c i f ( 3 5 2 x 2 8 8 ) 格式图 像可以 达到实时播放， 是为只读c d - r o m光盘的视频存储和播放所制定的。 类似于h . 2 6 1 标准， m p e g - 1 也采用运动补偿和二维d c t 变换，量化后的d c 丁系数进行变长编码，同时每个 数据块的直流分量 d c进行预测差分编码。在 m p e g - ， 标准中，图像预测类型可以 分为四 种情况:帧内 预测、前向 帧间预测、双向 帧间预测和直接预测。 浙江大学硕士学位论文 1 . 3 . 3 mp e g - 2 1 h . 2 6 2 i s o, 1 9 9 5 m p e g - 2 的 视频编码部分 就是h .2 6 2 ， 该标 准主要针对数 字视频广播d v b ( d ig it a l v id e o b r o a d c a s t ) 、 高清晰度电 视h d tv ( h i g h d i g it a l t e le v is io n ) 和数字光盘d v d ( d ig it a l v id e o d is c a r d ) 等4 -9 m比 特渺运动图像的 编码。 m p e g - 2 作为一个得到广泛应用的国际 标准， 成功之处在于 提出了 通用的 压缩编码方法， 定 义了不同的 “ 档次” ( p r o f ile ) 和“ 等级” ( le v e l ) , 可满足不同图 像分辨率及相应的 存储成本和处理速度的需要。m p e g - 2标准根据不同的档 次形成了各个不同的子集，每个 “ 档次”的 “ 等级”则是对编码参数所做出的进一步限制。 这样以不同“ 档次” 和 “ 等级” 设计的解码器能够对相同或者较低档次的数据解码。 其中一 个 主要的 档次 和 等 级 组 合 是m p m l ( m a in p r o f ile t a m h a n k a r , 2 0 0 3 ; l u t h r a , 2 0 0 3 ; s c h a f e r , 2 0 0 3 ; r i c h a r d s o n , 2 0 0 3 . 1 . 3 . 6 . 3 h . 2 6 4 1 a v c应用 h .2 6 4 / a v c标准针对不同的应用，给出了三种档次和1 -5 .2 个不同的水平，每种档次 和水平侧重于不同的应用场合，各自的编码工具也不相同，如图1 . 3 所示。 .基本档次 ( b a s e l i n e p rof i l e ) 基本档次的h . 2 6 4 / a v c标准是为视频会议和视频电 话等实时视频通讯应用设计的， 它 实现了 任意片断 ( s l i c e ) 排序和冗余片断处理等错误恢复功能。 .主要档次 ( m a i n p r o f i l e ) 为广播应用而开发的什2 6 4 / a v c主要档次使用与基本档次无关的视频工具，例如在预 测模式中 支持双向 预测的日 帧图 像、 加权预测以 及自 适应帧场编码和c a b a c嫡编码算法。 .扩展层档次 ( e x t e n d e d p r o f i l e ) 该协议类主要面向 无线视频流服务和移动流媒体， 在这些应用中， 由 于无线信道带宽有 限， 存在多径干涉和各种干扰， 错误发生的机率比 传统有线传输数据丢包率高很多。 扩展层 档次将把为基本档次设计的错误恢复功能提高到一个新的水平， 提供更完善、 更有针对性的 浙江大学硕士学位论文 错误隐藏方法。 、 、 、 一石 二 :飞 ， 了 图1 .3基本档次、 主档次、 扩展档次 之间的 关系 r ic h a r d s o n , 2 0 0 3 1 . 3 . 6 . 4 h . 2 6 4 1 a v c性能改进 实际上， 新的k2 6 4 1 a v c标准与已 有的其它标准相比， 在单个模块上并没有取得明显 的 提高， 而是在每个编码过程的 每个步骤上均取得了一定的进步， 表现为整体压缩性能的 较 大 提高 wie g a n d , 2 0 0 3 r ic h a r d s o n , 2 0 0 3 。 在保证相同图 像 质量的 情 况下， h .2 6 4 /a v c 比h .2 6 3 . m p e g - 4 , m p e g - 2 的 压缩效率至少高一倍， 图， .4 给出了四 种标准的率失真对 比结果。 a 皿. 甲.妞 . 心听白.尹 曰口 .曰. 目 1.息丘n叨d 图1 .4各种编码标 准比 特率失真 对比 结果r ic h a rd s o n , 2 0 0 3 浙江大学硕士学位论文 1 .4现有研究成果 视频编码的目 的是保证视频传输和存储的有效性和可靠性， 这就要求编码能够尽可能压 缩视频数据量满足带宽和存储空间的约束。 实际上， 视频编码除了受带宽和存储空间等条件 的限制外， 还受到其它因素的影响， 如编码延时、 失真度( 质量) 、 编码复杂度和容错性能等。 其中对视频编码系统影响较大的两个因素是码率和复杂度。 图1 .5 列出了影响视频编码系统 的儿个关键因素。 延时真刀 贡 量 编码复 容错性能 图1 . 5影响视频编码系统的几个关键因素 许 多文献从简化编码模式、 优化主要编码模块以 及实现方面对降低编码复杂度问 题进行 了有益的 探讨。 对于复杂度，目 前已 有一些研究工作分析了h . 2 6 4 标准的编码效率。 薛针对 h .2 6 4 提出了 一种中途停止的多层逐次消元运动估计算法 薛， 2 0 0 4 e j . n .z h a n g z h a n g , 2 0 0 3 1 等人则从编码器计算复杂度与质量折中的 角度对运动估计中 采用的 搜索模式和判别准 则进行了较深入的讨论。 m a lv a r 对4 x 4 像素大小的块上进行残差的整数变换编码进行了 深 入 分析 m a lv a r , 2 0 0 1 ; m a lv a r , 2 0 0 3 o m a r p e 分析了 基 于内 容的自 适 应编 码 方 法的 性能 m a r p e , 2 0 0 1 o h a l la p u r o 对 低比 特率 应 用的h .2 6 4 编 码 器 进行7 性能 分 析h a l l a p u r o , 2 0 0 1 , l a p p a l a in e n 将h .2 6 4编码器进行了 优化， 并与h .2 6 3 / h .2 6 3 + 进行了 性能比 较l a p p a l a in e n , 2 0 0 1 。虽然这些工作涵盖了所有的编码方法，但通常或者是独立测试某一种新技术， 将基 本配置的性能与此配置加上要测试的 技术后的 性能 进行比 较; 或者是总体对所有技术的 性能 进行分析， 对于技术之间的依 赖性以 及编码增益和复杂 度之间的 折中没有进行很好的 研究。 本文对编码参数之间的关联性进行了 分析并指出了 如何合理设置编码参数。 码率控制大多通过缓冲机制的平滑作用完成。 受解码缓冲区大小和延时影响， 编码时除 了 在控制码率外， 还要防止缓冲区溢出 带来的视频质量下降。 许多学者和机构在码率控制方 面做了 大量的 研究工作。 t m5 i s o , 1 9 9 3 1 将码率控制分为三个步骤:目 标比 特分配、 基于 缓 冲区饱和度的 码率控制和自 适应量化。 但t m 5 算法是建立在视频源信号为平稳随机过程的 基 础上， 它存在场景 切换适 应性和缓冲区 一致性问 题。 t m n s c o r b e r a , 1 9 9 9 则将码率控制 分 别 建立码率一 量化曲 线为二阶抛物线 模型 和对数模型的 基础上。 z . h e h e , 2 0 0 1 通过量化 后d c t系数的非零值比 例和码率之间的 统计关系建立p 一 域码率失真模型。 对于v b r码率 浙江大学硕士学位论文 控制， l . t e i x e ir a t e i x e i r a , 1 9 9 7 和p h . w e s t e r i n k w e s t e r i n k , 1 9 9 9 , s e t h u r a m a n s e t h u r a m a n , 2 0 0 1 提出了 基于r - q 模型的多 通道 码率 控制算法。 本文将 从h .2 6 4 码流的 特点出 发， 提出 一种基于对数模型的分层次的实时码率控制算法。 图 像质量也是一个关键指标， 因 此必须对图 像的 质量进行有效的度量。 由 于人眼是很多 数字视频系统的终端， 因此采用人眼直接观察视频质量的 主观度量是最为 直观的方法。 但常 用的 主 观度量方法 c c i r , 1 9 8 6 的 主要 缺点是需要在非常 严格控制的 环境下，由 一定 数量的 视频专家在专门的实验室里对视频进行评估， 准备工作量大， 灵活性差， 花费 代价高且达不 到实时要求。因此客观评价算法应运而生，峰值信噪比 p s n r ) 和均方误差 ( m s e )方法 简单， 较早和广泛的 应用 起来。 随后 很多 学者 提出了 各种更 加成熟的算法 w o lf , 2 0 0 2 ; f e n g , 2 0 0 0 ; w e b s t e r , 1 9 9 3 ; v a n , 1 9 9 6 1 。以 上算法有 些过于复杂， 不利于 实时 实现; 有些与主 观 度量方法相关度太差， 评价效果不佳。 本文将从信号的时域和空域特性出发， 提出 一种基于 人眼视觉感知的视频质量度量系统。 1 . 5全文结构安排 本文从h . 2 6 4 / a v c视频应用的 角度，针对编码过程中的复杂度、 码率控制和质量评价 等问题进行了研究与分析，分别提出了相应的算法。 全文共分为五章。 第一章为绪论。 简要回顾了 视频编码发展历史和背景， 介绍了h .2 6 4 / a v c视频压缩标 准的 形成、 特点和应用领域等基本问 题， 系统总结了 前人对复杂度、 码率控制和质量评价领 域的研究成果和方法，并给出了 本文的研究内容。 第二章为视频编码复杂度分析。本章对 h .2 6 4 / a v c的主要功能模块及其中包含的新技 术进行了详细论述， 着重对于各编码参数对编码器性能的影响以 及它们之间的 关联性进行了 讨论， 并给出了在保证性能的情形下通过合理设置编码参数， 有效的降低编码复杂度的方法。 第三章为码率控制。 本章首先论述了 码率控制的原理和率失真理论， 然后分析了h .2 6 4 的码流特点，基于此提出了一种针对 h .2 6 4 / a v c视频压缩标准的 采用对数模型的分层码率 控制算法。 第四章为质量评价。 本章讨论了 视频的空域信息、 时域信息以及由 之产生的三个度量 参数， 提出了一种基于人眼视觉特性的客观视频质量的评价方法， 它包含了 对空域信息和 时域信息的度量，较好的反映了人眼视觉系统，与主观度量的结果基本一致。 第五章总结全文，并展望了进一步研v.工作。 浙江大学硕士学位论文 第二章 视频编码复杂度 本 章详细 论述了h . 2 6 4 / a v c 的 主 要功能 模块， 分析了 每一种编 码技术引 起的 增益和复杂 度， 着重对于 各编码参 数对编码器性能的影响以 及它 们之间的关 联性进行了 讨论; 考虑编码 增益和复杂 度之间的 折中， 从统计意义上提出了 合理配置编码参数的方案 2 . ，引言 h .2 6 4 视频编码标准和以 前的标准一样， 仍然采用 预测一 变换结合的混合编码框架， 但对 每一个功能模块中 都引入了新的 技术， 使各功能模块的实现细节都发生了重要的改变。 引入 了 诸如变化的块尺寸、 多 参考帧、 1 / 4 像素精度的 运动矢量、 整数变换和哈达马( h a d a m a r d ) 变换、 基于内 容的 变长编 码c a v l c ( c o n t e x t - a d a p t iv e v a r ia b le l e n g th c o d i n g ) 、 帧内 空域预 测、 环内去块滤波器等一系列新的编码方法。 虽然这些编码技术提高了编码效率和性能， 但 编码复杂度也大幅度提高了， 而且这些新技术引进的增益取决于采用的 编码器配置， 这些不 同 技术带 来的 增益并不 是加性的 s a p o n a r a , 2 0 0 3 。目 前已 有一些研究工作 h al l a p u r o , 2 0 0 1 ; j o c h , 2 0 0 2 ; l a p p al a in e n , 2 0 0 1 ; m a r p e , 2 0 0 1 ; s c h w a r z , 2 0 0 2 分析了h .2 6 4 标准的 编码效率， 虽然这些工作涵盖了所有的编码方法， 但新技术通常都是独立测试的， 即将基本配置的性能 与此配置加上要测试的技术后的 性能进行比 较; 或者是总体对所有技术的性能进行分析。 这 样， 对于技术之间的依赖性以 及编码增益和复杂度之间的折中没有进行很好的 研究。 实际上， 在基本配置 ( 其它新技术未应用) 时加上要测试的技术， 得到的编码增益比较大， 这是因为 此时的视频数据具有较大的相关性; 而当其它技术也采用时， 剩下的数据相关性降低， 因此 进一步可得的增益必然减小。 本章先分析了 每一种编码技术引 起的 增益和复杂度， 然后着重对于各编码参数对编码器 性能的影响以 及它们之间的关联性进行了讨论， 最后考虑编码增益和复杂度之间的折中， 从 统计意义上提出了合理配置编码参数的方案。 2 . 2 h . 2 6 4 关键技术 2 . 2 . 1分层设计 h . 2 6 4 / a v c 视频编码在概念 上可 以分 为两层 ，分别 是视频编码层 v c l ( v i d e o c o d in g l a y e r ) 和网 络4t象层 n a l ( n e t w o r k a b s tr a c t io n l a y e r ) w e n g e r , 2 0 0 3 ; s t o c k h a m m e r , 2 0 0 3 0 图2 . 1 为相 应的 方框图。 其中v c l 层主要负责高效率的 视频数据压缩， 采用了基于块的 混合编码方案，引 入了许多新的编码方法。 n a l层负责根据传输网络的特 点，以 恰当的方式对数据进行打包和分发， 主要包括编码头信息、 段结构信息和视频编码层 实际编码数据， 以 及逻辑信道信令、 定时信息和序列结束信号网络传输标志。 在v c l 和n a l 浙江大学硕士学位论文 两个层次之间定义了一个基于分组方式的 接口， 这样， 高效压缩的 视频流就可以 在各种有线 或无线网络中 进行视频传输. n a l的 产生不但使h . 2 6 4 / a n 对目 前现存的各种不同网络有 很强的网络友好性，而且使它对未来的网络同样具有很强的适应性。 f l 2 6 4 / a v c椒 港 层 一 _聆蕊 1.q曰_ vlc- - - _座叫匣 昼 画 但多种块尺寸的引入 增加了 运动矢量的开销， 同时也增加了 编码器的复杂度， 因为要对每一种块尺寸进行运动估 计以选择最佳的模式。 0 1 0 1 01 1 2 i 3 ( a ) 模式1 1 个1 6 x 1 6 块 1 个运动向量 ( b ) 模式2 2 个1 6 x 8 块 2 个运动向量 ( c ) 模式3 2 个8 x 1 6 块 2 个运动向量 ( d ) 模式4 4 个8 x 8 块 4 个运动向 量 01 23 45 67 01 23 456 7 ( e ) 模式5 8 个8 x 4 块 8 个运动向 量 ( f ) 模式6 8 个4 x 8 块 8 个运动向 量 ( 9 ) 模式7 1 6 个4 x 4 块 1 6 个运动向量 图2 . 5多种块模式定义 根据块模式的 特点， 选择了如表2 .2 所示的 三种组合方案， 测试结果如表2 .3 所示。 值 得注意的是对于s t e f a n 序列， 采用方案3 获得的p s n r增益与方案2 相当， 而且比 特率略有 上升， 原因是s t e f a n 序列运动剧烈，较多的 采用小的块尺寸，反而增加了 运动矢量的开销。 表 2 .2块模式的组合方案 方案模式组合块尺寸 1 模式 11 6x 1 6 2 模式1 到41 6 x1 6 , 1 6 x8 , 8 x1 6 , 8 x8 3 模式1 到7 1 6 x1 6 , 1 6 x8 , 8 x1 6 , 8 x8 , 8 x4 , 4x8 , 4x4 浙江大学硕士学位论文 表2 . 3多 种块尺寸的 测试结果 测试序列组合方案z , p s nr比 特率下降 (%)编码时间之比 a k i y o 2 v s . l0 . 0 64 . 81 . 4 4 3 v s . l0 . 0 65 . 11 . 8 9 f o r e ma n 2 v s . 10 . 1 19 . 61 .4 2 3 v s . l0 . 1 41 1 . 3 1 . 8 6 s t e f a n 2 v s . l0 . 0 58 . 7 1 . 3 8 3 v s . 10 . 0 46 . 81 . 7 8 2 . 3 . 2多参考帧 h .2 6 4 / a v c允许编码器使用多于一帧的 参考帧进行运动估计， 这就是所谓的多参考帧 技术。多参考帧示意图如下所示: 图2 .6多 参考帧示意图 f l i e r l ,2 0 0 3 编码器利用己经编码结束的参考帧对当前编码块分别进行预测， 并从中选择预测最好的 帧作为参考帧， 可以有效消除不可补偿区域造成的预测误差。 在一些特定的情况 卜 ， 主要是 快速的 周期运动、 快速的场景相互切换、 物体存在遮蔽现象等， 多参考帧的使用会有非常好 的效果。 同时由 于采用多 参考帧进行预测， 计算复杂度增大， 而且需要额外的缓冲区来存储 这些参考帧。 表2 . 4多参考帧的测试结果 测试序列参考帧个数l , p s nr比特率下降( %) 编码时间之比 a k i y o 3 v s . 10 . 0 3 0 . 62 . 1 7 5 v s . 10 . 0 42 . 3 3 . 2 5 f o r e ma n 3 v s . l0 . 1 02 . 9 2 . 1 5 5 v s . 10 . 1 0 5 . 13 . 2 2 s t e f a n 3 v s . 10 刀18 . 0 2 . 0 7 5 v s . 10 . 0 28 . 0 3 . 0 5 在测试中， 分别选取了1 , 3 , 5 个参考帧进行比较， 结果如表2 .4 所示。 可以 看出， 在 基本配置f ， 每增加2 个参考帧， 编码约增加1 倍， 但得到的p s n r增益和比 特率的下降 较 浙江大学硕十学位论文 少， 而且参考帧个数由3 个增加到5 个时获得的 增益要远小于由1 个增加到3 个时获得的 增益，因此增益与参考帧个数的关系并不是线性的，在考虑复杂度以及实时应用的情形下， 应该避免使用过多的参考帧。 2 . 3 . 3哈达马 ( h a d a m a r d )变换 经过整数变换后，空间域的数据映射到变化域，能量大部分集中在低频系数，尤其是 d c系数。同时由 于一般情况下， 视频中亮度和色度的变化趋势缓慢， 所以相邻区 域的 数据 存在较大的相关性。 在变化域的 残差编码中， 哈达马变换可以用于提高传统的误差函数 ( 如 绝对差之和 s a d)的性能。在 h.2 6 4视额标准中采用的哈认马亦换知阵为 ( 2 . 1 ) 十月 1-l1-1 1-l-l1 ，.，1