（计算机科学与技术专业论文）h264视频编码若干关键优化技术的研究与实现.pdf

国防科学技术大学研究生院学位论文 摘要 h 2 6 4 视频编码标准是2 0 0 3 年5 月获得批准的新一代视频编码国际标准。同以往标准 相比，它采用了许多新技术，例如1 4 、1 8 精度的子像素运动估计，多参考帧技术，去块 滤波，加强的熵编码，小块的整数变换等来提高编码效果，但这些技术同时也增加了h 2 6 4 编码器的复杂度，限制了h 2 6 4 在很多领域尤其是实时领域的应用。h 2 6 4 优异的编码性 能对于市场具有极大的诱惑力，而研究h 2 6 4 编码的快速算法及其实现是h 2 6 4 走向市场 的前提和保证，因此对h 2 6 4 视频编码算法进行优化具有十分重要的理论意义和实用价值。 本文首先对h 。2 6 4 标准进行了深入分析。了解h 2 6 4 语法流的结构，从总体上把握了 h 2 6 4 编码框架。然后对影响编码效果的参数进行不同的配置来进行编码测试，并对编码 结果进行分析，得出了一个对编码效果影响较小的实时编码参数集。其次，分析实现了几 种主流的运动搜索算法并对它们进行了比较，最后选择菱形搜索算法集成到编码器中，并 对菱形算法中粗粒度搜索过程进行了改进，减少了运算量，提高了搜索速度。再次，通过 对编码器各个模块进行时耗分析，我们得到了整个编码器的瓶颈模块，也就是模式选择模 块，它极大的影响了实时编码效果，因此，根据对实际测试结果的统计分析，我们对模式 选择模块进行了优化，提出了一种带有倾向的快速模式选择算法，通过有倾向的搜索次序 和尽早终止策略加速了常见模式的搜索过程，从而也就加速了整个编码器的运行。最后我 们对于标准中的变长编码和算术编码进行了比较分析，选择耗时相对较少的变长编码进行 深入研究，通过对标准中变长编码u v l c 的分析，提出了一种商余数变长编码方案，它 符合实际视频编码中语法元素值的分布规律，平均码长较短，通过实际测试，它的编码效 率要高于标准中的变长编码方案。 关键词：h 2 6 4 ；实时编码；模式选择：变长编码 国防科学技术大学研究生院学位论文 a b s t r a c t h 2 6 4v i d e oc o d i n gs t a n d a r di st h en e wi n t e r n a t i o n a lv i d e oc o d i n gs t a n d a r da p p r o v e d0 1 1 m a y , 2 0 0 3 m a n yn e wt e c h n o l o g i e ss u c ha s1 4o r1 8s u b p i x e lm o t i o ne s t i m a t i o n m u l t i p l e r e f e r e n c ef r a m e s ，d e b l o c k i n gf i l t e r , e n h a n c e de n t r o p yc o d i n g ，s m a l lb l o c ki n t e g e rt r a n s f o r ma n d s oo na r ea d o p t e di nh 2 6 4t o i m p r o v et h ec o d i n ge f f i c i e n c yo fh 2 6 4w h i l ea l lt h e s e t e c h n o l o g i e si n c r e a s et h ec o m p l e x i t yo fh 2 6 4e n c o d e rt h u sr e s t r i c ti t sr e a lt i m ea p p l i c a t i o n e x c e l l e n tc o d i n ge f f e c to fh 2 6 4h a sag r e a ta t t r a c t i o nt ot h em a r k e ta n daf a s tc o d i n ga l g o r i t h m a n di t si m p l e m e n t a t i o na r et h ep r e c o n d i t i o na n dg u a r a n t e ef o rt h em a r k e ta p p l i c a t i o no fh 2 6 4 ， s ot h eo p t i m i z a t i o no f h 2 6 4c o d i n gh a sag r e a tt h e o r e t i c a ls i g n i f i c a n c ea n d a p p l i c a b l ev a l u e f i r s ti nt h i sp a p e rw ed e e p l ya n a l y s et h en e ws t a n d a r da n di t ss y n t a xs t r u c t u r et og r a s pt h e c o d i n gf r a m e w o r k 嚣aw h o l e 1 1 他nt e s t sa n da n a l y s i sa r em a d eo nt h ed i f f e r e n tc o n f i g u r e d p a r a m e t e rs e t sw h i c ha f f e c tt h ec o d i n ge f f i c i e n c ya p p a r e n t l ya n dap a r a m e t e rs e tf o rr e a lt i m e c o d i n gi sg o t t e nw i t hl e s si n f l u e n c eo ni t sc o d i n ge f f e c t s e c o n d ，s e v e r a lm a i n s t r e a mm o t i o n s e a r c ha l g o r i t h m sa r ea n a l y s e da n di m p l e m e n t e da n dc o m p a r i s o ni sm a d eb e t w e e nt h e m ，f i n a l l y t h ed i a m o n ds e a r c ha l g o r i t h mi sc h o s e nt ob ei n t e g r a t e di n t ot h ee n c o d e na d d i t i o n a l l y , t h e c o a r 辩g r a i n e ds e a r c hp r o c e s si nd sa l g o r i t h mi si m p r o v e dt or e d u c ei t sc o m p u t a t i o ns i z e t h i r d ， t h r o u g ht h ea n a l y s i so ft h et i m ec o n s u m p t i o no fd i f f e r e n tm o d u l e ，w eg e tt h eb o t t l e n e c ko ft h e e n c o d e r ，n a m e l yt h em o d ed e c i s i o nm o d u l ew h i c ha f f e c t st h er e a lt i m ec o d i n ge f f e c tg r e a t l y s o t h r o u g ht h es t a t i s t i c a la n a l y s i so ft h er e a lt e s t i n gr e s u l t s ，t h et i m e - c o n s u m i n gm o d ed e c i s i o n m o d u l ei so p t i m i z e da n dab i a s e df a s tm o d ed e c i s i o na l g o r i t h mi sp r o p o s e dt os p e e du pt h e c o m m o nm o d es e a r c h i n gp r o c e s st h r o u g hab i a s e ds e a r c ho r d e ra n de a r l yt e r m i n a t i o ns t r a t e g y t h u ss p e e d su pt h ew h o l ee n c o d e r f i n a l l y , t h ev a r i a b l el e n g t hc o d i n ga n da r i t h m e t i c a lc o d i n ga r e c o m p a r e da n da n a l y s e da n dt h ev l c w h i c hc o n s u m e sl e s st i m ei sc h o s e n t h er e s e a r c ho b j e c t t h r o u g ht h ea n a l y s i so f t h eu v l c ，aq u o t i e n t r e s i d u ev a r i a b l el e n g hc o d i n gs c h e m ei sp r o p o s e d w h i c hc o n f o r m st ot h ed i s t r i b u t i o no ft h es y n t a xv a l u ei nr e a lv i d e oc o d i n ga n di t sa v e r a g ec o d e l e n g t hi ss h o r t e r t h r o u g ht h er e a lt e s t ，i t sc o d i n ge f f i c i e n c yi sh i g h e rt h a nt h a ti nt h es t a n d a r d k e yw o r d s ：h 2 6 4 ，r e a lt i m ee n c o d i n g , m o d ed e c i s i o n ，v a r i a b l el e n g t hc o d i n g l l 国防科学技术大学研究生院学位论文 图目录 图1 14 ：4 ：4 子采样格式 图1 24 ：2 ：2 子采样格式 图1 34 ：l ：l 予采样格式 图i 4h 2 6 1 、h 2 6 3 和m p e g - i 等标准使用的4 ：2 ：0 子采样格式 图i 5m p e g - 2 的空间样本位置 图2 1h 2 6 4 视频编码框图 图2 2h 2 6 4 视频流语法框图 图2 3 包含i 帧、p 帧和b 帧的图像序列 图2 4i n t r a 4 x 4 模式预测方向 图2 5 帧问编码中不同块大小的运动补偿编码的块扫描顺序 图2 6 整数、分数像素点位置分布 图2 7 色度分数像素插值 图2 8 滤波水平和垂直边界 图2 9 相邻块水平和垂赢边界 图2 1 0 块边界强度判决树 图2 1 l 多参考帧编码示意图 图2 1 2 亮度宏块直流系数分离 图2 1 3 色度块直流系数分离 图3 1 全搜索图示 图3 2 三步法t s s 搜索过程图示。 图3 3 新三步法n t s s 搜索图示 图3 4 最优点分布规律 图3 5 大菱形模板l d s p 及小菱形模板s d s p 图3 6 菱形搜索过程图示 图3 7 待匹配像素块与搜索区域的几何关系 图3 8 运动矢量m v 示意图 图3 9i n t r a 4 x 4 模式预测方向 一住 似 佰 仃 侣侣 如 加 纠旌 幻 盯 卯 钔 s ； 弘舛：8；5；钌 国防科学技术大学研究生院学位论文 图3 1 0i n t r a 4 x 4 模式中像素点分布 图3 1 1i n t r a l 6 x 1 6 预测模式 图3 1 2 色度信号预测模式 图3 1 3 序列c a r p h o n e q c i f 的p s n r 比较 图3 1 4 几个测试序列的运行加速比随q p 变化 图3 1 5 原算法主观图像质量 图3 1 6 改进算法主观图像质量 图4 1 帧片划分示意 图4 2z i g z a g 扫描 图4 3 算术编码器框图 图4 4 变长编码和算术编码( a ) 码率比较 ( b ) 运行时间比较 图4 5 码长减少百分比与量化参数关系 图4 6 亮度信噪比与量化参数关系 图4 7 码长减少百分比与量化参数关系 图4 8 亮度信噪比与量化参数关系 柏 卅 钙柏 们 柏 盯 鼹 鸵 国荫科学技术人学研究生院学位论文 表目录 表1 1 图像视频编码方法的特点6 表1 2 图像视频编码方法的分类7 表1 3 电视图像质量评价尺度1 0 表2 1 滤波门限值随q p 变化2 2 表2 2h 2 6 4 中亮度系数美化步长2 8 表3 1 几个测试序列的各种模式所占比例4 4 表4 1 主图像类型标识语法元与其数值之间映射关系4 8 表4 2e x p g o l o m b 码字与编码数值匹配关系4 9 表4 3e x p g o l o m b 码字格式与编码数值范围的关系一4 9 表4 4 无符号映射方式5 0 表4 5 有符号映射方式5 0 表4 6 查表映射方式5 0 表4 7 宏块类型及其取值映射关系5 2 表4 8 非零系数总数t o t a l c o e f f 和尾1 串数目t r a i l i n g o n e s 码表5 3 表4 9 编码l e v e l 值时阈值设定与码表选择5 6 表4 1 0 ( a ) 4 x 4 块系数标识卜7 的t o t a l z e r o s 码表5 6 表4 1 lr u t 一b e f o r e 码表5 7 表4 1 2 一元二值化语法元素值与比特流对应关系5 8 表4 1 3 自适应u v l c 码默认配置构成6 1 表4 1 4 不同参数下的商一余数码构成6 1 独创性声明 本人声明所里交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果尽我所知，除了文中特别加以标注和致谢的地方外。论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意 学位论文题目 学位论文作者 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅：可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存，汇编学位论文 ( 保密学位论文在解密后适用本授权书。) 一 日 日一朔朋 一汕 一菱 国防科学技术大学研究生院学位论文 第一章绪论 随着信息技术的飞速发展和社会的不断进步，人类对信息的需求越来越丰富。人们希 望无论何时何地都能够便捷的通过语音、数据、图像与视频等各种方式进行通信，其中视 觉信息最具直观性和生动性，因此图像视频的传输越来越受到人们的广泛关注。 现有的窄带通信网如p s t n 网或移动通信网等，虽然可以提供有改进的语音和数据服 务，但在支持宽带多媒体业务和资源的综合优化利用等方面存在很大的局限性，不能很好 的支持大容量的多媒体业务，尤其是高质量的图像视频业务，更不能向不同的用户动态提 供具有不同服务质量和内容的个性化服务。 不同通信业务对通信网络的要求差异很大，通常视频业务要求实时传输，对时延十分 敏感，但可以容忍一定程度的误码，这些都与通常的数据文件传输有很大的不同。 视频信息源具有不同的特性，不同的视频业务要求不同的通信模式，从而对传输网、 视频编码等提出了不同的要求。因此，对图像视频业务的深入了解是研究低码率传输的必 要前提。 1 1 图像与视频业务 视觉是人类获取信息最为重要的途径，外部世界的信息大部分是通过视觉感知的。据 统计，人类从外部获得的信息约有6 0 7 5 来自视觉系统【l 】脚，也就是图像，这里的图像是 广义的，例如照片、绘图等等。图像带有大量信息，百闻不如一见，一图值千字都说明了 这个事实。随着计算机、数字通信、多媒体和网络技术的发展，信息在急剧膨胀。图像与 视频作为最为重要的载体之一，已经深入人们的日常生活。人们不再仅仅满足于文字及声 音，还希望看到生动的画面。绝大多数的娱乐活动，如电影、电视、v c d 、d v d 、v o d 、电 子游戏、卡拉o k 等，工作学习所需的如可视电话、电视会议、多媒体邮件与工业实时监 控等，都需要处理图像与视频信号。 客观世界在空间上是三维的，但一般从客观景物得到的图像是二维的。一般来说，任 何一个二维函数表示的信息均可认为是一幅图像。可以把一幅单色的数字图像当作一个矩 阵，矩阵的行和列坐标标志图像的一个点，相应元素的值表示该点的灰度级别。这样的一 个数字阵列元素称为图像元素或像素，像素是图像的最小解析单元，该单元可显示在屏幕 上，也可以存储在计算机内存中。对于彩色图像，每幅图像由红绿蓝三个基色分量r g b 表示。为了兼容黑自接收终端，常将彩色视频信号r g b 格式的彩色像素表示为亮度y 和 色度u v 分量来进行传输。在中国，彩色视频制式采用p a l ( p h a s ea l t e r a t i o nl i n e ) 制， 即逐行例相正交平衡调幅制。p a l 制的r g b 到y u v 的变换为： 第1 页 国防科学技术大学研究生院学位论文 y = 0 2 9 9 r + 0 5 8 7 g + 0 1 1 4 b u = 0 4 9 3 ( b y ) = - 0 1 4 7 r 一0 2 8 9 g + 0 4 3 6 b ( 1 1 ) l v = o 8 7 7 ( r y ) = 0 6 1 5 r 一0 5 1 5 g 一0 1 0 0 b 对彩色电视图像进行采样时，可以采用两种采样方法。一种是使用相同的采样频率对 图像的亮度信号和色差信号进行采样，另一种是对亮度信号和色差信号分别采用不同的采 样频率进行采样。如果对色差信号使用的采样频率比对亮度信号使用的采样频率低，这种 图像子采样在数字图像压缩技术中得到广泛的应用。可以说，在彩色图像压缩技术中， 最简便的图像压缩技术恐怕就要算图像子采样了。这种压缩方法的基本根据是人的视觉系 统所具有的两种特性，一是人眼对色度信号的敏感程度比对亮度信号的敏感程度低，利用 这个特性可以把图像中表达颜色的信号去掉一些而使人不察觉：二是人眼对图像细节的分 辨能力有一定的限度，利用这个特性可以把图像中的高频信号去掉而使人不易察觉。子采 试验表明，使用下面介绍的予采样格式，人的视觉系统对采样前后显示的图像质量没 4 ；4 ：4 格式：这种采样格式不是子采样格式它是指在每条扫描线上每4 个连续 的采样点取4 个亮度y 样本、4 个蓝色差u 样本和4 个红色差v 样本，这就相当于 每个像素用3 个样本表示。图1 1 给出了采样格式为4 ：4 ：4 的y u v 的样本位置。 穗卜咱旷 啕卜_ 礓卜 蔼卜- q 驴啕卜咱卜 图1 14 ：4 ：4 子采样格式 4 ：2 ：2 格式：这种子采样格式是指在每条扫描线上每4 个连续的采样点取4 个亮 度y 样本、2 个蓝色差u 样本和2 个红色差v 样本，平均每个像素用2 个样本表示。 第2 页 国防科学技术大学研究生院学位论文 图1 2 给出了采样格式为4 ：2 ：2 的y u v 的样本位置。在水平扫描方向上，每2 个 y 样本有1 个u 样本和1 个v 样本。对于消费类和计算机应用，每个分量的每个样 本的精度为8 比特；对于编辑类应用，每个分量的每个样本精度为1 0 比特。因此在 帧缓存中，每个像素样本需要1 6 比特或者2 0 比特。显示像素时，对于没有u 和v 的y 样本，使用前后相邻的u 和v 样本计算来得到相应的u 和v 样本。 固卜蓟叫_ 咱卜+ 固卜叫移h _ 咱争一卜 通卜伊1 - 镬卜叫参_ _ 一嗵卜- 谨卜争+ y uv 样本 仅y 样本 图1 24 ：2 ：2 子采样格式 4 ：1 ：l 格式：这种子采样格式是指在每条扫描线上每4 个连续的采样点取4 个亮 度y 样本、1 个蓝色差u 样本和1 个红色差v 样本，平均每个像素用1 5 个样本表 示。图1 3 给出了采样格式为4 ：1 ：1 的y u v 的样本位置。这是数字电视磁带 d v c ( d i g i t a lv i d e oc a s s e t t e ) 上使用的格式。在水平扫描方向上，每4 个y 样本各 有1 个u 样本和1 个v 样本，每个分量的每个样本精度为8 比特。因此，在帧缓存 中，每个像素样本需要1 2 比特。显示像素时，对于没有u 和v 的y 样本，使用前后 相邻的u 和v 样本计算来得到该y 样本对应的u 和v 样本。 德卜卜_ - 卜 + 嬉卜- - _ _ 1 卜 _ + - _ 卜+ p d _ 咱旷一 y uv 样本 仅v 样本 图1 34 ：1 ：l 子采样格式 4 ：2 ：o 格式：这种子采样格式是指在水平和垂直两个方向上每2 个连续的采样点 第3 页 国防科学技术大学研究生院学位论文 上取2 个亮度y 样本、1 个红色差v 样本和1 个蓝色差u 样本，也就是在每4 个y 样本中间取色度样本，平均每个像素用1 5 个样本表示。图1 4 给出了采样格式为 4 ：2 ：0 的y u v 的样本位置。这是h 2 6 1 、h 2 6 3 和m p e g 一1 使用的子采样格式。在 水平和垂直方向上的每4 个y 样本就有1 个u 样本和一个v 样本。如果每个分量的 每个样本精度为8 比特，在帧缓存中每个像素样本就需要1 2 比特。 叫卜 卜卜卜一 卜 叫卜 卜 u v 样本 y 样奉 图1 4h 2 6 1 、h 2 6 3 和m p e g - i 等标准使用的4 ：2 ：0 子采样格式 虽然m p e g 一2 和m p e g l 使用的子采样都是4 ：2 ：0 ，但它们的含义有所不同。图1 5 说明了m p e g - 2 所采用的采样格式为4 ：2 ：0 的y u v 空间样本位置。与m p e g 一1 的4 ：2 ：0 相比，m p e g - 2 的子采样在水平方向上没有半个像素的偏移。 叫_ 卜卜_ 叫卜 国 一“一一一“ - - 卜 ”一一 叫- 卜叫卜 u v 样本 y 样本 图l _ 5m p e g - 2 的空间样本位箕 数字视频是数字图像的时间序列构成的，人们也常称之为视频图像、图像序列或运动 图像，每幅这样的图像称之为一帧。对于视频显示来说，帧速率就是时间序列的播放速率， 通常帧率在2 5 3 0 帧秒( f p s ) 之间。 第4 页 国防科学技术人学研究生院学位论文 1 2 1 概述 1 2 视频编码技术的发展 视频编码的一个主要目的是在保证一定重构图像质量的前提下以尽量少的比特数来 表征视频信息。传统的压缩编码是以香农信息论为出发点的，采用统计概率模型来描述信 源。编码实体是像素或像素块，以显示器件为图像视频系统的最后环节。这种基于数据统 计的、以消除视频数据相关冗余为目的的第一代视频编码技术获得了巨大成功。j p e g 、 m p e g 一1 、m p e g 一2 、h 2 6 1 以及h 2 6 3 等压缩编码国际标准的制定及其对多媒体产业的巨大 影响就是有力的证明。这些国际标准主要采用了第一代视频编码技术，如熵编码、变换编 码、预测编码以及运动补偿等。 虽然表示图像和视频信息需要大量的数据，但这些数据往往是高度相关的，这些相关 会引起信息冗余，因此可以通过去除冗余信息来实现对图像视频数据的压缩。静态图像压 缩的主要目标是保证可接受的重建图像质量前提下，尽量去除图像本身存在的空间冗余信 息。而视频信号的压缩是在去除空间冗余的同时，还可通过去除时间冗余以达到较高的压 缩比。 除了时间和空间冗余外，在一般的图像视频数据中还存在着其它一些冗余信息，主 要有： 1 信息熵冗余 也称编码冗余，由信息论的有关原理可知，为表示图像数据的一个像素点，只要按其 信息熵的大小分配相应的比特数即可。然而对于实际图像数据的每个像素，很难得到它的 信息熵，在数字化一幅图像时，对每个像素用相同的比特数表示必然存在冗余。信息熵冗 余、空间冗余和时间冗余统称为统计冗余，因此它们都决定于图像数据的统计特性。 2 结构冗余 在某些图像的部分区域内存在着非常强的纹理结构，或是图像各部分之间存在某种关 系，例如自相似性等，这些都是结构冗余的表现。 3 知识冗余 在有些图像中包含的信息与某些先验的基础知识有关，例如在头肩序列中，头、眼睛、 鼻子和嘴巴的相对位置等信息就是一些常识。这种冗余就是知识冗余。 4 视觉冗余 大多数情况下，重建图像的最终接收者是人的眼睛。人类的视觉系统是世界上最好的 图像处理系统，但它远远不是完美的，因此可以利用人类视觉系统的特点来取得较高的压 缩比。人类的视觉系统对于图像的注意是非均匀的、非线性的，并不是对于图像中的任何 变化都能感知的，例如图像系统的量化误差引起的图像变化在一定范围内是不能被人眼所 察觉的。前一节中色彩空间的变换后利用采样比的变化的例子也是利用了人眼对亮度信号 第5 页 国防科学技术人学研究生院学位论文 敏感性高于对色度信号的敏感性的特性。因此如果编码方案能利用人类视觉系统的一些 特点，是可以提高压缩比的。 上述各种形式的冗余是压缩图像视频数据的出发点。图像与视频编码方法就是要尽可 能的消除这些冗余信息，以降低表示图像与视频数据所需的数据量。 综上所述，图像视频编码的目的就是在保证一定的重构图像质量前提下，以尽可能少 的比特数来表征视频信息。 图像编码的方法很多，可有多种分类方式。最常用的一种是将其分为无损编码和有损 编码。前一种能够精确重建原始图像，而后一种方法则会引入失真，只是要尽量做到使失 真不明显。 一个具体的压缩编码方法常常需要用多种特点柬表征，表1 1 列出了各种不同图像编 码方法的特点。 表l _ l 图像视频编码方法的特点 特点描述 无损 无失真准确恢复原始数据 有损有失真 对称 编解码时间几乎相等 非对称 编码时间比解码时间长的多 实时编解码时间延迟不应超过5 0 m s 帧内独立完成帧编码 帧间参考前( 后) 面的帧对当前帧进 亍编码，弗考虑帧间时间冗余 1 2 2 编码方法的分类 常用的图像视频编码分类及实例如表1 2 所示。 熵编码是基于信号统计特性的编码方法，它是一种无损编码。解码后能无失真的恢复 原始图像。熵指的是具体数据的平均信息曩，定义为在不丢失信息的前提下描述该信息所 需的最小比特数。熵编码的基本原理是给出现概率较大的符号一个短码字，而给出现概率 小的符号一个长码字，这样使得最终的平均码长很小。一个精心设计的熵编码器，其输出 的平均码长接近信源的信息熵，即码长的下限。熵编码把已压缩的数据流看作简单的数字 序列，而并不关心这些数据的具体语义。 源编码常用于能够把原始数据中的相关数据与不相关数据区分开的场合。该方法要考 虑原始数据的语义，通过消除不相关数据达到对原始数据流的压缩。与熵编码不同，源编 码常常是有损编码。在有损压缩方法中，原始数据流与已编码数据流相似但不相同。 混合编码是熵编码和源编码方法的组合，通常由源编码过程产生的输出数据流用作熵 编码过程的输入数据流。 第6 页 国防科学技术大学研究生院学位论文 表1 2 图像视频编码方法的分类 编码方法实例 算术编码 熵编码霍夫曼编码 游程编码 差分脉码调制 离散余弦变换 源编码离散小波变换 傅立叶变换 运动补偿预测 分形幽像e r 缩 h 2 6 x 混合编码 j p e g m p e g 视频编码 小波图像压缩 长期以来，基于像素的方法一直是图像视频编码的主流方法，它从消除图像视频数据 的相关冗余出发，编码实体是像素或像索块，以显示器件为图像视频系统的最后环节，并 没有充分考虑人眼的视觉特性对编码图像的影响。 1 2 3 基本编码方法 常用的熵编码有游程编码。霍夫曼编码与算术编码三类。 当已被采样的图像视频数据拥有相同字节序列时，可以采用更紧密的序列来代替这些 相同的字节序列，从而实现压缩，这就是游程编码。最常见的一种情况是当采样量化后出 现大量零系数的情形，利用游程编码来表示连零码，从而降低为表示连零码所用的数据量。 霍夫曼编码0 1 方法能对已知的数据给出最佳编码，即能够根据己知概率分布决定最小 编码位数。因此，编码字符的位长度是变化的，最短的码字分配给出现最频繁的字符，而 概率小的字符则分配较长的码字，从而提高编码效率。霍夫曼编码是一种变长变码方法， 这里最佳指的是对相同概率分布的信源来说，它的平均码长比其它任何一种有效编码方法 都短。但是它必须知道信源的概率分布，这一般是无法做到的，通常是用对于大量数据进 行统计后得到的近似分布来代替，但是不同的图像类型其系数分布总有所差异，这导致了 实际应用时无法达到最佳性能。常常可以根据输入数据序列来自适应匹配信源概率分布， 从而较好的改进霍夫曼编码的性能，但是这种方法运算复杂且不适合硬件实现。 算术编码是2 0 世纪8 0 年代发展起来的一种熵编码方法。算术编码基本原理是任何一 个数据序列均可表示成0 和l 之间的一个问隔，该间隔位置与输入数据概率分布相关。可 第7 页 国防科学技术大学研究生院学位论文 以根据信源的统计特性来设计具体的编码器，也可以针对未知模型的信源设计能够自适应 适配其概率分布的算术编码器。并且这两种形式的编码器均可硬件实现。 上述三种熵编码方法均已被各种图像编码标准所采纳，常见的是以游程编码加霍夫曼 编码或游程编码加算术编码的形式对源编码之后的图像系数实施进一步编码。 应该强调指出的是熵编码方法是通过无损压缩来消除冗余信息以达到信息压缩。如果 需要进一步压缩图像视频数据就必须考虑人的视觉缺陷。源编码方法把初始数据分为相关 信息和不相关信息两种，然后陆续执行消除不相关数据的处理步骤。与熵编码不同，源编 码允许失真。 如何划分相关信息与不相关信息与具体的源编码方法有关。更重要的是，不同的源编 码方法利用了人的视觉缺陷的各种特点。分离相关数据和不相关数据的一种方法是编码转 换，把数据转换成更适用于分离目的的数学模型。 变换编码是通过信号变换来消除图像数据空间相关性的一种有效方法。尽管图像变换 本身不能对数据进行压缩，但由于交换后系数间相关性明显降低，图像大部分能量只集中 到少数几个变换系数上，采用适当的量化和熵编码可以有效的压缩图像的数据。而且图像 经过某些变换后，系数的空间分布和频率特性与人眼视觉特性能较好的匹配，因此可以利 用人类视觉系统的生理和心理特点得到较好的编码系统。 变换编码通常是将空间域相关的像素点通过变换映射到另一个正交矢量空间即变换 域，使变换后的系数之间的相关性降低。实际编码工作中，人们常采用离散余弦变换( d c t ) 。 对变换后图像系数的编码一般采用门限编码加区域编码的形式且对不同区域采用不 同的门限值。比如d c t 变换后幅值较大的系数大多数集中在图像的左上角，与其它系数相 比，这些低频系数具有的能量较大，包括了图像的大部分内容，在变换图像中地位最重要， 应使他们量化误差最小。变换系数中许多系数幅值较小，只具有原图像中很小比例的能量， 对图像质量影响相对较小，因此一般采用设定阈值的方法，鬣小于阈值的变换系数为零， 从而大大提高编码效率。经门限编码后的变换图像的大部分系数为零。在d c t 图像编码中 对变换系数进行“之”形排序非常巧妙的解决了将连零系数有效组织起来的问题。 预测编码可以在一幅图像内进行( i n t r a ) 。也可以在多幅图像间进行( i n t e r ) 。预测 编码实际上是基于图像数据的空间和时问冗余特性，用相邻的已知像素( 或图像块) 来预 测当前像素值，然后再对预测误差进行进一步的处理，这些相邻像素或图像块可以是来自 同一行的也可以是来自前几行或前几帧的。 1 2 4 图像质量评价体系 在图像视频压缩中为增加压缩比有时会舍弃一些图像细节或其它不太重要的内容比 如前面指出的去除心理视觉冗余数据，能导致实在的信息损失，所以在图像编码中解码图 像与原始图像可能会不完全相同。在这种情况下我们常常需要有对信息损失的量度( 或说 对图像质量的评价体系) 以描述重建图像质量相对于原始图像的偏离程度，这些评价原则 第8 页 嗣舫科学技术大学研究生院学位论文 一般称为保其度准则。常用的保真度准则可分为两大类：( 1 ) 客观保真度准则( 2 ) 主观 保真度准则。 1 ) 客观保真度准则 当所损失的信息量可用编码图像与解码图像的函数表示时，我们称之为客观保真度准 则。最常用的一个准则是输入图像与输出图像之间的均方根( r m s ) 误差。令f ( x ，y ) 表示 输入图像，f x ，j ，) 表示s ( x ，j ，) 先压缩后解压缩得到的，0 ，y ) 的近似，对任意x 和j ，s ( x ，y ) 和，g ，y ) 之间的误差e g ，y ) 定义为： e g ，y ) = f g ，y ) - ，g ，y ) ( 1 2 ) 如果两幅图像尺寸均为mx ，则它们之闯的总误差为： 驴b ，j ，) 一，b ，y ) ) ( 1 3 ) 则，k y ) - 与f g ，y ) 之间的均方根误差g 。为： r1 1 _ i2 托 e 一2 l 赤萎荟y ) 一，g ，y ) ) l ) 另一个客观保真度准则与压缩一解压缩图像的均方信噪比( s n r ) 有关。若将，0 ，y ) 看 成是，g ，y ) 与口0 ，) ，) 的和，那么输出图像的均方信噪比s n r 。为： s n r 。= 厂o ，y ) 2 【厂g ，) 一，o ，州2 ( 1 5 ) 如果对上式求平方根，就得到均方根信噪比鼬旭。实际应用中常将s n r 归一化并用 分贝( d b ) 表示。令 夕。去萎乏， ( 1 6 ) 则再： ru - i v - i 2 l( 厂( x ，y ) 一于) s n r = l o l 爿蕊鲁生1 j ( 厂g ，y ) 一，g ，j ，) ) ( 1 7 ) 如果令矗。x - m a x t 鼬，y ) 一= o ，1 ， ? h l ，尸o 1 一1 ) ，则可得到峰值信噪比p s n r ： 第9 页 国防科学技术大学研究生院学位论文 一圳g 曩靠 z m op o ( 1 8 ) 2 ) 主观保真度准则 尽管客观保真度准则提供了一种简便的评估信息损失的方法，但实际应用中很多解压 缩图像的最终接收系统是人眼。这样，采用主观方法来测度图像的质量更为直接也更合适。 一种常用的方法是对l 组( 常超过2 0 人) 精心挑选的观察者展示一幅典型的图像并将他 们对该图像的评价综合起来以得到一个统计的质量评价结果。 评价可对照某种绝对的尺度进行。表1 3 给出了一种对电视图像质量进行绝对评价的 尺度，这里根据图像绝对质量进行判断打分。 表1 3 电视图像质量评价尺度 评分评价说明 l 优秀 图像质量非常好，如同人所能想象出的最好质璧 2良好 图像质量高观看舒服有干扰但不影响观看 3 可用图像质量可接受，有干扰但不影响观看 4刚可用 图像质量差干扰有些妨碍观看，观察者希望改进 5差 图像质量很差，妨碍观看的干扰始终存在，几乎无法观看 6 不能用图像质量极差，不能使用 评价也可以通过将f b ，y ) 与以，y ) 比较弗按照某种相对尺度进行。如观察者将 f g ，y ) 与，g ，y ) 逐个对照，则可得到相对质量分。例如用 - 3 ，- 2 ，- 1 ，0 ，1 ，2 ，3 ) 来表示相应的主观评价 很差，较差，稍差，相同，稍好，较好，很好 。 1 3h 2 6 4 视频编码标准的提出 近年来，多媒体技术迅猛发展，视频编码技术及其网络应用如：可视电话、电视会议、 远程监控等应用越来越受到人们的关注。但信道传输带宽和存储容量的限制使得多媒体技 术的各项应用都离不开高效的图像视频压缩算法。未来交互式的个人视频通讯和高质量的 视频广播等应用需求给当前的视频压缩技术带来了新的挑战，以往的视频压缩技术已经不 能适应网络环境的改变或是需要改进。总之，新型的数字视频应用需要新一代的视频压缩 标准川。 在视频压缩算法的研究中国际标准化组织的运动图像专家组( m p e g ) 和国际电信联盟 i t u t 的视频编码专家组( v c e g ) 的贡献颇多。他们分别提出了m p e g - i 、m p e g - 2 、m p e g - 4 和 第1 0 页 国防科学技术大学研究生院学位论文 h 2 6 1 、h 2 6 3 、h 2 6 3 + + 等视频编码标准。但是这些标准都有很强的针对性，女g m p e g - l 是 针对视频存储应用：m p e g - 2 虽称为通用标准，但主要用于广播；m p e g - 4 的应用面广，但还 有需要完善和改进的地方；h 2 6 x 系列主要针对实时的视频会议。 如前所述，应用需求迫切需要一种新型的压缩算法，它不仅有高的压缩比，而且可以 根据不同的网络条件提供不同质量的视频服务，即可以应用在低带宽的信道，又可以应用 在高带宽的信道，同时还应该有一定的网络自适应功能。所以v c e g 在完成h 2 6 3 之后，致 力于一个短期的目标h 2 6 3 + + 和一个长期的目标h 2 6 l 这就是h 2 6 4 的前身。后来m p e g 组织和v c e g 组织联合组成了j v t ( j o i n tv i d e oc o d i n ge x p e r t sg r o u p ) 一联合视频专家 组，共同研究新的编码方案，分别命名为m p e g - 4p a r t1 0 “a d v a n c e dv i d e oc o d i n g ”( a v c ) 和h 2 6 4e ”。 1 4 本文结构 第一章，绪论，介绍图像视频编码的基本知识、图像视频编码技术的发展及h 2 6 4 视 频编码标准的提出。 第二章，详细介绍和分析h 2 6 4 视频编码标准的各个主要模块及采用的主要技术。 第三章，标准中运动估计、运动补偿技术及模式选择的有关研究。 第四章，标准中所采用的熵编码方案分析及变长编码的相关研究。 第五章，结束语。对课题研究中取得的成绩以及不足进行客观的评价，对下一步的工 作进行展望。 第1 1 页 国防科学技术大学研究生院学位论文 第二章h 2 6 4 视频编码简介 h 2 6 4 作为可视电话、电视会议的新一代视频编码标准，最初是由i t u 组织的