（信号与信息处理专业论文）h264avc标准中cabac熵编码和率失真优化技术的研究与优化.pdf

山东大学硕士学位论文 符号说明 c a b a c c o n t e x t b a s e d a d a p t i v eb i n a r y a r i t h m e t i cc o d i n g 基于上下文的自适 应二进制算术编码 r d o r a t e d i s t o r t i o no p t i m i z a t i o n 率失真优化 m v m o t i o nv e c t o r 运动矢量 m v d m o t i o nv e c t o rd i f f e r e n c e 运动矢量残差 m v d xm o t i o nv e c t o rd i f f e r e n c eh o r i z o n t a lc o m p o n e n t 运动矢量残差水平 分量 m v d y m o t i o nv e c t o rd i f f e r e n c ev e r t i c a lc o m p o n e n t 运动矢量残差竖直分量 m v pp r e d i c t e dm o t i o nv e c t o r 运动矢量预测 h v sh u m a nv i s u a ls y s t e m 人类视觉系统 m a d m e a na b s o l v ed i f f e r e n c e 平均绝对差 p s n rp e a ks i n g a l n o i s er a t i o 峰值信噪比 i s oi n t e r n a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n 国际标准化组织 i t ui n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n 国际电信联盟 i e ci n t e r n a t i o n a le l e c t r o t e c hn i c a lc o r n m u s s i o n 国际电工委员会 c c i t tc o n s u l t a t i v ec o m m i t t e eo fi n t e r n a t i o n a lt e l e g r a p ha n dt e l e p h o n e 国 际电报电话咨询委员会 j p e gj o i n tp h o t o g r a h i ce x p e r t sg r o u p 静止图像专家组 m p e g m o v i n gp i c t u r ee x p e r t sg r o u p 动态图像专家组 v c lv i d e o c o d i n gl a y e r 视频编码层 n a ln e t w o r ka b s t r a c t i o nl a y e r 网络抽象层 c a v l cc o n t e x t b a s e da d a p t i v ev a r i a b l el e n g t hc o d i n g 基于上下文的自适 应变长编码 m bm i c r o b l o c k 宏块 m e m o t i o ne s t i m a t i o n 运动估计 u u n a r yb i n a r i z a t i o n 一元码 5 t u u e g k f l m 咿s l p s r d r d q p s a t d d 6 t r u n c a t e du n a r yb i n a r i z a t i o n 截断一元码 k t ho r d e re x p g o l o m bb i n a r i z a t i o n k 阶指数哥伦布码 f i x e d l e n g t hb i n a r i z a t i o n 定长码 m o s tp r o b a b i l i t ys y m b o l 大概率符号 l e a s tp r o b a b i l i t ys y m b o l 小概率符号 r a t e 码率 d i s t o r t i o n 失真度 r a t e d i s t o r t i o n 率失真 q u a n t i z a t i o np a r a m e t e r 量化参数 s u mo f a b s o l u t et r a n s f o r m e dd i f f e r e n c e 绝对变换差值和 j u s tn o t i c e a b l ed i s t o r t i o n 最小可觉差 原创性声明 本人郑重声明 所呈交的学位论文 是本人在导师的指导下 独 立进行研究所取得的成果 除文中已经注明引用的内容外 本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果 对本文的研 究作出重要贡献的个人和集体 均已在文中以明确方式标明 本声明 的法律责任由本人承担 论文作者签名 叠 扬日期 丝垒金 堕 关于学位论文使用授权的声明 本人完全了解山东大学有关保留 使用学位论文的规定 同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版 允许论 文被查阅和借阅 本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索 可以采用影印 缩印或其他复制手段 保存论文和汇编本学位论文 保密论文在解密后应遵守此规定 一一 论文作者签名 丕坠卫五一导师签名 趔日 期 丝些 i 砂 山东大学硕士学位论文 摘要 h 2 6 4 a v c 是新的视频编码标准 它比以往的任何视频标准的编码效率都高 很多 这是因为h 2 6 4 a v c 标准采用了许多新技术 如自适应二进制算术编码 c a b a c 技术和率失真优化 r d o 技术等 这篇论文旨在改进和优化c a b a c 和r d o 算法 进一步提高熵编码效率以及主观视频质量 c a b a c 是应用在h 2 6 4 a v c 编码器主要档次的高效熵编码方法 它比应用在 基本档次的熵编码方法节省将近2 0 的码率 它之所以可以达到很高的压缩率 一个根本的原因就是它可以利用数字符号的统计特性来消除符号间的冗余 在 c a b a c 中 对运动矢量 m 的编码占据了很大一部分比特 然而 对运动矢量 残差 m v d 准确的上下文建模可以节省码率并获得编码效率的提高 为了达到这 一目的 这篇论文提出了一个更有效的运动矢量c a b a c 上下文建模算法 在对 m v d 竖直分量的c a b a c 编码过程中 为了给它选择更为合适的概率模型 本文 既考虑当前块m v d 水平分量与竖直分量之间的相关性 也考虑了相邻编码块的 m v d 竖直分量之间的相关性 另外 本文针对不同的待编码块大小合理地采取不 同的编码方案 对于较小的块来说 本文只考虑相邻块的m v d 竖直分量间的相关 性 而对于较大的分割块 除了利用相邻块m v d 竖直分量间的相关性 同时也利 用当前块两个m v d 分量间的相关性来优化字符的概率估计 这种方法可以在运动 矢量熵编码过程中实现更准确的概率估计和上下文模型选择 从而能够进一步提 高编码效率 本文在h 2 6 4 a v c 标准参考软件j m1 2 2 上实现了新的算法 实验 结果表明新算法能够改善c a b a c 编码器的编码性能 r d o 是在h 2 6 4 a v c 编码器中应用的另外一个重要技术 它能够在一定的编 码约束条件下取得最佳的客观视频质量 但是它却忽略了主观视频质量 然而 由于最终的视频质量是由人类视觉系统 h v s 来判断的 所以我们可以根据人眼视 觉特性来调整编码算法 本文提出了一个基于h v s 感知特性的 以宏块为基本单 位的r d o 算法 论文结合二个重要的视觉特性建立了三个视觉失真敏感度模型 然后 这些模型被用来使视觉失真达到最小 而不是使传统的平均绝对差 m a d 失真达到最小 在r d o 过程中 根据这三个视觉失真敏感度模型 拉格朗日乘予 被逐个宏块地进行调整 待编码帧的每个宏块的拉格朗日乘予能够自动地按照如 山东大学硕士学位论文 下方案进行修改 视觉敏感度较高的宏块被分配较小的拉格朗日乘子 这样能够 以较大的码率减小这些宏块的整体失真 另一方面 通过给视觉敏感度较低的宏 块分配较大的拉格朗日乘子来达到码率平衡 这样虽然解码后图像的这些宏块中 会出现一定的失真 但是人眼很难察觉到 本文同样在j m1 2 2 软件平台上实现了 这个新的r d o 算法 仿真结果表明新算法能够在不牺牲p s n r 的情况下改善重建 图像的主观质量 关键词 c a b a c 运动矢量上下文建模 r d o 视频图像感知编码 自适 应感知拉格朗日乘子 山东大学硕士学位论文 a b s t r a c t h 2 6 4 a v ci st h en e w e s ti n t e r n a t i o n a lv i d e oc o d i n gs t a n d a r dt h a tp r o v i d e sm u c h h i g h e rc o m p r e s s i o n p e r f o r m a n c et h a no t h e rp r e v i o u ss t a n d a r d s t h er e a s o nc o n t r i b u t et o t h i si sh 2 6 4 a v ca d o p t ss e v e r a le s s e n t i a lt e c h n o l o g i e s s u c ha sc o n t e x t b a s e d a d a p t i v e b i n a r ya r i t h m e t i cc o d i n g c a b a c a n dr a t e d i s t o r t i o no p t i m i z a t i o n r d o t h ep u r p o s e so ft h i st h e s i sa r et os t u d ya n do p t i m i z ec a b a ca n dr d o a l g o r i t h mi no r d e rt of u r t h e ri m p r o v ee n t r o p yc o d i n ge f f i c i e n c ya n ds u b j e c t i v ev i d e o q u a l i t y c a b a ci sa l le f f i c i e n te n t r o p yc o d i n gm e t h o du s e di nt h em a i np r o f i l ei n h 2 6 4 a v cc o d e rt h a tp r o v i d e so v e r2 0 b i t r a t er e d u c t i o nt h a nt h a to b t a i n e di nt h e b a s e l i n ee n t r o p yc o d e r o n ee s s e n t i a lr e a s o ni st h a ti tu s e st h es t a t i s t i c a lp r o p e r t i e so f t h ed a t as y m b o l st oe l i m i n a t ei n t e r s y m b o lr e d u n d a n c i e s i nc a b a c b i tu s a g ef o r c o d i n gm o t i o nv e c t o r s m v s a c c o u n t sf o rac o n s i d e r a b l ep o r t i o no ft h eb i tb u d g a a c c u r a t e l ys e l e c t i n gc o n t e x tm o d e l sf o rt h ee n c o d i n gm o t i o nv e c t o rd i f f e r e n c e m v d c a no b t a i nb i t r a t es a v i n g si nc a b a c t or e a l i z et h i s a ne f f i c i e n ta l g o r i t h mf o rm o t i o n v e c t o rc o d i n gi sp r o p o s e di n t h i st h e s i s i nt h en e wa l g o r i t h mf o rc o d i n gav e r t i c a l m v d c o m p o n e n t iu s en o to n l yt h ei n t e r c o r r e l a t i o nb e t w e e nt h ec u r r e n th o r i z o n t a l m v dc o m p o n e n ta n dt h ev e r t i c a lo n et h a tw i t h i nt h es a m eb l o c k b u ta l s ot h e c o r r e l a t i o ni nt h en e i g h b o r i n gv e r t i c a lm v dc o m p o n e n t st os e l e c ta na p p r o p r i a t e c o n t e x tm o d e l m o r e o v e r ia d o p td i f f e r e n ts c h e m e sa c c o r d i n gt ot h ee n c o d i n gp a r t i t i o n s i z e s f o rs m a l lb l o c ks i z e s io n l yc o n s i d e rt h ec o r r e l a t i o na m o n gt h en e i g h b o r i n g b l o c k s w h e r e a sf o rl a r g eb l o c ks i z e s ia l s oe m p l o yt h ei n t e r c o r r e l a t i o nb e t w e e nt h e t w om v dc o m p o n e n t si nt h ec u r r e n tb l o c ki no r d e rt oi m p r o v et h ep r o b a b i l i t y e s t i m a t i o no fs y m b o l s t h e s es t r a t e g i e se n h a n c et h ea c c u r a c yo ft h ec o n t e x tm o d e l s e l e c t i o ni nm o t i o nv e c t o rc o d i n g t h u se l e v a t et h ee f f i c i e n c yo ft h ec o n t e x t b a s e d a r i t h m e t i cc o d e r ih a v ei m p l e m e n t e dt h ep r o p o s e da l g o r i t h mb a s e do nt h eh 2 6 4 a v c r e f e r e n c ec o d e rj m12 2 e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e da l g o r i t h m i m p r o v e sc o m p r e s s i o np e r f o r m a n c ec o m p a r e dt ot h eo r i g i n a lc a b a c s c h e m e r d oi sa n o t l l e l i m p o r t a n tt e c h n i q u eu s e di nh 2 6 4 a v cc o d e r i tt r i e sa l lt h eb e s t t oi m p r o v et h eo b j e c t i v ev i d e oq u a l i t yu n d e rc e r t a i nr a t ec o n s t r a i n t s i nt h em e a n t i m ei t 3 山东大学硕士学位论文 i g n o r e st h es u b j e c t i v eq u a l i t y h o w e v e r t h eu l t i m a t ev i d e oq u m i t yi sj u d g e db yt h e h u m a nv i s u a ls y s t e m h v s t h e r e f o r i ti sw i s et oa d a p tt h ec o d i n ga l g o r i t h mt ot h e s e n s i t i v i t yo ft h eh u m a ne y e s t l l i st h e s i sp r o p o s e san o v e lm a c r o b l o c k l e v e lr d o a l g o r i t h mb a s e do np e r c e p t u a lf e a t u r e so fh v s t h r e ev i s u a ld i s t o r t i o ns e n s i t i v i t y m o d e l sa l ec r e a t e dt om i n i m i z et h ep e r c e p t u a ld i s t o r t i o nr a t h e rt h a nt r a d i t i o n a lm e a n a b s o l u t ed i f f e r e n c e d i s t o r t i o n d u r i n gt h er a t e d i s t o r t i o no p t i m i z a t i o np r o c e s s t h el a g r a n g em u l t i p l i e ri s a d j u s t e da d a p t i v e l ya c c o r d i n gt o t h ev i s u a ld i s t o r t i o n s e n s i t i v i t yo ft h ee n c o d i n gm a c r o b l o c k s f o rv i s u a ld i s t o r t i o ns e n s i t i v em a c r o b l o c k s i a s s i g ns m a l l e rl a g r a n g em u l t i p l i e rs ot h a tt h ed i s t o r t i o n r e d u c t i o ni sw e i g h t e dm o r e t h a nr a t e r e d u c t i o n b e t t e rv i s u a lq u a l i t yi so b t a i n e db yt h el o w e rd i s t o r t i o ni nt h e s e r e g i o n sw i t har e l a t i v e l yh i g h e rr a t e o nt h eo t h e rh a n d r a t eb a l a n c ei sa c h i e v e db y a r r a n g i n gl a r g e rl a g r a n g em u l t i p l i e rt om a c r o b l o c k s t h a ta r ep e r c e p t u a l l yl e s ss e n s i t i v e t ot h ed i s t o r t i o n s ot h a tm o r ed i s t o r t i o ni sa l l o w e d w i t h o u tn o t i c e a b l ev i s u a l d e g r a d a t i o ni nt h ed e c o d e di m a g e s e x p e r i m e n t sa l s oh a v eb e e nc o n d u c t e d b a s e do nt h e r e f e r e n c ec o d e rj ml2 2 s i m u l a t i o nr e s u l t ss h o wt h a tt h es u b j e c t i v eq u a l i t i e so ft h e d e c o d e df r a m e sa r ei m p r o v e dw i t h o u tc o m p r o m i s i n gp s n r k e y w o r d c a b a c m o t i o nv e c t o rc o n t e x tm o d e l i n g r d o p e r c e p t u a lv i d e o c o d i n g p e r c e p t u a l l ya d a p t i v el a g r a n g em u l t i p l i e r 4 山东大学硕士学位论文 1 1 引言 第一章绪论 图像是人类获取外部信息的主要来源和手段 与文本和语音相比 它具有直 观 高效的特点 但是由于视频图像的数据量非常大 难以存储和传输 因此解 决视频图像压缩问题成为其应用的关键 经过几十年的不懈努力 尤其是上世纪 八十年代后期以来 数字图像和视频压缩编码技术取得了令人瞩目的进展 已经 逐步从过去纯学术研究的领域走上了标准化 产业化的道路 其应用包括可视电 话 视频会议 视频点播 机顶盒 数字视频广播 高清电视和交互式电视等等 互联网和多媒体技术的进步和发展扩大了人们的应用需求 无线多媒体通信 多媒体电子邮件 交互式多媒体 远程医疗和电 了商务等应用成了人们关注的焦 点 从技术角度看 低码率视频压缩是实现这些应用的关键 它对压缩效率 视 频编码质量等方面的研究提出了更高的要求 视频压缩编码的方式多种多样 其应用涉及方方面面 因此建立用于视频图 像压缩 传输的国际标准就成为图像技术应用和普及的基础 各大 商对视频图 像编码技术及其应用的浓厚兴趣是促使研究不断深入的巨大动力 也是视频图像 压缩编码技术标准化的直接原因 上世纪九十年代以来 随着视频图像编码技术 的日益成熟 国际标准化组织 i n t e r n a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n i s o 和 国际电信联盟 i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n i t u 相继推出了一系列图 像 视频压缩编码的国际标准 例如j p e g h 2 6 x 系列和m p e g 系列等等 它们分 别针对不同的应用场合 现有的视频编码技术虽然可以较好满足各自应用领域的需求 但是随着多媒 体 通信技术的发展 传统的视频编码技术又面临着新的挑战 比如要求更低的 码率 更好的容错性能等 虽然计算机存储技术和网络技术也有了很大的发展 硬盘的容量不断增大 网络带宽也今非昔比 但是仍无法满足视频应用这种巨大 数据量的存储和传输要求 所以 改进现有的视频压缩编码技术和寻找更优的压 缩算法意义极为重大 山东大学硕士学位论文 1 2 视频数据的冗余度分析 c e s h a n n o n l 在创立信息论时提出把数据看作是信息和冗余的组合 这些冗 余数据对于信息的表达从信息的完备性角度来看是没有意义的 在一般的视频图 像数据中 主要有下面几方面的冗余存在 1 时间冗余 视频信号本质上是一系列连续的图像 一般情况下 由于采样间隔很小 相邻两 帧图像之间的变化较小 或者当前帧某像素 或像素块 是从前一帧的某个位置移 动而来 这样 相邻两幅图像之间存在着很强的相关性 我们把这种图像帧间的 冗余成为时间冗余 2 空间冗余 除了边缘等情况外 图像的相邻像素之间的灰度值大部分是连续变化的 即相邻 点之间有着比较强的相关性 一个像素的值可以比较方便地由其邻近像素的值预 测出来 这意味着冗余信息的存在 这种像素间冗余就称为空间冗余 3 符号兀余 视频图像的二进制编码符号之间有时存在非常大的相关性 这种相关性意味着冗 余信息的存在 我们把这种编码符号之间的冗余成为符号冗余 4 熵编码冗余 熵编码是建立在随机过程的统计特性基础上的 设信源能从一个有限或无穷可数 的符号集合中产生一个随机符号序列 即信源的输出是一个离散随机变量 这个 集合 a 1 既 珥 称为信源符号集a 其中每个元素国称为信源符号 信源产生符号毋 这个事件的概率是p a j 且 尸 1 产生单个信源符号尸 口 时的自信息是 一l o g p a j 对个信源输出的平均信息记为日以 则 h u e p a l o g p a j 日似 称为信源的熵 在编码中中用熵值来衡量是否为 最佳编码 若以丙表示编码器输出码予的平均码长 则当 h 0 时为有冗余 日 不可能 霄 日 为最佳编码 如果编码的平均码长不能达到或接近熵 值 就说明存在熵编码冗余 山东大学硕士学位论文 5 视觉冗余 人的眼睛并不是对所有视觉信息有相同的敏感度 有些信息相对来说不那么敏感 甚至可以忽略 这些信息可认为是视觉冗余的 去除这些信息并不会明显地降低 所感受到的图像的质量 视觉冗余的存在与人观察图像的方式有关 人在观察图 像时主要是寻找比较明显的目标特征 而不是定量的分析图像中每一个像素的亮 度 人通过大脑分析这些特征与先验知识结合以完成对图像的解释过程 比如 人的眼睛对纹理区域的失真不敏感 对产生在静止区域和图像的边缘区域的失真 同样不敏感 然而 人眼却对运动区域 图像中心区域 物体边缘区域和平坦区 域的失真非常敏感 如何最大限度地消除视频序列中的这些冗余信息 同时保证图像的质量是当 代视频压缩编码的主要目标 也是本文的丰要任务 1 3 视频编码的基本方法 信息理论认为若信源编码的熵大于信源的实际熵 该信源中一定存在冗余度 去掉冗余不会减少信息量 仍可原样恢复数据 但若减少了熵 数据则不能完全 恢复 根据压缩过程中是否减少了熵 目前常用的压缩编码方法可以分为两大类 一类是无损压缩编码 也称冗余压缩或熵保持编码 另一类是有损压缩编码 也 称为压缩熵编码 无损压缩编码去掉或减少了数据中的 凡余 但这些 几余值是可以重新插入到 数据中的 因此 这种压缩是可逆的 也称为无失真压缩 为了去除数据中的冗 余度 常常要考虑信源的统计特性 或建立信源的统计模型 因此许多适用的冗 余度压缩技术均可归结于统计编码方法 统计编码方法有哈大曼 h u f m a n 编码 2 和算术编码 3 等 冗余压缩不会产生失真 它能保证完全地恢复原始数据 但这种 方法压缩比较低 如l z w 编码 4 1 行程编码 h u f m a n 编码的压缩比一般在2 1 5 l 之间 有损压缩编码压缩了熵 会减少信息量 因为熵定义为平均信息量 而损失 的信息是不能再恢复的 因此这种压缩法是不可逆的 熵压缩由于允许一定程度 的失真 可用于对图像 声音 视频等数据的压缩 如采用混合编码的j p e g 和m p e g 9 山东大学硕士学位论文 等标准 对灰度图像 一般可压缩几倍到几十倍 而对于彩色图像 压缩比将达 到几十倍甚至上百倍 采用自适应差分脉冲编码调制的音频数据 压缩比通常能 到4 1 8 1 视频数据的压缩比最为可观 采用混合编码的多媒体系统 压缩比通常 可达1 0 0 1 4 0 0 1 另外 随着感知生理 心理学的发展 人们越来越清楚地认识到人的视觉特点 与统计意义上的信息分布并不一致 即统计上需要更多的信息量才能表征的特征 对视觉感知可能并不重要 比如人眼睛对于图像量化误差的敏感度与存在量化误 差的图像的变化程度有密切的关系 图像变化越剧烈 量化误差越不容易察觉 比如图像的轮廓及边缘部分 因此这部分图像的量化可以采用较大的量化参数 而在图像变化平坦的区域 量化误差容易被察觉 因此需要采用较小的量化参数 进行细量化 这时 压缩技术的研究就突破了传统的s h a n n o n 信息理论的框架 注 重对感知特性的利用 这种编码叫做视觉感知编码 绷 视觉感知编码使得压缩效 率得到进一步的提高 1 4 视频编码的标准化进程 近二十年来 图像编码技术得到了迅速发展和广泛应用 并且日臻成熟 其 标准是多个关于图像编码的国际标准的制定 i s o 和国际电工委员会 i n t e r n a t i o n a l e l e c t r o t e c hn i c a lc o m m u s s i o n i e c 关于静止图像的编码标准j p e g j p e g 2 0 0 0 j o i n tp h o t o g r a h i ce x p e r t sg r o u p j p e g 关于运动图像的编码标准m p e g 1 m o v i n gp i c t u r ee x p e r t sg r o u p m p e g m p e g 2 m p e g 4 等 以及i t u 制定的 视频图像编码标准h 2 6 x 系列 这些标准融合了各种性能优良的图像编码算法 代表了目前图像编码技术的发展水平 u 的前身国际电报电话咨询委员会 c o n s u l t a t i v ec o m m i t t e eo fi n t e r n a t i o n a l t e l e g r a p ha n dt e l e p h o n e c c i t t 于1 9 8 8 年制定了电视电话和会议电视的h 2 6 1 建议草案 h 2 6 1 是最早出现的实用的视频编码标准 它是特别为面对面的可视电 话和视频会议而设计的 h 2 6 1 的基本思路是使用类似j p e g 标准的算法压缩视 频流中的每一帧图像 同时采用运动补偿的帧间预测来消除视频流在时间维度上 的冗余信息 1 9 9 6 年3 月n u 制定的h 2 6 3 标准是一种用于低比特牢视频业务中 1 0 山东大学硕士学位论文 运动图像部分的压缩编码方法 视频编码算法的基本思想是基于1 1 r u 的h 2 6 1 标 准 把减少空间冗余的帧内预测法和减少时间冗余的变换编码法结合起来 编码 器有运动补偿能力 并有一些功能 编码方法选项 与采用全象素精度和一个环 形滤波器的h 2 6 1 标准的运动补偿比较 h 2 6 3 标准采用了半象素精度位移估值 h 2 6 3 是对原有标准的修订和改进 包括图像格式 总开销和减少方块效应等 尽 管这些选项使编码器复杂 但能显著改善图像的质量 1 9 9 8 年i t u 推出的h 2 6 3 是h 2 6 3 建议的第二版 它提供了十二个新的可协商模式和其他特征 进一步 提高了压缩编码性能 另外 h 2 6 3 对h 2 6 3 中的不受限运动矢量模式进行了改 进 加上十二个新增的可选模式 不仅提高了编码性能 而且增强了应用的灵活 性 h 2 6 3 在h 2 6 3 基 础上增加了三个选项 增强型参考帧选项 数据分片选项 和在h 2 6 3 的码流中增加补充信息 主要是为了增强码流在恶劣信道上的抗误 码性能 同时为了提高增强编码效率 在此基础上 i s o 在1 9 9 3 年通过了运动图像专家组提出的m p e g 1 标准 m p e g 1 可以对普通质量的视频数据进行有效编码 为了支持更清晰的视频图像 特别是支持数字电视等高端应用 i s o 于1 9 9 4 年提出了新的m p e g 2 标准 相 当于c c i t t 的h 2 6 2 标准 m p e g 2 对图像质量作了分级处理 可以适应普 通电视节日 会议电视 高清晰数字电视等不同质量的视频应用 在我们的牛活 中 可以提供高清晰画面的d v d 影碟所采用的正是m p e g 2 标准 因特网的发 展对视频压缩提出了更高的要求 i s o 于1 9 9 9 年通过了m p e g 4 标准 相当于 i t u 的h 2 6 3 和h 2 6 3 标准 m p e g 4 标准拥有更高的压缩比率 支持并发 数据流的编码 基于内容的交互操作 增强的时间域随机存取 容错 基于内容 的尺度可变性等先进特性 m p e g 4 标准同以前标准的最显著的差别在于它是采用 基于对象的编码理念 即在编码时将一幅景物分成若干在时间和空间上相互联系 的视频音频对象 分别编码后 再经过复用传输到接收端 然后再对不同的对象 分别解码 从而组合成所需要的视频和音频 这样既方便我们对不同的对象采用 不同的编码方法利表示方法 又有利于不同数据类型间的融合 并且这样也可以 方便的实现对于各种对象的操作及编辑 例如 我们可以将一个卡通人物放在真 实的场景中 或者将真人置于一个虚拟的演播室里 还可以在瓦联网上方便的实 现交瓦 根据自己的需要有选择的组合各种视频音频以及图形文本对象 山东大学硕士学位论文 从h 2 6 1 视频编码建议 到h 2 6 3 h 2 6 3 h 2 6 3 以及m p e g 1 m p e g 2 m p e g 4 等视频编码标准都有一个共同的不断追求的目标 即在尽可能低的码率 或存储容量 下获得尽可能好的图像质量 而且 随着市场对图像传输需求的 增加 如何适应不同信道传输特性的问题也日益显现出来 为了解决这些问题 i s o i e c 和i t u 两大国际标准化组织于2 0 0 1 年1 2 月在泰国p a t t a y a 成立了视频联 合工作组 j o i n tv i d e ot e a m n t 由这两个国际标准化组织的有关视频编码的 专家联合组成 j t 的工作目标是制定一个新的视频编码标准 以实现视频的高 压缩比 高图像质量 良好的网络适应性等目标 于是 视频压缩新标准一 h 2 6 4 觚于2 0 0 3 制定出来 其中在r r u t 该标准被称为h 2 6 4 在i s o i e c 称 之为m p e g 4 的第1 0 部分 先进视频编码 a d v a n c ev i d e oc o d i n g a v c 在本文 将该技术统一称为h 2 6 4 a v c 图1 1 概况地给出了上述这些视频编码标准的发展历程 1 9 8 21 9 8 61 9 8 81 9 9 21 9 9 62 0 0 02 0 0 4 图1 1视频编码的发展历程 1 5 视频编码中的熵编码技术 视频图像编码的最后一步是熵编码 是无损压缩的编码方法 它生成的码流 能经解码无失真地恢复出原数据 在视频压缩中常用的熵编码方法有h u f m a n 编码 和算术编码 它们都是基于概牢统计特性的熵编码方法 可以逼近熵下界 两者 相比 算术编码的性能更好 更能逼近待编码信源的熵值 且容易适应信号统计 1 2 圉曰 山东大学硕士学位论文 特性的变化 但它比h u f m a n 编码更复杂 在早期的标准中 根据典型视频序列的统计特性 设计v l c 码表 在随后的 编码过程中 v l c 码表一般就是固定的 但信源的统计特性实际上是变化的 因 此 固定码表就不能自适应地匹配图像内容的改变和充分利用编码符号之间的相 关性 针对上述缺点 熵编码的发展方向是自适应地利用基于上下文内容的相关性 更好地去除这些相关性 提高压缩效率 h 2 6 4 a v c 中有两种熵编码方法 基于上 下文的自适应变长编码 c o n t e x t b a s e da d a p t i v ev a r i a b l el e n g t hc o d i n g c a v l c 和 基于上下文的自适应二进制算术编码 c o n t e x t b a s e da d a p t i v e b i n a r ya r i t h m e t i c c o d i n g c a b a c 对不同的编码方案 采用不同的选择 它们充分考虑和利用了 视频流的上下文信息 利用己编码符号为待编码符号选择合适的上下文模型 上 下文模型提供了对当前待编码符号的概率估计 利用这些信息可以进一步消除编 码符号之间的相关性 提高编码效率 由于这种选择是在编码的过程中实时进行 的 它们能够自适应视频流的实际统计信息 保证选择的上下文模型能够匹配视 频流的实际统计特性 1 6 视频编码中的率失真优化技术 率失真优化理论源于信息论 是视频编码优化的理论基础 同时在实际视频 编码器中 率失真优化编码技术贯穿整个视频编码系统 首先 率失真优化的失 真与晕化紧密相关 因而 牢失真优化在量化器设计中起着重要的作用 常用来设 计加权量化矩阵等 率失真优化还可用于选择宏块的编码参数 如在编码宏块的 过程中 如何选择最优的运动矢量 编码模式等 解决优化位分配问题是率失真 优化编码技术的另一重要应用 即如何在宏块 图像间进行优化位分配 使得在 满足一定比特数约束条件下 总的失真最小 这也是码率控制通常要解决的问题 由于位分配单元 宏块或图像 间的失真是彼此相关的 这种依赖关系使得位分配 问题变得更加复杂 对此常利用率失真函数的单调性或假定其是不相关的 来降 低问题的求解复杂性 码牢控制就是率失真优化技术的一典型应用 在码率控制的过程中通常先建 山东大学硕士学位论文 立率失真模型 然后根据率失真模型进行位分配 量化参数调整 使得在达到码 率控制的同时使失真最小 率失真的模型一般可以通过理论推导或数据统计的方 法建立 在实际实现过程中可以分为两步进行 第一步为位分配 即根据目标码 率以及缓冲区状态 为每一帧图像分配一定的比特数 第二步通过调整量化参数 使得编码该帧图像所用的比特数接近分配给该帧的比特数 从而达到目标码率 通常可以在宏块 片或帧级进行量化参数调整以产牛所需要的编码码流 每种视 频编码标准都推荐了一种适合其自身的码率控制方案 如m p e g 2 的t m 5 h 2 6 3 的t m n 8 和m p e g 4 的v m 8 等 在h 2 6 4 a v c 标准中使用了拉格朗日率失真优化策略 此优化操作是对拉格朗 日函数的最小化 对于所有帧内 帧间宏块编码模式及多参考帧的选择都是通过 对拉格朗日函数的最小化来实现的 1 7 本文主要研究内容和结构安排 论文工作的丰要内容在于对h 2 6 4 a v c 标准中c a b a c 算法和r d o 算法进行研 究和优化 进一步提高h 2 6 4 a v c 编码器的编码效率以及重建图像的主观质量 本文各章节安排如下 第一章 绪论 第二章 h 2 6 4 a v c 视频编码标准概述 第三章 h 2 6 4 a v c 标准中的c a b a c 与r d o 技术概述 第四章 基于c a b a c 的运动矢量上下文建模算法的研究和优化 第五章 基于人类视觉系统感知特性的r d o 算法的研究和优化 第六章 总结和展望 1 4 山东大学硕士学位论文 第二章 h 2 6 4 a v c 视频编码标准概述 新的视频编码标准h 2 6 4 a v c 的宗旨在于开发出适应各种不同应用的视频高 压缩需求的新建议 诸如视频会议 数字存储媒体 电视广播以及互联网传输与 通信等 并要求新建议的编码视频表示要以更加灵活的方式来适应各种不同的网 络环境 应允许可供操作的活动视频以计算机数据的方式在各种不同的存储媒体 中存储 在现存的和未来的网络中传播和接收 并在现存的与未来的广播信道上 传播 h 2 6 4 a v c 视频编码标准中 采用了分层处理技术 主要包括两层 视频编码 层 v i d e oc o d i n gl a y e r v c l 和网络抽象层 n e t w o r ka b s t r a c t i o nl a y e r n a t v c l 主要研究基于常规的运动补偿 系数变换编码 熵编码等编码技术来提高视 频信号编码效率 使用的最基本的表示法是片技术 即将一个待处理的图像分割成 许多宏块 m a c r o b l o e k m b 来进行处理 除了研究提高编码效率和简化语法形式之 外 为了实现 网络友好 和无缝传输v c l 数据 n a l 将v c l 从具体的传输层中抽象 出来 定义了一个基本的和独立于网络的表示法 n a l 负责使用下层网络的分段格 式来封装数据 包括组帧 逻辑信道的信令 定时信息的利用或发序列结束信号 下面简单介绍几个应用在h 2 6 4 a v c 标准中的关键技术 2 1h 2 6 4 a v c 标准中的关键技术 1 帧内坝测编码 帧内编码用来去除图像的空间冗余 为了提高帧内编码的效牢 h 2 6 4 a v c 在给定帧中充分利用相邻宏块的空间相关性 相邻的宏块通常含有相似性 因此 在对给定宏块编码时 首先可以根据周围的宏块预测 典型的是根据左上角的宏 块 因为此宏块已经被编码处理 然后对预测值与实际值的差值进行编码 这样 相对于直接对该帧编码而言 可以大大减小码率 在h 2 6 4 a v c 中 4