（通信与信息系统专业论文）h264视频压缩算法的优化研究.pdf

重庆邮电大学硕士论文摘要 摘要 随着数字视频编码技术的不断发展和成熟，出现了大量视频编码应用方案。在 众多的编码方案中，h 2 6 4 是目前最有效的编解码标准。h 2 6 4 a v c 标准充分考虑到 现有的和未来的各种传输网应用，具有广泛的适用性，因此引起了业界的广泛关注。 h 2 6 4 标准规定了1 3 种亮度块帧内预测模式以及7 种不同尺寸的块模式，这在带来 高效的压缩编码性能的同时，也带来了极大的运算量。针对这种情况，本课题做了 大量的研究，力图降低其计算复杂度和提高运行效率。 本文介绍了视频编码技术的基本原理和视频压缩标准的发展及应用，对h 2 6 4 标准中全搜索算法的复杂度进行深入分析。同时，对自适应调整预测，基于边缘方 向直方图优化，提前终止等帧内模式选择方面的优化算法和快速帧间预测模式选择 算法进行研究，并总结其优点及不足。 文中对压缩编码算法的优化方向进行分析，在对现有的优化思想进行研究的基 础上，提出了新的模式选择优化方案。在帧间预测模式选择方面，通过对图像纹理 信息的分析，根据宏块绝对误差平均值的统计特性来对背景区域进行判定，在背景 区域和细节区域利用误差表面单调性进行宏块模式选择。在帧内预测模式选择方面， 对各种预测模式的方向性进行分析，利用相邻模式之间的相关性，跳过一些小概率 模式，从而降低模式选择的复杂度。此外，在进行帧内模式选择之前，引入“提前 终止 判决，跳过了帧间编码时进行的不必要帧内预测。 文中以j m l 2 2 参考模型为蓝本，进行了仿真实验，并对优化前后的编码时间、 p s n r 以及图像主观视觉质量进行了比较。实验结果表明，在采用新的模式选择算法 后，运算复杂度大大降低，极大地减少了编码时间，而不影响图像视觉效果，有效 地提高了视频压缩编码效率。 关键词：h 2 6 4 ，视频压缩，帧间预测，帧内预测 重庆邮电大学硕士论文 a b s t r a c t w i t ht h ed e v e l o p m e n to ft h ed i g 蹦v i d e oc o d i i l gt e c h n o l o g y , m a n yv i d e oc o d i n g a p p l i c a t i o n sc o m eo u t h 2 6 4i st h em o s te f f e c t i v eo n e a n da p p l i e dw i d e l y t h eh 2 6 4c a r l b ec o d e dw i t hs e v e nd i f f e r e n tb l o c ks i z e sf o rm o t i o n - c o m p e n s a t i o ni n t h ei n t e rm o d e ，a n d v a r i o u ss p a t i a ld i r e c t i o n a lp r e d i c t i o nm o d e si nt h ei n t r am o d e i th a sa c h i e v e ds i g n i f i c a n t c o d i n gp e r f o r m a n c e sb u ta l s oe x t r e m e l yh i 曲c o m p u t a t i o n a lc o m p l e x i t y r e s e a r c h e st o d e c r e a s et h ec a l c u l a t i o nc o m p l i c a t i o n sh a v eb e e nd o n ed e t a i l e d l y f i r s t l y , t h eb a s i cp r i n c i p l e sa n d t h ed e v e l o p m e n to f d i g i u av i d e oc o d i n ga l ei n t r o d u c e d , e s p e c i a l l yt h eh 2 6 4a n di t sc o r et e c h n o l o g i e s t h e ns o m ef a s tp r e d i c t i o nm o d es e l e c t i o n o p f m a i z a t i o na l g o r i t h m s ，s u c ha sa d a p t i v eo r d e rp a r t i a ld i s t o r t i o ne l i m i n a t e ( a o p d e ) ， e d g ed i r e c t i o nh i s t o g r a m ( e d i ne a r l ys k i p , a l es t u d i e da sf o l l o w e d t h ea d v a n t a g e sa n d d i s a d v a n t a g e so fs o m et y p i c a la l g o r i t h m sa r ea l s oa n a l y z e d an e wa l g o r i t h mi sp r o p o s e da f t e r 锄i a l y z i i 培v a r i o u so fo p 捌o na l g o r i t h m s f o r t h ei n t e r - m o d ep r e d i c t i o n , t h es t a t i o n a r yr e g i o ni sd e t e r m i n e db a s e do nt h es t a t i s t i c a l m e a s u r e m e n to ft h ei m a g ea n dt h et e x t u r ed a t a t h e n , m a c r o b l o e k l o d ed e c i s i o ni sm a d e b yu s i n gt h em o n o t o n o u sc h a r a c t e r i s t i ci ns t a t i o n a r yr e g i o na n d u n s t a b l er e g i o nr e s p e c t i v e l y f o rt h ei n t r am o d ep r e d i c t i o n , t h ec o m p u t a t i o n a lc o m p l e x i t yo fm o d ed e c i s i o nc a r lb e r e d u c e db yu t i l i z i n gt h ec o r r e l m i o no fa d j a c e n tm o d ea n ds k i p p i n gs o m em o d e so fl o w p r o b a b i l i t y b e s i d e s ，t h e e a r l ys k i p i si n v o l v e di n t ot h ei n t r am o d ed e c i s i o nt os k i ps o m u n n e c e s s a r yi n t r ap r e d i c t i o n t h ej m12 2s o 觚a l em o d e li st a k e ni n t ot h ee x p e r i m e n ta st h em a i ns o u e c o n t r a s t s w i t ht h ei m a g ev i s i o nq u a l i t y , c o d i n gt i m ea n dc h a n g eo fp s n ra l em a d ei n t h es i m u l a t i o n b e f o r eo p t i m i z i n ga n da f t e ri t f h a a l 堍t h ee x p e r i m e n t a lr e s u l ts h o w st h a tt h ei m p r o v e df a s t p r e d i c t i o nm o d e d e c i s i o na l g o r i t h mi sa b l et or e d u c ee n c o d i n gt i m eo b v i o u s l ya n de n h a n c e t h ee f f i c i e n c yo f c o d i n gw i t hn od e c l i n ei nt h eq u a l i t yo f i m a g e s k e y w o r d ：h 2 6 4 ，v i d e oc o d i n g ，i n t e rp r e d i c t i o n ，i n t r a - p r e d i c t i o n l i 重庆邮电大学硕士论文 第一章绪论 第一章绪论 近年来，随着科学技术的迅猛发展，人们日常生活发生了巨大的变化，其中以 超大规模集成电路和互联网技术为代表的现代电子技术和计算机技术的飞速发展带 来的信息传播技术的变化最为突出。多媒体技术及其应用领域更是其中的热点，而 视频则是多媒体信息的最重要组成部分之一。统计表明，由视觉获取的信息约占人 类从外界获取总信息的三分之二【1 1 。 1 1 课题研究意义与目的 与传统的模拟视频相比，数字视频具有多种优点。例如，数字视频可被压缩， 从而具有极高的存储与传输效率；可以被传输和重构，且无明显的图像损伤。此外， 数字视频还具有随机存储的特点及超强的编辑能力，因而数字视频被广泛地应用于 视频会议，可视电话，广播电视等多个领域。随着数字视频的广泛应用，经常需要 对源数据进行不同程度的处理。这种处理通常希望在基本不损失图像质量的前提下， 尽可能地减少视频文件的数据量。 视频编码是数字视频处理的重要应用，其目的是要减少视频序列的码率，以便 能够在给定的通信信道上实时传输视频。在实现高效视频压缩的同时，如何降低视 频编解码器的复杂度，保证编解码过程的实时性，确保得到低延时高质量的解码图 像，日益受到关注。高质量实时视频编解码成为一个非常重要的研究方向。 1 2 视频压缩标准的发展 国际电信联盟( i t u - t ) 和国际标准化组织的运动图像专家组( i s o i e cm p e g ) 是国 际视频压缩标准的两大主要制定者。v c e g ( v i d e oc o d ee x p e r tc r o u p ) ，是国际电信联 合会下的视频编码专家组，m p e g ( m o t i o np i c t u r ee x p e r tc r o u p ) ，是国际标准化组织 下的运动图象专家组。这两个视音频编码标准化组织都对视音频的编解码做出了非 常重要的贡献：一是推动视音频编码技术的发展，一是推动视音频编解码的应用。 他们所制定的这些标准阐明了音频和视频图像的编解码过程，严格规定了声音和图 像数据编码后组成数据比特流的句法，并且提供了解码器的测试方法等。这些标准 并没有对压缩和解压缩的算法进行严格的规定，这样既保证了解码器能对符合标准 的声音数据和图像数据进行正确解码，又给标准的具体实现创造了非常大的空间。 重庆邮电大学硕士论文 第一章绪论 1 2 1m p e g 系列标准 m p e g 标准主要用于视频存储( d v d ) 、视频广播和流媒体( 如基于i n t e r a c t , x d s l 的视频，无线视频) 等方面。目前主要有：m p e g - 1 ，m p e g - 2 ，m p e g - 4 ，m p e g - 7 等 版本，以适用于不同带宽和数字影像质量的要求1 2 j 。 m p e g - 1 于1 9 8 9 年7 月开始制定，是针对1 5 m b p s 以下数据传输率的数字存储 媒体运动图像及其伴音编码设计的国际标准。主要应用于v c d 、数字电话网络的视 频传输、非对称数字用户线路( a d s l ) 、视频点播w o o ) 以及教育网络等。 m p e g 2 在1 9 9 1 年7 月开始制定，是一个直接与数字电视广播有关的高质量图 像和声音编码标准。该标准主要针对标准数字电视和高清晰电视在各种应用下的压 缩方案和系统层的详细规定。m p e g - 2 不是m p e g - 1 的简单升级，m p e g - 2 在系统层 和传输方面都作了更加详细的规定和进一步的完善。m p e g - 2 能够提供广播级的视像 和c d 级的音质。m p e g - 2 的音频编码可提供左右中及两个环绕声道。m p e g - 2 的另 一个特点是可以提供一个较大范围的可压缩编码比，以适应不同的画面质量、存储 容量以及带宽要求，特别适用于广播数字电视的编码与传输。同时还规定了多路节 目的复用分接方式，兼顾了与a t m 信元的适配问题，被认为是s d t v ( 标准清晰度 电视) 和h d t v ( 高清晰度电视) 的编码标准。m p e g - 2 将使数字电视最终完全取代现有 的模拟电视，而高画质和音质的d v d 也将取代现有的v c d 。m p e g - 2 还可用于为 广播、有线电视网、电缆网络等提供广播级的数字视频。事实上，由于现存电视机 分辨率的限制，m p e g 2 所带来的高清晰度画面质量( 例如d v d 画面) 在生活中的效 果并不明显，其音频特性( 例如加重低音、多伴音声道等) 更为引人注目。 随着网络和通信技术的发展、交互式计算机和交互性电视的逐步应用以及视频音 频数据的综合服务的发展，对计算机多媒体数据压缩编码的要求越来越高。由于 m p e g - 1 、m p e g 2 技术的交互性及灵活性较低，压缩的多媒体文件体积过于庞大，难 以实现网络的实时传播，m p e g - 4 标准应运而生。 m p e g - 4 是为视听( a u d i o - v i s u a l ) 数据的编码和交互播放所开发的算法和工具，是一 个比特率恒定的多媒体通信标准，适用传输速率较低的应用。m p e g - 4 的目标是在异构 网络环境下能够高度可靠地工作，并且具有很强的交互能力。与m p e g - 1 和m p e g - 2 相 比，它更加注重多媒体系统的交互性和灵活性。其目标定义为：支持多种多媒体应用， 特别是对多媒体信息内容的检索和访问，可根据应用的不同要求，现场配置编码器。 应该说m p e g _ 4 是以内容为中心的描述方法，对信息元的描述更加人性化，不仅可以获 得比之前标准更为优越的性能，还提供了各种新的功能。m p e g - 4 可应用于基于面部表 情模拟的虚拟会议、d v d 上的交互多媒体应用、基于计算机网络的可视化合作实验室 2 重庆邮电大学硕士论文第一章绪论 场景应用、演播电视等方面。 为了能够快速有效的搜索出用户所需的不同类型的多媒体资料，m p e g 还提出了 m p e g 7 标准。该标准不包括对描述特征的自动提取，也没有规定利用描述进行搜索的 工具或者任何程序，其正式名称是“多媒体内容描述接口 。m p e g 7 应用广泛，甚至 可独立于其他m p e g 标准使用，其宗旨是为人们的社会生活提供便利的多媒体服务， 实现的关键在于建立多媒体数据库和相应的搜索引擎接口。此外，为了更好地综合利 用不同层次的多媒体技术标准，在1 9 9 9 年1 0 月份的m p e g 会议上提出了m p e g - 2 1 用于 对现有标准加以协调。 1 2 2h 2 6 x 系列标准 u - t 的标准被命名为h 2 6 x 系列，有h 2 6 1 ，h 2 6 3 和h 2 6 4 等。h 2 6 x 系列 主要用于实时视频通信，比如视频会议、可视电话等。 h 2 6 1 是最早出现的视频编码标准，为以后的视频压缩标准提供了基础。它最初 是针对在i s d n ( 综合业务数字网) 上实现电信会议应用特别是面对面的可视电话和视 频会议而设计的。它的输出码率是p x 6 4 k b i t s ，其中p 为1 到3 0 的可变参数，当p 小于6 时，只能传输清晰度不太高的图像，可应用于电视电话：当p 大于6 时，可以 传输清晰度较好的图像，适用于电视会议等。 h 2 6 3 标准是u - t 的一个草案，是专为中高质量运动图像的压缩所设计的低码 率图像压缩标准。h 2 6 3 的编码速度快，其设计编码延时不超过1 5 0 m s ；与h 2 6 1 的 p 6 4k 的传输码率相比，h 2 6 3 的码率更低，其单位码率可以小于6 4 k ，并且支持 的原始图像格式更多，包括在视频和电视视信号中常见的 q c i f ，c i f ，e d t v ，r r u - r 6 0 1 ，i t u - 8 7 0 9 等等，十分适用于需要双向编解码并传输的 场合( 如可视电话) 和网络条件不佳的场合( 如远程监控) 。 v c e g 在9 7 年发布h 2 6 3 的压缩标准后，制定了短期开发计划h 2 6 n 和长期开发计 划h 2 6 l ，h 2 6 n 发展成h 2 6 3 + 和h 2 6 3 + + 。h 2 6 3 + 和h 2 6 3 h 扩充了h 2 6 3 的编码可选 项，提高了编码效率，适用范围更大，同时支持s q c i f 等多种图像格式。h 2 6 3 + 是h 2 6 3 建议的第2 版，它提供了1 2 个新的可协商模式和其他特征，不仅提高了编码性能，而目 增强了应用的灵活性。h 2 6 l 经过5 年时间的发展，在2 0 0 2 年5 月作为h 2 6 4 压缩标准成 功发布。 3 重庆邮电大学硕士论文 第一章绪论 1 3h 2 6 4 标准的发展与应用 1 3 1h 2 6 4 标准的发展 h 2 6 妣w c 是r 叫- t 和i s o i e c 共同成立的联合视频组j v t ( j o i n tv i d e ot e a m ， 视频联合工作组) 共同制定的新标准。n 吓是2 0 0 1 年1 2 月在泰国p a t t a y a 成立的，由 r r u t 和i s o 两个国际标准化组织的有关视频编码的专家联合组成。t 的工作目标 是制定一个新的视频编码标准，以实现视频的高压缩比、高图像质量、良好的网络 适应性等目标。n t 于1 9 9 8 年2 月正式开始征集协议提案，1 9 9 9 年8 月完成了第一 版草案和相应的测试模型，2 0 0 1 年1 2 月，在t 的第1 次会议蚍a 豫t h a i l a n d ) 上 形成h 2 6 舭w c 的第二版工作草案( w o r kd 船n2 ) ，并推出测试模型j m - l ( j u s t i f i 戗t m o d e ln u m b e r1 - ) ，2 0 0 2 年7 月的n ，t 第4 次会议t m a g e l l f i u r t ，a u s t r i a ) 上推出了 h 2 6 4 a v c 的会员草案版( c o m m i t t e ee i ，提出了相应的校验模型j m _ 4 ，在2 0 0 3 年3 月召开的最后一次全体大会( p a t t a y a , t h a i l a n d ) 上，给出了最后的冻结草案和相应 的测试模型。两个月后t 正式公布了新一代的视频编码标准h 2 6 4 。国际电信联盟 将该系统命名为h 2 6 4 a v c ，国际标准化组织和国际电工委员会将其称为 1 4 9 6 - 1 0 口e g 4a v c 。 随着h 2 6 4 在实现过程中不断优化，其压缩性能方面的优势将更为突出。这种高 压缩效率可以给视频实时通信、数字广播电视、视频存储等应用带来很多好处，提 高人们视频欣赏的质量。h 2 6 4 对网络传输也具有更好的支持功能。它引入了面向m 包的编码机制，有利于网络中的分组传输，支持网络中视频的流媒体传输。h 2 6 4 具 有较强的抗误码特性，可适应丢包率高、干扰严重的无线信道中的视频传输。h 2 6 4 支持不同网络资源下的分级编码传输，从而获得平稳的图像质量并且能适应于不同 网络中的视频传输，网络亲和性好。 1 3 2h 2 6 4 标准的应用 h 2 6 4 规定了三个档次 3 1 ，每个档次都支持一组特定的编码功能，设置不同的参 数( 如取样速率、图像尺寸等) ，得到对应的编解码器性能的不同级，并支持一类特定 的应用。 1 ) 基本档次，利用i 片和p 片支持帧内和帧间编码，支持利用基于上下文得自适 应得变长编码进行的熵编码( c a v l c ) 。主要用于可视电话、会议电视、无线通信等实 时视频的通信。 4 重庆邮电大学硕士论文 第一章绪论 2 ) 主要档次，支持隔行视频，采用b 片的帧间编码和采用加权预测的帧内编码， 支持利用基于上下文得自适应的算术编码( c a b a c ) 。主要用于数字广播电视与数字 视频的存储。 3 ) 扩展档次，该档次改进了误码性能( 数据分割) ，以适应网络流媒体不同应用的 不同需要；还引入了s i 和s p 帧，使得流数据可以很方便地在不同码率间进行切换， 便于视频流的拼接与随机接入，同时也便于错误恢复；但不支持隔行视频和c a b a c 。 该档次主要应用于流媒体中。 为了适应各种网络环境和应用场合，h 2 6 4 a v c 定义了视频编码层( v c l ) 和网络 提取层0 q a l ) ，这两个层次使得h 2 6 4 具有良好的网络适应性。首先，从框架结构上 讲，h 2 6 4 提供了网络适应层( n e t w o r ka d a p t a t i o nl a y e r ) 。n a l 层负责包装编码产生 的视频流，采用适当的格式对v c l 视频数据进行封装打包：支持不同网络资源下的 分级编码传输，在所有码率下都持续提供较高的视频质量，以适应多种不同的传输 环境。n a l 对网络传输具有更好的支持功能。它引入了面向口包的编码机制，有利 于网络中的分组传输，使得h 2 6 4 的文件能容易地在不同网络上传输( 例如互联网，j c d m a ，g p r s ，w c d m a ，c d m a 2 0 0 0 等) 。其次，从容错性能方面讲，h 2 6 4 充分 考虑了p 网络的特性，在v c l 层和n a l 层中提供了解决在不稳定网络环境下容易 发生的丢包等错误的必要工具，如数据分割，冗余s l i c e ，任意宏刿颐序( f m o ) ，参 ， 数集工具等，从而提高压缩码流的鲁棒性，以适应p 网络尽力而为( b e s t - e f f o r t ) 的特 点，减轻诸如带宽波动、延时、丢包所带来的不良影响。这些特性使得h 2 6 4 a v c 既能在低延时模式下工作以适应实时通信的应用( 如视频会议) ，又能很好地在没有延 ； 时限制的情况下工作，如视频存储和以服务器为基础的视频流式应用。 此外，h 2 6 4 引入的一些新的编码方法是压缩性能提高的关键。高效的压缩性能 意味着相同的数据量可以表示更好的图像质量，或者在相同的网络带宽下可以传输 质量更好的图像；也就是说，提供相同质量的视频，只需要更少的数据量( 或带宽) 。 官方测试表明，h 2 6 4 和h 2 6 3 + 及m p e g - 4s i m p l ep r o f i l e 相比，在相同质量条件下， 可节省高达5 0 的码率。与m p e g - 2 相比，则性能更为优越。 当下载一个使用原有编码技术( 如m p e g - 4 和h 2 6 3 ) 压缩的视频短片时，现存的 2 5 g 和3 g 移动网络与i n t c r n e t 宽带网络相比，其传输速率相当低。因此目前的视频 下载应用都只是提供很小的视频短片( 一般不会超过几百k b y t c s ) 。如此小的视频短 片所包含的信息往往难以满足最终用户的需求。跟以前的编码标准如m p e g 4 和 h 2 6 3 相比，h 2 6 4 可以保证在同样的图象质量下，将压缩比提高一倍，这样就使视 频下载应用就更有吸引力了。服务供应商和内容所有者可以在不损失图象质量的情 况下，提供同样大小的视频短片，该短片所包含的信息量大约是以前的两倍，因此 极大地提高了下载效率。 5 重庆邮电大学硕士论文 第一章绪论 鉴于以上特性，在h 2 6 4 视频压缩编码技术的帮助下，视频下载应用无论是对服 务供应商还是对最终用户都更加有吸引力。从实际应用来看，h 2 6 4 能够在更低的码 率条件下提供更好的视频质量，此外，网络抽象层的封装以及编码层的容错机制使 其具有良好的网络适应性。所以h 2 6 4 是网络流媒体应用的一个较佳选择。 1 4 本文主要内容和结构安排 本论文主要对h 2 6 4 压缩编码算法进行研究，尤其对于模式选择方面进行了深入 分析。本论文分为以下6 章： 第一章主要介绍了各类视频压缩标准的发展，以及h 2 6 4 视频压缩编码标准的档 次与应用，并且提出了本课题的研究意义与目的； 第二章在对视频编码技术的基本原理进行分析的基础上，针对性地对h 2 6 4 的编 码器原理与结构进行了分析，并且对h 2 6 4 的核心技术进行了一些论述，正是因为这 些核心技术的存在，才使得h 2 6 4 标准有着其它视频压缩标准无法企及的优势。 第三章主要对原算法中预测模式的复杂度以及模式选择算法的实现进行分析。 文中在对前人各种优化算法的思想进行分析的同时，又有选择地对一些典型算法进 行了深入研究，并且对各种算法的优缺点进行分析比较。 第四章通过大量实验，对于宏块纹理信息以及模式间的相关性进行了统计并进 行深入研究，针对帧间块模式选择和帧内预测模式选择分别提出了新的选择算法， 并且对新算法的可行性进行了一定的分析；期望通过对j m 参考模型原算法进行优 化，达到既提高算法的运算速度又尽量不要引起编码质量的大幅度下降的目的。 第五章对新的优化算法进行仿真，并且根据仿真结果对于新算法的性能进行分 析。 第六章总结全文并且对以后的工作进行展望。 6 重庆邮电大学硕士论文第二章h 2 6 4 编码技术 第二章h 2 6 4 编码技术 h 2 6 4 也被称为“m p e g - 4v i s u a lp a r t1 0 ”，即“m p e g - 4 a v c 。它是由i s o i e c 下属的运动图像专家组m p e g 和u 下属的视频编码专家组v c e g 共同成立的联合 视频小组j v t 共同制定的一个最新的视频编码标准。实现更高的视频压缩比、高图 像质量、良好的网络适应性等特性，并于2 0 0 3 年3 月被正式确定为国际标准 i s ( i n t e m a t i o n a ls t a n d a r d ) 。 2 1 视频编码技术的基本原理 2 1 1 视频压缩的基本原理 视频压缩的基本目标是减少数据率，并尽可能不引起图像质量下降。原始视频 图像一般都存在大量的冗余信息，即图像的冗余度。由于这些冗余度的存在，才可 能对图像和视频序列进行压缩，去除这些冗余的信息仍然可以使图像在经过编码后 无失真恢复。图像数据的冗余度决定了图像能压缩到什么程度而不会发生明显的失 真，较高的冗余度形成较高的压缩率。从信息论的观点来看，视频图像中的大量冗 余成分主要表现在以下一些方面： 首先，图像的空间冗余，相邻像素存在明显的相关性，在每个单独的帧中，邻 近像素之间的值可能很接近； 其次，图像的时间冗余，帧与帧之间也有很强的相关性，某一帧中的大多数信 息可能已在前而几帧中存在； 第三，图像的符号冗余，以同比特数表示出现概率大小不一的像素值，会造成 码流的极大浪费； 第四，图像的知识冗余，编码对象的某些特征是可以预先知道的，如一般化地 选定采样点数或量化间隔，同样是浪费传输带宽； 第五，图像的结构冗余性，一些图像从大范围上看存在着非常强的纹理结构； 此外还有人眼视觉系统i - i v s c h u m a nv i s u a ls y s t e m ) 对亮度和色差的不同程度的 敏感特性而造成的视觉冗余。视频图像的能量主要集中在低频部分，随着频率的升 高，能量迅速下降。人眼的主观视觉对高频成分不如对低频成分敏感，所以可以在 编码时对高低频成分分别采用粗细不同的量化，甚至舍弃高频成分，这样既可降低 7 重庆邮电大学硕士论文 第二章h 2 6 4 编码技术 码率又可以保持良好的主观图像质量。 2 1 2 视频压缩技术 基于前面所说的基本原理，国际视频压缩技术主要有以下几种。 1 ) 空间采样 因为人眼视觉系统对亮度的反应要比色彩敏感。所以利用人眼视觉系统对亮度 信号的这种敏感特性，可以有效降低原始编码数据量。若色差格式为4 ：2 ：2 ，色差信号 c b ，c r 分别在水平方向上做2 ：1 的采样，和原始数据格式4 ：4 ：4 相比，数据量降低了 3 3 ；若色差格式为4 ：2 ：0 ，色差信号c b ，c r 分别在水平和垂直方向上做2 ：1 的采样， 相应的数据量降低5 0 。这两种色差采样的方法分别可以获得相对于全分辨率采样 方法的1 6 6 7 和2 倍的压缩比。 2 ) 预测编码 预测法是一种简单和实用的视频压缩编码方法，压缩编码后传输的并不是象素 本身的取样值，而是该取样的预测值和实际值之差。主要是因为邻近象素之间有很 强的相关性，邻近象素之间发生突变的概率很小，而且同帧图像邻近行之间对应位 置的象素之间也有很大的相关性。所以预测编码是有损压缩编码，主要用于对统计 冗余进行压缩。对于图像而言，预测的对象是下一个像点、下一条线或下一帧，这 些通常都存在冗余。其中帧间预测编码并不是直接处理像素本身，主要是利用图像 序列之间的时间冗余，当前编码帧中的每个像素可以根据已编码帧内的像素做参考， 进行运动估计，得到预测值和实际值之间的运动补偿残差值。同时，一幅图像内也 具有较大的空间冗余，可用于帧内相邻像素彼此之间的相互预测。 3 ) 变换技术 与帧内预测技术相比，消除像素数据空间相关性更有效的方法是变换技术。变换 将在空间域内以像素值形式表示的图像信息变换到变换域中，以变换系数的形式加 以表示。如果变换选择适当的话，所得到的变换系数之间的相关性要明显小于原像 素值之间的相关性，从而达到去除图像冗余度的目的。 4 ) 量化 绝大多数图像都有一个共同的特点：平坦区域和内容缓慢变换区域占据- - n 图 像的大部分，而细节部分和内容突变部分则占较少部分。也就是说，图像中直流和 低频区占大部分，而高频区占小部分。视频图像的能量主要集中在低频部分，随着 频率的升高，能量迅速下降。变换后再根据人眼的视觉特性，即人眼对高频信息不 如对低频信息敏感的特点，对不同的变换系数进行不同步长的量化，便可进一步实 现有效的数据压缩，将高频信息部分量化为零，形成大块零区。实际上量化过程本 8 重庆邮电大学硕士论文 第二章h 2 6 4 编码技术 身就是一个相当直观的数据压缩方法，就是根据人眼视觉系统对不同亮度区域的敏 感程度不一样的特点对数据的取值范围进行限制，在保证图像输出质量的前提下， 调节量化参数，以达到最佳的压缩比。 5 ) 熵编码 量化仅生成了d ( 玎系数的一种有效的离散表示，在其实际传输前，还需进行比 特流编码，产生用于传输的数字比特流。简单的编码方法是采用定长码，即每个量 化值以同样数目的比特表示，但这种方法的效率较低。而熵编码是基于编码信号的 统计特性，使得平均比特率下降。所以采用熵编码可以提高编码效率。 2 2h 2 6 4 编码器原理及结构 与以往的标准相同，h 2 6 4 标准中并没有明确的规定一个编解码器是如何实现 的，只是规定了一个编码的视频比特流的句法以及该比特流的解码方法，这样就使 得编解码器在具体的实现形式上具有较大的灵活性 3 1 。 图2 1 编码器结构框图 由图2 1 可以看出，整个框架图可分为前向通道和后向通道。其中，实线表示前 向通道即编码通道，虚线表示后向通道即解码通道。在编码通道中，输入的图像帧 或场e 以宏块为单位被编码器处理。首先按帧内或帧间预测编码的方法进行处理。 在帧内预测时，预测值p 是从当前已编码、解码、重构并未经滤波的片中产生；如 果采用帧间预测编码，其预测值p 是由当前片中已编码的参考图像经运动补偿后得 到的，其中参考图像用e 一。表示。为了提高预测精确度，进而提高压缩比，实际的参 9 重庆邮电大学硕士论文第二章h 2 6 4 编码技术 考图像可在过去或未来的已编码重建和滤波的帧中进行选择。将预测块p 与当前块 相减后，产生一个残差块见，经块变换、量化后产生一组量化后的变换系数x ，再 经熵编码，与解码所需的一些边信息一起组成一个压缩后的码流，经网络自适应层 供传输和存储使用。因此，为了提供进一步预测用的参考图像，编码器还要求具有 重建图像的功能。将残差图像经反量化、反变换所得的谚预预测值相加，再经过一 个环路滤波器除掉编码解码环路中产生的噪声，从而得到一个输出，也就是重建 图像( 可用作参考图像或者解码输出图像) 。 2 3h 2 6 4 核心技术 2 3 1 分层结构 h 2 6 4 标准采用分层结构的设计思想将编码和传输特性进行分离，形成视频编码 层( v c l ：v i d e oc o d i n gl a y e r ) 和网络适配层( n a l n e t w o r ka b s t r a c t i o nl a y e r ) 两个不 同数据层，如图2 2 所示。前者负责对视频内容实现高效的压缩编码：后者则负责对 压缩后的数据进行打包和传送，以适应不同网络传输或存储系统的需求。 图2 2 h 2 6 4 分层结构 v c l 层采用了基于块的运动补偿与变换编码结合的混合编码模式，并在运动补 偿、帧内编码、变换编码等诸多编码环节中引入了新的技术，从而提高了整体系统 的编码效率和重建图像质量。 n a l 层的设计目的是为了满足不同具体应用的需求，它将经v c l 层编码的压缩 数据流进行进一步分割和打包封装。n a l 的任务是提供适当的映射方法将头部信息 和数据映射到传输协议上，这样，在分组交换传输中可以消除组帧和重同步开销。 1 0 重庆邮电大学硕士论文 第二章h 2 6 4 编码技术 为了提高h 2 6 4 的n a l 在不同特性的网络上定制v c l 数据格式的能力，在v c l 和 n a l 之间的基于分组的接口、打包和相应的信令也属于n a l 的一部分。这样，高效 率编码和网络友好性的任务分别由v c l 和n a l 来完成。 2 3 2 帧内预测编码技术 帧内预测是h 2 6 4 的独特预测方法。在以往标准中，帧内编码图像一般直接将图 像分成像素块，对于像素块的数值直接进行d c t 变换和量化，这样处理就导致图像 压缩效率不是很高。h 2 6 4 根据相邻像素可能有相同的性质，充分利用了相邻像素之 间的相关特性，采用了新的帧内预测模式，根据已解码重建的相邻块像素来实现对 当前块的预测，并且对当前块和实际块的预测残差进行变换、量化、熵编码等以消 除空间域冗余。通常视频序列空间相邻像素之间具有强相关性，往往存在大量的空 域冗余，特别是在变化平缓的背景区域，由于相像素值相近，只对实际值和预测值 的差值进行编码，这样就能用较少的比特数来表达帧内编码的像素信息，从而实现 一种更为高效的帧内空间域预测编码模式。h 2 6 4 针对不同尺寸编码单元在空间域设 计了多个方向预测编码模式，力图以此消除帧内编码图像的空间冗余。在h 2 6 4 标准 中，帧内预测编码模式可以采用4 x 4 和1 6 x 1 6 两种亮度预测模式。 在4 x4 亮度预测模式中，h 2 6 4 把1 6 x1 6 的宏块分成1 6 个4 x4 的子块，每个子 块利用其相邻的左边和上边的已编码重建像素进行预测，4 x 4 块共有9 种预测模式， 如图2 3 所示。 -abcdef lg lh i 丑畦趣韭 j k l 眵酽酽 紧ff 模式6 ( 水平一右对角) l | 式7 ( 垂直一左对角) 图2 34 x 4 块的9 种帧内预测模式 重庆邮电大学硕士论文第二章h 2 6 4 编码技术 在图2 3 中，除了模式2 是d c 预测，其他预测模式均有一定的方向性，并且按 照各自的特定方向进行外推预测。图2 4 为1 6 x 1 6 亮度块的4 种预测模式，8 x 8 色度 块的预测模式与其相似。 模式0 ( 垂直)模式1 ( 水平)模式2 ( d c )模式3 ( 平面) 图2 41 6 x1 6 块的4 种帧间预测模式 2 3 3 帧间预测编码技术 h 2 6 4 帧间预测是利用已编码视频帧场和基于块的运动补偿的预测模式，与以 往帧间预测的区别在于块尺寸范围更广，亚像素运动矢量的使用以及多参考帧的运 用等等。 首先，h 2 6 4 在运动预测匹配单位上改变了以往简单采用1 6 x 1 6 或8 x 8 块的模 式，而是利用了宏块分割与亚分割的方法，形成多种不同尺寸和形状的匹配单位， 通过相应的语法支持可以为每个匹配单位赋予个运动矢量，使得具体运动预测算 法能够自适应地选择最佳匹配形状。具体的分割上，每个1 6 x 1 6 像素的宏块可以按 照1 6 1 6 ，1 6 x 8 ，8 1 6 ，8 8 ，而每个8 8 的子宏块块还可以进一步按照8 8 ， 8 x 4 ，4 x 8 ，4 x 4 进行亚分割，如图2 5 所示。这种把宏块划分为不同大小的块和 亚块进行运动补偿的方法称为树状结构运动补偿。 1 6 x 1 61 6 x 88 x 1 68 x 8 宏块 分割 类型 8 x 8 块分 割类型 口目田田 8 x 8 8 x 44 x 8 4 x 4 口目田田 图2 5 宏块及子宏块分割 其次，h 2 6 4 将亮度块运动估计值精度提高到1 4 像素，以求利用更精细的运动 矢量对场景中快速运动的物体进行准确预测。在运动矢量编码上，h 2 6 4 采用了差分 1 2 重庆邮电大学硕士论文 第二章h 2 6 4 编码技术 模式编码，利用已编码块的运动矢量对当前未编码块的运动矢量进行预测，最后只 需要编码和传输实际运动矢量与预测值的差值。另外，h 2 6 4 还可以选择多参考图像 来进行运动预测，这样不仅提高了编码效率，同时也能实现更好的码流误码恢复， 但这也需要增加额外的时延和存储容量。 最后，为了消除块效应，提高解码图像的主观和客观质量，同时为了提供更好 的参考图像，h 2 6 4 中还引入了基于内容的去块效应滤波器。与不采用铝箔的视频系 统相比，在同样的重建图像质量的条件下，基于内容的去块效应滤波能够节省 5 - - 10 编码比特率。 2 3 4 变换编码与量化技术 h 2 6 4 在变换编码技术上有较大改进，摒弃了以前传统的8x8 浮点离散余弦变 换，采用一种4 x4 整数变换来对帧内预测和帧间预测的差值数据进行变换编码。4 x4 整数变换一方面可以配合帧间预测中所采用的变尺寸块匹配算法，以及帧内预测编 码算法中的最小预测单元的大小，而尺寸的减小也相应能够减少块效应及其他不良 影响；另一方面，这种以整数为基础的空间变换，其算法中只需加法和移位运算， 因此运算速度快，并且在反变换过程中不会出现失配问题。h 2 6 4 根据这种整数变换 运算上的特点，将更加精细的量化过程与变换过程相结合，可以进一步减少运算复 杂度，从而提高该编码环节的整体性能。 h 2 6 4 变换编码中根据差值数据类型的不同引入了三种变换：第一种是用于 1 6 x 1 6 帧内编码模式中亮度块的i ) c 系数重组的4 x 4 矩阵；第二种是用于1 6 x 1 6 帧 内编码模式中色度块的i x ：系数重组的2 2 矩阵；第三种是针对其他所有类型的 4 x4 差值矩阵。这样变换过程就避免了浮点操作带来的四舍五入误差，使得变换与 反变换准确匹配；此外，采用小尺寸的块有助于降低块效应和明显的人工处理痕迹， 而且整数运算能够减少运算量和运算复杂度。 对于整数变换之后的量化，h 2 6 4 采用的是分级量化模式( 即量化等级呈阶梯状) ， 其正向量化公式为：z o = r o u n d ( 巧i q s t e p ) 其中，z o 是量化后的系数；匕是变换后的系数；9 西节是量化级别大小，即量 化步长；r o u n d ( ) 表示取整数。 量化步长q s t e p 共分为5 2 个级别，由量化系数( 犷控制，如表2 1 所示。量化系 数和量化步长基本符合指数关系，q 尸每增加l ，缈f 印值就增长1 2 5 ，q p 每增 加6 ，函t e p 值就提高一倍。这种宽范围的量化级别，使得编码器可以准确且灵活地 1 3 重庆邮电大学硕士论文第二章h 2 6 4 编码技术 控制发送比特率与画面质量之间的平衡。 表2 1h 2 6 4 编解码器中的量化步长 q p ol 234 5671 2 q s t e p 0 6 2 50 6 8 7 5 0 8 1 2 50 8 7 511 1 2 51 2 51 3 7 52 5 q p 1 82 43 64 25 l q s t e p 51 04 08 02 2 4 2 3 5 其他先进技术 除了前面介绍的一些技术以外，在h 2 6 4 中还引入了s p ( s w i t c h i n gp ) 片和s i ( s w i t c h i n gd 片以及场编码模式等先进技术，下面对s p 片和s i 片以及场编码模式技 术作简单介绍。 ， s p 片和s i