（信号与信息处理专业论文）h264标准视频解码优化研究.pdf

摘要 ys 8 1 4 6 5 摘要 2 l 雌纪的人类社会是信息化的社会，数字化后的信息，尤其是视频和音频 信息具有数据海量性。它给存储和传输造成较大的镯难。数字视频内在的高带宽 特性限制了多媒体业务的扩展，故必须对视频数据进行压缩。i $ o i e c 和i t u t 联合制定的h 2 6 4 标准，标志着视频压缩技术的最新进展。 h 2 6 4 的技术特点可以归纳为三个方面，一是注重实用；二是注重对移动和 i p 网络的适应；三是在混合编码器的基本框架下，对其主要关键部件都做了重 大改进，如多模式运动估计、帧内预测、多帧预测、基于内容的变长编码、4 x 4 二维整数变换等。在关注h 2 6 4 的优越性能的同时必然需要衡量其实现难度。从 总体上说，h 2 6 4 性能的改进是以增加复杂性为代价而获得的。据估计，h 2 6 4 编码的计算复杂度大约相当于h 2 6 3 的3 倍，解码复杂度大约相当于l 。2 6 3 的2 倍，对h 2 6 4 编解码的速度和性能优化关系到i i 2 6 4 的应用和推广。 本文首先对视频软件的优化方法作了分类和研究，并从算法和汇编优化的角 度给出了实例和分析。然后对h 2 6 4 解码器各主要模块进行了详细的分析和探 讨，为降低计算复杂度、提高速度，在通用处理器开发平台上，提出了整型变换、 运动补偿和变长解码等模块的优化思想，进行了探讨和研究，并对优化的结果作 了比较和分析。 同时本文对未来h 2 6 4 解码器在手持设备平台上的实现进行了分析和展望， 基于特定处理器的体系结构提出了优化建议。 关键字：视频编解码，h 2 6 4 协议，整型变换，运动补偿，变长解码，多参考帧 选择，算法优化 米缀传等、导师弼露 钫垒义! j 市 a b s t r a c t w i t ht h ed e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g yi n2 1 s tc e n t u r y t h e r e g r o w st h en e e do fs t o r i n ga n dt r a n s m i t t i n gv i d e oi n f o r m a t j o ne f f i c i e n t l y t h ep r o p e r t yo fd i g i t a lv i d e c1 i m i t st h ee x p a n s i o no fm u l t i m e d i as e r v i c e s ， s oitisn e c e s s a r yt od e v e o pt e c h n i q u e sf o rc o m p r e s s i n gt h e s ev i d e od a t a h ，2 6 4s t a n d a r di sj o i n t l yb e i n gm a d eb yi t u tv i d e oc o d i n ge x p e r t sg r o u p a n di s o i e cm p e gv i d e og r o u p ，n a m e da s j o i n tv i d e ct e a m ( j v t ) h 2 6 4 g r e a t l yi m p r o v e sc o d i n ge f f i c i e n c ya n dw i l lb ean e wi n t e r n a t i o n a lv i d e o c o d i n gs t a n d a r d t h ec h a r a c t e r i s t i co fh 2 6 4s t a n d a r dc a nb ec o n e l u d e dm a i n l yi n t o t h r e ea s p e c t s i ti sm o r ep r a c t i c a b l e ，m o r ea d a p t i v et oi pn e ta n dm o b i l e s y s t e ma n di ti m p r o v e st h ek e yc o m p o n e n t so fc o d i n gs t r u c t u r eb a s e do n h y b r i dv i d e oc o d i n gf r a m e w o r k f o re x a m p l e ，i ta d d sc o d i n gm o d ed e e i s i o n ， m u l t if r a m ep r e d i c t i o n ，c o n t e x t b a s e d a d a p t i r ev a r i a b l el e n g t he o d i n g ( c a v l c ) ，4 x 4i n t e g e rt r a n s f o r m ，l o o p f i l t e r ，e t c t h e i m p r o v e m e n t i n p e r f o r m a n c el e a d st oh i g h e rc o m p u t a t i o n a lc o m p l e x i t yi nt h en e ws t a n d a r d t h ec o m p l e x i t yo fh 2 6 4e n c o d e ri sa b o u t3t i m e so fh 2 6 3e n c o d e ra n dt h e c o m p l e x i t yo fi t sd e c o d e ri s2t i m e so fh 2 6 3d e c o d e r t h eo p t i m i z a t i o n o fh 2 6 4c o d e ci s i m p o r t a n tf o ri t sa p p i c a t i o ni nd i f f e r e n tf i e l d s i nt h i s t h e s i s ，t h eo p t i m iz a t i o nm e t h o d sf o rv i d e op r o c e s s i n ga r e a n a l y z e dw i t he x a m p l e s t h e n ，t h eo m p l e x i t yo fk e ym o d u l e si nh 2 6 4 d e c o d e ri s a n a l y z e d a n d d i s c u s s e d o p t i m i z a t i o n m e t h o d si n i n t e g e r t r a n s f o r m ，m o t i o nc o m p e n s a t i o na n dc a v l ci sp r o p o s e da n di m p l e m e n t e d b a s e do ng e n e r a l p r o c e s s o r t h e i m p l e m e n t a t i o no fh 2 6 4 d e c o d e ro nh a n d h e l d p l a t f o r m i sa l s o a n a l y z e di nt h et h e s i s s o m es u g g e s t i o ni no p t i m i z a t i o nm e t h o db a s e do n c e r t a i np r o c e s s o ri s p r o p o s e d k e y w o r d s ：v i d e oc o d e e ，h 2 6 4 s t a n d a r d ，i n t e g e rt r a n s f o r m ，m o t i o n c o m p e n s a t i o n ，c a v l c ，m u l t if r a m es e l e c t i o n ，o p t i m i z a t i o nm e t h o d 第一章终沦 1 1 本文研究背景 第一章绪论 长期以米，在通信方面人们习惯于利用电报、电话进行信息交换，这是传送 文字信息和语音信息的基本通信方式。随着科学技术的发展，社会生产力的提高， 人们对通信的要求也愈来愈高了。通信的内容则从语言扩展到图像( 包括文字和 符号) 、数据，概括的说，多媒体信息( 包括图像、声音和文本) 成为通信的主 要内容。与此同时，通信的对象也不仅局限于人与人之问，而扩大到人与机器、 机器与机器之问。图像通信、数据通信等新的通信方式就得到了飞速的发展。 2 l 世纪就是这样个飞速发展的数字信息时代，数字信息化几乎波及到世 界的每个角落，改变了人类的生活和工作方式。信息技术的发展，使人们的学习 和交流打破了时空界限，为人类的发展带来了新的空间。以多媒体和网络为依托 的信息技术已成为拓展人类能力的创造性工具。信息化的一个主要特征就是多媒 体技术的广泛应用，随着多媒体业务的不断拓展，多媒体技术已成为工业界和学 术界的一个研究热点。 多媒体内容丰富，包括文字、声音、图像、图形和视频等数据，信息容量大， 表达能力强，它代替单一的语音通信模式已是不可阻挡的趋势。作为数字信号， 它具有易于传输和远距离存储的特点，且没有积累失真，数字化信息可被高品质 地还原。多媒体信息的优势在于，它把视觉信息也纳入了通信领域，为人们提供 了多渠道、多方位的信息来源。与听觉信息相比，视觉信息具有以下优点： 确切性。同样的内容由听觉和视觉两种不同方式获取信息其效果是不同 的，后者显然比前者更容易确认，不易发生错误，这点在军事、工业指挥等重要 通信中具有重要意义。 直观性。同样内容，通过图像获取信息比听声音更为形象直观，印象深 刻，易于理解，效果更好。 高效率。由于视觉器官具有较高的图案识别能力，人们可在很短时间内， 通过视觉接受到比声音信息多得多的信息。 多种业务的适应性。随着人们需求的发展和提高，对通信业务将提出多 样化的要求，而利用视觉得到的信息易于满足多种业务要求。 由于视觉信息具备众多优点，视觉信息的处理和通信得到了较快的发展，但 与此同时，多媒体信息的庞大数据量对通信系统中有限的带宽和存储空间提出了 严峻的挑战。对于数字电视，若不采取任何压缩措施，总的数据码率为 2 1 6 m b p s ( 每采样点8 比特量化) “1 ：对于d y d ，输入视频格式为d l ，帧率为3 0 f p s ， 色差格式为4 ：2 ：2 ，则视频数据码率为7 2 0 4 8 0 x1 6 3 0 = 1 6 5 9 m b p s ，d v d 容 量为4 7 6 b ，仅能存储4 7 x 8 1 6 5 9 = 2 2 6 4 秒长度的节目。 从上面的数据可见，视频信息在数据量上和处理的难度都受到很大的限制， 现有的通信和存储设备一般不足以承受几十甚至上百兆的码率。因此，如何压缩 第一章绪论 视频数据量成为多媒体技术发展的关键问题，它是降低传输和存储成本，缓解网 络带宽和存储空问限制的个重要手段。视频压缩技术成为个重要的课题，而 由此产生的各种视频压缩标准则为视频数据的传输和存储提供了解决方案。 1 2 视频编码基本原理 在信息论中，通过减小冗余而进行的数据压缩处理称为信源编码。视频序列 含有三类冗余：统计冗余、心理视觉冗余和编码冗余。统计冗余表现为图像信号 在时域和空域的高相关性；心理视觉冗余起源于人眼对某些空间频率的感觉迟 钝；编码冗余表现为符号编码平均码长和信源熵之间的偏差。研究视频信号中冗 余消除方法，实现信息传输、存储和处理的有效性和可靠性是视频编码的关键问 题。 按照压缩后的数据是否能够完全还原成原始数据划分，信源编码可以分为无 损编码和有损编码。无损压缩可以精确地复原原始数据。s h a n n o n 第一定理指出 了无损编码中平均码长和信源之间的关系，同时也给出了编码平均码长的极限 “1 。无损压缩的常用方法有h u f f m a n 编码、游程编码r l c ( r u n l e n g t hc o d i n g ) 等。 但无损编码的压缩比通常比较低，约在2 ：1 左右“3 ，不能达到视频应用对压 缩比的要求。例如在d v d 上存储两个小时c c l r - 6 0 1 电影，需要将码率降低到 5 m p b s 左右，这就是说，编码的压缩比至少要达到3 3 ：1 ，仅采用无损编码技术很 难达到这样的压缩比。随着有损压缩编码技术的发展，分形、小波和混合 d p c m t ( d i f f e r e n t i a lp u l s ec o d i n gm o d u l a r i o n t r a n s f o r m ) 的等编码方案已经 成功地解决了这个问题5 。 不同于无损编码，有损编码采用折衷的方法，以一定的失真换取压缩比的增 加。目前，d p c m t 是一种主流的有损编码方案，现在所有的视频编码标准都是 采用这种方式6 “”。”“邮，它在使用r l c 、h u f f m a n 编码或算术编码消除编码 冗余外，还使用d p c m 消除视频信号的时域冗余，使用变换消除空域冗余。 d p c m 的基本原理是基于图像相邻象素之间具有较强的相关性。每个象素可以 根据以前已知的象素值预测。因此，在编码中传输的不是象素取样值本身，而是 取样值的预测值和实际值之间的偏差。d p c f f 的实现相对简单，已被各种视频编 码标准采纳用来消除视频信号的时域相关性“。“”“。 经过三十多年的研究历史，变换编码己被证明是一种高效的图像压缩方法， 是迄今为止所有有损编码国际标准的基础，它可以有效消除图像数据之间的空间 相关性。基本的变换编码是把图像分割成块，逐块进行二维正交变换、量化，最 后对量化后的系数进行编码。常见的变换有，d f t ( d i s c r e t e f o u r i e r t r a n s f o r m ) 、d c t 、h a d a m a r d 和h a r r 变换。其中d c t 在相邻象素间的相关系数 逼近1 时有类似于k l t ( k a r h u n e n l o v e vt r a n s f o r m ) 的特性“。除了h 2 6 4 采用 了近似的d c t 变换一一整型变换外，其它所有视频编码标准都是采用 d c t m 【l c j “。d c t 能够提供2 5 ：1 的压缩比而视觉效果没有明显降低”。 其它编码方式如分形编码能够提供较高的压缩比，但处理复杂度高，而视频 处理有严格的速度要求，实际应用并不广泛。近来，随着小波技术的进展，它已 第一章绪论 视频数据量成为多媒体技术发展的关键问题，它是降低传输和存储成本，缓解网 络带宽和存储空间限制的 个重要手段。视频压缩技术成为一个重要的课题，而 由此产生的各l ；l | l 视频压缩标准则为视频数据的传输和存储提供了解决方案。 1 2 视频编码基本原理 在信息论中，通过减小冗余而进行的数据压缩处理称为信源编码。视频序列 含有三类冗余：统计冗余、心理视觉冗余和编码冗余。统计冗余表现为图像信号 在时域和空域的高相关性；心理视觉冗余起源于人眼对某些空间频率的感觉迟 钝；编码冗余表现为符号编码平均码长和信源熵之间的偏差。研究视频信号中冗 余消除方法，实现信息传输、存储和处理的有效性和可靠性是视频编码的关键问 题。 按照压缩后的数据是否能够完全还原成原始数据划分，信源编码可以分为无 损编码和有损编码。无损压缩可以精确地复原原始数据。s h a n n o n 第一定理指出 了无损编码中平均码长和信源之间的关系，同时也给出了编码平均码长的极限 “1 。无损压缩的常用方法有h u f f m a n 编码、游程编码r l c ( r u n l e n g t hc o d i n g ) 等。 但无损编码的压缩比通常比较低，约在2 ：l 左右，不能达到视频应用对压 缩比的要求。例如在d v d 上存储两个小时c c i r 一6 0 1 电影，需要将码率降低到 5 m p b s 左右，这就是说，编码的压缩比至少要达到3 3 ：l ，仅采用无损编码技术很 难达到这样的压缩比。随着有损压缩编码技术的发展，分形、小波和混合 d p c m t ( d i f f e r e n t i a lp u s ec o d i n gm o d u l a r i o n t r a n s f o r i l l ) 的等编码方案已经 成功地解决了这个问题5 。 不同于无损编码，有损编码采用折衷的方法，阱一定的失真换取压缩比的增 加。目前，d p c m t 是一种主流的有损编码方案，现在所有的视频编码标准都是 采用这种方式吲“”“”，它在使用r l c 、h u f f m a n 编码或算术编码消除编码 冗余外，还使用d p c m 消除视频信号的时域冗余，使用变换消除空域冗余。 d p c m 的基本原理是基于图像相邻象素之间具有较强的相关性。每个象素可以 根据以前已知的象素值预测。因此，在编码中传输的不是象素取样值本身，而是 取样值的预测值和实际值之问的偏差。d p c m 的实现相对简单，己被各种视频编 码标准采纳用来消除视频信号的时域相关性1 “”m “”1 。 经过三十多年的研究历史，变换编码已被证明是一种高效的图像压缩方法， 是迄今为止所有有损编码国际标准的基础，它可以有效消除图像数据之间的空间 相关性。基本的变换编码是把图像分割成块，逐块进行二维正交变换、量化，最 后对量化后的系数进行编码。常见的变换有，d f t ( d i s c r e t e f o u r i e r t r a n s f o r j l l ) 、d c t 、h a d a m a r d 和h a r r 变换。其中d c t 在相邻象素间的相关系数 逼近l 时有类似于k i 。t ( k a r h u n e n l o v e vt r a n s f o r m ) 的特性“。除了t t 2 6 4 采用 了近似的d c t 变换一一整型变换外，其它所有视频编码标准都是采用 d c t t 6 【7 m m 3 【l c j 【1 “。d c t 能够提供2 , 5 ：1 的压缩比而视觉效果没有明显降低”。 其它编码方式如分形编码能够提供较高的压缩比，但处理复杂度高，而视频 处理有严格的速度要求，实际应用并不广泛。近来，随着小波技术的进展，它已 在许多应用中崭露头角，由于篇幅关系，本文将不对它们作进一步阐述。 1 3 常用视频编码标准 目前，通常采用的视频压缩编码的技术是建立在d p c m 和变换编码基础上的 有损编码。压缩编码的发展历程实际是以香农信息论为出发点不断完善的过程。 标准化是产业化活动成功的前提，基于不同的应用时期和不同的压缩编码技 术，国际标准化组织相继制定了j p e g ( 1 9 9 4 年2 月) 、m p e g 一1 ( 1 9 9 3 年8 月) 和m p e g 一2 ( 1 9 9 4 年) ，这三种压缩编码国际标准主要采用了第一代压缩编码方法， 如预测编码、变换编码和运动补偿。其中m p e g 一2 是一种非常成功的国际标准， 广泛应用于点播电视( v o d ) 、多媒体终端等众多领域。 1 9 9 9 年1 月，m p e g 组织公布了m p e g 一4 标准。作为一种甚低码率的视频压缩 系统，m p e g 一4 标准可实现高效、高性能的视频数据的存储和传输。在m p e g 一4 之 后，m p e g 组织制定了m p e g 一7 “多媒体内容描述接口”。2 0 0 0 年3 月成立的m p e g 一2 l 工作组还在酝酿制定m p e g 一2 1 标准，其核心目标是使数字多媒体信息资源能被大 范围的网络和设备透明和增值地使用。表1 1 列出了一些主要的视频编码标准及 其应用。 表1 1 视频编码标准及其应用 码率应用 m p e g 一1 视频0 8 k b p s 一1 5 m b p sv c d ，c d r o m ，i n t e r n e t 3 m b p s - - l o m b p s m p m l 数字广播， m p e g 一2 视频 l6 m b p s - - 5 0 m b p sm p h ld v d d s 5 0 m b p s - - l o o m b p s4 2 2 p m l h l专业视频处理 l o k b p s - - 3 8 4 k b p s m p e g 标准c o l l a r ，i n t e r n e t s p l 1i 2 3 i o k b p s - - 2 m b p sc p l 1 2 m p e g 一4 视频交互式电视 2 m b p s - - 3 8 m b p sm p l 2 l 3 l 4 5 0 m b p s - - 1 2 0 0 m b p s 视频剪辑 s t u d i o l 1 2 3 4 h ，2 6 l 6 4 k b p s - - 1 5 m b p s视频电话( i s d n ) h 2 6 2与m p e g 一2 视频相同 i t u t 标准 视频电话( p s t n ， h 2 6 3lo k b p s - - 3 8 4 k b p s i n t e r n e t ) 上述各种视频标准之间的发展关系如图1 1 所示。m p e g 编码技术是从h2 6 1 视频编码技术( 不含音频编码) 发展而来的。 第一章绪论 在许多应用中崭露头角，由于篇幅关系，本文将不对它们作进步阐述。 1 3 常用视频编码标准 目盼，通常采用的视频压缩编码的技术是建立在d p c m 和变换编码基础上的 有损编码。压缩编码的发展历程实际是以香农信息论为出发点不断完善的过程。 标准化是产业化活动成功的前提，基于不同的应用时期和不同的压缩编码技 术，国际标准化组织相继制定了j p e ( 1 9 9 4 年2 月) 、m p e g 一1 ( 1 9 9 3 年8 月) 和m p e g 一2 ( 1 9 9 4 年) ，这三种压缩编码国际标准主要采用了第一代压缩编码方法， 如预测编码、变换编码和运动孙偿。其中m p e g - 2 是一种非常成功的国际标准， 广泛应用于点播电视( v o d ) 、多媒体终端等众多领域。 1 9 9 9 年1 月，m p e g 组织公布了m p e g 一4 标准。作为一种甚低码率的视频压缩 系统，m p e g 一4 标准可实现高效、高性能的视频数据的存储和传输。在m p e 5 4 之 后，m p e g 组织制定了m p e g 一7 “多媒体内容描述接口”。2 0 0 0 年3 月成立的m p e g - 2 1 工作组还在酝酿制定m p e g 一2 1 标准，其核心目标是使数字多媒体信息资源能被大 范围的网络和设备透明和增值地使用。表1 1 列出了一些主要的视频编码标准及 其应用。 表1 1 视频编码标准及其应用 码率应用 m p e g 一1 视频0 8 k b p s 一1 5 m b p sv c d ，c d r o m ，i n t e r n e t 3 m h p s - - l o m b p s m p m l数字广播， m p e g 一2 视频1 6 m b p s - - 5 0 m b p sm p o h ld v d ，d - v h s 5 0 m b p s - - l o o m b p s4 2 2 p m l h l专业视频处理 1o k b p s - - 3 8 4 k b p s m p e g 标准c e l l a r i n t e r n e t s p l 11 2 3 i o k b p s - - 2 m b p sc p l 1 2 m p e g 一4 视频交互式电视 2 m b p s - - s s m b p sm p l 2 l 3 l 4 5 0 m b p s - - 1 2 0 0 m b p s 视频剪辑 s t u d i o l 1 2 3 4 h 2 6 l 6 4 k b p s - - 1 5 m b p s视频电话( i s d n ) h 2 6 2 与m p e g 一2 视频相同 i t u t 标准 h 2 6 31o k b p s - - 3 8 4 k b p s 视频电话( p s t n ， i n t e r n e t ) 上述各种视频标准之间的发展关系如图1 1 所示。m p e g 编码技术是从h2 6 1 视频编码技术( 不含音频编码) 发展而来的。 第一章绪论 图1 1t t 2 6 x ( i t u ) 和m p e g ( i s 0 i e c ) 标准 m p e g 在1 l _ 2 6 1 视频编码算法的基础上改进、发展，而且向后兼容，可处理经 h 2 6 1 处理过的数据。改进算法工具如图1 2 所示。 i1 1 2 6 1 ：1 6 x 1 6 运动补偿，8 x s d c t m p e g l ：+ b 帧，半象素运动补偿 m p e g 2 ：+ 隔行扫描 m p i 弼, 4 ：+ 8 x 8 运动补偿a c 预测， 视频对象，形状编码 图1 2h 2 6 x ( i t u ) 和m p e g ( i s 0 i e c ) 标准编码工具比较 下面就按时间的顺序对各个视频编码标准作简单的介绍。 1 3 1h 2 6 1 从1 9 4 8 年最早提出电视和声音信号的数字化以后，积4 0 年研究成果，于 1 9 8 8 年1 0 月，国际电视电话会议电视咨询委员会( c c i t t ) 即现在( i t u t ) ， 提出了h 2 6 1 建议，主要应用于p x 6 4 k b p s ( 旷1 ，3 0 ) i s d n 上的视频会议和 第一章绪论 司视电话。 2 6 l 定义了视频编码算法，如帧内图像、帧间误差预测、运动补偿、d c t 、 变字长编码等技术都是在h 2 6 l 中使用了的，它为后来的诸如m p e g 一1 和m p e g2 的视频压缩标准提供了基础。在此之外，h 2 6 1 还提供了两个重要的特性： 1 指定了最大编码延迟为1 5 0 m s 。因为主要针对双向视频通信应用，超过 1 5 0 m s 的延迟会给用户带来视频失真的印象。 2 能够用廉价的v l s i ( 超大规模集成电路) 实现，以便实现视频会议和可视 电话设备的商业化。 但它也存在不足，它不适用于不同信道( 或传输或存储) 的应用，误码率允 许范围小( 不大于1 x 1 0 “) ，而且不含声音编码算法。 1 3 2 e g l 1 9 9 1 年1 1 月m p e g ( 运动图像专家组) 制定m p e g 一1 标准。m p e g 一1 标准是将 数字视频信号和与之相伴的音频信号在一个可以接受的质量下，能被压缩到位率 约1 5 m b i t s 的一个m p e g 单一流。m p e g 一1 标准只规定了码流语法和解码过程， 用户可以很好地利用这个语法的灵活性来设计非常高质量的编码器和非常低成 本的解码器。编码器的设计中一些重要参数，如运动估值、自适应量化和码流速 率控制等可以由用户自由确定。 为了满足应用需要，m p e g 一1 提供了以下特性 1 随机存取。这移位着存在可随机存取的单元，在质量不下将的前提下， 随机存取时间大约可达0 5 s 。 2 快速正向逆向搜索。对压缩数据流可进行扫描，和利用合适的存取点来 显示所选择的图像，以实现正向和逆向快速搜索。 3 逆向重播。交互式的应用优势需要视频信号能够逆向重播。 4 视听同步。视频信号应该准确地与相关的音频信号同步。 5 容错性。要求编码方案对残存的未被校正的误差有强的鲁棒性。 6 编码解码延迟。传输质量和延迟在一个相当的范围内式可以折中考虑 的，延迟时间被看作一个阈值参数来设定。 如上所述，m p e g 标准是在h 2 6 1 视频编码算法的基础上改进并发展的。 m p e g 一1 改进的主要内容是增加了b 图像帧( 双向预测) 和图像组( g o p ) ，这些 改进具有更高的压缩比，同时定义了编码算法中各工具层的语法，使视频的可操 作性更灵活。 1 3 3 ，e g 一2 ( h 2 6 2 ) 1 9 9 3 年1 1 月m e p g 提出m p e g 一2 建议草案，其中视频编码部分即h 2 6 2 。m e p g2 主要是针对4 9 m b i t s 运动图像及其伴音的编码标准。 m p e g 一2 是一个非常成功的国际标准，它开发了通用的压缩编码方法，定义的 不同p r o f i 】e 和l e v e l ，可满足不同的图像分辨率及相应的存储成本和处理速度 的需要，并且为比特流交换、兼容性等提供了可能性。因此，m p e g 一2 标准能广 第一章绪论 泛应用于存储媒体、会议电视可视电话、数字电视、高清晰度电视、广播、通 信、网络等应用领域。m p e g 一2 是工业标准d v d 的核心标准。它对m p e g 一1 作了重 要的改进和扩充： 1 针对隔行扫描的常规电视图像专门设置了“按帧编码”和“按场编码”两 种模式，并对运动补偿作了相应的扩充，使其编码效率显著提高。 2 p r o f i l e 和l e v e l 的划分是m p e g 一2 为适应不同应用而定义各个子集的结 果。它们是通过确定码流中相应的标题信息及附加信息中的有关参数来给定的， 其中一个主要的组合是m p m i 。( m a i np r o f i l e m a i nl e v e l ) 。m e p g 一1 相当于m p l l 。 3 亮度分量和色度分量的取样比例可由原来的4 ：2 ：0 ( 即y ：c 。：c 。= 4 ：l ：1 ) 扩 充为4 ：2 ：2 或4 ：4 ：4 ，宏块的定义也相应地扩展，每像素8 比特可以增加到1 0 比特。 4 系统层的语法也有了改进，数码流分为两类：传送数码流( t s ) 和节目数 码流( f s ) ，以适应码流的应用环境。传送数码流的运行环境差，编码中应加强 防误码措施，而节目数码流的运行环境则相对安全得多。因此经压缩后的视频数 据、音频数据、辅助数据分别构成数据包的两种基本数据流。此外用包头( 数据 包的开始部分) 传送编码信息，如音频、视频、矩阵结构、图像类型、是否多声 道等压缩特性，使用起来更为方便和灵活。 1 3 4h 2 6 3 针对甚低码率( 低于6 4 k b p s ) 的视频会议和可视电话的应用，1 9 9 5 年1 1 月 低数码率( l o wb i tr a t e ) 视频编码的h 2 6 3 建议草案出台。h 2 6 3 的码率为 2 2 k b p s 。h 2 6 3 标准的视频编码算法与h 2 6 1 相似( 运动补偿和d c t 算法) ，与 h 2 6 1 相比，h 2 6 3 的主要区别如下： 1 半像素精度运动估值； 2 重叠运动补偿，以增大运算量为代价得到更密集的运动区域： 3 宏块( 1 6 1 6 ) 运动估值和块( 8 x8 ) 运动估值的自适应变换 4 支持s u b q c i f 格式的码流。 i i 2 6 3 标准的测试模型t m n 8 ( t e s tm o d e l8 ) 在低于6 4 k b p s 码率时，p s n r 值比h 2 6 1 提高了3 4 d b 。h 2 6 3 标准可以作为将来甚低码率编码算法和编码标 准性能评估的一个里程碑。 1 3 5 胛e g 叫 如上所述，m p e g l 和m p e g 一2 的应用相对单一，主要的目的是提高压缩比， 并改善音频、视频质量，采用的技术主要是基于信息论的波形编码理论。m p e g 一4 的目标定义大致考虑两个方面：一是极低比特率下的多媒体通信；二是多媒体通 信的融合，主要有通信业、计算机业、消费类电子业和娱乐影视业。因而，一方 面，m p e g 一4 要求有高效的压缩编码方法；另一方面，m p e g 一4 要求有独立于网络 的基于视频和音频对象( a v ) 的交互性。 1 9 9 8 年1 1 月m p e g 提出了低数码率视频音频编码和多媒体通讯的m p e g 一4 第一幸绪论 建议草案。m p e g 一4 能够支持q c i f 格式的视频数据以满足低码率传输的要求。q c i f 格式的视频数据亮度分量为1 7 6 x 1 4 4 ，色度分量为8 8 x 7 2 ，帧率7 5 3 0 帧秒。 其主要特性如f ： 1 基于内容的交互性基于视频对象( v o ) 而不是视频帧的编码方案。 2 高效的压缩编码算法。编码效率高优于m p e g 一1 和m p e g 一2 ：码率范围 大从l o k b p s 到1 2 0 0 m b p s ；形状灵活包括矩形和任意形状。 3 通用性。增强了误码性和基于对象的时空可分级性。 m p e g 一4 的应用广泛，这一新的工业标准至少可以应用于以下场合：实时监控； 极低比特率下的移动多媒体通信；基于存储和检索的多媒体系统； i n t e r n e t i n t r a n e t 上的视频流与可视游戏；基于面部表情模拟的虚拟会议；d v d 上的交互多媒体应用；基于计算机网络的可视化合作实验室场景应用；演播室和 电视的节目制作等。 1 3 6 加e g 一7 为快速方便地搜索节目，m p e g 制定了一个新标准m p e g 一7 ，它是多媒体 内容描述接口( m u l t i m e d i ac o n t e n td e s c r i p t i o ni n t e r f a c e ) 。m p e g 一7 可快速 且有效地搜索出用户所需的不同类型的多媒体资料，主要用于解决以下问题： 1 需要搜索m p e g 一4 编码信息中的某套节目时，来自不同领域的一些要求。 2 在m p e g 一4 语法中对搜索功能适当支持的一些术语。 3 m p e g 一4 编码信息搜索引擎通用工具规格。 m p e g 一7 的应用很广泛，既可以用于存储( 在线或离线) ，也可以用于流式应 用( 如广播、将模型加入i n t e r n e t 等) ，它可以在实时或非实时环境下应用，在 教育、新闻、导游信息、娱乐、研究业务、地理信息系统、医学应用、购物等等 各方面具有潜在的应用能力 1 3 7 ) e g - 2 1 2 0 0 0 年3 月成立的m p e g 一2 1 工作组在酝酿制定m p e g 一2 1 标准，其核心目标 是使数字多媒体信息资源能被大范围的网络和设备透明和增值地使用。2 0 0 0 年 l o 月，m p e g 一2 1 专家组提出创造一个能够共同使用的多媒体信息框架。需要完成 以下任务： 1 框架的各成分之间如何关联。 2 整合现有系统中的各种标准以支持多媒体管理的各种协调技术。 3 开发新的规范使得能够通过网络存取和使用多媒体内容；实现多个交易 模型保证服务模型及收费；保障内容用户的隐私权。 1 4h 2 6 4 协议的产生 多媒体信息框架应该提供各种接口和协议，使得信息资源的各种内容能够产 生、操作、查询、存取、存储、传送和使用。它应具有多种功能，如内容创造、 第一幸绪论 内容生成、内容传送、内容使用和消费、内容表示、内容辨识和说明、终端和网 络资源抽象、事件报告、知识产权管理和保护、用户隐私权、付费管理等等。 在多媒体、数字化、计算机、网络技术日新月异的今天，各生产厂家需要一 个通用的压缩标准使产品更加市场化。i t u t 和i s o i e c 组织一直致力于对数据 压缩技术标准化工作的研究，并取得很大成绩。随着各标准的不断推出，数据压 缩和传输的技术将趋向更加规范化。但音频、视频等压缩编码工作还远没有结束， 人们在不断寻求一种比目前方案压缩性能更好、适用性更强的编码方案，h 2 6 4 协议也就在这个背景下出现了。 在m p e g 4 年d h 2 6 3 之后，运动图像专家组( m o t i o np i c t u r ee x p e r t sg r o u p ， m p e g ) 和视频编码专家组( v i d e oc o d i n ge x p e r t sg r o u p ，v c e g ) 希望制定一个 能够e l m p e g 4 和h 2 6 3 表现更出色的新标准，提供更好的压缩图像质量，并且具备 一系列可以支持高质量、低码率压缩的特性。由此在多年以前就产生t a d v a n c e d v i d e oc o d i n g ( a v c ) 这一组织的雏形。 1 9 9 5 年，在完善了h 2 6 3 标准后，i t u t 的视频编码专家组开始在h 2 6 3 协议上做一些进一步的工作，希望可以改善其性能，同时也开始了低码率视频通 讯的新标准的制定工作，这一新标准被称为h 2 6 l 。2 0 0 1 年，m p e g 专家组认可 了h 2 6 l 的发展潜力，并与v c e g 合作组成了联合视频组( j o i n tv i d e ot e a m ， j v t ) 。j v t 的目标是将h 2 6 l 模型发展成为一个国际性的标准，事实上，这一标 准分为两个部分：i s o 的m p e g 4p a r t1 0 和i t u t 的h 2 6 4 。 1 5 本文内容安排 本文在第二章主要介绍了h 2 6 4 视频标准相对与之前视频压缩标准的区别， 及其主要的编码工具。第三章介绍了软件优化的方法，对处理器平台做了简单的 介绍，以通用处理器平台为例，分析讨论了优化的类型和实例。第四章针对h 2 6 4 解码器的具体模块：运动补偿、整型变换、变长解码，提出了优化的策略，并加 以实现，对优化前后的解码速度进行了比较和分析。第五章对基于手持设备平台 的应用开发作了简单的分析并提出了优化建议。最后第六章作了总结和展望。 堡三! ! ! 坠塑塑! 塑堡苎 第二章h 2 6 4 视频压缩标准 2 1 视频压缩标准原理和关键算法 d p c m t 是一种主流的有损编码方案，它在使用r l c 、h u f f m a n 编码或算术编 码消除编码冗余外，还编码使用d p c m 消除视频信号的时域冗余，使用变换消除 空域冗余。到目前为止，不管是m p e g 系列标准还是i t u t 的h 2 6 x 系列标准，其 编码基本原理都是一样的，那就是用时域预测去掉时域冗余，空域预测去掉空间 冗余，然后d c t 域量化，去掉高频不重要的信息，再用v l c 和游程编码使得可以 用最少的比特来表示码流。所不同的是，各种标准采用的码表有所差别，以面向 不同的应用，另外，新的标准在某些模块会采用一些新的算法，作出改进。现有 的视频编码标准都是d p c m t 的压缩方式，不同标准下的编解码器有所差别，但 大致的结构基本是一致的。 2 1 1 编解码器框图 编码器 发展至今，通常编码器的结构如图2 1 所示，主要模块为运动估值和运动补 偿( m o t i o nc o m p e n s a t i o n ) 、变换( d c t ) 、量化( q ) 、反量化( i n v e r s eq ) 、反变换 ( i n v e r s ed c t ) 、变长编码( e n t r o p yc o d i n g ) 。 v 日0 i n 口u l c o d i n gc 甜宿d ，j 。一上一l e n t r o p y c o 珊崦 v i d e o u 憎p l e x 。呻：i 岖覃 一 m o t i o nv e c l o t 图2 1m p e g 编码器框图 编码器可以分为前向和后向两路。前向通路主要是将视频信息处理成压缩后 的码流，得到的码流可以进行存储，对其进行进一步的处理，也可以用于传输。 后向通路的目的是从量化后的信息经反量化，反变换，生成前一帧或前几帧的映 射，作为前向通路中运动补偿的参考帧。前向通路主要的目的是消除空间上的冗 余，而后向通路则是为了消除时域上的冗余。对于i 帧的编码，通过前向通路就 第二章h 2 6 4 视频压缩标准 可以得到码流，而对于p 帧和b 帧来说，则需要后向通路得到的i 帧或p 帧的参 考帧作为运动补偿的参照。 解码器 对应与编码器的解码器主要的模块依次是：变长解码、反量化、反变换、运 动补偿。除了变长解码模块和运动补偿模块，反量化和反变换都在编码器的后向 通路中用到，运动补偿和变长解码则是编码器中运动补偿和变长编码的逆运算， 所以解码器所做的工作实际上是编码器工作的一个部分。 2 1 2 关键算法 考虑到通过帧间运动补偿可以有效压缩数据比特数，视频压缩标准中通常采 用三种类型的图像：帧内图( i 图像) ，预测图( p 图像) 和双向预测图( b 图像) 。 这些图像类型的组织结构十分灵活，可以由编码器的参数决定。运动补偿是减少 帧序列冗余的有效方法，它所用到的运动信息( 用位移矢量或运动矢量来表示) 是通过运动估值算法得到的。 通常有许多运动估值算法，例如像素递归、块匹配等。由于其规律性和软硬 件实现的简单性，块匹配技术是通常采用的更合适的方法。所有