（通信与信息系统专业论文）基于网络传输的视频系统的研究.pdf

摘要 摘要 本文共分两个部分。第一部分提出一种端到端的视频流传输方案，其主要思 想是依据实时传输协议( r t p ) 对压缩视频数据重新分组打包，通过对当前可利用 网络带宽的估算动态调整发送码速率，从而缓解网络拥塞，达到q o s 的要求。 第二部分在分析了h 2 6 3 + 标准的容错工具v r c 编码方法的基础上，提出一种 自适应参考帧选取的两路视频流编码策略。该策略首先去掉了原有v r c 方法中的 同步帧以减少冗余。其次，出现传输错误时，编码器根据系统是多路径还是单路 径的传输方式，自适应地迸行参考帧选取，以迅速恢复出错流的解码状态。对已 经丢失的帧，该方法采用双向运动补偿来预测，以保持帧率稳定。该文还详细分 析了丢包后每一帧可能的编码和解码状态，得到了视频质量下降的目标函数。与 原有v r c 方法相比，新的方法冗余小，恢复错误流状态的速度快，帧率稳定，特 别在单路径传输时，具有更明显的优势。 关键字：图像压缩编码视频传输v r c 编码自适应参考帧选取 i i a b s t r a c t a b s t r a c t t h e r ea r et w op a r t si nt h ep a p e r i nt h ef i r s tp a r t ，av i d e ot r a n s f e rm e t h o dw h i c hi s p o i n tt op o i n ti sp r o p o s e d t h em a i ni d e ai s t op a c kt h ec o m p r e s s e dv i d e od a t ab a s e d r t p t h es y m b o lr a t ec a nb ea d a p t e da c c o r d i n gt ot h ee s t i m a t i o no fu t i l i z i n gb a n d w i d t h i nan e t w o r k t h e ni tc a nr e l a xi n t e r n e tc o n g e s t i o na n dr e a c ht h eo o s r e q u i r e i nt h es e c o n dp a r t ，an o v e lm e t h o db a s e do na d a p t i v er e f e r e n c ep i c t u r es e l e c t i o n ， c a l l e dv r c - r p s 。i sp r o p o s e d 1 1 l em e t h o dr c m o v e so f fs y n c h r o n i z a t i o nf r a m e st o d e c r e a s er e d u n d a n c y w h e np a c k e tl o s so c c u r s ，a l la d a p t i v er e f e r e n c ep i c t u r es e l e c t i o n i se m p l o y e da te n c o d e rt or e c o v e rt h ee l l o rs t r e a m ，a n dab i d i r e c t i o n a li n t e r p o l a t i o no f m o t i o nc o m p e n s a t i o ni su s e da td e c o d e rt op r e d i c tt h el o s tf l a m e s n ep r o p o s e dm e t h o d c a nq u i c k l yr e c o v e rt h ee r r o rs l a t ea n dm a i n t a i nf r a m er a t e sf o rd i s p l a yw h i l el e s s r e d u n d a n c yi s i n c r e a s e d s i m u l a t i o nr e s u l t ss h o wt h a tt h ep r o p o s e dm e t h o dh a s e n h a n c e dt h e p e r f o r m a n c eo fv r ca n di sa p p r o p r i a t e f o r t r a n s m i t t i n gv i d e oi n e r r o r - p r o n ee n v i r o n m e n t k e y w o r d ：v i d e oc o m p r e s s i o nc o d i n g v i d e ot r a n s m i s s i o nv r c a d a p t i v er e f e r e n c ef r a m es e l e c t i o n 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所傲 的任何贡献均己在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生 在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕业 离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。学、 校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论交的全t 部或部分内容，可以允许采用影印、缩印、或其它复制手段保存论文。 ( 保密的论文在解密后遵守此规定) 本人签名： 导师签名： 日期：迦! ：。2 日期：兰1 2 生：! ：12 第一章绪论 第一章绪论 2 1 世纪的人类社会是信息化社会，随着多媒体与网络技术的飞速发展，以前 制约图像通信发展的各种因素正在逐步消失，视频、图像、计算机视觉、多媒体 数据库和计算机网络技术曰益融合，已经渗入到国民经济和社会生活的各个方面。 然而，数字化的视频信息在满足人们需求的同时，对数据传输带宽、数据存 储容量提出了更高的要求。例如，一幅中等分辨率( n t s c 制式，2 4 b i t s p i x e l ) 的 彩色数字视频，其传送速率约为2 2 1 1 m b p s ；而高清晰度电视h d t v 的传输速率 则在i 。2 g b p s 以上。庞大的视频数据给信息的存储和传输都造成了较大的困难，成 为阻碍人类有效的获取和使用信息的瓶颈问题之。 早在上个世纪四十年代末期，人们就已开始着手图象压缩编码技术的研究， 以期达到有效的数据压缩，至今已经走过了近半个世纪的发展历程。从五、六十 年代基本方法的探讨，到七十年代早期可视电话的研究，使得这一领域有了长足 的进展，许多基本的思想和方法都相继被提出。到八十年代前后，顺应信息化潮 流，面向各种应用的开发研究大力开展起来。进入九十年代以后，国际上致力于 标准化的工作，先后制定了一系列视频图象编码标准，如用于视频存储和传输的 m p e g 1 1 1 1 、m p e g - 2 2 、m p e g 4 1 3 1 标准，用于视频会议和可视电话的h 2 6 1 1 4 、 h 2 6 3 1 5 、h 2 6 4 a v c 6 等。这些视频压缩编码标准的制定，同时也极大地促进了 视频压缩编码技术和多媒体通信技术的发展。 叵圈固匡正巫 8 48 6 8 8 9 09 29 49 69 80 00 20 4 图1 1 视频编码国际标准的发展 在i t u 和i s o i e c 所制定的这些标准中，并没有对视频编码的具体算法做硬 性规定，而仅仅是定义了相应的解码方法和比特流语法，使得对于符合某一标准 的压缩码流，所有的解码器都能够得到相同的输出结果。下面我们就对几种典型 的国际视频编码标准做简要介绍。 三一一 茎王旦垒堡塑盟塑塑墨笙塑翌窒 1 1 图像压缩编码的发展概况 一、m p e g 系列标准 1 m p e g 1 m p e g - 1 制订于1 9 9 3 年，是针对数据传输率1 s m b p s 以下的数字存储介质图 像及其伴音编码的国际标准，共分为图像编码、声音编码和系统( 同步和复用) 3 个部分。该标准主要用于在各种数字存储介质上存储同步和彩色运动视频信号。 m p e g 一1 对色差分量采用4 ：1 ：1 的二次采样率，可优化为中等分辨率，并在优化的 模式下采用所谓的标准交换格式( s i f ) ，其视频压缩率约为2 6 ：1 。m p e g 一1 标准采 用了运动估计运动补偿、变换编码等技术，并规定了编码位流的表示语法和具体 解码方法。由于它是针对数字存储的应用而制定的，因此编、解码器是不对称的， 其编码端的复杂度通常要远远高于解码端。 2 m p e g 一2 m p e g 2 标准是由i s o 的m p e g 专家组和n u t 的第1 5 研究组与1 9 9 4 年共 同制定的，全称为“运动图像及其伴音的编码”。m p e g 2 的传输速率为 3 m b p s 1 0 m b p s ，主要针对数字电视和离清晰度电视( i m t v ) 所需要的视频及伴音 信号，此外还兼顾了与a t m 信元的适配问题。 m p e g 2 在m p e g 1 的基础上做了相应的扩展，从多方面提高了编码参数豹 灵活性以及编码性能。它综合采用了运动补偿的帧问预测、空间域离散余弦变换、 自适应量化和可变长编码的混合编码。m p e g 2 视频编码标准是一个分等级的系 列，按编码图像的分辨率分成4 个等级( l e v e l s ) ；按所使用的编码工具的集合分成 五个类别( p r o f i l e s ) 。“等级”与“类别”的若干组合构成m p e g - 2 视频编码标准在 某种特定应用下的子集，对某一输入格式的图像，采用特定集合的压缩编码工具， 产生规定速率范围内的编码码流。因此，m p e g 2 具有很广的应用前景。 3 m p e g 4 在m p e g 一1 和m p e g - 2 之后，i s o 的m p e g 工作组于1 9 9 9 年4 月出台了 m p e g - 4 标准，并在1 9 9 9 年1 2 月提出了第二版的i s o 最终草案。m p e g - 4 提出 了音视频对象( a u d i ov i d e oo b j e c t ，a v o ) 的概念，为各种多媒体应用特别是基于 i n t e m e t 和移动网络的应用提供了理想的工具，如基于内容的编码、错误掩盖和基 于内容的可伸缩性等。与m p e g 前两个图像压缩标准相比，m p e g - 4 为多媒体数 据压缩提供了一个更为广阔的平台，更注重于定义一种格式和框架。它可以将各 种各样的多媒体技术充分应用于编码中，除包括压缩本身的一些工具、算法外， 第一章绪论 还包括图像分析和合成、计算机视觉、计算机图形学、虚拟现实和语音合成技术。 二、h 2 6 x 标准 1 h 2 6 1 h 2 6 1 建议是最早出现的视频编码国际标准，由n u t 第1 5 研究组为在窄带 综合业务数字网上开展双向声像业务( 可视电话、电视会议) 而制定的。该建议 于1 9 9 0 年通过，其全称为“p 6 4 k b i t s 视听业务的视频编解码器”，其中p = l 一3 0 。 h 2 6 1 只对c w 和q c i f 两种图像格式进行处理，采用的算法结合了可减少时间冗 余的帧间预测和可减少空间冗余的d c t 变换的混合编码方法，主要由运动估计 补偿、d c t 变换和h u f f m a n 编码几部分组成。由于该建议主要针对实时业务，因 而希望编，解码延时尽可能小，所以只利用前一帧做参考帧进行前向预测，且编解 码器的复杂程度基本对称。 2 h 2 6 3 h 2 6 3 建议是u 。t 提出的关于码率低于6 4 k b i t s 的窄带电信信道视频编码的 基本算法，于1 9 9 6 年正式通过。它以h 2 6 1 为基础，同时吸收了m p e g 等其他一 些国际标准中有效合理的部分，如半像素精度的运动估计、不受限运动矢量、高 级预测模式、p b 帧等，使其性能优于h 2 6 1 。h 2 6 3 建议不仅着眼于利用p s t n 传 输，而且兼顾g s t n 移动通信等无线业务，作为视频编码，解码的核心算法被广泛 应用于视频电话终端中。 3 h 2 6 4 a v c h 2 6 劬w c 作为面向电视电话、电视会议的新一代编码方式，最初是由h u 组织的视频编码专家组v c e g 于1 9 9 8 年提出的，目标是在同等图像质量条件下， 其压缩效率比任何现有的视频编码标准要提高1 倍以上。直到2 0 0 1 年底，m p e g 组织也加入了r r u t 的v c e g 组织，组成了联合视频专家组( j o i n tv i d e ot e a m ， j v t ) 共同完成制定工作。h 2 6 4 a v c 标准草案于2 0 0 3 年3 月正式获得通过。h 2 6 4 仍基于经典混合编码算法的基本结构，在交换编码、熵编码和运动估计等方面采 用了一系列先进技术，是视频编码技术和图像工程的最新研究成果，其性能超越 了以往所有的视频编码标准，具有光明的应用前景。 1 2 图像压缩编码技术的应用 图像编码一系列国际标准的提出标志着图像编码技术已经成熟，开始由学术 研究转为产业化，前景十分诱人。目前，国外己出现了有线电视公司和通信，计 基于网络传输的视频系统的研究 算机公司之间的相互合作，如：美国最大的有线电视公司和软件公司合作开发交 互式电视等。 图像编码技术对数字电视的发展起着至关重要的作用。数字电视具有图像质 量高、频谱利用率高、可以实现多种业务的动态组合和统计复用、易于加密、具 有可扩展性、可分组性和互操作性、可以灵活组成交互式电视系统等优点。但是 数字电视受到数据量庞大的约束，所以近几年来图像编码研究主要集中在视频压 缩上，已改进数字电视的性能，从而促使各等级的数字电视的成功实现，扩大其 应用领域。以分辨率为基础，数字电视可分为四个等级：可视电话、会议电视、 数字标准清晰度电视和高清晰度电视( 射叽v ) 。 图像编码技术在其它方面同样有很多应用，如： 1 电视计算机( t e l e c o m p u t e r ) 。它是介于电视与计算机之间的应用。它将个 人计算机和电视融为一体，构成一个多媒体工作站。 2 多媒体出版物，包括电子图书，电子报刊等。 3 各种图像信息系统，如指纹库，遥感图像数据库等。 图像压缩技术已经为开创新的应用领域提供了良好的技术基础。如m p e g 4 专家组为m p e g 4 制定的功能目标指出，m p e g 4 的目标不仅是改进的可视电话， 而且应该满足广播，通信，计算机领域相互渗透的要求，以交互性，高压缩比以 及多种存储与通信信道相连为特色，从丽构成现有的国际标准不支持的，全新的 视听应用标准。总之，图像压缩技术为开拓全新的应用领域打下了坚实的基础。 1 3 本文内容介绍以及作者完成的工作 本文简要介绍了视频压缩编码的原理和基本的压缩方法，并在此基础上重点 研究了m p e g 2 视频压缩编码的标准，针对m p e g - 2 提出了一套基于网络传输的 系统硬件实现方案，并对其网络传输部分进行了深入研究。最后，针对无线网络 中传输视频流时，由于丢包而导致视颓质量下降的问题，提出了一种自适应参考 帧选取的两路视频流编码策略。并对通过实验和其他方法进行比较，证明了该策 略的有效性。 本论文章节安排如下： 第一章对图像压缩编码的发展概况作了简单的回顾，并介绍了具体的应用， 再介绍了作者的主要工作。 第二章阐述了图像压缩编码的基本原理和方法，包括变换域编码、预测编码、 变长编码和混合编码等。 第三章详细介绍基于网络传输的m p e g 2 系统的一种硬件方案，在给出系统 设计的基础上，详细讨论了网络传输部分的实现。 第一章绪论 第四章在分析了h 2 6 3 + 标准的容错工具v r c 编码方法的基础上，提出了一种 自适应参考帧选取的两路视频流编码策略。并通过实验和其他方法比较，证明了 该算法的有效性。 第二章图像压缩编码的基本原理和方法7 第二章图像压缩编码的基本原理和方法 2 1 图像压缩编码基本原理方法 2 1 1 人眼的视觉模型 人眼作为图像信息的接受者，是衡量和评判图像质量的最主要的器官。研究 并充分利用人眼的视觉特性，把它作为图像处理系统中的一个环节来考虑，将有 助于提高图像处理系统的性能。这里，我们将主要从有利于提高图像压缩效率和 保证图像质量的角度出发，来分析人眼所具有的特性。 人眼是一个平均半径约2 0 m m 的球状嚣守，它类似于一个线性光学系统。假 设输入图像为f ( x ，y ) ，输出图像为8 ( x ，y ) ，人眼的点扩展函数为h ( x ，y ) ，则： g ，y ) 一j i i “y ) ，g ，y )( 2 1 ) g “，) 一h 似，v ) xf 0 ，v )( 2 2 ) 其中，式( 2 1 ) 一空间域输出函数；式( 2 2 ) 一为空间频率域输出函数。 景物 ，眼睛l 大脑 h 瓦j 1 一g ( 埘) 卜叫 图2 1 视觉模型 经过大量的实验和观测，人们发现人眼具有带通型传输函数的性质，并且人 眼的分辨力是有限的。也就是说，入眼主要对空问分辨率较低的成分敏感，在以 后的讨论中我们将会看到：许多有损压缩技术正是通过在空间频率域去除对入眼 不敏感的高频成分来实现图像压缩的。 此外，运动速度也会影响分辨力，速度大刚分辨力下降，因此入眼对图像的 静止部分要求较高的空间分辨率和较低的时闻分辨率，而对运动图像则恰恰相反。 另一方面，人眼对彩色的分辨能力要比灰度的分辨能力低，如果把刚能分辨出的 黑白相间的条纹换成红绿条纹，贝q 只能看出一片黄色，无法分辨红和绿的条纹。 因此在一些国际标准的数字图像采样格式中，规定彩色分量的空闯分辨率只有灰 度分量的一半，从而有效的减少了原始数据量。 8 基于网络传输的视频系统的研究 2 1 2 变换域编码 由于数字图像在空间域的特征有限，所以希望能够通过某种映射变换，从图 像中提取出一些新的特征，并利用这些特征来实现更有效的压缩编码。用于图像 处理的映射变换应满足三方面的要求：( 1 ) 变换是可逆的。它必须保证图像经变换 后，还可以反变换回来；( 2 ) 变换必须有好处，也就是变换应有利于图像压缩或改 善图像质量；( 3 1 变换算法不复杂，因为很多图像处理系统要求实时处理，算法要 保证一定的运算速度。目前，在图像编码中广泛应用的是二维正交变换。 二维正交变换 假设f ( m ，n ) 是一个m n 的矩阵，g ( m , n ；s ，0 ，h ( s ，t ；m ，n ) 分别表示正反变换核， 则图像从空间域( 即m r 平面) 经某种正交变换转到变换域( 即s t 平面) 的运算可表达 为： f ( s ，f ) 一芝乏，嘲， ，) ( 2 - 3 ) 其中，m 、n 和s 、t 都是整数，他们的取值范围为： 0 m ss m 一1 0 量，1 f n 一1 相反的变换过程则可以表示为： f ( m , n ) 5 互善f o ，f 冲o ，f ；卅，糟) ( 2 4 ) 如果g ( m ，n ；s ，| ) 可表示成：g ( m ，n ；s ，t ) = u ( m ，s 卜，( n ，t ) ，贝0 称g ( m ，n ；s ，0 为可分离变换 核。这时式( 2 3 ) 就可以表示为； 耶力2 磊l 荟，( m 脚卟咖芦) ( 2 - 5 ) 这样二维正交变换就可以分解为双重一维正交变换，即先以n 为变量，对图 像f 细，n ) 中的每一行逐行进行一维变换得到一个中间结果，伽，t i t ) ：在对中闻结果 以m 为变量，逐行进行第二个一维变换，得到最终的变换结果f ( s ，t ) 。上述过程也 适用于反变换。 通过选择不同的正、反变换核，就可以构造出不同的二维正交交换。下面简 单介绍几种常用的二维正交变换，主要包括：离散傅立叶变换( d f t ) 和离散余弦 变换( d c t ) 。 1 离散傅立叶变换( d f t ) 离散傅立叶变换可按级数形式定义为： 第二章图像压缩编码的基本原理和方法9 f ( 蹦) = 了丽im 未- i n 刍- i ，沏，n ) e x p 卜j 训百s l n + 等) ( 2 6 ) 其中，s - - 0 , 1 ，m 1 ；t = 0 ，1 ，2 ，n 15 离散傅立叶反变换可定义为： 觚咖击羹薹脚) e x p j 2 z ( m + 妒t n1 ， 以上两式中，( m ，n ) 为空间域；( s ，t ) 为空间频率域。图像经过离散傅立叶变换之 后，直流分量f ( o ，o ) 正比于图像灰度的平均值，高频分量则表明了图像中的边缘强 度，而且信号盼总能量在保持不变的情况下向低频空问集中，这些特性都非常有 利于压缩编码。但由于d f t 主要为复数域的乘加运算，因此运算量大而不适于在 工程中使用。 2 离散余弦变换( d c t ) 编码 目前，在各种图像编码系统中应用最广泛的二维正交变换就是离散余弦变换。 二维离散余弦( d c t ) 的表达式为： ，( 蹦) 一心) c ( d 砺杀誓篓，伽一o o s 晤伽+ 1 ) 】x c o s 【者( 2 i ，l + 1 沁】( 2 8 ) 其中，s = 0 ，1 ，m 一1 ；t = 0 ，1 2 ，n hc ( s ) ，啪为常系数5 小) ，c 妒 幸蹦川s , t ，4 l i 0 1 t 1 相应的二维离散余弦反变换( i d c t ) 表达式为： 厂，一) - 砺斋m 荟- 1 荟o - i c o ) c 8 妒( 蹦) s 爵( 知+ d t c o s 【者( 加+ 啪】( 2 - 9 ) 。 另外，由于d c t 的变换核是二维分离的，所以在- r 程领域中经常采用两个一 维d c t 来实现二维的d c t 的功能。通常的做法是：先对输入矩阵作行的一维d c r 运算，然后在对中间结果矩阵作列的一维d c t 运算并得到最后的结果。维离散 余弦变换的表达式为； y m 捂酗恻鱼等与蹦矾n d ( 2 _ 1 0 ) _ ) ，( o ) 4 者磊砌) ( 2 - 1 1 ) 一维离散余弦反变换的表达式为： 删a 等+ 居薹y c o s 峰笋，一峨肛，叫力 二维离散余弦变换是从傅立叶交换推导出的，它不仅具有d f t 的能量集中的 特性，而且所有运算均为实数运算，因此在工程领域中比较实用。d c t 已被有关 国际标准指定为标准算法，例如：删t 的h 2 6 1 和h 2 6 3 、i s o 的m p e g - 1 和 1 0 基于网络传输的视频系统的研究 m p e g - 2 等。当然，d c t 算法的复杂度也是个需要解决的问题，在实际应用中多 采用快速算法的f d c t 来实现。f d c t 算法又分为定点制和浮点制的、二维可分离 的和直接二维运算等多种。具体选择何种快速算法，则根据用户的硬件条件、运 算速度的要求以及对变换精度的要求等因素来综合考虑。 量化 经过二维正交变换处理后的图像，在空间频率域表现出能量集中的特性即大 部分信号能量都集中在靠近低频分量的少数变换系数上，而只有- - d , 部分能量分 散在高频变换系数上。因此，考虑人眼的视觉特性，我们可以采取定的措施去 除高频系数以达到压缩图像数据的目的，常用的措施就是量化。量化过程的一般 表达式为： f1 陋e v e l ( x ，y ) i 一0 r e c ( x , y ) f q u a n t ( x ，y ) j ( 2 1 3 ) 其中，r e c 为变换系数；l e v e l 为量化后的系数；q u a n t 为量化电平；( x ，y ) 为 空间频率域坐标；l 】表示截断取整。 可见，满足l r e c icq u a n t 的变换系数都将变为零而被去除。量化电平的选取可 以采取不同的方案：( 1 ) 所有系数采取相同的量化电平：( 2 ) 根据低频系数和高频系 数的位置采用不同的量化电平。比较这两个方案：方案( 1 ) 较简单而且易于实现， 但是显然没有充分利用人眼的视觉特性；方案( 2 ) 则充分利用了人眼对不同频率分 量的敏感性的差别，可以得到更高的压缩效率，但同时也增加了运算、存储和传 输方两的负担。因此，应根据实际要求来确定量化方案，例如：在活动图像编码 中多采用方案( 1 ) 而在静止图像编码中则采用了方案( 2 ) 。 当需要重建图像时，首先应在反变换前进行逆量化，以恢复变换系数的实际 大小。逆量化过程的一般表达式为： l r e c ( x ，y ) h l e v e l ( x ，y ) | ( 2 u a n t ( x ，y ) ( 2 - 1 4 ) 比较( 2 1 3 ) 和( 2 1 4 ) 可以看出，在量化过程中不可避免地存在着量化误差，而 且量化误差就是造成图像质量下降的最主要的原因。此外，量化电平的大小对量 化误差和压缩效率均有影响。一方面，量化电平越大则量化误羞越大；另一方面， 量化电平越大则压缩效率越高。因此造成图像质量与压缩效率之间的矛盾。如何 处理这个矛盾也是一个实际问题。 经过量化后的空间域图像，呈现出稀疏矩阵的性质，即：除了少数非零系数 外，大部分系数都为零，这就为实现压缩提供了条件。压缩系数矩阵的方法是采 用游程编码。 第二章图像压缩编码的基本原理和方法 1 1 游程编码 游程编码的一般思想是：首先对系数矩阵进行扫描，然后用( 游程，系数) 组合 来代替扫描结果中出现的零和紧接着的非零系数，例如：扫描得到 0 ，o , o , o ，一2 ) 的 情况，就可以用( 5 ，2 ) 雕j f l l 合来代替，它表示在连续的5 个零之后为一2 。显然，采 用游程编码后有效的压缩了数据。与游程编码紧密相关的问题是扫描顺序的问题。 理想的情况是，扫描后的零系数尽可能连续出现。因此，根据变换域编码后的图 像在空间域集中的特点，可以采用z i g z a g 方式进行扫描。z i g z a g 扫描方式如图所 刁i ： 图2 2 游程编码举例 图像经d c t 变换后，大部分为零，为了获得较长的连零值，有利于v l c ，对 8 8 块中的系数采用z 字行( 见图2 2 ( a ) ) 的扫描顺序处理数据。以图2 2 凹中的 数据为例，图中显示了三个( 游程，幅值) 对( 1 ，5 ) 、0 ，- 1 ) 、( 5 6 ，1 ) ，其中l 、3 、5 6 分别是游程，即连零的个数，5 , - 1 ，1 分别为幅值，然后对这些数据进行v l c 编码， 进一步减少了编码的数据量。 由于经过正交变换后，非零系数大多集中在低频空间内，而在高频空间内多 为零系数，所以采用z i g z a g 扫描方式，就可以使零系数更加连续出现，保e t 游程 编码的效率。 2 1 3 预测编码 由于在图像序列的相邻帧之间存在很强的相关性，所以通过简单的帧问预测 就可以去除它们之间的重复信息，而仅仅处理差别部分，最终达到压缩的目的。 预测器的原理框图如下： + 一、 0 球 x “ 图2 3 预测器方框图 基于网络传输的视频系统的研究 预测编码分为帧内预测和帧间预测两种： 塑盘一+ _ _ - i 一一 型d c c 卜_ 当前象素 图2 4 帧内预狈9 蜀时所用邻近像素的位置 1 常用的帧内预测编码方案有： ( 1 ) 前值预测，即用) ( 0 的同一扫描行中前面最邻近的亮度抽样值x 。( 如图2 4 所示) 来预测) ( 。： 工。一置 ( 2 - 1 5 ) ( 2 ) 一维预测，即用) ( 0 的同一扫描行中前面已知的几个抽样值来预测) ( 0 ： x oi 口l z l + 口5 r 5 + ( 2 - 1 6 ) ( 3 ) 二维预测，即不但用x d 的同一扫描行以前的几个抽样值( x 1 ，玛，) ， 还要用蜘的以前几行中的抽样值来预测x o 。例如： x o = a l x l + 口2 x 2 + 口5 工5 + 4 j 2 帧问预测方法 帧间预测可以采用过去帧中对应位置象素值来预测当前帧中相应位置的象 素。例如：对于如图2 5 所示的象素捧列，为了预测象索z ，可以采用以下几种方 法进行预测： z - m z ；m + h l z ；h + 坐d 一+ r2 2 图2 5 帧闯预测相邻象素位置 ( 2 1 7 ) ( 2 1 8 ) ( 2 1 9 ) 然而，当图像序列中存在运动时， 设法对运动部分测定其位移量，以位移量 进行运动部分预测，并将此信息传送出去，这就是运动补偿。 常用的运动补偿方法是把图像划分成矩形子块。其主要过程：首先把图像划 分成m n 的子块s 。，然后从前一帧图像中搜索与其最匹配的予块& 并以此检 第二章图像压缩编码的基本原理和方法1 3 测出各子块的位移的方向和大小( 即运动矢量) ，最后将误差信号s 。一s 。和运动矢 量作为编码端的数据一起输出。这种运动补偿的方法基于三个假设：( 1 ) 图像中的 物体只做平移运动，不包括旋转和变形；( 2 ) 物体在相邻帧之间的运动范围是有限 的；( 3 匹配误差随物体远离最优匹配点而单调递增。 运动补偿中最重要的问题是：方块的匹配准则和搜索算法。 目前常用的匹配准则是最小绝对误差准则，该准则的表达式为： 砌( f ，j ) - 薹b o ，) ，) 一s k o + i ，y + f j ( 2 - 2 0 ) 其中，( f ，) 表示运动矢量且( f ，) r ，壤示搜索范围； 此外还有最小均方误差( m s e ) 准则： l 村一，n 一1 2 艘( u ) 。亩荟荟吣y ) 。t o “”叫( 2 - 2 1 ) 在己知匹配的情况下，如何按步骤搜索疆配误差最小的子块就是搜索算法所 要解决的问题。最简单的搜索算法就是全搜索算法。它需要考察落入搜索范围内 所有的方块，因面得到的结果也是理论上最优的。然而，全搜索算法的运算复杂 度太高，必须依赖专用的芯片才能实现。为了摆脱对硬件的依赖，人们提出了各 种快速搜索算法。例如：2 d 对数法、三步法、和四步法等。虽然快速算法得到的 结果不一定是最优的，但仍能得到较好的相似性，所以快速搜索算法是以牺牲搜 索精度来换取运算速度的。 2 1 4 变长编码( v l c ) 图像在经过变换域编码后，最终得到的是游程一系数组合。此时，应为每种 组合情况分配一个代表码字符号，这样在存储和传输时就可以直接传送这些码字。 我们可以采用等长码字，也可以采用不等长码字，由此产生一个问题：采用什么 样的码字形式最有效? 统计表明，各种组合出现的概率并不相等。根据信息论的理论，对概率( 每 秒出现次数) 大的信息符号用短码表示，对概率小的信息符号用长码，刚平均码 长是最短的。 根据该定理，h u f f m a n 于1 9 5 2 年提出了一种最佳编码方法，被称为h u f f m a n 编码方法。由于其码长不固定，也称变长编码法，即v l c ( v a r i a b l e l e n g t h c o d i n g ) 。 在实际应用中，由于很难预先准确的描述信源的统计特性，所以一般檄据经 验概率来设计h u f f m a n 码表。实践证明，这种按照经验预先设计的h u f b a n 码表 也能较好的发挥作用。 兰一 茎主旦塑堡塑堕塑塑墨竺塑婴窒 2 1 5 混合编码 以上讨论了各种编码技术，但在具体应用时应将它们结合起来，才能达到良 好的压缩效果，这就是混合编码。通常，采用预测编码来消除相邻帧之间的时间 相关性，采用变换域编码来消除图像内部的空间相关性，最后采用变长编码以利 用码字的统计特性。这种混合编码方案已获得广泛应用。典型的混合编码方案如 图2 6 所示：m p e g - 1 、m p e g - 2 、h 2 6 1 及h 2 6 3 中就采用了混合编码方案。 图2 6 混合编码方案 2 2m p e g 2 标准简介 i s o 于1 9 8 8 年设立了m p e g 即活动图像专家组，其目标是制定视频压缩、音 频压缩以及多种压缩数据流的复合和同步方面的标准。m p e g 先后制定了 m p e g l l 、m p e g 2 、m p e g 4 和m p e g 7 等标准，以适用于不同方面的应用。m p e g 1 主要是针对数字存储媒体( d s m ) 中声音和图像编码而制定的标准，它的最高码 流速率是1 5 m b s 。由于d s m 一般具有较低的误码率，所阻m p e g 1 标准不能适 应误码率较高的环境。m p e g - 1 主要面向软件处理的应用，采用的是可变包长且包 相对较长。 由于数字存储媒体、电视传播及通信等应用中对运动图像编码方法的需求日 益增长，m p e g 专家组又制定了m p e g 2 标准。m p e g - 2 是m p e g - i 的扩展，它 能够适应不同环境和不同应用中视频和音频编码的需要。与m p e g 1 相比， m p e g 2 在编码性能上有很大的改进，其码流速率可达5 0 m b s ，压缩比高达2 0 0 ：1 。 同一码流中可以传输多道节目，且抗误码能力较强，所以，其码流非常适合在信 道中传输。 m p e g - 2 标准盼正式名称为“i s o i e c l 3 8 t 8 信惠技术一活动图象和褶关声音 信息的一般编码方法”。这个标准由以下1 0 部分组成： 第一部分- - i s o i e c l 3 8 1 8 - 1 ，s y s t e m ：系统。描述多个视频、音频和数据原始 流合成传输流和节目流的方式。 第二部分- - i s o i e c l 3 8 1 8 - 2 ，v i d e o ：视频。描述视频编码方法。 第二章图像压缩编码的基本原理和方法 第三部分- - i s o i e c l 3 8 1 8 3 ，a u d i o 音频。描述与m p e g 1 音频标准反向兼 容的音频编码方法。 第四部分- - 1 s o i e c l 3 8 1 8 4 ，c o m p l i a n c e ：兼容测试。描述钡0 试一个编码码流 是否符合m p e g - 2 码流的方法。 第五部分- - i s o i e c l 3 8 1 8 - 5 ，s o f t w a r e ：软件仿真。描述了m p e g 2 标准第一、 二、三部分的软件实现方法。 第六部分- - i s o i e c l 3 8 1 8 6 ，d s m c c ：数字存储媒体命令与控制。描述交 互式多媒体网络中服务器与用户间的会话信令集。 第七部分- - i s o i e c l 3 8 1 8 7 ，n b c a u d i o ：描述不与m p e g - 1 音频反向兼容的 多通道音频编码。 第八部分- - i s o i e c l 3 8 1 8 ，8 ，1 0b i tv i d e o ：1 0b i t 视频扩展。 第九部分- - i s o i e c l 3 8 1 8 9 ，r e a lt i m ei n t e r f a c e ：传输流的实时接口。 第十部分- - i s o ，m c l 3 8 1 8 1 0 ：d s m - - c cc o n f o r m a n c e ，d s m - - c c 的一致性 扩展。 m p e g 2 标准的核心内容是前三部分：系统、视颓和音频。由于本文主要研究 视频编码方法，所以这里将主要介绍系统和视频部分。 2 2 1m p e g 一2 的系统 m p e g 2 的系统层结构 m _ p e g 2 的系统部分可以理解为m p e g - 1 系统部分的扩展，它除了具有 m p e g 1 系统的应用外。还有自己特殊的应用。例如：通过卫星、电缆和无线频道 等通信信道进行视频和音频数据的传输。这一部分的目的主要是： 定义一个打包后的数据传输的协议； 如何实现编码器、解码器的同步； 数据流如何复接和分接； 如何扰码以便控制有选择地接收； 为此，m p e g - 2 系统层定义了两种码流结构：节目流( p r o g r a ms t r e a m ) 和传 输流( t r a n s p o r ts t r e a m ) 结构，它们分别适用于不同的场合。典型的m p e g - 2 系 统层结构如图3 1 所示。从图中可以看出，两种码流均采用打包复用方式产生。原 始的视频和音频信息经压缩编码后送到m p e g - 2 系统层编码部分。系统层先对压 缩数据流进行打包，形成p e s 数据包。h 塔数据包是节目流租传输流共用的种 数据结构，它除了含有压缩后的视频和音频信息外，还含有一些供解码使用的系 兰 一 苎王旦堡堡塑笪塑塑墨笙塑塑塞 统信息。最后，p e s 数据包由复合器复合成系统节目流和传输流输出。 声音 图2 7m p e g - 2 系统框图 传输流( t s ) 和节目流( p s ) 简介 目流 在m p e g 一2 标准中，将包含经过编码的图像数据、声音数据或用户数据的比 特流称为基本流e s ( e l e m e n t a r ys 臼e a m ) 。e s 经打包后就成为打包基本流p e s ( p a c k e t i z e d e l e m e n t a r y s t r e a m ) 。p e s 包是形成节目流和传输流的基础，多个p e s 包可以复合成一个节目流( p s ) 或一个传输流( t s ) 。节目流( p s ) 是通过简单的 将相关的视频和音频p e s 包与一些必要的系统信息包串连起来形成的，其包长是 可变的。传输流( t s ) 娘形成较节目流要复杂一些，它是将p e s 包分成长度为 1 8 4 b y t e s 的分段，然后将其作为碣包的负载，再加上一些必要的头信息和系统信 息形成的。需要强调指出的是，传输流( t s ) 并不是由节目流( p s ) 组成的，而 是由p e s 复接成的。在一个 i s 中可以包含几个独立的节目，其中的每个p e s 包 都带有一个唯一的包标识符p i d ( p a c k e t i z e di d e n t i f i e r ) ，这样，一个特定节目的所 有t s 包就可根据p i d 从传输流( t s ) 中提取出来。同时，可以向现有的传输流 ( t s ) 中添加新的节目。 鹃中的每个节目都分别和一个独立的时钟相关，而一个p s 中的数据只能和 一个系统时钟同步。m p e g - 2 标准并没有定义个特定t s 的码率，也没有必要向 每个t s 数据包中填充信息。这就是说，如果在个3 4 m b s 的信道上传送3 路8 m b s 的数据，3 4 m b s 信道上空闲的容量可由不包含任何信息的包填充。如果需要的话， 可在以后再添加一路8 m b l s 的数据。 m p e g 2 的节目流( p s ) 与m p e g 1 的系统流兼容，它由有共同时间基准的 一个或多个p e s 组合而成。m p e g 2 的节日流( p s ) 解码器应能够对m p e g - 1 系 统流进行解码。节目流( p s ) 用于相对无误码的环境，适合基于软件的解码处理 第二章图像压缩编码的基本原理和方法1 7 应用，如基于c d - - r o m 的交互式媒体、局域网上的传输、计算机上的软件处理 以及激光盘记录等。 传输流( t s ) 是由一个或多个具有独立时间基准的节目流组合而成。它主要 应用于有误码的环境。由于其包长度是固定的1 8 8 b y t e s ，所以传输流( t s ) 非常 易于直接用硬件进行处理，也适合在各种信道和通讯网中传输。传输流也适合在 a t m 网中传输。在a t m 网中，每个5 3 字节长的a t m 信元中有4 8 个字节用来传 送实际数据，这样，可以用四个a t m 信元来传送个t s 数据包。对传输流可以 进行以下操作： 1 恢复传输流中一个节目的编码数据并对其解码： 2 把含有多个节目的传输流转换成含有单一节目的传输流： 3 把多节目传输流先解复用，然后转换成节日流； 4 从一个或多个传输流中取出一个或多个节目的传输流包，再生成不同的传 输流： 5 把一个节目流转换成传输流，使其能通过有损耗的环境，然后将其恢复成 原来的节日流。 时钟恢复与图像和声音的同步 为了在基于包交换技术的网络上传输数据，必须对解码器中的时钟恢复加以 特别考虑。m p e g 2 的系统时钟s t c ( s y s t e mt i m ec l o c k ) 是2 7 m h z ，它的精确度 必须优于_ + 2 0 p p m 。s t c t 数器长4 2 b j 分为一个9 b i t s 计数器和一个3 3 b i t s 计数器。 9 b i t s 计数器把2 7 m 时钟分频为9 咖z ，然后送往3 3 b i t s 计数器。这个4 2 b i t s 计数器 的输出用作节目肘钟参考p c r ( p r o g r a mc l o c kr e f e r e n c e ) 信息，每秒至少传送1