（电路与系统专业论文）视频编码和传输技术研究.pdf

摘要 y i 艿s 口 l 随着信息处理和传输技术的发展，数字视频技术也已经日趋成熟。数字视 频信号的编码和传输技术是视频通信系统中的核心技术，随着计算机c p u 处理能 力的提高和d s p 技术的发展，越来越多的视频处理采用了基于计算机c p u 的软件 实现和基于d s p 的实现方案。由于i p 网络的迅速发展，越来越多的视频通信应 用都将以i p 网络为主要通信平台。对于特定的应用领域，如何实现视频序列的 压缩算法和网络传输成为系统实现的关键问题。、，矿 论文首先将基于r o i 的分区压缩编码技术应用于动态医学超声图像中，并 结合图像压缩理论，网络传输理论及高速d s p 处理芯片，实现和建立了医学超声 动态图像微小失真的压缩与传输系统。 论文同时对于在网络中流式视频的传输进行了讨论。依据视频编解码方法 提出了“流式视频”处理的机理，并基于m o t i o n j p e g 和m p e g 编码器，分析实 现了“流式视频”的网络实时通信，在实际应用中得到满意的结果。 论文同时在分析实时分布式视频通信系统对通信网的要求的基础上，说明 了可靠的u d p 传输和i p 多址j 。播在视频传输及控制中的应用。同时对无线传 输中的误码问题也作r 探讨。 关键词：视频编码和传输动态医学超声图像m m x 技术数字信号处理器 流式视频i p 多址广播 a b s t r a c t f o l l o w i n g t h e d e v e l o p m e n t o fi n f o r m a t i o n p r o c e s s i n g a n d s i g n a l t r a n s m i s s i o nt e c h n o l o g y ，v i d e oc o d i n g a n dt r a n s m i s s i o n a r ec r i t i c a l t e c h n o l o g i e s i nv i d e oc o m m u n i c a t i o ns y s t e m s 。b e c a u s eo fr a p i di m p r o v e m e n t o fc p u a b i l i t ya n dd e v e l o p m e n t o fd s p t e c h n o l o g y ，m o r ea n dm o r es y s t e m s a r ei m p l e m e n t e db a s e do nc p ua n dd s pt e c h n o l o g i e s 。b e c a u s eo fr a p i d d e v e l o p m e n to fi pn e t w o r k ，m o r e a n dm o r es y s t e m st a k ei pn e t w o r ka st h e i r m a i nc o m m u n i c a t i o np l a t f o r m 。i ts h o u l db eaf o c u st of i n dav i d e o - c o d i n g a l g o r i t h ma n d t r a n s m i s s i o no v e rn e t w o r kf o rs p e c i a la p p l i c a t i o n 。 i nt h i sp a p e r ，a tf i r s t ，b a s e do nt h ep r e v i o u sa c h i e v e m e n t ，p a r t - a r e a t e c h n o l o g yb a s e do nr e g i o n - o f - i n t e r e s t ( r o i ) t oi m a g ec o m p r e s s i o na r e p r o p o s e da n dt e s t e di nd y n a m i c u l t r a s o u n dm e d i c a li m a g e 。c o m b i n i n gw i t h t h et h e o n e so f i m a g ec o m p r e s s i o n ，t h e o r i e s o f s i g n a l t r a n s m i s s i o no n n e t w o r k ，a n dh i g hs p e e dd i g i t a ls i g n a l p r o c a s s o r ( d s p ) ，an e a r - l o s e l e s s c o m p r e s s i o na n dt r a n s m i s s i o ns y s t e mf o rd y n a m i c u l t r a s o u n dm e d i c a li m a g e i sr e a l i z e d 。 d i s c u s s i o ni sa l s o g i v e n o nt h et r a n s m i s s i o no fs t r e a mv i d e oo v e r n e t w o r k 。t h ep r i n c i p l eo fs t r e a mv i d e oh a n d l i n gi sp u tf o r w a r da c c o r d i n gt o m e a n so fv i d e oc o d e c 。a c c o r d i n gt om o t i o n j p e ga n dm p e ge n c o d e r ， r e a l t i m ec o m m u n i c a t i o no fs t r e a mv i d e oi sa n a l y z e da n dr e a l i z e di nn e t w o r k c o m m u n i c a t i o n ，t h er e s u l t sa r es a t i s f a c t o r yi np r a c t i c ea p p l i c a t i o n 。 t h e p a p e rm a k e sa na n a l y s i so nt h en e t w o r kr e q u i r e m e n to fd i s t r i b u t e d v i d e or e a l - t i m et r a n s m i s s i o ns y s t e m s 。o nt h i sb a s i si ti n t r o d u c e sr e l i a b l eu d p a n di pm u l t i c a s ta n dt h e i r a p p l i c a t i o n i nv j d e 0r e a l - t i m et r a n s m i s s i o na n d c o n t r o ls y s t e m 。i ta l s om a k e sa na n a l y s i so ne r r o rc o d ep r o b l e mi n v i d e o w i r e l e s st r a n s m i s s i o n 。 k e y w o r d s ：v i d e oc o d i n ga n d t r a n s m i s s i o n ，d y n a m i cu l t r a s o u n dm e d i c a li m a g e m m x t e c h n o l o g y ，d s p ，s t r e a mv i d e o ，i pm u l t i c a s t 望堡苎里塑堡熊茎查堑塞一 第一章引言 1 1 课题的理论意义和实际意义 随着信息技术的进步，数字图象处理技术得到迅速的发展，应用领域不断 扩大。近年来，各个应用领域对数字图象处理提出了越来越高的要求，促使这门 学科的研究向更高的方向发展，由静态图象处理发展到对序列图象、动态连续图 象的研究。视频信号能够给人们展示出直观而具体的立体形象，这是其他媒体所 无法比拟的。在近2 0 年的数字化革命中，数字视频技术也已经日趋成熟。除了 数字信号有更可靠的形式外，数字表示和传输手段的主要优点是在于它很容易在 同一个网络上提供各种各样的服务，因此，数字视频技术给计算机和通信均提供 了一种真正的“革命性”的方式。 动态图象与静态图象相比，不仅是空间位置的函数，而且是随时间变化的， 包含有运动的信息。当我们用压缩编码的方法有效地解决了动态图象的传输和存 储问题之后，如何进步改善动态图象质量和视觉效果、对动态图象进行分析， 就成为摆在我们面前的一个新的课题。同时，对动态图象进行处理有着广泛的实 际需求和应用前景，例如：改普生物医学中血液循环、心脏跳动、导管进位等 动态影象质量可减少误诊；对公安、银行等监控系统录影片段进行处理和分析， 以协助鉴别疑犯，获取案发过程资料：对卫星摄录图象作分析、进行灾害预报， 等等。因此，动态图象的连续采集和连续处理具有多方面的实用价值。 对于数字视频通信系统，实现的主要瓶颈是对巨大存储量及传输带宽的要 求。例如：数字视频要求比其他媒体大得多的数据率和传输带宽。一个高清晰度 电视信号( 如：a i ) 一h d t v ) 需要每个亮度帧为1 4 4 0 象索行和1 0 5 0 行、每个色 度帧为7 2 0 象素行和5 2 5 行。如果对每个信道采用3 0 帧秒、8 位象素，其 结果的数据率近似为5 4 5m b p s 这表明一个图象所占的空间的确等同于1 0 0 0 倍 文字所占的空间。因此，在视频通信系统中，一方面要尽量提高网络的传输带宽， 另一方面则是要通过减少视频的空间冗余，时间冗余和心理视觉冗余来压缩数据 量。 由于i p 网络的迅速发展，越来越多的视频通信应用都将以i p 网络为主要通 信平台a 在目前的视频通信系统中，视频的压缩和解压缩基本上可以分为口2 t - - 种解决方案：基于c p u 的软件c o d e c 技术、通用多媒体处理器和数字信号处理器 视频编码和传输技术研究 ( d s p ) 。而由于计算机c p u 性能的飞速提高以及d s p 应用的日益广泛，基于c p u 的 软件实现和基于d s p 的解决方案将成为今后视频压缩领域不可忽视的两个方向。 本文针对视频的编码和传输应用，对基于计算机c p u 软件实现和基于d s p 的 两种视频压缩方案从算法、实现上都进行了积极的研究和探索，主要做了以下一 些工作： l 、结合对动态医学超声图象统计特性的分析，在现有的一些视频压缩算 法基础上，建立一种基于医学超声图象框架结构的压缩率高且诊断信息 不丢失、快速的多模式混合压缩算法，满足在有限带宽条件下，高分辨 率动态医学图象传输的要求。并且结合视频压缩理论，网络传输理论及 高速d s p 处理芯片，实现了医学超声动态图象微小失真的压缩与传输系 统。 2 、依据视频编解码方法提出“流式视频”处理的机理，重点讨论了基 于c p u 的软件c o d e c 技术，并基于m o t i o n - j p e g 和m p e g 编码器，以桌 面p c 为平台，分析实现了“流式视频”的网络实时通信，通过m “技术 的应用提高系统的运行速度，使之能够在p c 机上真正实现视频的实时压 缩和传输，在实际应用中得到满意的结果。 3 、 类似m j p e g 的软件实现，笔者还分析实现了基于w i n d o w s 的视频压 缩管理器( v c m ) 的视频压缩传输系统。服务器方的视频压缩和客户机的 解压缩部分都采用了v c m 的软件实现方法。这种帧处理方法使得实时流 式视频的实现更为灵活和方便。在实际应用中，用户根据不同的环境和 要求可以灵活地选择不同的压缩解压缩器，也可以实现视频压缩率和质 量等参数的控制，具有一定的实际意义。 l 、分析讨论了实时分布式视频通信系统对通信网的要求，为了保证网 络带宽和服务质量，在选择视频通信网时，在i p 网上扩展udp 在视 频通信中的应用，分析实现了可靠的u d p 传输和i p 多址广播，同时对 在无线传输时的误码问题也作了探讨。 视频编码和传输技术研究 i 2 论文的内容安排 本论文的第二章主要讨论了视频通信中的编码问题，详尽地介绍了常用的视 频压缩编码算法和视频压缩方案和标准。 第三章主要介绍了基于i p 网络的视频传输，分析了视频传输中的网络带宽和 服务质量问题，在i p 网上扩展了udp 在视频通信中的应用，分析实现了可靠 的u d p 传输和i p 多址广播，同时对在无线传输时的误码问题也作了探讨。 第四章在前两章分析的基础上建立了一套可以对动态图像进行实时处理和传 送的图像处理平台，在这平台上对医学超声动态灰度图像的压缩与传送进行了研 究和探讨，实现了医学超声动态图象微小失真的压缩与传输。 第五章从计算机网络多媒体的角度，分析了多媒体元素中最关键、最难处理 的视频数据处理问题，依据视频编解码方法提出了“流式视频”处理的机理。并 基于m o t i o n j p e g 和m p e g 编码器，分析实现了“流式视频”的网络实时通信， 在实际应用中得到满意的结果。并且还分析实现了基于w i n d o w s 的视频压缩管理 器( v c m ) 的视频压缩传输系统。 第六章对整个论文的内容进行了进一步的分析和总结。 望塑塑坚塑堡塑垫查里塞三 第二章视频压缩编码方案 2 i 视频通信中的编码问题 中国有旬古话，叫“一画抵千言”，说明图像中包含的信息很多，甚至千言 万语也难以表达。长期以来，身在异地的人们一直期望能够借助某种介质进行面 对面的交流。进入9 0 年代后，i n t e r n e t 网络规模呈指数增长，已遍布世界1 8 0 多个国家和地区，它对多媒体数据没有根本性的限制，正是人们所期望的这种介 质。于是，i p 视频通信应运而生并成为通信领域的一个研究热点。随着计算机 技术、网络通信和多媒体技术、特别是视频压缩技术的发展，视频通信将可能成 为i p 网络的主要业务之一。目前，i n t e r n e t 上已经出现了r o d ( 视频点播) 、可 视电话、视频会议等视频通信系统，如m b o n e ( 多播骨干i p 网) 上几乎每周都 有一次视频会议举行。 视频图象简单地说就是一系列在屏幕上快速刷新的连续画面，例如在电视 等视频系统中，n t s c 制式的视频信号以每秒钟3 0 帧的速率刷新，而p a l 制则以 2 5 帧的速率刷新。迄今为止，许多视频的记录、存储和传输仍然是模拟方式的， 例如，我们在电视上所见到的视频是以模拟电信号的形式来记录的，并依靠模拟 调幅的手段在空间传播，再用盒式磁带录象机将其作为模拟信号存放在磁带上。 模拟视频由于其自身的特性，仅提供有限的交互能力，满足不了发展的需求。在 近2 0 年的数字化革命中，数字视频技术也已经日趋成熟。除了数字信号有更可 靠的形式外，数字表示和传输手段的主要优点是在于它很容易在同一个网络上提 供各种各样的服务，因此，数字视频技术给计算机和通信均提供了一种真正的“革 命性”的方式和一般的业务不同，视频是流特性业务，数据量很大。例如，数字 电视图像中的s i f 格式、n t s c 制式、彩色、4 ：4 ：4 采样，每帧的数据量为2 0 2 8 k b ， 每秒的数据流量可达6 0 8 m b ；c c i r 格式、p a l 制式、4 ：4 ：4 采样的彩色视频的 数据流量可达1 4 8 8 m b p s 。实验表明，1 7 6 ) ( 1 4 4 的y u v 原始视频在l o m b p s 的l a n 上传送速率是3 帧秒左右。可见，未压缩的视频在i n t e r n e t 上传输的效果是无 法容忍的，而且会很容易地将i n t e r n e t 资源吞没，造成网络拥塞甚至崩溃。因 此，i p 视频通信的第一步就是视频压缩。 望堡塑里塑堡塑垫苎! 窒三 2 2 常用的视频压缩编码算法 在数字视频通信系统中，视频压缩编码技术是系统的关键技术a 视频压缩 编码的理论基础是信息论。压缩就是从时域、空域两方面去除冗余信息，即将可 推知的确定信息去掉。编码方法大致可分为三类： 绍： ( 1 ) 考虑到图像信源的统计特性采用的预测编码方法、变换编码方法、矢 量量化编码方法、子带一小波编码方法及神经网络编码方法等； ( 2 ) 考虑到视觉特性采用的基于方向滤波的图像编码方法、基于图像轮廓 纹理的编码方法； ( 3 ) 考虑到图像传递的景物特征，采用的分形编码、基于模块的编码方法。 以下首先对图像和视频压缩领域常用的几种经典编码算法进行简单的介 ( 1 ) 预测编码( d p c m ) 由图像的统计特性可知，相邻像素之间有较强的相关性，或者说，其 采样值比较相近。因此，其像素的值可以根据以前己知的几个像素进行预 测。采用预测编码时，传输的不是表示图像像素的实际值，而是预测样本 和实际样本值之差。d p c m 的原理框图如图2 - 1 所示。 图2 - 1d p g m 原理框图 图中工为输入图像在f 。时刻的采样值。z 为根据f 。时刻之前已知的采 样值z ( j = 1 ，- ，2 ，盯一1 ) 对工所作的预测值。e n 为差值信号，也称预测误差， 量化器输出为p 。，量化器的量化误差为q 。在接收端解码器的输出为六， 视频编码和传输技术研究 因此接收端输出与发送端输入之间的误差为： j 工一工：工一( 上+ p 。) ：( 一上) 一气。：g 。一e 。：吼 通过预测编码以后由于预测误差的方差比较小，量化器的动态范围可 以缩小，量化的总数可以减少。实际上，根据相邻像素的已知样本值作线性 或非线性预测，所得误差的方差比原始图像样本值的方差要小，这是d p c m 可以降低编码比特率，实现压缩图像信息的原因。在实际应用于图像压缩领 域的预测编码中，还可以根据预测方法的不同分为前值预测、一维预测和二 维预测等。 ( 2 ) 变换编码 变换编码的基本原理，是将原来在空间域描述的图像信号，通过正交变 换而变换到另一个正交矢量空间( 即变换域) 中进行描述。多数图像的统计 特性表明，经过正交变换得到的变换系数之间的相关性明显下降，并且能量 常常集中在某些低频或低序系数中，因此就可以给小幅值的系数分配较少的 比特位，甚至可以舍去，从而有效地压缩了要传送的数据量。图2 - 2 给出了 变换编码系统的基本结构。 空间 ( 原 图2 - 2 变换编码系统的基本结构框图 信号 图象) 常用的变换编码有k a r h u n e n l o e v e 变换( 简称i ( l t ) 变换、离散f o u r i e r 变换( 简称d f t ) 、离散余弦变换( 简称d ( 、t ) 等。在众多的变换编码中，k l t 是一种最佳变换，其最佳性表现在： 变换后的系数不相关； 望墅塑里塑堡塑垫查旦窒一一一二 数值较大的方差只出现在少数系数中，即在变换域中能量是高度集中 的，这样就有可能在允许的失真度范围内将数据量压缩到最小。 虽然1 ( l t 是统计上的最佳变换，但在实现这个变换时仍存在许多困难。首先， k l t 是由图象信号统计特性唯一确定的，当图象的统计特性不同时，必须重 新计算k it 矩阵；其次，尽管k l t 对于简单的统计模型可以用已知的解析式 表示，但一般来说k l t 的计算没有可行的快速算法。其余的几种正交变换中， d c t 是一种最接近k l t 的变抉，由于d c t 的计算复杂度适中，又有许多快速 算法，因此在图象、视频数据压缩领域中得到了广泛的应用。 变换编码与预测编码相比，算法较为复杂，但没有误码累积和扩散问题， 编码过程中产生的误码只存在于所变换的子图象区域内。 ( 3 ) 变长编码( v l c ) 变长编码是一种无失真编码方法。信息论中已经证明，“若码字长度严 格按照所对应的信息符号出现的概率大小相反的顺序排列，则平均码字长度 一定小于其它任何符号顺序排列方式，即编码是最佳的”。因此，对概率大的 信息符号用短码表示，对概率小的信息符号用长码，则编码后的平均码长是 最短的。 在实际应用中典型的变长编码方法有h u f f m a n 编码和算术编码，它们主 要是用于对相互独立，无相关性的消息序列构成的无记忆信源进行压缩，而 预测编码和变换编码则是根据去除相关性的原理、对有记忆信源进行压缩的。 h u f f m a n 编码是1 9 5 2 年h u f f i a n 提出的对统计独立信源能达到最小平均码长 的编码方法，这种码具有即时性和唯一可译性。编码过程如下； 将信源符号按概率递减顺序排列； 把二个最小的概率相加，作为新符号的概率； 重复步骤和，直到概率和达到i 为止； 在每次合并消息时，对被合并的消息赋以l 和0 或0 和l ； 寻找从每一信源符号到概率为l 处的路径，记录下路径上的l 和0 ； 对每一个符号写出“l ”、“0 ”的序列( 从码树的根到终节点) 。 视频编码和传输技术研究 预测编码、变换编码和变长编码也称为三大经典编码方法。在多媒体系统 的数据压缩中有广泛的应用。有时也被称为“第一代”图像编码技术。“第二代” 图像编码技术是k u n t 等人于1 9 8 5 年提出的。他们认为，“第一代”图像编码技 术是指以信息论和数字信号处理技术为理论基础，旨在去除图像数据中的线性相 关性的一类编码技术。这类技术去除客观和视觉的冗余信息的能力己接近极限， 其压缩比不高，大约在1 0 ：l 左右。而“第二代”图像编码技术是指不局限于信 息论的框架，要求充分利用人的视觉生理心理和图像信源的各种特征，能获得高 压缩比的一类编码技术，其压缩比多在3 0 ：1 至7 0 ：l 之间，有的甚至高达成 1 0 0 ：】。 ( 1 ) 子带图像编码 子带编码技术是一种高质量、高压缩比的图像编码方法。它早已在语 音信号压缩编码中获得了广泛的应用。其基本依据是，语音和图像信号可 以划分为不同的频域段，人眼对不同频域段的敏感程度不同。例如图像信 号的主要能量集中在低频区域，它反映图像的平均亮度，而细节、边缘信 息则集中在高频区域。子带编码的基本思想是利用一滤波器组，通过重复 卷积的方法，经取样将输入信号分解为高频分量和低频分量，然后分别对 高频和低频分量进行量化和编码。解码时，高频分量和低频分量经过插值 和共轭滤波器而合成原信号。子带编码方法是第一代编码方法向第二代编 码方法过渡的桥梁。进行子带编码的一个关键问题，是如何设计共轭滤波 器组，除去混叠频谱分量。 ( 2 ) 基于方向性分解的图像编码技术 人的视觉特性之一，就是视觉通道中神经元具有方向敏感性，它对图像 边缘的检测和感知可分为2 0 到3 0 个方向区间。对图像进行方向分解的主要 目的是为了能更准确、且简单有效地检测和表述图像的边缘信息( 包括位置 信息和形状信息) ，并对图像进行恰当的分离。图像的方向分解就是利用n ( 通 常n 等于8 或1 6 ) 个方向滤波器和一个低通滤波器l 将二维数字图像分解成 n 个方向高通滤波图像和一个低通滤波图像。方向滤波是基于边缘的空域分 布特征与其频域中的分布特征之间相互关系导出来的。由边缘引入的频率分 量虽然分布于整个频域中，但是其绝大部分能量分布于与边缘垂直的方向区 视频编码和传输技术研究 间上。边缘检测可在对应的单扇区中进行。方向分解符合边缘的空域频 域特征和人眼视觉特性，因此，这种编码技术在压缩比高达7 0 ：l 时，仍可 保证较好的图像质量。 ( 3 ) 基于区域分割与合并的图像编码技术 根据图像的空域特征将图像分成纹理和轮廓两部分，然后分别对它们 进行编码。该方法一般可分为三步来完成，即预处理、编码和滤波。预处理 将图像分割成纹理和轮廓两部分。选取分割方法是关键，它直接影响图像编 码的效果。分割之后图像成为一系列相连的小区域。对纹理可采用预测编码 和变换编码，对轮廓则采用链码方法进行编码。这种方法较好地保存了对人 眼十分重要的边缘轮廓信息，因此在压缩比很高时解码图像质量仍然很好， 通常的压缩比可达4 0 ：l 左右。 一般视频编码又可以分为帧内编码和帧间编码两种。帧内编码和帧间编码 具有各自不同的特点，帧内编码是对原始图象数据直接进行编码，它与前一帧的 数据信息无关，在本质上只有空间域的数据压缩，数据量大。帧问编码是对帧间 差值信号进行压缩编码，它与前一帧的数据信息有关，在本质上既有空间域的数 据压缩，也有时间域的数据压缩，数据量小。此外，帧内编码和帧间编码又是相 互制约的。一方面，帧内编码是帧间编码的基础，它对前面的帧间压缩编码所产 生的数据失配进行校正；另一方面，帧内编码的误差会扩散到以后的帧问编码中 去，因而帧内压缩编码的质量在很大程度上决定了整个压缩质量。下面介绍一下 帧间编码帧间预测和运动补偿： d p c m 编码主要是利用同一帧图象中各个象素之间的相关性来对当前值进行 预测，通常称为帧内预测。对于视频图象而言，由于相邻帧之间相隔时间很短， 对应位置的象素值差别不大，即信号在时间轴上的相关性很大。因此和帧间预测 类似，可以利用前一帧相应位置的象素值预测当前帧的象素值，这就是所谓的帧 间预测。 视频编码和传输技术研究 k l 图2 - 3 序列图像中的帧差 由于是活动视频，一般来说，帧间位置严格对应的象素差还比较大，为了进 一步提高预测精度，引入了运动补偿技术，这时，不是简单地传送相邻两帧间相 同位置象素的帧间差值( 如图2 - 3 中所示a 与a 之差) ，而是按照一定的准则， 先估计一个象素或图象子块的运动参数，然后利用估计出的运动参数确定对应的 象素或图象子块，从而获得相邻两帧间的帧间差值( 如图2 - 3 中a 与b 之差) 。 这种方法估计了运动后的帧问相应象素之差，比只是简单地求邻帧相同位置象素 之差要小的多，准确性也得以提高。这种方法在发送端称为运动估计，在接收端 则称为运动补偿，一般简称为运动补偿( m c ) 技术。 按照参加运动估计对象的不同，运动补偿可以分为象素递归法和子块匹配 法两种，通常采用后者，图象子块的大小一般取8 8 ，利用m c 的帧差编码器( 如 图2 - 4 所示) ，设a 为第k 帧某子块，a 为k l 帧对应位置的子块，运动估计完 成对a _ a 中运动像素的帧差统计并由判决器进行判决。若该子块不运动，即帧 差小于某闽值，则输出零帧差，不必进行运动估计。如果帧差大于某阈值，则在 k - 1 帧a 块附近进行搜索运算，直到找出相对于a 块的最小帧差的子块b ，然 后以b 作为相应的运动子块，输出帧差a b 以及该两子块间的相对位置偏移量即 运动矢量。 视频编码和传输技术研究 图2 4m c 帧差编码器框图 零帧差输出 运动矢量 和帧差信号 输出 通过运动补偿，可以在前一帧图像中找到与当前图像块最为相近的一块，然 后对这两块的差值进行编码，从理论上说，差值图像块所含的信息量更少，因此 能够在一定程度上提高压缩比，但是由于运动补偿的运算量比较大，也使压缩速 度和效率受到了限制。 在上面介绍的不同编码算法中，每一种算法都有其优缺点，因此为了有效 地实现视频的压缩编码，合理地选用多种算法进行混合编码很有必要。编码方法 的选择不但要考虑到压缩比、信噪比，还要考虑到算法的复杂性。太复杂的编码 算法可能会产生较高的压缩比，但也会带来较大的计算开销，软件实现时会影响 通信的实时性。现有的多媒体系统也都采用了混合编码的方式进行图像和视频的 压缩，对于不同的应用场合其具体实现的方法也不相同。对视频压缩而言，目前 已有许多为不同的传输码率和应用而设计的编码方案，也出台了一些国际标准。 在这些视频压缩方案和标准中，常用的有i h j p e g 、h 2 6 l 、h 2 6 3 、m p e g 一2 和m p e g 一4 等。 视频编码和传输技术研究 2 3 视频压缩方案和标准 图像编码的研究内容是图像数据压缩，其主要应用领域是图像通信和图像 信息存储。当需要对所传输或存储的图像信息进行高比率压缩时，必须采取复杂 的图像编码技术。但是，如果没有一个共同的标准做基础，不同系统间不能兼容， 除非每一编码方法的各个细节完全相同，否则各系统间的联结十分困难。鉴于这 一状况，国际远程通讯联合会i t u ( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n ) 和国际标准化组织1 s o ( i n t e r n a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n ) 国际电工委员会i e c ( i n t e r n a t i o n a le l e c t r o - t e c h n i c a lc o m m i s s i o n ) 近年来在 全世界范围内积极工作，已经制定并在继续制定一系列静止和活动图像编码的国 际标准，这些标准和建议是在相应领域工作的各国专家合作研究的成果和经验的 总结。由于这些国际标准的出现，图像编码尤其是视频图像编码压缩技术得到了 飞速发展。目前，按照这些标准做的硬件、软件产品和专用集成电路已经在市场 上大量涌现，对现代图像通信的迅速发展及开拓图像编码新的应用领域( 如多媒 体通信、数字高清晰度电视传输等) 发挥了重要作用。下面对j p e g 标准、h 2 6 1 标准、m p e g 标准作一简要介绍。 1 j p e g ( j o i n tp h o t o g r a p h i ce x p e r tg r o u p ) 标准 “联合图像专家组”( j p e g ) 经过5 年的细致工作后，于1 9 9 1 年3 月提出了 i s o c d l 0 9 1 8 号建议草案：“多灰度静止图像的数字压缩编码”。主要内容如下：基 本系统( b a s e l i n es y s t e m ) 提供顺序扫描重建的图像，实现信息有丢失的图像压 缩，而重建图像要达到难以观察出图像损伤的要求。它采用8 8 像素自适应d c t 算法、量化以及霍夫曼型的熵编码器。扩展系统( e x t e n d e ds y s t e m ) 选用累进工 作方式，编码过程采用具有自适应能力的算术编码。无失真的预测编码，采用帧 内预测编码及霍夫曼编码( 或算术编码) ，可保证重建图像数据与原始图像数据完 全相同( 即均方误差等于零) 。采用j p e g 基本系统压缩方案，图像平均压缩比可 达1 6 ：i 。 视频编码和传输技术研究 2 m o t i o n j p e g ( 即运动j p e g ) m j p e g 即m o ti o nj p e g ( 即运动j p e g ) ，是在j p e g 标准上进行扩展的运动图 像序列压缩方法。它将视频序列看成连续的静止图像，逐帧进行帧内压缩，它只 对每一帧图像的数据进行帧内编码，对帧间的冗余信息则不进行压缩( 其原理框 图如图2 - 5 所示) 。与h2 6 1 和m p e g 视频压缩标准相比，m j p e g 具有控制复杂度 低、算法简单、低成本等优点，而且每一帧都可以作为随机访问点，适合于一些 关键场合的应用。但由于m jpeg 没有进行帧间压缩，只是在频域里对人眼 不太敏感的高频分量进行取舍，而在时域里能量仍是均匀分布的，因而得不到较 大的压缩比，较大的压缩比在还原图像时还会产生“z ”字型扫描带来的块状效 应，它形成的数据量很庞大，不能用于一些带宽限制比较大的( 例如普通电话线 传输、n - i s d n 传输等) 多媒体通信系统。一般仅用于jpeg 算法的信号处理 芯片水平已达到可实时完成对运动图像的压缩( 即2 5 帧秒一pal ，3 0 帧秒 ntsc ) 。 图2 - 5m j p e g 的编码框图 3 电视电话会议电视p x 6 4 k b i t s ( c c i t t h 2 6 1 ) 标准 国际电报电话咨询委员会c c i t t ( i n t e r n a t i o n a lt e l e g r a p ha n dt e l e p h o n e c o n s u l t a t i v ec o m i t t e e ) 第1 5 研究组织极进行视频编码和解码器的标准化工作， 于1 9 8 4 年提出“数字基群传输会议电视”的h 1 2 0 建设。其中图像压缩采用“帧 间条件修补法”的预测编码、变字长编码以及梅花型亚抽样内插复原技术。该 研究组又在1 9 8 8 年提出电视电话会议电视的h 2 6 1 建议p 6 4 k b i t s ，p 是 个可变参数，取值为l 到3 0 ，p = i 或2 时，支持四分之一的中间格式( q u a r t e r c o m m o ni n t e r m e d i a t ef o r m a t - - q c i f ) 每秒帧数较低的视频电话：当p 6 时可支 持通用中间格式( c o m m o ni n t e r m e d i a t ef o r m a t c i f ) 每秒较高的电视会议。p 6 4 k b i t s 视频编码压缩算法，是采用混合编码方法，即基于d c t 的变换编码 以及带有运动预测的差分脉冲编码调制( d p c m ) 预测编码方法的混合。在低速时除 视频编码和传输技术研究 。 采用q c i f 外，还可采用亚帧技术，即隔一帧处理一帧，压缩比可达4 8 ：l 。 h 2 6 1 是c c i t t 在1 9 9 0 年7 月通过的建议，也称为p x 6 4 k b s 标准，其应 用目标是会议电视和可视电话。h 2 6 1 标准中包括了 九视频处理部分。主要实现复合模拟视频从数字化、亮度色度分离以及到通 用中间格式c i f 、q c i f 的转换。 九信源编码器。对视频数据进行压缩编码。 。 九视频复合编码器。对视频数据做进一步压缩。 九传输缓冲器与编码控制器。通过控制信源编码器、视频复合编码器的某些 参数，实现码率的调整。 九传输编码器。对缓冲器输出的均匀的数据流进行信道编码。 其中信源编码器是关键部分，整个编码器的基本框图如图2 - 6 所示。 图2 _ 6h 2 6 1 编码器的基本框图 h 2 6 1 视频编码器中采用的是帧间预测编码和变换编码( 二维d c t ) 相结合 的混合编码方法。算法中首先是运动估计和帧间预测( 运动补偿的对象是1 6x 1 6 的像素块) ，其次是将预测得到的预测误差分割为8 8 的块进行d c t 变换， 然后对d c t 系数进行量化和变长编码。 在图2 - 6 所示的编码器框图中，由于局部解码中逆变换i d c t 与解码器中逆 变换可能不匹配，即使是很小的一个误差都会导致图像质量的下降以及后续图像 的误差累积和扩散。为了减少这种误差的累积和扩散，h 2 6 1 规定每处理1 3 2 帧 编码器必须利用帧内方式对图像进行一次刷新。 视频编码和传输技术研究 4 运动图像专家组的m p e g 标准 1 9 9 3 年8 月针对c d r o m 的应用出台了“i 5 m b p s 比特率活动图像和音频编 码”的m p e g 一1 标准。1 9 9 5 年，活动图像专家组为发展数字电视和高清晰度电视， 制定了“2 m b p s 3 0 m b p s 比特率高质量视频和音频编码”的m p e g - 2 标准。为适 应多媒体通信的快速发展，活动图像专家组1 9 9 4 年开始制定新的m p e g 一4 标准。 肝e g 一1 视频压缩标准用于满足日益增长的多媒体存贮与表现的需求，即以种 通用格式在不同的数字存贮介质如c d 、d a t 、硬盘和光盘中表示压缩的视频。 m p e g - 1 视频编码框图如图1 所示。 图2 7m p e g 一1 视频编码的原理框图 比特瘴 m p e g l 为了追求高的压缩效率，去除图像序列的时间冗余度，同时满足多媒体 等应用所必须的随机存取要求，肝e g l 将视频图像序列划分为帧内图( i 帧) ，预 测图( p 帧) 和双向图( b 帧) 三种类型。m p e g - 1 采用运动补偿去除图像序列时间轴 上的冗余度，可使对p 帧和b 帧图像的压缩倍数较i 帧提高三倍。用归e g l 标 准平均压缩比为5 0 ：l 。 塑堡塑里塑堡塑垫查堕塞 一旦 为了满足不同的使用要求，m p e g 一1 采用了灵活的视频流： 1 允许编码端自行选择i 帧的使用频率和在视频流中的位置a 2 允许编码端自行选择任何两帧参考图像之问的b 帧数。 3 编码端的视频流记录格式并不要求与图像显示顺序相一致。 对于一个给定的宏块，编码过程大致可归纳为： 1 选择编码方式。 2 产生宏块的运动补偿预测值，将当前宏块的实际数据减去预测值得到预测 误差信号。 3 将该宏块的预测误差分成8 x 8 的彩色信号分量块，作d c t 变换。 4 对该宏块边信息和量化系数进行编码。 5 重构i 图像和p 图像。 肝e g 一2 主要是针对数字视频广播( d v b ) 、高清晰度电视( h d t v ) 、数字视盘 ( d v d ) 等制定的高于1 5 枷o i t s 运动图像及其伴音的编码标准。其标题为“活动 图像及相关声音信息的通用编码”。m p e g 一2 标准可理解为m p e g l 基础上的进一 步扩展与改进。在肝e g l 基础上，船e g 一2 所做的一个基本扩充就是适合“真正” 的视频应用。考虑到视频信号隔行扫描特点，m p e g 一2 专门设置了“按帧编码” 和“按场编码”两种模式，并相应地对运动补偿和d c t 方式作了扩展，从而显著 提高了压缩编码的效率。考虑到标准的通用性，扩大了重要的参数值，允许有更 大的画面格式、比特率和运动矢量长度。肝e g 一2 系统要求必须保证与m p e g l 系 统的向下兼容，对图像质量和数传率的多层次要求，因此其语法最大的特点在于 其支持格式多，兼容性好并可扩展。m p e g 一2 制订了分辨率从低到高的4 级5 类 共1 1 种单独的技术规范，同一种类不同级别间的图像分辨率和视频码率相差甚 大。m p e g - 2 引入了“档次等级”结构，“档次等级”是通过确定码流中相应的 标题信息及附加信息中的有关参数来给定的。相应的图像序列则可通过编码器压 缩编码形成符合m p e g 一2 规定的码流，用于传输或存贮，以便解码器解码应用， 其编码单元和结构与m p e g 一1 类似。m p e g 一2 允许通过部分解码从一个编码数据流 中得到不同质量等级或不同时空分辨率的视频信号。在编码算法的细化上， 视频编码和传输技术研究 m p e g 一2 补充了非线性量化，l o b 像素编码：采用了更高的系数精度，不同直流系 数和帧内帧间d c t 交流系数的v l c 表。 m p e g 一4 不仅是针对一定比特率下的视频编码，更加注重多媒体系统的交互 性和灵活性。m p e g 一4 试图达到两个目标： 一低比特率下的多媒体通信； 二多工业的多媒体通信的综合。 m p e g 一4 支持各种图片和视频对象编码，具有空间域和时间域可分级性，既 对常规的矩形也对任意形状。各种可视的纹理和静止图片的高效编码是由可视的 纹理模式来支持。m p e g 一4 提供了交互性的最基本机制，对图片或视频内容在压 缩过程中进行灵活的表达和操作，不需在接收端进行进一步的分割或者转换编 码。m p e g 一4 视频编码除了支持m p e g - 1 和m p e g 一2 视频编码的所有功能，还提供 一种基于内容的功能，即对场景中所感兴趣的内容进行识别，有选择地解码和重 建。编码器包含了两个主要部分，形状编码和传统的运动和纹理编码。m p e g 一4 为了支持基于对象的编码，引入了形状编码模：为了支持高效压缩，m p e g 一4 仍然 采用了m p e g 一1 、m p e g 一2 中的变换，预测混合编码框架。支持基于内容的独立编 码和解码是m p e g 一4 视频标准新增功能的精华。 为了实现基于内容的交互功能，i p e g 一4 引入了视频对象平面v o p 的概念。 视频序列的每一帧可分割为一些任意形状的图像区域，每个这样的区域可能包含 感兴趣的特定图像或视频内容。这些区域称为视频对象平面v o p ( v i d e oo b j e c t p l a n e ) 。一个视频对象v 0 是由同v o p 的连续系列构成。每个v o p 的颜色、形 状、运动及纹理信息独立地编码、存储和传输。v o p 标识以及多个v o p 在接收端 如何重新组合为原始序列等相关信息，也要传给解码器。对每个y o p 进行编码传 输形成不同的视频对象层v o l ，在接收时，用户可以根据自己的意向对v o l 进行 合成。这种基于对象的方案，依不同的对象确定v o p ，分别进行编码等处理，不 仅在传输过程中有利于比特流的控制，而且在接收时，可以实现用户交互功能， 即译码器可以根据需要，对v o p 采用不同的组合方式，以获得最后满足要求的重 视频编码和传输技术研究 建对象。在形状编码中，对v o p 边界采用多边形匹配法代替基于块的运动预测， 使用基于宏块的反复填充技术减少活动图像边缘的运动预测误差。采用零树小波 处理静止图像，提高纹理信息编码效率和更精细的可伸缩时，采用基于块的运动 预测和补偿以消除v o p 的时间冗余度，对预测误差和宏块运动矢量同时进行编 码。一般情况下，每个v o p 的形状都是任意的，且其形状及位置随时问的变化而 变化。因此为了对任意形状的v