（电路与系统专业论文）视频压缩和传输技术研究.pdf

摘要 y 3 6 2 3 9 口 近年来，随着数字视频压缩技术水平的提高，多媒体视频通信在实用化方 面取得了迅速发展，并在军事、经济、文化等领域发挥了显著的作用。数字视频 信号的压缩和传输技术是视频通信系统中的核心技术，随着计算机c p u 处理能力 的提高和d s p 技术的发展，越来越多的视频处理采用了基于计算机c p u 的软件实 现和基于d s p 的实现方案，视频应用系统的桌面化和小型化将是今后发展的趋势。 视频会议( 监控) 系统是典型视频通信系统，其视频内容具有帧间相关性极强的 特点，对于这些特定的应用领域，如何找到一种快速、有效、适合软件实现和网 络传输的视频压缩算法成为系统实现的关键问题。j 论文首先对这类特定系统中的视频信号进行统计特性分析，在此基础上将 块增量调制编码( b d m ) 技术和i 列刷新技术应用于视频压缩和传输，提出了结 合b d m 和d c t 的混合编码方案，同时对于在网络中流式视频的传输以及i 列刷新 对于视频数据流的影响和意义进行了讨论。结合m 技术，论文完成了一个针对 视频会议系统、适用于桌面视频压缩和传输的软件系统，对所提出的压缩和传输 算法进行了实现和验证。此外，在算法的提出和验证的基础上，作为视频远程处 理及控制系统的一部分，论文设计完成了一个基于d s p 的视频压缩处理硬件平台。 v 关键词：迓塑互匡缉和传输，i 列刷新，块增量调制。，x 技术，d s p 一、r 一一 a b s t r a c t 叭t ht h ed e v e l o p m e n to fd i g i t a lv i d e oc o m p r e s s i o nt e c h n o l o g y v i d e o c o m m u n i c a t i o ns y s t e mh a sb e e nu s e dm o r ea n dm o r ew i d e l ya n d p l a y s a n i m p o r t a n tr e l ei ns o m ef i e l d ss u c ha sm i l i t a r y ，e c o n o m ya n dc u l t u r e v i d e o c o m p r e s s i o n a n dt r a n s m i s s i o na r e c r i t i c a l t e e h n o l o g i e s i nv i d e o c o m m u n i c a t i o ns y s t e m s b e c a u s eo fr a p i d i m p r o v e m e n to fc p ua b i l i t ya n d d e v e l o p m e n t0 fd s pt e c h n o l o g y ，m o r ea n dm o r es y s t e m sa r ei m p l e m e n t e db a s e d o nc p ua n dd s pt e e h n o l o g i e s v i d e o c o n f e r e n c i n ga n dv i d e om o n i t o rs y s t e m s a r e t w f ) t y p i c a la p p l i c a t i o n s o fv i d e oc o m m u n l c a t i o na n dt h ef r a m e d i f f e r e n c eo ft h e i rv i d e oi ss m a l l - i t sak e yp r o b l e mt of i n dav i d e o c o d i n g s c h e m et h a tm u s tb e f a s t ， e f f e c t i v ea n ds u i t a b l ef o rs o f t w a r e i m p l e m e n t a t i o na n dt r a n s m i s s i o no v e rn e t w o r k i nt h i sp a p e r ，a tf i r s t ，w ea n a l y z et h es t a t i s t i c a lc h a r a c t e r i s t i c s o fi m a g es e q u e n c e si nt h es p e c i a ls y s t e mm e n t i o n e da b o v e o nb a s e do ft h e a n a l y s i s w e u s eh l o c kd e l t am o d u l a t i o n ( b d m ) a n di c o l u m nr e f r e s h m e n t r 。( h n f ，! ( j g y a n dp r o p o s eah y b r i d v i d e o c o d i n gs c h e m et oi m p l e m e n tv i d e o c o m p r e s s i o n d i s q u s s i o ni sa l s og i v e no nt h et r a n s m i s s i o no fs t r e a mv i d e o e v e rn e t w o r ka n dt h ee f f e c to fi c o l u m nr e f r e s h m e n tt ov i d e os t r e a n l u s i n g xt e c h n o l o g y w ei m p l e m e n tas o f t w a r ed e s k t o ps y s t e mo fv i d e oc o m p r e s s i o n a n dt r a n s m i s s i o n ，t h ea l g o r i t h i no fv i d e oc o d i n ga n dt r a n s m i s s i o np r o p o s e d i nt h i sp a p e ra r ep r o v e dt ob es u i t a b l ef o ra p p l i c a t i o n so nd e s k t o pa n d i pn e t w o r k a sap a r to fv i d e op r o c e s s i n ga n dr e m o t ee o n t r o ls y s t e m ，w e a is t ) d e s i g nhh a r d w a r ep l a t f o r mb a s e do nd s pf o rv i d e op r o c e s s i n g k e y w o r d s ：v i d e oc o m p r e s s i o na n dt r a n s m i s s i o n ，i c o l u m nr e f r e s h m e n t ， b l o c kd e lt am o d u l a t i o n ，m 1 ) ( t e c h n o l o g y ，d s p 塑壑垦塑塑堡塑垫銮堑塞 ! 第一章绪论 1 1 多媒体视频通信系统概述及课题的意义 在日常的学习、生活中，人们通过各种各样的媒体来完成信息的传递、存 储，而多媒体指的就是多种信息传播媒体，如视频、音频、图形、文本和动画 等。随着各种技术的发展和社会需求的日益提高，多媒体通信已经成为人们交 流信息的重要手段，例如电视、电话等，可以说，多媒体通信已经应用到了社 会的各个方面，对于人们的工作、学习和生活起着极其重要的作用。 在多媒体所包含的各种形式的信息中，视频具有特殊的地位。据统计，人 类感觉器官接受的各类信息中，约有7 5 是通过视觉系统获取的。视频信号能 够给人们展示出直观而具体的立体形象，这是其他媒体所无法比拟的。视频图 象简单地说就是系列在屏幕上快速刷新的连续画面，例如在电视等视频系统 中，n t s c 制式的视频信号以每秒钟3 0 帧的速率刷新，而p a l 制则以2 5 帧的速 率刷新。迄今为止，许多视频的记录、存储和传输仍然是模拟方式的，例如， 我们在电视上所见到的视频是以模拟电信号的形式来记录的，并依靠模拟调幅 的手段在空间传播，再用盒式磁带录象机将其作为模拟信号存放在磁带上。模 拟视频由于其自身的特性，仅提供有限的交互能力，满足不了发展的需求。在 近? ( ) 年的数字化革命中，数字视频技术也已经日趋成熟。除了数字信号有更可 靠的形式外，数字表示和传输手段的主要优点是在于它很容易在同一个网络上 提供各种各样的服务，因此，数字视频技术给计算机和通信均提供了一种真正 的“革命性”的方式。 对于数字视频通信系统，实现的主要瓶颈是对巨大存储量及传输带宽的要 求。例如：数字视频要求比其他媒体大得多的数据率和传输带宽。一个高清晰 度电视信号( 如，a d h d t v ) 需要每个亮度帧为1 4 4 0 象素行和1 0 5 0 行、每个 色度帧为7 2 0 象索j 亍和5 2 , 5 行。如果对每个信道采用3 0 帧秒、8 位象索， 其结果的数据率近似为5 4 5 m b p s ，这表明一个图象所占的空间的确等同于1 0 0 0 倍文字所占的空间。因此，在视频通信系统中，一方面要尽量提高网络的传输 带宽，男一方面则是要通过减少视频的空间冗余、时间冗余和心理视觉冗余来 压缩数据量。 望塑堡塑塑生塑垫查堑壅! 展起来。实际上，商用的电视会议、视频监控、可视电话等都属于视频会议系统 的范畴，在视频的压缩和传输方面有以下些发展趋势： 在现有的视频会议系统中，采用的视频压缩方法有m j - p e g 、h 2 6 1 、h 2 6 3 等，这些压缩算法都相对复杂，虽然可以利用专用的硬件设备加以实现， 但不可避免地增加了系统的复杂度和成本，在定程度上限制了产品的实 际应用。随着视频会议及相关技术的进一步提高和现代社会交流需要的日 益增强，视频会议系统越来越向着低成本和桌面化的方向发展。 由于i pf 网络的迅速发展，包括视频会议系统在内的越来越多的视频通信 j 立用都将以i p 网络为主要的通信平台( 如基于i p 网络的桌面视频会议、 i p 可视电话等) 。 在目前的视频会议系统等视频通信系统中，视频的压缩和解压缩基本上可 以分为以下三种解决方案：基于c p u 的软件c o d e c 技术、通用多媒体处理 器和数字信号处理器( d s p ) 。而由于计算机c p u 性能的飞速提高以及d s p 应用的曰益广泛，基于c p u 的软件实现和基于d s p 的解决方案将成为今后 视频压缩领域不可忽视的两个方向。 本文针对视频会议( 监控) 系统的应用，主要做了以下一些工作： i 、结合对视频会议( 监控) 系统中视频统计特性的分析，在现有的一些视 频压缩算法基础上，提出在这类视频压缩中采用块增量调制( b d m ) 编 码方法，并在视频压缩过程中用i 列刷新代替传统的i 帧刷新方式，提 出适用于软件实现和网络传输、基于b d m 和d c t 的混合视频压缩算法： 2 、根据所提出的视频压缩算法，以桌面p c 为平台，设计实现一个基于客 户h e 务器架构的桌面视频压缩和传输系统，通过协“技术的应用和对 d c t 算法的优化提高系统的运行速度，使之能够在p c 机上真正实现视频 的实时压缩和传输，同时，通过该系统也对视频压缩算法进行了验证； ： 、在此基础上，作为视频远程处理和控制系统课题的一部分，本文还设计 完成了基于d s p 的视频压缩处理硬件平台，对于设计的具体内容进行了 详细的分析和讨论。 可以说，本文对基于计算机c p u 软件实现和基于d s p 的两种视频压缩方案 从算法、实现上都进行了积极的研究和探索，对于视频会议( 监控) 等应用具有 一定的实际意义。 1 2 论文的内容安排 本论文的第二章主要介绍了现有的视频压缩算法和标准，而后根据视频会 议系统中视频信号的统计特性分析提出将块增量调制编码技术用于这类视频的 压缩，同时提出了一个适用于特定应用场合的混合视频压缩方案并结合具体数 据对这种编码方案进行了详细分析。 第三章根据i p 网络中流式视频传输的概念，对实时应用中视频数据传输 的时延、数据量进行了分析，同时以实验数据为依据，比较了i 列刷新和i 帧 刷新两种刷新方式，指出i 列刷新方式更有利于视频数据的平稳和实时传输。 第四章在前两章分析的基础上结合m m x “技术用软件实现了一个适用于桌 面视频会议( 监控) 应用的实时视频压缩和传输系统，通过姒炉技术的应用和 压缩算法的优化大大提高了系统的性能，结果证明论文所提出的算法和方案对 于特定视频应用环境具育一定的实用性。 第五章结合视频远程处理和控制系统的课题，着重介绍了基于d s p 的视频 处理硬件平台的设计。 第六章对整个论文的内容进行了进一步的分析和总结。 一一一 望塑垦丝塑堡塑垫查墅塞 一4 第二章基于统计特性的视频压缩编码方案 2 1 常用的视频压缩编码算法和标准 在数字视频通信系统中，视频压缩编码技术是系统的关键技术。一般的视 颁编码可以分为帧内编码和帧间编码两种。帧内编码和帧间编码具有各自不同的 特点，帧内编码是对原始图象数据直接进行编码，它与前一帧的数据信息无关， 在本质上只有空间域的数据压缩，数据量大。帧间编码是对帧问差值信号进行压 缩编码，它与前帧的数据信息有关，在本质上既有空间域的数据压缩，也有时 间域的数据压缩，数据量小。此外，帧内编码和帧间编码又是相互制约的。方 丽，帧内编码是帧问编码的基础，它对前面的帧间压缩编码所产生的数据失配进 行校正：另一方面，帧内编码的误差会扩散到以后的帧间编码中去，因而帧内压 缩编码的质量在很大程度上决定了整个压缩质量。 在各种编码算法中，变换编码、预测编码和变长编码是最重要的，在多媒 体系统的数据压缩中也有广泛的应用。以下对图像和视频压缩领域常用的几种编 码算法进行简单的介绍： ( 1 ) 预测编码( d p c m ) 由图像的统计特性可知，相邻像素之间有较强的相关性，或者说，其 采洋值比较相近。因此，其像素的值可以根据以前已知的几个像素进行预 测。采用预测编码时，传输的不是表示图像像素的实际值，而是预测样本 和实际样本值之差。d p c m 的原理框图如图2 一l 所示。 图2 1d p c m 原理框图 视频压缩和传输技术研究 图中i ，为输入图像在f 。时刻的采样值。五为根据f 。时刻之前己知的采 样值i ( i = 1 ，2 ， 一1 ) 对 所作的预测值。p 。为差值信号，也称预测误差， 量化器输出为p 。，量化器的量化误差为吼。在接收端解码器的输出为工， 因此接收端输出与发送端输入之间的误差为： f f q ：f 。一0 f 。十e 。t ) ：l f 。一j i ) 一e n 7 = e 。一e 。1 ：q 。 通过预测编码以后，由于预测误差的方差比较小，量化器的动态范围 可以缩小，量化的总数可以减少。实际上，根据相邻像素的已知样本值作 线性或非线性预测，所得误差的方差比原始图像样本值的方差要小，这是 1 ) p c y l 可以降低编码比特率，实现压缩图像信息的原因。在实际应用于图像 压缩领域的预测编码中，还可以根据预测方法的不同分为前值预测、一维 预测和二维预测等。 f 2 ) 变换编码 变换编码的基本原理，是将原来在空间域描述的图像信号，通过正交 变换而变换到令一个正交矢量空间( 即变换域) 中进行描述。多数图像的 统计特性表明，经过正交变换得到的变换系数之间的相关性明显下降，并 且能量常常集中在某些低频或低序系数中，因此就可以给小幅值的系数分 配较少的比特泣，甚至可以舍去，从而有效地压缩了要传送的数据量。图2 2 给出了变换编码系统的基本结构。 空间 i 原 图2 - 2 变换编码系统的基本结构框图 信号 图象) 常用的变换编码有k a r h u n e n - l o e v e 变换( 简称k l t ) 变换、离散f o u r i e r 变换( 简称d f t ) 、离敖余弦变换( 简称d c t ) 等。在众多的变换编码中， 堡塑垦塑塑堡塑基查堡塑 一6 k l t 是一种最佳变换，其最佳性表现在： ( i ) 变换后的系数不相关； 数值较大的方差只出现在少数系数中，即在变换域中能量是高度集 中的，这样就有可能在允许的失真度范围内将数据量压缩到最小。 虽然k l t 是统计上的最佳变换，但在实现这个变换时仍存在许多困 难。首先，k l t 是由图象信号统计特性唯一确定的，当图象的统计特性不 同时，必须重新计算k l t 矩阵；其次，尽管k l t 对于简单的统计模型可以 用已知的解析式表示，但一般来说k l t 的计算没有可行的快速算法。其余 的几种正交变换中，d c t 是一种最接近k l t 的变换，由于d c t 的计算复杂 度适中，又有许多快速算法，因此在图象、视频数据压缩领域中得到了广 泛的应用。 变换编码与预测编码相比，算法较为复杂，但没有误码累积和扩散问 题，编码过程中产生的误码只存在于所变换的子图象区域内。 ( 3 ) 变长编码( v l c ) 变长编码是一种无失真编码方法。信息论中已经证明，“若码字长度 严格按照所对应的信息符号出现的概率大小相反的顺序排列，则平均码字 长度一定小于其它任何符号顺序排列方式，即编码是最佳的”。因此，对 概率大的信息符号用短码表示，对概率小的信息符号用长码，则编码后的 平均码长是最短的。 在实际应用中典型的变长编码方法有h u f f m a n 编码和算术编码，它们 主要是用于对相互独立，无相关性的消息序列构成的无记忆信源进行压 缩，而预测编码和变换编码则是根据去除相关性的原理、对有记忆信源进 行压缩的。h u f f m a n 编码是1 9 5 2 年h u f f m a n 提出的对统计独立信源能达到 最小平均码长的编码方法，这种码具有即时性和唯可译性，编码过程如 下： 、d 斗辱信源符号按概率递减顺序排列； 、毋把二个最小的概率相加，作为新符号的概率； 、：d 重复步骤和，直到概率和达到l 为止； ! ! 堡塑塑堡塑茎查堑茎 ： 在每次合并消息时，对被合并的消息赋以l 和0 或0 和l ： ( 5 j 寻找从每一信源符号到概率为1 处的路径，记录下路径上的1 和0 ： 对每一个符号写出“1 ”、0 的序列( 从码树的根到终节点) 。 ( 4 ) 帧间预测和运动补偿 d p c m 编码主要是利用同一帧图象中各个象素之间的相关性来对当前 值进行预测，通常称为帧内预测。对于视频图象而言，由于相邻帧之间相 隔时间很短，对应位置的象素值差别不大，即信号在时间轴上的相关性很 大。因此和帧间预测类似，可以利用前一帧相应位置的象素值预测当前帧 的象素值，这就是所谓的帧问预测。 臣 l a il h h li k 由于是活动视频，一般来说，帧间位置严格对应的象素差还比较大， 为了迸一步提高预测精度，引入了运动补偿技术，这时，不是简单地传送 相邻两帧间相同位置象素的帧间差值( 如图2 - 3 中所示a 与a 之差) ，而 是按照一定的准则，先估计个象素或图象子块的运动参数，然后利用估 计出的运动参数确定对应的象素或图象子块，从而获得相邻两帧间的帧间 差值( 如图2 一： 中a 与b 之差) 。这种方法估计了运动盾的帧间相应象素 之差，比只是简单地求邻帧相同位置象素之差要小的多，准确性也得以提 高。这种方法在发送端称为运动估计，在接收端则称为运动补偿，一般简 称为运动补偿( m c ) 技术。 按照参加运动估计对象的不同，运动补偿可以分为象索递归法和子块 匹配法两种，通常采用后者，图象子块的大小一般取8 8 ，利用m c 的帧 一堡璺蹙塑翌堡塑垫垄堑皇 ! 差编码器( 如图2 - 4 所示) ，设a 为第k 帧莱予块，a 为k - 1 帧对应位置 的子块，运动估计完成对a - a 中运动像素的帧差统计并由判决器进行判 决。若该予块不运动，即帧差小予某闽值，则输出零帧差，不必进行运动 煞汁。妇果帧蓑大予某阚馕，则在k i 帧a 块附近进行搜索运算，点到 技恕据对予a 块靛最小梭蓑款子块b ，然麓以b 筝为攘庭的运动予块，竣 宙赖差a - 8 以投该两予块蠲兹耱对位嚣镰移耋辩运动矢量。 图2 4 淝帧差编码器椴图 誉帧差输出 运动矢量 和帧蔗信号 输出 通过运动 傣，可以在前一帧图像中找到与当前图像块最为相近的一 块，然后对这鼹块懿差篷避行编粥，从理论上说，差值图像块所会的信息 蠢更少，因此能够在定程度上提高篷缀毙，但是虫子运动羚偿趣运算量 比较大，也僚压缩速度和效率受弱了龌澍。 奄上瑟介绍的不溺编码雾法中，每一耱舅法都有其饯缺点，因此为了有效 地实现视颁的压缩编礴，合理建造用多种算法遴行混合编玛缀有必要。瑗有豹 多媒体系统也都采用了混合编码的方式进行图像和褫额静压缩，对予不弼懿应 用场合其舆体实现的方法也不相间。对视频聪缩而言，目前醴有许多为不同鹃 传输码率和应用而设计的编码方案，也出台了一些国际标准。在这些视频压缩 方褰祁标准中，常用的有瓶j p e g 、h 2 6 i 、i i 2 6 3 、m p e g 一2 芹种e g 一4 等。以下对 袭褪额会议系统中应用较多、比较典型的灯p e g 和 l2 6 1 作简单的介绍： t p e ，6 即豫、t i 。nj p e g ( 颦运动归e g ) ，是在j p 琶g 标准上进行扩展的运动 图像序弼雁缩方法。它只对每一峻墨像熬数撰进行骥悫编码，对帧阅的咒余信 息则不进行压缩( 其艨瑷框图如圈2 - 5 掰示) 。与珏2 6 1 帮m p e g 视叛压臻标准 相比，m i p e g 具有控制复杂度低、算法简单、低成本等优点，而且每一帧都可 以作为随机访问点，适合于一些关键场合的应用。但由于没有进行帧间压缩， m j p e g 的压缩率比较低，不能用于一些带宽限制比较大的( 例如普通电话线传 输、n - i s d n 传输等) 多媒体通信系统。 5 巡生怔 臣) 臣p 图2 - 5m 2 p e g 的编码框图 h 2 6 1 是c c i t t 在1 9 9 0 年7 月通过的建议，也称为p x 6 4 k b s 标准，其应 用目标是会议电视和可视电话。h 2 6 1 标准中包括了 视频处理部分。主要实现复合模拟视频从数字化、亮度色度分离以及到 通用中间格式c i f 、q c i f 的转换。 信源编码器。对视频数据进行压缩编码。 视频复合编码器。对视频数据做进步压缩。 传输缓冲器与编码控制器。通过控制信源编码器、视频复合编码器的某 些参数，实现码率的调整。 传输编码器。对缓冲器输出的均匀的数据流进行信道编码。 其中信源编码器是关键部分，整个编码器的基本框图如图2 - 6 所示。 图2 _ 6h 2 6 1 编码器的基本框图 h 2 6 1 视频编码器中采用的是帧间预测编码和变换编码( 二维d c t ) 相结 合的混合编码方法。算法中首先是运动估计和帧间预测( 运动补偿的对象是1 6 x 1 6 的像素块) ，其次是将预测得到的预测误差分割为8 8 的块进行d c t 变换， 然f 焉列b c t 系数进行量化和变长编码。 在图2 6 所示的编码器框图中，由于局部解码中逆变换i d c t 与解码器中 逆变换可能不匹配，即使是很小的一个误差都会导致图像质量的下降以及后续 图像的误差累积和扩散。为了减少这种误差的累积和扩散，h 2 6 l 规定每处理1 3 2 帧编码器必须利用帧内方式对图像进行一次刷新。 视频压缩和传输技术研究 2 2 图象块分类器的设计和视频统计特性分析 在视频会议系统( 包括可视电话、视频监控系统等) 中，由于其特定的应 用环境，景物比较单纯，而且通常具有大面积的相对静止背景，因此视频图象 序列具有图象内容变化小、帧间相关性极大的特点。例如图2 - ? 中( a ) 和( b ) 是个视频会议系统中视频的相邻两帧，而( c ) 则是这两帧的差分图像，即： c ( ，- ，) = p ( t ，) - a ( i ，剜 可以看出，前后两帧图像中有相当一部分区域是基本不变的，因此为了有 效地进行编码和压缩，必须充分考虑到视频的上述特点，对不同的图像块采用 不同的编码方式进行处理，尤其对背景区域应该采用速度快、压缩比高的编码 方法。 ( c ) 图2 7 相邻帧图像及其差分图像 要有效地对每个8 x8 的图像子块进行压缩，首先需要根据图像子块的 时间差分统计特性设计一个块分类器选择合适的编码方式。实际上有许多分析 方法可以用于区分视频序列中的背景部分和运动部分( 即动静识别和运动物体 分割) ，但是为了简化计算，在此采用了一种简单的统计方法：以和仃：两个 统计参数来衡量每一个图像块并作为图像块分类器判决的依据。其中“表示帧 间差值的平均值，而盯：则表示帧间差值的标准方差。u 和仃2 的定义如下： h - i n - 1 d ( i ) 2 业务一 0 1 - 1 d ( ，) 一 2 忙0 ，2 0 2 。可_ 在上面的定义式中d ( i ，) = b ( i ，) 一a q ，j ) 表示相邻两帧数据块的差值 ( 7 ，) 和d ( ，) 分别是当前帧和前帧中同一位置的数据块。当取8 8 图像块 进行处理时，上式中n = 8 。 根据参数卢和口2 值的不同取值，通过合理选定阈值t h l 和t h 2 可以将一 个图像差分块判定为以下几种情况之一 1 j 盯：t i l l 且u t h 2 。说明在当前图像块位置上，前后两帧的数据变化 不大，因此如果将当前帧的图像块数据替换成前一帧相应位置的数据， 对于观察者的视觉效果没有太大的影响。这种情况一般出现在视频中的 背景部分以及物体的静止部分。 f i ) c r2 t i l l 且“ t h 2 。说明在当前图像块位置上，前后两帧的数据变化 较大，但这种变化是有规律的，通常是由于图像中光源的变化而引起的 图像块数值的均匀变化。对于这种情况，如果图像块数据的变化大小己 知，则可以根据前一帧的数据恢复出当前帧中的相应数据。 o 。，j 二 t h l 。说明在当前图像块位置上，前后两帧的数据变化较大，可以 认为是图像中的运动部分。 参数中口二的大小是区分图象块运动与否的主要依据，因此对于和，文 一一 一堡鉴篷篓塑篓整垫蕊矍塞 竖 中绞称为鹜景块，薅则稔必运动块。由予为了说明视频会议系统中视频的统 汁铸性，论文选取了一段会议邀巍中典型豹视频段避孬测试势橱( 论文中的其 缝帮分建戳渡獠鬃羧麓分辨测试怼象) 。该橇皴段楚蠢3 0 0 峻靛零像黪魏，强像 漪大小为2 4 0 x1 7 6 ，蠢j 遨每一赖中餐6 6 0 个8 x 8 浆霭像块。逶避选取不同懿t h i 德，可以统计国每筷闰像中豹鬻景块数。圈2 - 8 所示就楚农豫1 分别麓4 衽 1 6 的情况下襁频序硎中背豢块数黛纯盼魏线。从闰中可融看磁，穰攒所谈诗豹 图像块分类器，这类视频豳像中的楣治一部分可滥被确定为鬻景块，丽嚣随着 阑楚t h l 麴增大，鹜景块磁图像中所占的比例也媚应增加。在t h l = 1 6 的情况下， 擎均每犊中露1 2 个瑟襞块，约占总数的3 4 。因此这些所占比例较大并髓 爨蠢磷显姆煮瓣爨象块，其隳缀遮度、纛缤搴怼予懿个视频聪销装统的实现效 率有饕缀大驹彰响。 帮 蘩 嫒 数 图2 - 8 视频序列圈象中背景块数与阚值t h l 的关系 视频压缩和传输技术研究 2 3 块增量调制编码技术( b 蹦) 增量调制( d e l t am o d u a t i o n ，简称d m ) 编码指的是用于对相邻元素间数 值变化缓慢的数据进行的一种压缩编码技术。例如对于一些自然图象，由于在 一个较大区域内象素值的变化很小，因此可以采用增量调制编码的方式进行图 象压缩，这时候压缩码流中存储的不是象素的实际值，而是相邻象素差值或者 差值的代码。由于差值的范围较小，在码流中可以用更少的比特数来表示从而 达到数据压缩的目的。但通常所说的增量调制编码只是对维数据进行的压缩， 而且压缩率并不高，对于视频压缩没有太大的意义。 对于视频信号帧问冗余的消除，差分脉冲编码调制( d p 叫) 是一种简单而 且有效的方法，但是其压缩率仍然比较低：通常应用的帧间补偿方法则由于其 算法的复杂而大大提高了对系统实现的成本要求。根据视频会议系统中视频图 像的特点并基于增量调制的基本原理，我们提出在视频信号中采用一种新的编 码方式：以8 8 的图像块为处理单元，对时间轴上相邻图像块的差分值进行编 码。这种编码方法称为块增量调制编码。实验结果证明，对于这类视频信号采 用块增量调制( b l o c kd e l t am o d u l a t i o n ，简称b d m ) 的编码方法可以达到很好 的压缩效果。 b d m 编解码的方法和步骤为： o 编码端计算相邻两帧中对应8 8 图像块6 ( j ，) 和a ( f ，j ) 的差值，得到差 。求差分块的统计平均值2 d ( f ) 国根据“的值输出9 比特的编码结果：其中1 比特表示的符号，8 比特 表示“的绝对值： o 解码端接收到数据后，从码流中恢复出的数值 。将前一帧的对应图像块数据与a 相加，得到当前帧图像块的数据。 视频压缩和传输技术研究 例如对于图2 - 9 ( a ) 所示的8 x 8 图像差分块，通过计算可以得到其均值 一2 2 7 3 2 h 1 ，取整后为2 7 ，若符号位以1 表示正数，0 表示负数，则编码后的结 果为1 0 0 0 1 1 0 1 l h 。解码端解码后的差分数据块如图2 - 9 ( b ) 所示，每个元素值 均为2 7 而前一帧的图像块数据与差分块数据相加就可以得到恢复的当前帧图像 块数据。与其它压缩方法相比，自适应块增量调制编码具有以下一些优点： 压缩率高。根据上述方法，每一个8 8 的图像块采用b d m 编码之后得到 的敬掘量只有9 比特，其压缩比可以达到5 7 倍； 与其他块编码方法( 如d c t 变换编码) 相比算法简单，速度快； 编码和解码是对称的，有利于软件的实现，而且计算非常有规律，可以采 用删x 等方法进行优化处理。 2 9 2 62 82 92 82 72 72 3 2 6 2 72 72 52 82 82 72 8 3 43 12 52 52 93 02 22 1 2 02 32 52 52 82 73 13 2 3 03 33 13 43 53 2 2 52 4 1 62 32 93 02 23 23 33 4 2 72 92 82 72 52 52 7 2 7 2 42 2 2 62 82 7 2 9 3 02 4 ( a ) 原始数据 2 72 72 72 72 7 2 7 2 7 2 7 2 72 72 72 72 72 72 7 2 7 2 7 2 7 2 7 2 72 7 2 72 7 2 7 2 72 72 7 2 72 72 72 72 7 2 7 2 72 72 72 7 2 72 72 7 2 72 7 2 72 72 7 2 72 72 7 2 7 2 7 2 72 72 7 2 72 72 7 2 7 2 72 72 72 7 2 7 2 7 2 7 ( b ) 恢复数据 图2 - 9b d m 编码示例 很明显，这种编码方式是有失真的，如果帧间差分数据块中的数据波动较 j 、r 。1 一般州，j ；i 的数值大小进行判定) 则不适于采用块调制技术进行编码，否 则将会在解码端恢复的图象中产生较为明显的方块效应。实际上，这种编码方式 的本质在于保留图象变化的直流分量，对于图象细节的变化( 即差分数据中的高 视频压缩和传辅技术研究 频信息) 则不予考虑，因此其应用条件也是有限制的，即图象中只发生了微小的 细节变化。由于在视频会议系统或视频监控系统的视频信号中许多背景块在帧间 变化比较小，或者局部区域内的帧间变化是比较均匀的，而且背景部分所表达的 只是很少的信息量，其编码过程产生的失真对于接收端使用者对于视频内容的理 解并不会产生太大的影响，因此这种编码方式可以应用于具有类似统计特性的视 频信号中背景块的压缩。总之，从人的视觉机理和视频信号本身的特性来看，这 种有损压缩对于具体应用是可以接受的。 由于b i n 编码是一种有失真的编码技术，采用这种编码方式进行压缩必然 涉技到图像的失真问题。以下在8 8 图像块的范围内就b d m 编码的图像质量进 行分析： 设6 ( l ，) 和臼( f ，) 分别是编码端第k 帧和第k - 1 帧中对应位置的8 8 图像 块，d ( i ，) 则是其差分块，即： d ( i ，) = b ( i ，j ) - a ( i ，) 而差分块的统计平均值为 = m 、办n = 8 在解码端，假设第k 一1 帧中相应位置的图像块解码后的数据为d ( f ，) ，则第 k 帧的图像块经过a b 删解码后为 ，j 粜采用峰值信噪比p s n r 对该图像块的质量进行评价，则有 p , s w r 一1 0 1 9 暑2 7 其中 o - = 附，) - b 饥剜2 n - 1 n 一1 6 0 ，) 一口( ，) 一 2 ：三生生 2 a 为白噪声信号的最大幅值，一般取2 5 5 。 如果如果在解码端恢复的第k - 1 帧图像数据失真比较小，也就是说可以认 为d ( j ) = 口( f ，j ) 成立，则上式可以转化为 - 1 n 一1 d q ，j ) - 2 2 盯：= 坐f 可以看出，o - 2 正好就是差分数据块d ( i ，) 的方差。如果对盯：作阈值限制 即令仃：t i l l 的情况下，可以求出峰值信噪比p s n r 的取值范围是 p s n r - - l o l g t h f i 。 图2 - 1 0 所示就是p s n r 随巧2 阈值t h l 变化的曲线。例如当t h i = 1 6 的时候， p s n r 可以达到3 6 d b ，具有较好的图像质量。在实际应用中，由于( f ，力与 u ( i ，) 并不相等，因此恢复图象的信噪比会略小于图2 - 1 0 中对应的数值。 5 0 4 8 4 6 44 4 2 信4 0 噪 比3 8 3 6 3 4 3 2 3 0 f i - _- 、- _ o 、 3 04 05 0 60 t h l 图2 1 0b d m 编码图像质量与差分块数据方差盯2 的关系 2 4 基于b d m 和d c t 的混合编码 在以上对b d m 编码和视频信号分析的基础上，本论文提出了一种针对视频 会议系统、视频监控系统和可视电话等特定应用系统中的视频信号进行压缩的 混合编码方案，其基本框图如图2 1l 所示。 图2 - 1 1 混合编码方案的结构框图 读入数据块 6 ( f ，j ) 和a ( f ，j ) 计算差分块 d ( i ，) 上 计算差分块的 均伽 0 计算差分块的 方差盯2 人 - - - 彳m ，：t u k 。飞：少 y 上s p 一 ，i 。i 【。c t 编码模式l z e r o 编码模式b d m 编码模式 图2 - 1 2 块分类器和编码控制器的工作流程 望鉴垦墅翌堡垫垫查婴塞望 图2 1 1 中除了d c t 变换编码和b d m 编码的内容，主要还包括了块分类器、 帧缓存、编码控制和码流输出等部分。 块分类器根据当前图象帧和帧缓存中参考帧的数据对图象块进行判别分 类，并通过编码控制器选择相应的编码方式。块分类器的设计和实现与2 2 中介绍的一样，即以差分块的均值和方差盯2 为参数，通过与阈值t h l 和t h 2 的比较对图象块进行分类。编码控制器则根据图象块分类器的判决结果将图象 块的处理模式分为3 种( 块分类器和编码控制器的工作流程如图2 - 1 2 所示) ： ( 1 ) z e r o 编码模式( 零编码模式) 。如果满足盯2 t h l 且u t h 2 的条件， 则不对图象块或图象块的差分值作任何处理，而只是由编码控制器在输 出码流中写入相应的编码标志，解码端在解码时简单地将前一帧的相应 数据作为当前图象块的数据。 b d l 【i 编码模式。如果满足叮2 t h l 且“ t h 2 的条件，则当前帧的图象 数据与参考帧数据相减后送入b d m 编码器进行处理。 d c t 编码模式。如果仃2 t h l ，由于该数据块中的内容是图象的运动部 分，则对当前帧的图象数据直接进行d c t 变换编码、量化以及h u f f m a n 编码。 由于编码端采用了三种编码方式，因此为了使解码器能够识别不同的编码 类型并对数据进行正确的解码，在输出码流中使用了编码类型标志。输出码流 的格式如图2 一1 3 所示： 帧数据 零编码模式 b d m 编码模式 d c t 编码模式 f i d = 0 0 i i d = 0 ls i d = 1 1v 图2 - 1 3 输出码流的格式 视频压缩和传输技术研究2 0 每一帧图像的压缩数据都以帧同步和帧参数开头，其中帧参数包含了当前 帧的些重要参数如图像大小、d c t 系数量化因子等，而b 1 b n 则表示该帧图 像n 个图像块的编码数据，这些图像块采用的编码方式可能是零编码、b d m 编 码和d c t 编码中的一种，每一个图像块数据的开头都有2 比特的编码标志加以 区别。如图2 一1 3 所示 n ：在零编码模式下每个图像块的数据仅有2 比特的编码标志i d = 0 0 ： ：z ；b d m 编码时编码标志i d = 0 1 ，后面的9 比特数据包括差分块数据均值的 符号位s 和绝对值l “l ，其中s = ：；善； ? ：【) c t 编码时编码标志i d = i1 ，v 则表示d c t 系数经过量化和h u f f m a n 编码 所得的数据，其数据长度取决于图象块内容的复杂度和d c t 系数的量化因子。 与h 2 6 1 等视频编码器相比，图2 一1 1 所示的编码器有一个比较明显的特 点，即帧缓存中参考帧的产生。h 2 6 1 编码器( 见图2 6 ) 的参考帧是经过d c t 、 q 、i i ) c t 、i q 等一系列变换得到的，与解码端参考帧的产生方法一样，因此虽 然每一帧的解码图象都会有误差，但这种误差不会造成累积，其误差累积主要 是由于编码器和解码器中i q 、i d c t 环节的不匹配造成的。在图2 - 1 1 的编码器 中，则直接将每帧图象作为下一帧编码的参考帧( 主要用于块分类器的判别) ， 并且以d c t 作为帧内编码方式。由于编码的基本单元是8 8 的图像块，因此下 面以单个的图像块为对象，就图2 - 1 l 所示编码器结构中三种编码方式对于误差 累积的影响进行分析。 因为编码端的参考帧是图象的原始数据，解码端参考帧的数据必须通过解 压缩获得，而在d c t 编解码或b d m 编解码过程中必然导致一定的失真，因此解 码端的参考帧与编码端的参考帧不相同。假设图像块b 1 ，b 2 。，b i ，是一系列 连续帧图像中同一位置的图像块，记b ，。为图像块b ，经过编解码器中的d c t 、q 、 i q 、i d c t 等处理后的数据，而( 曰，一点。) 则表示图像块b ，与b 。的差分经过b i ) m 编码和解码后的数据。同时记只一，和e 一，分别为第，一1 帧解码后解码端参考帧中 的相应数据块及其误差，其相互关系为e l 一，= 只一。一b 。，则有： ( j ：如果第f 帧的数据块e 采用的是d c t 编码模式，则解码后的数据为 p = b ，。并以此作为下一帧解码的参考帧，这时候 当前误差e = b ，e ，与e 一，无关； ( 皇) 如果e 采用的是b d m 编码模式，则解码后的数据为 尸。( b ，一e 一，) + 只一，= ( 置一e 一，) + 艮，+ e 一； 当前误差 ，= f b ：= ( b ，一e 一，) 一( b 。一b ) + e ，_ 由于采用b d m 编码的数据必须首先满足盯2s7 7 i 的条件，因此e 中的 ( b ，一e 一) 。( b ，- b 。) 部分只与b 。和b ，有关并受到闽值t i t l 的限制， 与。无关。可以看出，采用b d m 编码时解码端的数据存在着误差累积 效应： 如果置采用的是z e r o 编码模式，解码端将直接以参考帧的数据作为解 码数据，即： p = p 一， 当前误差 e ，2 只1 一b t = b j - 1 一b 。+ e ，一1 显然，如果b 。= b ，则z e r o 编码不会改变当前的参考帧和误差。 从上述分析可以看出，由于图2 一1 1 编码器中d e t 编码的对象是原始的图 像数据而不是帧间的差分值，属于帧内编码，因此d c t 编码对于解码端的误差 有强制的刷新作用，而b d m 编码涉及到帧间的差分数据，其误差将随着帧序列 的延续而逐步累积。但是在采用了强制刷新技术以后，误差的累积将受到限制， 而由于编码器中参考帧的产生过程省去了i q 、i d c t 以及b d m 解码等部分，直接 以前一帧作为当前的参考帧，使得整个系统的控制和运算复杂度都大大降低， 有刹于提高视频压缩的速度、减少运算成本。通过对视频段的实际测试，证明 一垫壑垦塑塑垡塑塾查堡茎 丝 图2 - 1 1 所示的编码器结构和论文中提出的视频压缩算法可以在保证运算速度的 条件下得到较好的压缩比和图像质量。 由于在视频压缩算法中涉及到图象块分类器中的两个