（信号与信息处理专业论文）视频编码算法研究及其无线传输实现.pdf

中文摘要 随着信息技术的发展和社会的进步，人类对信息的需求越来越丰富，人们希 望无论何时何地都能够方便、快捷、灵活地通过语音、数据、图像与视频等多种 方式进行通信。视觉信息给人们直观、生动的形象，图像视频的传输更受到人 们广泛地关注。 虽然第三代移动通信系统的出现和i p 网络的迅速发展，使得视频通信正逐步 成为无线通信的主要业务之一，然而，实际的无线和i p 信道会导致误码产生，例 如：无线信道中的多径衰落产生误码和i p 信道上的阻塞丢包等。由于信道带宽的 限制，视频通信的数据往往是压缩编码以后的数据，而压缩以后的数据对误码非 常敏感，造成误码环境下重建图像质量严重下降。另外，手持设备的可用资源是 有限的，采用传统的视频压缩算法会耗费大量的系统资源而导致视频通信无法开 展。因此，必须研究高效的视频编码算法和无线传输方法来实现无线视频通信。 视频压缩方面，本文以基于对象的m p e g 一4 视频压缩标准为研究对象，提出利 用空域、时域信息自动分割视频序列中运动物体的算法，基本思想是利用相邻两 帧图像的帧差信息粗略检测出运动物体，引入梯度滤波、背景生成等方法实现目 标的初始化，再对分割目标进行跟踪，以减小运算量，处理结果表明该方法取得 较好的分割效果；提出一种预测质量可控的快速运动估计算法，利用运动矢量的 空间、时间相关性，通过预测初始搜索中心位置、判定是否为静止宏块、调整搜 索窗口、预测质量可控的渐进式块匹配准则搜索等步骤进行运动估计，并引入调 节函数在预测质量和搜索速度之间增加了可控性，实验结果表明本算法大大减少 了计算量，明显提高了运算速度，且具有很好的重建视频图像质量；研究视频转 换编码问题，提出了两种快速运动矢量重估算法，分别基于空问分辨率变换和时 间分辨率变换，算法利用已有运动信息和d c t 变换的直流系数进行运动估计，可 明显减少运算量，提高编码速度，并获得了与全搜索算法接近的重建视频图像质 量。 。 无线传输实现方面，本文研究基于c d m a 技术的e v - d or e l o 标准的传输系统 中的前向调度策略、反向链路速率控制、功率控制等关键技术，参与e v - d o 系统 中信道板软件的开发设计工作，目前已实现视频广播和点播的功能，并在该无线 系统采用上述视频算法编码视频流以适应无线网络带宽的变化，结果表明上述视 频算法增强了编码视频流对无线网络带宽变化的适应性。 关键字：m p e g 4 视频分割运动估计转换编码e v d o 前向调度功率控制 a b s t r a c t w i t ht h ed e v e l o p m e n to fm u l t i m e d i at e c h n i q u e s ，p e o p l eh a v es t r o n g e rd e s i r et o g e tv e r s a t i l em u l t i m e d i ai n f o r m a t i o n , a n dc o m m u n i c a t et h r o u g hp i c t u r e ，o rv i d e ow i t h o t h e r s t h o u g ht h et h i r dw i r e l e s sc o m m u n i c a t i o ns y s t e ma n di pn e t w o r kh a v eg o t r a p i dd e v e l o p m e n t t h en a t u r a ld e f e c t so fw i r e l e s sc h a r m e ll e a du n s t a b l et r a n s m i s s i o n e n v i r o n m e n tf o rc o d e dv i d e os t r e a m ，t h a ti st os a y , q u a l i t yo fr e c o n s t r u c t e dv i d e oi s l o w i na d d i t i o n , t h er e s o u r c eo fh a n d h e l dd e v i c ei sl i m i t e d ，c o d i n gv i d e ou s i n g t r a d i t i o n a la l g o r i t h mn e e dc o n s u m ep l e n t yo fs y s t e mr e s o u r c e ，t h a tm a k ev i d e o c o m m u n i c a t i o nb e c , o m ei n f e a s i b l e t h e r e f o r e ，i ti sn e c e s s a r yt or e s e a r c ho ne f f e c t i v e v i d e oc o d i n ga l g o r i t h ma n dr e l i a b l ew i r e l e s sm e t h o dt or e a l i z ew i r e l e s sv i d e o c o m m u n i c a t i o n 1 1 1 i sp a p e ri n v e s t i g a t e sc o n t e n t - b a s e dm p e r - 4c o d i n gs t a n d a r d , p r e s e n t sa n a l g o r i t h mo fs e g m e n t i n gm o v i n go b j e c t sa u t o m a t i c a l l yi nv i d e os e q u e n c e s t h eb a s i c i d e ai st ou s et h ei n f o r m a t i o no ft h ed i f f e r e n c eo fa d j a c e n tf r a m e s i n t r o d u c i n g g r a d i e n tf i l t e r i n ga n db a c k g r o u n df o r m a t i o nt e c h n o l o g yt oi n i t i a l i z eo b j e c lt h e nt o e m p l o yd i s t a n c em e t h o dt ot r a c ko b j e c t m o r e o v e r , t h ep a p e rp u t sf o r w a r daf a s t m o t i o ne s t i m a t i o na l g o r i t h mw i t ha d j u s t a b l ep r e d i c t i v eq u a l i t y t a k i n ga d v a n t a g eo f t h es p a t i a la n dt e m p o r a lc o r r e l a t i o no fm o t i o nv e c t o r s ，m o t i o ne s t i m a t i o no ft h e a l g o r i t h mi sr e a l i z e db yp r e d i c t i n gi n i t i a ls e a r c hc e n t e rl o c a t i o n , a n a l y z i n gw h e t h e ra s i l e n tm a c r o b l o c ko rn o t ，a 内u s t i n gw i n d o w ss i z e ，a n du s i n gp r o g r e s s i v eb l o c k m a t c h i n gm e a s u r eo fa d j u s t a b l ep r e d i c t i v eq u a l i t y , a tt h es a m et i m e ，i n t r o d u c i n g a d j u s t a b l ef u n c t i o nt oa d dc o n t r o l l a b i l i t yb e t w e e np r e d i c t i v eq u a l i t ya n ds e a r c h i n g s p e e d f u r t h e r m o r e ，t h e p a p c r a d d r e s s e s t h e t o p i c o f v i d e o t r a n s c o d i n g t w oa l g o r i t h m so f f a s t m o t i o nv e c t o rr e - e s t i m a t i o ni ns p a t i a la n dt e m p o r a ld o m a i nr e s p e c t i v e l ya p r o p o s e d u s i n g e x i s t i n gm o t i o ni n f o r m a t i o na n dd i r e c tc o e f f i c i e n t so fd c tt oe s t i m a t ef u t u r em o t i o nv e c t o r e x p e r i m e n t r e s u l t ss h o wt h a ta b o v e - m e n t i o n e dt h r e e a l g o r i t h m sa c q u i r eg o o dc o d i n g p e r f o r m a n c e i nt h i sp a p e r , w ea l s os t u d ye v - d os y s t e mk e yt e c h n i q u e s ，s u c ha ss c h e d u l e r a l g o r i t h m , p o w e rc o n t r 0 1 s i m u l t a n e o u s l y , w ei n t r o d u c e0 1 1 1 7s y s t e md e s i g nm e t h o d a n ds y s t e mp e r f o r m a n c e k e yw o r d s ：m p e g 一4 ，v i d e os e g m e n t ，m o t i o ne s t i m a t i o n ，t r a n s c o d i n g ，h d r ， s c h e d u l e ra l g o r i t h m ，p o w e re o n t r o l 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其它人已经发表 或撰写过的研究成果，也不包含为获得鑫注盘堂或其它教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：毒贱擎 签字日期： 2 - 衫年，月，日 学位论文版权使用授权书 本学位论文作者完全了解鑫鲞盘鲎有关保留、使用学位论文的规定。 特授权墨生盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：名孵宰 卫1 尼 导师签名：专彳 签字日期：z “年月厂日 签字日期：刀川年f 月夕日 第一章绪论 i i 引言 第一章绪论 随着信息技术的发展和社会的进步，人类对信息的需求越来越丰富，人们希 望无论何时何地都能够方便、快捷、灵活地通过语音、数据、图像与视频等多种 方式进行通信。视觉信息给人们直观、生动的形象，图像视频的传输更受到人 们广泛地关注。 近年来，光纤骨干网和电缆调制解调器的迅速普及已大大提高了上网速率， 基本满足了人们目前在i p ( i n t e r n e tp r o t o c 0 1 ) 网上浏览信息的需要。目前令人深 感欠缺的是全球化、个人化的可视信息交流，而以码分多址技术( c d m a ) 为核 心的第三代( 3 g ) 移动通信系统有效地改善了通信网的通信质量和通信带宽， 它以及第四代和后四代移动通信追求的主要目标之一也是实现多媒体业务。另 外，超大规模集成电路( v l s i ) 技术和宽带数字网技术的发展，更使人们对数 字视频业务如可视电话、会议电视、安全监视、电视购物、高清晰度电视( h d t v ) 、 视频点播( v o d ) 和d v d ( 数字化视频光盘) 、流媒体等产生了越来越浓厚的 兴趣。 虽然第三代移动通信系统的出现和i p 网络的迅速发展，使得视频通信正逐步 成为无线通信的主要业务之一，然而，实际的无线和i p 信道会导致误码产生，例 如：无线信道中的多径衰落产生误码和l p 信道上的阻塞丢包等。由于信道带宽的 限制，视频通信的数据往往是压缩编码以后的数据，而压缩以后的数据对误码非 常敏感，造成误码环境下重建图像质量严重下降。另外，手持设备的可用资源是 有限的，采用传统的视频压缩算法会耗费大量的系统资源而导致视频通信无法开 展。因此，必须研究高效的视频编码算法和无线传输方法来实现无线视频通信。 本章内容包括四部分，首先，讨论视频压缩编码发展情况及其标准化进程； 然后，介绍目前被广泛研究的m p e g 一4 视频编码算法；接下来，阐述第三代移动通 信系统中c d m al x e v d o ( e v o l u t i o n d a t ao n l y ) 标准的发展情况和关键技术； 最后，概括本文的组织结构和取得的主要研究成果。 1 2 视频标准的发展 图像压缩编码从1 9 4 8 年电视信号数字化概念提出以来，已有五十多年的历 史，不仅在理论研究上取得了重大进步，而且在实际应用中也获得了突出成果。 第一章绪论 近十年来，视频编码技术得到了迅速发展和广泛应用，并且日臻成熟，其标志就 是多个视频编码国际标准的制定，例如国际标准化组织i s o 和国际电工委员会 i e c 制定的视频编码标准m p e g 1 、m p e g 2 、m p e g 4 等，以及国际电信联盟 l t u t 制定的视频编码标准h 2 6 x 系列。这些标准采用的编码算法融合了各种 性能优良的图像编码方法，代表了目前视频编码的发展水平。表1 1 给出了近年 制定的视频压缩编码标准。 表1 1 近年制定的视频压缩编码标准 标准 发布日期应用场合 m p e g l1 9 9 2 1 l 光盘存储、家用视频、视频监控等 m p e g 一21 9 9 4 1 l 数字电视、d v d 、高清晰度电视、卫星电视等 m p e g 4 1 9 9 9 5i p 网、交互式视频、移动通信、专业视频等 h 2 6 l1 9 9 0 1 2 i s d n ( 综合业务数字网) 视频会议等 h 2 6 31 9 9 6 3 h 2 6 3 + 1 9 9 8 1 桌面可视电话、移动视频等 h 2 6 3 抖 2 0 0 0 1 1 h 2 6 42 0 0 2 9 实时双向通信、网络视频、视频存储转发服务等 标准的制定，并不意味着算法研究的终止，随着新的应用需求的不断提出， 原有的标准会表现出某些不适应。例如，采用m p e g 系列标准的视频编解码系统编 码视频时，如果采用全搜索算法进行运动估计，会耗费大量的系统资源，系统的 实时性在不采用专用视频处理芯片的情况下很难得到保证，特别是对手持终端等 资源受限系统，又如将基于h 2 6 3 标准的视频编解码系统应用于无线或i p 信道上， 随着信道误码率或丢包率的增加，图像质量下降十分明显。为了使视频编码标准 能够满足多种应用需求，解决方案有两种： 一种是在现有标准的框架下，以保证与标准兼容为前提条件，对视频编 解码算法加以改进，适应新的应用要求。图像视频压缩编码标准一般仅 规定输出码流的格式和语法结构，对具体的实现技术则不加硬性规定， 其研究是开放的，这就为基于标准算法的进一步改进和优化创造了条件。 例如，h 2 6 3 + 和h 2 6 3 + + 提出的多种抗误码算法，以及m p e g - 4 给出的 基于对象的视频编码算法和抗误码工具可以较好的适应网络带宽的变 化： 另一种方案是从根本上对现有标准进行革新，甚至完全抛开现有的标准 算法，针对新需求提出新算法，为制定新的国际标准做准备。例如， h 2 6 4 m p e g - 4p a r t1 0 是i t u - t 和i s o i e c 联合制定的下一代视频编码标 准，目的在于提高编码效率和对网络的适配性，来满足多种视频应用的 要求。 第一章绪论 这两种解决方案，前者有利于保持兼容性，降低开发研制成本，但是受到旧 的编码标准框架的限制，在某些情况下不能从根本上解决问题；后者可以不受约 束地提出新思路、新算法，但缺少兼容性，进入大规模的商业应用阶段还需要时 间。本文的视频算法研究工作以m p e g 一4 视频压缩标准为参考，重点研究视频分割、 快速运动估计、转换编码等算法，这些研究成果同样可通过简单的修改应用于其 它视频压缩编码标准中。 1 3m p e g - 4 视频编码标准 1 3 1m p e 6 - 4 标准的基本内容 m p e g - 4 标准支持各种音视频对象的编码，这些对象可以是自然的也可以是 合成的。目前 m p e g - 4 支持的视频对象大致可以分为七类：自然视频对象、s p r i t e 对象、2 d 网格对象、3 d 人脸和身体对象、静态的纹理对象、3 d 网格对象、音频对 象，如果需要可以很方便地在标准中添加新的对象嗍叫。 图1 - 1m p e g - 4 标准应用示意图 第一章绪论 图1 1 是用m p e g 一4 的各种音频和视频对象组成场景的一个例子，它包括一位 正在讲课的教师及其对应的声音组成的音视频对象、2 d 背景对象、s p r i t e 对象、 3 d 桌子和3 d 地球仪等。在m p e g - 4 标准中不仅允许作者以这些对象为素材组成新 的场景，也允许使用者操作这些对象，例如把各种对象按一定的顺序和空间位置 放在一个特定的场景坐标系中、改变3 d 对象的视点、交互视听、只观看场景中的 某一对象或通过动画参数使某一虚拟对象产生动画感等。 1 3 2 几个主要的概念 1 3 2 1 视频对象( v i d e oo b j e c t ，简称v 0 ) 视频对象是可视场景中景物的抽象描述，从用户角度来说，它代表画面中任 何有意义的物理实体，如人、物体，甚至可能是背景。视频对象是m p e g 4 标准 中编码的独立单位，m p e g 4 标准中描述的可视场景由一个或多个视频对象组 成，每个视频对象的形状、运动和纹理信息用其相关的时间和空间信息给出。 m p e g - 4 标准视频编解码框图如图l - 2 所示，图中第一步是形成视频对象，即从原 始矩形视频序列中分割出视频对象，然后由码率控制机制根据实际情况为不同的 视频对象分配码率，接着对各个视频对象独立编码，最后将各个视频对象编码后 生成的码流复合复用成一路码流。其中，在码率控制和复用阶段可以加入用户的 交互控制或由智能化的算法进行控制。 图1 - 2m p e g - 4 视频对象编解码框图 1 3 2 2 视频对象平面( v i d e oo b j e c tp l a n e ，简称v o p ) 视频对象平面是与视频对象有关的另一重要概念，如果把输入视频序列的每 一帧分割为若干任意形状的图形区域，每个区域对应于一个特定的物理对象，这 个区域就是视频对象平面。视频对象平面既有空间的概念也有时间的概念，也就 第一章绪论 是浼，视频对象平面是视频对象在某一时刻的采样，因此，属于场景中同一物理 对象的连续视频对象平面就代表了一个视频对象。从编码的角度来看，视频对象 实际上是由一组同一实体的任意形状和位置的视频对象平面序列组成的。视频对 象平面是m p e g - 4 标准中编码的基本单位，每个视频对象平面既可以独立的编 码，也可以使用运动补偿技术进行相互依赖编码。传统的视频帧也可以用矩形视 频对象平面表示，视频对象平面包含了视频对象的视频数据，包括运动参数、形 状以及纹理信息。 1 3 2 3 视频对象层( v i d e oo b j e c tl a y e r ，简称v o l ) 属于同一个视频对象的形状、运动和纹理信息被编码成一个单独的结构，称 为视频对象层，用视频对象层的概念可以实现可伸缩性。对同一个视频对象，可 以用不同的空间或时间分辨率编码多层结构，能从一个基础层开始，用增加若干 增强层的方法，从而实现以分层的方式重建视频。每个视频对象可以编码成可伸 缩的( 多层) 或不可伸缩的( 单层) ，用哪种方式编码取决于具体应用。 1 3 2 4 场景( s c e n e ) l a y e r ll a y e r 2 图1 - 3m p e g - 4 标准中视频比特流的分层结构 第一章绪论 场景是一个或多个音视频对象的组合。场景的逻辑结构可以用一棵树表示， 树中的节点是音视频对象。m p e g - 4 标准中用二进制场景格式描述场景中音视频 对象的空间和时间位置及它们之间的关系。符合m p e g 一4 标准的视频比特流提供 了对场景的分层描述，在比特流中，表示场景的层是可视对象序列( v i s u a l o b j e c ts e q u e n c e ，简称v s ) ，它是一个完整的m p e g - 4 场景，其中可以包含自 然对象或合成的对象以及它们的增强层。图1 3 给出了视频比特流的部分分层结 构，它刻画了上面所讨论的各个概念之间的关系，图中g o v ( g r o u po fv o p ) 称 为视频对象平面组，它是视频对象平面的组合，是可选成分，根据应用的不同， 视频对象既可以由视频对象平面直接组合，也可由视频对象平面组组合而成。 图1 4m p e g 一4 标准视频编码框图 1 3 3 基于对象的视频编码方法 基于对象的m p e g 一4 视频编码标准仍然采用传统的预测编码、运动补偿、d c t 变换构成的混合编码方法，这是因为该混合编码方法具有良好的压缩性。虽然 m p e g 4 标准使用与先前的标准相似的技术，但基本概念是新的，并且处理方法 也是不同的，对给定的视频对象采样数据，m p e g 4 标准提供了形状编码工具， 运动补偿工具和纹理处理工具，通过使用这些工具可以对采样数据进行运动估 计、d c t 变换( 离散余弦变换) 、量化后使用d c 系数( 直流系数) 预测、可变长 编码等处理，以便进一步压缩数据。 基于对象的编码框图如图l 4 所示，编码过程大致如下：首先，采用某种视 第一章绪论 频分割算法分割原始视频序列，生成感兴趣的视频对象；其次，把输入的任意形 状的视频对象序列中每个视频对象平面用宏块栅格划分成不相交的宏块，每个宏 块含有四个8 * 8 的像素块，以进行运动估计、运动补偿及纹理编码，已编码的视 频对象平面保存在视频对象平面存储器中，运动矢量在当前视频对象平面和己编 码视频对象平面间进行计算，对于将要被编码的块或宏块，计算其运动补偿误差， 经过运动补偿预测后的残差用8 * 8 块d c t 进行编码，并进行d c t 系数的量化、a c d c 预测、行程编码和熵编码，同时也用类似过程完成对每个视频对象平面的形状编 码：最后，把形状、运动和纹理信息复合成一路比特流输出。 形状编码 m p e g 4 标准中考虑两种形状信息：一种是二值形状信息，另一种是灰度形 状信息。二值形状信息通常使用与视频对象平面的边缘框相同大小的矩阵来表 示。矩阵的每个元素可以取两种可能的值，这取决于像素是在视频对象内还是在 视频对象外；灰度形状是二值形状的通用化，它可以表示透明的物体，灰度形状 信息用8 比特表示。形状编码使用运动估计进一步进行压缩处理。 运动估计和补偿 运动估计和补偿技术通过在己编码视频对象平面的寻找一块最符合给定匹 配算法的像素区域，来预测当前图像中一块像素的值。m p e g 4 标准中的运动估 计方法与其它视频标准中使用的方法相似，主要差别在于其它标准中的基于帧的 技术在改进后用于m p e g - 4 标准的视频对象平面结构。标准中共有四种类型的视 频对象平面编码方法： a ) 帧内编码视频对象平面( i v o p ) ：视频对象平面被独立地进行编码， 与任何其它视频对象平面无关。 b ) 前向预测视频对象平面( p - v o p ) ：视频对象平面可以基于先前被编码 的视频对象平面做出预测。 c ) 双向插值视频对象平面( b v o p ) ；视频对象平面可能基于过去的以及 未来的视频对象平面做出预测。b - v o p 可以是仅基于i - y o p 或p v o p 的 插值帧。 d ) 全景视频对象平面( s - v o p ) ：用来编码s p r i t e 对象，s p r i t e 是指在一系 列图像中都出现的像素组成的图像，例如“清明上河图”的长背景。 运动估计仅对属于视频对象平面界框中的宏块进行，并且仅在编码p v o p 和b v o p 时才有必要使用。如果宏块完全位于视频对象平面的界框内，运动估计 用一般的方法进行，既可以使用基于1 6 1 6 像素宏块也可以使用基于8 * 8 块( 高级 预测模式中采用) 的块匹配算法，此时运动矢量对应于一个宏块或一个块，运动 矢量用半像索精度计算；对跨越视频对象平面边缘的宏块，运动估计采用修正块 第一章绪论 匹配技术，即使用一种重复填充技术给视频对象平面外的像素赋值，然后用这些 值计算绝对误差和( s u mo fa b s o l u t ed i f f e r e n c e ，简称s a d ) 来计算运动矢量。 纹理编码 视频对象平面的纹理信息用亮度y 和两个色差分量c b 、c r 代表。对于i v o p ， 纹理信息直接包含在亮度和色度分量中。对于有运动补偿的情况，纹理信息用运 动补偿后的残差值表示。纹理信息的编码使用了标准的8 * 8 块的d c t ，编码时把视 频对象平面分成8 * 8 像素的网格，其中对于视频对象平面内部的8 * 8 块不需要处 理即可被编码，对于跨出边缘的块即边缘块，处理方法与内部块不同。每个8 * 8 块使用d c t 变换，变换后的块被量化，对相邻的块第二个系数预测进一步减小系 数的熵值，接着用z 形扫描或其它扫描方法增加两个编码系数间平均行程长度， 最后用可变长编码技术编码该块，如图1 - 5 所示。 岍臣) 臣三升三m 予流 图1 5v o p 纹理编码过程 边缘宏块的处理 跨越视频对象平面边缘的宏块称为边缘宏块，边缘宏块含有纹理数据。对边 缘宏块的处理与内部宏块的处理是不同的，可以采用填充技术，使边缘块处理与 内部宏块的处理兼容，也可以采用适应性变换编码技术对其进行变换。 1 3 4m p e g 4 视频编码的关键技术 m p e g - 4 支持基于对象的编码，它能够对任意形状的视频对象进行编码，而 不仅仅是对传统的矩形图像序列编码。由于要对不规则形状对象编码，会遇到许 多新的难题，下面对涉及到的新技术做一下简单介绍： 1 3 4 1 视频对象的分割 分割是计算机视觉中最难的问题之一，虽然提出了许多分割技术，但还没有 一个很完美的方法，图像分割的难点在于分割的信息，如局部的统计量，形状参 数和运动参数等，需要利用分割的结果来精确的获取，这样就陷入了一种循环。 而且，对自然环境中拍摄的图像和视频进行分割时，通常物体缺少固定的形状和 结构信息，计算机视觉研究表明，不仅灰度信息不足以对这样的图像进行分割， 高层次的形状和运动等几何信息也不足以给出正确的分割结果，需要在更高层次 上对各种物体的物理特征进行理解。 图像的分割技术根据分割所利用的信息，分为基于纹理的分割、基于运动的 第一章绪论 分割和基于时空的分割三类，无论是基于什么信息的分割，所采用的基本技术是 相同的。最简单的分割方法是s n y d e r 等人提出的根据亮度、色彩和运动等各种特 性选择一个合适的闽值将前景对象从背景对象中分割出来。c o l e m a n 等人提出用 聚类算法根据各个对象的特征把图像分割成若干个区域，这种分割方法事先需要 知道正确的分类数，聚类所用的特征既可是一阶的也可以是高阶的。个有效的 分割方法是利用图像的统计特性，采用概率统计的方法进行分割，数学形态学中 的水线算法也是一个有效的纹理图像分割工具，水线算法分割图像的方法是基于 区域生长的方法，对图像的噪声有较好的鲁棒性，但其运算复杂性也很高。 尽管目前对图像分割技术的研究已经达到很深的层次，在一些特定应用下图 像的自动分割也能得到较好的效果，如简单背景下人的头肩图像等，但在复杂环 境下或对于任意图像的自动分割还是很难实现，更实用的方法是提供一个半自动 的分割工具，该工具能够方便的对自动分割的结果进行修改，给自动分割提供高 层的指导信息等，这种半自动分割方法很难满足对视频分割有实时性的应用需 求。本文提出一种视频图像分割算法，利用背景生成，形态滤波等技术可以高效 地将运动物体从背景变化不是很大的视频序列中自动分割出来。 1 3 4 2 任意形状图像区域的编码 视频分割后需对每个视频对象进行独立编码，每个视频对象由三类信息描 述：运动信息、形状信息、纹理信息。形状信息有两类：二值形状信息和灰度形 状信息，其中二值形状信息就是用0 、1 的方式表示编码的视频对象平面形状，0 表示t e v o p 区域，1 表示v o p 区域；灰度形状信息取值范围是0 2 5 5 。对形状进 行编码时，可采用有损和无损的方式( 类似于宏块的有损和无损编码) ，这主要依 靠于实际的应用。纹理信息有两种，可能是帧内编码的i v o p 的像素值，也可能 是帧间编码的p v o p 、b v o p 的运动估计差值。为了达到简单、高性能、容错性 好的目的，仍采用基于分块的纹理编码，但对块要区分情况来处理，边缘块的纹 理编码是基于对象编码中需要重点处理的部分。 1 3 4 3 运动估计技术 平移的块运动模型不能完全描述基于对象的编码方法中的运动估计，在基于 对象的编码方法中采用接近真实物体运动的模型来描述图像的运动场。m u s m a n n 把这些对象的运动根据其运动的特性分为三类处理：( 1 ) 2 9 的刚体或者弹性对 象进行2 d 运动；( 2 ) 2 d 的刚体对象进行3 d 运动；( 3 ) 3 d 的刚体或者弹性对象 进行3 d 运动。这几类的运动估计方法十分复杂，在实际应用中需要对原来的块匹 第一章绪论 配方法进行改进。运动估计方法要求能对任意形状的图像区域进行，所以要对传 统的块匹配算法进行扩展。当进行块匹配搜索时，需要根据绝对差值和( s a d ) 最小的原则在前一帧重建的图像上搜索匹配的块，现在由于对象的形状不一定是 矩形，对象区域以外的像素( 即透明像素) 是不存在的，而搜索的范围可能超过 对象区域以外，所以在搜索之前需要用某个像素值填充这些透明像素。对边缘块 ( 既包含对象区域内的像素又包含透明像素的块) 进行运动估计时需要对传统的 绝对误差和准则要进行一些修改。本文提出一种快速运动估计技术，在尽可能保 证重建视频图像质量的情况下极大的降低了编码运算量，有利于视频压缩的实时 实现并有效节省计算资源，特别适合于在资源受限的设备上使用。 1 3 5m p e g 4 视频编码应用领域 1 3 5 1m p e g - 4 标准的应用目标 ( 1 ) 解决低比特率下的多媒体通信等问题； ( 2 ) 建立一种标准，具有广泛的兼容性，能够在多行业得以广泛应用； ( 3 ) 是一种面向未来的标准，考虑到将来的技术发展，如人与内容的交互。 m p e g d 标准的应用目标是针对窄带宽传输、高画质压缩、交互性操作以及 将自然物体与人造物体相融合的表达方式，同时还特别强调广泛的适应性和可扩 展性。 1 3 5 2m p e g 4 基于对象视频编码的优点 ( 1 ) 基于内容的交互性 这是m p e g 4 标准提供的全新功能，基于内容的交互允许用户修改、增加、 删除或重定位一个视频场景中的对象，甚至可以转换场景中对象的行为，这与 m p e g f i 日两个标准中基于帧的交互完全不同。基于内容的应用基础是视频对象的 编码和表示，出此可以在压缩域实现基于对象比特流控制、比特流编辑以及可扩 展性。m p e g 4 标准允许自然视频对象和计算机合成视频对象的单独编码或混合 编码以及基于对象的随机访问。 ( 2 ) 高效压缩 m p e g 4 标准的需求包括从移动通讯到交互式h d t v 广播的诸多领域，但 m p e g 一4 标准的主要目标是实现在i n t e r n e t 、移动通信等有限带宽网络环境下中 低比特率的多媒体传输，因而数据压缩效率是相当重要的问题。m p e g _ 4 标准中 提供了多种工具并采用了综合的方法进一步提高视频的压缩效率，例如基于视频 第一章绪论 对象的混合编码、s p r i t e 编码等方法都有效地改善了编码效率。 ( 3 ) 错误恢复和时空可扩展性 音视频对象以及错误恢复工具的引入使m p e g - 4 标准获得了具有在错误多 发环境中的鲁棒性，用户可以通过多种传输媒介，如有线网络或移动网络访问用 m p e g - 4 标准编码的内容。基于对象的时空可扩展性可使用户自主决定何时使用 像带宽、计算能力等紧缺的资源，这对i n t e r n e t 移动网络的实时多媒体应用具有 极其重要的意义。 1 3 5 3m p e g - 4 的应用领域 m p e g - 4 标准媒体传输、多媒体存储等领域内具有广泛应用：( 1 ) 低比特率 下的多媒体通信，如视频电话、视频电子邮件、移动多媒体通信、电子新闻等。 这些应用对传输速率要求较低，在4 8 6 4 k b i t s 之间，分辨率为1 7 6 1 4 4 或更 低；( 2 ) 互联网上的视频流与可视游戏，如网络电影；( 3 ) 数字电视、动态图像、 万维网( w w w ) ；( 4 ) 实时多媒体监控；( 5 ) 基于内容存储和检索的多媒体系统； ( 6 ) 基于面部表情模拟的虚拟会议；( 7 ) d v d 上的交互多媒体应用。 1 4c d m a 2 0 0 0i x e v - d o 标准 1 4 1 扩频通信 扩展频谱通信1 9 3 1 1 9 4 1 是一种信息传输方式，其信号所占有的频带宽度远大于 所传信息所必需的最小带宽；频带的展宽是通过编码及调制的方法实现的，并与 所传信息数据无关；在接收端则用相同的扩频码进行相关解调来解扩及恢复所传 信息数据。 1 4 1 1 扩频通信的基本原理 扩频通信的基本原理如图1 - 6 所示，在发端输入的信息( 比特率洗经过信息 调制形成数字信号( 符号率，s y m b 0 1 ) ，然后由扩频发生器产生的扩频码序列去 调制数字信号以展宽信号的频谱( 码片率，c h i p ) ，展宽以后的信号调制到射频发 送出去。接收端接收宽带射频信号，变频至中频，然后由本地产生的与发端相同 的扩频码序列去解扩。最后经信息解调，恢复成原始信息输出，由此可见，一般 的扩频通信系统都要进行三次调制和相应的解调。一次调制为信息调制，二次调 制为扩频调制，三次调制为射频调制，以及相应的信息解调，解扩，和射频解调。 第一章绪论 按照扩展频谱的方式不同，现有的扩频通信系统可分为：直接序列( d s ) 扩频， 跳频( f h ) ，跳时( t h ) ，线性调频( c h i r p ) ，以及上述几种方式的组合。 1 4 1 2 扩频通信的理论基础 图1 - 6 扩频系统原理 在扩频通信中采用宽频带的信号来传送信息，主要是为了通信的安全可靠， 这可用信息论和抗干扰理论的基本观点来解释。信息论中的仙农( s h a n n o n ) 公 式描述如下： c = w l 0 9 2 0 + s n )( 1 一1 ) 其中c 。信道容量( 比特，秒) n 一噪声功率 w 信道带宽( 赫兹) s 一信号功率 当s n 很小时( 0 1 ) 得到： w = ( c 1 4 4 ) ( n s )( 1 2 ) 公式( 1 1 ) 原意是说：在给定信号功率s 和白噪声功率n 的情况下，只要 采用某种编码系统，就能以任意小的差错概率，以接近于c 的传输信息的速率 来传送信息。但同时公式( 1 - 2 ) 也指出，在保持信息传输速率c 不变的条件下， 可以用不同频带宽度w 和信噪功率比s n 来传输信息，换句话说，频带w 和信 噪比s n 是可以互换的，如果增加频带宽度，就可以在较低的信噪比的情况下用 相同的信息率以任意小的差错概率来传输信息，甚至在信号被噪声湮没的情况 下，只要相应的增加信号带宽，也能保持可靠的通信。公式( 1 - 2 ) 指明了采用 扩展频谱信号进行通信的优越性，即用扩展频谱的方法以换取信噪比上的好处。 图1 7 描绘了扩频和解扩的全过程。 第一章绪论 f 扩撕前的俦号簟攀 f 算扩糟艚一倍号籀警 f r 籀后的惜号播带 f 水扩翱后倍号舞谱 图1 7 扩频和解扩原理示意图 1 4 1 3 处理增益与抗干扰容限 理论分析表明，各种扩频系统的抗干扰性能都大体上与扩频信号的带宽与所 传信息带宽之比成正比，一般把扩频信号带宽w 与信息带宽a f 之比成为处理 增益g ，即： g 。= w a f0 - 3 ) 公式( 1 3 ) 表示了扩频系统信噪比改善的程度，处理增益是扩频系统一个 重要的性能指标，但仅仅知道了扩频系统的处理增益，还不能充分的说明系统在 干扰环境下的工作性能，因为系统的正常工作还需要保证输出端一定的信噪比， 并扣除系统其它一些损耗，所以需要引入抗干扰容限m j ，其定义如下： m j = g 。一【( s ) o + l s 】( 1 - 4 ) 式中岱 ，) o = 输出端的信噪比 l 。= 系统损耗 1 4 2 蜂窝移动通信与c d m a 通信系统的进展 移动通信从2 0 世纪2 0 年代就出现了，但在近2 0 年来才得到飞速发展，移 动无线技术基本上是围绕开辟新的移动通信频段，有效利用频率和移动台的小型 化、轻便化为中心而发展的，而有效利用频率技术的发展则是移动通信的核心。 蜂窝移动通信仅仅是从7 0 年代才出现的名词，7 0 年代初，美国贝尔实验室 第一章绪论 提出了蜂窝系统的概念和理论。第一代蜂窝移动通信系统于7 0 年代末诞生于美 国贝尔实验室，即著名的先进移动电话系统a m p s ，其后，北欧( 丹麦、挪威、 瑞典、芬兰) 和英国相继研制和开发了类似的n m t s 和t a c s 移动通信系统。 仅仅几年后，采用模拟制式的第一代蜂窝移动通信系统就暴露出了容量不足、业 务形式单一及话音质量不高等严重弊端，这就促使了对第二代蜂窝移动通信系统 的研发。 第二代蜂窝移动通信系统( 2 g ) 采用数字制式提供更高的频谱利用率、更好的 数据业务和通信质量以及比第一代系统更先进的漫游功能。典型的第二代蜂窝移 动通信系统包括居于主导地位的全球移动通信系统g s m 、美国i s 5 4 i s 1 3 6 与 i s 9 5 、日本p d c 等系统，其中i s 9 5 是美国电信工业协会t i a 于1 9 9 3 年确定的 美国蜂窝移动通信标准，它采用了q u a l e o m m 公司推出的c d m a 技术规范。1 9 9 5 年，第一个c d m a 蜂窝移动通信系统在香港开通，标志着c d m a 已经走向商业 应用。但是i s 9 5 的发展受到了美国联邦通信委员会f c c 的限制：要和a m p s 相兼容，即带宽限制在a m p s 原有的频带框架内，因而i s 9 5 是一个窄带c d m a 系统，只能提供非常有限的服务，还存在很多的不足。最近几年来，由2 g 提供 的面向语音的移动通信业务吸引了越来越多的用户，现在中国有超过l 亿的用户 使用手机，并且每年还以两千万的速度增长，2 g 的巨大成功对第三代移动通信 系统( 3 g ) 研发起着强劲的推动作用。 1 9 8 5 年，国际电信联盟i t u 提出未来公共陆地移动通信系统f p l m t s ，即 第三代移动通信系统，f p l m t s 后来被更名为i m t - 2 0 0 0 ，欧洲电信标准协会e t s i 也提出了通用移动通信系统l i m t s 。i m t - 2 0 0 0 和u m t s 的概念和目的非常相似， 均致力于在全球统一频段、统一标准、全球漫游、提供功能和质量与固定有线通 信系统相当的多种服务等。i m t - 2 0 0 0 中最关键的是无线传输技术( r t t ) ，根据 u r 建议m 1 2 2 5 ，截止1 9 9 8 年6 月底，1 1 u 征集到l o 个地面接口r t t 标准， 分别来自欧洲、日本、美国、中国和韩国。 尽管i t u 在尽最大努力寻求标准的统一，但以欧美为代表的两大区域性标 准化组织3 g p p 和3 g p p 2 ，则分别以w - c d m a 和c d m a 2 0 0 0 为基础形成了两 大格局，其中3 g p p 是由欧洲e t s i 发起的第三代伙伴计划，而3 g p p 2 是由美国 a n s i 发起的另一个第三代伙伴计划，我国也于1 9