（通信与信息系统专业论文）低比特率下的视频编码算法的研究.pdf

低比特率下的视频编码算法的研究 摘要 多媒体系统中需要对多媒体数据进行捕获、存储、压缩、传输和 播放等处理工作，数据压缩技术是多媒体通信技术的核心问题之一。 先进的数据压缩技术尤其是视频压缩技术可实现较低的时延和高的 压缩比，达到较好的图像质量，这正是多媒体视听业务能被广泛接受 的重要因素之一。因此低码率视频编码近几年来一直是视频编码研究 中活跃的领域。 尤其是随着多媒体技术和移动通信的飞速发展，为了实现移动通 信上的多媒体应用，一些在极低码率下的视频压缩算法被人们重新认 识，并期望在这个较新领域的应用中能带来更好的满意度。 视频压缩技术中的变换编码是十分重要的环节，它首先对图像数 据进行某种形式的正交变换，并对变换后的数据进行编码，从而达到 数据压缩的目的。正交变换的种类很多，其中的离散余弦变换( d c t ) 已成为一种普遍使用的变换，常用于静止画面和视频编码。 我在此介绍的就是一种在极低码率视频编码算法。算法的名字叫 做匹配追踪，是有别于传统的d c t 变换的种变换编码算法。该方法 定义了一个二维的由g a b o r 函数组成的超完备字典集合，先对差值图 像进行最大能量搜索，然后在根据字典集合对差值图像进行内积匹 配，生成包括最大内积p ，以及相应的字典集中字典元素的定位( 两 个参数口，口) 和图像的定位( 两个参数x ，y 或) ，这一套5 个参数， 在利用这5 个参数进行解码将差值图像恢复出来。 这种算法的优点在于编码时采用的方法允许差值比特集中在最 需要被编码的地方，从而使得在较低码率下保证在图像中相对重要处 的编码。且相对于d c t 变换，这种算法可以避免其带来的块效应。 论文共分为六章：序章论述了系统的研究目的和意义；第一、二 章讲述了多媒体通信和视频编解码技术的背景知识；第三章介绍了移 动应用概述和分析；第四章是逛配追踪算法的基本理论；第五章介绍 了算法的整体实现过程；最后一章对实现后的系统进行结果分析，并 根据实验情况提出了系统仍存在的问题以及可能的解决方法。 关键词视频编码匹配追踪原子g a b o r 字典集变换编码 v i d e oc o m 【p r e s s i o na l g o r i t h m a t v e r y l o w b i t r a t e i nm u l t i m e d i a s y s t e m ，t h ep r o c e s so f c a t c h i n g ，s t o r e ，c o m p r e s s ， t r a n s p o r t a n d p l a y s h o u l db ed o n e ，a n dt h e t e c h n o l o g y o fd a t a c o m p r e s s i o n i so n eo ft h ec o r ep r o b l e m so fm u l t i m e d i at e l e c o m t h e a d v a n c e dd a t a c o m p r e s s i o nt e c h n o l o g y ，e s p e c i a l l y t h ev i d e o c o m p r e s s i o n c a na c h i e v et h el o w d e l a y ，g o o dc o m p r e s s i n g r a t i o ，a n d g o o dv i s u a lq u a l i t y ，t h a ti s o n eo ft h e i m p o r t a n tr e a s o n s t h a tt h e m u l t i m e d i av i s u a la n da u d i o a p p l i c a t i o n sc a n b e w i d e l ya c c e p t e da n dw h y t h ev i d e oc o d i n ga tv e r yl o wb i tr a t ei st h ef o c u sf i e l do f r e s e a r c h i n go n v i d e o c o d i n g w i t ht h ed e v e l o p m e n to fm u l t i m e d i aa n dm o b i l et e l e c o m ，s o m e v i d e o c o m p r e s s i o na l g o r i t h m s a r ec a r r i e do u tf o rt h em u l t i m e d i a a p p l i c a t i o no n m o b i l et e l e c o m ，a n d h o p e i tc a r lb ew e l l p u t i n t ou s i n gi n t h i sn e wf i e l d t h et r a n s f o r mc o d i n gi s v e r yi m p o r t a n ti nv i d e oc o m p r e s s i o n i t s u s u a l l yo n ek i n do fo r t h o g o n a lt r a n s f o r m a t i o n s ， a n dt h e nt h ed a t ai s c o d e da f t e rt h a ti no r d e rt om a k et h ed a t ac o m p r e s s e dw e l l t h e r ea r e m a n y k i n d so fo r t h o g o n a lt r a n s f o r m a t i o n ，t h ed c ti st h eo n eu s e di n s t i l li m a g ea n dv i d e oc o d i n g g e n e r a l l y ii n t r o d u c eo n ea l g o r i t h mw h i c h p e r f o r m sw e l la tv e r yl o w b i tr a t e s t h e a l g o r i t h m i sm a t c h i n g - p u r s u i t ，w h i c hi sd i f f e r e n tw i t ht h et r a d i t i o n a l d c t t h em e t h o du s e sa ni n n e r p r o d u c ts e a r c ht od e c o m p o s er e s i d u a l s i g n a l so n a n o v e r c o m p l e t ed i c t i o n a r y o f s e p a r a b l eg a b o r f u n c t i o n s t h i s c o d i n gs t r a t e g ya l l o w sr e s i d u a lb i t st ob ec o n c e n t r a t e di nt h ea r e a sw h e r e t h e ya r en e e d e dm o s t ，p r o v i d i n g d e t a i l e dr e c o n s t r u c t i o n sw i t h o u tb l o c k a r t i f a c t s t h em e t h o dd e f m e sa2 do v e r c o m p l e t e d i c t i o n a r y o fs e p a r a b l e g a b o rf u n c t i o n s f i r s tt h em a x e n e r g ys e a r c h i n gi s d o n eo nt h er e s i d u a l i m a g e ，a n d t h e nt h em a t c h i n g p u r s u i tb yi n n e r - p r o d u c t i sd o n e a c c o r d i n g t ot h ed i c t i o n a r yt op r o d u c et h ef i v e p a r a m e t e r o ft h ea t o m ，i n c l u d i n gt h e m a x i n n e r - p r o d u c t p 1 7 a n dt h ec o r r e s p o n d i n gi n d e xi nd i c t i o n a r ys e t ( 口，) ，a n dt h ep o s i t i o ni nt h ei m a g e ( x ，y o r r ，c ) 1 1 1 er e s i d u a li m a g ei s d e c o d e d b y t h e s ef i v ep a r a m e t e r s t h e s t r o n g p o i n to f t h ea l g o r i t h m i ci st h a ti ta l l o w st h er e s i d u a lb i t si s c e n t r a l i z e da tt h e r e g i o n t h a tm o s tn e e d e d ，s ot h a tt h eb i t sa tv e r yl o wb i t r a t ec a nb eu s e di nt h em o s ti m p o r t a n tr e g i o nf o rt h ei m a g ec o d i n g a n d m i sm e t h o dc a na v o i dt h eb l o c ka r t i f i c i a lb r o u g h tb vd c tt r a n s f o r i l l t h ea r t i c l ei n c l u d e ss i xc h a p t e r s ：t h ep r e f a c ec h a p t e ri n t r o d u c e st h e p u r p o s ea n dt h em e a n i n go f t h ei n t e r a c t i v em e d i as y s t e m t h ef i r s tt h r e e c h a p t e r s i n t r o d u c et h e b a c k g r o u n dk n o w l e d g eo ft h em u l t i m e d i aa n d m o b i l et e l e c o m m u n i c a t i o n s t h ef o u r t hc h a p t e ri n t r o d u c e st h et h e o r yo f m a t c h i n gp u r s u i t n l e f i f t h c h a p t e rs p e c i f i e sm ym a j o r w o r k t h e s o f t w a r e i m p l e m e n t a t i o n o fv i d e o c o m p r e s s i o ns y s t e m b a s e do n m a t c h i n gp u r s u i t a r i t h m e t i c a n dt h el a s tc h a p t e r e m p h a s i z e st h er e s u l to f t h ea b o v es y s t e ma n da n a l y z e st h el a c ko ft h es y s t e ma n d p o i n t o u ts o m e s o l u t i o n st ot h e m k e yw o r d sv i d e o c o d i n g ，m a t c h i n g - p u r s u i t , a t o m ， g a b o r d i c t i o n a r ys e t , t r a n s f o r mc o d i n g 北京邮电大学工学硕士学位论文 驴 7 5 7 393 声明 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他教育机 构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：鱼) 丛窒日期 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研 究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并 向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学 校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段 保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论文 注释：本学位论文不属于保密范围，适用本授权书。 本人签名 导师签名 到塑刍 妻技 日期 日期 ；、f o 弓t0 北京邮电大学硕士学位论文低比特率下的视频编码算法的研究 第一章多媒体通信技术综述 1 1 多媒体通信概述 随着科学技术的迅速发展和社会需求的日益增长，多媒体数据已逐渐成为信 息处理领域中主要的信息媒体形式。这里的多媒体，也即多种媒体，指的是由在 内容上相互关联的文本、图形、图像、音频和视频等媒体数据构成的一种复合信 息实体；多媒体计算机技术以数字化的方式对任何一种媒体进行表示、存储、传 输和处理，并且将这些不同类型的媒体数据有机地合成在一起，形成多媒体数据。 在这种时代背景下，多媒体计算机技术与电话、广播、电视、微波、卫星通信、 广域网和局域网等各种通信技术相结合，产生了一种边缘性技术多媒体通 信。多媒体通信技术的产生和发展，是技术和应用发展的必然。 多媒体通信是通信技术和多媒体技术结合的产物。多媒体技术与通信技术的 完美结合，使得通信领域中诸如可视电话等陷入困境的行业，焕发了新的活力。 多媒体通信技术集计算机交互性、网络的分布性和多媒体信息的综合性于一体， 突破了计算机、通信、电视和出版等传统产业间的界线，使这些对人类社会产生 重大影响但相对独立发展的技术融为一体。多媒体通信是一个伴随着应用要求的 不断增长而迅速发展的领域，这些应用涉及到计算机、通信、娱乐、有线电视、 教育、出版业等等。它所涉及的部门众多，种类繁杂，而技术的发展又是如此迅 猛，所有这些使多媒体成为近年来最时兴但又是十分混乱的一个新领域。因而多 媒体通信技术能向人类提供了许多全新的信息服务，如：多媒体电子邮件、实时 视频会议、计算机支持的协同工作，以及远距离学习和远距离医疗等，相信还有 很多应用会在未来涌现出来。 多媒体通信是信息高速公路建设中的一项关键技术，是多媒体、通信、计算 机和网络等领域相互渗透和发展的产物，并且给这些领域带来很大的影响。从通 信的角度来讲，不论固定通信还是移动通信，不论是点对点通信或者是点对多点 的通信。多媒体通信都将是通信发展的方向。然而，大数据量的连续媒体在网上 的实时传输不仅向窄带网络及包交换的协议提出了挑战，而且对于媒体技术本 身，如数据的压缩、各媒体间的时空同步等也提出了较高的要求。本文就是研究 了在低速率下的视频数据传输中，怎样在不降低图像质量的情况下尽可能的提高 图像压缩比的一种变换编码的算法。 北京邮缸大学硕士学位论文低比特率下的视频编码算法的研究 1 2 多媒体通信的基本概念和特征 1 2 1 基本概念 媒体是信息表示和传输的载体，是一个重要的概念。i t u t1 3 7 4 建议将媒体 划分为感觉媒体、表示媒体、显示媒体、存储媒体和传输媒体5 类。 多媒体数据是指多种式样信息的载体，如文本、图形、图像、声音等数据。 其特点主要有以下几点： ( 1 ) 多媒体数据种类繁多( 大多是非结构化数据) ，不同来源的媒体，具 有完全不同的形式和格式； ( 2 ) 多媒体数据量庞大； ( 3 ) 多媒体数据具有时间特性和版本概念，如在视频点播系统中必须考虑 到媒体间以及媒体内部在时间上的同步关系。 由此可知多媒体数据与传统的数值和字符不同，因而其存储结构和存取方式 也具有特殊性，描述它的数据结构和数据模型也是有差别的。在这种情况下就产 生了一种全新的数据库系统多媒体数据库系统。 多媒体数据库是能够有效实现多媒体数据的存储、读取、检索等功能的数据 库系统。它的主要特点是：继承了传统数据库的一些优点，例如数据独立性、 利用数据库查询语言进行高层次查询、并发控割、容错技术等；能对具有时空 关系的数据进行同步和管理。但是目前对于多媒体数据库的功能以及实现方法还 没有达成共识，因而出现了多种形式的多媒体数据库，并且实现方法也各不相同。 从其总体发展上看，多媒体数据库的数据模型可分为关系数据模型、面向对象的 数据模型、d b m s 超媒体数据模型3 类。基于不同数据模型的多媒体数据库管理 系统( d b m s ) 的功能也有很大差别，通常基于关系数据模型的多媒体d b m s 可 以实现多媒体数据的存取，对多媒体数据对象之间的语义关系、时态关系、空间 关系不加处理，所以这部分工作就留给应用程序去完成了。面向对象的数据模型 和超媒体数据类型可以支持多媒体数据对象之间的语义关系、时态关系、空间关 系的处理，其抽象程度更高，但d b m s 的实现也相对复杂。 在多媒体通信系统中另一个常出现的词汇匙超媒体”。在出版物中经常会出 现表示注解意思的“注”字，由“注”你可以找到与之相关的一段文字或一篇文章。 这种由“注”而链接到一段文字或一篇文章的链即称为超链接，同理，超级链也可 以将若干不同媒体链接起来，其集合便称为“超媒体”。 北京 呲电大学硕= 匕学位论文低比特率下的视频编码算法的研究 1 2 2 多媒体通信的特征 多媒体通信技术的发展打破了传统通信的单一媒体、单一电信业务的通信系 统格局，反映了通信向高层次发展的一种趋势，是人们对未来社会工作和生活方 式的向往。多媒体通信技术是一种综合技术，涉及多媒体技术、计算机技术、通 信技术等多个领域。多媒体通信系统必须同时兼有集成性、交互性、同步性3 个 主要特征。 1 ) 集成性 多媒体通信系统的集成性指的是能对内容数据信息、多媒体和超媒体信息、 脚本信息和特定的应用信息等4 类信息进行存储、传输、处理和显现的能力。 ( a ) 内容数据信息 信息是以某一种结构的形式存在的，典型的结构有两种：一种是对象 结构，其中可处理的最小单元为对象( o b j e c t ) ；另一种是文件结构，其 中可处理的最小单元为文件( f i l e ) 。 ( b ) 多媒体和超媒体信息 多媒体和超媒体信息与单媒体信息不一样，它们是结构化的信息，由 结构框架和内容数据两部分组成。多媒体和超媒体信息的最小表达形式由 两类，一类称为对象，另一类称为文件。 ( c ) 脚本信息 脚本信息是一组特定的用语意关系联系起来的、结构化的多媒体和超 媒体信息，需要提供表示这一组多媒体信息的运作过程和与外部处理模块 间的关系。 ( d ) 特定的应用信息 上述3 类信息都是低层信息，可以由标准来定义和表示。特定的应用 信息是高层信息，是与应用密切相关的，将随应用场合的不同有很大的不 同，它的表示方法是基于上述3 类的基础之上的。 2 ) 交互性 交互性指的是在通信系统中人与系统之间的相互控制能力。在多媒体通信系 统中，交互性有两个方面的内容。一是人机接1 2 ，也就是用户终端向用户提供的 操作界面：二是用户终端与系统之间的应用层通信协议。 北京【 i | j 【乜大学硕士学位论文 低比特率下的视频编码算法的研究 多媒体通信终端的用户对通信的全过程有完备的交互控制能力，这是多媒体 通信系统的一个主要特征，也是区别多媒体通信系统与非多媒体通信系统的一个 主要准则。 3 ) 同步性 同步性指的是在多媒体通信终端上显现的图像、声音和文字均以同步方式工 作。如用户要检索一个重要的历史事件的片断，该事件的活动图像或静止图像存 放在图像数据库中，其文字叙述和语言说明则是放在其他数据库中。多媒体通信 终端通过不同传输途径将所需要的信息从不同的数据库中提取出来，并将这些图 像、声音、文字同步起来，构成一个整体的信息呈现在用户面前。 多媒体通信系统中的同步性是多媒体通信系统最主要的特征之一，信息的同 步与否决定了系统是多媒体系统还是非多种媒体系统。同步可在链路层级、表示 层级和应用层级3 个层面上实现。 1 2 3 多媒体通信的关键技术 1 ) 多媒体数据的压缩编码 多媒体系统中需要对多媒体数据进行捕获、存储、传输和播放等处理工作， 数据压缩技术是多媒体通信技术的核心问题之一。先进的数据压缩技术尤其是视 频压缩技术可实现较低的时延和高的压缩比，达到较好的图像质量，这正是多媒 体视听业务能被广泛接收的重要因素之一。 国际标准化组织( i s o ) 、国际电工委员会( i e c ) 、国际电信联盟( i t u ) 制定了一系列的视频压缩编码标准，主要有： ( 1 ) j p e g 是用于连续色调静止图像压缩编码的标准。 ( 2 ) h 2 6 1 适用的速率范围是p 。6 4 k b i t s ( 舻l 3 0 ) ，即6 4 1 ，9 2 0k b i t s 。主 要用于可视电话和会议电视系统。 ( 3 ) h 2 6 3 是以h 2 6 1 为基础改进而来，可以获得更高的压缩比和较高的 图像质量。 ( 4 ) m p e g l 主要用于c i f ( 公共中间格式) 格式的图像分辨率和大约1 5 m b i t s 的码速率，适用于v c d 。 ( 5 ) m p e g 2 基于3 4 m b i t s 或4 m b i t s 以上速率的压缩存储视频，图像质量可 达到高清晰度电视水平，主要适用于d v d 、数字电视、视频点播和数 4 北京邮电大学硕士学位论文低比特率下的视频编码算法的研究 字视频广播( d v b ) 系统。 ( 6 ) m p e g 4 比m p e g 2 的应用范围更广，其压缩方法不再是限定的某种算法， 而是可以根据不同的应用系统进行裁剪，选用不同的算法。m p e g 4 中 引入的最重要，也最引人注目的新概念是视频对象平面( v o p ) 。这一 概念直接导致了基于内容的压缩，为提供更高的压缩比打下了基础，同 时也将传统的基于帧的时空可分级性扩展到基于图像内容的时空可分 级性。 ( 7 ) m p e g 7 是有关多媒体内容描述接口标准，适用于基于视频和音频内容 的多媒体检索业务。 随着多媒体业务的不断发展，新的视频和音频压缩编码标准不断涌现，适用 范围逐渐扩大，压缩效率大大提高，从而使多媒体通信逐渐应用到日常生活的各 个领域。 1 2 4 多媒体通信网 通信网络是多媒体应用的传输环境，多媒体通信对信息的传输和交换都提出 了新的更高的要求，网络的带宽、交换方式及通信协议都将直接影响能否提供多 媒体通信业务与多媒体通信的质量。多媒体通信对通信网络的要求主要体现在以 下几方面： ( 1 ) 多媒体的多样化，能同时支持音频、视频和数据传输。 ( 2 ) 交换节点的高吞吐量。 ( 3 ) 有足够的可靠带宽。 ( 4 ) 具有良好的传输性能，如同步、时延、误比特率等必须满足要求。 ( 5 ) 具备呼叫连接控制、拥塞控制、服务质量控制和网络管理功能。 这5 项是实现宽带多媒体通信必备的技术要求。这同时也说明多媒体通信应 该具有高带宽、实时性、高可靠性即时空约束能力强等特点。 1 3 多媒体通信业务的应用 多媒体通信业务之所以受到如此多的关注是由于其具有丰富多彩的应用，下 面简单介绍多媒体通信业务的一些典型应用。 北京蛐i 乜人学硕匕学位论文 低比特率下的视频编码算法的研究 1 3 1 多媒体通信业务典型应用 1 ) 多媒体会议系统 相当多的多媒体通信应用方面的研究集中在视频会议系统上，该系统是用户 可以获得到更多合作工作的真实感觉。利用视频编解码器，显示器和声音定位技 术，系统有效地将分布在不同位置的客户端综合起来生成了明显无缝隙的共享会 议环境。系统中使用的视频码可以以1 5 0 m b p s 的速度将h d t v 图像在四个声音 信号信道上传输。 尤其是某些特殊事件的发生，也引爆了国内对视频业务的需求的激增，随着 互动式沟通方式的需求大大增加、宽带网络建设的日益完善与视频技术的发展， 视讯业务迎来了重大的发展机遇。 2 ) 视频点播多媒体点播系统 v o d 系统代表一类较新的业务，它可以使用户可以在他们期望的任何时间 在家或在他们的办公室接收到像电影，在线购物，卡拉o k 音乐，交互式游戏和 艺术品等实物信息。除了传统的视频系统的一般回放功能外，v o d 系统很快可 以处理“跳过”能力，使用户可以从他们规定的地方进行重播。在整个播放过程中， 视频信息显示到屏幕的响应时间应小于l s 。更实际一些，用户可以按他们各自 的目的使用分布在整个网络上的许多种不同的v o d 服务器。 3 ) 联合计算机辅助设计 在大多数制造业包括建筑领域，对用于计算机辅助设计( c a d ) 的系统制图能 力的要求正在逐渐增加。最近，利用位于远端的临时工作者进行设计任务的虚拟 公司的数量也在增加。对于这种情况，需要集成并在同时利用较高的速度进行传 输的大量图像和计算数据以及声音信号。也催生了这类新的多媒体应用业务。 4 ) 数字网络图书馆系统 通过同时按需接入自动文本翻译服务器，文本到语声合成服务器和语声识别 服务器可以适当地处理数字图书馆服务器捕获的内容同时除了传统的信息查询 服务外还可以提供增值服务。这样，用一种吸引人的方式将图像，视频和语声等 内容同传统的图书的文字内容相结合起来，数字图书馆也可以被看作是多媒体应 用业务的典型例子。 5 ) 超高清晰度( s h d ) 图像系统 6 北京邮r b 大学硕士学位论文 低比特率下的视频编码算法的研究 因为s h d 图像( 其分辨率与3 5 m m 胶带的分辨率相同) 的数据量比h d t v 的 数据量大4 倍，因而即使用实际大小显示报纸，也可以读存储起来的高分辨率报 纸。事实上，由于图片的像素点是很小，同时使用每秒6 0 帧的速度非隔行扫描 来显示帧，无论观看者离屏幕有多近，都可以看到无闪烁的相当高的分辨率图像。 该s h d 图像系统可以同前面谈到的数字图书馆组合起来并可以提供如数字博物 馆或自动导游等的各种应用业务。s h d 图像也支持远程医疗诊断，它包括为各 地的专家传送细胞组织的显微镜照片或x 光图片。如上面所谈到的利用高带宽 传输线将有效地加宽通信应用的范围。 6 ) 远程医疗诊断 为支持医学科学的进步，越来越多地开始使用高清晰度医学图像，如x 光 图像，x 线断层图，超声图像和心( 动) 电图，以实现更精确的医疗诊断。若在远 程医疗环境下使用这些图像进行远程诊断时，传输这些图像所需的带宽将是传输 高清晰度电视所需带宽的两倍多。在这种情况下，为确保高精度的诊断需要可靠 的传输。另外，经常有必要同时显示几副图像以便于比较，有时需要将其中的一 些图像处理成更适合的形式。同时分析后的图像也需要与初始图像一同显示。在 研究这些图像时，除了来自监视设备的其他数据流外还需要在其上增加语音通 信。这种应用是最典型的多媒体通信业务之一。 7 ) 视频电子邮件 人们已经广泛地使用了电子邮件( e - m a i l ) 。电子邮件的商业应用包括语音， 低分辨率的视频和文本。然而，由于网络有效带宽的制约，目前电子邮件业务必 须承受不可预测的延时。因此，在保证通信质量的前提下，对音视频电子邮件业 务的发展也是多媒体的一个很有前景的发展方向。 除了上面所谈到多媒体通信例子外，还有许多种其他类的应用，如远程教学 业务，远程电子银行业务，电子报纸业务，电子博物馆业务，家庭购物业务，通 信卡拉0 k 等等。 1 3 2 多媒体通信业务方面发展情况 1 ) 发达国家中的多媒体通信业务试验 在当前阶段，欧洲，美国和日本正在进行i n t e m e t 或单独的专用网络上的多 种多媒体试验。随着带宽和p c 处理能力的增长，用于i n t e m e t 上的实时话音和 视频应用将会不断涌现。 北京邮电大学硕士学位论文低比特率下的视频编码算法的研究 例如曰本，从1 9 9 4 年开始，n t t 一直致力于试验性的多媒体通信网。试验 网利用高达1 5 6 m b p s 的a t m 接口进行各种多媒体和视频点播业务的高速计算机 通信，同时一些私营公司也将a t m 技术作为他们骨干l a n 技术。高速骨干网 络由遍布全国的1 0 个a t m 交换机与2 4 g 或1 0 g b p s 超高速传输通道组成。 为了解决目前窄带通信网络试验的局限性，在试验网络中，充分利用了基于 a t m 的高速宽带通信系统。也只有a t m 才能够提供石油和化学领域所要求的可 靠性，才能提供像远程出版、与c a d 应用相关联业务的快速响应需求。 试验网中，主要应用有电子邮件、l a n 通信、w w w 多媒体信息检索、银 行业务在线交易和宽带视频会议。2 0 0 0 年，视频电子邮件、合作工具和桌面视 频会议等宽带应用在发达国家已普遍实现。多媒体系统如基于i _ n t e r n e t 的数字网 络图书馆系统、多媒体会议系统、视频点播( r o d ) 系统、合作会议系统和超高清 晰度图像系统，已经开始商业初期应用阶段。 2 ) 我国在多媒体通信业务方面发展情况 我国在多媒体通信方面进行了一些努力并取得了一些经验。在目前我国所建 的所有宽带通信网上均进行了多媒体业务的试验。如在北京，上海和广州所建的 宽带网上进行了v o d 和多媒体会议的试验，北京电信管理局也已经进行了可容 纳不少用户的v o d 试验。也有机构在研制有线电视网上的准v o d 的产品并已 在些地区进行了试验。同时，我国的一些通信公司也研制出一些基于i p 网络 的用于较小范围的多媒体会议系统。但总体上来讲，受我国计算机普及率和网络 能力的限制，目前我国的多媒体通信系统的规模还不大。 我国多媒体通信业务发展还处于起步阶段，经营方式和设备的局限性在一定 程度上阻碍了多媒体通信业务的发展。多媒体通信业务的经营一直是依赖于电信 运营商提供视讯网络及应用环境，还是有一定的不便。 1 4 多媒体通信发展趋势 未来对多媒体的研究，主要有以下几个研究方面：数据压缩、多媒体信息特 性与建模、多媒体信息的组织与管理、多媒体信息表现与交互、多媒体通信与分 布处理、多媒体的软硬件平台、虚拟现实技术、多媒体应用开发。展望未来，网 络和计算机技术相交融的交互式多媒体将成为2 1 世纪多媒体发展方向。所谓交 互式多媒体是指不仅可以从网络上接收信息、选择信息，还可以发送信息，其信 息是以多媒体的形式传输。利用这一技术，人们能够在家里购物、点播自己喜欢 的电视节目。2 1 世纪的交互式多媒体技术的实现将以电视或者以个人计算机为 b 北京| i | i j 电大学硕士学位论文低比特率下的规频编码算法的研究 基础。 未来的多媒体将会激动人心，我们生活中数字信息的数量在今后几十年中将 急剧增加，质量上也将大大地改善。多媒体正在迅速的、意想不到的方式进入人 们生活的多个方面，大的趋势是各个方面都将朝着当今新技术综合的方向发展， 这其中包括：大容量光碟存储器、国际互联网和交互电视。这个综合正是一场广 泛革命的核心，它不仅影响信息的包装方式和我们如何运用这些信息，而且将改 变我们互相通信的方式。 1 ) 从国际标准方面来看多媒体通信的发展趋势 我国会议电视业务在1 9 9 3 年开始进入商业化应用。经过1 0 年的时间，我国 的会议电视应用情况发生了很大的变化，音视频数据的压缩比例越来越高，设备 性能越来越强，功能也越来越多，价格也趋于大众化，这些都是多媒体通信发展 的显著体现。 从会议电视的国际标准进展来看，初期的会议电视是基于面向连接的h 3 2 0 协议，随着协议标准的进展，框架性总协议转向基于包交换的h 3 2 3 协议。 目前在中国采用h 3 2 3 标准的业务用户占总用户数的比高达9 5 。h 3 2 3 协议之 所以得到如此快的发展，首先得益于口网络的发展，h 3 2 3 协议在我国还有望 得到更大规模、更多方面的良好应用。 今年，由两大国际标准化组织【i t u t 和i s o m p e g 联合成立的视频专家组 ( j v t ) 推出了一个新的视频压缩标准h 2 6 4 。h 2 6 4 与h 2 6 3 相比，h 2 6 4 具 有更太的压缩比，在相同传输带宽的条件下，h 2 6 4 能得到更高质量的图像；另 外，在h 2 6 4 中加入了数据分区、数据恢复和差错隐藏技术，使h 2 6 4 在网络条 件不是很好的情况下，能得到了较好的图像质量。h 2 6 4 的出台将会得到快速的 发展和应用，从而逐步取代h 2 6 3 视频压缩标准。 对于数据会议方面来说，传统的数据会议是基于t 1 2 0 总的框架协议， i 1 2 0 的框架协议在实际的应用中具体表现为：1 1 2 6 静态图像传输和注释；t 1 2 7 一 二进制文件传输；t 1 2 9 一应用程序共享。从理论上讲， i 1 2 0 协议能够满足一般 的数据会议用户的要求，但在实际应用中，往往不尽人意，特别是数据会议t 1 2 0 和会议电视标准混合使用的时候，往往会出现不能满足客户需求的情况。比如： 在共享大容量的应用程序时，很容易造成会议电视系统瘫痪。 为了很好地解决多数据流的应用问题，国际电联草拟了一个新的标准： h 2 3 9 。目前，视频领域讨论比较多的双流技术实际上是h 2 3 9 标准一种很好的 北京邮l 色大学硕士学位论文 低比特辜下的视频编码算法的研究 应用形式。何谓双流技术? 从传统的视频会议来看，如果一个主会场有两个分会 场，通常只是把摄像机的图像传到每一个分会场。如果采用文件传输，t 1 2 0 的 方式传高分辨率的图文，速度是很慢的。现在的双流技术是在传输活动图像的同 时，在带内把高清晰度的图文信息一起传到对方去。对方的编解码设备可以解出 活动图像和高分辨率的图文，这样可以通过相同的带宽将图像传到多个会议点 去，且使对方可以很清晰地把文件显示出来。 2 ) 从网络的平台来看多媒体通信的发展趋势 会议电视协议从h 3 2 0 标准发展到h 。3 2 3 标准，从网络的角度看是从专用网 发展到i p 网，从电路交换的网络发展到分组包交换的理网。 如果视频设备厂商将总体解决方案提供给客户，客户使用时，整体解决方案 希望该系统能够实现完整的统一性、管理的一致性以及操作的方便性。 a ) 完整的统一性：即厂商所提供的解决方案应包括视频、音频和数据，一 个具备有完整解决方案的系统。 b ) 系统管理的一致性：是指在整体解决方案里无论是音频、视频还是数据， 都是通过一套管理软件对所有的终端和整个系统进行统一管理的。 c ) 系统操作的方便性：是客户最感兴趣的，其目的是让客户应用起来要简 单方便，系统要能够提供直观的操作界面和简单易用的操作系统，使用 户应用得更加简便。 3 ) 从应用的平台来看多媒体通信的发展趋势 i p m p l s 网络正逐渐成为服务供应商未来规划的核心部分，许多运营商都已 经开始建设新的网络设施，作为新应用的平台，并逐步将今天的业务迁移到一体 化骨干网上。虽然电信公网正在向i p m p l s 网络发展，但今天的网络结构仍不 足以实现运营商对网络的末来构想，它无法满足一体化联网基础设施的要求，它 无法保证重要业务和应用的传输。 1 4 4 多媒体通信业务的发展与应用 “运营商”的业务群是不固定的，要求视频厂商所提供的整套系统能够具备良 好的互通性，“运营商”所提供的多媒体应用平台一定有能力来支持：不同的音、 视频协议：不同的速率；不同的帧频；不同的网络接口。这样才能满足“运营商” 的要求，为不同的用户提供很强的可操作性，不论用户对方的终端协议是什么， 1 0 北京邮电大学硕士学位论文 低比特率下的视频编码算法的研究 速率是多少，系统都非常容易地与之互通。这样才能真正使视频业务平台适 应广大客户的不同需求。 到目前为止，世界上这大的i p 会议电视网：中国联通会议电视网已有6 0 0 0 多台来自不同厂商的终端在网上注册运行，有国外、国内的厂商：有大型会议电 视的终端，还有小型的桌面系统。中国联通的视频会议平台已经实现不同终端间 的互通，该平台不仅可以支持联通内部网络的会议电视终端，而且还可以通过互 联网将世界上不同国家的会议电视终端接入联通的会议电视内网，真正实现会议 电视无国界。 1 5 小结 多媒体通信业务的提供不仅需要很多新技术和新设备，还需要开发多媒体内 容和应用。需要很高的投入。从目前已经进行的试验来看，研究较多的是技术方 面的事情。试验的结果表明个体用户似乎对娱乐比接入到信息源更有兴趣。目前 还没有提出解决在所包含的技术中缺少标准的问题。尽管为单个用户提供高速多 媒体的长期前景是光明的，很可能在一段时间内，一般的用户将面对降低质量的 多媒体。若需要较高的质量，他们将求助于台式解决方案，如c d - r o m 。 多媒体通信业务是通信业务的未来。媒体的多样性可以满足用户的需要。然 而，我们不能只是盲目地简单替代和更新现有的通信信道。许多通信业务的成功 是通过满足先前未认识的需要来实现的，换句话说就是通过帮助人们解决其自身 所不知道的问题来实现的。类似的想象力和灵活性将带来新颖的通信业务，这些 新业务也将改变商业和社会生活。 目前人们已经接收了p s t n 网络提供的话音的质量和有线电视网所提供的 视频信息的质量。在将来为给用户提供多媒体通信服务时。所提供的话音和视频 信息的质量应优于目前p s t n 和有线电视网所提供的话音和视频图像的质量。为 此研究和开发人员将需进行大量的研究开发工作。 北京邮电丈学硕士学位论文 低比特率下的视频编码算法的研究 第二章视频编解码系统的综述 2 1 视频压缩编码的基本概念 视频压缩的目标是在尽可能保证视觉效果的前提下减少视频数据率。视频压 缩比一般指压缩后的数据量与压缩前的数据量之比。在视频压缩中常需用到以 下的一些基本概念； 1 ) 有损和无损压缩： 在视频压缩中有损( l o s s y ) 和无损( l o s s l e s s ) 的概念与静态图像中基本 类似。无损压缩也即压缩前和解压缩后的数据完全一致。有损压缩意味着解压 缩后的数据与压缩前的数据不一致。在压缩的过程中要丢失一些人眼和人耳所 不敏感的图像或音频信息，而且丢失的信息不可恢复。丢失的数据率与压缩比 有关，压缩比越小，丢失的数据越多，解压缩后的效果一般越差。此外，某些 有损压缩算法采用多次重复压缩的方式，这样还会引起额外的数据丢失。 2 ) 帧内和帧间压缩： 帧内( i n t m f r a m e ) 压缩也称为空间压缩( s p a t i a lc o m p r e s s i o n ) 。当压缩一帧 图像时，仅考虑本帧的数据而不考虑相邻帧之间的冗余信息，这实际上与静态图 像压缩类似。帧内压缩一般达不到很高的压缩。 采用帧间( i n t e r f r a m e ) 压缩是基于许多视频或动画的连续前后两帧具有很 大的相关性，或者说前后两帧信息变化很小的特点。也即连续的视频其相邻帧之 间具有冗余信息，根据这一特性，压缩相邻帧之问的冗余量就可以迸一步提高压 缩量，减小压缩比。帧闻压缩也称为时间压缩( t e m p o r a lc o m p r e s s i o n ) ，它通过 比较时间轴上不同帧之间的数据进行压缩。 3 ) 对称和不对称编码： 对称性( s y m m e t r i c ) 是压缩编码的一个关键特征，对称意味着压缩和解压 缩占用相同的计算处理能力和时间，对称算法适合于实时压缩和传送视频，如视 频会议应用就以采用对称的压缩编码算法为好。不对称或非对称意味着压缩时需 要花费大量的处理能力和时间，而解压缩时则能较好地实时回放，也即以不同的 速度进行压缩和解压缩。一般地说，压缩一段视频的时间比回放( 解压缩) 该视 北京邮电大学硕士学位论文低比特率下的视频编码算法的研究 频的时间要多得多。 2 2 视频压缩编码的发展 目前主要有两个制定视频编码标准的国际组织：i t u t 和i s o i e c 。i t u t 的标准称为建议，以字母排序，视频会议电视编码的标准在h 的子集里，如h ，2 6 1 ， h 2 6 2 和h 2 6 3 。i s o i e c 的标准按序号排列，如m p e g - 1 相对应的是1 1 1 7 2 ， m p e g 2 相对应的是1 3 8 1 8 。m p e g - 4 相对应的是1 4 4 9 6 等。i t u - t 的建议标准 主要用于实时视频通信，如视频电视会议、可视电话等。而m p e g 标准主要用 于广播电视、d v d 和视频流媒体。大多数情况下，这两个标准组织独立制定不 同的标准，但在许多方面也有共同之处，例如h 2 6