（计算机软件与理论专业论文）基于avs的即时通讯系统的设计与实现.pdf

摘要 随着网络技术的飞速发展，网络元素在不知不觉中渗透到社会的每一个角 落，并正在深刻的影响和改变着人们的生活。在此过程中，网络人际交往也成为 现代社会人际交往的一种最新颖、最时尚、最便捷、最多元化的方式，即时通讯 软件( i n s t a n tm e s s e n g e r ，简称i m ) 也成为网民最常用的网络工具。同时网络和 多媒体技术的发展使得音视频通信技术在即时通讯中得了很好的应用，为即时通 讯的进一步发展注入了新的活力。然而，就目前国内情况而言，其主要核心技术 还是依赖于购买国外相关技术提供商的解决方案。特别是音视频编解码等技术涉 及到极其昂贵的专利收费问题，它严重制约和影响着我国即时通讯市场甚至整个 音视频产业的健康发展。 a v s 标准( a u d i ov i d e oc o d i n gs t a n d a r d ) 是我国具备自主知识产权的第二 代信源编码标准，是信息技术先进音视频编码系列标准的简称，由2 0 0 2 年 6 月成立的数字音视频编解码技术标准工作组负责制定。到目前为止，a v s 标准 已经得到巨大的发展，在很多领域都得到了广泛应用。然而对于即时通讯如此广 阔的市场，a v s 标准的应用却几乎是零。因此，开发基于a v s 标准的即时通讯系 统，拓展其在即时通讯等商业产品中的应用，这对于填补a v s 标准在该技术领域 中的空白，促进我国音视频产业的发展具有积极意义。本系统的研究与开发正是 基于此展开工作的。 本文在对即时通讯行业的现状以及相关技术的实现等方面进行广泛调研后， 重点分析了s i p 协议、。a v s 标准、a v s 视频编解码技术和流媒体的传输与同步： 特别是对a v s 标准和a v s 视频编码标准进行了较深入的研究，并与当今几大标准 进行了比较与分析；设计和实现了功能较完备的即时通讯系统；在设计和实现音 视频通信的过程中对a v s 视频技术的相关算法作了一定的调整，使其更适应于即 时通讯的实时应用；对于在进行音视频通信时比较难于解决的传输和同步问题， 我们提出了基于r t p r t c p 协议的传输和控制策略，使这一问题得到了很好的解 决；本文采用了基于a v s 标准的视频编解码技术，这也是第一次把a v s 标准应用 到即时通讯系统中；由于我们设计的即时通讯系统是基于s i m p l e 协议的，因此 它具有良好的扩展性和互通性，能与遵循同样标准的i m 进行通信，这不仅给用 户带来了很大的方便，而且完全避免了不同i m 因协议不同所需进行的复杂繁琐 的转换与处理，从而可以更加充分的利用当前资源。 关键词：即时通讯；a v s 标准：s i m p l e 协议；音视频通信； a b s t r a c t n e t w o r ke l e m e n t su n c o n s c i o u s l yi n f i l t r a t et os o c i e t y se v e r yc o m e ra l o n gw i t h t h er a p i dd e v e l o p i n gn e t w o r kt e c h n o l o g i e s d u r i n gt h i s p r o c e s s ，t h e n e t w o r k c o m m u n i c a t i o nb e c o m e st ob eam o s tn o v e l ，f a s h i o n a b l e ，c o n v e n i e n ta n dm u l t i p l e x w a yi nm o d e ms o c i e t yh u m a nc o m m u n i c a t i o n i n s t a n tm e s s e n g e ra l s ob e c o m e st h e n e t i z e n sm o s tc o m m o n l yu s e dn e t w o r kt 0 0 1 a tt h es a m et i m e ，t h ea u d i oa n dv i d e o c o m m u n i c a t i o nt e c h n o l o g yh a sag o o da p p l i c a t i o ni ni n s t a n tm e s s e n g e rg o n gw i t h n e t w o r ka n dm u l t i m e d i at e c h n o l o g y sd e v e l o p m e n t i th a si n f u s e dan e w v i g o rf o r t h e i n s t a n tm e s s e n g e r sf u r t h e rd e v e l o p m e n t h o w e v e r , t h ep r e s e n td o m e s t i cs i t u a t i o ni s t h a tm o s to ft h ec o r et e c h n o l o g i e sr e l yo np u r c h a s i n go v e r s e a sc o r r e l a t i o nt e c h n i q u e p r o v i d e r ss o l u t i o n e s p e c i a l l ys o m et e c h n o l o g i e ss u c ha sa u d i oa n dv i d e oc o d i n ga n d d e c o d i n gi n v o l v et oe x t r e m e l ye x p e n s i v ep a t e n tc h a r g eq u e s t i o n i tr e s t r i c t sa n d a f f e c t so u rc o u n t r yi n s t a n tm e s s e n g e rm a r k e te v e nt h ee n t i r ea u d i oa n dv i d e o i n d u s t r y sh e a l t h yd e v e l o p m e n ts e r i o u s l y a v ss t a n d a r di st h ef u l l yi n t e l l e c t u a lp r o p e r t yo fs e c o n dg e n e r a t i o ns o u r c e c o d i n g - d e c o d i n gs t a n d a r do w n e db yc h i n a i t i st h es e r i e so f ”i n f o r m a t i o n t e c h n o l o g ya d v a n c e da u d i oa n dv i d e oc o d i n g ”s t a n d a r da b b r e v i a t i o na n de s t a b l i s h e d b yt h ea v sw o r k g r o u pw h i c hw a sa u t h o r i z e da n de s t a b l i s h e db ys c i e n c ea n d t e c h n o l o g yd e p a r t m e n tu n d e rn a t i o n a li n f o r m a t i o ni n d u s t r ym i n i s t r yi nj u n e ，2 0 0 2 _ a v ss t a n d a r dh a sg o tg r e a td e v e l o p m e n ta n dh a sb e e na p p l i e di nm a n yf i e l d sn o w h o w e v e r , t h ea p p l i c a t i o no fa v s i nt h es ob r o a di n s t a n tm e s s e n g e rm a r k e ti sn e a r l y z e r o s od e v e l o p i n gi n s t a n tm e s s e n g e rb a s e do na v sa n de x t e n d i n gi t su s a g ei n c o m m e r c i a lp r o d u c ti sv e r yi m p o r t a n t i th a sv e r yb i gs i g n i f i c a n c ef o rf i l l i n gt h eb l a n k o fa v ss t a n d a r d su s a g ei nt h i st e c h n o l o g yf i l e da n dp r o m o t i n go u ra u d i oa n dv i d e o i n d u s t r yd e v e l o p i n g t h i ss y s t e m sr e s e a r c ha n dd e v e l o p m e n ta r ep r e c i s e l yb a s e do n t h i sp u r p o s e t h i sp a p e ra n a l y s e ss i p , a v ss t a n d a r d , a v sv i d e oc o d i n g d e c o d i n gt e c h n o l o g y a n dm e d i as t r e a m st r a n s p o r t a t i o na n ds y n c h r o n i z a t i o na f t e ri n v e s t i g a t e st h ei n s t a n t m e s s e n g e rm a r k e t sp r e s e n t s i t u a t i o na n dt h ec o r r e l a t e dr e a l i z a t i o nt e c h n i q u e s w i d e s p r e a d e s p e c i a l l yh a ss t u d yo na v ss t a n d a r da n da v sv i d e oc o d i n g d e c o d i n g s t a n d a r d ，a n dc o m p a r e d 晰mo t h e rm a i ns t a n d a r d s d e s i g na n dr e a l i z ef u n c t i o n c o m p l e t e di n s t a n tm e s s e n g e r d u r i n gt h ep r o c e s so fd e s i g n i n ga n dr e a l i z i n ga u d i oa n d v i d e oc o m m u n i c a t i o n , w em a k ec e r t a i na d j u s t m e n t st ot h ea v sv i d e ot e c h n i q u e r e l a t e da l g o r i t h mt o a d a p ti n t h e r e a l - t i m e a p p l i c a t i o no fi n s t a n tm e s s e n g e r 1 1 t r a n s p o r t a t i o na n ds y n c h r o n i z a t i o na r ev e r yd i f f i c u l tp r o b l e md u r i n ga u d i oa n dv i d e o c o m m u n i c a t i o n w eb r i n gf o r w a r dt r a n s p o r t a t i o na n dc o n t r o ls o l u t i o nb a s e do n r t p r t c p , a n dg e tag o o de f f e c t i nt h i sp a p e r , w eu s et h ev i d e oc o d i n g d e c o d i n g t e c h n o l o g yo fa v ss t a n d a r d a l s oi ti sf i r s t l yu s e di ni n s t a n tm e s s e n g e r o u ri n s t a n t m e s s e n g e rs y s t e mi sd e s i g n e db a s e do ns i m p l e ，s oi th a sn i c ee x p a n s i b i l i t ya n d i n t e r c o m m u n i o n i tc a nc o m m u n i c a t ew i t ht h eo t h e ri mw h i c hf o l l o w st h es a m e s t a n d a r d t h i ss p e c i a l t yn o to n l yc a nb r i n gn i c ec o n v i n c e ，b u ta l s oc a na v o i dt h e c o m p l i c a t e dc o n v e r s i o na n dp r o c e s s i o nb e c a u s eo fd i f f e r e n t p r o t o c 0 1 i tc a nm a k e f u l l yu s eo fc u r r e n tr e s o u r c e k e yw o r d s ：i n s t a n c em e s s e n g e r ；a v ss t a n d a r d ；s i m p l e ；a u d i oa n dv i d e o c o r r e s p o n d e n c e ； i i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得或其他教育机构的学位或证书而使用过的材料。与我一同工作 的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表 示谢意。 学位论文作者签名：签字日期：年月 日 学位论文版权使用授权书 本学位论文作者完全了解江西师范大学研究生院有关保留、使用 学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印 件和磁盘，允许论文被查阅和借阅。本人授权江西师范大学研究生院 可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采 用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 签字e t 期：年 月 e t 导师签名： 签字日期：年月 日 基于a v s 的即时通讯系统的设计与实现 1 绪论 1 1 研究背景和意义 互联网的迅速发展不仅改变了人们的生活方式，更在潜移默化地影响着人们 的思维方式，网络元素在不知不觉中渗透到了社会的每一个角落。在此过程中， 网络人际交往也成为现代社会人际交往的一种最新颖、最时尚、最便捷、最多元 化的方式，即时通讯软件( i n s t a n tm e s s e n g e r ，简称i m ) 正是在这种背景下应 运而生并迅速成为网民最常用的网络工具。 自四位以色列籍的年轻人于1 9 9 6 年7 月成立m i r a b i l i s 公司，并于同年1 1 月推出了全世界第一个即时通讯软件i c q 以来，在短短的1 0 年时间里，即时通 讯软件取得了令人瞩目的发展，它从过去纯粹的聊天工具逐步变成了一个融入了 个人空间，能提供游戏、新闻、社区、b l o g 、语音通话、视频对话、多人会议等 多种网络服务的功能丰富的网络通讯系统。即时通讯行业也成为利润极高的一个 行业，众商家纷纷涉足这一领域来瓜分这块大蛋糕。 如今国内即时通讯市场可谓是“百花齐放、百家争鸣 ，市场竞争异常激烈， 以腾讯q q ，微软m s n ，网易p o p o 等为代表的众多即时通讯产品显然拥有大批使 用者，而其具备的高交互性特点和日新月异的新功能也让越来越多的网民对其爱 不释手。然而仔细研究和分析这些即时通讯产品，它们大多都存在这样或那样的 问题，有些甚至是严重的问题，这些问题主要有：即时通讯产品存在着较严 重的产品同质化；产品用户定位不清；各产品软件间不能互通；安全 性保障亟待提高口1 。目前q q 、m s n 、i c o 等在整个即时通讯市场中占有绝对的优 势，但由于这些大的i m 服务提供商出于自身利益的考虑，它们之间的i m 无法实 现互通，用户不得不同时安装2 - 3 个软件才能使用它们，这不仅给用户带来了极 大的不便，同时也制约着该市场的进一步发展。 与此同时，随着网络和多媒体技术的发展，i p 网络上的音视频通信技术被 广泛应用到即时通讯、视频会议等产品中。很多即时通讯服务商都已经在自己的 产品中加入了音视频通信技术，实现了语音通话、视频对话等功能，取得了比较 好的效果。例如在q q 、m s n 、s k y p e 等软件中均集成有音视频通信功能。该类功 能的提供关键在于从技术上保证音视频传输的低时延、语音清晰和较好视频质量 等性能指标，从而使用户满意度( m o s 值) 达到中等偏上水平( 3 5 以上) 。 但就目前国内状况而言，主要核心技术基本依赖于购买国外相关技术提供商 的解决方案。在这其中音视频的编解码是比较关键的技术，它们的发展已经经历 了定的过程，并在这个过程中产生了一系列的编解码标准，主要的标准有m p e g 硕七学位论文 系列和h 系列。这些标准的不断推出，为整个音视频产业的发展起了很大的推动 作用，然而在使用这些标准时我们不得不面临高昂的专利付费问题。 最早制定的m p e g - 1 标准是免费使用的。m p e g 一2 标准完成后，一些技术贡献 者注意到标准背后的巨大商业利益，开始组建m p e g 一2 专利池，并委托m p e gl a 代其收取专利费。这家1 9 9 6 年在美国成立的专利授权代理公司，1 9 9 7 年启动 m p e g 一2 ( 视频和系统部分) 所涉及的专利许可代理业务。在成功组建m p e g - 2 专利 池，并成功收费的基础上，m p e gl a 又启动了一系列标准的专利池构建和联合授 权业务，包括i e e e1 3 9 4 、d v b - t 、m p e g - 4 视像、m p e g - 4 系统、m p e g 一4a v c h 2 6 4 、 v c 9 和数字媒体版权管理d r m 等口1 。2 0 0 2 年1 月3 1 日，m p e gl a 宣布了一个令人 震j 晾的消息：凡使用m p e g - 4 解码器和编码器的产品，将”按人头收费”，每个收 费2 5 美分，同时还需按时间交费( 2 美分d , 时) ，这意味着每个用户如果每天 看两个小时的节目，每年需要缴纳约1 5 美元。此举一出，业界瞠目，全球哗然。 如此昂贵的收费标准不仅让生产厂商望而却步，同时也间接提高了相关电子产品 和网络服务的成本。仅就中国广播电视系统来说，近两千家电视台和大大小小的 有线电视网需要缴纳的专利费总额是十分庞大的，特别是对于p p v ( 按收视次数 收费) 等数字电视和网络电视业务来说，巨大的运营商费用和中国庞大的终端用 户所要面对的收费，对正在兴起的中国音视频产业几乎是灭顶之灾。而随着i p v 6 、 3 g 、n g n 技术的逐步启动，我国的多媒体市场将步入一个爆炸式的增长期，因此 研究具有自主知识产权的编解码标准和技术，并将其不断推广应用到尽可能多的 方面和领域已是刻不容缓，势在必行。 中国信息产业部科学技术司于2 0 0 2 年6 月批准“数字音视频编解码技术标 准工作组 ( 简称a v s 工作组) 成立h 1 。工作组的任务是：面向中国的信息产业需 求，联合国内企业和科研机构，制( 修) 订数字音视频的压缩、解压缩、处理和表 示等共性技术标准，为数字音视频设备与系统提供高效经济的编解码技术，服务 于高分辨率数字广播、高密度激光存储媒体、无线宽带多媒体通讯和互联网宽带 流媒体等重大信息产业应用。 与国外其他技术标准不同的是，a v s 标准系统从一开始就着眼于规避国外的 专利问题。中国开发a v s 技术与标准的基本思路是：既要自主产权又要合法免费 使用，在此基础上制订一套自己的音视频编解码技术标准。a v s 标准采用自主技 术，可以避免国外的专利收费，但同时又可与最新国际标准兼容，这有利于一块 芯片同时支持国内和国际两种标准。在技术方案上精简掉国际标准中因非技术原 因而加入的一些不必要的模块，从而可提供性价比更高的技术。 到目前为止，a v s 标准已经取得了巨大的成就，它作为数字音视频产业的共 性基础标准，在数字电视、网络电视、多媒体通信、视频监控等诸多领域得到了 广泛的应用。然而，值得令人深思的是对于即时通讯这个广阔的市场，a v s 标准 的应用却几乎是一片空白。究其原因，是由于各i m 之间不能互通，且a v s 技术 2 基于a v s 的即时通讯系统的设计与实现 与标准的发展还未达到一定的阶段，而这个问题从前面所述的a v s 技术与标准的 基本设计思路和现在已具备的技术来看已经具有解决的可能。因此，开发基于 a v s 标准的即时通讯系统，拓展其在即时通讯等商业产品中的应用，这对于填补 a v s 标准在该技术领域中的空白，同时对于促进我国音视频产业的发展是具有积 极意义的。本系统的研究与开发正是基于此展开工作的。 为了使即时通讯朝着协作和通信的模式演化，各i m 之间就必须要实现互通 圄，因此基于a v s 标准的即时通讯系统也必须解决这个问题，以为将来系统的可 扩展性和互通性做好准备。为了解决即时通讯的标准问题，i e t f ( 互联网工程任 务组) 成立了专门工作小组，研究和开发与i m 相关的协议。目前i m 有四种协议： 即时信息和空间协议( i m p p ) 、空间和即时消息协议( p r i m ) 、针对即时通讯和空间 平衡扩充的会话初始协议s i m p l e 以及扩展消息与出席协议x m p p ，它们都有各自 的特点与特性。但目前使用的i m 标准协议以s i m p l e 和x m p p 为主。因为x m p p 协 议在多媒体方面的支持不如s i m p l e ，另外i b m ，m i c r o s o f t ，l u c e n t 等大的厂商 都已宣布支持s i p 标准。因此在本系统中选择了s i m p l e 协议作为i m 的通讯协 议，以便能够实现与其它i m 兼容和互通，较好适应未来即时通讯产品的发展趋 势，也为即时通讯软件的互通做一定的探索，这亦是本系统研发的另一个意义所 在。 1 2 本文的组织结构 本文共分为八章。 第一章绪论，对即时通讯的现状、音视频领域存在的问题和研发背景进行 阐述，介绍本文研究的意义。 、 第二章系统介绍即时通讯的基本概念、发展现状及其存在的问题。 第三章介绍目前的音视频编解码相关技术和标准，对本系统中所采用的a v s 标准进行了详细的介绍和阐述，并与其它的标准进行比较。同时针对我们的即时 通讯系统的应用，对a v s 中的相关技术进行了一定的改进和调整。 第四章介绍s i m p l e 协议以及与其相关的协议s i p 和s d p 。 第五章介绍基于r t p r t c p 协议实现的音视频传输和同步控制策略。 第六章分析即时通讯系统的需求，设计系统的框架，并对系统流程、各个 重要模块的设计与实现进行详细介绍。 第七章分析和介绍音视频通信子系统的设计与实现。 第八章总结与展望。 3 硕士学位论文 1 3 作者的工作及本文的创新点 作者在对即时通讯行业的现状以及相关实现技术等方面进行广泛调研后，重 点分析了s i p 协议、a v s 标准、a v s 视频编解码技术和流媒体的传输与同步，特 别是对a v s 标准和a v s 视频编码标准进行了较深入的研究，并与当今几大标准进 行了比较与分析，之后进行了即时通讯系统的设计与实现。根据i e t f 工作组制 定的即时通讯标准s i m p l e 协议，在标准s i p 协议栈的基础上进行扩展，实现了 即时通讯系统的信令传送、即时消息的接收、发送以及音视频通信时的媒体协商。 在设计和实现音视频通信的过程中对a v s 视频技术的相关算法作了一定的调整， 使其更适应于即时通讯的实时应用。同时研究了r t p r t c p 相关协议，完成了基 于r t p r t c p 的音视频传输和同步控制。 本文采用了基于a v s 标准的视频编解码技术，这也是第一次把a v s 标准应用 到即时通讯系统中，这对于推广a v s 在商业化产品中的应用，推进a v s 标准的产 业化具有积极意义。而对于在进行音视频通信时比较难于解决的传输和同步问 题，我们提出了基于r t p r t c p 协议的传输和控制策略，使这一问题也得到了很 好的解决。由于我们设计的即时通讯系统是基于s i m p l e 协议的，因此它具有良 好的扩展性和互通性，能与遵循同样标准的i m 进行通信，这不仅给用户带来了 很大的方便，节约了很多的人力、物力，而且完全避免了不同i m 因协议不同所 需进行的复杂繁琐的转换与处理，从而可以更加充分的利用当前资源。 4 基于a v s 的即时通讯系统的设计与实现 2 即时通讯简介 2 1 即时通讯的产生 8 0 年代后期，尤其是进入9 0 年代以来，随着电脑和互联网的普及，特别是 移动互联网的发展，标志着以“联网、易用、时尚为特征的后p c 时代的到来。 传统的3 c 被赋予了新的含义，人们利用电脑和互联网的时间越来越多。即时通 讯( i n s t a n tm e s s e n g e r ) 最大程度的体现了网络给人们生活带来的变化，它使得 人们的沟通更加方便、快捷，真正有了天涯若比邻的“地球村 的感觉嘲。 1 9 9 6 年7 月，四个以色列的年轻人在特拉维夫成立了一家名为m i r a b i l i s 的小公司，公司的名称取自拉丁语，意为神奇。四个月之后，世界第一个即时通 讯软件i c q 在他们手中诞生，自此拉开了即时通讯的神奇的序幕。他们自己也没 想到，当初仅仅是为了使连接在同一个服务器上的用户能相互交流而开发的i c q ， 在后来的日子里能如此风光无限。他们更没想到，即时通讯软件是如此迅速席卷 了全球网民订1 。即时通讯软件的最大特点是能够满足人们在网上进行信息的实时 交流。实际上，它的产生和快速发展有着深刻的社会和技术原因。第一，大凡人 们都有渴望社交、获得社会尊重、实现自我价值的诸多需求；第二，随着物质文 明的日益发达，人们越来越习惯与周围的人们保持距离，而更愿意对陌生人敞开 心扉；第三，与传统的通讯方式相比，即时通讯具备快捷、廉价、隐蔽性等特点， 在网络上可以跨年龄、身份、行业、地域的限制，达到人与入、人与信息之间的 零距离交流。这一切正是网络即时通讯软件风行的原始驱动力。从某种意义上讲， 网络即时通讯的出现不仅改变了人们的沟通和交友文化，也大大拓展了个人生活 的交流空间。 。 2 2 即时通讯的定义与基本功能 2 2 1 即时通讯的定义 即时通讯( i n s t a n tm e s s e n g e r ) 简称i m ，是一个终端服务，允许两人或多人 使用网络即时地传递文字、文件信息或进行语音与视频交流。它是一种使人们能 在网上识别在线用户并与他们实时交换消息的技术。即时通讯比电子邮件更具自 发性，并且能够一边进行实时文本对话一边同时浏览网上信息。利用即时通讯工 具，不仅用户间可以方便地实现异地文字、语言、视频的实时互通，同时，也可 以帮助企业提高业务协同性以及信息反馈的敏感度和快捷度。目前，作为使用频 率最高的网络软件，即时通讯已被认为是现代交流方式的新象征。 5 硕士学位论文 即时通讯大部分依然采用c s ( c 1i e n t s e r v e r ，客户机服务器) 模式，但它 又不同于传统的客户机服务器模式，其结构如图2 - 1 所示。用户首先从即时消 息i m ( i n s t a n tm e s s e n g e r ) 服务器上获取好友列表，以建立点对点的联系，然 后用户( c l i e n t l ) 和其好友( c l i e n t 2 ) 之间采用点对点方式发送信息，在无法直 接点对点联系时，采用服务器中转的方式完成所需工作。 图2 - i 典型的即时通讯体系结构 2 2 2 即时通讯软件的基本功能 即时通讯软件的基本设计目标是：为进行即时通讯的网络用户提供实时信息 交换。其主要功能模块包括：新用户注册，用户登录验证，好友列表的获取，状 态变更通知，添加删除好友，接收发送即时消息，安全退出系统等。 新用户注册：提供给希望使用本软件的新用户获取一个自己的账户。 用户登录验证：用户在与好友进行交流前先要登录服务器并完成安全验证。 好友列表获取：为用户提供好友列表，便于用户知道自己好友的信息。 状态变更通知：用户可以将自己的实际状态( 在线、离线等) 通知好友，也 可以接收在线好友的状态变更。 添加、删除好友：用户可以对自己的好友列表进行添加或删除操作。 接收、发送即时消息：这是最主要且使用频率最高的功能，用户可以向好友 发送消息，也可以从好友处接收消息。 安全退出系统：用户结束聊天后可以退出服务器。 2 3 即时通讯的发展现状 目前国内外的即时通讯产品种类繁多，按照使用即时通讯目的的不同可以将 即时通讯工具分为四类：个人即时通讯、企业即时通讯、商务即时通讯和特殊即 时通讯。在美国，主要的即时通讯产品有四个：a i m ，i c q ，m s nm e s s e n g e r 和y a h o o m e s s e n g e r 。在国内面向个人的即时通讯信产品主要有腾讯q q 、网易泡泡、雅虎 通以及发展势头正猛的t o m s k y p e 等阳1 。 据统计，2 0 0 7 年上半年，中国个人i m 市场注册账户数突破7 亿户，用户数 达到1 2 6 亿人，占网民总数的9 0 以上玛1 。中国已经成为全球个人i m 市场发 展最好的国家，i m 用户在市场产生的价值高居全球首位。面对如此诱人的市场， 6 基于a v s 的即时通讯系统的设计与实现 中国移动，中国网通等几大国内的基础运营商看准时机，纷纷加入到市场竞争中， 先后推出了各自的即时通讯产品。 图2 22 0 0 2 2 0 0 7 年中国即时通讯市场规模与增长 近年来公共互联网上的即时通讯发展迅猛，并向着未来通信和协作的主要模 式演化。这种演化主要表现为：从文本向语音、视频和多媒体演化；从固定网络 向无线移动演化；从个人通讯向企业即时通讯和协作演化；在体系结构方面，从 集中服务器向对等连接p 2 p 演化；从专门系统向开放系统演化，推动实现不同系 统的互通。总体看，是从即时通讯向新一代统一消息演化。 2 4 即时通讯存在的问题 虽然即时通讯业务已日益成熟，但目前各类即时通讯软件及服务也都存在不 少缺陷，需要改进，主要表现为： ( 1 ) 各软件不能互通，受多种因素制约，各即时通讯工具间的互联互通问题虽在 努力实施，但仍没有得到解决。 ( 2 ) 音视频技术大多是购买第三方的解决方案，缺少没有自主技术的应用。 ( 3 ) 差异化问题，纵观市场上的几大即时通讯工具，它们在服务功能、市场定位 和目标市场选择上都基本雷同，缺乏特色。长此下去，必然导致价格战，使 利润摊薄，不利于即时通讯的发展。 ( 4 ) 安全性问题，目前，大多数即时通讯系统的安全性较差，极易受到病毒攻击。 7 硕十学位论文 3 音视频编解码技术 在我们的即时通讯系统中，视频的信源编解码部分使用了a v s 视频编解码技 术n 们，这也是本系统中最大的亮点之一。本章将对音视频编解码，特别是a v s 视 频编解码进行详细介绍，并进行分析和比较。在实现本系统的过程中，为了满足 即时通讯中的实时应用，对a v s 中的相关技术做了一定的调整和改进。系统中音 频部分的编解码技术采用的是网络上开源的技术和代码，各种资源都很丰富，在 此不再重述。 3 1 视频编码技术介绍 对于图像和视频压缩编码技术的研究，可追溯到上个世纪四十年代末，迄今 已有5 0 余年的历史。随着计算机技术、数字化通信尤其是多媒体通信和网络应 用技术的发展，图像和视频编码技术也得到了相应的发展并显得越发重要。 图像与视频的数字化表示需要大量的比特数，压缩编码的目的就是为了尽可 能地减少这些数据量，同时在一定保真度下重建原图像。虽然数字化的视频图像 数据是非常大的，但视频图像数据是高度相关的，其间存在大量冗余数据。图像 与视频数据压缩编码技术的基本思想就是去除视频图像数据中存在的各种形式 相关性所带来的数据冗余，包括空间冗余、时间冗余、信息熵冗余、结构冗余、 知识冗余和视觉冗余等，以达到大大减少数据量的目的。 视频编码技术经历了第一代编码技术和第二代编码技术两个发展阶段。所谓 第_ 代编码技术即以像素或像素块作为编码的基本实体，利用基于波形的图像编 码方法来进行图像压缩，在设计编码器的时候仅考虑了图像与视频序列中的空间 冗余、时间冗余和信息熵冗余，没有或较少考虑人类视觉系统( h v s ) 。第二代 编码技术相对于第一代编码技术而言，它进一步考虑了视觉数据中的结构、知识 和视觉等冗余以获得更高效的压缩效果和更好的图像质量。在这发展过程中出现 了一系列视频编码标准，正是由于这些标准的出现，推动了整个音视频产业的迅 速发展。 3 2 现有视频编码标准 3 2 1m p e g 系列标准 m p e g 是运动图像专家组( m o t i o np i c t u r ee x p e r tg r o u p ) 的简称，它创立 于1 9 8 8 年，它的最初使命是制定运动图像及其伴音的编码标准。m p e g 使用了非 8 基于a v s 的即时通讯系统的设计与实现 常先进的压缩技术，与其它视频、音频编码格式相比，在同样的质量下，m p e g 压缩的文件要小得多。压缩数字视频的技术可理解为j p e g + m e 。j p e g 是j o i n t p h o t og r a p h i ce x p e r t sg r o u p 制定的静态图像压缩标准，j p e g 通过把图像分解 为8 8 的子图像并运用数学变换来压缩信息。“m e 表示一帧与前一帧之间的 运动估计。数字视频中存在时域冗余和空域冗余，利用j p e g 对静态图像的压缩 技术来消除空域冗余，利用帧间的预测和运动补偿来消除时域冗余。 1 ) m p e g - 1 标准 m p e g 一1 是m p e g 组织于1 9 9 2 年提出的第一个具有广泛影响的多媒体国际 标准。当初的目标是：在压缩数据超过1 o m b s 速度时以可接受的视频质量传输； 支持均匀和非均匀压缩解压缩应用；使随机回放成为可能，还支持快速播放和 快速倒退；保持视频和音频同步；处理要求不妨碍基于实时编码实现的低花销半 导体的发展。说得更具体一些，m p e g 一1 的设计初衷是面向1 5 m b i t s s 的数字存 储媒体，支持的典型格式是3 0 帧秒的图像，可把运动图像和伴音以1 4 m b s 的 比特率压缩存储在c d 上，图像质量与盒式v h s 相当，m p e g - 1 已在v c d 中获得 了广泛应用。 一 、 2 ) m p e g - 2 标准 m p e g 一2 是m p e g1 9 9 4 年制定的第二个标准，目标是高级工业标准的图像质 量以及更高的传输率。m p e g 一2 处理4 ：2 ：2 颜色分辨率和高比特率的图片，采用 可变比特率( v b r - - v a r i a b l eb i tr a t e ) 技术，能够根据动态画面的复杂程度， 适时改变数据传输率以获得较好的编码效果。目前使用的d v d 就是采用这种技 术。m p e g 一2 支持伸缩性编码，利用分层编码设置不同的量化步长来处理o c t 系 数，使同一数据流中可以包含不同分辨率的图像，不同的像素可以具有不同的分 辨率。当图像中活动或变化部分较多时，先传输分辨率低的图像，然后根据信道 空闲情况，相应补充图像细节。这样，低分辨率图像在低编码层，高分辨率图像 在高编码层，对于运动视频，分层编码快速高效，编码后的图像效果很好，可以 低速或高速回放图像数据。 3 ) m p e g - 4 标准 m p e g 一4 是1 9 9 8 年公布的视频编码标准。它的设计目标是低比特率下的多媒 体通信和多工业的多媒体通信的综合。它不仅是针对一定比特率下的视频、音频 编码，更加注重多媒体系统的交互性和灵活性。m p e g - 4 采用基于对象和基于模 型的编码技术，定义了音频视频对象( a vo b j e c t ) ，可以对任意形状的视频对 象( v 0 ) 编码。m p e g 一4 不仅支持自然声音和视觉图像，还支持合成声音和合成的 视觉对象，它的音频部分将音频的合成编码和自然声音编码结合，视频部分将自 然编码和合成视觉对象编码结合，可以高效地对自然或合成的多媒体数据编码。 与m p e g - 2 不同，m p e g 一4 提供基于对象的分级功能，有两种分级工具：时域分级 9 硕士学位论文 和空域分级，m p e g - 4 称之为“视频对象平面”，它代表了视频对象平面的基本 层或增强层。m p e g - 4 提供了易出错环境中的稳健性来保证其在许多无线和有线 网络以及存储介质中的应用。考虑到低损耗、高性能技术提供的机会和面临迅速 扩展的多媒体数据库的挑战，m p e g - 4 将提供灵活的框架和开放的工具集，这些 工具将支持一些新型的和常规的功能，由于快速发展的技术使得工具软件的下载 极为便利，因此这种方式极具吸引力。 m p e g - 4 主要应用于数字电视，交互式图像应用，交互式多媒体和基于计算 机网络的可视化实验室场景等方面。 3 2 2h 系列标准 i t u - t 是国际电信联盟标准化部的缩写，从2 0 世纪8 0 年代起该部一直致力 于视频图像压缩标准化工作，相继制定了一系列标准和建议。通常情况下，h 系 列标准侧重于视频信息的数据压缩效率，以适合该系统在特定的位速率下传输的 需要，其主要应用目标是可视电话和电视会议。 1 ) h 2 6 1 标准 h 2 6 1 是i t u - t 提出的作为h 3 2 0 终端使用的视频编码建议，是用于p6 4 k b s ( p = l ，2 ，3 0 ) 速率下音频视频业务的视频编解码标准，其中p 是取值为 1 到3 0 的可变参数，p = i 或2 时，支持四分之一中间格式( o c i f ) 的帧率较低的 视频电话传输，p = 6 时支持通用中间格式( c i f ) 的帧率较高的电视会议数据传 输。x x6 4 k b s 视频压缩算法是一种混合编码方案，即基于d c t 的变换编码和带 有运动预测差分脉冲编码调制( d p c m ) 的预测编码方法的混合。在低传输速率时 ( p = 1 或2 ，即6 4 k b s 或1 2 8 k b s ) ，除q c i f 外还可使用亚帧( s u b - f r a m e ) 技术，即每间隔一帧( 或数帧) 处理一帧，压缩比可高达5 0 ：l 左右。它的优点 是运算复杂度不高，c p u 占用率较低。它的网络策略是牺牲图像质量来保证传输 帧频，因此当视频图像快速变化时，连续性较好而图像分辨率不高。 2 ) n 2 6 3 标准 h 2 6 3 是i t u - t 提出的作为h 3 2 4 终端使用的面向低比特率通信的视频编码 建议，它是在h 2 6 1 的基础上发展起来的，它是基于运动补偿差分预测编码 ( d p c m ) 的混合编码，在运动搜索的基础上进行运动补偿，然后运用d c t 变换和 “z 字形扫描的游程编码来得到输出码流。h 2 6 3 与n 2 6 1 相比，在许多方面 对h 2 6 1 进行了改进和扩充。虽然压缩算法没有太大差别，但h 2 6 3 编码时增加 了一些可选项，即无限制运动矢量、基于语法的算术编码、先进的预测以及p b 帧四种可选模式。在编码算法复杂度增加很少的情况下h 2 6 3 能提供更好的图像 质量和更低的码率。此外，n 2 6 3 所能支持的图像格式也比h 2 6 1 更自由，除了 q c i f 和c l f 外，它还支持s q c i f 、4 c i f 和1 6 c l f 。由于h 2 6 3 是专用于低比特率 1 0 基于a v s 的即时通讯系统的设计与实现 通信带宽的视频编码标准，它特别适用于i p 视频会议和可视电话，是i p 视频通 信中采用最多的一种视频压缩标准，并已被许多多媒体终端标准所吸收，如i t u t h 3 2 0 ( i s d n ) 和h 3 2 3 ( l