（通信与信息系统专业论文）mms系统中媒体的封装和集成.pdf

摘要 本文对m m s 系统进行了深入的研究，详细阐述了多媒体短信服务系统的体 系结构。本文把该系统在终端实现中大致分为m m s 编辑器，m m sp d u 模块， 通信模块和媒体模块，并给出了各个模块的实现方案以及各个模块相互的关系： 在m m s 编辑器给出了编辑和播放流程，以及界面的设计；在m m sp d u 模块中， 给出了p d u 的结构，封装以及各种p d u 所实现的功能；在媒体模块中，给出了 实现的接口，以及媒体的显示，并且详细阐述了音频视频的集成和封装，特别是 对m p e g 4 和h 2 6 4 的封装从标准到实现进行了细致的探讨和分析。同时在研究 了t i m e dt g x t 的结构的基础上，对其实现进行了一致性分析，并给出了t 殛e dt e x t 的编解码的实现方式。最后对j p e g 算法进行了探讨，并给出了符合m m s 要求 的j p e g 的实现。 关键词：m m sl d um p e g - 4 h 2 6 4j p e g a b s t r a c t t h i sp a p e ri n _ i r o d u c e st h es y g t c mo fm m sa i l dd e t a i l e d l yr e s e a r c h e so nt h e a r c l l i t e 咖r eo fm m s t h ei m p l e m e n t a t i o no fm m ss y s t e mi n 也et e r m 血a l 沁l u d e s s e v 瞰lp a n s ：m m se d r ，m m sp d um o d u l e ，c o l l l 】吼戚c a t i o nm o d u l ea n dm e d i a m o d m e t h er e l a t i o n s l l i po fm e s em o d u l e sa n dt l l ei m p l 锄e n t a 土i o no ft l i e s em o d l l l e h a v eb c e ng i v e ni n t h i sp 印e r ，i n c l u d e 吐他n o wo fn l ee d i t i n g 髓dp l a y i r l gm m s ，m e d e s i g no f 血eu s e ri i l t e r f a c ei nt h em m se d i t o rm o d l l l e ，也ea r d h c t i l f ca n df i l n c t i o no f e 盯hm m sp d u ，t l l ei n t e r f a c ea i l dm e t t l o do fp l a y i n gm e d i aa n ds oo n ，1 1 l i sp a p e r d i s c u s s e s 也ee n c 印s u d 撕o na n di n t e g r a t i o no fa u d i oa i l dv i d e omd e t a i l ，e s p e c i a l l y 也e e n c 印叽l a t i o n 锄dr e a l i z a t i o no fm p e g 一4a n dh t 2 6 4 i n 吐地r e a l i z a t i o n0 ft l l et 妇e d t e x t ，m ea l l a l y s i so ft h et i m e dt e x tc o n f o n n a n c ei sa l s og i v e n a tt 1 1 el a s t ，t h ea l g o r i m m o fj p e gi sd i s c u s s 酣髂也er e a l i z a t i o no f j p e gw h i c hi sf i tf o rm m s k q 啊o r d ：m m s p d um p e g - 4h 2 6 4j p e g 独刨性( 或创新性) 声明 y8 5 8 9 0 7 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文 中不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大 学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究 所做的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名日期銎塑d ! 厶彳 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工怍的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电予科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本学位论文属于保密在 年解密后适用本授权书。 本人签名 导师签名 f l 期2 塑、厶! 日期2 至! ! ：! ：甾 第一章绪论 第一章绪论 1 1 移动消息业务 在当今的信息社会里，人们可以借助移动终端( 例如手机) 在任何时间、任 何地点都能及时地获取信息并相互传递。移动消息业务继传统移动话音服务之后 成为又一个成功的移动数据业务。移动消息类业务起源于非实时酌传递文本消息 的业务系统，其本质都是采用存储转发的方式传递信息。移动消息业务广为人熟 知的为三类： 1 s m s ( s h o r tm e 8 s a g i n gs e r v i c e ) ，短消息。 2 e m s ( e n h 姐c e dm e s s a g i i l gs e “i c e ) ，增强型短消息。 3 m m s ( m u l 血d i am e s s a 西n gs e i c e ) 。多媒体消息业务。 s m s ( 短消息) ，在第二代移动通信网络基础上开发出来的移动数据业务，它 是一种使用手机发送和接收有限长度文本信息的通讯服务，一条短信最多可包含 1 4 0 个字节，约七十个汉字。短信由短信中心进行存储转发，其过程一般与语音 通话无相互干扰，手机即使在通话过程中仍然可以收发短信，客户可以设置短信 在短信中心存储的时限，最长时限是4 8 小时，超过4 8 小时将被短信中心删除。 短信的基本用途是在移动客户之间传递信息。 e m s ( 增强型短消息) ，它是s m s 业务的升级和扩展。在传递内容上，除了 更长的文本外还可以发送简单的图像、声音和动画，如钟声、屏保等信息。而它 最大的优势是仍然可以运行在原有s m s 运行的第二代网络上，并且在发送途径 和操作方法上也没有差别。由于每条s m s 消息的大小不变，所以必须把e m s 消 息拆成多条s m s ，然后在手机上进行组合。但是由于网络架构的局限，在要求传 递的内容越来越丰富的情况下，e m s 越来越不能满足要求。 m m s ( 多媒体消息业务) 是s m s 和e m s 的进一步发展。m m s 的工业标准 由w a p 论坛和3 g p p 联合制定，由于选择网络体系架构的不同，使其可以传送更 大的数据量，因而其传递内容进一步丰富，包括图像、音频信息、视频信息、数 据以及文本：在技术上，除了提供了更好的标准性和开放性、业务的扩展性外， 同时较好地考虑了与现有消息类业务系统的兼容，定义了一系列标准接口以实现 与现有s m s 咀及其他消息系统的互操作，从而提供了更好的业务过渡和衔接，因 此，m m s 是目前最具发展潜力的移动消息类技术。m m s 并非只能在3 0 网终中 使用。m m s 可以用在2 g 或者2 5 g 网络中，支持m m s 的手持设备和网络已经出 现。 2 脚s 系统中媒体的封装和集成 1 1 1m m s ，e m s ，s m s 的差别 1 ) 网络结构的不同： s m s ，e m s 信息在信令信道上发送，传送能力有限，所以不可能传输大的数 据量，而m m s 在数据信道上传输，由底层承载方式来决定传送数据的速率。m m s 采用的是w a p 事件的处理流程，由接收方主动从m m s c ( m m sc e n t e r ) 去取信 息，相同于w 。垤的浏览或者下载方式。 2 ) 底层业务承载不用： m m s 业务能够在电路或分组数据承载上传输，在不同技术的移动网络( 0 s m ， g p r s ，u m t s ) 使用不同的数据传输方式。其传输能力在c s d 方式下可以达到 9 6 k b i “s - 在g p r s 方式下最大可以达到1 8 4 l 【b i 洮，在3 0 下可以到达2 m b i “s 。 3 ) 内容附加值的不同： s m s 业务中，用户传递的是简单的文字信息，附加值很低：而m m s 业务中， 移动用户可以获得的内容不单是简单的文字信息，而且是铃声、屏保、动画等附 加值较高的内容，甚至是移动游戏、m p 3 歌曲、视频节目等高附加值的数字商品， 但是其版权必须得到保证。 4 ) 业务管理能力不同 m m s 与s m s e m s 相比，业务需要更多的管理和控制。信息在发送和接收网 络内受到控制和检测。用户会收到信息接收通知( 包括下载的费用) 并选择接收、 拒绝或转接信息。因此，m m s 系统必须有更多的业务和计费选择。 表1 1 m m s 与s m s _ i e m s 的差别 s m s ，e m sm m s 市场定位大众化的文本数据信息服务， 大众化的数据信息服务和娱乐服 市场潜力大务，市场潜力大，但须解决手机及 业务价值高的问题 业务特点 操作简单，发送有保证业务复杂性增加，发送有保证 资赞及计费结算资费低廉，计费清晰计费结算复杂性增加 互联互通和广覆盖已实现互联互通，并延伸到固工业标准成熟，互联互通容易实现 弼用户 价值链的形成，业务已形成运营商与服务提供商 价值链形成中 的不断丰富的照好价馑链 前景预测 随着网络用户增加及覆盖范目前最有潜力的消息类业务，但其 围延伸，仍将继续快速增长发展仍需解决一系列闻题并经过 市场检验，短期内无法超越s m s 箜二童堑堕 从以上我们可以看出，m m s 是一种内容丰富、附加价值高、 现复杂的新技术。并最终将发展成为人们生活中不可或缺的服务。 1 2 m m s 的相关标准及体系结构 1 2 1m m s 相关标准 应用广泛、实 m m s 承载于w a p 之上，因此其部署并不依赖于具体的网络平台，既支持 高速电路交换数据业务( h i 曲d r c u i t - s w i t c h e dd a t a ) ，也支持通用分组无线服务 g p r s 格式，e d g e ( e n h a n c e dd a ：【ar a t e sf o rg s me v o l u t i o n ，g s m 演进的增强数 据率业务) ，u m t s ( u n i v c r s a lm o b i l et e l e c o m m u i l i c a t i o n ss y s t e m ，通用移动通信系 统) 。不同网络之间的连接可以通过i p 和相关的消息协议来完成。这样可知保证 2 g 和3 g 无线网络对m m s 的兼容性。 m m s 和s m s 一样都采用存储和转发功能，这意味着当手机用户发送一条 m m s 消息时，这条消息并不是由接受者直接收到，而是由俗称的短消息中心先 一步接收到，然后短消息中心再向接收者发送一条接受指令，通知接收者从短消 息中心下载消息。然而相对于基本上以纯文本内容为主的s m s ，m m s 短消息中 心所要处理和传输的数据远远比s m s 短消息要复杂的多，因为除了要处理存储 转发大量的数据外，它还要处理诸如接收者处于不同的网络，或者手机屏幕尺寸 不同，那么m m s 运营商的设备还需要检测这些情况，以便定制相应的消息格式。 m m s 的标准由两个组织定制，一个是3 g p p ( 3 f dg e n e r a t i o np a r h l c r 出口 p r o j e c t ) ，一个是o m a ( o p e nm o b i la l l i a n c e ) 和w a pf o n n ( 已加盟o m a ) ， 3 g p p 组织主要制定m m s 消息的发送、路由和接收，o m a 组织主要制定m m s 消息的构造和封装标准。 嗍 图1 1 m m s 标准关系图 4 删s 系统中媒体的封装和集成 m m s 使用w a p w s p h r r p 作为下层协议来传输m m s 客户端和m m s 代理 中继之间的m m sp d u 。 m m s 的消息格式基于i n t e m e t 邮件格式m l m e ( 参考r f c 2 8 2 2 、r f c 2 0 4 5 、 i h c 2 3 8 7 ) ，由予无线信道的带宽有限，m m sp d u 采用了w s p 提供的二进制编 码消息格式。 m m s 的协议主要有下面两个标准集组成。 3 g p p 标准集： 3 g p p t s2 2 1 4 0v 6 6 o ( 2 0 0 4 一0 6 ) m m s 系统概况和功能定义 3 g p pt s2 3 1 4 0v 6 6 0 ( 2 0 0 4 - 0 6 ) m m s 系统功能描述 3 g p pt s2 6 1 4 0v 5 2 o ( 2 0 0 2 1 2 ) m m s 系统媒体格式和编码标准 3 g p pt s2 6 2 3 3v 5 0 0 ( 2 0 0 2 0 3 ) p s s 概述 3 g p pt s2 6 2 3 4v 5 6 0 ( 2 0 0 3 0 9 ) p s s 协议和编码规则 3 g p pt s3 1 1 0 2v 6 3 0 ( 2 0 0 3 0 9 ) u s 讧应用特征 3 g p pt s3 2 2 3 5v 5 4 0 ( 2 0 0 3 - 0 9 ) 计费管理：应用业务的计费数据描述 0 m a 标准集： o m a e i 也l d m m s - v 1 - 2 - 2 0 0 3 0 9 2 3 - co m a 的m m s 标准集定义 o m a - m m s - a r c h v 1 2 2 0 0 3 0 9 2 0 一cm m s 系统架构概述 0 m a m m s c o n f - v l - 2 - 2 0 0 3 0 9 2 9 一cm m s 一致性文档 0 m a - m m s c n t v l2 - 2 0 0 3 0 9 1 6 一cm m s 客户端事务定义 0 m a m m s j e n c - v 12 1 2 0 0 3 0 9 1 5 一cm m s 消息封装协议 0 m a w a p t s - w s p - v 1 _ o - 2 0 0 2 0 9 2 0 - cw s p 无线会话协议 w p 2 5 0 p u s a k h 0 e i e w - 2 0 0 1 0 7 0 3 aw a pp l l s h 结构综述 w a p 2 5 l p u s h m e s s a g e 一2 0 0 1 0 3 2 2 一a p i l s h 消息 1 2 2m m s 体系结构 如图1 2 所示为m m s 的体系结构，主要包括m m s 代理中继，m m s 服务器， e m a i l 服务器等几个重要的部分组成。 m m s 代理中继：m m s 客户端与其进行通信，同时，它还负责与其他的消 息系统进行通信，m m s 中继器负责在不同的消息系统之间传递消息，以整合处于 不同网络中的各种类型的服务器。m m s 代理中继还具有地址翻译功能和临时存 储多媒体短消息的功能。在有些实现中m m s 代理中继和m m s 服务器与m m s 服 务器合而为一。 m m s 服务器：负责存储和处理到来和离开两个方向上的多媒体短消息。在 某些实现中可以和m m s 代理中继合为一体。 第一章绪论 e m a j l 服务器：提供传统的i n t e m e t 邮件服务。 为了更好地帮助理解这种基于端到端的m m s 系统的工作框架，下面为m m s 的发送过程： 1 用户启动m m s 客户端。 2 用户选择或输入m m 接收地址。 3 用户编辑m m 。 4 用户请求m m s 客户端发送m m 。 5 加垤s 客户端向本地网络内的m m s 代理中继提交所完成的m m 。 6 m m s 代理中继解析m m 接收地址。 7 m m s 代理中继继续转发m m 到目标m m s 代理中继。 8 目标m m s 代理中继将接收到的m m 存入其相关联的m m s 服务器。 9 目标m m s 代理中继向目标m m s 客户端发送新m m 到达通知。 1 0 目标m m s 客户端从目标m m s 服务器获取该m m 。 目标m m s 客户端向用户发出新m m 成功接收提示。 1 2 用户打开新的m m 。 1 3 ，目标m m s 客户端将m m 显示在用户终端屏幕。 1 2 1 3m m s 实现方式 图1 2 m m s 体系结构 由于m m s 业务系统不依赖于具体的移动网络，要求m m s 系统对于不同的 网络，终端要有兼容性，可兼顾不同类型和网络之间的通信。因此，m m s 的实 现既可以基于w a p 方式，也可以基于i p 方式。 如图1 3 所示，在m m s 客户端和w a p 网关之间使用标准的w a p 无线会 6 删s 系统中媒体的封装和集成 话协议w s p 进行消息传输，在w a p 网关和m m s 代理中继之间使用基于 h 1 v r p 协议进行传输。m m s 客户端与w a p 网关交互的技术有w s p 请求方法、 w a pp u s h 服务：w a p 网关通过因特网与m m s 代理中继交互；m m s 代理中 继负责发起对m m s 客户端的通知，同时对外界进行数据交互，如发送m m 到 某邮箱或从某邮箱中取得邮件并转换为m m 送给m m s 客户端。 图1 3 基于w a p 的实现 如图1 4 所示，m m s 客户端与m m s 代理中继之间直接通过h 1 v r p ，r c p 仃p 体系进行通信m m s 客户端与m m s 中继代理之间直接通过h t t p 僦m p 体 系进行数据通信。 圈1 4 基于h m 的实现 1 3 m m s 媒体的相关标准 有上一节我们知道，与s m s 相比，m m s 最有附加值的莫过于加入视频，音 频等多媒体元素。在m m s 中的媒体的标准有 1 ) 图像：j p e g ，s v g ，p n g ，g i f ； 2 ) 音频：a a c ，m r ，加删b ； 3 ) 视频：h 2 6 3 ，h 2 6 4 ，m p e g 4v i d e o ； 我们知道与普通文本相比，这些媒体的数据量是惊人的，需要进行压缩后进 行传输。例如，按照4 ：4 ：4 采样的n t f s 制式s i f 格式( 2 4 0 x 3 2 0 像素) 的彩色数 字电视信号的数据量达到6 0 8 m b p s ，如此庞大的数据量给存储器的存储容量、通 信信道的传输率( 带宽) 以及终端的处理速度增加极大的压力。目前终端的软硬件 水平和通信网络的带宽远远达不到存储或传输原始数字视频信息的要求。这要求 数字视频信号在传输之前必须进行压缩，尽可能地消除信息的冗余，减少信号的 第一章绪论 7 数据墨。 研究发现。数字视频，音频，以及图像数据中存在着大量的冗余。如何去除 这些冗余，减少数据量，以适应m m s 在无线中的传输。随着数字音频视频频编 码技术的不断发展和成熟，出现了大量编码应用方案。为了使各种应用系统实现 兼容，同时推进技术的市场化，各企业联盟、标准组织和专门化标准委员会就新 技术的规范化制定了一系列的标准。 s v g ：英文全称为s c a l a b l ev e 渤rg m p h i c s 。意思为可缩放的矢量图形。它 是基于x 1 l ( e ) 【t e n s i b l em 舡k u p 岫g i l a g e ) ，由w 0 r l dw i d ew e bc o n s o n i u m ( w 3 c ) 联盟进行开发的。严格来说应该是一种开放标准的矢量图形语言。用户可以直接 用代码来描绘图像，可以用任何文字处理工具打开s v g 图像，通过改变部分代码 来使图像具有互交功能，并可以随时插入到h t m l 中通过浏览器来观看。它提供 了目前网络流行格式g i f 和j p e g 无法具备了优势：可以任意放大图形显示，但 绝不会以牺牲图像质量为代价。 g i f ：g i f 是英文g m p h i c s 硫e r c h a n g ef o n n a t ( 图形交换格式) 的缩写。g i f 格式的特点是压缩比高，磁盘空间占用较少。 最初的g i f 只是简单地用来存储 单幅静止图像( 称为g i f 8 7 a ) ，后来随着技术发展，可以同时存储若干幅静止图 象进而形成连续的动画，使之成为当时支持2 d 动画为数不多的格式之一( 称为 g i f 8 9 a ) ，而在g i f 8 9 a 图像中可指定透明区域。g i f 图像格式还增加了渐显方式， 也就是说，在图像传输过程中，用户可以先看到图像的大致轮廓，然后随着传输 过程的继续而逐步看清图像中的细节部分，从而适应了用户的”从臌胧到清楚”的 观赏心理。 p n g ：p n g ( p o n 2 l b l e n e t w o r kg r a p h i c ，可移植的网络图像) ，它是为了适应网 络数据传输而设计的一种图像文件格式，用于取代格式较为简单、专利限制严格 的g i f 图像文件格式。而且，这种图像文件格式在某种程度上甚至还可以取代格 式比较复杂的t i f f 图像文件格式。它的特点主要有：压缩效率通常比0 i f 要高、 提供a l p l l a 通道控制图像的透明度、支持g a m m a 校正机制用来调整图像的亮度 等。p n 0 文件格式支持三种主要的图像类型：真彩色图像、灰度级图像以及颜色 索引数据图像。j p e 0 只支持前两种图像类型，而g i f 虽然可以利用灰度调色板 补偿图像的灰度级别，但原则上它仅仅支持第三种图像类型。 j p e g ：j p e g 是联合图像专家组( j o i mp i c t u r ee x p e r t s0 f o u p ：j p e g ) 提出的一 种静止图像压缩规范，由于联合图像专家组是国际标准化组织( i s o ) 和1 1 1 j 麸 同组建的一个工作小组。j p e g 标准的基本编码方案采样d c t 变换，量化，h u 蛐m a i l 编码来压缩数据，同时参考人的主观感觉设计了变换系数量化表。 a a c ：a a c 标准完成于1 9 9 7 年4 月。从自1 9 9 6 年秋天开始的在英国的 b b c 和日本的n h k 广播进行的测试表明：对于3 2 0 k b s 的五个全带宽声道，a a c 删s 系统中媒体的封装和集成 可以达到l t u 2 r 音质。正在进行的m p e g 4 音频标准是以a a c 技术为核心的， 它可以实现每声道低至1 6 k b s 的数据率。 a m r ： 第三代移动通信中采用了自适应多码率a m r 的语音编码方式。 a m r 选择最佳信道和编码模式使语音质量和系统容量达到完美的结合，除此之 外，它还9 满足网络的某些特殊需求。a m r 中的每种编码模式提供了不同的容错 度。实际的语音速率主要取决于现存的无线信道环境。每种编码的适应性算法是 选择最佳语音速率作为信道质量函数。编码适应性主要依靠在移动端到网络端的 信道质量和被与语音数据一起传输给空中接口的带宽信息。 a m r - w b ：a m r w b 是一种多速率编解码器，产生的比特率为 6 6 2 3 8 5 k b s 。在更高的比特率时质量会更高。它使用多速率a c e l p 语音编码， 帧长2 0 m s ，算法复杂度很高，约3 8 m p s ，算法的时延时2 5 m s 。它已经被3 g p p 标准化，是1 6 k b s 。它是仅有的一个提供众多特性的宽带技术，包括了编解码器， 负载格式以及同其他多媒体文件格式的接口。 h 2 6 3 ：1 9 9 6 年i t u t 推出了针对甚低比特率的视频压缩标准h ，2 6 3 建议。 h 2 6 3 最初是针对1 0 3 0 k b i t ，s 范围的甚低比特率应用设计的，但实验结果表明， 在任意速率范围内，h 2 6 3 都取得了惊人的压缩效果，成为当时最成功的数字视 频压缩标准。在比特率低于3 0 k b i 讹的应用中，同样的视频质量前提下，2 6 3 的输出码率仅为h 2 6 1 的一半甚至更少。h 2 6 3 采用了诸如可变尺寸块运动补偿 技术、重叠块运动补偿技术、无限制运动矢量技术和运动矢量预测技术等一系列 新的视频编码技术。 m p e g 4 ：活动图像专家组制订m p e g 4 的初衷是提供一种用于视频会议和 可视电话的甚低比特率的数字视频编码方法，但是随着多媒体硬件技术和多媒体 信息技术的发展，更复杂的算法实现成为可能，御e 0 4 最终被定位为一种基于 内容的，支持多媒体信息内容访问的开放的数字视频编码标准。m p e g - 4 中基于 对象的编码和比特分配恩想是其最大的刨新之处，它弓i 入了视频对象的概念一 改传统的基于帧的编码方法。m p e g 4 标准于1 9 9 8 年正式公布，当时的文件其包 括系统、视频、声音、一致性测试、参考软件和集成框架六个部分。 h 2 6 4 ：1 9 9 8 年，r r u t 第1 6 研究小组在对h 2 6 3 不断改进的同时，还启动 了另一个研究项目 l 2 6l ，目标是制定一个新的数字视频编码标准，使其编码效 率能够两倍于当时已投入使用的标准。2 0 0 3 年3 月，标准的最终草案公布，称作 h 2 6 4 w c 或m p e g 4 s u a lp a n l 0 。与以前的视频编码标准不同，h 2 6 4 不仅含 有个规定视频编码算法的视频编码层( v c l ) ，还包括一个规定网络传输规范的 网络抽象层( n a l ) 。h 2 6 4 的视频编码层采取的编码框架仍然是传统的混合编码 框架，h 2 6 4 编码效率的提高也不是其中某一种新的编码技术所产生的决定性的 结果，而是多种新技术所产生的细微的效果积累而致。这些新技术包括：多种新 第一章绪论 9 的帧内预测方法、可变尺寸块的运动补偿技术、多参考帧的运动补偿技术、4 4 整数变换技术、基于上下文的二进制算术编码技术以及新的环路滤波技术。 上面提到的这些编解码器都要分别经过优化，以提高媒体加载和编码速度， 提高整体程序性能。 本论文着重研究了m m s 实现的方案， m m s 系统中各个模块之间的关系， 以及每个模块的实现，以及如何将各种音频，视频，图像编解码器集成到m m s 系统中，以及对各个编解码器的实现。 各章节内容安排如下： 第二章讨论了m m s 系统总体方案的设计，各个模块之间相互的关系和各个 模块的实现方案。 第三章讨论了将通用的音频视频编解码器集成在m m s 的系统中。 第四章讨论了t i m e dt e x t 在m m s 系统中的实现。 第五章讨论了j p e g 的算法讨论，以及符合m m s 要求的j p e g 编解码器的实 现。 第二章蹦s 系统总体方案的设计 第二章m m s 系统总体方案的设计 2 1m m s 总体框架 图2 1 m m s 系统实现的各模块及相互关系 如图2 。1 所示，m m s 编辑器根据已有媒体( 图像，视频，音频，文本，当然 这些媒体元素都可以采集或者录入) ，调用s m i l 编码模块生成s m i l 的表示文件， 生成多媒体消息，并按照封装标准，将编好码的各种媒体集合在一起，并转换为 相应的二进制格式m m sp d 哪，之后再交给网络传输。m m 8 使用w a pw s p m t r p 作为下层协议来传输m m s 客户端和m m s 代理中继之间的m m sp d u 。因此可以 在无线照终或i 咖m 畋上进暂传输。对于接收到的多媒体消息，则襄要翘板消息 中包含的内容，然后使用适当的解码器解码，并在m m s 播放器显示界面上显示 出来。 s m i l 简介：s m i l 语言是w 3 c 组织开发的一套已经规定好的而且非常简单 的标记。它用来规定多媒体片断( 这里多媒体的包括的范围有：声音文件、视频文 件、动画、图片、文字等) 在什么时间、在什么位置、以什么样的方式播放。 在m m s 的实现中。我们使用了s m i l 中最基本的5 个模块： 1 ，布局模块 2 媒体对象模块 删s 系统中媒体的封装和集成 3 结构模块 4 定时与同步模块 5 元信息模块 通过以上模块，我们可以很方便的表示媒体的各种属性来实现m m s 。 2 2 各个模块的设计和实现 2 2 1 m m s 编辑器和播放器 我们这里把m m s 的编辑器和播放器是合一的。m m s 编辑器包括界面已经对 其它各个模块的控制，如发送，接收，播放之类，因此它是m m s 的核心，各个 模块都是为它服务的。 由于m m ( 多媒体短信) 是由s l i d e 组成的，类似于p o w e i p o i n t 的风格，每个 s l i d e 可以是一幅图片，一段视频，一个文本，一段音乐，它们之间是可以互相组 合的但有些是互斥的，如在一个s l i d e 中不能同时显示图片和播放视频。所以， m m s 编辑器的操作( 不管是创建新的m m ，还是播放m m ) 是以s l i d e 为中心的。 圈2 2 m m s 编辑器的界面 下面是生成m m s 编辑器的几个子模块： 1 ) m m 编辑器的界面。 如图2 2 所示，界面整体采用s d i 单文档设计，最上面是工具栏包括下拉菜 单，包括添加删除s l i d e ，播放s l i d e 等。 裂分窗口分为三个部分，左面的部分像p o w e 巾o i n t 风格显示了m m 的每一个 s l i d e ，按照显示先后的顺序从上到下排列。当然左边窗口部分像p o w e r p o i n t 一样 显示的都是小图片，如果是视频，则显示视频的第一帧如果是纯音频，则显示 第二章枞s 系统总体方案的设计 一张音乐的图片，在左面图片的都要此s l i d e 表示的内容的文字，如果是视频则显 示v ，图片为p ，音频则显示a ，文本显示t 。当然这些元素在一个s l i d e 中是可 以互相组合，例如一个s l i d e 可以是一张图片，一段音乐，一段文本的组合，也可 以是视频，音频加上文本的组合而成，当然除了上一节提到的互斥的元素以外。 除了每个s l i d e 中的元素搔放时间，还有本s l i d e 的播放时间，每个s l i d e 中元素的 起始和中止时间应该在s l i d e 播放时间之内。 中间的部分为s l i d e 播放的主窗口，下面的部分为时间条，用户可以调接在每 个s l i d e 中每种元素的播放起始时间和中止时间。因为每个s l i d e 可以包括多个元 素( 音频，视频，文本，图片的组合) ，它们各个元素的起始和播放时间可以不同。 时间条做成标尺状，播放时从左到右的滚动。当然在时间条的下方有一个控件表 示播放进度，即现在播放的时间相当于整个m m 播放时间的位置，因为每个m m 有多个8 l i d e ，时间条只是表示当前s l i d e 某个元素的播放进度。 2 ) 实现创建m m 和保存m m 的模块。 首先创建工程文件和工程文件夹，把获得的媒体元素拷贝到工程文件夹中， 然后调用媒体编码模块得到信息，把所得的信息调用s m i l 模块得到p 淄锄i i 衄， 就是用s m i l 来表示各媒体的信息，为m mp d u 封装做准备。 3 ) 控制屏幕显示与更新的模块，如鼠标的操作，一条新的m m 的显示等。 m m s 播放器根据生成或者接收到的工程文件，媒体文件和s r n i l 文件来进行 播放，s m i l 文件指出了播放时在界面显示的具体位置，播放时闽和次序。通过调 用媒体解码器，让媒体类在指定时间和位置播放，达到播放的效果。 4 ) 对s l i d e 的管理模块，如添加一条s l i d e ，或者删除一条s l i d e 。 在s l i d e 的实现中，我们创建了一个s l i d e m a n a g e 的类，包括对s l i d c 的各种控 制。如添加，删除等等。 5 ) 和s m i l 模块之间的接口。 6 ) 和m m p d u 生成模块的接口。 2 2 2m m sp d u 封装和解析器 m m s 采用m l m e 来构造多媒体消息，如图2 3 所示。每个消息分为消息头 和消息体两部分。消息体由多个媒体对象组成，每个对象占据一个d 矾( 遵循 r f c 2 3 8 7 标准) 。消息体内还可以包含p r e s e n t a t i o l l s 数据( 如s m i l ) ，该数据如果 不是消息体的第一个p a r t ，则必须用啦i n 字段指出其所在位置。 消息体中最下层为媒体文件，如音频，视频，文本及图片文件，然后 p r e s e n t a t i o n 用s m i l 来表示这些文件播放的次序，文件名，开始播放时间，结束 时间，当然如果是图片，文本则为显示时间，已经在屏幕中显示的具体位置。最 心s 系统中媒体的封装和集成 后蒋用m m l e 来封装消息体。 图2 3 m m s p d u 格式 在m m sh e a d e r 和p r e s e n t a t i o n 还有下面每个元素的部分会用边界隔开，并会 有边界起始和边界结束的标记。在m m sh e a d e r 中会定义边界的值，然后m m s h e a d e r 和p r e s e n t a t i o n 之闻表示出边界开始，等到最后一个媒体元素表示完后会有 边界结束的标记。表示这个m m sp d u 的结束。 m m s 消息的文本格式采用i e t f 规定的m i m e 结构( r f c 2 0 4 5 2 0 4 9 ) ，它和 0 m a 制定的m u m r n e d i am e s s a g i n gs e r v i c ee n c a p s u l a t i o np r o t o c o l 规定的二进制码 格式有一一对应的关系。 下面是m m s 客户终端系统需要处理的1 2 种m m sp d u ： 客户端将多媒体短信发送给发端m m s 代理中继( m 。s e n d r e q ) 发端m m s 代理中继发送给客户端( m s e n d c o n f ) 从m m s 代理中继取回消息( w s p 胆订pg e t r e q ) 接收多媒体短信回复，收端代理中继发送至客户端( m r e 雠e v c c o n f ) m m s 新消息到达通知，收端代理中继发送至客户端( m n o t i 氏a t i o n i r d ) 多媒体短信通知回复，客户端发送至收端代理中继( m - n o t i f y r e 印i n d ) 已发送消息的发送报告( m d e l i v e 阱i n d ) 应答发送的消息( m a c k l l o w l e d g e i n d ) 已发送消息的阅读报告( m r e a d r e c i n d ，m - r e a d o r i g i n d ) 转发消息( m m s 客户端发送一个请求让m m s 代理中继转发消息， m f o n v a r d 和m f o r w a r d c o n f ) m m sp d u 的头域是客户端指定的，也可以由m m s 代理中继修改和补充连鄹 m m s 消息体一块儿发送给指定的客户端。当然有些m m sp d u 只含有头域t 它 第二章删s 系统总体方案的设计 们起到建立和维持通信的作用。首先。域名分为可选项和必选项，为了便于理解， 以下为发送请求( m s e n d r e q ) p d u 的头域。 表2 1 发送请求p d u 的头域 域名分配数值描述 x m m s m e s s a g e - t y p e 0 x 0 c 必选项，指定p d u 的类型 x - m m s - 1 h n s a c t i o n - i d o x 0 b 必选项，p d u 的唯一标识 x m m s - m m s - 、，e r s i o no x 0 d 必选项，表示m m s 版本号 d a t eo x 0 5 可选项，p d u 提交的日期时间，不选时，中继代理会补 充为接收请求的时间 f m m0 x 0 9必选顼，发送客户端的地址 t oo x l 7 可选项，接受客户端的地址，可重复出现 c c0 x 0 2可选项，接受客户端的地址，可重复出现 b c c 0 x 0 1 可选项，接受客户端的地址，可熏复出现 s u j c c t o x l 6 可选项，m m 的主题 x - m m s - m e s s a g e 0 如a可选项。自动：表示该m m 由客户端自动生成，则无需 c l 船s发回传送和以读报告，不选则默认为个人 x - m m s e x p i r y o x 0 8可选项。缺省为最大，m m 被存储在中继代理的时限， 过期将删除，可以为相对时间或绝对时间 x m m s - d e l v e r y - t i m e 0 x 0 7 可选项，缺省为立即，发送m m 的时间，时间格式可以 是相对时间也可以是绝对时间 x m m s - p o r i t y o x 0 f 可选项，m m 的优先级，缺省为一般， x m m s _ s e n d e r 0 x 1 4可选项，发送是否方显示其地址，如果不选，则匿名发送 - v i s i b i l i t y x m m s d e v e r y - 0 x 0 6可选项，指定发送方是否要求已传送报告，缺省要求 r e p o r t x m m s - r e a d - r e p o r t o x l o 可选项，指定发送方是否要求已读报告，缺省要求 x m m s s t o r e o x 2 2 可选项，发送方是否要求发送的同时拷贝m m 存储到 m b o x ，如果代理中继不支持 n 位o x ，那么带选项被 忽略 x m m s - m m - s t a t e o x 2 3 可选项，指定存入m m b o x 的状态，缺省为s e m x m m s m m - f l 嶝 0 x 2 4可选项，指定添加或删除关联m m b o x 中个m m 的 标记 x m m s r e p l y c h a 哂n g o x l c 可选项，指示发送方是否愿意为回复此m m 付费 x - m m s - r e p l y 0 x 1 d可选项，指出回复收费的期限，超过时限将不会为此付费 埘s 系统中媒体的封装和集成 c h a 西n g - d e a d l i n e x t m m s r e p i y o x l f 可选项。指示回复m m 的最大尺寸。单位为字节 c h a 唱i n 酽s i z e x 朋m s r e p l y - o x l e 可选项，应仅存在于回复m m 中，其值与原始发送方的 c h a 曙i n g - i d m e s s a g e i d 相同 c o n t e n t t t y p e o x 0 4 必选项，m m 内容的类型 为了节约无线领域的带宽资源，表2 1 中分配数值即为每个域名关键字使用 预定义的二进制编码，从而减少数据传输量。其它的类型的p d uh e a d e r 大致和请 求发送的p d u 是类似的。 有个上面的m m s 发送请求p d u 的头域后，下面是我们用m i m e 来封装发 送请求p d u 的例子，如表2 2 所示 表2 2 一个请求发送p d u 的例子 m 】m eo b j e c f x m m s - m b s s a g e 1 y p e ：m s e n d 他q m i m 匣h e a d e r s x - m m s _ t t 蛳s 8 c l 沁n l d ：0 4 5 6 7 8 9 0 x - m m s - m m s 、恕r s i o n ：1 2 d a t e ：w 酣2 8d e c2 0 0 52 0 ：5 7 ：5l + 0 8 0 0 f r o m ：a t o ：b s u b j e c t ：s e n dam m s x - m m s - m e s s a g e c l 粘s ：p e r s 0 皿l x m 眦娜时：s a t ，2 8j 曲2 0 0 62 0 ：5 7 ：s 1 + 0 8 0 0 x m m s d e l i v e y