（信号与信息处理专业论文）移动流媒体应用开发.pdf

移动流媒体应用开发 摘要 流媒体技术是把连续的影像和声音信息经过压缩处理后存放到网络 服务器上，移动终端用户能够边下载边观看，而不需要等到整个多媒体 文件下载完成就可以即时观看的技术。移动流媒体是传统流媒体技术和 移动通信技术相结合的产物。 典型的移动流媒体系统由节目制作工作站、流媒体服务器、流媒体 门户网站、传输网络和移动终端组成。本论文主要对移动流媒体系统的 节目制作和移动终端播放器这两个关键组成部分作了研究，开发了p c 平 台的h 2 6 4 节目制作工具和基于s y m b i a n 智能手机操作系统的流媒体播 放器。 具体而言，本论文主要完成了以下几项工作： ( 1 1 针对h 2 6 4 编码算法复杂度高的特点，为提高节目制作效率，我 们对编码算法进行了优化。考虑到1 4 象素运动估计中在编码算法中的 复杂度最高，本文重点对1 4 像素运动估计进行优化。我们根据运动估 计中s a d 的特性，利用最佳整象素周围相邻的整象素点来判断收敛点的 范围，把1 4 象素的搜索从1 6 次减- j , n6 次以内；把重建的整象素图象 与内插的图象分为1 6 个图象分别存储，根据象素的特性建立了一个半象 素的表和4 个1 4 象素的表，去除了额外计算，提高了搜索速度。 ( 2 ) 开发了基于s y m b i a n 的流媒体播放器。所开发的播放器能解 码h 2 6 4 视频码流和a m r 音频码流，并在诺基亚7 6 1 0 手机上进行了测 试，达到了预定的要求。 ( 3 ) 流媒体播放器的优化。为了提高播放器的播放速度，本论文针对 a r m 处理器的特点，对h 2 6 4 解码算法进行了优化。实际测试结果表明， 经过优化的解码器在诺基亚7 6 1 0 手机上播放速度每秒钟提高了3 帧，达 到1 2 帧秒，画质清晰。此外，论文还对音视频同步技术做了较为深入 的研究，明确了下一步的工作方向。 关键词：移动流媒体s y m b i a no s h 2 6 4a m r 媒体播放器 优化 a p p l i c a t i o nd e v e l o p m e n tf o rm o b i l e s t r e a m i n gm e d i a a b s t r a c t s t r e a m i n gm e d i ai sap o p u l a rs e r v i c en o w a d a y s ，i nw h i c hv i d e oa n d a u d i op r o g r a ma r es t o r e do nac o m p u t e ri na d v a n c e ，a u t h o r i z e dc l i e n t sc a l l a c c e s si ta n dp l a yt h e s ep r o g r a mw h i l ed o w n l o a d i n g m o b i l es t r e a m i n gm e d i a i san e we m e r g i n gs e r v i c er e s u l t i n gf r o mt h eq u i c kd e v e l o p m e n to fm o b i l e c o m m u n i c a t i o nt e c h n i q u e s t y p i c a lm o b i l es t r e a m i n gm e d i as y s t e mc o n s i s t so fp r o g r a mp r o d u c t i o n w o r k s t a t i o n ，m e d i as e r v e r , w e b s i t e ，t r a n s m i s s i o n n e t w o r ka n dm o b i l e t e r m i n a l s t h i sp a p e rf o c u s e so nt h ed e v e l o p m e n to ft w oi t e m s ：p r o g r a m p r o d u c t i o nt o o la n dm e d i ap l a y e r t h ef o r m e ri sd e s i g n e df o rp cp l a t f o r m w h i l et h el a t e rw i l lb eu s e do nm o b i l et e r m i n a l sr u n n i n gs y m b i a no s i ng e n e r a l ，t h ef o l l o w i n gw o r kh a sb e e nf u l f i l l e di nt h i sp a p e r ： ap r o g r a mp r o d u c t i o ns o f t w a r eh a sb e e nd e v e l o p m e n t ，w h i c ha i m sa t p r o d u c i n gv i d e o a u d i op r o g r a m s f o rm o b i l es t e a m i n gs y s t e m i no r d e rt o p r o v i d eh i g hv i d e oq u a l i t y , h 2 6 4 ，t h el a t e s tv i d e oc o d i n gs t a n d ，i sa d o p t e dt o e n c o d ev i d e os e q u e n c e s t oa c h i e v eh i g hs p e e d ，o p t i m i z a t i o nf o r1 4p i x e l m o t i o nc o m p e n s a t i o ni sd e s i g n e dc a r e f u l l y i no u ri m p l e m e n t a t i o n ，s e a r c h i n g p o s i t i o n sf o ro n e 1 4p i x e li sd e c r e a s e df r o m16t o6b yc h a n g i n gt h ew a yo f r e a d i n gp i x e l s l o c a t e da ti n t e g e rp o s i t i o n i nt h em e a nt i m e ，1 4p i x e l i n t e r p o l a t e di m a g eu s e di n 1 4p i x e lm o t i o ns e a r c hi ss u b d i v i d e di n t o16 s u b - i m a g e sa n ds t o r e di nm e m o r ys e p a r a t e l y , e a c hs u b - i m a g ec o r r e s p o n d so n e p o s i t i o na m o n g 16 p o s s i b l ep o s i t i o n s t h i sa r r a n g e m e n t c a nr e d u c e u n n e c e s s a r yc o m p u t a t i o nf o r 1 4 i n t e r p o l a t e d p i x e l sa n dr e s u l t si nm u c h h i g h e rs p e e d s i m u l a t i o nr e s u rs h o w st h a tt h ep r o p o s e da l g o r i t h m c a n a c h i e v es i m i l a rp s n rc o m p a r e dw i t hf u l ls e a r c h i n g am e d i ap l a y e rh a sb e e nd e v e l o p e dt od e c o d eh 2 6 4v i d e oa n da m r a u d i oo ns y m b i a nb a s e dm o b i l et e r m i n a l s t h i sp l a y e rh a sb e e nv e r i f i e do n n o k i a7 6 1 0m o b i l ep h o n ea n dc a np l a yh 2 6 4v i d e oa ta s p e e do f8 - 9f r a m e s p e rs e c o n d o p t i m i z a t i o nf o rm e d i ap l a y e ri sa l s oc o n d u c t e di nt h i sp a p e r i nt h i s w o r k ，t h ep r o p e r t yo fa r mc o r ea n ds y m b i a no sa r ej o i n t l yt a k e ni n t o c o n s i d e r a t i o n ，t h ep i p e l i n e o fv i d e oa n da u d i o d e c o d i n ga l g o r i t h m i s r e a r r a n g e dt oa c c o m m o d a t et h eh a r d w a r ea n ds o f t w a r eo fm o b i l et e r m i n a l s s i m u l a t i o no nn o k i a7 610m o b i l ep h o n ed e m o n s t r a t e st h a tt h ed e c o d i n g s p e e do fh 2 6 4v i d e oc a nb ei m p r o v e dt oa b o u t12f r a m e sp e rs e c o n d i n a d d i t i o n ，t h i sp a p e r h a sm a d es o m eb a s i cr e s e a r c ho nt h e s y n c h r o n i z a t i o ns c h e m ew h i c hw i l lh e l pa u d i oa n dv i d e op l a y i n go ns y m b i a n p l a t f o r m k e yw o r d s ：m o b i l e s t r e a m i n gm e d i a ；s y m b i a no s ；m e d i ap l a y e r ；h 2 6 4 ； a m p , ；o p t i m i z a t i o n 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均己在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 巡爱 日期：丛翻! ! 塑 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名： 盘基日期：丝翌煞玉塑 导师签名： 麦曼蛆日期：盈1 6 11 ：盟 北京邮电大学硕士论文移动流媒体应用开发 第一章概述 移动通信用户和互联网用户近年始终保持高速增长，随着基础设施建设的日 趋完善和终端普及率高速提升，增值服务市场保持了高增值率，资本市场将持续 热捧，互联网增值业务开始赢利，移动流媒体投资前景乐观。移动流媒体作为3 g 典型增值服务的基本技术体系，其对于3 g 增值服务市场的竞争产生巨大的影响。 在当下愈发趋于理性的通信和互联网产业，曾经风靡一时的“眼球经济”已经很少被 人提及，但是“离散眼球经济”的时代正在来临。所谓“离散眼球经济”是指：通过 对消费个体进行非连续的、间歇的和零散的时间段和空间段的注意力来吸引获得 经济活动中品牌利益的最大化。随着通信技术的发展，以手机媒体为代表的移动 通信流媒体的应用将成为下一代“离散眼球经济”的开路先锋。 现代社会信息源和信息需求的高速膨胀使得传统中闲置的、离散的时间和空 闻为需求所用。在人们正常的工作、生活活动之余，那些闲散的时空资源随着信 息终端触角的延伸，越来越被人们所充分利用，或是用于工作资讯获取，或是用 于生活休闲娱乐。于是，以手机+ 流媒体为代表的移动流媒体将成为这一领域最有 力的“眼球”获取媒介。原因如下：首先，这是由流媒体的自身技术特点决定的。流 媒体技术应用的最大特点是：媒体节目边缓存、边播放，即内容的获取和内容的 消费同步进行。因此，对于用户而言节省了服务时间，无需苦苦等待下载，这一 特点使得流媒体技术可以最大限度地在有限的时空范畴内为消费者提供高效的信 息服务。其次，手机媒体的自身特点决定其适合这种形式。手机以其移动性、便 携性的优势成为传统媒体的重要补充。离散型时空资源的重要特征是时间长短的 不确定性和空间位置的不确定性，而传统的媒体终端诸如p c 、电视、户外媒体等 均受到自身局限性的限制、无法满足人们对离散时空资源利用的需求。然而手机 媒体的出现，会随时随地且无处不在地服务，可以很好地解决这一问题。 在移动通信技术和多媒体技术蓬勃发展的今天，音频、视频和数据的无线传 输己成为网络信息技术的核心。通过手机实现视频点播、收看视频节目将成为最 能吸引用户的业务。 北京邮电大学硕士论文移动流媒体应用开发 1 1 移动流媒体简介 1 _ 1 1 移动流媒体定义 流媒体( s t r e a m i n gm e d i a ) 技术是为了在网络上传播多媒体文件( 包括音视频、 动画、文字等) 所开发的一整套技术架构，包括流媒体压缩技术、时基编码技术、 传输协议等。基本原理是根据网络的传输能力进行相应比例的有损压缩，确保基 本信息的实时传输：在编码时插入时基标志，便于同步、缓存和拖动浏览：以c s ( c l i e n t s e r v e r ) 的架构( 也可以将客户端以插件的方式嵌入测览器) 提供文件服务，并 使用实时传输协议在网络上传输，以确保传输质量。流媒体的出现为i n t r a u e t 和 i n t e r n e t 上的多媒体信息发布特别是连续的流媒体信息的发布提供了全新的手段。 通过移动网络在移动手持终端上采用流媒体技术实现的应用简称移动流媒体应 用，典型的应用实例包括移动视频点播、移动视频聊天、移动卡拉o k 等。而通 过互联网、有线电视网在p c 、电视机等设各上采用流媒体技术实现的应用称为宽 带流媒体应用，典型应用包括在线影院和视频聊天等。 目前在网络上获取音视频等多媒体信息主要采用下载播放和流式播放两种方 式。对于下载播放而言，由于音视频文件往往很大，需要大量的存储空间。这一 要求对于具备大容量硬盘的p c 机可能并不难满足，但对于存储容量十分有限的手 机终端而言却是一个难以克服的困难。于是人们很自然地想到了将流媒体技术应 用到移动网络和终端上，并称之为移动流媒体技术。所谓移动流媒体技术就是把 连续的影像和声音信息经过压缩处理后放到网络服务器上，让移动终端用户能够 一边下载一边观看、收听，而不需要等到整个多媒体文件下载完成就可以即时观 看的技术。实际上移动流媒体技术是网络音视频技术和移动通讯技术发展到一定 阶段的产物，它是融合很多网络技术之后所产生的技术，它会涉及到流媒体数据 的采集、压缩、存储以及网络通信等多项技术。 概括起来，移动流媒体技术有三大特点： 1 ) 能够实时播放音视频和多媒体内容。声音、影像或动画等文件边下载边播放， 当多媒体文件在客户机上播放的同时，文件的剩余部分在后台继续从服务器上 下载，这样可以大大缩短启动延时，避免了用户必须等待整个文件全部从服务 器上下载完成后才能观看的缺点。 2 ) 播放的流媒体文件不需要在客户端保存，节省了对客户端存储空间的要求，而 且也不需要太大的缓存容量。 3 ) 由于流媒体文件不在客户端保存，从而大大简化了媒体文件的版权保护。 北京邮电大学硕士论文 移动流媒体应用开发 由于移动流媒体技术具有的三大特点，决定了移动流媒体业务的广阔应用前 景。首先，流媒体技术有效降低对传输带宽和抖动的要求，使得在无线传输环境实 现实时媒体播放成为可能。其次，移动终端体积小、低能耗的要求决定了其有限的 存储空间，而媒体文件不需要在终端中保存，避免了对存储空间的较高要求。此外， 有效地版权保护，能够确保移动流媒体应用的商用模式。 1 1 2 移动流媒体业务的分类 根据分类依据的不同，移动数据业务的分类方式也会多种多样。对于移动流 媒体业务通常采用以下两种分类方式。 ( 1 ) 根据数据内容的播放方式不同 在线播放 终端播放器实时从流媒体服务器上获取流媒体数据，边下载边播放，流媒体 内容不需存储在用户的终端设备。如果用户需要多次播放同一内容，每一次都需 要从流媒体服务器上重新下载数据。对于在线播放的内容，由于是边下载边播放， 播放效果很大程度上依赖于网络带宽，所以需要根据运营商网络的实际带宽状况， 选择合适的压缩参数制作内容。 下载播放 用户将流媒体内容下载并存储到本地终端中，然后可以选择在任意时间进行 播放。对于下载播放，主要的限制指标是终端的处理能力和终端的存储能力，内 容提供商可以制作出较高质量的视频内容( 高带宽和高帧速率) ，但需要考虑内容的 下载时间及终端的存储空间。严格地说，下载播放并不是真正的流媒体，而是利 用流媒体的部分协议或系统的部分功能实现的一种业务。 ( 2 1 根据内容的来源 流媒体点播( v i d e o o n - d e m a n d , v o v ) 内容提供商将预先录制好的多媒体内容编码压缩成相应格式，存放在内容服 务器上并把内容的描述信息以及链接放置在流媒体的门户上。最终用户就可以通 过访问门户，发现感兴趣的内容，有选择的进行播放。 流媒体直播 流媒体编码服务器将实时信号编码压缩成相应的格式，并经由流媒体服务器 分发到用户的终端播放器。根据实时内容信号源的不同，又可以分为电视直播、 远程监控等。 北京邮电大学硕士论文 移动流媒体应用开发 1 1 3 移动流媒体业务系统的结构及功能 ( 1 ) 移动流媒体业务系统的结构 移动流媒体业务系统通常由以下几个部分构成： 1 ) 移动流媒体门户网站：主要用来实现用户认证和为用户提供个性化的内容发 现、搜索功能。 2 ) 移动终端：具备内容发现的功能，并可以通过终端上的流媒体播放器实现流媒 体内容的再现。 3 ) 传送网：负责完成流媒体服务所有信息的传输，既包括控制命令信息，也包括 数据内容信息。传送网部分一般包括空中接口、无线接入网、i p 分组核心网、 i n t e m e t 等。 4 ) 后台流媒体业务系统：包括流媒体内容创建予系统、流媒体播放子系统( 包括 流媒体服务器) 和后台管理子系统等等，分别负责流媒体内容的编码、创建和 生成，媒体流的传输，用户管理、计费、业务综合管理等功能。 ( 2 ) 移动流媒体业务系统的功能 概括而言，从业务使用的角度出发，一个移动流媒体业务系统必须向用户提 供内容发现和业务使用两大基本功能。所谓流媒体内容的发现是指用户使用支持 流媒体业务的手机或其他移动终端，访问流媒体业务平台门户网站，通过页面- 浏 览、分类查找或直接搜索等功能发现流媒体内容的过程。流媒体业务的使用则是 指用户发现指定流媒体内容后进一步使用流媒体业务的过程，包括：流媒体内容 的在线播放、流媒体内容下载播放以及收看实时流媒体广播服务等，此外还必须 具备与其他服务或应用的接口能力。事实上，一个完整的移动流媒体业务系统应 包括以下功能。 1 ) 业务发现功能。用户可以通过w a p ( w i r e l e s sa p p l i c a t i o np r o t o c 0 1 ) 或 h t t p ( h y p e r t e x tt r a n s f e rp r o t o c 0 1 ) 方式主动访问移动流媒体业务的门户网站，发 现流媒体业务。用户发给门户网站的请求信息中包含了用户当前所使用浏览器 类型信息和用户身份识别信息。门户网站可以根据此信息，确定用户身份及用 户所使用的终端类型，并将相应格式的门户网站页面发送给用户。另外，服务 提供商还可以采用p u s h 的方式，通过短消息、w a pp u s h 等形式，将新业务 的介绍以及链接发送给终端用户，用户可以直接点击链接，访问流媒体业务。 此类发现方式适合于新业务的推广、为亲朋好友点播流媒体内容等。 2 ) 业务认证功能。业务认证功能主要由于对用户身份的识别和业务使用的授权。 3 ) 计费功能。计费功能是业务商用的必要条件，移动流媒体业务系统应能够记录 4 北京邮电大学硕士论文 移动流媒体应用开发 用户的使用记录，并提供灵活的和可定制的资费策略以满足不同服务的计费需 要。 4 ) 内容传送功能。内容传送是指流媒体服务器将用户选择的流媒体内容以数据流 的方式发送到用户的终端上，该功能是移动流媒体业务的核心功能。 5 ) 内容制作功能。内容制作是指流媒体业务系统将需要传送的流媒体内容自动制 作编码成符合用户使用要求的流媒体数据流并发送给用户的功能。 6 ) 对终端的适配功能。不同的移动终端其处理能力有很大区别，所支持的协议也 各不相同，流媒体业务系统应能够支持不同类型的移动流媒体终端。 7 ) 网络带宽适配功能。对于移动用户，由于无线环境的多变性，即使在同一地点 的不同时间或在同一时间的不同地点所能使用的网络带宽会有很大不同，所以 用统一带宽速率压缩的内容无法满足不同用户的实时播放需求。移动流媒体业 务系统应根据用户的实际使用状况，提供带宽适配的功能。当用户在播放流媒 体内容时，流媒体业务系统能够探测用户当前的实际带宽，然后把以接近实际 带宽速率压缩的内容发送给用户，保障用户能够在不同的带宽情况下都能看到 无中断的播放。网络带宽适配功能是移动流媒体系统所特有的功能之一。 8 ) 业务管理功能。主要包括内容管理，设备管理，用户管理，收入管理和s p 管 理等。 9 ) 内容下载功能。流媒体下载服务允许用户将流媒体内容下载到本地播放，从而 避免了网络带宽变化对内容播放的影响，适合发布些高质量的流媒体内容。 1 0 ) 版权机制r m ) 。对数字版权机制的支持主要用于限制用户下载的媒体文件的 转发和播放次数，从而保证内容提供商和运营商的商业利益。 1 1 43 g 网络的移动流媒体应用 ( 1 ) 信息服务 包括财经信息、新闻和即时体育播报、天气信息等服务。用户只须通过简单 的接入门户站点即可获取大量信息，也可以通过订阅的方式使用信息推送服务。 信息的内容可以以流媒体的方式提供。 ( 2 ) 娱乐服务 包括卡通、音频、视频以及电视节目的精彩片段下载播放和在线播放。还可以 提供移动游戏、用手机看电视等服务。 ( 3 ) 通信服务 包括含有流媒体内容的彩信、视频电话会议等，使人们的沟通更加方便， 北京邮电大学硕：e 论文移动流媒体应用开发 更为丰富多彩。 ( 4 ) 监控服务 主要包括交通监控和家庭监控。交通监控使交通部门能够实时察看高速公路 和主要道路的交通状况，可查看指定道路区间的路况，并可在途中通过定位服务 来检查各路段的交通情况。家庭监控可以实时监视家庭和办公室的情况。只需安 装基于w e b 的数字视频相机，并连接到i n t e r n e t 上就可以通过移动终端或p c 监视 家庭或办公室。 ( 5 ) 定位服务 可用来提供地图和向导服务，并且可以预览风景名胜、预定饭店和电影票等。 1 2 本论文所完成的工作 本论文的主要工作包括三部分：h 2 6 4 视频编码器的实现与优化、智能手机播 放器的音视频解码的实现与优化以及音视频同步理论的算法研究。 1 2 1h 2 6 4 视频编码器的实现与优化 为了给智能终端提供标准的节目源，本论文设计并实现了基于p c 的h 2 6 4 视 频编码器，通过改进l 4 象素精度的运动估计算法，实现对编码器的优化。该编码 器能采集模拟视频信号进行实时压缩编码，也能对本地文件进行压缩编码。 1 2 2 智能手机播放器的视频解码的实现与优化 本部分主要实现了h 2 6 4 视频解码算法和a m k 音频解码算法在s y m b i a n o s 平台的移植及优化工作，以提高解码速度。为了应用于a r m 处理器上的 s y m b i a n 平台，h 2 6 4 a v c 代码做了相应的修改。在我们的解码结构中，视频 流由解码器实时解码，经过熵解码、重排序、反量化、逆变换和重构：最后对视 频数据做块滤波，并把解码像素用块拷贝方式直写入显存输出。 1 2 3 播放器音视频同步的实现 本部分重点是实现音、视频信号同步的闯题，所以我们试图在此对参考点同 步模型进行优化改进，希望既能弥补参考点同步模型的缺陷，很好地解决动态媒 体间同步的问题，又不至于增加同步实现的复杂度，从而降低对系统资源的占用。 北京邮电大学硕士论文 移动流媒体应用开发 第二章移动流媒体关键技术 移动流媒体技术是网络音视频技术和移动通讯技术发展到一定阶段的产物， 它是融合很多网络技术之后所产生的技术，它会涉及到流媒体数据的采集、压缩、 存储、无线网络通信以及移动终端等多项技术。 2 1 视频编解码技术 多媒体数据在传输前必须要先经过编码器有效地压缩成码流，以减少对网络 资源的占用率。目前常用的视频编解码标准有由m p e g ( m o v i n gp i c t u r ee x p e r t s g r o u p ) 制定的m p e g 一1 、m p e g 2 、m p e g - 4 和i t u t 制定的h 2 6 1 、h 2 6 2 、h 2 6 3 、 h 2 6 4 ，以及m i c r o s o f t 公司的w i n d o w sm e d i a 视频编码器和r e a l n e t w o r k s 公司的 r e a ls y s t e m 视频编码器等，其中h 2 6 2 m p e g - 2 和h 2 6 4 m p e g 4a v c 由i t u t 与m p e g 联合制定。下面分别介绍相关的图像编码标准。 2 1 1j p e g 在1 9 8 6 年，i s o 与c c i t t 联合成立“联合图片专家组( j o i n tp h o t o g r a p h i c e x p e l sg r o u p ，j p e g ) ”，研究制定“静止图像数字压缩编码标准( d i g i t a l c o m p r e s s i o na n dc o d i n go f c o n t i n u o u s t o n es t i l li m a g e s ) ”。1 9 8 7 年1 1 月，i e c 也 参加合作，因此，j p e g 是三者联合的结果。经过多次国际会议讨论和修改后，于 1 9 9 1 年3 月提交j p e g 建议草案，1 9 9 2 年7 月通过正式标准。j p e g 用于连续变 化的静止图象，包括灰度等级和颜色两方面的连续变化。j p e g 有两种操作模式， 一是以d c t ( d i s c r e t e c o s i n e t r a n s f o r m a t i o n ) 为基础的有损压缩方法：二是以熵编 码为技术的无损压缩方法。 2 1 2i v i p e g 系列 运动图像专家组( m p e g ) 原来是i s o i e c ，j t c l s c 2 9 下面的第1 1 工作组 w g l l ( w o r k i n gg r o u p1 1 ) ，成立于1 9 8 8 年，任务是研究开发活动图像及其声音 的数字编码国际标准。m p e g 从开始的1 5 家单位发展到现在的1 0 0 多家单位参加。 7 北京邮电大学硕士论文 移动流媒体应用开发 i s o m p e g 在1 9 9 1 年1 1 月提交了i s oi i l 7 2 标准“用于数字存储媒体的码率为 1 5 m b i t s 的活动图像及其声音编码( c o d i n go f m o v i n gp i c t u r e sa n da s s o c i a t e da u d i o f o rd i g i t a ls t o r em e d i aa tu pt o1 5 m b i t s ) ”建议草案，即通常所说的m p e g 1 。该标 准于1 9 9 2 年1 1 月通过，t 9 9 3 年8 月公布。在影视和多媒体计算机领域中得到了 广泛应用。 m p e g 一1 标准主要是为了视频存贮媒体如v c d 丙制定，该标准能够适应变码 流的处理，其主要目的是在l 1 5 m b i t s 的情况下，提供3 0 帧c i f ( 3 5 2 x 2 8 8 ) v h s ( v i d e oh o m es y s t e m ) 的质量的图像。m p e g 一1 的实时编码通常需要硬件才能完成， 解码可以用软件来完成。m p e g 一1 不能提供分级图像编码，也不能在丢包率高的 情况下应用。 1 9 9 2 年7 月m p e g 开始制定m p e g 2 ，而在此之前，i t u t 也成立了一个a t m ( a s y n c h r o n o u st r a n s f e rm o d e ) 环境下图像编码的专家组，由此开始了j t c l 和i t u t 的合作。m p e g 一2 是m p e g 制定的第二个国际标准。m p e g 2 标准扩展了m p e g 1 标准，能够支持高分辨率图像和声音。目标码率是在3 - - 1 5 m b i t s 传输速率条件下 提供广播级的图像，而且能够提供信噪比( s i g n a l t o n o i s e r a t i o ，s n r ) 、时间和空 间三种分级编码。该标准应用于卫星广播时，在当前的一个模拟信道中，不牺牲 质量的情况下能提供5 路数字的编码节目。j m p e g - 4 是i s o m p e g1 9 9 1 年5 月提出并于1 9 9 3 年7 月得到确认，其目标是 极低码率的音频视频压缩编码，它支持用于通信、访问和数字视听数据处理的新 方法( 特别是基于内容的) 。考虑到低损耗、高性能技术提供的机会和面临迅速扩展 的多媒体数据库的挑战，m p e g 4 将提供灵活的框架和开放的工具集，这些工具将 支持一些新型的和常规的功能。m p e g 4 支持逐行扫描和隔行扫描，是基于视频对 象的编码标准，通过对象识别提供了空间的可伸缩性，m p e g ，4 标准是今后一段时 间压缩标准的主流。m p e g 4 标准既能够支持码率低于6 4 k b i t s 的视频应用，也能 够支持广播级的视频应用。与其他压缩标准相比，m p e g 4 标准在d c t 的基础上 引入了图像模型的概念从而具有更高的压缩效率。m p e g - 4 的工作集中于发展 m s d l ( m p e g 4s y n t a c t i c d e s c r i p t i o n l a n g u a g e ) 语言。m s d l 和- j a v a 的思想一样， 能够通过下载功能模块部分建立新编解码器。 m p e g 一7 ( 1 9 9 6 2 0 0 0 ) 是多媒体内容描述接口，与前述标准集中在音频，视频 内容的编码和表示不同，它集中在对多媒体内容的描述。 北京邮电大学硕士论文移动流媒体应用开发 2 1 3h 2 6 x 系列 h 2 6 1 与h 2 6 3 标准主要面向于低码率的视频应用，如可视电话和会议电视。 h 2 6 1 是最早出现的视频编码标准，它的输出码率是6 4 k b i f f s 的倍数。 h 2 6 1 视频压缩编码是图像压缩编码领域4 0 年研究成果的结晶，是第一个在 国际上产生广泛影响的视频压缩编码标准，随后的m p e g 系列标准中的视频压缩 编码算法无论从原理和基本框图来看都是以h 2 6 1 为基础的，是对h 2 6 1 的重要 发展和改进。h 2 6 1 主要是为了i s d n 的会议电视和可视电话的应用，它采用的算 法结合了可减少时间冗余的帧间预测和可减少空间冗余的d c t 变换的混合编码方 法。和i s d n ( i n t e g r a t e ds e r v i c e sd i 【g i t a ln e t w o r k ) 信道相匹配，其输出码率是 p x 6 4 k b i v s 。p 取值较小时，只能传清晰度不太高的图像，适合于面对面的电视电 话；p 取值较大时( 如p 6 ) ，可以传输清晰度较好的会议电视图像。其基本算法 与m p e g 标准类似，但h ，2 6 1 所需要的计算量能够显著下降。这种算法通过均衡 图像质量和运动来优化带宽，所以对于快速运动的图像，图像重建质量会下降。 h 2 6 1 的输出速率是恒定的，而图像质量非恒定。 h 2 6 3 是i t u 关于码率低于6 4 k 1 ) s 的窄带信道视频编码建议，它是在h 2 6 1 建议的基础上发展起来的，其帧频为每秒1 0 帧以上，图像分辨率为1 7 6 像素1 4 4 行( q c i f ：q u a r t e r c m m o n i n t e r m e d i a f o r m a t 格式) 或者1 2 8 像素x 9 6 行( s q c i f 格 式) 。h 2 6 3 是为了支持低速率的通信而制定的标准，但同时希望码流能够适应较 大的动态范围，而不仅限于低码率，能够取代h 2 6 1 。h 2 6 3 的容错能力很强，能 适应误码率高的信道。h 2 6 1 和h 2 6 3 的主要区别在于：h 2 6 3 在运动估计时采用 了半像素精度，h 2 6 1 是整像素精度。同时h 2 6 3 还增加了四个选项：搜索范围不 受限的运动估计( u n r e s t r i c t e d m o t i o n v e c t o r s ) ，算术编码( s y n t a x b a s e da r i t h m e t i c c o d i n g ) ，高级预测( a d v a n c e d p r e d i c t i o n ) ，类似于m p e g 的前向和后向预测帧( p b 帧) 。 h 2 6 3v e r s i o n2 ( 或称h 2 6 3 + ) 是在h 2 6 3 的基础上以增加编码的可选项的 形式改进的，在语法上与h 2 6 3 兼容，但编码效率有很大提高，适用范围也更大。 其主要的应用方向仍是低码流的视频业务，用于p s t n 以及无线接入的高误码比 的通信环境，因此在h 2 6 3 + 中既增加了一些改进编码效率的方法，同时也提高了 抗误码性能的能力。由于实现成本较低，h 2 6 3 + 标准已经越来越多地被采用。 h 2 6 3 + + 已经由i t u t 正式制定为标准，并且在h 2 6 3 + 的基础上增加了三个 选项，主要是为了增强码流在恶劣信道上的抗误码性能，同时也是为了增强编码 效率。这三个选项分别为： 北京邮电大学硕士论文 移动流媒体应用开发 选项u ( a n n e xu ) ：一个增强型的参考选择( e n h a n c e dr e f e r e n c ep i c t u r e s e l e c t i o nm o d e ，e r p s ) 。能够提供增强的编码效率和信道错误再生能力，实现 e r p s 模式时需要设计多缓冲区用于存贮多参考帧图像。 + 选项v ( a n n e xv ) ：一个数据分片的模式( d i g i t a lp r o c e s s i n gs y s t e m s ，d p s ) 。 能够提供增强型的抗误码能力( 特别是在传输过程中本地数据被破坏) 。d p s 的思 想是通过分离视频码流中d c t 系数和运动矢量数据，将运动矢量的数据采用可逆 编码的方式进行保护。 t 选项w ( a n n e xw ) ：在h 2 6 3 + 的码流中增加的补充信息，保证增强型的反 向兼容性。附加信息包括指示采用的定点i d c t ( i n v e r s ed i s c r e t ec o s i n e t r a n s f o r m a t i o n ) 、图像信息和信息类型、任意的二进制数据、文本( 任意的版权、 标题、视频描述，统一的资源识别) 、重复的图像头( 当前的、前帧、可靠参考时 间的下一帧，不可靠参考时间的下一帧) ，交替的场( 上或下场) 指示，稀疏的参 考帧识别。 在m p e g 一4 规格里，新增了动画压缩率约为以往方式两倍的新方式“i v p e g 一4 a d v a n c e d v i d e o c o d e c ( a v c ) ”。2 0 0 2 年1 2 月9 日1 3 日期间在曰本香川县淡路 岛举行的m p e g ( m o v i n g p i c t u r ee x p e r t sg r o u p ) 聚会上已确定了相关技术规格。 在规范书定稿以后，会在2 0 0 3 年3 月1 7 曰被确定为国际标准规范( i s ka v c 为过去被称作“m p e g 4v i s u a lp a r t1 0 ”规格，采用了近似d c t ( 离散余弦变换) 的 整数运算来替代迄今为止在m p e g 一1 ，2 ，4 中所采用的d c t ，因此它与以往的 m p e g 4 编码播放设备不兼容。标准化将由m p e g 的上级组织i s o 仃e c 和i t u 共 同成立的小组( j v t ，j o i n tv i d e ot e a m ) 负责进行，a v c 也被称作“r r u th 2 6 4 ”。 该压缩标准能够在i n t e m e t 上，通过使用比其他同类标准少得多的网络资源，传播 d v d 品质的媒体内容，而且h 2 6 4 使得在卫星或是有线电缆上，每信道能传送4 路高清节目。其运行费用比基于m p e g - 2 系统低得多，这对于有线电视投资者无 疑具有巨大的吸引力，由于h 2 6 4 编码比现有的编码算法的压缩比高1 倍，这将 使其在移动通信领域也占有一席之地。 2 1 4w i n d o w sm e d i a w i n d o w sm e d i av i d e o9 ( w m v9 ) 是m i c r o s o f t 媒体技术的首要c o d e c ，它派 生于m p e g 4 ，几个专有扩展功能使其可在给定位率下提供更好图象质量。在这种 意义下，w i n d o w sm e d i av i d e o9 是流式视频中质量最高的c o d e c 之一。w i n d o w s m e d i av i d e o 的特征如表2 1 所示。 1 0 北京邮电大学硕士论文 移动流媒体应用开发 表2 - 1w i n d o w sm e d i av i d e o 特征 源素材视频 支持颜色格式y u v4 ：2 ：0 压缩时间 不对称 临时压缩有 特殊特征 编码器来源 w i n d o w sm e d i ae n c o d e rv 9 ( f o r w i n d o w s ) 。和c l e a n e r5 ( m a c 与 w i n d o w s ) 解码器来源 w i n d o w sm e d i a p l a y e rv 9 算法基于m p e g - 4 的d i s c r e t ec o s i n e t r a n s f o m c t ) 厂商 m i c r o s o f t 2 1 5r e a l v i d e o 、r e a l a u d i o 可扩展视频技术 r e a l n e t w o r k s 公司所制定的视音频压缩规范称为r e a l m e d i a ，是目前相当流行 的跨平台的、客户服务器结构的多媒体应用标准，r e a l s y s t e m 采用可扩展视频 技术作为其主要视频编码解码。如其名称所示，此编码解码具有扩展其行为的能 表2 - 2r e a l v i d e o 特点 源素材视频 支持颜色格式 y u v 压缩时间不对称 临时压缩有 特殊特征 可扩展性 编码器要求 p o w e r m a c ，p e n t i u m 解码器要求 p o w e r m a c ，p e n t i u m 编码器来源