（计算机应用技术专业论文）嵌入式视音频流技术应用研究.pdf

华东师范大学硕士学位论文 嵌入式视音频流技术应用研究 学位论文独创性声明 本人所呈交的学位论文是我在导师的指导下进行的研究工作及取得的研究成果。据我所 知，除文中已经注明引用的内容外本论文不包含其他个人已经发表或撰写过的研究成果。 对本论文的研究做出重要贡献的个人和集体，均己在文中作了明确说明并表示感谢。 作者签名使日期 a p 牛j 1 ， 学位论文使用授权声明 本人完全了解华东师范大学有关保留和使用学位论文的规定，学校有权保留学位论文并 向国家主管部门或其指定机构送交论文的电子版和纸质版。有权将学位论文用于非赢利目的 的少量复制并允许论文进入学校图书馆被查阅。有权将学位论文的内容编入有关数据库进行 检索。有权将学位论文的标题和摘要汇编出版。保密的学位 学位论文作者签名丝 日期： 主竺! ：城多 导师签名 论文卒解密后适用本规定。 蔽 日期：趔。丛臼 华东师范大学硕士学位论文嵌入式视音频流技术应用研究 o r i g i n a l i t yn o t i c e i np r e s e n t i n gt h i st h e s i si np a r t i a lf u l f i l l m e n to f 1 er e q u i r e m e n t sf o r t h em a s t e r s d e g r e ea te a s tc h i n an o r n l a lu n i v e r s i t y , 1w a r r a n tt h a tt h i sm e s i si so r i g i n a la n da n y o ft h et e c h r f i q u e sp r e s e m e di nt h et h e s i sh a v eb e e nf i g u r e do u tb ym ea n yo ft h e r e f e r e n c e st ot h ec o p y r i g h t ，t r a d e m a r k ，p a t e n t ，s t a t u t o r yr i g h t ，o rp r o p r i e t yr i g h to f o t h e r sh a v eb e e ne x p l i c i t l ya c k n o w l e d g e da n di n c l u d e di nt h er e f e r e n c e ss e c t i o na t t h ee n do f t h i st h e s i s s i g n a t u r e c o p y r i g h tn o t i c e d a t e ：a 口碑，2 i ih e r e i na g r e et h a tt h el i b r a r yo f e c n us h a t lm a k ei t sc o p i e sf r e e l ya v a i l a b l ef o r i n s p e c t i o n if l l r t h e ra g r e et h a te x t e n s i v ec o p y i n go ft h et h e s i si sa l l o w a b l eo n l yf o r s c h o l a r l yp u r p o s e s ，i np a r t i c u l a t , s t o r i n gt h ec o m e n to f 也i st h e s i si n t or e l e v a n t d a t a b a s e s ，a sw e l la sc o m p i l i n ga n dp u b l i s h i n gt h et i t l ea n da b s t r a c to ft h i st h e s i s ， c o n s i s t e n tw i t h ”f a i ru s e ”a sp r e s c r i b e di nt h ec o p y r i g h tl a wo ft h ep e o p l e s r e p u b l i co f c h i n a s i g n a t u r e ： d a t e ： 支钾￥j z i 华东师范大学硕士学位论文嵌入式视音频流技术应用研究 摘要 随着人们对宽带多媒体业务的需求不断增大，移动数据通信必然与因特网相结合并提 供高速、高质量的移动多媒体通信业务。在这一结合过程中，在因特网中发展并已经成熟的 流媒体技术将扮演极其重要的角色。3 g p p t s 1 0 7 中明确提出了对流媒体业务的需求。 计算机网络的经典的架构如o s i 或其他参考模型，有明确的层次化的定义，应用程序 开发人员将他们的工作集中在协议栈的某一层，如物理层、数据链路层、网络层、传输层、 应用层等等。然而，在时间相关的无线环境中，以经典架构开发的应用程序由于对网络状 态信息的不了解，其运行性能就会变得非常差。殷而言解决思路主要有两个一是以 网络为中心，要求网络中的路由器交换机为媒体流传输提供带宽、延迟、抖动、丢失率的 服务质量保证，通过综合服务模型或者区分服务模型来实现。另一种只涉及到端系统，不 对网络提出要求，通过端到端的协议实现媒体流传输的q o s 保障功能。本文将主要着眼于 后一种方案，通过端到端之间鲍通信协议来控制流的传输，并对编鳃码器进行相应的配置 和优化。 本文首先研究了各项流媒体关键技术，在此基础上，实现了p c 和开发板上的视音频 实时流系统。其中，针对嵌入式实时系统的可感知需求，提出了以u d pl n e 代替u d p 作 为传输层协议：并进而提出了完整的自适应传输模型；最后，使用f e c ( 前向纠错码) 等 方式进行错误控制，并得到较满意的结果。 关键字：嵌入式视音频流、端到端q o s 、自适应传输模型、可扩展编码、增强冗余传输、 u d p l i t e 兰查堕蔓查兰堡主兰堡垒苎堂尘墨塑童塑塑星旦塑墅! ! ! 坠 a b s t r a c t w i t ht h ei n c r e a s i n g d e m a n do ft h eb r o a d b a n dm u l t i m e d i ab u s i n e s s ，t h em o b i l ed a t a c o m m u n i c a t i o nw i l lb o u n dw i t ht h et e c h n i q u eo fi n t e m e ta n do f f e rh i g h - s p e e d ，h i g hq u a l i t y m o b i l em u l t i m e d i ab u s i n e s s d u r i n gt h ep r o c e s s ，t h es t r e a m i n gt e c h n o l o g y , w h i c hd e v e l o p si n t h e i n t e r a c t ，w i l l p l a ya n i m p o r t a n tr o l e 3 g p p t s 1 0 7h a s t h ec l e a rr e q u i r e m e n t f o r t h es t r e a m i n g b u s i n e s s t h e r ei sc l e a ra n dc l a s s i f i e dd e f i n i t i o ni nt h ec l a s s i c a ln e t w o r ki n f r a s t r u c t u r e ，s u c ha so s i w h a tt h ea p p l i c a t i o nd e v e l o p e rn e e d st of o c u so ni sj u s tac e r t a i nl a y e ro f t h ep r o t o c o ls t a c k s ，f o r i n s t a n c e ，p h y s i c a ll a y e r , d a t al i n kl a y e r , n e t w o r kl a y e r , t r a n s f e rl a y e r , a p p l i c a t i o nl a y e r , a n ds o o n h o w e v e t , i nt h et i m e - r e l e v a n tw i r e l e s se n v i r o n m e n t ，a p p l i c a t i o n s ，w h i c ha i ed e v e l o p e du n d e rt h e c l a s s i c a ln e t w o r ki n f r a s t r u c t u r e ，h a v eab a dp e r f o r m a n c eb e c a u s eo fl a c ko ft h en e t w o r ks t a t u s k n o w l e d g e g e m a l l y , t w ow a y s g a nb eu s e dt os o l v et h ep r o b l e m o n ei st of o c u so nt h en e t w o r k ， o f w h i c ht h er e u t e r sa n ds w i t c h e so f f e rt h eq o ss u c ha sb a n d w i d t h ，d e l a y , d i t h e r i n ga n dl o s sr a t e ， b a s e do nt h ei n t e g r a t e ds e r v i c em o d e la n dd i f f e r e n t i a t i n gs e r v i c em o d e l a n o t h e rw a yw i t h o u t r e g a r dt ot h en e t w o r ko n l yd e a l sw i t he n d - t o e n ds y s t e m ，a n da c h i e v e st h eq o sb a s e do nt h e e n d t o - e n dp r o t o c 0 1 t h i sp a p e rw i l lm a i n l yd i s c u s st h el a t t e ro n e ，t h a t i st oc o n t r o lt h e t r a n s f e r r i n go f t h es t r e a m i n g sb a s e do i lt h ee n d - t o - e n dc o m m u n i c a t i o np r o t o c o l ，a n dt oo p t i m i z e a n dd e p l o yt h es t r e a m i n gc o d e c sa c c o r d i n g l y i nt h i sp a p e r , w ef i r s t l yd i s c u s sa n ds t u d yt h ev a r i e v yo fk e yt e c h n i q u e so fs t r e a m i n gm e d i a a r m e dw i t ht h i sk n o w l e d g e ，w ei m p l e m e n tt h ea vr e a l - t i m es t r e a m i n gs y s t e mo np ca n d d e v e l o p m e n tb o a r d ，i nw h i c hw er e p l a c eu d pw i t ht h en o v e lt r a n s p o r tp r o t o c o lu d p l i t ed u et o a d p t i v en e e do f t h ee m b e d d e dr e a l t i m es y s t e m a l s o ，w ep r o v i d eac o m p l e t ea d p t i v et r a n s p o r t m o d e l a n dw eu s ef e c ( f o r w a r de r r o rc o n t r 0 1 ) t of u l f i l lt h ee r r o rr e s i l i e n c e w ea c h i e v et h e s a t i s f y i n gr e s u l ta tl a s t k e yw o r d s ：e m b e d d e d a vs t r e a m i n g ；e n d - t o - e n dq o s ；s e l f - a d a p t e dt r a n s f e rm o d e l ；a d a p t i v e c o d e c ；e n h a n c e dr e d u n d a n c yt r a n s f e r ；u d pl i t e 2 。 华东师范大学硕士学位论文 嵌入式视音频流技术应用研究 引言 2 0 世纪9 0 年代中后期，i n t e m e t 迅猛发展起来，它为广大的人群提供最大规模的信息 服务，日益成为人们通信、交流、娱乐、工作的重要信息工具。随着嵌入式系统技术的飞 速发展，出现了移动办公、移动通信等崭新的移动服务理念，人们对获取信息和使用信息 的场合、时间、方式及方法提出了越来越多全新的需求。同时，因特网流媒体业务的应用 不断普及，目前出现了很多提供高质量流媒体服务的网站，有网络电视，视频点播，远程 监控系统，视频会议系统，远程医疗，远程教学等等。伴随着n g n ( n e x i g e n e r a t i o n n e t w o r k ) 的兴起，以软交换为核心，能够提供话音、视频、数据等多媒体综合业务，采用开放、标 准体系结构，能够提供丰富业务的下一代网络正逐步成为人们关注的技术热点。基于各种 标准的编解码器也由各大公司相继推出，尤其是m i c r o s o f t ，r e a l m e d i a 和q u i c k t i m e 三家 公司推出的流媒体的标准获得广泛的认可和应用。此外，有不少开源项目都提供了各自的 视音频的编解码器，具有比较良好的性能。 另一方面，嵌入式移动设备上提供实时的视音频流的服务也已经逐步广泛的普及并推 向市场。例如，已有基于3 g 手机的m p e g - 4 编码的流式传输应用。嵌入式视音频流的技 术在这样的背景下应运而生。 本文以当前视音频流媒体领域的主流技术和研究热点引出，详细研究了嵌八式环境下 的流媒体系统的特点和技术。同时，随着移动环境下的嵌入式视音频流应用越来越广，研 究越来越深入，作者将侧重地讨论。借鉴到v o w l a n 技术( 基于无线局域网的i p 电话技 术) 的成功，本文提出将8 0 2 1 l b 无线技术应用到视音频的传输上，将较高质量的视音频 的前端采集数据用定制的编码器进行编码，实时地通过无线局域网到因特网的方式发送视 音频流数据的模型，给出实现的具体方案，并重点讨论了在具有较高的差错率的无线环境 下的相关视音频流技术，比较了采取不同方案下的性能情况。 本论文以下章节的结构安排如下，第一章介绍嵌入式实时系统的概念以及n g n ( 下一 代网络) 的概念和应用背景：第二章介绍各类流媒体编解码器的原理及最新进展，详细地 描述了流媒体系统的协议族，并介绍了流媒体其余的主要技术：第三章是本论文的实验平 台的硬件环境介绍；第四章给出了本论文的实验模型的实现，包括服务器端和客户端的实 现：第五章是对第四章的实验模型的性能分析，给出了各种方案的性能优劣，并讨论了改 进措施，第六章是对嵌入式视音频流技术的小结和展望。 望查壁蔓查兰堡主兰竺笙苎 壁垒塞塑童塑堕垫查堕旦堕! l 第一章概论 1 1 嵌入式视音频流概念的提出 1 1 1 嵌入式系统应用 随着数字信息技术和网络技术高速发展的后p c ( p o s t p c ) 时代的来临，嵌入式系统 已经广泛地渗透到人们日常生活的方方面面，扶家里的洗衣机、龟冰箱，到作为交通工具 的自行车、小汽车，到办公室里的远程会议系统等等，嵌入式系统的应用日异广泛。特别 是无线局域网技术和标准协议的出现，使嵌入式无线通信的概念俏然兴起。当嵌入式无线 通信控制芯片的价格可被接受时，它的应用将更加无所不在。在家中、办公室、公共场所 人们可以使用数十片甚至更多这样的嵌入式无线通信控制芯片，将一些电子信息设备甚至 电气设备构成无线网络；在车上、旅途中，人们也可利用这样的嵌入式通信控制芯片实现 远程办公、远程遥控，真正意义上实现把网络随身携带。 嵌入式系统( e m b e d d e ds y s t e m ) 是一个计算机硬件和软件的集合体，也许还包含其他 一些机械部件，他是为完成某种特定的功能而设计的。嵌入式系统的概念大约是在1 9 7 0 年左右被提出的，早先的嵌入式系统只是为了实现某个控制功能，使用一个简单的循环控 制对外界的控制请求进行处理，一般都不采用操作系统。随着技术的发展，应用系统越来 越复杂、利用的范围也越来越广泛，在一些高端应用的嵌入式系统中普遍嵌入了操作系统， 从上世纪8 0 年代开始，出现了各种各样商用嵌入式操作系统百家争鸣的局面，比较著名的 有v x w o r k s 、p s o s 、p l a i no s 和w i n d o w sc e 等等，这些操作系统大部分是为专有系统而 开发的，从而，极大的推动了嵌入式系统在各行各业的应用和发展。 1 1 2 嵌入式视音频流 随着嵌入式系统技术的飞速发展以及因特弼基础设施的进一步普及和建设，嵌入式的 含义被不断扩展，网络带宽的改善要求将更好的宽带应用提供给用户。人们对获取信息的 多样性和使用信息的场合、时间、方式及方法提出了越来越多全新的需求，这意味着对高 端手机、掌上电脑、p d a 等移动设备的功能提出了更高更多的要求。随着移动设备计算能 力的提高，存储容量、网络能力的扩展，在嵌入式移动设各上实现视音频文件播放、实时 兰查堑堕查堂堡主兰垡丝苎 ： 壁垒壅塑童塑亟垫查里里! ! 生 视音频流采集流化、实时视音频流播放等等服务，成为嵌入式移动设备发展的一个重要方 向。 嵌入式实时视音频流系统有如下几种常见的架构： ( 1 ) 嵌入式设备用作前端采集、编码、打包、流化( 如图1 1 ) ( 2 ) 嵌入式设备用作接收a v 流、重组、解码、播放( 如图1 ，2 ) t v c a r d c a m e r a m 嘞 文件 图1 1嵌入式实时视音频流系统基本架构一 图1 2 嵌入式实时视音频流系统基本架构二 l c d n g n l 、j 图1 1 的架构中，嵌入式设备主要负责从前端采集、编码到流服务器的各项功能。图 1 2 的架构中，嵌入式设备主要是接收到各类流格式的数据后，解码并还原到各类显示设备 上输出。两者相比较，前者由于编码的计算复杂度远高于解码，因此实现上对处理器的要 求更高。 一般认为通讯的带宽是制约无线终端设备上流媒体应用的一个主要原因，所以尽管有 m p e g ，4 等性能比较好的编解码器技术的引入，带宽问题仍然是一个非常重要的方面。但 竺查堡蔓查兰堡主堂垡丝兰 堂垒塞塑童塑亟垫查些旦堑窒 另一方面，对于嵌入式的终端设备本身而言，其体系结构和处理能力也受到很大的制约。 虬前端采集编码和流服务器来看，要做到同步地采集视音频数据，编码( 考虑可适应性) 并最终实现传输，这一系列的过程需要以较低错误率、实时地完成。而这一过程是受到无 线环境本身的特性所制约的，包括数据的干扰、信号的衰减、码流错误、设备在不同的无 线网络中的切换，即终端设备将有一部分的处理能力要用在解决这些问题上。 1 2n gn ( n e x tg e n e r a t i o nn e t w o r k ) n g n 是“下代网络( n e x tg e n e r a t i o nn e t w o r k ) ”或“新代网络( n e wg e n e r a t i o n n e t w o r k ) ”的缩写，它是以软交换为核心，能够提供话音、视频、数据等多媒体综合业务， 采用开放、标准体系结构，并能够提供丰富业务的下一代网络，它利用多种宽带能力和q o s 保证的传送技术；其业务相关功能与其传送技术相独立。n g n 使用户可以自由接入到不同 的业务提供商并支持通用移动性。 从发展的角度来看，n g n 是从传统的以电路交换为主的p s t n 网络中逐渐转向以分组 交换为主，它承载了原有p s t n 网络的所有业务，把大量的数据传输转到i p 网络中以减轻 p s t n 网络的负荷。同时，以i p 技术的新特性增加和增强了许多新老业务。因此从这个 意义上讲，n g n 是基于t d m 的p s t n 语音网络和基于i p a t m 的分组网络的融合，使得 在新一代网络上语音、视频、数据等综台业务成为了可能。目前，对n g n 的研究成为热 点，在研讨下一代网络体系及技术时，应从业务需求分析和网络装备的情况。研究新代 网络体系架构。 ( 1 ) n g n 基本特征： 分组传送 控制功能从承载、呼叫，会话、应用止世务中分离 业务提供与网络分离，提供开放接口 利用各基本的业务组成模块，提供广泛的业务和应i f ( 包括实时、流、非实时和多媒体业 务1 具有端到端q o s 和透明的传输能力 华东师范大学硕士学位论文 嵌入式视音频流技术应用研究 通过开放的接口规范与传统网络实现互通 具有通用移动性；允许用户自由地接入不同业务提供商 支持多样标志体系，并能将其解析为i p 地址以用于r p 网络路由 同一业务具有统一业务特性 - 融合固定与移动业务 ( 2 ) n g n 的特点主要有以下几个方面： 开放性；n g n 可以根据所处网络的不同，所提供功能的不同划分为几个模块，每个模块 能独立发展，互不干涉，又能有机组合成一个整体；同时这种开放性也表现在各运营商可 根据自己的需求来选择市场上的优势产品，而不必过多考虑不同设备间的互连互通上。 高效：因为n g n 网络能实现业务与呼叫控制的分离，为业务真正的从网络中独立出来， 有效的缩短新业务的开发周期提供了良好的条件；而且随着多网互通的实现，许多新兴业 务也应运而生。 多用户：n g n 综合了固定电话网+ 移动电话网和i p 网络的优势，使得模拟用户，数字 用户，移动用户，a d s l 用户，i s d n 用户，i p 窄带网络用户，i p 宽带网络用户甚至是通 过卫星接入的用户都能作为下一代网络中的一员相互通信。 多媒体：语音、视频以及其它多媒体流在下一代网络中的实时传输成为了n g n 的又一 亮点。 资源共享：互联网具有丰富的信息资源，由于采用了t c p i p ，n g n 的出现使得在呼叫 过程中可以获取国际互联网的资源。 低成本：采用了相对廉价的i p 等网络作为中间传输的载体，因而n g n 的通信费用将大 大降低，这种优势尤其体现在长途。越洋电话上。 ( 3 ) n g n 的研究范围 n g n 具有广泛的内涵，其研究范围相当广泛，主要研究的内容有；新业务及应用：网 络传送的基础设施；网络体系架构：i p 网络技术；网络融合技术i 互通和互操作：新型的 控制、管理和运维机制：各网络单元；新的网络协议；网络安全体系和技术；测试技术等。 i t u 主持的g i i 标准化工作包括p s t n 1 s d n 、a t m 、i p 和基于多协议的网络，这些领 一9 华东师范大学硕士学位论文 嵌入式视音额流技术应用研究 域的成果对n g n 起着重要的作用。 ( 4 ) n g n 的特点 n g n 可以提供包括话音、数据和多媒体等各种业务综合开赦的网络构架。 n g n 采用开放的网络构架体系，其特点有：将传统交换机的功能模块分离成为独立的 网络部件，各个部件可以按相应的功能划分各自独立发展：部件间的协议接口基于相应的 标准。部件化使得原有的电信网络逐步走向开放，运营商可以根据业务需要自由组合各部 分的功能产品来组建网络。部件间协议接口的标准化可以实现各种异构网的互通。 n g n 是业务驱动的网络，其功能特点为：业务与呼叫控制分离：呼叫与承载分离。分 离的目标是使业务真正独立于网络，灵活有效的实现业务的提供。业务供应商和用户可以 配置和定义相应的业务特征，使得业务和应用的提供有较大的灵活性。 ( 5 ) n g n 的网络层次划分 n g n 是一个综合性的网络，它结合了现有的各种网络环境和周边的接入设备以及终端 产品，从功能的角度上可以把它划分成四层：网络服务层、控制层、媒体层和传输接入层： 接入和传输层( a c c e s $ l a y e r ) ：将用户连接至网络，集中用户业务将它们传递至目的地， 包括各种接入手段。 媒体燃( m e d i a a n dt r a n s p o r tl a y e r ) ：将信息格式转换成为能够在网络上传递的信息 格式。例如：将话音信号分割成a t m 信元或i p 包。此外，媒体层可以将信息选路至目的 地。 控制层( c o n t r o ll a y e r ) ：包含呼叫机制。此层决定用户收到的业务，并能控制低层网络 元素对业务流的处理。 网络服务层( n e t w o r ks e r v i c el a y e r ) ：在呼叫建立的基础上提供额外的服务。 现有的网络到下一代网络的演变并非一目之工，原有的网络与新网络并存需相当长的 时间，所以新网络还需能够和原有网络互通，这就要求新的网络体系能够完成以下功能： 采用t d m 传输网和s s 7 信令网互通、与现有的业务( 如智能网提供的业务) 互通和与现有的 p s t n 网络体系融合。 华东师范大学硕士学位论文 嵌入式视音频流技术应用研究 ( 6 ) n g n 网络特点 开放分布式网络结构：采用软交换技术，将传统交换机的功能模块分离为独立网络部件， 各部件按相应功能进行划分，独立发展。采用业务与呼叫控制分离、呼叫控制与承载分离 技术，实现开放分布式网络结构，使业务独立于网络。通过开放式协议和接口，可灵活、 快速地提供业务，个人用户可自己定义业务特征，而不必关心承载业务的网络形式和终端 类型。 高速分组化核心承载：核心承载网采用高速包交换网络，可实现电信网、计算机网和有 线电视网三网融合，同时支持语音、数据、视频等业务。 独立的网络控制层：网络控制层即软交换，采用独立开放的计算机平台，将呼叫控制从 媒体网关中分离出来，通过软件实现基本呼叫控制功能，包括呼叫选路、管理控制和信令 互通，使业务提供者可自由结合承载业务与控制协议，提供开放的a p i 接口，从而可使第 三方快速、灵活、有效地实现业务提供。 两络互通和两络设备网关化：通过接入媒体网关、中继媒体网关和信令网关等网关，可 实现与p s t n 、p l m n 、1 n 、i n t e r n e t 等网络的互通，有效地继承原有网络的业务。 多样化接入方式：普通用户可通过智能分组话音终端、多媒体终端接入，通过接入媒体 网关、综合接入设备( i a d ) 来满足用户的语音、数据和视频业务的共存需求。 ( 7 ) n g n 所提供的新业务 n g n 在原有的p s t n ，i s d n ，智能网等等业务的基础上又增加了许多特有的业务，如 下： 入口业务：主要是针对用户的终端环境，为其提供监控，协调等功能。并能为用户提供 个性化的业务环境。它是v h e 的基本功能组成部分。 增强型多媒体会话业务：保持多方会话，不会因为有会话方的加入或离开，以及会话方 终端的变换而终止会话。 可视电话：能建立在移动固定，移动移动，固定固定电话之间的可视呼叫。 c l i c k t o d i m ：能在个人业务环境或w e b 会话中提供c l i c k t o d i a l 的业务直接对在线用户 或服务器发出呼叫。 w 口b 会议业务：能通过网络铡览器来组织多方的多媒体会议。 华东师范大学硕士学位论文 嵌入式视音频流技术应用研究 增强型会话等待：允许用户处理实时的呼叫。 语音识别业务：能自动识别语音并相应的作出标准的或事先用户设定的操作。 t e x t - - s p e e c h - - t e x t ：支持文本到语音双向转换。 基本定位业务：主要用在手机上，提供实际的地理位置。 个人路由策略：根据不同的时间，系统对照用户的r o u t i n gp r o f i l e 有选择的把入呼叫转 移到不同的话机上。 视频点播业务( v o d ，v i d e o o n d e m a n d ) ：用户可以根据需要订阅不同的视频流服务。 增强型的呼叫功能：因为呼叫类型的增加，参与呼叫用户类型的增加，从而相应的呼, q 会话的转移等业务也得到了相应的加强。同时还增加了会话合并功能，即两个出呼叫或入 呼叫可以整合成一个三方会话。 1 3 嵌入式视音频流媒体的应用现状 目前嵌入式视音频流媒体的发展总的来说是基于i v l p e g 4 和r c a l s y s i e m 等为主流的编 码器软件，基于高性能视音频编解码的高端d s p 进彳亍开发，其技术主要应用在m p 4 媒体 播放机、p d a 、手机等设备上，主要有以下几个趋势： 编码的精细可扩展性：随着流媒体数据越来越多以面向网络传输为主，客户端的异构 性问题变得非常严重，解决的方法是采用渐进式的精细可扩展编码。 更为可靠、有效的端到端q o s ：在i n t e r n e t 、甚至在无线网上传输流媒体，需要考虑出 错的情况，尤其是极端情况下带宽性能急剧下降，这需要端到端的可感知机制。 华东师范大学硕士学位论文 嵌入式视音频流技术应用研究 第二章流媒体及其关键技术 所谓流媒体，是指在万维网上音频、音频和图像或声音和视频的同步传输和显示。它 能在传输给用户的同时，让用户观看和收听到，而不需要等待下载完成才播放。 由于w e b 服务器对于何时、以何种方式响应交互请求存在不确定性，因此尽管对于例 如文本和图像的静态资源，传统的w e b 服务器能很好地运行，但是对于动态的图像和声音， 在无法确定交互的时间、方式的情况下，要传输一段较大的完整声音和视频后播放，等待 的时间将很长，再加上新的用户以指数级的增加，将大大加重网络的数据传输压力。同时 也无法实现现场直播的功能。 而流媒体的技术使得w e b 服务器不仅仅是一个传输数据的连接，而能够很好地进行实 时传输控制。另外，相对时间因素而言，传送文件的大小的问题不再突现但原始的视音 频数据量仍十分庞大，仍然需要对流进行压缩。流媒体作为可控制的传输媒体，既可以用 作实时广播，也可以作为存档文件，以便在需要时使用。但不管是哪种应用的传输都将受 到网络带宽的限制，同时存在传输条件以外的因素的影响，如编解码芯片的性能、编码格 式和网络环境的相关性、发送和接收流缓冲容量等等。 有关流媒体的一些基本概念有： ( i ) 顺序下载( p r o g r e s s i v ed o w n l o a d ) 它将文件下载到接收缓冲器内，用户在下载完毕前就可以开始播放。由于用户对流的 控制非常有限，因此顺序下载不能算真正意义上的流媒体。 ( 2 ) 随选文件( o n d e m a n df i l e s ) 它将文件按照流的格式进行编码，并将其放在流服务器上，它可以按照不同的用户的 要求以及其带宽提供给用户不同的流访问服务。但其时效性比较差。 ( 3 ) 实时广播( r e a l t i m eb r o a d c a s t ) 区别于上面的随选模式( o n - d e m a n d ) ，实时广播一般是单向( o n e - w a y ) 的。它要求 事件的影像文件被实时地编码，并将文件流直接发送到服务器上。而流服务器将获得的文 件流直接向观众广播。相比前一种服务，实时广播需要的带宽要大得多，还需要多个流服 务器来分担巨大的访问负载。 华东师范大学硕士学位论文 嵌入式视音频流技术应用研究 2 1目前的主流编解码技术 数字化的视音频信息具有数据海量性，它给信息的存储和传输造成较大的困难成为 阻碍人们有效地获取和使用信息的瓶颈问题之一。因此，研究和开发新型有效的多媒体数 据压缩编码方法，以压缩的形式存储和传输这些数据是很有必要的。 传统的压缩编码是建立在香农( s h a n n o n ) 信息论的基础上，它以经典的集合论为基 础，用统计概率模型来描述信源。但是，它忽略了信息接收者的主观特性以及事件本身的 具体含义，重要程度和引起的后果，而这些恰恰是当前的多媒体视音频数据的特点，尤其 是在视频编码上，可以考虑入眼的视觉特性、图像传递的景物特性，目前较新的编码技术 m p e g - 4 的视频编码属于基于对象的压缩编码方法，比之传统的压缩编码方法进了一大步。 接下来介绍面向传输的视音频编码。以视频为例，压缩视频数据在网络中的发送被称 为视频流化( v i d e os t r e a m i n g ) 。通常来讲，视频流在网络上传输包含以下几个部分：视频 服务器犍压缩后的视频数据划分成数据报( p a c k e t ) ，通过网络接r 7 将数据包按照其时限要 求发送给网络，通过网络搜寻寻径和传输，这一系列数据包发送到客户端；在客户端，数 据报被重组，并在后续数据包不断到达的同时播放已经重组的视频数据。 面向网络传输的视频编码要考虑的主要问题有： 视音频的播放有严格的实时性要求，需要在特定的时间间隔将特定的数据单元解码显 示，这要求网络为流传输提供足够的带宽，有保障昀延时和丢失率。然丽在i n t e m e t 或无 线环境下，网络不提供服务质量( q u a l i t yo f s e r v i c e s ，q o s ) 的保障，媒体流数据在传输过 程中经历的带宽、延时、丢失率等情况动态的变化。另外，由于网络和用户设备的异构性， 媒体流还同时面f 临着不同的服务质量要求。主要有以下的问题需要考虑： ( 1 ) 异构性( h e t e r o g e n e i t y ) 主要包括通信子网的异构性和接收方的异构性。前者由于各子网的网络资源( 处理能 力、带宽、存储和拥塞控制策略) 分布不平均，用户通过不同的通信子网传输数据会体验 到非常不同的实际传输吞吐量、数据丢失率、传输延迟。在多播的流通信中，体现韵尤为 明显。后者是由于用户设备的不同处理能力以及用户要求的不同服务质量造成的，这一点 随着p c 的性能的提高而相对弱化了。 ( 2 ) 带宽 b a n d w i d t h ) 现在的i n t e r n e t 的传输带宽有强烈的动态变动和无规则性。需要提供资源预留之类的 1 4 些查塑蔓奎兰堡主兰堡望兰 堂垒蔓塑童塑堕堇查窒星竺! l 协议机制保障。 ( 3 ) 延时( d e l a y ) 对于视音频而言，数据的到达需要满足严格的时间间隔才能保证数据的播放连续，对 于滞后于时间间隔的数据，即使数据正确，也只能丢弃不用， ( 4 ) 丢失( l o s s ) 媒体流数据包的丢失会造成媒体播放质量下降，在某些情况下甚至会造成解码器无法 解码播放。由于i n t e r n e t 是基于尽力服务( b e s t e f f o r ts e r v i c e ) 的网络，当网络过分繁忙时， 网络中的主机( 路由器) 的到达队列被填满，后续到达的数据只能丢弃。在这样的传输机 制下，媒体流数据传输的丢失率限制将无法得到保证。 ( 5 ) 误码( e r r o r ) 网络中传输数据会随机地发生错误，传统的数据通信主要时通过重传来解决。而对流 式的连续媒体，由于延时是不可忍受的，因此数据传输的静态的纠错方案不适用于流传输。 因此这里需要一个新的机制来解决这个问题。 致力于流在网络中传输研究的人员针对流传输的特点提出了一些方案，比较传统的有 以下几种： ( 1 ) 流( 主要是视频流) 在网络中传输可以采用最小传输，即根据带宽最低的用户 的接收条件产生码流传送给所有用户。 ( 2 ) 采用自适应编码。当发送方估计出发送码事后，就可以采用码率控制技术改变 视音频编码器的参数来产生适当的码流。码流控制是视音频序列编码中的一个常用技术， 它可以使编码器生成的码流适合信道的传输带宽或特定鹊存储尺寸。码流控制的手段很多， 可以改变视频编码的帧率、调整宏块的编码模式等，但最常用也是最简单有效的方法是调 整量化参数q 。然而在v o d 之类的系统中，编码和传输是分开进行的，因此自适应编 码显然不能适用。 ( 3 ) 一种比自适应编码简单同时可以将编码和传输分离的方案是编码转换 ( t r a n s c o d i n g ) ，它在服务器端有一个高质量的压缩视频流，根据需要作一些丢弃后将数据 流传给客户端，但对于服务器端仍然是过于复杂。 ( 4 ) 采用码流切换( b i ts t r e a ms w i t c h i n g ) 的方法，它是多种质量的数据流的集合， 兰奎堕蔓查兰堡主堂篁堡苎 壁垒苎塑童塑量查窒旦! ! ! l 备数据流根据i 帧对齐。它的缺点是对服务器的存储空间的要求比较高。 ( 5 ) h 2 6 ”和1 v 碑e g 4 的视频采用了基于时域、空域以及质量p s n r 的分层可扩展 性编码( l a y e r e ds c a l a b l ec o d i n g ) 。其中时域可扩展( t e m p o r a ls c a l a b i l i t y ) 的做法是丢弃 b 帧，它只会改变帧率不会影响其他帧的质量，它利用来自低层鸽时域上采样韵蔼片作为 高层的预测，如图2 1 a 。空域可扩展( s p a t i a ls c a l a b i l i t y ) 表现在不同的空间上的解析度或 视频的尺寸等，即为每一帧都刨建多分辨率的表示，它利用来自低层的空域上采样的图片 作为对高层的预测，如图2 1 b 。质量可扩展( p s n rs c a l a b i l i t y ) 它表现出来的是同一视频 的不同的s n r 或视觉质量，例如可以通过设置不同的量化因子参数，越小表示质量越高， 以此来实现编码的可扩展性，它一般先形成一个原始的很粗质量的基本层码流，然后对原 始视频和基本层视频的差再次量化，以生成增强层码流；可以有多个增强层的码流，如 图2 ，1 c 。可扩展性编码的缺点是对于介于两种质量之间的流的请求只能按照较 匠的质量的 数据流来传输。 0 246g1 01 2 图2 1 a 时域可扩展编码( 以m p e g 一4 为铡) 卜 糨层 基本层r 弋 u 图2 i b 空域可扩展编码( 视频部分) 1 6 华东师范大学硕士学位论文 嵌入式视音频流技术应用研究 增强层 基本层 层 层 层 鬻吾噩 图2 a c 质量可扩展编码 上 在对传统的传输编码进行分析后，可以明显发现，由于它们的目标是将视频( 或音频) 压缩成为适合一个或几个固定码率的码流，其接收质量随着带宽的增加呈阶梯形的增长， 因此并不适合网络传输。而理想的适合网络传输的编码方法应该具有码流可截断的特性， 并且解码质量随码率的增加而线形增加。人们提出了可扩展性编码的思想，能够较好的解 决异构性的问题，它包括时域可扩展性编码、空域可扩展性编码、质量可扩展性编码、精 细可扩展性编码和渐进的精细可扩展性编码等。它通常要求在传输数据的鲁棒性和编码效 率之间取得折中。以下逐一进行介绍： ( 1 ) 精细可扩展性编码( f g s ，f i n eg r a n u l a rs c a l a b l ec o d i n g ) m p e g - 4 视频所采用的f g s 技术有以下主要特征：第一，基本层使用基于分块运动补 偿和d c t 变换的编码方式达到网络传输的最低要求i 第二，增强层使用位平面编码技术对 d c t 残差进行编码来覆盖网络带宽的变化范围；第三，每一帧的增强层码流可以在任何地 点截断；第四，解码器重建的视频质量和收到并解码的比特数成正比。 其中，使用位平面编码的好处就是使得每一个系数的重要部分( 较高的位) 优先编码， 这样在码流截断时就保证了解码器仍可以获得有关视频的重要信息，从而提供了精细可扩 展的特性。 一般的f g s 只考虑了要编码系数的值，实际上f g s 的应用是非常灵活的。例如，可 以对图像中比较感兴趣的前景部分优先编码( 将图像中某些块上移若干个位平面) 。此外， 也可以对不同频率的d c t 系数加以不同的权重，也就是对不同的d c t 系数上移的不同的 位平面。f g s 还可以和时域可扩展性编码相结合( f g s t ) ，即对b 帧中的d c t 系数都使 用位平面技术编码，这样f g s t 不仅保持了f g s 的精细可扩展的特性，而且支持帧率的变 弗 爆一 蟒 竺查壁蔓查兰堡主兰垡丝苎 壁垒茎塑童塑鎏垫查窒旦竺! l 化。 f g s 的缺点也是显而易见的，由于f g s 的基本层和增强层都以参考帧的基本层图像为 参考进行运动补偿，基本层的解码图像的质量比较低，所以形成的d c t 残差就比较大，相 应的码流就长。因此f g s 的编码效率比较低。 f g s 的体系结构如下所示： 基本层 第1 增强层 第2 增强层 第