(信息与通信工程专业论文)嵌入式流媒体播放器中传输控制协议的研究和实现.pdf_第1页
(信息与通信工程专业论文)嵌入式流媒体播放器中传输控制协议的研究和实现.pdf_第2页
(信息与通信工程专业论文)嵌入式流媒体播放器中传输控制协议的研究和实现.pdf_第3页
(信息与通信工程专业论文)嵌入式流媒体播放器中传输控制协议的研究和实现.pdf_第4页
(信息与通信工程专业论文)嵌入式流媒体播放器中传输控制协议的研究和实现.pdf_第5页
已阅读5页,还剩76页未读, 继续免费阅读

(信息与通信工程专业论文)嵌入式流媒体播放器中传输控制协议的研究和实现.pdf.pdf 免费下载

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

浙江大学硕士学位论文y 8 7 6 5 7 2 摘要 流媒体是当今通信网中研究和应用的热门技术。整合了多种网络及音视频技 术,它的广泛应用给人们的工作和生活带来了极大的便利。嵌入式系统面向的是 特定的应用,小型化和稳定性的特点使它得到了市场的认可。本文以流媒体技术 中传输和控制协议为重点,详细阐述嵌入式流媒体点播播放( v 0 d ) 系统的框架、 关键技术及它们的实现。 流媒体技术是视频编码的一个重要应用领域。如何在当今尽力而为的网络传 输模式下有效传输媒体流并保证一定的接收质量是非常重要的。本文的第三章阻 前向纠错( f e c ) 和m p e g 视频压缩为理论基础,提出了流媒体系统中基于数据 包权重的前向纠错数据包丢失恢复算法。算法所提出的冗余数据包分配过程考虑 到了具体的码流特点,不同的码流将导致不同的冗余数据包分配。仿真结果表明, 前向纠错算法能够显著提高视频服务的质量。与当今已提出的其它算法相比,本 算法在低丢包率的网络环境下对视频质量的保护有着相近的表现;在高丢包率的 网络环境下,本算法可以更好地保证视频的接收质量。 第四章阐述了a r m 和l i n u x 的流媒体播放器开发。基于s 3 c 2 4 1 0 硬件开 发平台,文章首先确定了系统的应用层程序框架。接着,实现了流媒体播放系统 相关网络协议:r t p ,r t s p ,s d p ,并阐述了他们在系统中相互协作的关系。然 后,结合视频膺频解码模块,利用l i n l l ) 【下的多线程编程,将这些模块按照应 用层程序的设计框架组合成一个完整的系统。最后,分析了网络协议在嵌入式流 媒体播放系统中的资源占用情况,与视频音频解码相比,网络协议占用的系统 资源是比较少的。 关键词:流媒体播放器r t pr t s ps d p 擦除码视频压缩前向纠错包丢 失恢复算法a r m嵌入式系统 浙江大学硕士学位论文 s t r e 鼬i n gm e d i a i sh o t t e c h n 0 1 0 9 yf o r 础记a r c ha i l da p p l i c a t i o n i n c o m m u n i c a t j o nn e t w o r k sn o w a d a y s i n t e g r a t i n gm a n yn e “v o r kt e c h n o 】o d i e s ,a u d i o a 1 1 dv i d e ot e c l l l l o l o g i e s , s t r e 锄i n gm e d i aw h i c hh a sb e e n 哳d e l yu s e d 雠n g s c o n v e n i e n c yt op e o p l e s 、o r ke n v i m 啪e n ta j l dd a i l yl i f c e n 出e d d e ds y 8 t e m sa r e a p p l i c 撕o n o r i e n t e d s t a b i l i t ) ,趾dm i n i a t u r i z a t i o nm a k ee m b e d ( 1 e ds y s t e ma c c 印t e d b ym a r k e t t h ek e yt e c l l n o l o g i e s ,t h es y s t e i nd e s i g na n dm ei m p l e m e n t a t i o no ft h e e m b e d d e dv o d ( v i d e oo nd e m a n d ) s t r e a m i r 培m e d i ap a l y e r 谢l lb ei n 咖d u c e dw i 也 e m p h a s i so nn e t 、v o r kp r o t o c o l si nt i l i sp a p e l s i n g m e d i aj s0 n eo f j m p o n a n t 印p l i c a t 主o na r e ao f “d e oc o d i n g t h e r ei sa k e yp o i n ti nt l l i sa r e a ,w l l i c hi sh o wt o 扛锄s m i 劬培s t d e a m i n gm e d i ae m c i e m l y 趾d e n s u r i n gv i d e oq u a l i t yi l i l d e rb e s t e 舶nn e t w o r k w i t l lt l l em e o r i e so ff o i 、v a r de r r o r c o r r e c t i o n ( f e c ) a n dm p e gv i d e oc o d i n g ,c h 印t e r3p r e s e n t saf e cl o s tp a c k e t s r e c o v e r ya 1 9 0 r i t h mb a s e do nc a l c u l a t i o no fr e l a t i v er 瞪p a c k e tw e i g h t a s s i 鲈m e n to fr e d 腑d a n tp a c k e t st a l 【e sc h 眦c t e r i s t i co fd i 觚tv i d e o 咖a mm c o n s i d e r a t i o n s i m u l a t i o nr e s u l t ss h o wt h a tf e c1 0 s tp a c k c t sr e c o v e r ya l g o r i 吐l mi s e m c i e n t t op m “d el l i 曲e rq u a l i t yf o rs t r e 锄i n gm e d i as y s t e mw h e nt h ep a c k c t1 0 s t r a t ei sl l i 曲b yc o m p 撕n g 谢t 1 1o t l l e rc u r r e ma l g o r i t l l m s m e a l l ,h i l e ,m i sa l g o r i t l l l n p r 0 v i d e ss i m i l a rq u a l i t yf o rs t r e a m i n gm e d i as y s t e mr e l a t i v et oo t h e ra 】g o r i t h m sw h e n t h ep a c k e tl o s t r a t ei s1 0 w 1 1 1 ef o u n hc h 印t e ri n t m d u c e sm ed e v e j o p m e n to fe m b e d d e dv o dm e d i ap l a y e r b a s e do na 砌v ia 1 1 d l i n u x b 器m g o n d e v e l o p m e n tp 1 黜f b 珊s 3 c 2 4 10 ,t 1 1 e f m m e w o r ko f 印p l i c a t i o nl a y e rp r o 掣铷ni s d e s i g n e d a tf i r s t a f 【e r f - m d i n go u t i n t e r a c t i o nb e t 、v e e nn e t w o r kp r o t o c o l s ,w ei m p l e m e n tt l l e s en e t 、r k 协m s p o n a t i o n p r o t o c 0 1 s ,i n c l u d i n gr t p ,r 1 、s p ,s d p c o m b i n i n gw i t hv i d e o ,a u d i od e c o d 卸du s i n g m l l l t j - t j l r e a dp r o 盱l 玎1 m i n gt e c h n o j o g yo fl i n u x ,t h e s em o d u l e sa r ej n t e g r a t e dj n t o o n cc o m p l e t es y s t e ma c c o r d i n gt om e 觑i i i l e w o r ko fa p p l i c a t i o nl a y e rp m g r a m a tl a s t , m o d i l l e s c o n s u m p t i o no fs y s t e mr e s o u r c ei sa n a l y z e d ,c o m p a r e dw i t hv i d e o ,a u d i o d e c o d e r ,t h er e s o u r c ec o n s u m p t i o no fn e t w o r kt 舢s p o r t a t i o np m t o c o l si so n l ys m a l l p a r to f r e s o u r c ec o n s u m p t i o no f t h ew h o l ee m b e d d e ds y s t e m k qw o r d s :s t r e a m i n gm e d i a ,r 1 _ p ,r t sp ,s d p ,e r a s u r ec o d e ,v i d e oc o m p r e s s i o n ,f e c 1 0 s tp a c k e t sr c c o v e 珂a j g o r i t h m ,a r m ,e m b e d d e ds y s t e m 浙江大学硕士学位论文 第1 章绪论 1 1 流媒体技术及发展状况 所谓流媒体技术( 或称为流式媒体技术) 就是把连续的影像和声音信息经过 压缩处理后放到网络服务器上,在播放前并不下载整个文件,只将部分内容缓存, 使流媒体数据流边传送边播放,这样就节省了下载等待时间和存储空间。流媒体 技术是网络音视频技术发展到一定阶段的产物,是一种解决多媒体播放时网络带 宽问题的“软技术”。流媒体技术并不是单一的技术,它是在融合了很多网络及 音视频技术之后产生的,涉及到流媒体数据的采集、压缩、存储、传输以及网络 通信等多个领域。 从字面上可以看出,流媒体技术的核心就是流媒体本身,所谓流媒体是指在 数据网络上按时间先后次序传输和播放的连续音视频数据流。例如:音频、视 频、动画或其他多媒体文件。我们经常在上网时看到的f l a s h 动画也是一种形式 的流媒体。 1 传统的播放多媒体,我们下载并观看一段音视频文件要等上几十分钟甚至 几个小时。而流媒体只让浏览者等上短短的几秒钟就可以欣赏到精彩的多媒体影 像。对于用户来讲,观看流媒体文件与观看传统的音视频文件在操作上几乎没有 任何差别。唯一有区别的就是在影音品质上,由于流媒体为了解决带宽问题以及 缩短下载时间,而采用了较高的压缩比因此用户感受不到很高的图像和声音质 量。但随着网络带宽的不断增加,以及压缩格式的不断改进,用户最终可以欣赏 到满意的效果。 因为其技术特点,流媒体技术正广泛应用于在线直播、视频点播、远程教育、 多媒体新闻发布、网络广告、电子商务、远程医疗、网络电台、实时视频会议等 互联网信息服务的方方面面,它的就用将为网络信息交流带来革命性的变化,对 人们的工作和生活将产生深远的影响。 1 1 1 流媒体系统中的关键技术 流媒体并不是单一的技术,他整合了多种网络以及音视频技术。与传统的媒 体播放技术相比,流媒体技术的实现需要解决多项技术问题。 第一,多媒体文件需要经过编码压缩以适合传输。普通的多媒体文件尺寸很 大,不适合使用现有的窄带网络传输。i t u t 与i s o i e c 是制定视频编码标准的 两大组织:i t u t 制定的标准包括h 2 6 l 、h 2 6 3 、h 2 6 4 ;i s 饼i e c 制定的标准 为m p e g 系列。常用的音频编码标准有m p 3 、w m a 、a a c 等。面向语音编码 的标准有g 7 2 3 1 ,g 7 2 6 ,g 7 2 9 等。 浙江大学硕士学位论文 第二,流式传输的实现需要合适的传输协议。由于h l t e m e t 中的文件传输都 是建立在t c p 协议基础之上的,但是t c p 的特点决定了它并不适合于传输实时 数据。一般都采用建立在u d p 协议之上的r t p 来传输实时的影音数据。 u d p 和t c p 协议的主要区别是两者对实现数据的可靠传递特性不同。t c p 协议中包含了专门的数据传递校验机制,当数据接收方收到数据后,会自动向发 送方发出确认信息,发送方在接收到确认信息后才继续传送数据,否则将一直处 于等待状态。与t c p 协议不同,u d p 协议并不提供数据传送的校验机制。从发 送方到接收方的数据传递过程,u d p 协议本身并不能做任何的校验、可见在速 度与质量的平衡中,t c p 协议注重数据的传输可靠性,但带来很大的系统开销, 而u d p 协议更加注重数据的传递速度。 第三,需要浏览器对流媒体的支持。一般情况下,浏览器是使用 m i m e ( m l d t i p l l r p o s ei m e m e tm a i le x t e n s i o n s 通用因特网邮件扩展) 来识别各种不 同的简单文件格式。所有的w 曲浏览器都是基于h 丁r p 协议的,而h t t p 协议 都内建有m i m e 。因此w 曲浏览器能够通过h t t p 中内建的m i m e 标记w 曲上 繁多的媒体文件格式,包括各种流媒体文件格式【1 】。 第四,流媒体传输的实现需要缓存。i n t e r n e t 是以包传输为基础进行断续的 异步传榆。因此多媒体数据在传输中要被分解成许多包,网络为各个包选择的路 由不一定相同,而且u d p 协议不提供数据到达的可靠性保证。故到达客户端的 时间先后先会发生改变,甚至会产生丢包现象。为此,必须使用缓存技术来弥补 数据的延迟,并重新对数据包迸行排序,从而使影音数据能连续输出不会因网络 的阻塞使播放出现停顿【l 】。 缓存的目的就是在某一段时间内存储需要使用的数据,数据存储在缓存中的 时间是暂时的,播放完的数据即刻被清除,新的数据将被存入到缓存中。因此, 在播放流媒体文件时不需要太大的磁盘空间。 以上所说的均为流媒体技术实现所必须具备的条件,其他的一些流媒体应用 技术则是在这些技术的基础之上变化和发展而来的,最终的目的都是为了解决传 输速度、压缩算法以及安全性等问题。 1 1 2 流媒体系统的组成 一般而言流媒体系统一般包含几个部分:媒体内容制作、媒体内容管理、用 户管理、视频服务器和客户端播放系统【2 】。流媒体系统的一般组成结构如图1 1 所示; 1 媒体内容制作:为实现流媒体采集、编码、编辑、合成等功能的模块的集 合体,它们将独立的视频、声音、图像、文字等组合制作成内容丰富的流媒体。 视频采集卡,摄像头等设备可以用于媒体素材的采集工作。编码即是将原始媒体 浙江大学硕士学位论文 流或不适于流式传输的文件类型转换成适合服务器进行流式传输的文件格式。编 辑软件可对流媒体对象的内容进行编辑,它常与编码软件捆绑在一起。合成就是 将各个独立的媒体对象组合成一个完整的流媒体文件。 图1 一l 流媒体系统结构 2 媒体内容管理:媒体内容管理包括流媒体文件的存储、查询及节目的管理、 创建和发布。节目不多时可使用文件系统,当节目量大时,就必须使用数据库管 理系统【2 】。 3 用户管理:主要进行用户的登记、授权、计费和认证。对商业应用来说, 用户来管理功能至关重要 2 。其中还应该包括媒体数据版权的加密系统,可以对 媒体或节目中指定的时间段、观看次数及其内容进行加密和保护。 4 视频服务器:把存储在存储系统中的视频信息以视频流的形式通过网络接 口发送给相应的客户,响应客户的交互请求,保证视频流的连续输出。视频信息 具有同步性要求,一方面必须以恒定的速率播放,否则引起厕面的抖动;另一方 面,在视频流中包含的多种信号必须保持同步。视频服务器是网络视频的核心, 其性能直接决定流媒体系统的总体性能。流媒体系统通常支持多服务器协同工 作,服务器之间能自动进行负载均衡,从而使系统能以较好的性能为更多的用户 服务。 5 客户端系统:接收并播放媒体服务器所提供的资源。 媒体流从服务器往客户端的传输必然要经过通信网络。流媒体通信网并不是 一个新建的专门用于流媒体通信的网络,目前绝大部分的多媒体业务多是在现有 的各种网络卜运行的,并且按照多媒体通信的要求对现有网络进行改造和重组。 目前通信网络大体上可分为三类: 为电信网络,如公共电话网( p s m ) 、分组交换网( p s p d n ) 、数字数据网( d d n ) 、 浙江大学硕士学位论文 窄带和宽带综合业务数字网( n i s d n 和b i s d n ) 等 计算机网络,如局域网( 1 a 1 1 ) 、城域网( m a l l ) 、广域网( ,锄) 等 电视广播网络,如有线电视网( c a t v ) 、混合光纤同轴网( h f ) 、卫星电视网 等。 1 1 3 流媒体系统的主流解决方案 由于流媒体技术领域尚未建立权威性的工业标准,各家厂商纷纷推出以自己 的标准和通讯协议所开发的系统。目前,国际上参与流媒体技术竞争的主要是三 大公司:m i c r o s o f t 、r e a ln e t w o r k s 、a p p l e ,它们相应的产品是:w i n d o w sm c d i a 、 r e a l s y s t 啪、q l l i c k t 佃e 。据市场研究机构f f o s t & s u l l i v a i l 的调查,目前三家占 据着流媒体市场9 9 以上的份额 4 。 1 1 3 lw i n d 州sm e d i a 流式媒体解决方案 w i n d o w sm e d i a 技术将影音文件分为w i n d o w s d e o 和硼n d o w sa u d i o 两 种,分别对应w m v 和w m a 格式。w i d o w sm e d i a 的编码方式向着高压缩比、 低传输速率的方向优化,虽然其编码技术不公开,但这并不影响用户的使用。编 码的压缩和解压缩过程都会通过相应的软件自动完成,微软公司提供的w i n d o w s m e d i ae n c o d e r 软件就可以进行w i n d o w sm e d i a 格式的编码压缩,而w i n d o 、 r s m e d i ap l a y e r 则是解压缩工具。做为一个专业的开发人员,也可以从w n d o w s m e d i af o 唧a ts d k 中了解到更多有关编码的信息。 对于制作完成了视频、音频片断,用户自然希望将其发布到网络上。w i n d o w s m e d i as e i c e s 系统能用于多种网络环境,工作方式分为单播和多播两种服务。 可以承担视频点播、转播、实况直播等多种领域的应用。 m m s 协议就是”w n d o w sm e d i as e r v e r ”协议的缩写,用来访问并流式接收 、i n d o w sm e d i a 服务器中a s f 文件的一种流式协议,它是微软公司提供的专门 用于访问w i n d o w s m e d i a 发布点上的单播内容的协议。 a s f 是英文a d v a l l c e ds t r e a l n i n gf o 瑚a “高级流格式) 的缩写,它是一个开放 的标准,能以多种协议在多种网络环境下支持数据的传送。实际上a s f 就是用 于组织排列音频流、视频流、图像以及脚本命令等多媒体数据的一种数据格式, 以数据包的形式通过网络传输。由于a s f 格式是专门为在i p 上传送有同步关系 的多媒体数据而设计的,所以a s f 格式的数据特别适合在i p 网上传输。在这个 基础之上,微软公司还为其加上了“同样适于在本地播放”的特性。 1 1 3 2 r e a l s y s t e m 流式媒体解决方案 r e a l 公司的流式媒体解决方案长期在市场和应用中占有重要地位, r e a l s v s t e m 可以分为以下几个部分: 浙江大学硕士学位论文 r e a l p l a y c r 是r c a l 公司出片的实时多媒体音视频播放工具,通过这个软件, 用户可以通过互联网接收新闻或广播,在线收听收看现场的音频视频直播,或者 在自己的硬盘上欣赏下载下来的r e a l 格式的音视频文件。 r e a l p r o d u c e r 可以将标准的音频或视频文件转换成流式媒体剪辑文件。用户 可以很容易地创建流式媒体文件、转换音视频、直接从外部媒体设备录制,或者 利用r e a l p r o d u c e r p l u s 进行流式内容的实时广播。 r e a l s l i d e s h o w 使用户可以将基本的图像文件转换成流式媒体展示文件,以 便用于互联网。用户可以在r e a l s l i d e s h o w 中以时间线的方式组织图像、添加背 景音乐、将自己的声音加入、定制图像和流媒体展示文件的外观,以及将成果发 送给朋友。 r e a l p r e m e r 是一个能够将微软的p o w e r p o i n t 幻灯片演示程序文件转换成用 于i n t e m e t 或i n t r a l l e t 中的流式媒体演示文件的程序。 r e a l s e r v e r 是整个r e a l s y s t e m 中的核心,它也是在流媒体领域里最有权威的 服务器软件。它有如下显著特点:1 流式传输广告;2 访问控制;3 授权:4 防火 墙;5 i s ph o s t i n g ,r e a l s e r v e r 根据存在的用户帐户,使媒体文件可以被流式传 输;6 m o n i t o 商g ,监视器;7 r e a l p r o x y ,用来存储流媒体文件的软件,一般被 安装在局域网或i s p 的代理主机上;8 r e a l s y s t e ma d m i l l i s t r a t o r ,基于w 曲的控 制台界面;9 多余源,可以使用多个源进行播放,一个一个源不可用,自动切换 到下一个源;1 0 报告,可以创建包含历史数据和收集信息的报告文件:1 1 查看 源代码,在r e a l s e r v e r 中,用户可以看到s m 文件的源代码。 1 1 3 3 q u j c u i m e 流式媒体解决方案 o u i c k t 曲e 是一款在苹果机中非常流行的媒体播放器。许多m a c 使用者都将 q l l i c k n m e 当作必备的多媒体播放程序。q u i c k l l m e 是由实力强大的苹果公司推 出的,苹果机上所有的音频视频播放都是由它来完成的。 q u i c k t i m e 是最早的视频工业标准,在1 9 9 9 年发布的q u i c k t i m e 4 o 版本后 开始支持真正的实时播放,其格式为m 0 v 。视频压缩部分采用s o r e n s o nv i d e o 技术,该技术支持v b r ,它可以动态分配带宽,以尽可能小的文件获得最好的 播放效果,并能使之在解压缩时获得平滑流畅的画面。 q u i c k t i m e 中自带了大量的视频和音频压缩程序,这些压缩程序各有其自身 的特点:有的压缩速度慢而解压缩速度快;有的压缩率极高:有些压缩方便使文 件失真过多;又有些压缩方法适合压缩特定媒体类型的文件。用户可以根据应用 的需求选择压缩方式。 q u i c k t i m es t r e 锄i n g 是一种在网上向观众实时的传输多媒体的程序,它发 源于现场直播的出现。它定义了三种传输方式,分别是:u n i c a s ts t r e 锄i n g ( 单点 流式传输) 、m u l t i c a s ts t r e a m s ( 多点流式传输) 和r e f l e c t e dm u l t j c a s ts t r e a m s ( 反馈 浙江大学顼士学位论文 式多点流式传输) 。要传输q u i c k t i m e 流式影片就必须具备q u i c k t i m es t r e 锄i i l g s e r v e r 流式服务器,它以r t p r t s p 作为传输协议。q u i c k t i m es 廿e 锄i n gs e r v e r 可以传输高质量的流媒体。并且可以为3 0 0 0 多的用户同时提供流式服务,它包 含在苹果机操作系统的m a co s xs e r v e r 服务器中。 1 1 4 流媒体技术的应用 互联网的迅猛发展和普及为流媒体业务发展提供了强大的市场动力,流媒体 业务正变得日益流行。流媒体技术有着非常广泛的应用领域,如视频点播r v 0 d ) 、 视频广播、视频监视、视频会议、远程教学、交互式游戏等。 视频点播( v o d ,v i d e o o n d 锄锄d ) 技术是随着计算机技术和网络通讯技术的 发展,综合了计算机技术、通讯技术、电视技术而迅速新兴的一门综合性技术。 它利用了网络和视频技术的优势,彻底改变了过去收看节目的被动方式,实现了 节目的按需收看和任意播放,集动态影视图像、静态图片、声音、文字等信息为 一体,是为用户提供实时、交互、按需点播服务的系统。视频点播系统中的数据 传输部分以流媒体技术为基础。这也是本文研究的核心问题。 随着i n t e m e t 的普及,网络上传输的资料不仅仅限于文字和图形。有许多视 频应用需要在网上直播。在线直播,或称为视频广播可以与电视一样在最大范围 覆盖观众,达到非常好的宣传、广告或满足观众需求的目的。中央电视台就采用 了r e a l n 吐、o r k s 公司的流媒体技术实现了视听在线直播f 3 】。 知识经济时代的网上教育突破了传统“面授”教学的局限,为学习者提供了 时间分散、资源共享、地域广阔、交互式的教学新方式。学习者可在自己方便的 时间、适合的地点,按照自己需要的速度和方式,运用丰富的教学资源来进行学 习。因此,发展远程教育意义十分重大,许多大学已经采用流媒体技术实现了远 程教育。 市场上的视频会议系统有很多,这些产品基本都支持t c p 仃p 网络协议,但 采用流媒体技术作为核心技术的系统并不占多数。流媒体并不是视频会议必须的 选择,但是流媒体技术的出现为视频会议的发展起了很重要的作用。视频会议系 统的大的发展趋势是与流媒体技术结合起来。 1 1 5 流媒体的发展前景 随着互联网的快速发展,流媒体的证在越来越深入到人们的生活当中。流媒 体应用快速发展的驱动力主要有以下几方面 5 : 1 流媒体发展最主要的驱动力是目前有很多的带宽可以使用,无论是骨干网还 是接入网,宽带化的进程都在加快进行; 2 另外一个重要的因素是流内容传递网络( 即c d n ) 的迅速增长,如a k 锄a i 和 浙江大学硕士学位论文 m a d g e 已经建立了用户网络,通过将数字内容推送到离用户驻地很近的因特 网“边缘”来为用户提供快速而便宜的内容服务: 3 由于一些“免费”的因特网业务出现,人们不再担心上网时问,因此更有闲 暇观看流媒体内容; 4 移动业务将会成为流媒体传递的重要方式,特别是如果宽带运营商放慢了网 络建设的速度的话,将使其重要性更加突出; 5 各大内容门户将是采用流媒体的先行者,而一些小的内容网络有可能会被门 户兼并。 无论在商业网站,还是各大企业和组织机构中,流媒体的运用正处于一个调 整持续增长的阶段。利用流媒体技术开辟音乐点播、新闻直播节目,成为商业网 站吸引网络用户的一个杀手锏;而企业和各大组织机构也使用流媒体技术开展员 工培训、信息发布、召开视频会议等工作,大大提高了效率,节省了开支。 对于流媒体的发展前景,i t 界的精英人物大多持乐观态度,预言流媒体将 成为未来互联网应用的主流,并将推动互联网整体架构的革新【6 】。 1 2 嵌入式流媒体系统概述 1 2 1 嵌入式系统的定义和发展历史 嵌入式系统诞生于微型机时代。现代计算机技术有两大分支:通用计算机系 统和专嵌入式计算机系统。通用计算机系统的技术要求是高速、海量的数值计算。 技术发展方向是总线速度的无限提升,存储容量的无限扩大。而嵌入式计算机系 统的技术要求则是对象的智能化控制能力。技术发展方向是与对象系统密切相关 的嵌入性能、控制能力与控制的可靠性。两种计算机技术面对着完全不同的应用 领域,在计算机技术的发展过程中,人们逐渐摆脱了早期的试图把两者统一的思 想,最终使得这两种计算机技术的专业化分工【7 】。 通用计算机系统与嵌入式计算机系统的专业化分工发展,导致2 0 世纪末、 2 1 世纪初,计算机技术的飞速发展。计算机专业领域集中精力发展通用计算机 系统的软、硬件技术,不必兼顾嵌入式应用要求,通用微处理器迅速从2 8 6 、3 8 6 、 4 8 6 到奔腾系列;操作系统则迅速扩张计算机基于高速海量的数据文件处理能 力,使通用计算机系统进入到尽善尽美阶段。 嵌入式计算机系统则走上了一条完全不同的道路,这条独立发展的道路就是 单芯片化道路。原有的传统电子系统领域的厂家与专业人士,接过起源于计算机 领域的嵌入式系统,承担起发展与普及嵌入式系统的历史任务,迅速地将传统的 电子系统发展到智能化的现代屯子系统时代。 因此,按照历史性、本质性、普遍性要求,嵌入式系统的定义为:“嵌入到 浙江大学硕士学位论文 对象体系中的专用计算机系统”。“嵌入性”、“专用性”与“计算机系统”是嵌入 式系统的三个基本要素。对象系统则是指嵌入式系统所嵌入的宿主系统【7 】。 与嵌入式设备相比,嵌入式系统是一个相对抽象的概念。嵌入式设备是指内 部有嵌入式系统的产品、设备。 1 2 2 嵌入式系统的特点 嵌入式系统由于其应用领域与通用计算机不同,它具有如下一些特征 8 】: 1 嵌入式系统通常是面向特定应用的。它通常都具有低功耗、体积小、集成度 高等特点,能够把通用c p u 中许多由板卡完成的任务集成在芯片内部,从 而有利于嵌入式系统设计趋于小型化,移动能力大大增强; 2 嵌入式系统是一个技术密集、资金密集、高度分散、不断创新的知识集成系 统: 3 嵌入式系统的硬件和软件都必须高效率地设计,量体裁衣、去除冗余,力争 在同样的硅片面积上实现更高的性能; 4 嵌入式系统和具体应用有机地结合在一起,它的升级换代也是和具体产品同 步进行,因此嵌入式系统产品一旦进入市场,具有较长的生命周期; 5 为了提高执行速度和系统可靠性,嵌入式系统中的软件一般都固化在存储器 芯片或单片机本身中,而不是存贮于磁盘等载体中; 6 嵌入式系统本身不具备自举开发能力,即使设计完成以后用户通常也是不能 对其中的程序功能进行修改的,必须有一套开发工具和环境才能进行开发。 综上所述,嵌入式系统是面向特定的应用开发的高效率和高稳定性的专用计 算机系统。开发者们需要一些专用的工具来开发嵌入式系统。 l - 2 3 嵌入式流媒体系统的发展状况 顾名思义,嵌入式流媒体系统即是将流媒体技术与嵌入式系统结合起来,将 流媒体系统“嵌入”到对象系统中。这样的最大好处在于使流媒体技术带有了嵌 入式系统的特点。 小型化和可移动:嵌入式流媒体系统的体积一般比通用p c 机要小得多,这 使得人们可以很方便地携带这样的系统。这也是嵌入流媒体系统的主要特点,使 流媒体技术的应用领域进一步扩大。这个技术已经在现今的某些手机中得以应 用。 稳定性:由于嵌入式流媒体系统面向的是特定的流媒体应用,这使得系统的 运行环境比通用计算机上的复杂性大为降低,这也提高了系统的稳定性。 嵌入式流媒体系统的发展与嵌入式系统的发展是分不开的。随着计算机专业 人士进入嵌入式系统领域进行研究,形成了基于嵌入式系统软、硬件平台,以网 浙江大学硕士学位论文 络、通信为主的非嵌入式底层应用。这样的嵌入式系统往往以嵌入式操作系统为 软件平台,应用层程序的开发带有明显的计算机工程特点。 本文的所要研究和实现的流媒体点播播放器基于嵌入式a r m 硬件平台和嵌 入式l i n l l ) 【操作系统软件平台。 1 3 论文内容安排 本文将以嵌入式流媒体v o d 播放器系统中的应用层程序开发作为重点,这 些程序面向嵌入式l i n l l ) ( 操作系统。突出对流媒体相关网络传输控制协议的研究 和实现,此类协议基于t c m p 协议栈,可以实现客户端与服务器间数据包的接 收和码流形成;控制信号的交换;服务质量的反馈;并为应用层程序提供码流同 步信息。 本章首先从总体上介绍了流媒体技术,包括关键技术、组成、主流解决方案 和己得到的应用,并展望了它的发展前景;接着介绍了嵌入系统的定义、发展和 主要特点,在此基础上阐述了嵌入式流媒体系统的特点和发展状况。 第二章,详细介绍了流媒体传输和控制相关网络协议。包括实时传输协议 r t p ,实时流协议r t s p ,会话描述协议s d p 等。 第三章,在理论研究方面,针对由于i p 网络和u d p 传输的不可靠性所产生 的包丢失情况,在比较s t a t i cf e c ,a f e c 等前向纠错算法的基础上,以前向纠 错( f e c ) 和视频压缩编码为理论基础,提出了基于数据包权重的f e c 包丢失恢复 算法。仿真结果表明,在网络丢包不可避免的情况下,更好地保证了媒体服务质 量。 第四章,给出了嵌入式流媒体播放器的实现方案。基于s 3 c 2 4 1 0 硬件平台 和嵌入式l i n u x 软件平台,文章给出了应用层程序的框架。以网络协议( r 吧r t s p , s d p ) 模块为重点,阐述了各个模块的实现和它们之间的协作关系。利用l i 肌x 下的多线程编程,将这些模块按照应用层程序的设计框架组合成一个完整的系统 第五章,总结了研究生阶段所做理论研究和项目实践两方面的工作,对前向 纠错领域的进一步研究方向提出了一些设想。 浙江大学硕士学位论文 第2 章流媒体传输相关协议 计算机网络协议就是计算机之间进行通信的规则。为了使处于不同地点、装 有不同操作系统的计算机之间有效地通信,必须有一种为各类计算机都能认可的 通信方法,任一方所表达的信息均能被其他各方所认同,这就需要指定一种标准: 网络协议。 在流媒体技术中,网络协议占有十分重要的地位,媒体流是通过网络传输的, 服务器和客户端间的控制信号也是通过网络传输的,它协调着服务器和客户端的 功能实现。本章将介绍流媒体服务系统相关的媒体流传输和控制协议,包括它们 提出的背景,运作的机制,报文的格式等等。 2 1 流媒体传输协议研9 2 1 1 r t p 概述 早在七十年代初期,人们就试图在网络中传输话音,此后在七八十年代产生 了许多重要的专利技术,比如时戳、顺序编号等。1 9 9 1 年2 月,在d a i 玎n e t 上 发布了一个称为”v a t ”的语音会议工具,所使用的协议就是后来r t p 协议的前身。 到了1 9 9 2 年,r t p 协议有了1 o 版,1 9 9 5 年1 1 月正式被i e s g 定为i m c 血标 准。1 9 9 6 年1 月,n e t s c a p e 公司宣布其n e t s c a p cl i v em e d i a 建立在r t p 协议之 上。微软也不甘寂寞,其n e t n l e e t i n g 软件也支持了r t p 会议。 r t p 是英文r e a l t i m en a n s p o np r o t o c o l 的缩写,中文名称是实时传输协议, 用于i m e m e t 上针对多媒体数据流的传输。它通常使用u d p 协议来传送数据, 起初是为“舢l t i c a s t ”传输情况而设计的,目的是提供时间信息和保证流同步, 不过也可以用于一对一的传输情况。r t p 协议主要完成对数据包进行编号、加盖 时戳、丢包检查、安全与内容认证等工作。通过这些工作,上层应用程序可以利 用r t p 保证流数据的同步、并提供实时传输。 r 1 p 的标准号为r f c l 8 8 9 ,它有一个升级版r f c 3 5 5 0 。两者的数据包结构 完全相同,最大的不同就是r f c 3 5 5 0 中改进了当r t p 会话在短时间内涌进大量 参与者的时候,发送r t c p 数据包的时间间隔的算法,尽量节省了r t p 会话所 占用的带宽。在发布r f c 3 5 5 0 之后,r f c l 8 8 9 并没有被注销。在当今的大多数 应用中,r f c l8 8 9 仍然作为参照的标准,本文对r t p 的介绍也将参照r f c l 8 8 9 。 在网络结构层次中,r t p 基于t c m p 协议栈,为上层的应用层程序提供接 口。r 1 1 p 是面向连接的,每个会话的参与者都维护着一份参与者名单,r t p 中的 控制部分r t c p 监控会话的质量,向每个参与者反馈丢包情况,作为流量控制的 参考信息。 浙江大学硕士学位论文 r 1 1 p 可以分为传输和控制两个部分,一个i 汀p 会话一般需要使用到两个相 邻的端口。较小的偶数端口用于传输媒体数据,这部分常被称为r t p ;较大的奇 数端口用于传输控制信号,即r t c p 。传输和控制部分相辅相成,共同完成流媒 体的传输和流量的控制。下面将分别介绍这两个部分的数据包格式。 2 1 2 实时传输协议瑚瞪 r 1 1 p 报文一般基于u d p 传输,在网络中传输的i p u d p 瓜t p 数据包如图2 1 所示: 图2 1i p 仙d p r t p 报文格式 1 p 头和u d p 头格式参照t c m p 协议,表2 1 为r t p 报文头的格式,每一 行表示3 2 位【9 ,第一行为4 个字节编号,方便下面各个域的长度与之对齐: 表2 一li 盯p 报文格式 vp | x f c cmp t s e q u e n c en u i l l b e r t i m es t ;m l p s ”c h r 0 1 l i z a t i o ns o u r c e ( s s r c ) i d e n t i f i e r c o n t m l u t i n gs o u r c e ( c s r c ) i d e m i 矗e r s p a v l o a d r t p 头中每一个域所表示的意义如下: v :v e r s i o n ,2 b i t s 。协议版本,r t p 的第一个版本”v a t ,为1 ,r f c l 8 8 9 定义 的r t p 版本为2 。 p :p a d d i n 甙p ) ,1 b i t 。填充位,当此位置为1 ,则表示该r t p 包的末尾含有非 有效净荷数据的填充位,填充的最后一个字节代表填充的长度。 x :e x t e n s i o n ,1 b i t o 扩展位,为1 时,表示在固定的r t p 包头之后有扩展 头 c c :c s r cc o u n t ,4 b i t s 。贡献源数量,用来指明c s r c 的个数,c s r c 的意 义将在随后介绍 m :m a r k e r ,1 b i t 。标志位,此位在i 江c 1 8 8 9 没有明确指明其定义。它的由 具体所针对的应用定义,同的在于允许重要事件在包流中标记出来。如 r f c 3 0 1 6 中使用r t p 传输m p e g _ 4 码流,对于每一帧的最后一个数据包, 此位会被置为1 ,以标识此帧的结束。 p t :p a y l o a dt y p e ,7 b i t s 。净荷类型,标识r t p 载荷格式且决定了应用层对 净荷的理解方式。 在标准r f c 3 5 5 1 】o 】中指定了音频和视频的缺省映射初集,其他载荷类型代 浙江大学硕士学位论文 码可进一步扩展,或通过非r 1 1 p 途径动态定义。在任意给定时刻,r t p 发送源 发出的r 1 p 数据包有单一的载荷类型,p t 的值不是为复用相互独立的流媒体而 设计的。 表2 2 和2 3 为常用的p t 值和与其对应的编码方案,其中9 6 1 2 7 可经由具 体的会话控制协议动态指定;1 9 永久保留因为一些更早协议已经定义其为噪声: 表2 2 常用p t 值与其对应的音频编码方案 p t 编码方案 采样率o 沮z ) 0p c m u8 2g 7 2 18 3g s m8 4g 7 2 38 7l p c8 8p c m a8 9g 7 2 28 1 4 m p a p e g a u d i o ) 9 0 1 5g 7 2 88 表2 3 常用p t 值与其对应的图像或混合编码方案 p t 编码方案媒体类型 采样率( k h z ) 2 6 m o t i o nj p e g 视频 9 0 3 1h 2 6 l 视频 9 0 3 2m p v 视频 9 0 3 3m p 2 t 音视频 9 0 3 4h 2 6 3 视频 9 0 s e q u e n c en 砌b e r :1 6 b i t s 。序列号,用于接收端检测数据包的丢失和重排数 据包。发送端每发送一个数据包,这个值加1 。为了传输的安全,序列号的 初始值由服务器随机确定。 t i m e 咖m p :3 2 b i t s 。时间戳,是r t p

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论