（电路与系统专业论文）基于arm的嵌入式实时流媒体服务系统.pdf

杭州电子科技大学硕士学位论文 摘要 随着互联网技术的发展，网络的带宽越来越高，城市中a d s l 等宽带网络变得普及。 基于网络的各种应用需求应运而生，对网络多媒体信息的需要也越来越大了。多媒体编解 码技术的发展，新的编解码方式使得音视频文件在保证清晰度的情况下，提高了压缩率， 大大降低了文件的大小，使得其更适合网络传输了。流媒体技术是指视频、音频和文字等 多媒体数据以连续流方式顺序从信息源端向目的地传输，目的地在接收到数据并进行短暂 缓存后就立即播放的一种多媒体技术。流媒体技术采用流式传输的方式传输数据。它并不 下载整个完整的文件，具有边下载边播放的特点。一开始只是传输部分的多媒体数据，流 媒体客户端将接收的数据放入缓存中，同时播放器就开始播放。流媒体技术在安防监控、 网络电视、视频会议等应用领域都起着重要的作用，为人们的工作生活带来了便利。 嵌入式流媒体服务器不同于传统的基于p c 架构的流媒体服务器，嵌入式的流媒体服务 器建立于一体化的硬件结构之上，具有可移动性好，专业化高，稳定性好，实时性高的优 点，因而越来越多的厂商开始关注于嵌入式流媒体产品的开发。正是由于市场上对于嵌入 式产品的需求，本文主要研究了流媒体的实时传输原理与协议，构建了一个能够进行音视 频采集、编码压缩、网络传输以及解码播放的完整流媒体服务系统。流媒体服务器建立在 基于a r m 处理器h 1 3 5 1 5 的嵌入式平台之上，而客户端的解码播放则是在p c 平台上实现 的。 本文对嵌入式h 1 3 5 1 5 平台进行了深入研究，基于h 1 3 5 1 5 平台进行嵌入式软件的开发 设计。构建了h 1 3 5 1 5 的交叉编译的开发环境与嵌入式l i n u x 操作系统。本文在设计流媒体 服务传输系统时，选用实时流媒体协议( r t s p ) 来实现服务器与客户端之间的控制信息的 交互传输，根据r t s p 协议来进行多用户连接的管理与流控制。实现端对端的实时数据的网 络传输要依据实时传输协议( r t p ) ，特别对h 2 6 4 编码的视频数据与c t 7 1 1 编码的音频数 据的网络传输格式进行了研究。当传输的流媒体中既有视频数据又有音频数据时，需要考 虑音频与视频之间的同步问题，通过实时流媒体控制协议( r t c p ) 在数据发送时进行控制， 调整发送时r t p 中的时间戳来消除音视频流不同步的情况。设计h 兀p 协议，嵌入式设备 己接入网络的情况下，通过p c 端的浏览器来访问嵌入式设备的i p 地址，下载放置在嵌入 式设备指定目录下的w e b 页面与播放器插件。用户在w e b 页面上进行参数设置，通过h 盯p 协议发送给设备，实现对设备的控制，同时播放插件对音视频解码播放，实现实时同步播 放。最后对整个系统的功能的实现情况与各个性能指标进行测试，达到了实际应用中所要 求的指标，完成了设计的目标。 关键词：a r m ，嵌入式l i n u x ，流媒体服务器，r t s p ，实时传输 杭州电子科技大学硕士学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to fi n t e m e tt e c h n o l o g y , t h eb a n d w i d t ho fn e t w o r k g r o w sw i d e r , a n dt h e b r o a d b a n dn e t w o r ks u c ha sl a na n da d s lh a sb e c o m ec o m m o ni nt h ec i t y m a n ya p p l i c a t i o n b a s e do nn e t w o r ki s p r o d u c t e d ，t h en e e df o rm u l t i m e d i ai n f o r m a t i o nt h r o u g hn e t w o r ki s i n c r e a s i n g w i t ht h ed e v e l o p m e n to fm u l t i m e d i at e c o n o l o g ym a n yn e we n c o d et e c o n o l o g y a p p e a r e d ，a n dc o m p a r ew i t ho l dt e c o n o l o g y , t h en e wo n ec o u l dr e d u c et h es i z eo fm u l t i m e d i a w i t h o u tr e d u c i n gt h eq u a l i t yo fi m a g e t h en e wt e c o n o l g ym a k et h em u l t i m e d i am u c hm o r e s u i t a b l ef o rn e t w o r kt r a n s m i s s i o n t h es t r e a m i n gm e d i at e c o n o l o g yc o u l dt r a n s f e rt h em u l t i m e d i a d a t as u c ha sv i d e o ，a u d i oa n dt e x t ，a n di td o e sn o td o w n l o a dt h ee n t i r ef i l ew h e n b e g a nt op l a y a t t h eb e g i n n i n go n l yp a r to ft h em u l t i m e d i ad a t ai st r a n s f e r r e d ，a n ds t r e a m i n gm e d i ac l i e n tw i l l r e c e i v et h ed a t ai n t ot h ec a c h e ，w h i l et h ep l a y e rb e g a nt op l a y s t r e a m i n gm e d i at e c h n o l o g yp l a y s a ni m p o r t a n tr o l ei nt h es e c u r i t ym o n i t o r i n g ，n e t w o r kt e l e v i s i o n ，v i d e oc o n f e r e n c i n ga n do t h e r a p p l i c a t i o n s ，t ob r i n gt h ec o n v e n i e n c et op e o p l e sw o r kl i f e e m b e d d e ds t r e a mm e d i as e r v e ri sd i f f e r e n tw i t ht h et r a d i t i o n a lp c - b a s e ds t r e a m i n gm e d i a s e r v e r , e m b e d d e ds t r e a m i n gm e d i as e r v e rb u i l to nt o po ft h es t r u c t u r eo fi n t e g r a t e dh a r d w a r e ， m o b i l i t y , p r o f e s s i o n a l ，g o o ds t a b i l i t y , r e a l t i m eh i g ha d v a n t a g e s ，a n dt h e r e f o r em o r ea n dm o r e m a n u f a c t u r e r sb e g a nt of o c u so np r o d u c td e v e l o p m e n to fe m b e d d e ds t r e a m i n gm e d i a i ti s p r e c i s e l yb e c a u s et h em a r k e td e m a n df o re m b e d d e dp r o d u c t s ，p a p e rm a i n l ys t u d i e dt h ep r i n c i p l e s a n dp r o t o c o l so fr e a l - t i m et r a n s m i s s i o no fs t r e a m i n gm e d i a ，b u i l daa u d i oa n dv i d e oc a p t u r e ， e n c o d i n g , n e t w o r kt r a n s m i s s i o n ，a sw e l la sd e c o d ea n dp l a yac o m p l e t es t r e a m i n gm e d i as e r v i c e s y s t e m s t r e a m i n gs e r v e rb u i l to nt h et h eh 1 3 5 15a r m p r o c e s s o r - b a s e de m b e d d e dp l a t f o r m ，t h e c l i e n td e c o d ea n dp l a yo nt h ep cp l a t f o r m e m b e d d e dh 1 3 5 1 5p l a t f o r mi n - d e p t hs t u d y , b a s e do nt h et h eh 1 3 5 1 5p l a t f o r mf o re m b e d d e d s o f t w a r ed e v e l o p m e n ta n dd e s i g n b u i l dat h eh 1 3 515c r o s s - c o m p i l e rd e v e l o p m e n te n v i r o n m e n t w i t he m b e d d e dl i n u xo p e r a t i n gs y s t e m i nt h i sp a p e r , t h ed e s i g nf l o wo fm e d i as e r v i c ed e l i v e r y s y s t e m ，t h ec h o i c eo fr e a l t i m es t r e a m i n gp r o t o c o l ( r t s p ) t oa c h i e v et h et r a n s f e ro fc o n t r o l i n f o r m a t i o nb e t w e e nt h es e r v e ra n dc l i e n ti n t e r a c t i o n ，b a s e do i lt h er t s pp r o t o c o lf o rm u l t i - u s e r c o n n e c t i o nm a n a g e m e n ta n df l o wc o n t r 0 1 e n d t o e n dr e a l t i m ed a t an e t w o r kt r a n s m i s s i o nb a s e d o nr e a l t i m et r a n s p o r tp r o t o c o l ( r t p ) ，e s p e c i a l l yf o rt h eh 2 6 4 一e n c o d e dv i d e od a t aa n dg 711 e n c o d e da u d i od a t an e t w o r kt r a n s m i s s i o nf o r m a t r t pi nt h et i m ew h e nb o t hi nt h et r a n s m i s s i o n o fs t r e a m i n gv i d e od a t at oa n o t h e ra u d i od a t a ，t h en e e dt oc o n s i d e rt h es y n c h r o n i z a t i o np r o b l e m b e t w e e nt h ea u d i oa n dv i d e o ，r e a l t i m es t r e a m i n gc o n t r o lp r o t o c o l ( r t c p ) c o n t r o ld a t as e n tt o 杭州电子科技大学硕士学位论文 a d j u s ts e n ds t a m pt oe l i m i n a t et h es y n c h r o n i z a t i o no fa u d i oa n dv i d e os t r e a m i n g t h ed e s i g no f t h eh t t pp r o t o c 0 1 e m b e d d e dd e v i c e sh a v ea c c e s st ot h en e t w o r kt h r o u g ht h ep cs i d eo ft h e b r o w s e rt oa c c e s st h ee m b e d d e dd e v i c e si pa d d r e s s ，d o w n l o a dp l a c e di nt h ee m b e d d e dd e v i c e si n t h es p e c i f i e dd i r e c t o r yo ft h ew e bp a g ea n dt h ep l a y e rp l u g - i n s u s e rt os e tp a r a m e t e r so naw e b p a g e ，s e n tt ot h ed e v i c ev i at h eh t t pp r o t o c o l ，t oa c h i e v ec o n t r o lo ft h ed e v i c ep l a y e rp l u g - i n p l a y e rf o ra u d i oa n dv i d e od e c o d i n g , r e a l t i m es y n c h r o n o u sp l a y b a c k f i n a l l y , t h ew h o l es y s t e m f u n c t i o na n dp e r f o r m a n c et e s t i n g ，t oa c h i e v et h ei n d i c a t o r sr e q u i r e di nt h ep r a c t i c a la p p l i c a t i o n , c o m p l e t e dt h ed e s i g ng o a l k e y w o r d s ：a r m ，e m b e d d e dl i n u x ，s t r e a m i n gm e d i as e r v e r , r t s p , r e a l - t i m et r a n s m i s s i o n 1 1 1 杭州电子科技大学硕士学位论文 第1 章绪论 1 1 论文背景 当今时代，互联网技术的飞速发展，给人类的生活方式带来了极大的改变。互联网成 为了社会生活中一项不可或项的基础信息设施，是人们日常信息交流的重要载体。3 g 网络、 网络电视以及网络电话的兴起，预示着具备网络功能或许是未来的移动办公与家居电子设 备的一个发展方向。在未来的信息社会，网络必定会更加普及，网络带宽得到也会更加扩 展，基于网络也会诞生出更多新的需求与产品。 网络通信技术与多媒体编解码技术的不断发展，使得多媒体的网络通信应用更加得成 熟了。对文本、图片、语音、视频以及其他的形式的多媒体数据在互联网进行传输通信的 需求日益增长，由于传统的多媒体传输方式并不能很好得满足人们在实际生活中的需要， 就诞生了一种新的流媒体技术。传统的多媒体通信技术要将多媒体文件完全下载到本地之 后才可以进行播放，这种传输方式存在一个问题，如果在带宽较小或者媒体数据量非常大 的时候，会导致多媒体在开始播放前的延时将会非常长。在一些应用领域，对于多媒体的 实时性有着很高的要求，如现场直播、实时监控等，这种传统的多媒体传输方式将无法满 足要求。流媒体技术的出现解决了这个难题。流媒体技术采用的是流式传输方式，它的特 点是边下载边播放，即开始播放前只需等待一个很短的缓冲时间，这样就克服了传统传输 方式的弊端。 嵌入式技术近年也得到了极大的发展，在越来越多的领域得到了应用。嵌入式系统与 p c 系统相对应，它是具有计算机功能，但又不被称为计算机的设备或器材。嵌入式系统被 定义为以应用作为中心，软件与硬件根据实际需要进行裁减，对功能、可靠性、成本、体 积、功耗等性能指标有着严格要求的微型专用计算机系统。嵌入式系统通常与一些传感、 伺服等设备搭载在一起实现监测与控制等功能，这种情形下它只需要完成这些功能就可以 了。但是随着网络技术的发展，将嵌入式设备联网并进行集中控制的条件己经成熟了。将 嵌入式系统连接到互联网上，就可以将数据发送给世界各个角落，就可以实现设备的数据 远程采集、远程控制、网络报警等，促进网络传感器技术、智能家居、工业自动化、环境 自动监测等技术的实现与发展。今后网络化是嵌入式系统的发展方向之一，它要求将嵌入 式系统与互联网结合在一起，使嵌入式系统在一定的网络环境下可以安全、稳定得传输数 据，并且可以适应多种网络协议。h 。 1 2 流媒体技术应用现状 流媒体技术一经出现，就被认为具有广阔的前景，诸多大公司投入极大的精力，致力 于流媒体服务与产品的研发。专业级流媒体服务应用的有n c u b e 公司的m e d i a c u b e ，h p 公司的m e d i a s t r e a m ，o r a c l e 公司的o v s ，c i s c o 公司的i p t v 等，这些从事专业级流媒体服 杭州电子科技大学硕士学位论文 务器的产商，它们的产品大都是针对具体的流媒体服务而进行量身定做的，具有专门的体 系结构并且能够提供给用户一套全面的解决方案。这些专业级的流媒体系统功能强大，但 是对于硬件的要求很高，并且价格很贵，一般只能服务于大型的服务系统。而在小型的p c 级的应用领域，m i c r o s o f t 公司的w i n d o w sm e d i a p l a y e r ，r e a l n e t w o r k 公司的r e a l s y s t e r n 以 及a p p l e 公司的q u i c k t i m e 在市场占有率方面处于领先，它们各自规定的流媒体格式 a d v a n c e ds t r e a m i n gf o r m a t ( a s f ) ，r e a l m e d i a , q u i c k t i m e 也是目前互联网上应用最多的流媒 体格式。 r e a l m e d i a 是r e a l n e t w o r k s 公司制定的音视频压缩规范。互联网上许多跨平台的客户端 服务器结构的应用都是采用了这种标准，通过音视频流同步回放技术尽可能地利用带宽来 提供优质的多媒体。r e a l m e d i a 又分为了r e a l a u d o 、r e a l v i d e o 和r e a l f l a s h 这三种文件， r e a l a u d i o 可以用于传输音频数据，r e a l v i d e o 用于传输连续视频数据，r e a l f l a s h 则是一种 动画格式。 q u i c k t i m e 是a p p l e 公司推出的一个跨平台的多媒体架构，支持媒体的实时捕捉，使用 编程方式合成媒体，导入导出媒体，媒体的编辑制作，以及压缩，分发与用户回放等。它 可以运行在m a co s 与w i n d o w s 系统上，构成元素包括多媒体操作系统扩展，一套a p i ， 一种文件格式以及包括q u i c k t i m e 播放器，q u i c k t i m ea c t i v e x 控件、q u i c k t i m e 浏览器插 件的应用程序。它是一个多媒体平台，不管是数码相机或者移动电话的视频，还是m a c 机 上或者p c 机上的影片，都可以采用q u i c k t i m e 技术实现随时随地播放。q u i c k t i m e 支持 h 2 6 4 视频压缩技术，可以用更少的带宽和存储空间来呈现清晰的视频文件。 m i c r o s o f t 公司推出的a s f 是一个开放标准，支持在多种网络环境下利用不同的协议进 行传输。a s f 文件是像j p g 、m p g 一样的文件类型，它是专门为在互联网上传输有同步关 系的多媒体数据而设计的，a s f 格式的信息适合在互联网上进行传输，当然也可以在本地 进行播放，在网络上传输的内容就叫做a s fs t r e a m 。m i c r o s o f tm e d i ap l a y e r 是微软公司的 一款支持许多多媒体文件的播放器，它支持互联网上的a s f 流文件格式，支持边下载边播 放。6 - 8 1 1 3 嵌入式实时流媒体服务系统 上面提到的这些流媒体服务都是基于p c 架构，它们将p c 机作为硬件，操作系统通常 为w i n d o w sx p 、w i n d o w s2 0 0 0 、l i n u x 等，视频的编解码通过视频完成。这种应用往往在 可靠性与稳定性上不高，不适合工业控制领域，只是适合于一些对可靠性要求不是很高的 商用办公场合。w u w 嵌入式流媒体服务系统是基于嵌入式处理器与嵌入式实时操作系统的，通常它有专业 的芯片来进行图像的压缩与解压，而嵌入式实时操作系统则完成对整个嵌入式设备的控制 与管理。通常p c 架构的流媒体系统有许多不起作用的的模块与多余的软件功能，而嵌入式 系统在设计时对软件、硬件的稳定性都进行了专门的规划，在功能上也不会比p c 架构的逊 2 杭州电子科技大学硕士学位论文 色。 采用嵌入式设备在稳定性与可靠性都能得到提高，嵌入式设备只要开启之后就不需要 专门的人来进行管理，因此适合于无人值守的环境。1 3 1 1 4 论文主要研究内容 本文基于处理器为h 1 3 5 1 5 的硬件平台，操作系统为嵌入式l i n u x 的软件平台，设计一 个实时流媒体系统。完整的流媒体系统包括音视频信息的采集、压缩、网络传输、播放， 音视频信息的采集与压缩通过硬件来实现，嵌入式设备端设计一个流媒体服务器的用例， 实现流媒体数据的转发工作，客户端在p c 端设计，访问嵌入式设备端获得采集压缩的数据 并进行解码处理。主要的研究工作有： ( 1 ) 研究基于h 1 3 5 1 5 平台的开发相关知识，了解h 1 3 5 1 5 平台的软硬件架构，搭建了 嵌入式软件开发的环境。 ( 2 ) 研究实时流媒体协议r t s p ，设计并实现对多路客户端连接的管理。 ( 3 ) 研究实时传输协议族r t p r t c p 的基本协议。 ( 4 ) 研究h 2 6 4 视频编码方式与g 7 1 l 音频编码方式的r t p 打包方式，实现r t p 传输。 ( 5 ) 研究客户端插件实现音视频同步的方法，设计了一个时间戳同步算法。 ( 6 ) 设计测试方案，对测试结果进行分析与总结。 本论文的主要内容如下： 第一章为绪论部分，简要论述了论文的研究背景、流媒体技术发展概况，介绍了本文 的主要工作及研究内容。 第二章为对流媒体服务系统的简介，描述了流媒体服务器的主要结构与原理。 第三章为嵌入式系统开发平台的介绍，介绍h 1 3 5 1 5 平台的硬件组成与特点以及开发环 境的搭建。 第四章为r t s p 流媒体服务器的设计。根据r t s p r t p s d p 协议设计实现基本的流媒体 服务器功能。 第五章为时间同步算法的研究与设计 第六章为测试与结果分析。 杭州电子科技大学硕士学位论文 第2 章流媒体服务系统简介 2 1 嵌入式实时流媒体服务系统的目标 本文的目标是设计与开发出一个流媒体服务系统，基于处理器为h 1 3 5 1 5 的嵌入式平台， 采用嵌入式l i n u x 操作系统，能够对音视频数据进行实时采集、实时转发、实时处理，用 户可以通过浏览器观看到实时图像，同时支持通过浏览器获得和配置设备的参数。流媒体 服务系统可以应用于实时监控、网络电视等领域。1 1 4 1 图2 一l 流媒体传输系统 在不同的应用场合，对于性能指标的要求是不同的。流媒体服务器的性能指标通常有 如下几点1 1 5 - 1 7 j ( 1 ) 实时性 从前端摄像头采集到数据到在客户端播出中间的这段时间的间隔就是流媒体服务系统 的延时，在监控领域中对实时的要求比较高，而在网络电视等应用中对于实时就没有那么 严格。 ( 2 ) 音视频的同步性 由于同一个通道里既有视频流，也有音频流，这两个流就有可能有不同步的现象出现， 这种现象应当尽量避免出现。 ( 3 ) 流畅性 音视频媒体流的播放要求能够流畅，在正常播放中不能出现丢帧，马赛克现象。 ( 4 ) 最大并发连接数 嵌入式系统不同于p c 机系统，由于嵌入式系统的资源往往比较有限，受性能的制约对 于支持的最大客户端数连接数量往往是有限制的。 ( 5 ) 支持参数设置 需要在客户端可以读取与修改嵌入式设备的参数，如编码设置，云台控制协议等。 4 杭州电子科技大学硕士学位论文 2 2 系统设计 流媒体服务系统可以看作三个模块：音视频采集模块、嵌入式a r m 设备、客户终端。 音视频采集模块：通常为摄像头、拾音器等，前端设备采集的模拟信号，通过视频接 口同轴电缆b n c 接口或者音频接口与嵌入式设备相连接，将信号传给设备。 嵌入式a r m 设备：这部分是流媒体服务系统的最主要的部分，它由基于处理器h 1 3 5 1 5 的嵌入式硬件平台，嵌入式l i n u x 操作系统与流媒体服务器应用软件组成。负责实现音视 频数据的编码转发工作。 图2 2 嵌入式设备硬件结构 客户终端则是一台计算机，用户可以在这台计算机上通过浏览器访问嵌入式设备，进 行w e b 页面与插件的下载，并通过r t s p 协议与嵌入式设备进行通信。当r t s p 协议交互 成功，嵌入式设备开始传送数据后接收r t p 包播放。 数据流程如下所示： 首先摄像头捕捉到自然界中的光学信息，通过视频接口线传送到嵌入式设备中。这时 的视频信号还是属于模拟信号。 嵌入式平台上的视频编码模块将模拟信号转化为数字信号，生成h 2 6 4 格式的视频数 据。 网络模块获取到编码后的一帧数据，就按照r t p 协议将其封装成一个个r t p 数据包， 用u d p 或者t c p 协议传输出去。 客户端接收到r t p 数据包，就进行解码播放。 杭州电子科技大学硕士学位论文 图2 3 服务器软件结构图 流媒体服务器的设计是本文的重点，它需要达到本章开头所提到的几个指标要求： ( 1 ) 要达到实时性的要求，流媒体要采用实时流传输方式，它需要特殊的网络协议，这 里选择实时流媒体协议r t s p 。传输层协议即可以选择t c p 、也可以选择u d p 协议，。t c p 协议是面向连接的协议，在传输过程中需要对收到的包进行确认，如果在传输中发生丢包 的情况就必须要重传，数据量较大时容易造成网络的阻塞。而u d p 则是无连接的协议，当 数据发送出去之后不进行确认与重传。由于t c p 的重传机制有可能会造成播放时的延时， 并且由于视频数据的容错能力较高，就算丢失部分数据也不会对实际播放交效果造成太大 的影响。在实际应用中先将保证音视频数据的实时性放在第一位，因此音视频数据默认采 用u d p 的方式进行传输。当然采用t c p 方式进行音视频数据的传输并不是不可以的，可以 在r t s p 协议中可以指定音视频的r t p 数据包的传输方式。而对于r t s p 协议的控制消息， 对于可靠性要求更高一些，一般都采用t c p 协议进行传输。 ( 2 ) 要实现音视频同步的要求。如果数据源即有视频流又有音频流，而视频数据流与音 频数据流是分别传输的，客户端会同时收到音频流数据同视频流数据，并根据两个流的r t p 包的时问戳解码播放。但是由于时间戳的时间起点其实是随机生成的，r t p 包头的时间戳 可以用来计算同一个流内部不同帧数据之间的时间关系，但是不同媒体之间就会存在同步 的问题。通过实时传输控制协议r t c p 周期性地发送控制包，它包含了绝对时间信息与r t p 时间戳，由于不同流之间的绝对时间信息相同，以此实现同步。 ( 3 ) 要保证流畅性的要求。要保证流畅性，可以从三个方面来进行考虑，首先是要保证 网络带宽，网络的带宽应当大于当前所请求的音视频数据的码率，如果网络带宽太低，出 6 杭州电子科技大学硕士学位论文 现丢帧或马赛克现象就是难免。第二是在保证视频清晰度的前提下选择压缩率大的压缩方 式，使视频的码率可以降到最少，以适应网络传输的要求，本文选用的是h 2 6 4 编码方式， 与传统的编码方式相比，它可以使视频获得更大的压缩比而不降低质量。第三，在r t p 传 输时需要一个缓冲区，使得每个帧之间的间隔可以保持一定的间隔。 ( 4 ) 保证可同时有多个客户端并发访问。对于一个嵌入式设备上来说，网络上通常不会 只有一个客户，因此有多个客户端同时需要访问的时候，要能保证一对多的通信可以正常。 对于底层网络支持多播的情况，嵌入式设备可以直接通过多播地址来发送数据，实现多个 客户端同收接收到数据。而如果底层网络不支持多播的功能，保存每个客户端的信息，每 个通道应当保存一份客户列表，循环向客户列表中的客户端发送本通道的数据。采用这种 方式，当多个客户请求同一通道的视频源的时候，只需获取一次数据源，这样就减少了资 源的消耗。 ( 5 ) 支持通过浏览器修改嵌入式参数。设计h 1 v r p 协议，用户通过浏览器访问嵌入式设 备内置的w 曲页面，通过p o s t 请求向设备发送修改配置的请求，通过g e t 获得设备配置 的请求。 2 3 流媒体技术 流媒体技术是指视频、音频和文字等多媒体数据以连续流方式顺序从信息源端向目的 地传输，目的地在接收到数据并进行短暂缓存后就立即播放的一种多媒体技术。与传统的 下载播放方式不同，流媒体技术不是播放时下载完整个媒体文件再播放，只在开始的时候 将部分的内容作为缓存，而是当接收到数据的时候就随时进行播放。因此流媒体技术可以 实现实时播放，而只会在开始的时候会出现一点延迟。流媒体技术并不是一门单一的技术， 它是将多种网络技术与计算机技术，如多媒体数据采集技术、压缩技术、编解码技术、存储 技术以及网络传输与通信技术融合在了一起。随着计算机宽带网络的快递发展，在城市中 宽带上网方式如a d s l 、l a n 等已经得到普及，而且支持带宽越来越大，价格越来越便宜。 因此互联网在除了浏览网页，文件下载的功能外，己经可以承载实时视频直播所需要的带 宽。同时由于对网络视频在线直播的需求，流媒体技术也因此得到了发展的契机，未来流 媒体技术发展依然前景一片光明。 2 3 1 流媒体传输方式选择 流媒体可以有两种不同的传输方式，分别为顺序传输与实时传输这两种方式。 顺序传输的方式是将网络上的媒体数据的一部分先下载下来，然后这些己经下载下来 的部分就可以先开始播放了，当然网络上的媒体数据的尚未下载的部分显然就不能播放了。 这种传输方式不需要特殊的协议，比较容易实现，只要设计一个标准的h t r p 服务器，当 请求媒体流数据时，直接按照h t t p 协议的规定传输就可以了。顺序传输方式一般也不根 据当前的码率与网络的带宽对码率进行调整，当媒体信息的码率大于网络带宽时也不丢包， 7 杭州电子科技大学硕士学位论文 这样就会带来延时，这种方式比较适合传输片头、广告等高质量的音视频短片。 实时传输则相求在传输的过程中信号的带宽同网络带宽相匹配，实现流媒体的实时播 放。采用实时传输，当网络带宽较差并且低于多媒体的码流时，由于传输的时候要求带宽 一致，就会产生丢帧现象，如果是视频可能会出现马塞克画面，如果是音频的话可能会产 生噪声。如果需要保证视频的质量的话，选择顺序传输的方式更加合适。实时传输是需要 特殊的网络协议来支持的。 在进行系统设计的时候应当根据具体需求来选择合适的传输方式，本文设计的流媒体 服务器最主要的应用是在视频监控领域，对实时性要求较高，因此这里在设计的时候就应 当选择实时传输方式。n 蚴1 2 3 2r t s p 协议简介 r t s p 协议是用于控制在网络上进行传输的音视频的流媒体数据的协议。它与h t t p 相 似，属于t c p ip 体系中的应用层，通过客户端与服务器这间互相发送基于文本的请求 和应答消息进行通信。 与h t r p 相比，r t s p 协议有自己的一些特点。r t s p 引入了几种新的方法，比如 d e s c r i b e 、p l a y 、s e t u p 等，并且有不同的协议标识符，r t s p 为r t s p1 0 ，h t t p 为h t t p1 1 。 h t t p 是无状态的协议，而r t s p 为每个会话保持状态。r t s p 协议的客户端和服务器端都 可以发送r e q u e s t 请求，而在h r r p 协议中，只有客户端能发送r e q u e s t 请求。在r t s p 协 议中，载荷数据一般是通过带外方式来传送的( 除了交织的情况) ，通过r t p 协议在不同的 通道中来传送载荷数据。而h 1 r p 协议的载荷数据都是通过带内方式传送的，比如请求的 网页数据是在回应的消息体中携带的。r t s p 使用u r i 请求时包含绝对u r i 。而由于历史原 因造成的向后兼容性问题，h t t p i 1 只在请求中包含绝对路径，把主机名放入单独的标题 域中。 r t s p 是用会话( s e s s i o n ) 来表示服务器和客户端之间的通信的全过程，包括传输的建立， 流媒体的播放，暂停，停止关闭等。r t s p 会话可以可以依靠可靠传输连接t c p ，也可以使 用无连接传输协议u d p 来发出r t s p 请求。 r t s p 通过发送请求方法改变r t s p 会话状态，r t s p 协议里有许多方法，比较常用且 重要的有s e t u p ，p l a y ，t e a r d o w n 等。 d e s c r i b e ：描述。d e s c r i b e 方法从服务器取得请求u r l 所标识的表示或者媒全对 象的描述。服务器以所请求的资源的描述作为回应。 d e s c r i b e 响应必须包含它所描述的资源的所有媒体初始化信息。可以采用s d p 会话 描述协议，这包含了会话信息和媒体信息。 s e t u p ：让服务器分配资源给流并启动r t s p 会话。客户端可以针对己开始播放的流 发出s e t u p 请求，来改变传输参数。服务器在响应s e t u p 请求时生成会话标识。如果发 往s e t u p 请求中包含了会话标识，服务器必须把这个s e t u p 请求绑定到己存在的会话中。 杭州电子科技大学硕士学位论文 p l a y ：告诉服务器通过s e t u p 规定的机制开始传输数据。客户端必须在s e t u p 请求 被明确确认为成功以后才可以发送p l a y 请求。启动s e t u p 所分配的流的数据传输。 t e a r d o w n ：t e a r d o w n 请求会停止所给u r i 的流传输，释放与它相关的资源， r t s p 会话停止，从服务器端退出。 2 3 3 实时流传输协议r t p 实时传输协议( 1 m ) 是i e t f 工作小组在1 9 9 6 年的r f c1 8 8 9 公布的一个网络协议。 r t p 被定义为实时的音频，视频，模拟数据的传输协议。最初设计是为了发送多播数据， 但也可以在单播中使用。与传统方法注重可靠性相比，它的重点是在实时数据传输。该协 议提供，如时间负载标识，序列数据，时间戳，传输控制等服务。 多媒体数据传输的一个严重的隐患是不可预知的数据到达的时间，但流媒体数据的传 输需要保证数据实时到达。r 1 r p 协议是提供一个时间戳，序列号和其他结构用于控制实时 数据的播放。r t p 只是传输数据，并不负责同步。r t p 协议只规定了协议的基本框架，具 体的实现可以由用户自己进行扩展。r t p 协议运行于u d p 之上，因此可以直接使用u d p 提供多播和数据验证功能。甚至r t p 没有数据包长度和边界的描述。同时，r t p 数据包和 控制包使用相邻的不同端口，从而极大地提高了协议灵活性和处理简单性。 r t p 协议通常是根据一个特定的应用提供服务，r t p 只提供了一个框架协议，开发人 员可以实现通过扩展协议来实现具体要求。目前，r t p 的设计和研究主要是用来满足多用 户多媒体会议需求，同时也适用于连续数据的存储，分布式交互仿真的一些控制，测量应 用。 2 3 4 实时传输控制协议r t c p 实时传输控制协议( r e m t i m et r a n s p o r tc o n t r o lp r o t o c o l 或r t pc o n t r o lp r o t o c o l 或简写 r t c p ) 是实时传输协议( 1 盯p ) 的一个姐妹协议。r t c p 由r f c3 5 5 0 定义( 取代作废的 r f c1 8 8 9 ) 。i 玎p 使用一个偶数u d pp o r t ；而r t c p 则使用r t p 的下一个p o n ，也就是 一个奇数p o r t 。 r t c p 为i 玎p 媒体流提供信道外( o u t - o 仙a i l d ) 控制。r t c p 本身并不传输数据，但和 r t p 一起协作将多媒体数据打包和发送。r t c p 定期在流多媒体会话参加者之间传输控制数 据。r t c p 的主要功能是为r t p 所提供的服务质量( q u a l i t yo f s e r v i c e ) 提供反馈。 r t c p 收集相关媒体连接的统计信息，例如：传输字节数，传输分组数，丢失分组数， 单向和双向网络延迟等等。网络应用程序可以利用r t c p 所提供的信息试图提高服务质量， 比如限制信息流量或改用压缩比较小的编解码器。2 1 。3 2 4 音视频编码标准 2 4 1 视频编码标准h 2 6 4 视频数据往往数据量比较庞大，如果不经过压缩的话，无论进行储存或者网络传输都 9 杭州电子科技大学硕士学位论文 是十分不方便的，常见的视频编码标准有m p e g - 4 、h 2 6 3 、h 2 6 3 + 、h 2 6 4 等。实时播放要 求网络上的流媒体码率与网络带宽相匹配，通常视频码率都是远远大于音频的，能否满足 实时播放的要求，关键是要看视频的码率。公网上的带宽资源往往是有限的，高分辨率的 视频源要想能够流畅得播放的话，就必须降低分辨率或者是帧率，画质肯定会因此而大打 折扣。而不同的编码标准之间，同一视频源压缩为相同质量的视频后，所得到的压缩比也 是相差巨大的，因此选择好编码的格式标准是很重要的。 h 2 6 4 数字视频编解码标准，由i s o i e c 动态图像专家组( m p e g ) 与i t u t 视频编码 专家组c e g ) 组成的联合视频组( j v t ，j o i n tv i d e ot e a m ) 在2 0 0 3 年5 月提出的。h 2 6 4 a v c 相对于更早的m p e g 2 或h 2 6 3 等视频标准，能够提高编码的效率，并且更能适应于网络 环境下的传输。h 2 6 4 在视频编解码性能方面与它之前的一些标准相比有了显著的提高，将 h 2 6 4 与m p e g - 2 这两种压缩方式对相同的视频进行压缩后对比，h 2 6 4 压缩性能明显比 m p e g - 2 高出很多，压缩到到相同的画质效果时，h 2 6 4 码率只有m p e g 2 的5 0 甚至更少。 2 4 2 音频编码标准g 7 11 g 7 1 l 是i t u - t 制定的一种音频编码方式。它的码率为固定的6 4 k b p s ，也就是8 k b s 。 它的音质可以与c d 相媲美，但高码率也会占用较多的带宽资源。如果带宽足够的情况下， g 7 1l 可以提供出色的音质。在网络带宽较小且对语音质量相求不高的情况下，可以追求压 缩比更大的编码标准。由于本文设计的流媒体服务器主要是应用于安防监控领域，不会有 单独只传输音频流的情况，并且如上面提到的视频码率往往远大于音频的码率，因此选择 g 7 1 1 作为音频编码方式并无大碍。 2 5 本章小节 本章主要针对流媒体服务系统进行总体上的设计，介绍了整个系统的设计目标，对整 个系统的结构与设计思路进行了介绍，同时对流媒体技术以及音视频编解码的格式进行了 介绍。 杭州电子科技大学硕士学位论文 第3 章a r m l i n u x 嵌入式平台