（通信与信息系统专业论文）基于嵌入式armlinux技术的实时流媒体传输系统研究与实现.pdf

摘要 摘要 随着电予、计算机、声缘和网络通信技术的发展。多媒体技术莳进了一大步， 特别是由于数字化技术在计算机领域广泛而成功的应用，极大的方便了多媒体信 息的存储、处理和网络传输。作为多媒体和网络的交叉学科流媒体( m e d i a s t r e a m i n g 或s t r e a m i n gm e d i a ) 技术改变了以 _ 多媒体的应用方式，使得流式传输 成为现实：传统的多媒体文件需要从服务器下载完才能播放而流媒体的主要特 点就是边下裁边观看，以流的形式进行数字媒体的传送，从而使人们可以在线欣 赏到连续不断的多媒体节目。 本课题主要研究实时流媒体传输系统的实现，目的是构建一个在包括实时数据 采集、压缩、传输和播放在内的完整的多媒体传输系统。其中网络服务器的功能 是建立在a r m 嵌入式处理器上。本文主要内容有：对a r m l i n u x 嵌入式系统 进行了深入研究，构建a r m 处理器的交叉编泽工具、嵌入式l i n u x 操作系统； 同时对r t p 协议族进行一定研究特别是h ，2 6 3 杯准的视颧数据和g 7 2 9 标准的 音频数据的网络传输：分析了流媒体服务器的基本功能。在客户端音况频的同步 播放是一个重要问题，论文根据流媒体客户端接收的技术特点和实现方式重点研 究了在本系统中客户端音视频播放同步的算法问题设计了一种以音频为主播放 媒体、视频作为辅助媒体的基于时间戳的同步方法。实现了a r m 嵌入式系统构 建，同时完成了服务器软件开发和客户端同步算法实现。最后对整个流媒体传输 系统进行性能测试，并且对测试结果进行了分 斤和改进。该系统可以传输实时数 据、提供多播功能和r s v p 以及 c o d 服务。论文介绍了在r e d h e a d 9 0 和 w i n d o w s 2 0 0 0 下系统每个模块的调试方法。 本系统可以应用于视频会议，视频点播( v o d ) 系统，远程监控系统等领域。 从事多媒体技本理论研究人员，砚频软件的开发人员及有关技术人员可以从本文 中获得有益的参考于启发。 关键词：流媒体：实时：r t p ：a r m ：时间戳 华南理大学顾士学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to fe l e c t r o n i ct e c h n o l o g y 、 c o m p u t e r 、 m u l t i m e d i aa n d n e t w o r kc o m m u n i c a t i o n s ，m u l t i m e d i ah a v eag r e a ts t e pf o r w a r d m e d i as t r e a m i n g t e c h n o l o g yi s ac r o s s s c i e n c eo fm u l t i m e d i aa n dn e t w o r k ，i tg r e a t l yc h a n g e dt h ew a y o fm u l t i m e d i aa p p l i c a t i o n u s i n gt h et r a d i t i o n a lm u l t i m e d i at r a n s f e rm e t h o d ，t h e m e d i af i l em u s tb ea l ld o w n l o a d e df o rt h es e r v e rt h e nc a r lp l a yo nt h ec l i e n t ，b u tt h e m o s tc h a r a c t e ro fm e d i as t r e a m i n gi sy o uc a np l a yt h em e d i af i l ew h e nd o w n l o a d i n g i t t h em u l t i m e d i ad a t at r a n s f e rb ys t r e a mt y p e ，p e o p l ec a na p p r e c i a t ec o n t i n u o u s l y m u l t i m e d i ap r o g r a mo n l i n e t h ep a p e rs t u d i e st h ei m p l e m e n t a t i o no fm e d i a s t r e a m i n gt r a n s m i s s i o n ，t h e p u r p o s ei s t oc o n s t r u c tf u l lm u l t i m e d i at r a n s m i s s i o ns y s t e m t h a ti n c l u d e sr e a h i m e d a t ac o l l e c t i n g 、c o m p r e s s i n g 、t r a n s m i s s i o na n d p l a y i n g t h en e t w o r ks e r v e ri sb a s e d o na r me m b e d d e dp r o c e s s o r t h ec o n t e n ti n c l u d e s ：a i n d e p t h r e s e a r c ho f a r m l i n u xe m b e d d e ds y s t e m 、 c o n s t r u c t i n gc r o s s - c o m p i l et o o l sb a s e do na r m p r o c e s s o r 、e m b e d d e dl i n u xo p e r a t i n gs y s t e m m e a n w h i l e t h e p a p e r a l s oi s r e s e a r c h i n gt h ei h pp r o t o c o ls t a c k e s p e c i a l l ya n a l y z i n gt h en e t w o r kt r a n s m i s s i o no f h 2 6 3a n dg 7 2 9d a t aa n di m p l e m e n t a t i n gt h eb a s i cf u n c t i o n so fm e d i a s t r e a m i n g s e r v e r i nc l i e n ts i d ep l a y i n gs y n c h r o n i z a t i o no fa u d i oa n dv i d e oi sav e r yi m p o r t a n t i s s u e a c c o r d i n gt h ei m p l e m e n t a t i o nm e t h o da n dc l i e n tr e c e i v e rc h a r a c t e rt h ep a p e ri s d e e p l yr e s e a r c h i n gs y n c h r o n i z a t i o na r i t h m e t i co fa u d i oa n dv i d e oo nc l i e n t ，d e s i g n i n g a n di m p l e m e n t i n gs y n c h r o n i z a t i o nb a s e do nt i m e - s t a m pt e c h n o l o g y i m p l e m e n ta r m e m b e d d e ds y s t e mc o n s t r u c t i o n 、m e d i as e r v e rf u n c t i o n sa n ds y n c h r o n i z a t i o n a r i t h m e t i co fc l i e n t f i n a l l yi m p l e m e n tt h es y s t e mt e s t i n g ，a n a l y s ta n di m p r o v e dt h e t e s t i n gr e s u l ta n dw h o l es y s t e mf u n c t i o n s t h es y s t e mc a nt r a n s f e ra n dr e p l a y t h e r e a l t i m ed a t aa n dc a np r o v i d em u l t i c a s t ，r s v pa n d s i m p l e v o ds e r v i c e a n i n t r o d u c t i o no nd e b u g g i n gm e t h o df o re v e r ym o d u l e so ft h i ss y s t e mo nr e d h a t 9 0 a n dw i n d o w s 2 0 0 0 a f t e rf i n i s h i n gt h i sp r o j e c t ，t h i st e c h n o l o g yc a nb eu s e di nv i d e oc o n f e r e n c e ， v i d e oo nd e m a n d ( c o d ) s y s t e m ，r e m o t es u r v e i l l a n c es y s t e me t c a n da tt h es a m et i m e ， m u l t i m e d i at h e o r yr e s e a r c h e r s 、v i d e os o f t w a r ed e v e l o p e r sa n dr e l e v a n tt e c h n i c i a n s m a yd r a wt h e i ri n s p i r a t i o nf r o mt h i sp a p e r k e yw o r d s ：s t r e a m i n gm e d i a ；r e a l t i m e ；r t p ；a r m ；t i m e s t a m p 华南理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研 究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文 不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研 究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完 全意识到本声明的法律后果由本人承担。 作者签名： i ( 1 i l 日期：2 。舟占月f 忙日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权华南理工大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密回。 ( 请在以上相应方框内打“”) 日期：2 口。5 年月f - 日 日期：屺矿睥莎月，f1 7 1 让榨 1 纠q 妙 名 名 签 签 者 师 作 导 第一章绪沦 第一章绪论 当今世界。多媒体数字技术的飞跃发展和个人计算机的日益普及+ 给人们的 工作，学习，生活和娱乐带来了深远的影响。多媒体使计算机能够综合处理声音、 文字、图像和视频，改变了人们使用计算机的方式。随着网络宽带化的发展趋势， 人们希塑有更直观、更丰富的新代信息的表现形式。作为多媒体和网络的交叉 学科流媒体【4 ( s t r e a m i n gm e d i a ) 技术由此应运而生。传统的多媒体文件需要从 服务器下载完才能播放，而流媒体的主要特点就是边下载边观看，以流的形式进 行数字媒体的传送，从而健人们可以在线欣赏到连续不断的多媒体节目 s l 。 1 流式传输的基本原理 流媒体指在i n t e r n e t o n t r a n e t 中使用流式传输技术的连续时基媒体 6 1 ，如：音 频、视频或多媒体文件。现在网上传输音视频主要有下载( d o w n l o a d ) 和流式传 输( s t r e a m i n g ) 两种方式。下载方式是指将全部的音，视频文件通过网络传输到害 户机，并保存在客户机上只有当全部的文件传送到客户机上之后彳能丌始播放。 流式传输定义很广泛，现在主要指通过i n t e r n e t 将视音频信号连续传送到客户端 p c 机，在播放莳并不下载完整个文件，而是只将开始部分内容存入内存，流式媒 体的数据流随时传送随时播放，当流媒体在客户机播放时其余部分在后台继续一f 载。流式传输有两种方式：顺序流式传输( p r o g r e s s i v es t r e a m i n g ) 和实时流式传输 ( r e a l t i m es t r e a m i n g ) 】， 顺序流式传输利用在内存中开辟一个缓冲器( b u f f e r ) 顺序下载的文件保存 在缓冲器中，不过用户可以在整个文件下载党之前可以播放。标准的h t t p 服务 器可发送这种形式的文件，也不需要其他特殊协议，它经常被称作h t t p 流式传 输。由于该文件在播放前观看的部分是无损下载的所以这种方法保证电影播放 的最终质量。顺序流式传输比较适合于用来发布内容简单，但音质或画面质量较 高的文件如片头、片尾和广告。顺序流式传输不像实时流式传输在传输期间根 据用户连接的速度做调整，用户对流的控制有限，因此不适合于现场直播等实时 数据的传输。 实时流式传输指保证媒体信号带宽与网络连接配匹，使媒体可被实时观看到。 实时流与h t t p 流式传输不同，需要专用的流媒体服务器与传输佛议。“实时”的 概念是指在一个应用中数据的交付必须与数据的产生保持精确的时间关系。实时 流式传输总是实时传送，特别适合现场事件，也支持随机访问用户可快进或后 退以观看前面或后面的内容【t 6 1 。 华南理l 尺学硕_ r ：学位论文 流式传输的实现需要缓存。因l a t e r n e t 以包传输为基础进行断续的异步传输， 对一个实时a v 源或存储的a v 文件，在传输中它们要被分解为许多包，由于网 络是动态变化的，各个包选择路由可能不同，因此到达客户端的时延也不确定。 为此，使甩缓存系统隶弥补延迟和抖动的影响。并保证数据包的顺序正确从而 使媒体数据能连续输出而不会因网络暂时拥鏖而使播放出现停顿。通常高速缓 存所需容量并不大。 流式传输的实现需要合适的传输协议，由于t c p 需较多的歼销，故不太适合 传输实时数据。在流式传输的实现方案中一般采用h t t p t c p 束传输控制信息 而用r t p u d p 柬传输实时数据。 流式传输的一般过程是：用户选择某一流媒体服务后，w e b 浏览器与w e b 服 务器用h t t p t c p 交换控制信息，以便把需要传输的实时数据从原始信息中检索 出柬；然后客户机上的w e b 浏览器启动会话仞始化程序使客户端可以和服务器 进行信息交互。其基本原理如图卜1 所示： 胃e n 测览器卜 善蔷 _ e b 服务器 图卜i 流式传输基本原理 f g u r e 卜it h eh a s i cm e t h o do fs t r e a m i n gt c a t l s p o r t 流媒体的研究内容包括流媒体的编解码技术、流媒体服务器技术、端到端( e n d t oe n d ) 流媒体技术和流媒体系统技术等。典型的流媒体编解码技术有：用于 6 4 k b p s 视频传输的h 2 6 l 、面向1 5 m b p s 数字视音频传输和存储的m p e g i 、 面向高品质数字音频传输和存储的m p e g 一2 以及适用于低码率视频编码的 h 2 6 3 标准。具有代表性的流媒体编解码技术为可扩展性编码技术f g s ( f i n e g r a n u l a rs c a l a b l e ) 和渐进的精细可扩展性编码p f g s ( p f o g r e s s i v ef i n eg r a n u l a r s c a l a b l e ) 【”。多媒体服务器技术是对传统的文件服务器进行改造的，使其能支持 流媒体的应用，典型的流媒体服务器技术包括数据的救罴策略，内存缓冲区管理 算法等。端到端的流媒体技术用于解决流媒体在两个端系统之间传输的相关问题， 典型的研究包括媒体流的拥塞控制、差错控制、速率整形等。端到端的流媒体研 究目标是为了提高流媒体应用的q o s ( q u a l i t yo fs e r v i c e ) 。流媒体系统技术注重提 高流媒体的系统效率，包括流媒体调度技术、多媒体代理服务器及缓存技术以及 2 第一章绪论 流媒体的应用层组播技术等。 1 2 流媒体传输特性和技术 多媒体及网络领域的相关国际标准和协议充分考虑了流媒体的应用，在网络 领域，i n t e r n e t 工程任务组i e t f ( i n t e r n e te n g i n e e r i n gt a s kf o r c e ) 制订了实时传输 协议，实时传输控制r t p r t c p ( r e a l t i m et r a n s f e rp r o t o c o l r e a l t i m et r a n s f e r c o n t r o lp r o t o c 0 1 ) 怫议族【i 。】。该协议族是流媒体的应用层协议，为媒体的流化技 术提供了网络承载平台，早在1 9 9 6 年就成为i n t e r n e t 的国际标准( r f c l 8 8 9 ) ，最新 的版本( r f c 3 5 5 0 ) 于2 0 0 3 年7 月发布。r t p 被定义为在一对一或对多的传输情 况下工作。目的是提供时间信息和实现流同步，针对具体的应用，i e t f 还制订了 r t p 与特定媒体相结合的标准( r f c ) ，如h 2 6 3o v e rr t p , g e n e r a la u d i oo v e r r t p , m p e go v e rr t p , f e co v e rr t p 等，所以不同的媒体类型需要研究其不同的封 装和管理技术。 实时流协议r t s p 【2 0 1 ( r e a l t i m es t r e a m i n g p r o t o c 0 1 ) 是由 r e a l n e t w o r k s 和 n e t s c a p e 共同提出的该济议定义了一对多应用程序如何有效地通过【p 网络传送 多媒体数据。r t s p 在体系结构【：位于r t p 和r t c p 之上，它使用t c p 或r t p 完 成数据传输。h t t p 与r t s p 相比，h t t p 传送h t m l ，而r t s p 传送的是多媒体 数据：h t t p 请求由客户机发出，服务器作出响应，而r t s p 是双向的，客户机 和服务器部可以发出请求，主要没想在r f c 2 3 2 6 中。 1 3 流媒体的应用现状 1 3 i 远程教育 随着网络及流媒体技术的发展”5 1 ，越柬越多的远程教育系统中使用流媒体技 术作为网络教学方式。在远程教育中最基本的要求是将信息从教师端传递到远程 的学生端需要传递的信息是多元化的，这其中包括各种类型的数据。如何将这 些信息资料有效的组合起来以达到更好的教学效果是远程教育的重要方面。 由于当前网络带宽的限制，流媒体无疑是最佳选择，学生用较低的计算机配 置和网络条件参加到远程教学系统中来，可以进行实时的教学。对于教师来说 这样也无需做更多的准备，授课方法与传统的教学基本相同。除去实时教学，使 用流媒体的v o d ( 视频点播) 技术，更可以达到因材施教、交互式教学目的。学 生可以通过网络共享自己的学习经验和成果。 3 华南理：大学硕十学位论文 1 3 2 视频点播( v o d ) 随着宽带网络和信息家电的发展，流媒体技术会越来越广泛应用于视频点播 系统，目前很多大型的新闻娱乐媒体部在i n t e r n e t 上提供基于流媒体技术的音、 视频节目。视频点播( c o d ) 需要负荷大量数据的传输，由f 流媒体经过特殊的 压缩编码使它很适合在互联网上传输。客户端采用浏览器方式进行点播，基本 无需维护。 1 3 3 互联网直播 网络带宽问题一直是互联网直播的瓶颈，不过随着宽带网的普及和流媒体技 术的发展，互联网直播已经歼始走向实用。流媒体技术在互联网直播中充当重要 角色，首先流媒体实现了在低带宽的环境下提供高质量的影音。其次，像r e a l 公司的s u r e s t r e a m 这样的智能流技术可以保证不同的连接速率下用户可以得到不 同质赣的影音效果。此外多播技术大大减少了服务器的负荷和节省了带宽。 i 3 4 视频会议 视频会议技术涉及到数据的采集、数据压缩、网络传输等多项技术。流媒体 不是视频会 义的必须选择但是采用流媒体技术传送影音，使用者可以连续不断 的观看，可以达到即时的效果。流媒体协议本身就支持一对一和一对多的通信， 这样可以方便地达到视频会议的要求。 1 3 5 现有的典型应用系统 现在典型的流媒体应用系统有：专业级v o d 系统及规频服务器产品包括c i s c o i p t v ，n c u b em e d i a c u b e ，o r a c l eo v s 。s u nm e d i a c e n t e r ，h pm e d i a s t r e a m 等： 专业级视频会议系统包括p i c t u r e t e i ，n e t m e e t i n g 等；p c 级的m i c r o s o f tw i n d o w s m e d i a ，r e a lr e a l s y s t e m a p p l eq u i c k t i m e 等。专业级的流媒体系统功能强大，但 价格昂贵且一般对硬件的要求较高，不适合于个人和一些小型的应用场合。在较 简单的p c 级流媒体软件中m i c r o s o f tw i n d o w sm e d i a 和r e a lr e a l s y s t e m 的应用最 为广泛【1 2 】，据市场调研公司n i e i s e n ，n e t r a l i n g s 统计数据( 2 0 0 4 年) 显示，目前 r e a l 公司媒体播放软件的市场占有率为1 6 2 而微软占1 4 4 。 1 4 基于嵌入式a r m - l i n u x 的实时流媒体传输系统 时面介绍的几种现有的系统技术完善功能强大但它们共同的缺点足服务器端 需要依赖笨重的计算机系统，并通过软件对视频信号进行压缩处理把媒体格式 4 第一章绪论 转换成适于传输的格式。由于过多的依赖f 软件，使得整个系统的实时性难以保 证。而且肘每一个采集点部必须有专f j 的计算机，成本高，因此不适用地理分敞 的各个信息采集应用。 本文考虑设计一个基于硬件处理器为a r m 9 2 0 t ( $ 3 c 2 4 1 0 ) 、软件为嵌入式 l i n u x 为基础的实时多媒体系统，多媒体信息的采集和压缩都是出硬件来实现， 整个系统针对地理位置分散的远程 见频监控、视频点播、会议电视系统而使用。 发送端( 服务器) 是基于嵌入式l i n u x 而设汁，通过i n t e r n e t 网柬传送多媒体信 息。特点是可靠性高、延时小、运行成本低。接收端可以使用嵌入式系统接收， 也可以使用计算机接收，并分别对应硬件或软件解码处理。 和通用计算机系统不同，嵌入式系统针是对具体应用设计的号用系统直接面 向产品、面向应用、系统硬件和软件都高效设计，是在完成目标功能的基础上最 小化的系统，系统运行具有稳定高效的特点。嵌入式l i n u x 具备开放源码，支持 多种体系结构和大量硬件设备的特点，使得基于嵌入式开发应用系统的优势更加 明显。目前嵌入式l i n u x 系统的歼发和应用受到国内外的广泛关注，在p d a 、手 机、机顶盒、安全系统、电梯、自动售货机、医疗仪器等设备中部有嵌入式的身 影。 本系统设计的a r m l i n u x 嵌入式系统搭建了一个基于i n t e r n e t 的流媒体传输 系统，实现了实时数据传递的功能，主要的设计目标是实现把远端多媒体采集系 统采集的实时的音视频信息经过压缩编码后进行r t p 协议封装，利用l i n u x 系统 摸块实现i p 协议和多点发送方式通过网络传输使多个接收端能够从网络上接收 实时音视频数据并且重新展现给用户。发送端可以脱离计算机。 1 5 本研究课题的来源与论文主要内容 本课题是广东省工业攻关项目“基于嵌入式操作系统的网络多媒体终端”的 部分。主要的研究内容包括： 研究嵌入式系统开发相关知i = ，特别是基于a r m 处理器的系统。并且对 嵌入式操作系统进行了研究，搭建了系统的嵌入式软硬件环境。研究a r m 处理器$ 3 c 2 4 1 0 的启动引导程序，l i n u x 内核编译裁剪和交叉编译工具的 制作等关键技术。 研究流媒体的传输层协议r t p 协议族的传输机制以及应用。 研究针对h 2 6 3 视频标准和g 7 2 9 音频标准的实时流媒体传输系统，设计并 实现一个基本的，基于嵌入式l i n u x 平台的实时流媒体服务器。 研究客户端音视频插放的同步问题设计了基于音频为主播放媒体、视频 为辅助播放媒体的时间戳同步算法。 5 华南理【人学硕十学位论文 最后完成系统的调试和测试，实现各种功能， 在本章中已经对本篇论文的主要工作做一些介绍，本系统牵涉的内容非常聿三 富，不但和嵌入式a r m l i n u x 系统、网络济议、音视频网络传输、同步等技术相 关也和相关领域很多底层的硬件有密切关系，因此沦文中安排适当的篇幅对嵌 入式系统和一些主要的标准胁议进行了介绍。 本论丈的主要结构如下： 第一章绪论，概述流媒体技术的特点和应用现状：介绍本研究的来源、内容 和意义。 第二章描述了流媒体传输系统的系统结构和工作原理。 第三章讲述了a r m l i n u x 嵌入式开发的相关知识。对嵌入式处理器和嵌入 式l i n u x 开发的相关知识进行了介绍。搭建了流媒体传输系统的嵌入式_ f = 发软硬 件平台。 第四章r t p 侨议族和流媒体服务器软件设计，介绍流媒体服务器的设计和主 要功能模块的流程。 第血章同步方案的解决，在研究已有方法的基础上提出了本系统的同步方 法。最后进行了系统的综合测试，并且对测试结果进行了性能分析。 最后是结论、参考文献和致谢以及附录。 6 第：章蛮时流嫩体传输系统简介 第二章实时流媒体传输系统简介 本课题目的是设计和开发一套基于a r m 嵌入式平台、采用l i n u x 操作系统 的、具有网络实时在线功能的多媒体信号采集、处理和传输系统。本系统可以f “ 泛应用于远程监控、会议电视和可视电话等领域。 在笔者参与歼发的流媒体传输系统中，视频压缩编码标准采用h 2 6 3 ：音频 趣缩编码标准采用g 7 2 9 。流媒体传输系统采用r t p r t c p 协议族。笔者在浚项 目中主要负责的模块是嵌入式l i n u x 软件开发环境的搭建，包括：l i n u xo s 内 核裁剪，编泽和移植，a r m l i n u x 交叉编译环境的搭建；a r m 平台上流媒体服 务器程序的开发和客户端音视频接收同步算法实现以及最后的模块调试和系统调 试工作。 2 1 流媒体传输系统简介 该多媒体传输系统是基于分组网的多媒体综合系统。通过摄像失和麦克姒采 集实时音视频数据，然后经过d s p 进行压缩编码后送到a r m 网络服务器 ：进行 打包形成以太网数据包传输。流媒体服务器是在a r m l i n u x 嵌入式系统运行。 $ 3 c 2 4 1 0 构建的嵌入式丌发扳在系统中是通信控制单元，将压缩后的音视频数据 从缓冲区中读出来，通过i n t e r n e t 送到终端客户。同时服务器也可以接收终端 客户的命令完成对云台的控制。 实时传输协议采用r t p 协 义族。实时音频和视频码流形成r t p 分组，采嗣不 d r 靠传输协议如u d p 进行传送。整个系统的框图可以简化为图2 1 。音视频分别 经过数据采集、编码，通过网络到达接收端解码后的多媒体数据存入各自的播 放缓冲器。媒体问的同步是通过播放缓存器媒体同步机制来实现的。 信号源 播放缓冲 播放端 一r t 丁1 厂 i | l 卜叫视频显1 ：l ijj ，_ j r 一 ： 同步控制 l t n 卜司 i 【，【j u 二一 图2 1 多媒体系统结构图 f i g u r e2 一【d i a g r a mo fm u l t i m e d i as y s t e ms t r u c t u r r e 7 一 兰壹墨! 厶羔堡主= i = 筐堡塞 2 2 系统设计 2 2 i 系统框图 整个流媒体传输系统包括实时数据采集系统、流媒体网络服务器和远程客户 终端系统三个主要模块。系统框图如图2 2 所示： a r m l i n u x 嵌入式 阚丽八 系统 i 一j i 一 i流媒体服务器 网 用户缛端 络 用户空间千 一 司 内棱空n l 播放器ka u s b 驱动程序 ： 媒体采集处理卡集g 处7 2 理9 多卡牛 h p i 接口 8 胩a mp d s p 处理器一e p r o m i 墨堡墨j - 一上竺竺一一可锅程逻辑器件ke p r o m | 麦克风! 音频a d ” c p l d + ，皇童、 s r a m ls r a m 2 1 j 、。，一 图2 2 基于a r m l i n u x 网络多媒体系统结构框图 f i g u r e2 - 2d i a g r a mo fn e t w o r km u l t i - m e d i as y s t e mo i le m b e d d ea r m l i n u x 2 2 2 系统主要模块 该流媒体传输系统主要分为如下三个主要模块。 ( 1 ) 媒体信息采集设备 这是一块实验室自行设计和实现的处理卡，该卡的主要功能是完成多媒体数 据的采集和压缩处理，主要由a l t e r a 公司f p g a ( 1 0 k 1 0 0 a ) 、c y p r e s s 半导体 公司的u s b 专用芯片( c y 7 c 6 4 6 1 3 1 2 8 n c ) 和t i 公司的d s p ( t m s 3 2 0 c 6 7 1 1 ) 等 r 第二章实时流媒体传输系统简介 芯片构成。通过麦克帆和摄像头采集实时音 见频模拟信号。压缩编码模块：首先 把模拟信号进行数字化处理，然后通过h 2 6 3 标准进行视频压缩、g 7 2 9 进行音 频信号采样编码，输出的是适合于传输应用的数据。 ( 2 ) 嵌入式a r m 处理器和u s b 设备驱动程序、视频服务器 这一部分主要包括一个基于$ 3 c 2 4 1 0 为核心处理器的嵌入式l i n u x 系统以及 h p i 驱动程序和流媒体服务器。主要的功能是在a r m 和多媒体采集处理卡之间 的数据通信和网络视频服务。发送端的网络接口模块从编码器读取实时数据，并 对数据以r t p u d p 协议进行分组打包，再通过多播或广播的方式发送到局域网 中；在接收端是先从网络中接收数据、解包，然后输出数据到解码器，网络接口 还需要实现对网络报文发送速率的控制，传输状况的统计等工作。网络接口的设 计分为硬件设计和软件设计两大部分：硬件上的网络接口是a r m 9 2 0 t 技术的 $ 3 c 2 4 1 0 处理器，能够支持嵌入式l i n u x 操作系统，支持1 0 0 m 以太网接口和8 位的并行数据传输接口，以及些必要的控制信号，软件基于嵌入式l i n u x 操作 系统。 ( 3 ) 客户终端和流媒体播放程序 这部分主要是一个客户终端以及h 2 6 3 以及g 7 2 9 在线播放程序。浚播放程序 被殴计为一个基亍二a c t i v e x 技术的控件，工作平台为w i n d o w s 系统，主要功能是 从网络上接收多媒体数据后在客户端实时的播放到屏幕上。同时有效的实施同步 技术，达到播放的“唇音同步”。 2 2 3 多媒体传输系统数据流程 如图2 2 所示，整个系统的数据流程大致如下： ( 1 ) 从实时数据采集设备摄像头和麦克风采集输入多媒体数据到多媒体采集处 理卡： ( 2 ) 输入信号经过a i d 转换后输入到t m s 3 2 0 c 6 7 l i 多媒体处理芯片进行压缩 处理，中l 日j 通过c p l d 来控制时序和逻辑： ( 3 ) c 6 7 l l 采用软压缩的方法把摄像头输入的视频信号压缩成低码率h 2 6 3 标 准的多媒体数据，把麦克风输入的音频信号编码成g 7 2 9 的多媒体数据； 然后通过h p i 接口用u s b 传输的方式把压缩后的多媒体数据传输出到嵌入 式l i n u x 系统的内核空间里的u s b 缓冲区里； ( 4 ) 嵌入式l i n u x 系统上的服务器把在u s b 缓冲区里的多媒体数据读出，然后 通过网络接口传输到客户终端： ( 5 ) 客户端的在线播放程序通过网络接口接收到多媒体数据，然后通过播放器 实时的解压播放出来。 9 华南理f 人学硕士学位论文 2 3 多媒体编码技术 本节主要介绍多媒体信息编码技术。在国际标准化组织i s o 、国际电子委员会 i e c 、国际电信联合会i t u 等国际组织的领导下音视频压缩领域涌现出了很多 国际标准。这些标准从不同的技术层面向应用层，对音视频数据压缩技术进行了 规范的定义。 2 3 1h 2 6 3 数字视频压缩标准简介 h 2 6 3 是i t u 组织为了满足包括码率低于6 4 k b s 的应用而提出的一个低码率 视频压缩编码建议。h 2 6 3 建议始于1 9 9 7 年，在经过多次修订之后，于1 9 9 8 年2 月6r 正式被世界电信标准会议( w t s c ) 承认，之后又经过了多次修订。它是 在h 2 6 i 建议的基础上提出的，时域采用帧间编码方式去冗余，空域采用变换编 码方式去冗余：支持多种图像格式：s u b q c i f 、q c i f 、c f 、4 c i f 、1 6 c i f 或者 用户自定义的格式；支持半象素运动补偿技术：采用变字长编码( v l c ) ；除了基 本模式外，还提供了多种可供选择的编码模式以适应通信系统或信道的需求， h 2 6 3 有两个版本，而版本二完全兼容版本一，增加了几个可供选择的模式。 2 3 2g 7 2 9 数字音频压缩标准简介 t u tg 7 2 98 k b p sc s a c e l p 语音编码标准由i t u 于1 9 9 6 年制定其目 的是为了诸如个人通信系统、数字卫星系统以及分组语音系统等提供相当于 3 2 k b p sa d p c m ( ( 3 7 2 6 ) 语音质量的8 k b p s 语音编码服务。( 3 7 2 9 采用了旗于c e l p 共轭代数码本激励现行预测算法( c s a c e l p ) 。编码器帧长为t o m s 。同时为了 适应曰盏变化的各种应用需求，i t u 还陆续制定了若干个附件标准对g 7 2 9 进 行了不同的功能扩充。由于g 7 2 9 编解码器具有很高的语音质量和很低的延时， 因此被广泛地应用在数据通信各个领域如i p p h o n e 和h 3 2 3 网上多媒体通信系 统等。 2 4 本章小结 本章主要对流媒体传输系统进行了概述性介绍。对整个系统框图和主要模块 进行了概括，同时对多媒体音视频编码方式h 2 6 3 和g 7 2 9 也进行了简要的说明。 本章是整个流媒体传输系统的基础。 第二誊a r m - l i n u x 战入式技术和襄统均建 一 第三章a r m - - l i n u x 嵌入式技术和系统构建 3 1a r m 硬件系统平台 3 i ia r m a d v a n c e dr i s cm a c h i n e s a r m ( a d v a n c e dr i s cm a c h i n e s ) 【2 “，既可以认为是一个公司的名字，也可 以认为是对一类微处理器的通称，还可以认为是一种技术的名字。 a r m 微处理器目前包括a r m 7 、a r m 9 、a r m l 0 e 、i n t e l 的x s c a l e 和i n t e l 的s t r o n g a r m 等几个系列1 2 7 1 1 ：8 1 以及其它厂商基于a r m 体系结构的处理器， 除r 具有a r m 体系结构的共同特点以外，每一个系列的a r m 微处理器部有各自 的特点和应用领域。a r m 7 、a r m 9 、a r m 9 e 和a r m l 0 为4 个通用处理器系列， 每一个系列提供一套相对独特的性能来满足不同应用领域的需求。 3 1 2a r m 微处理器特点 采用r s c 架构的a r m 微处理器殷具有如f 特点： ( l ) 体积小、低功耗、低成本，高性能； ( 2 ) 支持t h u m b ( 1 6 位) a r m ( 3 2 位) 双指令集，能很好的兼容8 位1 6 位器 件： ( 3 ) 大量使用寄存器，指令执行速度更快： ( 4 ) 大多数数据操作都在寄存器中完成i ( 5 ) 寻址方式灵活简单，执行效率高； ( 6 ) 指令长度固定： 基于上述特点使得a r m 在下列领域都有着广泛应用： ( 1 ) ：【= 业控制领域：作为3 2 的r i s c 架构基于a r m 核的微控制器芯片不但 占据了高端徽控制器市场的大部分市场份额，同对也逐渐向低端微控制嚣 应用领域扩展，a r m 微控制器的低功耗、高性价比向传统的8 位，1 6 位 微控制器提出了挑战。 ( 2 ) 无线通讯领域：目前已有超过8 5 的无线通讯设备采用了a r m 技术a r m 以其商性能和低成本，在凌领域的地位日益巩固。 ( 3 ) 网络应用：随着宽带技术的推广，采用a r m 技术的a d s l 芯片正逐步获 得竞争优势。此外，a r m 在语音及视频处理上行了优化，并获得广泛支持， 也对d s p 的应用领域提出了挑战。 ( 4 ) 消费类电子产品：a r m 技术在目前流行的数字音频播放器、数字机项盒和 华南理i 大学硕 学位论支 一_ _ _ _ _ _ _ - - _ _ _ _ - _ - _ _ _ _ _ - _ _ _ _ _ _ _ _ - _ _ _ - _ - _ - - _ - _ _ - - _ _ _ - - 一 游戏机中得到广泛采用。 ( 5 ) 成像和安全产品：现在流行的数码相机和打印机中绝大部分采用a r m 技 术。手机中的3 2 位s i m 智能卡也采用了a r m 技术。 3 2s t o r e a r m 9 一s 3 c 2 4 1 0 介绍 3 2 1 系统综述 s t o r e a r m 9 一$ 3 c 开发板是斯道公司开发的一块基于a r m 9 2 0 t 内核的a r m 歼发板。它是针对$ 3 c 2 4 1 0 芯片的一款高性能嵌入式开发平台。 s 3 c 2 4 t 0 由a r m 9 2 0 t 内核( t 6 3 2 b i tr i s cc p u ) 构建，独立的1 6 k b 指令 和t 6k b 数据c a c h e ，m m u 虚拟内存管理单元，l c d 控制器，n a n df l a s h ， 3 通道u a r t ，4 通道d m a ，4 逶道具备p w m 功能的定时器，i o 接口， r t c ( 实时时钟) ，i i c 总线接口i i s 数字音频总线接口u s b 主机，u s b 设备， s d m m c 卡控制器，2 通道s p i 和p l l 数字锁相环组成。 圉3 1 $ 3 c 2 4 1 0 开发扳平面图 f i g u r e 3 一ld i a g r a mo f $ 3 c 2 4 1 0d e v e l o p m e n tb o r a d 此歼发扳的功能框图如图3 2 所示： 主要的硬件特性有： $ 3 c 2 4 l o ：a r m 9 2 0 t 内核。最高频率支持2 0 8 m h z i c e 接口：m u t l i c e 接口。 存储部分：2 种规格的f l a s h 可以相互搭配使用 n o rf l s