（计算机应用技术专业论文）网络环境下嵌入式多媒体实现的研究.pdf

摘要 摘要 ! i l l i f i i i i i i i i l l i l i 1 i l y 18 8 9 3 9 4 。 近年来，随着半导体技术的发展和信息技术以及数字化产品的普及，i n t e r n e t 被广 泛地应用：与此同时嵌入式技术也取得突飞猛进的发展，并以其低成本、低功耗、小体 积、高稳定性和可裁剪性等特点在通讯、网络、工控、医疗、电子等领域发挥着越来 越重要的作用；而多媒体做为传递数字、文字、声音、图形和图像等信息的载体，早已 成为人们日常生活中不可或缺的一部分。 本文研究的正是以上三方面的内容：网络、嵌入式和多媒体。在网络环境下，嵌入 式设备上，实现了多媒体的编码采集、网络传输和解码播放，并在此基础上设计实现了 多媒体教学系统和网络广告机系统。 本文分析了现有的基于u d p 的数据传输协议的优缺点，在此基础上，提出一种改 进的双重拥塞控制机制：在发送端添加基于反馈信息的被动拥塞控制算法，在接收端添 加主动拥塞避免算法，有效地提高了传输效率。该机制还包括一种分阶段平滑慢启动算 法，在延时抖动和吞吐量方面都有所改进。为进一步降低丢包率，提出缓冲区管理策略 并讨论设计了大小合适的缓冲区估计值。实验结果表明，改进后的拥塞控制机制有效提 高了数据传输的效率和可靠性。使用缓冲区管理策略后，可靠性还有进一步提高。 本文设计实现了多媒体教学系统和网络广告机系统。其中多媒体教学系统使用了嵌 入式硬件i m x 2 7m d k l 和a r m 9 2 4 1 0 e p ，前者作为教师机，后者作为学生机。该系统 使用改进后的基于u d p 的数据传输协议传输多媒体数据，在功能上实现了教师机的视 频采集、回放、存储和传输四位一体的操作，学生机没有外存储器，直接接收教师机实 时传输的多媒体数据进行解码播放与显示。本系统旨在用嵌入设备替换现有的多媒体教 室中使用的p c ，以降低功耗和成本，提高稳定性。另外本系统在功能上较现有的多媒 体教室也有很大进步：在授课模式下，教师的板书会由教师机进行采集，然后实时传输 至客户机。在视频播放模式下，教师机播放连接在嵌入式设备上的优盘中的媒体文件的 同时，会将视频图像和音频数据广播发送至所有客户机，由于使用了实时传输协议，客 户机与教师机之间、客户机之间都实现了同步。 网络广告机系统使用了嵌入式硬件t c c 8 9 0 0 ，t c c 8 9 0 0 是韩国的t e l e c h i p s 公司研 制的视频高清解决方案，视频解码最高支持1 9 8 0 1 0 8 0 分辨率，系统使用c s 模式，客 户机使用f t p 从服务器下载媒体文件，使用h t t p 下载列表文件，在功能上，客户机实 现了网络配置、时间校正、f t p 的断线重连和断点续传、音视频文件的播放、图片的显 示与切换、字幕的滚动、存储系统根据使用百分比进行维护、自动下载应用程序新版本 进行更新等功能，服务器使用节目单控制客户机在什么时候播放什么内容，从而解决了 现有的广告机系统更换播放内容困难以及各客户机之间播放不同步等问题。 关键词：嵌入式系统，多媒体，网络，传输，教学系统，广告机 a b s t r a c t a b s t r a c t i nr e c e n ty e a r s ，谢t l lt h ed e v e l o p m e n to fs e m i c o n d u c t o rt e c h n o l o g ya n di n f o r m a t i o n t e c h n o l o g ya n dt h ep o p u l a r i t yo fd i g i t a lp r o d u c t s ，i n t e m e ti sw i d e l ya p p l i e d ；a tt h es a m et i m e ， e m b e d d e dt e c h n o l o g yh a sm a d ear a p i dd e v e l o p m e n t b e c a u s ei t sl o wc o s t , l o wp o w e r c o n s u m p t i o n ，s m a l ls i z e ，h i g hs t a b i l i t ya n do t h e ra d v a n t a g e s ，e m b e d d e dp l a yam o r ea n dm o r e i m p o r t a n tr o l ei nt h ec o m m u n i c a t i o n s ，n e t w o r k i n g ，i n d u s t r i a lc o n t r o l ，m e d i c a l ，e l e c t r o n i c sa n d o t h e ra r e a s ；a st h ei n f o r m a t i o nc a r r i e ro fd i g i t a l ，t e x t , s o u n d ，g r a p h i c sa n di m a g e s ，m u l t i m e d i a h a sa l r e a d yb e c o m ea ni n d i s p e n s a b l ep a r to f d a i l yl i f e t h i sp a p e rs t u d i e st h ea b o v et h r e ea s p e c t s ：e m b e d d e d ，m u l t i m e d i aa n dn e t w o r k i nt h e e n dw ec a nc o l l e c t , e n c o d e ，t r a n s m i t , d e c o d ea n dp l a ym u l t i m e d i au n d e rt h en e t w o r k e n v i r o n m e n t , o nt h ee m b e d d e dd e v i c e s p r o b l e m sa r ea l w a y se x i s t i n gw h e nu s i n gu d pt oi m p l e m e n ti m a g et r a n s m i s s i o ni nt h e i n t e r a c t n l ea d v a n t a g e sa n dd i s a d v a n t a g e so ft h ee x i s t i n gu d p _ b a s c dd a t at r a n s f e rp r o t o c o l s a r ea n a l y s e di nt h i sp a p e r o nt h e b a s i so ft h i s ，a ni m p r o v e dd u a lc o n g e s t i o nc o n t r o l m e c h a n i s mi sp r o p o s e d i ta d d sa p a s s i v ec o n g e s t i o nc o n t r o lm a n n e rb a s e do nt h ef e e d b a c ko n t h es e n d e ra n da na c t i v ec o n g e s t i o na v o i dm a n n e ro nt h er e c e i v e r a f t e rt h a tt h en e t w o r k p e r f o r m a n c ei sg r e a t l yi m p r o v e d i no r d e rt or e d u c ep a c k e tl o s sr a t ef u r t h e r , a ne s t i m a t i o no f t h eb u f f e rs i z ea sw e l la st h em e t h o dt o p r o c e s st h eb u f f e ri sg i v e ni nt h i sp a p e r t h e e x p e r i m e n tr e s u l t ss h o wt h a tr e l i a b i l i t ya n de f f i c i e n c yh a v eb e e ni m p r o v e dal o tw h i l eu s i n g t h ei m p r o v e dc o n g e s t i o nc o n t r o lm e c h a n i s m t h er e l i a b i l i t yi m p r o v e db e t t e rb ya d d i n gt h e m e t h o do fp r o c e s s i n gt h eb u f f e r t h em u l t i m e d i at e a c h i n gs y s t e mi s d e s i g n e di nt h i sp a p e r , w h i c hu s e se m b e d d e d h a r d w a r ei m x 2 7m d k la n da r m 9 - 2 4 1 0 e p ，t h ef o r m e ra sat e a c h e rm a c h i n e ，t h el a t t e ra sa s t u d e n tm a c h i n e t h es y s t e mu s e st h ei m p r o v e dd a t at r a n s f c rp r o t o c o lb a s e do nu d pt o t r a n s m i tm u l t i m e d i ad a t a t h et e a c h e rm a c h i n ec a nc a p t u r ev i d e od a t a , p l a y b a c k ，s t o r a g ea n d t r a n s m i ta tt h es a m et i m e t h es t u d e n tm a c h i n e sh a v en os t o r a g ed r i v e ，t 1 1 e yr e c e i v et h e r e a l - t i m em u l t i m e d i ad a t at r a n s m i t t i n gb yt e a c h e rm a c h i n e ，t h e nd e c o d ea n dd i s p l a yi td i r e c t l y 刃i es y s t e mr e p l a c e sp cm a c h i n ew h i c hw i d e l yu s e di nt h ee x i s t i n gm u l t i m e d i ac l a s s r o o m s 谢me m b e d d e dm a c h i n e ，s oi tc a nr e d u c ep o w e rc o n s u m p t i o na n dc o s t , i tc a na l s oi m p r o v e t h es t a b i l i t y o n l i n em u l t i m e d i aa d v e r t i s i n gm a c h i n e s y s t e m u s et c c 8 9 0 0a si t se m b e d d e d h a r d w a r e t h es y s t e mu s e st h ec sm o d e ，c l i e n t sd o w n l o a dm u l t i m e d i af i l e sv i af t pa n d d o w n l o a dl i s tf i l e sv i ah t t pf r o mt h es e r v e r t h es e r v e ru s e sp l a y l i s tt oc o n t r o lc l i e n t sw h e n a n dw h a tt op l a y s ot h es y s t e mr e s o l v e st h ep r o b l e m so ft h ee x i s t i n ga d v e r t i s i n gs y s t e ms u c h a sr e p l a c ep l a yc o n t e n td i f f i c u l t l ya n dp l a yi sn o ts y n c h r o n i z e db e t w e e nt h ec l i e n t s k e y w o r d s ：e m b e d d e ds y s t e m ，m u l t i m e d i a , i n t e m e t , t r a n s m i t , t e a c h i n gs y s t e m ，a d v e r t i s i n g m a c h i n e h 目录 目录 摘要。i a b s t r a c t ：i i 第一章绪论1 1 1 课题研究的主要内容1 1 2 国内外研究现状2 1 2 1 嵌入式系统研究现状2 1 2 2 网络协议研究现状5 1 2 3 多媒体研究现状6 1 2 4l i n u x 研究现状7 1 3 论文各部分主要内容一8 第二章基于u d p 的视频图像传输的研究与实现。1 0 2 1 基于u d p 的数据传输协议的现状1 0 2 1 1u d t 协议一1 1 2 1 2r u d p 协议12 2 1 3r t p r t c p 协议一13 2 2 基于u d p 的数据传输协议的改进1 3 2 2 1 拥塞控制策略的改进1 4 2 2 2 可靠性控制机制的改进17 2 2 3 分组数据与包头结构1 8 2 3 实验结果与分析2 0 2 3 1 各算法传输效率比较实验2 1 2 3 2 缓冲区管理策略的重要性实验2 1 2 3 3c p u 占有率比较实验2 2 2 4 本章小节2 3 第三章多媒体教学系统的研究与设计2 4 3 1 教师机的设计2 4 3 1 1 授课模式中视频采集的设计2 4 3 1 2 播放模式中音频同步的设计2 6 3 2 学生机的设计2 7 3 2 1m a d 解码库的移植2 8 3 2 2 音频播放模块解析2 8 3 2 3u d a l3 4 1 驱动修改_ 3 0 3 3 系统运行测试31 3 3 1 授课模式测试3 1 3 3 2 播放模式测试3 2 i 目录 3 4 本章小节3 2 第四章网络多媒体广告机的研究与设计3 4 4 1 硬件平台与设计原理3 4 4 2 软件设计3 6 4 2 1 服务器发布端的设计3 6 4 2 2 播放列表内容解析3 7 4 2 3 媒体文件的下载3 9 4 2 4 滚动字幕的实现4 4 4 2 5 上传截图的实现。4 6 4 3 系统运行测试4 9 4 3 1 i p 地址配置5 0 4 3 2 本地时间校正5 1 4 3 3 客户端自动更新5 2 4 4 本章小节5 3 第五章总结与展望5 4 j g 【谢j 5 5 参考文献5 6 附录：作者在攻读硕士学位期间发表的论文5 9 h 第一章绪论 第一章绪论 1 1 课题研究的主要内容 本课题主要目的是在网络环境下研究多媒体在嵌入式设备上的实现，包括网络、嵌 入式、多媒体三个方面，具体有以下研究成果： 基于u d p 的多媒体通信的研究与实现，针对直接使用u d p 传输视频图像时的诸多 问题，分析现有的基于u d p 的数据传输协议u d t 、r u d p 和r t p 的优缺点，在此基础 上，提出一种改进的双重拥塞控制机制：在发送端添加基于反馈信息的被动拥塞控制算 法，在接收端添加主动拥塞避免算法，有效地提高了传输效率。为进一步降低丢包率， 提出缓冲区管理策略。实验结果表明，改进后的拥塞控制机制有效提高了数据传输的效 率和可靠性，使用缓冲区管理策略后，可靠性还有进一步提高。目前该论文已被计算 机工程与应用杂志收录。 多媒体教学系统，这是一个实验室研发型项目，据调查市场上还没有类似的系统， 该系统使用了嵌入式硬件i m x 2 7m d k l 和a r m 9 2 4 1 0 e p ，前者作为教师机，后者作为 学生机。该系统使用改进后的基于u d p 的数据传输协议传输多媒体数据，在功能上实 现了教师机的视频采集、回放、存储和传输四位一体的操作，学生机没有外存储器，直 接接收教师机实时传输的多媒体数据进行解码播放与显示。本系统旨在用嵌入设备替换 现有的多媒体教室中使用的p c 机，以降低功耗和成本，提高稳定性。另外本系统在功 能上较现有的多媒体教室也有了很大进步：在授课模式下，教师的板书会由教师机进行 采集，然后实时传输至客户机。在视频播放模式下，教师机播放连接在嵌入式设备上的 优盘中的视频文件的同时，会将视频图像数据以帧为单位广播发送至所有客户机，由于 使用了实时传输协议，所有客户机的视频播放都是同步的，而且当教师把视频文件暂停 时，所有的客户机都会停在相同的地方。本系统的创新在于力求解决教师板书授课时后 排学生看不见的问题，使用该系统每个学生都可以从自己的客户机终端观看授课板书。 另外如果教师要播放一个视频文件，可以做到与所有客户机的完全实时同步，比如老师 想把视频暂停下来讲某个细节，所有客户机都会在相同位置停下。该系统使用在应用层 添加流量控制机制和可靠性控制机制的u d p 协议来传输数据，实现了广播，而且传输 效率比较高。 网络广告机，这是一个公司合作型项目，市场上有广告机，但基本没有网络功能， 存在更新播放内容烦琐、各客户机不能同步播放等缺点。网络广告机由一台服务器( p c 机) 和若干个嵌入式客户机组成，服务器上存放广告媒体文件，提供标准的邱服务， 工作人员根据需要制定播放列表( 相当于定制电视节目单) 。客户机启动后连接f t p 服 务器，校正本地时间，从服务器下载播放列表，并下载播放列表中的媒体文件，下载完 成后按照播放列表中的时间顺序进行播放，包括播放音频、视频、显示图片及滚动字幕。 客户机在每次下载文件之前都要检测s d 卡空间使用率，如果超过一定百分比，就要删 除本地中陈旧的文件，以维护存储系统。客户端每隔一分钟下载一次播放列表，如果列 江南大学硕士学位论文 表内容有更新，就要下载本地没有的媒体文件，从而达到工作人员安排的节目可以及时 正确地播放。本系统的创新在于目前的广告机都是循环播放s d 卡或优盘里的媒体文件， 更新播放内容就必须人工更换安装在客户机上的s d 卡或优盘里的文件，而且客户机之 间播放内容不能实现同步。本系统使用播放列表的形式，各客户机都是按照播放列表中 的时间顺序进行播放，所以可以实现同步，另外更换播放内容只需在服务器端修改播放 列表，而不需要人工操作客户机。目前该项目已经完工交付，进入后期维护阶段。 完成本课题主要的工作量如下： 网络协议的研究：需要深入了解u d p 协议的原理，并借鉴其它协议比如u d t 、 r u d p 、t c p 、r t p 等的拥塞控制和可靠性控制机制，在此基础上针对视频图像传输的 应用，在应用层为u d p 添加合适的流量控制机制和可靠性控制机制。 视频编解码与播放：在视频采集端，需要研究视频采集流程，在采集编码得到一帧 视频图像的位置增加网络传输：在视频播放端，需要研究视频解码播放的流程，本课题 的视频播放使用的是m p l a y e r 的核，需要研究m p l a y e r 源码，从m p l a y e r 中研究从打开 视频文件到获取得一帧视频数据的处理过程，从而找到传输模块应该加载的合适位置。 嵌入式开发模式的研究：无论是多媒体教学系统还是网络广告机，客户机都使用的 是嵌入式系统，开发环境采用l i n u x ，要对嵌入式的开发模式、内核及软件移植、l i n u x 操作系统、l i n u x 环境下的应用程序开发、g d b 调试工具、m a k e f i l e 编写规则以及g e e 编译器等比较熟悉。 l i n u x 程序开发：二个项目都涉及到网络传输，要对网络编程进行研究。如多媒体 教学系统中的视频图像传输，网络广告机中的媒体文件下载。广告机需要在客户端实现 f t p 的断点续传、断线重连等功能，而且是多线程并发执行，要做好线程之间的同步与 通信，此外还要实现列表内容解析、本地时间校准、本地文件索引表的建立与维护、图 片显示和字幕滚动等功能。 1 2 国内外研究现状 目前为止，多媒体在嵌入式设备上的实现都是单一的，要么就是视频播放，要么就 是图片显示，没有看到过在同一屏幕视频和图片以及字幕同时有序显示的案例，本课题 后面设计的广告机就实现了这一功能。另外目前为止国内外市场上使用的广告机都没有 网络功能，更新都是人工更换u 盘或s d 卡的内容，没有加入网络功能，该课题中设计 实现的网络广告机使用伪实时技术，即提前一天下载第二天要播放的内容，从而实现了 媒体文件的网络更新，而且各客户端也实现了同步。 完成本课题需要对嵌入式系统、网络传输协议、多媒体编解码和l i n u x 等方面进行 研究，下面就从这几个方面分别叙说国内外的研究现状。 1 2 1 嵌入式系统研究现状 近几年来嵌入式系统已经成为增长速度最快的行业，并渗入到人们日常生活的每一 个角落，早在2 0 0 5 年，嵌入式系统带来的工业年产值就已经超过了1 万亿美元。新一 代的3 g 网络系统，智能系统及机器人，i n t e m e t 与网络的迅速普及应用，智能控制和电 2 第一章绪论 子书的出现，使嵌入式系统更成为研究与应用的热点1 1 。 根据i e e e 的定义，嵌入式系统是“控制、监视或者辅助机器和设备运行的装置【2 1 ， 除此之外还有个广泛被认同的定义“以应用为中心、以计算机技术为基础、软件硬件可 裁剪、适应应用系统对功能、可靠性、成本、体积、功耗严格要求的专用计算机系统【3 】”。 嵌入式系统的硬件架构如图1 - 1 所示。 图1 - 1 嵌入式系统的硬件架构 f i g 1 - 1h a r d w a r ea r c h i t e c t u r eo fe m b e d d e ds y s t e m s g x a r m 9 2 4 1 0 e p 是我学嵌入式时接触的第一套嵌入式开发设备，它是一款针对高 校嵌入式教学和实验科研的平台，使用s a m s u n g 公司的a r m 9 2 0 t 微处理器和p h i l i p s 公司的u d a l 3 4 1 音频编解码芯片。主频为2 0 0 m h z ，6 4 ms d r a m ，3 5 寸真彩t f t 液 晶屏，分辨率3 2 0 x 2 4 0 ，支持液晶显示器扩展接口，从而方便用户扩展自己的显示设备， 有2 个以太网卡接口，由c s 8 9 0 0 外扩的1 0 m 网卡和由d m 9 0 0 0 外扩的1 0 m 1 0 0 m 自适 应网卡，此外有2 个u s b 接口【4 】，它的实物图如图1 - 2 所示。 图i - 2g x a r m 9 2 4 1 0 e p 实物图 f i g 1 - 2p h y s i c a lm 印o f g x - a r m 9 - 2 4 1 0 e p 之后我接触了e b r l 0 1 ，是为t c l 开发电子书用的；还有l m 3 s 8 0 0 0 ，是为l d s 开 发智能照明系统用的，目前这二个项目都已经交付，并且产品已经推向市场，但由于与 3 江南大学硕士学位论文 本课题研究关系不大，这里不作详细说明。 i m x 2 7m d k l 是我接触的第四块嵌入式开发板，主要是为了多媒体教学系统中的视 频采集、回放、本地存储和异地传输一体化的实现。i m x 2 7m d k l 开发板是上海辰汉 电子按照高端多媒体产品的设计要求，在很小的面积上( 1 3 0 m m 长，7 5 r a m 宽) 实现的 一个高集成度的方案，如图1 3 所示。 调试 调试连接线 键盘 图1 3i m x 2 7m d k l 开发平台 f i g 1 - 3d e v e l o p m e n tp l a t f o r mo fi m x 2 7m d k i i m x 2 7 的主频是4 0 0 m h z ，有丰富的连接能力，例如可使用新增加的便携式u s b o t g 接口，实现与多种外部设备的连接，包括摄像头、显示器、电视、打印机，还可 以使用w i f i ( u s bw i f i 和s dw i f i ) 、蓝牙实现即插即用及无线互连的功能。在多媒 体处理能力方面，i m x 2 7 芯片内部集成了一个增强型低功耗多媒体的h 2 6 4 硬件编解 码模块。设计工程师可以利用h 2 6 4 硬件编解码模块实现m p e g 4 、h 2 6 3 及h 2 6 4 视频 流的高效处理，使产品达到7 2 0 x 4 8 0 的分辨率。i m x 2 7 处理器是目前市面上比较少有 的使用a r m 9 内核达到真正h 2 6 4 全双工编解码功能的处理芯片，并且在处理h 2 6 4 的 同时几乎不占用c p u 的资源从而提高了视频处理的性能，它可以以3 0 帧秒的速度对 s d t v 影像的视频信号进行基于h 2 6 4 或m p e g 4 的编解码处理。目前辰汉电子i m x 2 7 开发板提供对l i n u x2 6 和w i n c e 5 0 平台的支持【5 】。 t c c 8 9 0 0 是本课题网络广告机项目中使用的硬件平台，是韩国的t e l e c h i p s 公司研制 的m p 3 m p 4 高清解决方案。1 9 9 9 年成立的韩国t e l e c h i p s 自c i d 起家后，一路在m p 3 、 m p 4 、d a b 、p n d 上快速发展，并在全球数位电视领域除美标外的各标准上具有丰富 的量产经验、广泛的客户基础，在数字音、视频上具有卓越的性能。t c c 8 9 0 0 采用了 a r m l l 精简指令集处理器，主频可以到达6 0 0 m h z ，主控采用6 5 n m 工艺制造，视频解 码最高支持1 9 8 0 1 0 8 0 分辨率，支持h 2 6 4 、v c 1 、m p 4 等编码 6 1 。在系统软件上， 4 第一章绪论 t c c 8 9 0 0 支持微软的w i nc e 6 0 、开源的l i n u x 及g o o g l e 的a n d r o i d 。t c c 8 9 0 0 还支持 e s a t a 接口、具备专用的视频解码器及3 d 加速单元，2 5 6 md d r 2s d r a m ，2 5 6 m - 4 g 的n a n df l a s h ，它的演示板如图1 4 所示。 图1 - 4t c c 8 9 0 0 演示板框图 f i g 1 4t c c 8 9 0 0d e m ob o a r db l o c kd i a g r a m 从以上可知，嵌入式硬件的性能一直在提高，包括c p u 频率、屏幕能够支持的分 辨率以及f l a s h 、内存的大小等等，正因为如此，嵌入式能够解决越来越多的原来有只有 p c 才能解决的问题。 1 2 2 网络协议研究现状 传输层采用的通信协议主要有传输控制协议( t c p ) 和用户数据报协议( u d p ) 。 t c p ( t r a n s p o r tc o n t r o lp r o t o c 0 1 ) 协议是面向连接的传输协议，通信前必须先建立连 接，它依靠确认和重发机制、流量控制机制保证数据的可靠传输【7 j 。u d p ( u s e rd a t a g r a m p r o t o c 0 1 ) 协议采用了无连接的传输策略，在正式通信前不必与对方先建立连接，直接 向接收方发送数据，是一种不可靠的通信协议【8 】。正是由于u d p 协议不关心网络数据传 输的一系列状态，使得u d p 协议在数据传输过程中节省了大量的网络状态确认和数据确 认的系统资源消耗，大大提高了u d p 协议的传输效率，而且u d p 无需连接管理，可以支 持海量并发连接。 但是，无论是t c p 还是u d p ，都不可能直接用来进行多媒体数据的实时传输，t c p 没有广播功能且传输效率不高；u d p 的传输效率较t c p 有很大提高，支持广播但缺少 必要的拥塞控制策略和可靠性控制机制，若直接使用u d p 传输视频图像数据，会在上 层出现较严重的乱序包、丢包等现象。后来的研究者提出了基于u d p 的数据传输协议， 在原来的t c p i p 模型的传输层和应用层之间添加了一层应用程序级别的协议，用来提 供拥塞控制等为提高数据传输可靠性的控制机制，实际用来传输数据的仍然是传输层的 江南大学硕士学位论文 u d p 。常见的基于u d p 的数据传输协议有以下几种： u d t ( u d p b a s e dd a t at r a n s f e rp r o t o c o l ，基于u d p 的数据传输协议) ，引入了拥塞控 制和数据可靠性控制机制，是一种面向连接的双向的应用层协谢9 1 。每个u d t 实体有 两个部分：发送和接收，发送方根据流量控制和速率控制发送应用程序数据包。接收方 接收数据包和控制包，并根据接收到的数据包发送控制包。u d t 拥塞控制算法是把速 第一章绪论 于许多互联网信息服务领域，例如视频点播、网络演示、远程教育、网络视频广告等。 常见的视频格式有：m p e g ，a v i ，a s f ，f l v ，m o v ，w m v ，3 g p ，r m v b ，m k v 等等，近年来出现了h 2 6 4 格式，它最大的优势是具有很高的数据压缩比率，在同 等图像质量的条件下，h 2 6 4 的压缩比是m p e g 2 的2 倍以上，是m p e g - 4 的1 5 - - 一2 倍。举个例子，原始文件的大小如果为8 8 g b ，采用m p e g - 2 压缩标准压缩后变成 3 5 g b ，压缩比为2 5 ：1 ，而采用h 2 6 4 压缩标准压缩后变为8 7 9 m b ，值得一提的是， h 2 6 4 在具有高压缩比的同时还拥有高质量流畅的图像，正因为如此，经过h 2 6 4 压缩的视频数据，在网络传输过程中所需要的带宽更少，也更加经济，因此，h 2 6 4 被普遍认为是最有影响力的行业标准【l 引。 随着视频格式的变化，视频解码播放的软件也一直处于研发改进状态。m p l a y e r 是 一款开源的多媒体播放器，以g n u 通用公共许可证发布，可在各主流操作系统中使用， 例如l i n u x 和其他u n i x 操作系统，进行合理裁剪和正确移植之后甚至可以在嵌入式终 端设备上使用。m p l a y e r 的开发始于2 0 0 0 年，第一个版本被称为m p g l 2 p l a yv 0 1 ， 之后便有很多的开发者加入进来，现在m p l a y e r 已经不仅可以用于l i n u x ，而且可 以在所有主流的操作系统上运行，包括w i n d o w s 。在m p l a y e r 的官网 h t t p ：w w w m p l a y e r h q h u d e s i g n 7 n e w s h t m l 上可以看到，平均每半个月m p l a y e r 就会有 一次更新，最近一次更新是2 0 1 1 年1 月3 0 日。本课题就是针对m p l a y e r 进行修改、 裁剪与移植，在原来的基础之上添加传输模块，最终在嵌入式设备上实现多媒体的传输 与播放。 1 2 41 i n u x 研究现状 研究嵌入式，不得不提到l i n u x ，因为在进行嵌入式开发前首先要选定操作系统，常 用的嵌入式操作系统有w i n d o w sc e 和l i n u x 二种，比较而言，l i n u x 较w i n d o w sc e 有 太多的优点：第一，l i n u x 是开放源代码的，注释丰富，文档齐全，易干解决各种问题， 不存在黑箱技术，遍布全球的众多l i n u x 爱好者都是l i n u x 开发者的强大技术支持者， 而w i n d o w sc e 是非开放性o s ，很难实现产品的定制；第二，l i n u x 的内核小、效率高， 而w i n d o w sc e 在这方面是笨拙的，占用过多的r a m ，应用程序庞大；第三，l i n u x 在价格上极具竞争力，没有版权费，适合中国国情，w m d o w sc e 的版权费用是厂家不 得不考虑的因素；第四，l i n u x 不仅支持x 8 6 芯片，还是一个跨平台的系统，到目前为 止，它可以支持2 0 - - - 3 0 种c p u ，很多c p u ( 包括家电业的芯片) 厂商都开始做l i n u x 的 平台移植工作，而且移植的速度远远超过j a v a 的开发环境【1 9 1 。如果今天采用l i n u x 环境 开发产品，那么将来更换c p u 时就不会遇到更换平台的困扰。 l i n u x 操作系统的第一个内核版本是0 0 1 ，后来依次为o 0 2 ，0 0 3 ，发展到 现在，内核版本2 6 3 7 0 已经问世，l i n u x 每隔1 2 个月发布一个稳定版本，可见l i n u x 的发展很快。 目前最常用的l i n u x 是r e dh a tl i n u x ，1 9 9 4 年r e dh a tl i n u x1 0 发布，此后又陆续 发布了2 o 和5 0 ，到2 0 0 3 年4 月，r e dh a tl i n u x9 0 发布。统计表明，2 0 0 3 年， r e dh a t 的l i n u x 市场份额为8 6 。2 0 0 4 年4 月3 0 日，r e dh a t 公司正式停止对 7 江南大学硕士学位论文 r e dh a t9 0 版本的支持，原本的桌面版r e dh a tl i n u x 发行包则与来自民间的 f e d o r a 计划合并，成为f e d o r a c o r e 发行版本。f e d o r a 从1 0 开始，现在1 4 0 已经 推向市场。 u b u n t u 也是最常用的l i n u x 之一，它是一个以桌面应用为主的l i n u x 操作系统， u b u n m 每6 个月会发布一个新版本，发布时间分别是每年的4 月份和1 0 月份，它的版 本号也以年月命名，如现在的最新版本肯定是l o 1 0 ，意思是2 0 1 0 年1 0 月份的版本， 此前为1 0 0 4 ，9 1 0 ，9 0 4 等。u b u n t u 的目标在于为一般用户提供一个最新的、同时又 相当稳定的、主要由自由软件构建而成的操作系统。u b u n t u 具有庞大的社区力量，用户 可以方便地从社区获得帮助。 但是在嵌入式设备上，由于磁盘空间和c p u 主频有限，不可能安装运行一个完整 的l i n u x ，通常嵌入式系统软件的开发采用交叉编译调试的方式，如图1 5 所示，开发时 使用宿主机( p c 机) 上的交叉编译、汇编及连接工具形成可执行的二进制代码( 这种 可执行代码并不能在宿主机上执行，只能在目标板上执行) ，然后把可执行文件通过串 口或以太网口下载到目标机( 开发板) 上运行，也可以通过n f s 共享文件的方式使用 宿主机上的文件。在宿主机上可以安装r e dh a t 或者u b u n t u ，在开发板上，只能是通过烧 录l i n u x 内核，建立l i n u x 的根文件系统，然后安装b u s y b o x 来构建嵌入式l i n u x 操作系 统。b u s y b o x 集成压缩了l i n u x 的许多工具和命令，例如c a t 、e c h o 、g r e p 、f i n d 、m o u n t 以及t e l n e t 等，开发者能够使用l i n u x 命令操作嵌入式，主要是因为有b u s y b o x ，它的官 网为h t t p ：w w w b u s y b o x n e t ，平均每半月会发布一个最新版本，目前的最新版本是2 0 1 1 年2 月8 日发布的b u s y b o x l 1 8 - 3 ，可见b u s y b o x 的发展也很快。 交叉编译 图l - 5 宿主机目标板开发模式 f i g 1 - 5h o s t t a r g e td e v e l o p m e n tm o d e l 1 3 论文各部分主要内容 本文的大致结构如下： 第1 章简要介绍了本课题研究的主要内容和完成本课题主要的工作量，从嵌入式系 统、网络传输协议、多媒体编解码和l i n u x 的发展等各方面分析了国内外研究现状，最 后对各章节主要内容进行了说明： 第2 章介绍了基于u d p 的多媒体传输的研究与实现，针对直接使用u d p 传输视频 8 第一章绪论 图像时的诸多问题，分析现有的基于u d p 的数据传输协议u d t 、r u d p 和r t p 的优缺 点，在此基础上，提出一种改进的双重拥塞控制机制，有效地提高了传输效率。为进一 步降低丢包率，提出缓冲区管理策略。实验结果表明，改进后的拥塞控制机制有效提高 了数据传输的效率和可靠性，使用缓冲区管理策略后，可靠性还有进一步提高。基于 u d p 的多媒体传输的研究与实现已经被计算机工程与应用杂志收录。 第3 章介绍了多媒体教学系统，使用i m x 2 7m d k l 作为教师机，a r m 9 - 2 4 1 0 e p 作 为学生机，使用改进后的基于u d p 的数据传输协议传输多媒体数据，有教师授课和视 频播放二种模式可供选择。在功能上实现了教师机的视频采集、回放、存储和传输四位 一体的操作，学生机没有外存储器，直接接收教师机实时传输的多媒体数据进行解码播 放与显示。 第4 章介绍了多媒体网络广告机的设计与实现，采用t c c 8 9 0