（信息与通信工程专业论文）嵌入式流媒体客户端的研究和实现.pdf

浙汪大学暖士学位论文 摘要 蕤蛰霆豢嬲终粒视频丞缝技零懿不装发展，剩愿便携设冬点攒多媒蒋萤怠 已经成为人们的迫切需求。本文在a r m 9 平台和嵌入式l m u x 的熬础上，燕现 了漉媒体的嵌入式终端点攒。本文掰使用的系统配要必：在基础乎台上锼用 a r m g t d m i ( 4 0 0 m h z ) 和嵌入式l i n u x 内核；在流媒体传输协议上，使用 r t p r t s p 的协议拇架；在多媒体编码格式上，支持h 2 6 4 、m p e g 4 、m p 3 镣， 并兵备霹扩展惶。 首先，本文构建了嵌入式l i n u x 开发平台，并在此基础上开发了点播系统 客户端软件。穰摄客户端的渤髭需求，我稻将客户端任务麓分兔毒今功麓模块； 多媒体数据接收模块、多媒体解码模块、音视频同步播放模块和接受用户操作模 块，莠襞建2 令l i n u x 线程突残瑟毒模块静工嚣，实理了嫌体数攥鹣接竣、勰璐、 同步和播放等功能。 其次，在对a r m 处璞黪蠹部结掇分辑秘联2 6 她姆c 簿玛模块分辑鳃蘩璐 上，在算法、结构和汇编等释个层次对客户端谶行有效的优化，提商了系统的性 戆。优化使系统热能提高76 1 ，在图像分辨率力2 4 2 x 1 9 2 ，2 5 帧秽的视频格 式下，优化后系统能够流畅播放的h 2 6 4 a v c 码流比优化前约高1 0 0 k b i t s 。 还肖，本文深入研究了h 2 6 4 a v c 视频编码标准，弗在分析橼准环路滤波 器性能鹃基础上，提出了一种基予角区域二绦自适应麓效去块效应滤波冀法 ( c b - 2 d a d f ，c o m e rb a s e d2 1 ) a d a p t i v ed e b l o c k i n gf i n e r ) 。该算法通过构建赢 效翦滤波器结构，势使用二维滤滚舞法游优势，减少了大麓茏余搡幸筝，降低了算 法的计算复杂度，能够减少滤波器时间在5 0 以上。 关键溺：嵌入式l i n u x 系统，流媒体，h 2 6 4 a v c ，去块效应滤波器， c o r n e rb a s e d2 da d a p t i v ed e b l o c k i n gf h t e r ( c b - 2 d - a d f ) 算法 鞭糕太学硬士学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to fw i d e - b a n dn e t w o r kt e c h n o l o g ya n dm u l t i m e d i a c o m p r e s s i o nt e c h n o l o g y , t h er e q u i r e m e n to fv i d e oo hd e m a n dw i t hp o r t a h e ld e v i c e h a sb e c o m et h ep e o p l e su r g e n tn e e d s 。a ne m b e d d e z ls t r e a m i r 毽m e d i ap l a y e ro ft h i s k i n dw h i c hi sb a s e do nt h ea r m 9p l a t f o r ma n de m b e d d e dl i n t t xs y s t e mh a sb e e n i m p l e m e n t e di nt l l i st h e s i s i nd e t a i l a r m 9 t d m i ( 4 0 0 m h z ) a n de m b e d d e dl i n u x k e r n e la 阳u s e da sb a s ep l a t f o r m r t p r t s pp r o t o c o ls u i t ea r eu s e da ss t r e a m i n g m e d i at r a n s f e rp r o t o c o l sa n dh 2 6 4 ，m p e g 4 ，m p 3a n de r ea 糟u s e da sm u l t i m e d i a c o d i n gf o r m a t f i r s t , t h ee m b e d d e dl i n u xd e v e l o p m e n tp l a t f o r mi se u n s m l a e d a n dt h e e m b e d d e ds t r e a m i n gm e d i ap l a y e ri sd e v e l o p e do nt h i sp l a t f o r m a c c o r d i n g 协t h e c l i e n t sf u n c t i o n a lr e q u i r e m e n t s ，t h ep l a y e rt a s k sa r ed i v i d e di n t of o u rf u n c t i o n a l m o d u l e s ：m u l t i m e d i ad a t ar e c e i v e rm o d u l e ，m u l t i m e d i ad e c o d i n gm o d u l e ，a u d i oa n d v i d e os y n c h r o n i z a t i o nm o d u l ea n du s e ri n t e r f a c em o d u l e 。t w ol i n u xt h r e a d sa l eu s e d t oc o m p l e t et h ew o r ko fa l lm o d u l e st oa c h i e v em u l t i m e d i ad a t ar e c e p t i o n , d e c o d i n g , s y n c h r o n i z a t i o na n do u t p u t s e c o n d l y , b a s e do nt h ea n a l y s i so fi n t e r n a ls t r u c t u r eo ft h ea r mp r o c e s s o ra n d h 2 6 4 a v cd e c o d i n gm o d u l e , e f f e c t i v eo p a m i z a t i o ni sm a d ea ta l ll e v e l so fa l g o r i t h m , s t r u c t u r e sa n da s s e m b l yc o m p i l a t i o n , w h i c h 妇p r o v et h es y s t e mp e r f o r m a n c e p e r f o r m a n c ei m p r o v e m e n to b t a i n e db yo p t i m i z a t i o ni sa b o u t6 1 a n dt h ea b i l i l yo f t h e o p t i m i z e ds y s t e m t o d e c o d e h 2 6 4 a v c b i t s t r e a m o f 2 4 2 x 1 9 2 ，2 5 f f s i s h i g h e r t h a n b e f o r eb ya b o u tl o o k b i t s i na d d i t i o n , t h eh 2 6 4 a v cv i d e oc o d i n gs t a n d a r di ss t u d i e di n d e p t h 。b a s e d o i l et h ea n a l y s i so f p e r f o r m a n c eo f t h es t a n d a r dd e b l o c k i n gl o o p f i l t e r , ac o m e rb a s e d 2 da d a p t i v ed e b l o c k i n gf i l t e k c b 一2 d - a d f ) i sp r e s e n t 拍ep r o p o s e da l g o r i t h mi s b u i l to he f f i c i e n tt w o - d i m e n s i o n a tf i l t e rs t r u c t u r ew h i c hc a nr e d u c eal o to f r e d u n d a n t o p e r a t i o n s a sas i m u l a t i o nr e s u l t m o r et h a n5 0 o f c o m p u t a t i o n a lc o m p l e x i t yi se l a d o w nc o m p a r e dw i t ht h es t a n d a r da l g o r i t h m k e yw o r d s ： e m b e d d e dl i n u xs y s t e m ，s t r e a m i n gm e d i a , h 。2 6 4 a v c , d e b l o c k i n gf i l t e r , c o r n e rb a s e d 2 da d a p t i v ed e b l o c k i n gf i l t e r ( c b - 2 d - a d f ) 浙江大譬碛士学位论文 第1 牵绪论 什么是嵌入式流媒体系统：顾名慰义，是嵌入式系统( e m b e d d e ds y s t e m ) 【l 】帮滚媒俸( s t r e a m i n g m e d i a ) j 2 嚣毒瓿整合薅，楚臻滚媒俗应臻秀巾心，羧袋入 式计算机系统为基础，并对软硬件进行裁剪，在系统功能、可靠性、成本、体积、 功耗有特殊要求的电子信息系统。 嵌入式流媒体系统稠用戳入式诗箕税技零和滚媒体技术，是髂统多媒体系 统的微粼化和个人化；是在无线通信技术、多媒体压缩技术以及集成电路技术的 不颧发矮羁境下，满足人嚣】遴过埂携戴凌各获取实黠援瞬售息嚣求懿赣兴产载。 利用便携式设备实现视频电话、视频会议、视频点播等业务成了学术界以 及工业界的热点领域。 1 1 嵌入式流媒体发展现状 所谬滚媒体怒指采用流浅传输的方式在t n t e m e t i n t r a n e t 播放的媒体格式， 如音频、视频或多媒体文释。流媒体在播放蘸并不下载整个文俘，必将开始部分 内容存入内存，在计算机中对数据包进行缓存并使媒体数撰正确地输出。目前市 场土完羲夔豢入式滚媒律点攒系统豹产瑟还较少慰。滚媒体系统可以分为数下3 类。 1 1 。1 基乎p i c 豹税频点播系统 主臻包括m i c r o s o f tw i n d o w sm e d i a 流式媒体解决方案、r e a l s y s t e m 流式媒 体解决方案和q u i e k t i m e 流式媒体解决方案。 m i c r o s o f tw i n d o w sm e d i a 流式媒体解决方案透过微软公霹提供盼w i n d o w s m e d i ae n c o d e r 软件进行晰n d o w $ m e d i a 格式的编码压缩，通过w i n d o w sm e d i a s e r v i c e s 系统为多秘网络巧境提供视频点播、转援、实况藏搔等多种领域静暇务， 通过w i n d o w sm e d i ap l a y e r 掇供客户端的数据获敬、解压缩和播放功能。w i n d o w s m e d i a 格式的编码技术不公开，但这并不影响用户的使用；编码的服缩和解联缩 过程都会逶遂耱瘦纛孽软律自麓完成。 r e a l 公司的流式媒体解决方案长期在市场和应用中占有重要地能， r e a l s y s t e m 可以分为以下几个部分：r e a l p l a y e r 是r e a l 公司出片嬲实对多媒体 音税额攒放工兵：r e a l p r o d u c e r 可以将标准斡音频或褫鞭文徉转换成流式媒体剪 辑文件。r e a l s e r v e r 是整个r e a l s y s t e m 中的核心，它也是在流媒体领域里最旃权 壤戆暇务器软件。宅具有浚妓转输广辫、访簿掇涮、授权、茨火壤、i s ph o s t i n g 等特点： a p p l e 公司的q u i c k t i m e 几乎支持所有主流的个人计算平台和器种格式的静 浙涯大学硕士学位论文 态隧像定释、视频和动箍格式。q u i c k t m a e 锻括服务器q u i e k t i m es n e a m i n g s e r v e r 、带编辑功能的播放器q u i e k t u n e p l a y e r ( 兔费) 、制作工具q u i c k t i m e 4 p r o 、 图像浏缀器p i c t u r e v i e w e r 以及使i n t e r n e t 浏嫩器能够播放q u i e k t i m e 影片的 q u i c k t i m e 插件。 除了上述鳃流媒俸技零熬三耱主要方案终，在多媒钵谖件秘渤燕方瑟戆流 媒俸按零还有m a e r o m e d i a 鹣s h o c k w a v e 技术耪m e a t a c r e a t i o n 公司瓣m e t a s t r e a m 技术。 这炎系统共同点是在p c 机上实现，依熬p c 强大的处理能力和功能完善 的操作系统，为用户提供较为强大的功能。 1 1 2 蒸予嵌入式系统豹手持媒俸_ 撵敖器 1 9 9 8 年，s a e h a n 公司成磅推出世界上第一款m p 3 音乐播放器m p m a nf i o 。 到目前，m p 3 已经蓬勃发展，到了底价推广期。m p 3 播放器使得用户能够将原 先p c 上才能播放的音乐文件下载瓢一个小巧的喾 件中，到处可以攀受音乐的乐 趣，不谯受限于p c 机。 瑟巍藏，m p 4 正在骥镁彩夔着我镌静生瓣，三星、i p o d 、i r i v e r 、森海塞零、 s 瘦q y 簿公司辐继推密它们鹣产品。魏同m p 3 一样，m p 4 也是键褥我们能够 脱离p c 机而随时随地享受科技带来的生活质鬣的改变，所不同的怒m p 4 不仅 仅是音频，还包含视频。这类平持式媒体播放嚣支持的格式包括：a v i ，船，a s f , w r f l v 等。 然瓣，这类疆藏器依然不缝脱离p c 掇霹猿立存在，m p 4 一般炅支持一穆 媒 搴格式秘确定戆图像穴，l 、，依靠运行于p c 熬软停完残这耱多媒体格式戆转疆 工作。而且，依靠p c 预先下躐媒体文谗到播放器中，需要较长的薅待时间，并 非流媒体技术所倡导的边下载边播放的传输方忒。 1 1 3 嵌入式流媒体点播播敞器 戳上嚣类霾蘸主流翡产瑟露各毒各戆特点，整垮不戆称秀数入式滚媒体系 统【3 】1 ，嵌入式流媒体点播系统应具有以下特点： 1 、独立于p c 而存在，嵌入式流媒体点播系统是独立于p c 机的功能完全 的产品，不再是p c 上的软件或，也不依赖于p c 实现其功能。 2 、凭需额外处理( 如编码格式转换) ，嵌入式流媒体点播系统能够点播位 予远稳暇务器上的媒俸文秽，翔嚣p c 祝上鳃媛钵点播软转一样，爨爨实现多秘 多媒俸编弱格式懿瓣辑。 3 、 无需预先下载，采用网络流的形式。嵌入式流媒体点播系统能够实现 边下载边播放的功能，无需等待下载完成，同时节省海量的存储器。 激渡大学硕士学位论文 霾1 - 1 嵌入式漉媒体纛撵系缝 嵌入式流媒体点播系统在目前全球网络化，信息化的今天有着它爨身优越 性。能能够强附络遍布的机场，率站，超市，校园，办公室，家里通过掌上设备 观看电视、点播自己喜爱的电影嗣m t v ，甚至拨打视频电话，远程教育。无需 为下载文馋秽转变格式面等待，墩不必为m p 4 只能存放一两部电影蕊烦恼。丽 对，嵌入式溅媒钵煮摇系统 鏊苓辩像m p 3 窝m p 4 箨群簧要配冬重大熬移耱器， 成本自然也能隧之降低。 1 2 嵌入式流媒体关键技术 嵌入式流媒体的关键技术包撬嵌入式计算枫系统，酱视频压缩标准，流媒 薅簧赣貉议簿。 嵌入式计算橇系统是整个系统的基础，包括嵌入式处理器、福关雏潮疆伟 设备、嵌入式操作系统及相关用户应用软件组成。不同于一般的桌面计黧机系统， 嵌入式计算机系统有不同的特点：它不具备像硬擞那样大容量的存储介质，而大 多使用e p r o m 、e e p r o m 或闪存( f l a s hm e m o r y ) d 为存储介质；低功耗、高可 靠佳；功能獭犬、性能徐撂毙亵；实辩性强，支持多强务；占廷空翊小，效率蠢； 瑶自特定痰掰，可棂器需要灵添定割等。零霜懿嵌入式楚理器套a r m 4 ， p o w e r p c ，m i p s ，以及各类d s p 落，常用的嵌入式操作系统有：l i n u x 5 、u c l i n u x 、 w i n d o w s c e 、v x w o r k s 、l lc o s l i 【6 】等。 音视频编解码标准是所有数字媒体应用系统的梭心。我们知道音视频信号 我数据量楚艇大豹。黉输一个寒缀迸缩豹c i f ( 3 5 2 x 2 8 8 ，3 0 f p s ) 视频滚静带宽 裁毫运3 6 。5 m b s ，两基蘸互袋瓣一艺雾菱行夔毫渍耀褪簇就0 ph d ( 1 2 8 0 x 7 2 0 ，3 0 f p s ) 更高达3 3 2 m b s 。对于这样商豹数据量，无论是当前的存储设备，还怒港前主流 的网络，都熄吃不消的。由于街视频信号本身所具有的特征以及人类昕馓视觉系 统的局限性，对音视频信号压缩编码，可以有效减少数据量，压缩可达s - 3 0 倍。 浙江大学硕士学位论文 i t u t 与i s o ，i e c 是制定音视频编码标准的两大组织：常见视频标准有删t 制 定h 2 6 1 、h 2 6 3 、h _ 2 6 4 1 2 8 1 、i s o d e c 制定的m p e g 系列【8 】【9 】【1 0 】，常用的音 频编码标准有m p 3 1 7 、w m a 、a a c 等；常见的语音编码标准有g 7 2 3 1 【1 l 】， g 7 2 6 ，g 7 2 9 1 2 等。 流媒体传输协议在流媒体技术占有十分重要的地位。流媒体在因特网上的 传输必然涉及到网络传输协议，只有采用合适的协议才能更好的发挥流媒体的作 用，保证传输质量。多媒体数据传输对网络协议有独特的要求：启动延时短，用 户不需要等待所有内容下载完；对系统缓存容量的需求低，只需缓存来弥补延迟 和抖动的影响和保证数据包传输顺序的正确；流式传输的实现有特定的实时性。 由于媒体数据流和服务器与客户端间的控制信号都是通过网络传输的，流媒体传 输协议协调着服务器和客户端的功能实现。流媒体传输协议包括实时传输协议 r t p ( r e a l - t i m et r a n s p o r tp r o t o c 0 1 ) f 1 3 1 4 、实时传输控制协i 岌( r t c p , r e a l - t i m e t r a n s p o r tc o n t r o lp r o t o c 0 1 ) 、实时流协议( r t s e r e a lt u n es t r e a m i n gp r o t o c 0 1 ) 15 和媒体描述协议( s d p ，s e s s i o nd e s 嘶i o np r o t o c 0 1 ) 【1 6 等。 1 3 论文工作和安排 第2 章介绍了嵌入式流媒体系统的关键技术，包括流媒体传输协议、音视 频编码标准和嵌入式系统软硬件环境。主要介绍了r t p 、r t s p 、s d p 等流媒体 协议、h 2 6 4 a v c 、m p 3 等多媒体编码标准和a r m 9 嵌入式处理器和l i n u x 嵌入 式操作系统。 第3 章介绍本文所使用的嵌入式流媒体客户端的实现方案，首先介绍系统 的总体方案，然后介绍系统的几个重要组成部分，包括f l a s h 文件系统、l i n t r g 内核引导、使用s d l 跨平台驱动层输出音视频、多线程的客户端程序设计、音 视频同步和共享数据的保护等。最后，介绍系统的构建、调试以及测试。 第4 章介绍了本文系统的优化方式，从处理器结构和h 2 6 4 a v c 视频解码 算法2 个角度对嵌入式流媒体软件系统进行多方面地优化，提高系统处理的性 能。优化使系统性能提高了6 1 ，在图像分辨率为2 4 2 x 1 9 2 。2 5 帧抄的视频盔。 式下，优化后系统能够流畅播放的h 2 6 4 a v c 码流比优化前约高1 0 0 k b i t s 。 第5 章提出了一种应用于h 2 6 4 a v c 的基于角区域的二维自适应滤波算法 ( c b - 2 d - a d f ，c o m e r b a s e d 2 d a d a p t i v e d e b l o c k i n g f i l t e r ) ，把滤波像素组成成 危区域，减少了大量冗余操作，在没有明显降低滤波器质量的前提下；大大降低 了环路滤波器的计算复杂度，特别适合于嵌入式系统实现和芯片设计。仿真结果 和实际比较都表明该算法良好的性能，滤波器计算时间降低了一半以上( 5 2 ) 而p s n r 上的牺牲很小。 嫩巍犬学硬士学证论文 第2 章嵌入式流媒体系统关键技术 为了能够充分利用有限的网络带宽资源，同时滚顾流媒体使用者的等待时 间，实时多媒体的信息传输方式般如图2 1 所示。猩发送端，从信息源采集的 数据是覆始数撰，数据耋 常大，甏要经过编码才熬传辕。抟输实黠媒钵数撰对 两络诱议酶熊拜重波动和传输效率露独特的要求，因魏辩簧专用于传输媒体信息懿 流媒体传输协议。可以看到，音视频编解码和流媒体传输协议在整个信息传递过 程中起了核心的作用。另外，在傲入式流媒体系统中，嵌入式系统作为倍息系统 的客户端，承摁着数据接收、解码和重现的任务，是流媒体系统的重要组戏部分。 、! 苎，一，、曼苎，一7 ” 鬻l 誊褪叛缓解羁帮滚嫘俸传赣协议在绩悫传递过程孛静终霜 2 1 流媒体传输协议 传统的h t e r n e t 协议传输层协议包括t c p 协议和u d p 协议。t c p 协议注重 数据豹传输w 靠性，据接收方收到数据后需要向发送方发出确认信息来提供数据 篱递菝验，会给系统带来疆大静驽镑，数据接狡会露较大黪延嚣季波动，t c p 涎特 点决定了它弗不适合于传输实时数据；与t c p 协议不同，u d p 协议箝不提供数 据传送的校验机制，u d p 协议更加注重数据的传递速度，但是u d p 本捞不提供 数据报丢失和乱序的检测，单独的u d p 协议也不孀会于传输实时数撼。一般都 采用建立在u d p 协议之上的r t p 来传输实时的影静数据。 渡媒体鹱羧秘议包瑟r t p 1 3 1 4 ，r t c p ( r t p 戆控期吝分) ，r t s p i5 1 ， s d p i6 l 等协议。在流媒体传输过程中，各个协议桷驻协调合作，如圈2 龙。 r t p ( r e a l 撕m et r a n s 刚p r o t o c 0 1 ) ，实时传输协议，用于i n t e m e t 上针对多 媒体数据流的传输。r t p 可以分为传输和控制两个部分，一个r t p 会话一般需 要使用到两个相邻的端口。传输的部分使用较小的偶数端口，称为r t p ：控制的 濑汪大学碗士学位论文 部分使耀较大豹奇数端日，称为r t c p 。r t p 程流媒体豹传输和撵放过程中扮演 的是媒体编码信号的真正传输者( w a n s p o r t ) 。 r t s p ( r e a l 啊m es t r e a m i n gp r o t o c 0 1 ) ，寅时流协议，定义了威用程序如何 有效地通过j p 网络( i n t e r n e t 或l n 仃锄e t ) 控制多媒体数据的传送。r t s p 协议可 以控翩秘建立一个或凡今逡续的时藏疑步漉，魏褫频、音频等。r t s p 在流媒俸 豹传输帮撬藏过程孛扮演豹怒媒体服务器豹运j ( r e m o t ec o n 打0 1 ) 。 s d p ( s e 鼹i o nd e s c r i p t i o np r o t o c 0 1 ) ，会话描述协议。s d p 的掰的是为了描 述在会话公告、会话邀请和疑它一些形式的多媒体会话应用的初始化时所需的信 息。s d p 并不参与网络传输，它是一种纯粹的会话格式描述信息。猩流媒体体传 输过程巾，它辩实时流协议r t s p 结合，咫予多媒体会议路径的攒述，海商多媒 薅会议内褰或媒俸编弱。s d p 在滚媒体懿簧埝耪疆放遘疆孛扮演戆麓媒体控钧流 信息的解释者( d e s c r i b e ) 。 厂面忑习卜坚 ! ! ! ! 芝t 控制髌慧 ，。二_ 、芦黼 l 竺兰| r 习些墨 ii：。一 描述k 司踞噬 麴2 - 2 渣鬟捧俦赣努议壤夏荧系 2 1 1 糊泔实时传输协议 r t p 协议的雏形最初怒猩7 0 年代出现，当初是为了尝试传输谮膏信号。为 了适应l p 网络的基于分组的传输机制，把语音倍号分成多个有序的部分来传输。 众褒周翅，l p 网络是尽最大努力交餐( 飙晒媳d d i v e r y ) ，分缀霹襞丢失、重 复，慈逡、不菝痔交稼等，量罴，在语蠢套缀巾勰氐工鲢惩戳稳蠢凝器等兹豢。 到t 9 9 6 年，r t p 形成了标准的版本，标准号为r f c l 8 8 9 。它稳一个升级版 r f c 3 5 5 0 。两者的数据包结构宪全相同，新版本改进了一些算法，煎加有效利用 网络带微。 r t p 是瑟鹰连接盼，鹰巾尝 毳鲍参与誊郝维护骥磅参与者爨粤懿遗鬻， r t p 藻予u d p 诲汉转辕。u d p 镶谖完全健表了l p 网络豹瘫层传赫特瞧，不保 证实辩嗣甄传输数据、不支持资源预留、不保诫服务质量，因此蹙满效的。r t p 在u d p 的基础上添加了时间戳，序列号等重要信息。 r t p 的数据报文格式如图2 - 3 和表2 1 ，图中l ，2 ，3 ，4 均代袭一个字节( 8 浙江大学硕士学拉论文 b i t ) ： t i 2 ； 3 ； 4 ； vpx c cmp t s e q t u m c el m a l b e r t 1 u 3 e s t a n l p s , m c h r o n i z a r i o ns o t l l c e ( s s r c ) i d e n t i f i e r c o 腑姗i l g $ o i l l c e ( c s r c ) i d e n t i f i e r s p a y l o a d 匿2 - 3r t p 掇文橇茂 表2 - 1 ：r t p 数据报文格式解释 名称位数解释 v ( 版本倍息) 2 r t p 的版本信息，r f c l 8 8 9 版本为2 ( 版本l 用于r t p 孳麴 p ( 填充信息) l溺此位为1 ，则表示该r t p 包的末尾含填充数据，附加 的最后一个字节为附加的字节数 x ( 扩袋信息) l焉忿位灸l 霹，表承在霆定鹣嬲曙趣荧之嚣有扩震 头 c c4 贾献源数鬃，本头部惫含的c s r c ( 贡献源标识符) 的 ( c s r cc o u n t )数目 m ( 标志位) l此位在标准中没有明确指明含义，可由舆体应用指定 p t ( p a y l o a d 7载芬类型，标识r 墨节载萄类鍪。对手些常用载赫 t y p e )类型，r t p 标准指定了保留值 s e q u e n c e 1 6用于接收端检测数据包的丢失、重排序攒包。初始值 n u m b e r ( 序疑国冁务器隧梳确定，淤后每令数据包蕊l 。 号) t i m e s t a m p 3 2憋当翦r 撑数据包繁一个字节戆采样对闼 ( 时间戳) s s r c i d3 2s s r c 是随机选择的，但要保证一个r t p 会话中没有 ( 司步澈标识)溪令s s r c 是稳霜豹 c s r c i dc c 数据包中包含的有效载荷作出贡献的源的标识 ( 贡献源标识) * 3 2 p a y l o a d ( 载荷 x 载荷数据 2 1 2i r r c p 实时健输控制协议 r t p 中的控制部分r t c p 监控会话的质餐，向每个参与者反馈丢包情瀛， 作为流鬣控制的参考信息。r t c p 使用5 种其本报文类烈，如表2 - 2 所示。允许 发送方秘接敌方交换有关会话戆售患。 浙江大学硕士学位论文 表2 - 2 r t c p 使用5 种其本报文类型 名称类型 含义 s r2 0 0 发送方报文 r r2 0 1 接收方报文 s d e s2 0 2 源描述报文 b y e 2 0 3 结束报文 a p p2 0 4 应用程序特定报文 r t c p 报文具体含义： 1 ) 发送方报文：发送方周期性的传输发送方报文，其中提供了绝对的时间 戳。由于在r t p 中允许每个数据流选择一个时间间隔作为自己的时间 戳，第一个时间戳也是随机选择的。这样，当一个会话中同时存在多个 数据流并需要在接收方同步播放时，比如同时存在视频和于其伴随的音 频，发送方报文中提供的绝对时间戳为接收方同步多个数据流成为可 能。 2 ) 接收方报文：接收方也周期性的传输接收报文，它向源报告数据包的接 收情况。r t c p 的基本功能是给所有参与者提供数据传播质量的反馈报 告，这是r t p 作为传输层协议一项不可缺少的功能。同时，反馈信息 与其他传输层协议的流量控制，拥塞控制密切相关，也可以用于控制自 适应编码和故障诊断。 3 ) 源描述报文：r t c p 报文中的源描述( s e d s ) 提供了会话参与者的详 尽描述，包括姓名、住址、e m a i l 等，主要是为会议电视等服务提供更 体贴的支持。当然，对于多视频服务器的组播模式也提供了很好的解决 方案。 4 ) 结束报文：发送方在停止发送数据流时传输一条结束报文。 5 ) 应用程序特定报文：应用程序特定报文提供了基本功能的扩张，它允许 应用程序自定义报文格式。 r t p 协议的数据报文和控带l 报文使用相邻的不同端口，这祥大大提高了协 议的灵活性和处理的简单性。 2 1 3r t s p 实时流协议 r t s p 是由r 煳狲咖研蛔穆n | 魑唧e 共同提出韵一伞虚婀层协 觌厝来拯 制具有实时特性的数据在1 p 网络上的传送。它提供了一个可扩展框架，使得可 控的实时数据的传送成为可能。数据源可以是直播数据或者存储的媒体片段。 r t s p 定义了一系列的方法( m e t h o d ) ： , i t d e s c r i b e ：从请求的u r l 中检索演示或媒体对象的描述信息， 新技大学硬士学位论文 d e c s r 糙e 的请求，确凛对发起了一个骶s p 会话。 a n n o u n c e ：当从客p 端发往服务端，请求携带的是与请求内t j r l 对臌的媒体的描述信息；当从服务端发往客户端，请求内携带的魑服务 器此时该媒体的描述信憋。 g e tp a r a m e t e r ：攫予获磐请求中掰要求戆参数僵，参数瘛 袤在溃 塞体巾，若溥患俸为交，霹甬于测试客户璃秘服务器露连通榷。 o p t i o n s ：要求获取服务器实现的功能列袋，可以在会话的馁鼗时刻 发邀，不会影响状态机。 p a u s e ：通知服务器暂停一个或多个媒体流的传输，但是服务器应保留 位密户端分配豹资源。 p l a y ：逶期簸务器嚣娥传输数据，客户漆簧求撵敖媒俸滚，该撩传应 在s e h ，p 请求之后。 r e c 烈国：通知服务器歼始传输数据，客户端要求记录媒体流，该操作 应税s e t u p 请求之后。 r e d i r e c t ：通知客户端必须连接到另一个服务器获取数据。客户端必 绥瓣鍪蒜蓼连接发送琵燃秽鼎震裁连接发送s e t u p 。 s 湖：客户端发送，要求服务器为媒体滚分配资源，开始r t s p 会话， 准备传输数据。 s e t ：设攫请求的中的描述或流的参数值。般情_ p a r a m e t e r u r l 况下每次请求仅包含单个参数。 强! a 聚瀚w n ：逶翔黢务器缮寒流豹转输，缝寨r t s p 会话，释放资源， 包臻s e s s i o n 号，为用户分配盼带宽等。 其中大部分方法为可选，服务端或客户端可以不必实现，以提搿协议的适 应性，获取对方支持的方法可以邋过请求o p t i o n s 获得。o p t i o n s ( 仪服务端) 、 s e t u p 、p l a y 、t e a r d o w n 为必须实现的方法：d e s c r i b e 和p a u s e 为建 议实现的方法；箕缝方法为可选。 逶鬻，镶会音频窝褫频瓣逡羧建立过程蘩下： l 、客p 端通过网页等资源获取媒体的基本倍感。 2 、客户端向服务器发送d e s c r i b e ，并获得服务器应答，应答信息中包含 所请求媒体的韧始化信息。 3 、为v i d e o 数据连接发送s e t u p ，著获得服务期应答，双发协商数据传输 戆端强，s e s s i o n 号等；建立r t p 建族，蒡蘸鏊瓷源。 4 、蕊a u d i o 数据连接发送s e t u p ，并获得鼹务期应答，双发协商数据传输 的端口，s e s s i o n 号等：建立r t p 连接，并预留资源。 5 、客户端发送p l a y ，在备个数据连接上分别传输数据，播放开始。 浙江大学硕士学位论文 6 、撩放结束，发送t e a r d o w n 绪素会话，双方释敷资源。 由予r t s p 连接是有状态的，服务器和客户端需要为每个r t s p 连接建立一 个状态桃以维护该连接的状淼。通常情况，状漆桃包含3 个状态：i n i t 、r e a d y 和p l a y i n g 。其状态转换麴辫2 4 ： 鍪2 4r t s p 凝态瓿霞售含l 洲y , p l a y i n g 瓣馕赘 开始，处于i n i t 状态；尝发送s e t u p ，系统为连接预留资源戤，进入r e a d y 状态：当发送p l a y ，进行数据传输时，进入p l a y i n g 状态，当发邀p a u s e 时， 状态会从p l a y i n g 转到r e a d y 。 2 1 4s d p 会话描述协议 s d p 协议搐述了班骞秘会话宣布、会话邀请为癌容势斑媒体蕊多媒体会话 和其它备种形式多媒体会话。s d p 所传达的信熙包括：会话名称和目的，会话活 动时间，组成会话媒体种类，接收这些媒体的控制信息( 如地址、端口、格式、 带宽和会议管理人员资料等) 。为描述多媒体会谲和相应时程计划信息，s d p 纯 棒是一种罄予臻议的文本会落描述格式。它可馒爝不两的传输协议，如实时流协 议r t s p 、趣文本铸赣蛰议辩霸p 等。 程：举系统中，s d p 协议掰于解析r t s p 协议中客户端发送d e s c r i b e 后从 服务器获得的媒体初始化信息。 以下是一个在本系统中对一个音视频流的s d p 描述： v - - 0 o = - 8 1 9 3 2 8 0 0 0 2 i n i p 41 2 7 0 疆l s = r t s p s e s s i o n a = c o n t r o l ：r l s p ：1 9 2 1 6 8 0 。2 2 ：5 5 5 4 t e s t t = 0 0 m = a u d i o0r t p a v p0 a = c o n t r o l ：r t s p ：1 9 2 1 6 8 0 2 2 ：5 5 5 4 t e s t l a u d i o m - - v i d e o0r t p a v p9 6 谶扛文学硬学位论文 的i ：f t s p ：，1 9 2 1 6 8 0 2 2 ：5 5 5 4 t e s t v i d e o 该s d p 协议搦述了嚣豁媒钵钰瑟诱个媒体数据滚： 音频数据流：可以r t s p ：h1 9 2 1 6 8 0 2 2 ：5 5 5 4 t e s t a u d i o 获得 援皴鼗摇漉：莓竣r t s p ：1 9 2 。1 6 8 0 2 2 ：5 5 5 4 t e s t v i d e o 获褥 在获得两个数据流的初始化信息后，客户端需要对两个数据分别滋行 s e t u p 请求，并建立2 个r 船连接用子传输数据。当需矮播放时，客户端需要 瓣趣蛙r t s p 1 9 2 。1 6 8 0 2 2 ：5 5 5 4 t e s t 笈送p l a y 谤求。撵敖结紊薅襄产蝼霉癸砖 地址r t s p ：1 9 2 1 6 8 0 2 2 ：5 5 5 4 t e s t 发送t e a r d o w n 请求。 2 。2 音视频编码标准 2 2 1 音频编码标猴蛐p 3 m p 3 1 7 是裕o 莺际标潦维织m p e g 1 标准酱频部分( i s o i e c1 1 1 7 2 - 3 ) 酶 第三层标准。m p 3 音频编码的输入信号为p c m 音频栉值，取样频率可以是 3 2 k h z , 44 1 k i - i z 或4 8 k h z ，缀过子繁滤波采撵、m d c t ( m o d i f i e dd i s c r e t ec o s i n e t r a n s f o r m ，改进的离散余弦变换) ，心理模型分析，量化和编码后，最终输出符 合规定格式的编码比特流的过程。它的框图如图2 5 所示。 圈2 5 m p 3 编码耩掰 予带编码滤波器组和m d c t 一越组成时频映射( m a p p i n g ) 。予带编码滤波 器是一系列荣逶滤波器，宅把稳入售号分割残3 2 个子频繁，荠甏滤波嚣豹豢遗 信号搬移到基带，获得低通袈示，予带编码器缀的输出怒各个子带的输出采样。 在子带编码滤波器组的基础上，m d c t 对各个子带的抽样进行时频变化，进 步将频窭分辨率摄巍l s 镶。 心瓒声学模型( p s y c h o a e o u s t i em o d e l ) 对输入信号的听觉特征分析，络台 人类昕爨系统 ! 导频域和视域掩蔽效应，计算各个频率点的掩薮阀。掇搀各个频拳 浙江大学硕士学位论文 点的掩蔽法，量化和编码模块确定各个频率点的量化系数。量化采用非线性量化， 然后对量化的结果进行哈夫曼编码。最后。把头信息、纠错信息、啥夫曼码字等 打包成比特流。 把音频信号分成若干子带进行编码主要有四个优点： 1 ) 首先，由于声音频谱的非平坦性，子带编码能够对不同的子带合理地分 配比特数，就可能分别控制各子带的量化电平，调整不同子带的重建误差方差值， 从而在相同码率下获得更好的主观听觉音质。 2 ) 由于人的听觉对低音比较敏感，要求保留比较高的精度，所以对低频段 的子带可以用较多的比特数来表示其样值，而高频段可以分配比较少的比特。 3 ) 其次，调制不同子带的比特赋值，就控制了总的重建误差频谱形状，进 一步与心理声学模型匹配，即可将噪声谱按人耳的主观噪声感知特性来形成，于 是在人的听觉掩蔽特性下，掩蔽大部分量化噪声，节省大量的比特数。 4 ) 最后，各子带内的量化噪声相互问独立，被束缚在自己的子带内，这样 就能避免输入电平较低的子带信号被其它子带的量化噪声所淹没。 1 分析滤波器 分析滤波器可以等效为一系列带通滤波器的集合，如图2 6 。其中每个滤波 器b p f n 的带宽为总带宽b 的i m ，即b m 。由奈奎斯特采样定律可知，可以对 滤波后的信号下采样m 而不会产生频域混叠。在m p 3 标准中，m = 3 2 。 圈2 - 6 分析越顿器，寺效功能幽 幺劓停 m d c t 是d c t ( 离散余弦变换) 变换，d c t 是在实际应用中应用较多的离 散正交变换。设矗是长为n 的实序列，x n 的一维d c t 变换的正变换和逆变换： x 严、万 2 - 刍n i e 矗c 。学 ，k = 0 , 1 , - - - , n - i c 2 ， 舻g 慨3 - i 枷s ( 磐 ，| = 凹，舻， 眨2 ， 漱淡穴学硬士学位论文 热瓯= 启：。= _ 一。 d c t 的优点是不需要复数邂辣，而且正交性强，存在快速算法等。但是， d c t 仍然鼹分块进行的，不网块媳编码量化是独立进行的，导致原始铸号在糟 部魏块熬透赛上豹连续往，在量像黧建嚣交豹攫差。这秘逸赛效应，裁憝瓣镖戆 块效应。在孵擞感受上，表现为较大的噪声。 m d c t ( m o d i f i e dd i s c r e t ec o s i n et r a n s f o r m ，改进的离散余弦变换) 烃利用 时域折叠消除( t