（通信与信息系统专业论文）基于internet的多媒体传输系统的研究.pdf

哈尔滨工程大学硕士学位论文 捅斐 随着社会的进步和科技的发展，传统的表达方式和信息传输方式早已不 能满足人们的需求。人们不再满足于单纯的语音信号和文字数据的传输， 而是期盼使用多种表示媒体。通过i p 网进行多媒体传输是当前多媒体研究 的热点。 论文详细介绍了m p e o 一2 压缩标准，对多媒体在l p 网上传输的特性进 行了论述。分析了多媒体传输的延时问题，对减少延时的方法进行了探讨， 建方了数学模型并进行了理论仿真。 沦义阐述j ，整个传输系统的硬件平台设计思想及实现方法，分别对处理 器的外围电路及视、音频压缩编码模块电路进行了分析。针对高实时性的 要求，选用了嵌入式实时操作系统“c o s i i 及t c p i p 协议栈l w i p 。文中 首先详细地分析j ，uc o s i i 在$ 3 c 4 5 i o b 上的移植方法及要点，指出了移 植过程中的注意事项。其次分析了l w i p 在uc o s i i 上的移植及网络驱动 程序编写的方法。最后分析了发送端和接收端的软件设计，对接收端采用 的d i r e c t s h o w 技术进行了介绍。 同时本文对该系统调试过程中出现的问题提出了解决的办法，分析该系 统的不足之处，为其它类似的工作提供了借鉴。 关键词：多媒体：实时操作系统；t c p i p 嵌入式处理器；计算机网络 哈尔滨工程大学硕士学位论文 a b s t r a c t w i t ht h e p r o g r e s so fs o c i e t ya n dt h ed e v e l o p m e n to fs c i e n c ea n d t e c h n o l o g y , t r a d i t i o n a le x p r e s s i o nw a ya n dt r a n s m i s s i o nm e a n so fi n f o r m a t i o nc a r ln o tm e e t p e o p l e sd e m a n d s p e o p l e a r en o l o n g e rs a t i s f i e dw i t h t h e s i m p l es p e e c hs i g n a l a n dt r a n s m i s s i o no f t h ec h a r a c t e r sd a t a ，b u te x p e c tu s em a n y k i n d so f e x p r e s s i o n m e d i a t h a tm u l t i m e d i at r a n s m i s s i o no v e ri pi sf o c u s e di nt h ef i e l do fm u l t i m e d i a r e s e a r c ha tp r e s e n t t h e p a p e ri n t r o d u c e st h es t a n d a r do f m p e g 一2i nd e t a i la n dd i s c u s s e st h e c h a r a c t e r i s t i co f t h em u l t i m e d i at r a n s m i t t e do v e ri p t h e p r o b l e m o f t i m ed e l a y o f m u l t i m e d i at r a n s m i t t e di sa n a l y z e d ，a n dt h em e t h o d o f r e d u c i n g t od e l a yt i m ei s d i s c u s s e dt h o u g hs e t t i n gu pt h em a t h e m a t i c sm o d e la n dt h e o r ye m u l a t i o n t h e p a p e re x p l a i n st h ed e s i g n i n gp h i l o s o p h y , t h ei m p l e m e n t a t i o n m e t h o do f s y s t e m a t i ch a r d w a r ep l a t f o r m ，t h ep e r i p h e r m c i r c u i to f t h e p r o c e s s o r a n dt h e c i r c u i to f a v c o m p r e s s i n g m o d u l e e m b e d d e dr e a l t i m eo p e r a t i o ns y s t e m1 tc o s i ia n dl w l pa r es e l e c t e dt oi n c r e a s et h er e a l t i m ep e r f o r m a n c e t h ep a p e r a n a l y z e st h em e t h o d a n dm a i n p o i n tf o rp o r 【i n guc o s i i o n $ 3 c 4 510 b ，t h e n p o i n to u ts o m e t h i n gr e g a r d i n gd u r i n g t h ep r o g r e s so f p o r t i n g t h em e t h o d o f p o r t i n gl w l p o n1 1c o s i ia n d p r o g r a m i n g n e t w o r kd r i v e ri sa n a l y z e d t h e s o f t w a r ed e s i g no fr e c e i v e ra n dt r a n s i m i t t e ri sa n a l y z e d ，d i r e c t s h o wu s e di n r e c e i v e ri si n t r u d u c e di ne n d a tt h es a n l et i m et h i sp a p e r p u t sf o r w a r dt h em e t h o ds o l v e d t ot h ep r o b l e m a p p e a r i n gd u r i n g t h ec o u r s eo f d e b u g g i n gt h i ss y s t e ma n d a n a l y z e s t h ew e a k p o i n t o ft h i ss y s t e m t h e ni tc a n p r o v i d e r e f e r e n c ef o ro t h e rs i m i l a rw o r k k e y w o r d s ：m u l t i m e d i a , r t o s ，t c p i p , e m b e d d e dp r o c e s s o l c o m p u t e rn e t w o r k 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导 下，由作者本人独立完成的。有关观点、方法、数据和文 献的弓i 用已在文中指出，并与参考文献相对应。除文中已 注明引用的内容外，本论文不包含任何其他个人或集体已 经公开发表的作品成果。对本文的研究做出重要贡献的个 人和集体，均已在文中以明确方式标明。本人完全意识到 本声明的法律结果由本人承担。 作者( 签字) ：妞 日期：锋1 月尹目 哈尔滨工程大学硕士学位论文 1 1 概述 第1 章绪论 随着电子、计算机、声像和网络通信技术的发展，多媒体技术前进一大步， 特别是由于数字化技术在计算机领域广泛而成功的应用，极大地方便多媒体信息 的存储、处理和叫络传输，使多媒体系统广泛应用在视频合议、视频点播、远程 计算机辅助教学、协同c a d 等各个领域。 多媒体( 1 1 1 l i l t j m e d a ) 主要指文字、图形、图像、声音等人的器官能够接受和 理解的多种信息类型，i t u 对它的描述是：是甩计算机交互式综合技术和数宁通 信嗍技术处理多种表示媒体文字、图形、图像、声音，使多种信息建立逻辑 连接，集成为个交互系统。从概念一l 说，多媒体中的“媒体”应该是指一种表 达某种信息内容的形式。多媒体信息这个概念来表示包含文本信息、图形信息、 图像信息和声音信息等不同信息类型的一种综合信息类型。在通信领域内，无论 存信息的采集、存储、处理、传递，还是在信息的显示和控制，广义的多媒体就 是指各种信息类型的综合。通常就把包含两种以上信息类型的信息称为多媒体信 臼、。 随着州络技术和计算机技术的发展，基于t c p i p 协议的i p 网的应用得到广 泛普及。高速宽带主干网的建成和各地区高速接入系统的迅速发展，视频和音频 数宁压缩传输、存储已成为现实，促进了基于i n t e r n e t 的各种视、音频传输系 统的应用。 基于嵌入式系统的网络视、音频传输系统稳定性高。由于把视频压缩和 i n t e r n el 功能集合到个体积很小的设备内，可以直接连到以太网，达到即插 即用的目的，省掉了各种电缆，安装方便，在配置了i p 地址后，系统就可以运 行了。基于嵌入式系统的网络数字视、音频传输系统克服了传统传输系统的局限 性，显示出非常明显的优势。 1 2 多媒体传输方式 基于分组网络的多媒体信息传输通常可以分成两类：一类是f 载回放方式 哈尔滨工程大学硕士学位论文 f 载【勘孜足个异步过程，并把多媒体信息和其它数据统一看待，差别仅在于数 据内容。另类是同步显示的实时传输方式，也就是流媒体传输方式，所谓流媒 体是指视频、声音和数据从源端同时向目的地传输，在目的地连续实时接收这些 媒体数据流。实日、j 传输的多媒体信息都是使用流媒体传输，对时间依赖性很高。 流数据从服务器端应1 = j 传输后可由客户端应用接收并显示或回放，一般是客户端 应尉接收刽足够的数据_ ：j = i q 哿之存储在缓冲区后便立即将视频显示出来，或将音频 川放出来。 流媒体的一个重要特征是对时间的敏感性，这正是实时眭要求高的应用所必 需的。流媒体的实现主要取决于网络带宽和压缩算法的提高。随着网络协议的改 善、刚络基础设施和压缩技术的发展，流媒体的实现已经变得越来越容易。 奉文中主要讨论的多媒体传输系统本质就是一个实时流媒体直播系统。 1 3 基于分组网络的多媒体传输系统特性 多媒体传输对网络的要求可以定性的分成两类：传输误码率和传输延时。而 对_ f 小同的应用中这两个要求的重要性是不同的，比如： 对f 接收端直接把多媒体内容展现给人的系统中，减小传输延时比减小传输 误码率更重要；在接收端是媒体纪录系统的应用却不能容忍过高传输误码率，而 传输延时要求相对较为宽松。 通常传输连续多媒体信息对通信网络的要求主要体现在网络带宽、时延、时 延抖动等。稿：分组交换网络中如传输实时视频、音频等连续媒体对网络提出不同 于传输普通数据的要求： ( 1 ) 多媒体数据的带宽要求较高，通常传输m p e g l 会要求1 5 m b p s ，而具有 较高视觉质量的m p e g 一2 要求6 m b p s 。 ( 2 ) 时延要求，典型地在传输实时m p e g l 压缩视频要求时延不超过5 0 0 m s 。 ( 3 ) 严格的时问有效陆限制，这类信息在某。段时间之后未能成功传输就会失 去价值。 ( 4 ) 能够忍受一定限度的数据丢失，根据不同的编码技术，和人的察觉能力， 町以允许在传输中丢失部分数据而不影响应用。 ( 5 ) 具有一定的周期性，比如在视频中，每秒都会出现固定数量的帧结构，通 过分组网络传输会丢失这种周期性。 在分组交换例络中传输时通常还会造成分组传输顺序被打乱，数据分组丢失 哈尔滨工程大学硕士学位论文 等。存发i r 存分组交换网络中传输连续实时多媒体数据时，必须能对网络传输而 引入的问题采取必要的t ) l c u ，这些机制应该能够改善网络传输质量，使多媒体传 输应用的服务质量达到可以接受的稃度。在普通非实时数据传输中采用较为熟悉 的m 协议，确保数据传输。而在实时多媒体传送中较少采用可靠传输的协议 t c p ，因为，i c p 的重传机制及拥塞控制机制在保证数据的完整性同时却破坏数据 的实时性。 仵分组交换刚络中传输错误儿乎是不可消除的，传输错误分成两类：数据比 特错误和数据分组丢失。而在视频和音频数据流中的错误，根据不同的编码技术 会，“乍小同的影响。通常在m p e g 编码中都采用差分编码和运动估计，不仅采用 帧内编码还采用帧间编码，这样在某帧中的数据错误会造成连续的解码失败。 此要求能够采取一定的错误恢复机制来最大限度的满足实际应用。有三类方法 r u 供选择：自动重传( a r q ) 、前向纠错( f e c ) 和错误隐藏。在实时传输视音频数据 时，由于数据本身的容错特性和刚间紧迫性导致倾向于采用后两类方法。 1 4 研究的背景和目的 全世界范围内的研究人员对网络多媒体传输技术进行大量的研究，开发成功 的网络流式媒体商用系统，并在远程教育、电子商务以及网上媒体点播系统众多 领域中得到成功的应用，最著名如r e a s y s t e m 、w i n d o w sm e d i a 、q u i e k t i m e 等。主要特点如卜： ( 1 ) r e a 】s y s t o m 是由r e a n e n v o r k s 公司发布的，被认为是在窄带网上最优 秀的流式媒体传输系统，其允许的带宽限制从2 8 8 k b p s 的拨号上网到i o m 的局 域刚。r e a ls y s t e m 支持w i n d o w sn t 2 0 0 0 、s o a r i s 、l i n u x 、f r e eb s d 等多 种平台，整个系统共分三部分：媒体制作工具( r e a lp r o d u c e r ) 、服务器端软件 ( r e a ls e r v e r ) 、客户端播放器( r e a lp l a y e r ) 。r e a l m e d i a 包括r e a l a u d i 0 、 r e a lv id e e 和r e a lf 1 a s h 三类文件，采用的是基于小波变换的r e a l 专用算法。 ( 2 ) 微软公司的w lr l d o w sm e d i a 是一套能够在i n t e r n e t 或企业内部网这样的 计算机网络f ：传送数字音频和视频媒体的组件。w i n d o w sm e d i a 的主要工具有： w l n d o w sm e d i a 编码器、w i n d o wm e d i a 服务器、w i n d o w sm e d i a 播放器、w i n d o w s m e d i a 权限管理器、w i n d o w sm e d i a 软件开发工具包。w i n d o w sm e d i a 以a s f 为 核心采用m p i ! g4 压缩编码枝术。 ( ： ) d 【) lo 公州的q u ic k t j m e 。主要组件有：q u i c k t i m es t r e a m i n gs e r v e r 眙尔滇j 程入学硕士学位论文 服务器、qu l c j m eb r o a d c a s t e r 编码器、q u i c k f i m ep l a y e r 播放器。q u i e k l i m e 采用包括h2 6 3 在内的多种编码，主要以s o r e n s o nv i d e o 为主，目前已经采用 m 1 3 e g4 压缩技术。 以卜三种系统采用的编码技术各不相同，但传输技术都采用i i p 、刖c p 等协 议。这些系统结构复杂功能十分强大即能够播放文件媒体，也能够实时直播多媒 体信息，而且都有一+ 套完普的媒体制作、管理和开发工具。但它们共同的缺点是 需要通过软件对视频信号进行压缩处理，把媒体格式转换成适于传输的格式。由 于过多的依赖软件处理，实时性难以保证，而目对每一个采集点都要配有专门的 计算机，成本较高，因此并不十分适用于地理分散的多点信息采集应用。 本文所殴计的多媒体传输系统是采用uc o si i 实时操作系统及嵌入式 7 i _ c p 】p 防议栈l , w ip ，多媒体信息的采集和压缩都使用硬件实现，整个系统针对 地理分散的多点远程视频传输类应用而设计，并符合m p e g2 标准具有画面清晰 度高，编码时延低的特自f ，更适合实时传输应用。发送端软件基于uc o s i i 设 计，实现通过 n l e r n e t 传送多媒体信息，特点是可靠性高，时延小，运行成本 低。接收端使用计算机接收，进行软件解码处理。和通用计算机系统不同，嵌入 式系统针对具体应用设计的号用系统，直接面向产品、面向应用，系统硬件和软 件都商效地设计，是在完成目标功能的基础上最小化的系统，系统运行具有稳定 高效的特点。 本文所设计的实时多媒体信息传输系统是一个基于i n t e r n e t 实时视频和音 频传输系统。主要设计目标是实现把远端多媒体采集系统采集实时的视音频信息 经过压缩编码，并利用嵌入式系统模块实现t c p i p 协议，通过i n t e r n e t 传输， 使接收端系统能从网络中接收实时视音频并重新展示给用户。整个系统如图l ，1 所示。 多媒体采集+ _ 黯缩l - h 鬈禽嚣 图1 1 系统示意图 其中多媒体信息采集系统用摄像机和麦克凤采集实时视频和音频信息，经过 模数( a d ) 转换以后采用m p e g 一2 编码器硬件压缩输出p s 流或t s 流。然后通过一 个基于嵌入式系统设计的以太网接口，把实时的压缩媒体数据流打包形成u d p 数 据包，u d p 报文通过以太i 删实现在i n t e r n e 上的传输。在接收端使用带有网络 适配器的讨一算机接收媒体数据报文，利用软件解开网络数据报文、并对压缩多媒 体数据进行解码显示。 g 哈尔滨工程大学硕士学位论文 1 5 论文的主要内容及安排 本课题主要做了一下t 作： ( 1 ) 对m p e g2 的编、解码原理进行了分析，论述了i n t e r n e t 延迟的问题，建 i 了数学模型并进行了理论仿真。 ( 2 ) 建立了系统的硬件平台，移植了平台所需要的系统软件( uc ( r s i i ) 和网 络协议栈( l w i p ) 。 ( 3 ) 编写了发送端和接收端的软件，并对整个系统进行调试，达到了预期目的。 论文第2 章介绍了m p e g 一2 压缩标准，重点论述了i n t e r n e t 网络延迟问题， 划所建魂拘数学模型进行了仿真与分析。 论文第3 章详细阿述了本系统的硬件平台设计思想及实现方法。分别对处 理器的外围电路及视、音频压缩编码模块电路进行了分析，特别是对处理器与压 缩编码模块的接口电路进行了详尽的分析。 沦文第4 章对所选用的嵌入式实时操作系统uc o s i i 及t c p i p 协议栈 i ，w 进行了分析。首先详细地分析1 ruc o si i 在$ 3 c 4 5 1 0 b 上的移植方法及要 点，给出了移植过程中的注意事项。其次分析了l w i p 在u c o s i i 上的移植方法。 论文第5 章对系统的软件设计进行了分析，包括s s 3 c 4 5 1 0 b 上的程序和计 算机f ：的稃序。 论文第6 章对整个系统的调试方法及出现的问题做了论述，同时对以后的 ： 作提出_ r 有意义的建议。 哈尔滨工程大学硕士学位论文 第2 章系统设计的理论背景 2 1 m p e g 一2 压缩标准 i i p e g 是活动图像专家组( m o v jn gp ic t u r ee x p o r t sg r o u p ) 的缩写，于1 9 8 8 年成藏。到目前为i lm p e g 已颁布三个活动图像及声音编码的正式国际标准，分 别称为m p e g 】、m p e g 一2 和m p e g 一4 。m p e g 一2 标准制定于1 9 9 4 年，设训目标是高 级上业标准的图象质量以及更高的传输率。m p e g 一2 所能提供的传输率在2 1 0 0 m b i t s s e c 间，支持p a l 、n t s c 、s e c a m 等多种制式。 m 1 3 l 粥2 标准具有以下几个突出特点：所支持的图像分辨率高，包括符合 ( ：( ：i r 6 0 l 格式的标准分辨率的数字电视、更高分辨率的h d t v 和c d 级的音质。支 持包括高速体育i 运动在内的活动图像。所支持的应用最为广泛，既包括存储媒体 - p 的d v d ，广播电视中的数字广播电视和h d t v ，还可应用于交互式的点播视频 ( v o d ) 和准点播视频( n v o d ) ，此外，还能够适用于a t m 宽带通信网。 m p e g2 能够提供广播级的视频质量。m p e g2 的音频编码可提供左右中及两个 环绕声道，以及一个加重低音声道，和多达7 个伴音声道。由于m p e g2 在没计 刚的巧妙处理，使得大多数厂商的m p e g 2 解码芯片也能支持m p e g 一1 格式的数 据，即能够解压v c d 格式的压缩视频。m p e g 一2 特别适用于广播级的数字电视的 编码和1 9 送，被认定为s d t v 和h d t v 的编码标准。m p e g 一2 还可用于为广播、有 线电视网、电缆网络以及卫星直播( d i r e c tb r o a d c a s ts a t e l l i t e ) 提供广播级的 数字视频。m p e g 一2 还专门规定多路节目的复用分接方式。m p e g 一2 提供一个较广 的范围改变压缩比，以适应不同画面质量，存储容量和带宽的要求。使得m p e g2 标准的编解码器应用场合十分广泛。 m i ) i i ( ；一2 标准目前分为9 个部分，统称为i s 0 i e c l 3 8 1 8 国际标准。各部分的 内容捕述如l 一 第部分i s o i e c l 3 8 1 8 1 ，s y s t e m ：系统，描述多个视频、音频和数据基 本码流合成传输码流和节目码流的方式。 第二部分i s o i e c l 3 8 1 8 - - 2 ，v i d e o ：视频，描述视频编码方法。 第二部分1 8 0 i e c l 3 8 1 8 3 ，a u d i 0 ：音频，描述与m p e g 一1 音频标准反向兼 容的音频编码方法。 第四部分l s o i e c l 3 8l 8 4 ，c o m p l i a n c e ：符合测试，描述测试个编码码 哈尔滨工程大学硕士学位论文 流是否符合m p e g 。2 码流的方法。 第五部分i s o i e c l 3 8 1 8 - - 5 ，s o f t w a r e ：软件，描述m p e g2 标准的第一、二、 三部分的软件实现方法。 第六部分i s o i e c l 3 8 1 8 6 ，d s m - - c c ：数字存储媒体一命令与控制，描述交 可斌多媒体i 叫络中服务器与用户间的会话信令集。 第七部分规定不与m p e g1 音频反向兼容的多通道音频编码； 第八部1 0 比特视频。 筇九部分规定传送码流的实时接口。 19 9 0 年成立的i 1 1 m 视频编码专家组与m p e g 在i s o i e c l 3 8 1 8 标准的第- - , n 第 i 两个部分进行合作，l 习此二述两个部分也成为i t u t 的标准，分别为： t u t i t e cf 2 2 0 系统和r t u t r e c h 2 6 2 视频。 211 m p e g 一2 系统部分 系统编码有两种方法：传输流( 7 f s ) 和程序流( p s ) ；都是面向分组的多路复用 流。 p e s 分组是由按照l l u t r e c h 2 6 2fi s 0 i e c l 2 8 1 8 2 和i s o i e c l 3 8 1 8 3 标 准对视频和音频信号进行压缩编码后的原始流组合成。 程序流是一个或多个具有相同时间基点的数据流p e s 分组合成的单个流，用 米传送和保存道程序的编码数据或其它数据。针对错误相对较少的环境设计， 如多媒体软件处理。程序流分组长度是可变的且相对较长。 程序流f 扣系统层和压缩层构成。程序流解码器的输入流有个包含压缩层的 系统层。占频、视频解码器的输入流只有个压缩层。 传输流是将有多个独奇：时间基点的多道程序合成一个单独的数据流，其中属 j 二同道程序的各个原始数据流的p e s 分组具有相同的时间基点。传输流针对易 发生错误的环境设计，如高噪声或易损的媒体中存储和传送。传输流分组长度回 定为1 8 8 字节。 传输流支持的操作有： ( 1 ) 从传输流中的一道程序中恢复被编码数据，解码并显示。 ( 2 ) 从传输流中的一道程序抽取分组主成新传输流。 ( 3 ) 从多个传输流中提取一道或多道程序的分组生成新的传输流。 ( 4 ) 从传输流中提取道程序生成程序流。 ( 5 ) 程序流和传输流相互转换以适于传输处理。 哈尔浜工程大学硕士学位论文 传输流由系统层和压缩层构成。传输流解码器的输入流有一个包含压缩层的 系统层，视频和音频解码器的输入流只有压缩层。 传输流的系统层分为两个子层：传输流分组层，p e s 分组层。 分组的原始数据流p e s ，p e s 分组的长度比传输流分组大得多。个原始流 的具有相同流号的连续p e s 分组可以用来构造p e s 流。p e s 流数据保持原始流中 的顺序。p e s 流中小包含系统信息：如组头、系统头、程序流映射、程序流日录、 程序映射表及传输流分组语法的信息。 21 2 m p e g 一2 视频部分 m p ：g2 视频编码标准是一个分等级的系列，按编码图像的分辨率分成4 个 表2 1m p e g2 类等级组合 简单类主类s n r 可分级类空间可分级高类 类 低级( 3 5 2 * 2 8 8 )m p l ls n r l l 主级( 7 2 0 * 5 7 6 )8 p m i 。m p m s n r m l h p m l 高1 4 4 0 级 m p h 1 4 4s s p h 11 4 0h p 哦1 1 1 4 0 ( 1 4 4 0 1 1 5 2 ) 0 高级m p h lh p h i 【1 9 2 0 * 1 1 5 2 ) “级( l e v e s ) ”；按所使用的编码工具的集合分成5 个“类( p r o f i l e s ) ”。如表 2 1 所示，“级”与“类”的若干组合构成m p e g 一2 视频编码标准在某种特定应 用f 的子集。 m p e g 一2 图像压缩的原理是利用图像中的两种特性：空间相关性和时间相关 性。帧图像内的任何一个场景都是由若干像素点构成的，一个像素通常与它周 围的某些像素在亮度和色度l ! 存在空间相关性；节目中的情节常常由若干帧连续 图像组成的图像序列构成，图像序列中前后帧图像间也存在时间相关性。这两种 相关陆使得图像中存在人量的冗余信息。将这些冗余信息去除，只保留少量非相 关信息进行传输，就可以节省传输频带提高效率。利用保黯的非相关信息，按照 定的解码算法，町以在保汪图像质量的前提下恢复原始图像。m p e g2 就是用 d c t 加嫡编码去除图像内的空间相关性称为帧内编码，并利用运动补偿除去图像 序列中的时间相关性称为帧间编码，只保留少量非相关信息。 在帧内编码的情况下，编码图像仅经过d c t ，量化器和比特流编码器即生成 哈尔滨工程大学硕士学位论文 编码比特流，而不经过预测环处理。d c t 直接应用于原始的图像数据。 在帧问编码的情况下，原始图像卣饨与帧存储器中的预测图像进行比较，计 算出运动矢量，由此运动矢量和参考帧组成原始图像的预测图像。而后，将原始 图像与预测像素差值所生成的差分图像数据进行d c t 变换，再经过量化器和比特 流编码器千成输出的编码比特流。帧内编码与帧间编码流程的区别在于是否经过 预测环的处理。 5 1 p i ! g 一2 中编码图像有三类帧：i 帧、p 帧和b 帧。i 帧图像采用帧内编码方式， 即只利用单帧图像内的空间相关性，而没有利用时间相关性。i 帧主要用于接收 机的初始化和信道的获取，以及节目的切换和插入，i 帧图像的压缩倍数相对较 低。i 帧图像是周期性出现在图像序列中的，出现频率可由编码器选择。 i ，帧和r 帧图像采用帧间编码方式，即同时利用空间和时间上的相关性。p 帧图像只采用前向时间预测，可以提高压缩效率和图像质量。p 帧图像中可以包 含帧内编码的部分，即p 帧中的每。个宏块可以是前向预测，也可以是帧内编码。 b 帧图像采用双向时间预测，可以人大提高压缩倍数。值得注意的是，由二_ f - b 帧图像采用未来帧作为参考，因此m p e g2 编码码流中图像帧的传输顺序和显示 顺序是小同的。 m p e g2 的编码码流分为六个层次。从七至下依次为：视频序列层( s e q u e n c e ) ， 图像组层( g o p ：( ；r o u po fp i c t u r e ) ，图像层( p i c ：u r e ) ，像条层( s l i c e ) ，宏块 t 2 - ( m a c r ob 1 0 c k ) 和像块层( b l o c k ) 。除宏块层和像块层外，上面四层中都有相应 的起始码( s c ：s t a r tc o d e ) ，可用于因误码或其它原因收发两端失步时，解码器 熏新捕捉同步。 序列指构成某路节目的图像序列，序列起始码后的序列头中包含图像尺寸， 宽高比，图像速率等信息。 图像组层由相互问有预测和主成关系的一组i 、p 、b 图像构成，但头一帧图 像总是t 帧。g o p 头中包含时间信息。 图像层分为i 、p 、b 三类。p i c 头中包含图像编码的类型和时间参考信息。 像条层包括一定数量的宏块，其顺序与扫描顺序一致。 宏块层。m p e g 一2 中定义三种宏块结构：4 ：2 ：0 宏块4 ：2 ：2 宏块和4 ：4 ： 4 宏块，分月u 代表构成个宏块的亮度像块和色差像块的数量关系。 像块层是m p e g 一2 码流的最底层，是d c t 变换的基本单元。m p m l 中一个像 块由8 x 8 个抽样值构成，同一像块内的抽样值必须全部是y 信号样值，或全部是 c b 信号样值，或全部是c r 信号样值。另外，像块也用于表示8 x 8 个抽样值经d c t 变换后所主成的8 x 8 个d c t 系数。 哈尔滨工程大学硕士学位论文 213 m p e g 一2 音频部分 m p e g 一2 音频标准是建立在m p e g ，l 基础上发展起来的多声道编码系统。在 m p b g 1 中，对音频压缩规定三种模式，即层i 、层i i ( 即m u s i c a i v l ，又称m p 2 ) 、 层i i i ( 义称m p 3 ) 。由f 在制订标准时对许多压缩技术进行认真的考察，并充分考 虑实际应用条件和算法的可实现陛( 复杂度) ，因而三种模式都得到广泛的应用。 v c d 中使用的音频压缩方案就是m p e g 一1 层i ；而m u s i c , a m 由于其适当的复杂程 度和优秀声音质量，在数字演播室、d a b 、d v b 等数字节目的制作、交换、存储、 传送中得到广泛应用；m p 3 是在综合m u s i c a m ( m a s k i n gp a t t e r nu n iv e r a m s u b b u n d i n t e g l a t e d c o d i n g a n d m u l t i p l e x i n g ) 和a s p e c ( a u d i os p e c t r a l p e r c e p t u a e n l ，r o p yc o d in g ) 的优点的基础上提出的混合压缩技术，m p 3 在低码 率条件卜高水准的声音质量，使得广泛用于软解压及网络广播。m p e o 一2 音频标 准的第1 ，i i 层称为m u s i c a m 环绕声。在m p e g 一2 音频第一层中，多声道扩展信 息被分成3 部分，在连续3 帧m p e g - 2 的辅助数据部分中传输。而在第1 i ，i i i 层 中，多声道扩展存帧m p e gl 辅助数据中传输。它们的帧结构如图2 1 和2 2 所 不。 悟m p e ( l m p e g1c r cm p 盼一1 声音 押e g 一2 多声 m p b gla u x 数据道扩展数据 段 图2 1m p e g 2 的声音数据帧结构 m c 帧头 m cc r cm c 组合状态m c 声音数据m l 声音数据 信息 图2 2m p e g - 2 多声道扩展数据帧结构 22in i e r n e t 网络延迟分析 划用户来说，网络延迟是指用户发出请求到远端系统对该请求作出的响应传 吲给用户的这段时间。在基于e p i p 协议的i n t e r n e t 中，对每一一请求都要做如 卜处理；路由器处理、a d u ( 用户数据单元) 在网络上传输以及服务器对请求进行 处理，这些过程都要引起延迟，卜i 面来分析一下这些延迟。 哈尔滨工程大学硕士学位论文 22 1 路由延迟 首先来看卜路由延迟，它包括域名请求延迟、t c p 连接建立延迟、t c p 连接 释放延迟和l p 在各个刚关上的寻径延迟。 ( 1 ) 域名淆求延迟 若用户应用中使用的是对方主机的域名而不是i p 地址，在应用程序通信之 前应解析出对方的i p 地自h ，域名解析过程引起的延迟称作域名请求延迟。应用 程序将域名交给本地解析器软件，该软件首先在本地缓冲区中查找相应域名一地 址联编；如找不到，本地解析器构造成一个询问文件，发往初始域名服务器( 本 地服务器) ，域名服务器根据解析隋况回答一个响应报文。域名服务器的响应与 嘲络负载、服务器的速度和负载有关。本地缓冲区对域名请求的响应延迟是由 c p u 内存、外存速度决定的，该延迟相对来说很小：当需要从根服务器开始查找 域名时，传输延迟则是由w a n 产生的延迟，所以传输延迟较大。 ( 2 ) 1 l c p 连接建市和释放延迟 + 删，连接建立延迟指使用传输服务的用户从要求建立连接到收到连接证实之 问的时间，它包括远端传输层的处理时延、各l 酬关寻径时延和传输线路上的传送 时延。t c p 的连接建市采用三次握手的方法，信息要在源端和目的端之间传送i 次，所以连接请求到另一端的释放实际发生为止之间的时延。连接建立和释放延 迟与网络负载及服器负载有关。 ( 3 ) i p 寻径延迟 t c p i p 协议中，每个i p 数据报独立寻径。t p 寻径延迟指i p 数据从源端到 目的端的各个网关_ i 二的寻径延迟，包括网关寻径表处理延迟和地址解析延识。网 荚地址铝析由f c p i p 提供的a r p ( a d d r e s sr e s o l u t i o n p r o t o c o l ，地址解析协 议) 来完成。由于网关寻径在本机内完成，而地址解析也仅在网内讲行，所以i p 寻 径延迟相对较小。 2 2 2a d u 在网络传输上的延迟 位于应用层的用户数据单元( a d u ) 在应用层协议调用下层协议提供的服务之 后形成协议数据单元( p d u ) ，p d u 作为独立的数据单元在网络上传输。一个a d u f h 个或多个p d u 组成，a d u 的传输延迟是指从第一个p d u 开始传送到最后一个 p d uf 到目的端为f i ：的时延。这其中由差错引起的p d u 重传也会引起a d u 延迟。 ( 1 ) 打包延迟 各层的协议数据单元( p 叫) 有一定的有效负载长度，而应用产生的相应大小 哈尔滨工程大学硕士学位论文 的信息流需要一定的持续时间。协议层等待应用层产生满足p d u 有效负载长度的 字节流量，然后打包成p d u 这段等待时间就是打包延迟。打包延迟是实时流应用 独有的延迟，实时流应j 日是指对基于时间的信息( 比如视频、音频和动l 网) 进行实 时传送的应用。实时信息流是有d ? l q 性的，按时间顺序有规律地产生，要等待信 息流到定的数量以满足p d u 有效负载才打包成个p d u 。打包延迟用s p k 来 估算，苴冲s p 为p d u 有效负载k 度，k 为应用的编码速度。因此对于低速编码 器来说，延迟比较人。比如把使用4 8 k b p s 编码器的i p 电话应用打包成4 8 字节 的ip 数据报的有效负载，需要约8 0 毫秒的打包延迟。 ( 2 ) 传送延迟 传送延迟是指p d l 数据全部传送到线路上的这段时延，或者说从p d u 的第一 个比特从端点传送到线路f ：直到最后个比特离开端点这段时间间隔。传送延迟 与p d 大小以及局部线路上的传送速率有关。我们通常使用的传输介质有双绞 线、同轴电缆、光纤、卫星信道和无线信道。 这罩首先介绍。卜数据传输速率，所谓数据传输速率是指线路卜每秒能传输 的代码的位数，单位为比特秒( 记做b p s ) ，它由下式决定： s = ( 1 t ) l 0 9 2 ” 奠中t 为脉冲宽度或脉冲重复周期，n 为一个脉冲所表示的有效状态。 信道容量表征个信道传输数据信号的能力，用数据速率作为指标，是以信 道每秒钟传送的比特为单位的，记为位秒，简称b p s 。信道的最大数据速率是 受信道的带宽限制的。对于无热噪声的信道，奈奎斯特( n y q u i s t ) 公式如下： c = 2 h l 0 9 2 其中h 是低通信道的带宽( 单位h z ) ，l 是数字信号在某给定时刻可能取的离 散值个数，c 是信道最大的数据速率。在有随机噪声干扰时，香农( s h a m o n ) 公式 如r ： c = h l 0 9 2 ( 】+ s n ) ( b p s ) 其中s 表示信号功率，n 为噪声功率，s n 则为信噪比，以分贝( d e c i b e l ，d b ) 为单位。例如信噪比为3 0 d b ，带宽为4 0 0 0 h z 的信道最大的数据速率： c = 4 0 0 0 1 0 9 2 ( 1 + 1 0 ”“o ) = 4 0 0 0 l 0 9 2 ( 1 0 0 1 ) = 4 0 0 0 0 ( b p s ) 般谠米，用上式计算得到的只是信道数据速率的一个e 界，真正要达到该值是 报难的。在一 例中，该信道卜般只能达到1 9 2 0 0 b p s 。 对于低速传输，传送延迟相当火。例如，用2 8 8 k 调制解调器发送l k 宁节的 p d u 需要0 2 8 秒。利用拨号上网传输实时应用时，这是一个难以解决的问题。 如果网络使用存储转发方式，则- 一个p o u 在网上传输将会产生多次传送延迟，即 哈尔滨工程大学硕士学位论文 每次将p d u 存入缓冲区后再转发到下一跳都有要引起一次传送延迟。传送延迟取 决于每跳转发的速度。 ( 3 ) 传播延迟 传播延迟是p d u 在介质中传播所用的时间，取决于信号穿过介质的速度。信 号侄光纤中传播速度也就是光通过玻璃介质的速度。链路上的传播延迟可用p d u 的第个比特穿过链路所用的时间来定义。端到端的传播延迟是各段线路 ：传播 时延的总和。w a n 中的传播延迟就变得比较重要了，因为远距离传送使得传播延 迟可以达- 至f j j l 十毫秒。 ( 4 ) 排队延迟 是分组交换网中的主要延迟，它指的是p d u 在传输路径上每交换一次所引起 f 向缓冲延迟的集合。若分组交换临时过载，每一个p 叫的目的输出端口上可能有 许多分组排队。队列中位于p d u 前的每一个分组都会产生一个等于传送延迟的附 力延迟存先进先出队列机制的交换中，新到达的分组的排队延迟等于己在该输出 端口卜排队的所有分组传送延迟的总和。所以排队延迟既与队列前面的分组数量 有关，电与输出端口的传送速度有关。作为主要延迟的排队延迟受当前网络负载 影响，它也是分组交换嘲中延迟变化的主要因素。由于i n t e r n e t 主干刚上每个 路f ；l 器都有大量i p 数据包在排队，排队延迟也成为i n t e r n e t 上的主要延迟。比 如经过1 0 个路由器，每个路由器平均有1 0 个i p 数据报排队的一条路径【：的排 队延迟能够达到卜百毫秒。 ( 5 ) 处理延迟 处理延迟是路径上每次交换以及源端和目的端对数据报进行处理花费的时 间总和，1 i 包括排队延迟。在分组交换的过程中，处理延迟与排队延迟相比较可 以忽略不计，但在端点它还是相当可观的，特别是像视频解压这样的应用。 我们对网络卜的延迟只能给出大致的估算值，因为网络的状态瞬息万变。如 果某结点发生j ，拥塞，在拥塞期间产生的数据传输延迟可能为正常情况下的几 倍甚至儿十倍。 2 3 利用低负荷网络运行降低网络延迟 231m m 1 排队模型 在 n t e r n e th ，到达网络源节点或o l q 节点的负载( i p 数据包) 首先都要在 缓冲器中参加排队( 存储) ，然后再送到连至下一节点的出向传输链路上去( 转 哈尔滨工程大学碗士学位论文 发) 。分组在缓冲器中等待转发的