（通信与信息系统专业论文）基于rtp的h264视频传输系统研究.pdf

摘要 随着宽带i n t c m e t 网络的普及，个人计算机处理能力的提高，以及视频压缩 技术的发展，人们对i n t e m e t 视频服务尤其是如视频电话、视频会议和远程教学 等的实时视频流业务的需求不断增长，因此，对i n t e m e t 视频实时传输的研究， 无论在科研还是在应用领域都具有非常重要的意义。 r f p ，r t c p 协议是i e t f 制订的实时流媒体传输标准，它引入时间戳和递增序 号机制来传输实时数据流，利用r t c p 来反馈q o s 信息。h 2 6 4 ，a v c 是由1 1 1 j 玎 和m p e g 共同制定的最新的视频编码标准。与现有标准相比，h 2 6 4 获得了更高 的压缩性能，同时具有更好的网络适应性。相比以往的视频编码标准，h 2 “把编 解码分为n a l 和v c l 两层，并运用了诸多新的错误恢复技术。 本文介绍了视频通信的一般概念、应用情况和通用的q o s 控制方法：详细分 析了r 1 甲协议的细节和几种重要的r t p r t c p 分组格式；然后重点讨论了h 2 6 4 视频编码标准的新特性和编码码流结构。在此基础上，深入研究了适合于r t p 传 输的h 2 6 4 n a l u 结构和h 2 6 4 v c l 层的错误恢复工具的使用。提出了一种在n a l 层进行r t p 载荷控制，并结合v c l 层错误恢复工具和速率控制，以及应用层( r t p ) f e c 相结合的h 2 “视频流实时传输系统方案。 关键词：视频通信r t ph 2 6 4 a b s t r a c t w mt l l ep o p 址d 摊i o no fb r o a db 觚di n t e m e t ，也ea d v a 蝴髓ti np r o c e s s i n g c a p a b i l 时o fp e r s a lc o m p u t e 鼯，姐dt l l ed e v e l o p m e mo fv i d c o m p m 站t e c l l l l i q u e s ， 吐l e 糟q u i 托m e n tf o ri n t e m e tv i d e os e r v i c e s ，船p e c i a l yf o rr e a l - t i m ev i d e os t r e 蜘s u ( i h 越 v i d e ot e l e p h o n y v i d e oc o n f e r c n c e 姐dd i s t a l l c ee d u c a t i o n ，h 船 b e e n疵r e 船i n g c o n t i n u o u s l yt h e 糟f o r e ，t l l es t u d yo fi m e m e tr e a l - t i m e v i d e oc o m m 喇c a t i o ni s b e c o m i n go f g 陀a ti m p o r t 锄c e ，r e g a r d l e s so f i ns c i e m i f i cr c s e a r c ho ri na p p l i c a t i o nf i e l d r t p ，r t c pp r o t o c o li sar e a l t i m es 恤a mt r a n s p o ns t a i l d a r dp mf o r 啪f db yi 盯f h i n t r o d u c e st i m e s t 蛐1 p 趾di n c r e a s i n g s e q u e n c en m b e rf o rr e a l - t i m ed a t as 订e 锄 t r a n s p o a 1 1 du s e sr t c pt om o n i t o rq o si n f o 珊a t i o n h 2 6 4 a v ci sav i d e oe n c o d i n g s t a r l d a r d p r e s e n t e dj o i n t l yb yi t u - t 姐dm p e gc o m p a r i n gw 油c u 珊n tv i d e o c o m p r e s s i o ns 州a r d s ，h 2 6 4s h o 、sl l i g h e rc o m p 糟s s i o np e r f b r m 柚c e ，a r l dp o s s e s s e s b e t t e rn e t 、v o r ka d a p t a b i i i t yh 2 6 4d i v i d e sc o d e ci n t ot w ol a y e r s ，n a la n dv c l ，强d p r e s e n t sal o to f n e w e r r o r c o n c e a l i n ga 1 1 dr e c o v e r yt e c h n i q u e s i n 也i sp a p e r ，ag e n e r a lc o n c e p to fv 堪e oc o m m u n i c a t i o n ，a sw e l la si t sa p p l i c “o n s c e n a r i o sa n di t sq o sc o n t r o lm e m o d sa i 弓f i r s t l yi m r o d u c e d t h ed e t a i l so fr t p p m t o c o l 强dm ef o n n a t so fs e v e r a l i m p o n a l l tr t p ，r t c pp a c k e t s 盯et h e na 船l y z e d ， f o l l o w e db ya i li n - d e p t l ld i s c u s s i o no fs o m en e wf 宅a t u r e sa n dc o d e ds t r e 锄f 0 册a to f h 2 6 4 o nt h eb 鹪i so fm e8 b o v c ，ah 2 6 4n a l us t m c t u r ew h i c ha d a p t sf o ri h p t m n s p o r ta n dt l l eu s eo fv c l se r r o rf e c o v e r yt o o l sa r es t u d i e dt h o 姗工g my ar e a l t i n l e h 2 6 4v i d e os 仃e a mt r a n s p o r ts y s t e ms c h e m ei sp r e s e m e di nt l l ee n d ，w h i c hc o m b i n e s n a lb a s e dr 限p a y l o a dc o n t r o l ，v c l se h d rc o n c e a l i n g ( r e c o v e r y ) t 0 h 0 l s ，r a t ec o 曲o l a n da p p l i c a t i o nl a y e r ( r t p ) f e c k e ，州o r d ： v i d e oc o m m u n i c 矗t i o nr t ph 2 6 4 独创性( 或创新性) 声明 y 8 s 8 9 0 8 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文 中不包含其他人已经发表或撰写过的研究成果：也不包含为获得西安电子科技大 学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究 所做的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名塑先砌 日期一2 咿舌，f 6 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文：学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本学位论文属于保密在年解密后适用本授权书。 本人签名： 导师签名 划 乏主支群乏名支幺 r 期兰! ! ! ：么 日期z 笾生：f 多 绪论 随着通信技术的发展，人们对通信服务提出了越来越高的要求，单一的电话 和低速数据通信已经不能适应和满足社会进步对通信服务的需求。集声音、文本、 图形图像和视频于一体的具有交互能力的多媒体通信成了当今的发展趋势，人们 对多媒体业务需求的不断增长。其中视频通信正在逐步成为数字通信网络的主要 业务之一如：实时监控、远程医疗、会议电视、可视电话等。 为了高效地在网络上传输视频数据。通常需要对视频进行压缩编码。目前制 定视频编码标准的国际组织组主要有两个：i t u t 和i s o i e c 。i t u t 的建议标准 h 系列( 如h 2 6 l ，h f 2 6 3 等) 主要用于实时视频通信，如视频电视会议、可视电话 等。而i s o ，i e c 的建议标准m p e g 系列( 如m p e g 1 、m p e o - 2 、m p e g 4 等) 主 要用于数字电视广播、d v d 等。大多数情况下，这两个标准组织独立制定不同的 标准，但h 2 6 2 和m p e g 2 的视频编码标准是同一个标准，这也是m p e g 2 标准 得到广泛应用的原因之一。国际电信联盟视频编码专家组( i n j - t v c e g ) 和国际 标准化组织运动图像专家组( i s om p e g ) 于2 0 0 1 年合作成立了了联合视频组 j v t ( j o i n tv i d e ot e a m ) ，共同开发新一代的视频标准h 2 6 4 ( 也称为h 2 6 l ) 。h 2 6 4 是i t u 的正式名称，其m p e g 正式名称是m p e g 4p a nl o 或l s o l b c1 4 4 9 6 1 0 a v c 。 h 2 6 4 标准的制定正是为适应各种业务的不断增长对于运动图像压缩率的更 高要求，并使得编码后的视频数据能够在各种网络环境下传输。这一标准可以应 用于广泛的领域，包括有线电视( c a t v ) 、卫星直播( d b s ) 中的视频服务、基 于数字用户线( d s l ) 的视频服务、数字电视广播( d t t b ) 、互动存储媒体( 光 碟等) ( 1 s m ) 、多媒体信件( m m m ) 、分组交换网络上的多媒体服务( m s p n ) 、 实时会话业务( 视频会议，视频电话等) ( r t c ) 、远程视频监控( r v s ) ，以及串 行存储媒质( 数字v t r 即磁带录像机) 等等。 h 2 6 4 被称为新一代的视频编码标准，主要是因为其出色的编码效率以及对各 种网络的适应性。与以往的视频编码标准不同，h 2 6 4 不仅包含一个视频编码层来 规定各种视频编码算法，同时还定义了一个网络适配层来适应网络传输。它不但 使用了诸多新颖的视频压缩算法，还定义了一些适合网络传输的新特性以及大基 的错误恢复工具。 在迅速发展的多媒体通信领域中i p 网络视频传输，因其数据特性和对网络 的特殊要求雨最为受人们重视。这主要包括两个领域，一是与我们工作学习都息 息相关的i n t e m e t ，另一个是有着广阔发展前景的移动i p 网络。其中采用t c p ，i p 协 基于r r p 的h 2 6 4 视频传输系统研究 议族的i n t e m e t ，屏蔽了底层的具体网络结构和底层协议。统一上层通信协议，使 其可以应用于现在的任何网络。i e t f 提出的实时传输协议和实时传输控制协议 ( p 附c p ) 【9 1 是专门为实时音视频通信雨制定的。其简单性和灵活性决定了其 成为p c 上实时传输系统的酋选传输协议。本论文的目标便是在t c m p 协议的基 础上研究适合在i n t e r n e t 上应用，并且使用r 1 1 p 协议的h 2 6 4 实时视频流传输系 统。 由于视频编码过程的固有特性( 变换，羹化，熵编码等) ，编码后的视频数据 具有一些不同于普通数据的特征。其中一个显著的特点就是码率变化剧烈，其主 要原因是场景变化引起的长时间( n 秒级) 码率变化，和由于编码模式切换引起的 短时间( n + 1 0 毫秒级) 码率突变。此外，压缩后的视频数据对误码非常敏感，并 且视频通信系统对信道的延迟和时延抖动都有着严格的限制。压缩后视频数据的 这些特点为其在网络上的传输带来了很大困难【。而另一方面，r t p 协议本身并 没有提供任何q o s 保证，而且往往是建立在u d p 之上，u d p 对数据是否成功传 输也没有保证。因此把裂r p 协议和h 2 6 4 视频编码标准结合，来研究其q o s 控制 也是本文的重点之一。 本文首先对视频通信系统的特性及其q o s 控制进行了介绍；然后研究了实时 传输协议r t p 门玎c p ：分析了和网络相关的h 2 6 4 码流的层次结构及其视频编码层 的错误恢复工具：论文的重点工作集中在把h 2 6 4 和r 1 限相结合，研究适合于r 1 悖 传输的n a l u 以及适台于h 2 6 4 的r t p 分组格式，并提出了基于i p 伥r p 的h 2 6 4 实时传输方案。 全文的内容安排如下： 第一章介绍了视频传输系统的概况，并对其典型应用、网络环境以及基本的 o o s 控制方法进行了介绍。 第二章在对几个相关的多媒体传输协议进行简单介绍的基础上，重点分析了 r t m 玎c p 协议中的数据分组和几种常用会话控制分组的格式及其应用。 第三章讨论h 2 6 4 标准的特点，分析了h 2 6 4 中网络适配层( n a l ) 的层次 结构，重点是视频编码层( v c l ) 中有力的错误恢复工具。 第四章对适合于h 2 6 4 传输的r t p 载荷格式进行研究。 第五章把从视频编码到网络传输的各个层次相结合，提出了i n t e m e t 上h 2 “ 的r t p 传输方案。 第一章视频通信系统 第一章视频通信概述 1 1 视频通信系统模型 l 睡着现代通信技术和业务的发展，人们对通信的需求已经由最初的单一语音 需求转变为对视频和音频通信的需求，单一的电话和低速数据通信已经不能适应 和满足社会进步对通信服务的需求，以传送语音、数据、视频为一体的具有交互 能力的多媒体通信业务成为通信领域发展的热点，而这其中i p 网络视频传输，因 其数据特性和对网络的特殊要求最为受人们重视。 典型的视频通信系统包括5 个部分【2 l ，如图1 1 所示。 i视频 蚓曩鋈 视频o 一 嚣h 网络 信道f | 网络 编码 i 解复用 信道 解码 图1 1 典型的视频通信系统框图 视频i 信源卜 解码l 重建 _ j 视频 视频编码器首先对视频压缩以降低码率。压缩比特流随后被分割成固定长度 或可变长度的数据包，并与其他数据类型( 如音频) 复用。然后经过信道编码后 通过网络传输。在接收端，将接收到的数据进行信遒解码和解复用，通过视频( 信 源) 解码，这样就可以重建原始视频。 1 2 典型的视频应用系统 通常视频通信系统划分最主要的指标是实时性。“实时”意味着压缩数据是以 与编码视频信源的速率相匹配的速度传送。例如，如果源视频是以l o m b 口s 编码的， 那么要传送信源的通信信道的吞吐量至少应该是1 0 m b p s 。对于某些系统来说。允 许相对较大的播放延迟，解码端在一个较大的初始播放延迟以后，能够以一个恒 定的帧率来播放。而对另外一些应用系统，允许使用有限数目的重传来处理传输 过程中的差错。据此，我们把视频通信系统分为3 类。 1 2 1 交互式双向视频通信 这类例子包括电视会议，视频电话，虚拟教室等。这类应用系统有非常严格 的延迟要求。为有效地通信，等待时间和抖动必须保持在一定的限度内。例如对 基于r 1 p 的h 2 6 4 视频传输系统研究 于洲际电话会谈，r r u tg 1 1 4 b 标准建议可接受质量的单向最大延迟是1 5 0 m s 。 假如网络管理者意识到延迟对用户应用系统的影响1 5 0 4 0 0 m s 是可以接受的。 同样的限定也适用于视频会议应用系统。4 0 0 m s 以上的延迟对于有效的通讯系统是 不可忍受的。同样，当播放音频和视频时，为保持声像同步，应限制视频相当于 音频的延迟。通常，在发送端和接牧端中有意稍微延迟音频，以保持声像同步。1 2 j 对于这类应用系统，必须实时实现编码和解码。否则，到来的帧可能会堆积 在编码器中，或者在解码器中不得不丢弃所接收的比特。为了满足严格的延迟要 求，编码器和解码器的缓冲区一般很小。重传一般是不可接受的。网络中的抖动 也必须受限。由于有这些限制，交互式应用系统被认为是在各种类型的视频通信 中要求最苛刻的。 幸运的是，在空问和时间分辨率方面只需要达到中等的视频质量。例如， 5 1 0 邱s 的q c i f 对于视频电话应用系统是可以接受的。而1 0 2 0 昂s 的c i f 对于大 多数视频会议足以令人满意。而且，中等程度的压缩和传输人为失真通常是可容 忍的。【2 l 1 2 1 单向视频流 在这类应用系统中，现场或预先压缩的视频信源被传送到一个或多个信宿。 接收端不必等待整个视频文件到来，在可能最多几秒的初始播放延迟后，就开始 解码并播放视频。根据接收者的数目，应用系统可进一步分为广播、组播或单播。 电视广播是最广泛采用的视频应用系统。视频组播是另一种重要的应用。视频点 播是一种正日益流行的应用系统，它从预先压缩的视频数据库通过因特网播放流 视频，一般由单个用户接收。 由于发送端和接收端之间没有交互式通信，所以等待时间可以比较长，但必 须限制抖动，以使接收到的视频流能被解码，并且在初始延迟后以恒定的帧率平 滑地播放。 对于在因特网上的视频组播或单播，由于网络状况的可变性，抖动可能很大， 在接收端一般都设置一个大的平滑缓冲区，以减少抖动。缓冲区越大，播放延迟 越长，但显示的视频越平滑。怛j 1 2 1 单向视频下载 在这种情况下，预先纪录的视频( 和音频) 被下载到信宿。直到整个视频到 达之后，接收端才开始播放资料。 可分级编码和累进传播是所希望的，以便相对快地传送一个低分辨率的视频 版本。出于宽松的延迟要求，所以可采用重传来处理数据的任何丢失或错误传送 部分。除了一般用于数据传送的差错控制机制外，不需要特殊的差错控制方法。吲 第一章税频遥信系统 1 3 视频通信应用的网络环境 视频通信业务可以承载在不同技术的底层网络上，从早期的公共电话网，到 窄带i s d n ，d d n ，a t m 以及现在广泛使用的i p 网络都可以成为视频通信业务的 承载网。由于视频通信的实时性和图像传输的特点，要求承载网具备足够的带宽、 短时延、低误码率等特点。 一、公共电话网。窄带i s d n 和d d n 是基于电路交换的网络，电路交换网络 是面向连接的网络，传输速率和时延稳定，端到端时延小，误码率低，因此视频 通信质量容易得到保证。但它的缺点是连接固定，除公共电话网、i s d n 网上可以 进行拔号外，其他网络的应用都必须进行点对点的永久连接，带宽利用率较低， 开放性差设置连接不方便。h 3 2 0 标准就是1 9 9 0 年i t u t 最阜制定的满足和适 应这类电路交换网络的视频通信框架协议，最早进行商用的视频通信系统就是建 立在此基础上的。在公共电话网中是采用话带数据来传递视频信息的，遵循的标 准是1 9 9 5 年以来i t u t 推出的 l 3 2 4 系列，目前主要应用于可视电话业务。 二、a t m 网络。a t m 以快速分组交换和统计时分复用的方式进行信息传输。 由于其技术复杂、设备昂贵，加上a 1 m 的各项标准制定迟缓，未能得到大规模的 应用，目前a t m 网络已经不可能实现端到端的应用，而是成为一种支持多种业务 应用的传送平台。l t u t 的h 3 2 l 标准和h 3 1 0 标准正是针对a t m 网络结构的视 频通信标准和规范。 三、i p 网络。近几年来，通信网络的i p 化成为网络发展的主流，基于i p 网络 的视频通信得到普遍应用和广泛发展。i p 网络是使用t c p ，球协议的面向无连接的 网络，h 3 2 3 标准是i t u t 在1 9 9 6 年制定的应用于i p 网络的视频通信标准，称为 “不保证服务质量的局域网上的多媒体视听系统”。并在1 9 9 8 年扩展为“基于分 组的多媒体通信系统”，即i t u t h 3 2 3 v 2 ，艏来又推出了h 3 2 3 v 3 还和h 3 2 3 v 4 版 本，它是目前拥有大量商业用户的视频通信标准，并受到世界各国的广泛重视。 由于目前i p 网络接入方式有l a n 接入e t h e m e t ，x d s l 等多种方式，一些接入 方式如x d s l 可提供的带宽有限，除去音频、数据占用的带宽传输视频的可用带 宽更少，要求视频编解码高效，压缩率商。 四、无线网络。近年来，无线通信技术的发展进入了空前活跃的历史时期。 呼之欲出的第三代( 3 g ) 移动通信不仅能提供现有的各种移动电话业务，还能提供高 速率的宽带多媒体业务，支持高质量的话音、分组数据业务以及实时的视频传输。 3 0 开创了无线通信与因特网、多媒体融合的新时代，由此产生的无线多媒体和无 线i p 业务必将成为未来无线移动通信业务新的增长点，传送有一定的q o s ( 服务质 量) 保证的实时视频流是多媒体应用的主要内容。移动通信系统的共同点是误码率 6 基于i 盯p 的h 2 “视频传辘系统研究 很高，因此在无线通信系统开展视频业务十分困难，要求视频编解码和传输系统 能够克服信道的高误码率、分组丢失以提供q l o s 保证。 视频流一般有带宽、延时和损耗的要求。但目前流行的i i l t e m e m 和无线i p 网 络都不能对视频流提供任何q o s 保证。因此，在应用层对视频流进行q o s 控制是 不可避免的。为了适应变化的网络条件和用户对视频播放质量变化的要求，已经 提出了各种应用屡q o s 控制技术。这些技术主要包括拥塞控制和差错控制。其中 拥塞控制用于防止丢包和减小延迟；而差错控制则是在出现丢包的情况下改善视 频播放质量。 1 4 1 拥塞控制 突发丢失和超时延迟往往是由于网络拥塞造成的。减少丢包率的个方法就 是在信源和信宿应用拥塞控制。拥塞控制有两种机制：速率控制和速率整形。速 率控制是使视频流的速率和网络可用带宽相匹配，从而将网络拥塞和分组丢失降 到最低。而速率籀形则是将编码以后的视频流进行修正，来与网络可用的带宽相 匹配，它出现在编码器和传输网络之间，或者作为两个网络段之间的接口。 1 4 1 1 速率控制 速率控制是基于估计网络中的可用带宽来确定视频发送速率的技术。现有的 速率控制方案可分为三类：基于信源的、基于接收端的和两者混合的速率控制。1 2 】 1 4 1 2 速率整形 速率整形可以将预压缩的视频比特流的速率修正到目标速率限制。速率整形 器是珏缩层与网络传输层之间或两个网络段之间的一个接口，通过它可以达到视 频流与可用带宽芝间的匹配。可以分为编解码滤波器、弃帧滤波器、弃层滤波器、 频率滤波器和再量化滤波器等。1 2 1 1 4 2 差错控制 对于实对的视频业务而言，视频质量可以降级，但是时延必须保证，对于视 频通信的这种特征，我们把差错控制技术分为四类：传输层差错控制( 包括f e c 和限制延迟重传) ，编码器差错复原编码，解码器错误隐藏，以及编码器和解码器 交互的差错控制。 1 4 2 1 前向纠错f e c f e c 是依靠在原始信息中加入冗余信息，从而使得在出现丢包的情况下能够 第一章视频通信系统 重建原始信息。一方面，f e c 引入了冗余信息，增加了传输开销，要谨慎使用 另一方面，由于a r q 形式的差错控制机制不能满足视频流的实时特性，又不得不 适当地使用f e c 。 在i p 网络中，f e c 的使用是面向分组的，因为i p 网络对于出现差错的分组采 用了直接丢弃处理方式。必须跨越多个分组来进行f e c 编码，针对k 个分组，生 成n 个分组，其中n - k 个f e c 分组。这样，用户只需要接收到任意其中；【个，就 可以恢复原始信息。【2 l 】 1 4 2 2 差错复原编码 差错复原技术是从压缩编码的角度来解决信息的丢失问题。包括重同步标记、 数据划分和可逆的变长编码，这几种技术主要针对比特错误占主导地位的环境， 如无线信道。而对于i m e m e t 上的视频通信，更有效的两种技术是最佳模式选择和 多描述编码。i z l 1 4 2 3 错误隐藏 因为人眼能够忍受一定程度量的视频信号失真，所以当传输包发生丢失时， 可以采用误码掩盖技术来消除丢包引起的图象降级，得到更好的图象质量。总体 上可以分为两类：时域掩盖技术和空间掩盖技术。后者采用空间上的相邻的信息 ( 一般是宏块) 来重建。时间掩盖技术是利用前一帧相同位置或运动矢量指向的 位置来重建。 对于需要实时解码的视频流，最可行且有效的办法就是运动补偿时间内插， 即用前一帧中运动矢量所指示的块来代替丢失的块，运动矢量也可以从邻近的块 复制，否则，就将运动矢量置为零。口 第二章实时传输协议r 1 p9 第二章实时传输协议r t p 前一章提到了视频通信的三种基本应用，即交互式双向视频通信，单向视频 流，以及单向视频下载。其中视频下载是完全面向存储媒体的，不在本文讨论范 围之内。而前两种应用，不论是双向视频通信，还是单向视频流都不同程度地依 赖于网络的实时传输。本章将首先对i p 网络上几个的常用的流媒体传输协议进行 介绍，然后重点讨论r t p ，r t c p 协议。 2 1 多媒体传输协议简介 本节介绍视频传输中常用的几个流媒体传输协议，分别是：r 仲瓜t c p 协议， r t s p 协议，s r v p ，s i p ，s d p 。 2 1 1 实时传输协议r t p r t p 协议是i e t f 在1 9 9 6 年提出的适合实时数据传输的新型协议。州r 1 甲协 议实际上是由实时传输协议r t p ( r e a l - t i m et r a i l s p o np r o t o c 0 1 ) 和实时传输控制 协议r t c p ( r e a l t i f n ct r a n s p o r tc o n t r o lp r o t o c 0 1 ) 两部分组成。r t p 协议基于多 播或单播网络为用户提供连续媒体数据的实时传输服务；r t c p 协议是r t p 协议 的控制部分，用于实时监控数据传输质量，为系统提供拥塞控制和流控制。 r t p 协议是可以工作在几乎所有通信协议之上，而主要承载在u d p 上的。所 以，它并不需要直接保证传输的实时性，而只需要依赖底层网络提供的o o s 服务 来真正达到实时性的要求。 实时传输协议( r t p ) 为数据提供了具有实时特征的端对端传送服务，如在组 播或单播网络服务下的交互式视频音频数据。应用程序通常在u d p 上运行r t p 以便使用其多路复用和校验服务；这两种协议都提供了传输层协议的功能。但是 l 玎p 可以与其它适合的底层网络或传输协议一起使用。如果底层网络提供组播方 式，那么r t p 可以使用该组播表传输数据到多个目的地。 r t p 本身并没有提供按时发送机制或其它服务质量( q o s ) 保证，它依赖于 低层服务去实现这一过程。r t p 并不保证传送或防止无序传送，也不确定底层网 络的可靠性。r t p 实行有序传送r t p 中的序号允许接收方重组发送方的分组序 列，同时序号也能用于确定适当的分组位置。 r 瞪控制协议( r t c p ) 采用与数据分组相同的分发机制，将控制分组周期性 传输到所有会话参与者中。底层协议必须提供数据和控制分组的多路复用，例如 使用不同的u d p 端口号。r t c p 主要完成四个功能服务： r t c p 提供数据分发质量反馈信息。这是r t p 作为传输协议的部分功能并且 l o 基于r t p 的h 2 6 4 视频传输系统研究 。1 _ 。_ 。_ 。- - _ _ _ _ _ 。_ _ - _ _ h - 。_ _ _ - - - _ 。_ _ - _ _ _ _ _ _ _ _ - _ _ _ _ - _ _ - _ - - _ _ - _ _ _ _ - 一 它涉及到了其它传输协议的流控制和拥塞控制。 r t c p 为r t p 源携带一个持久性传输层标识符，称为规范名( c n a m e ) 。由 于一旦发现冲突或程序熏启时。s s r c 标识符会随之改变。所以接收方需要通过 c n a m e 来跟踪每一个参与者。同时接收方还要求c n a m e 能够与一组相关r t p 会话中来自于同一个参与者的多个数据流相关联，例如同步视频和音频。 上述前两个功能要求所有的参与者都要发送r t c p 分组，因此必须控制r t c p 分组的发送速率，以便能够按比例增加大量的参与者。通过每一个参与者发送各 自的控制分组给其它所有参与者，每一个参与者能够独立观察到参与者数量，该 数量可用来计算控制分组的发送速率。 0 p t i o n a l 功能用于传送最少会话控制信息，例如在用户界面显示参与者标 识。这对于“松散受控”会话( 在没有成员控制或参数协商的情况下，参与者可 以加入或退出该会话) 是非常有用的。 本章的后半部分，将对r t p r t c p 协议进行深入分析。 2 。l 。2 实时流协议r t s p r t s p 是实时流协议的缩写，它是由p r o g r e s s i v en e t w o r k s 公司和n e t s ca _ p e c o m m u n i c a t i o n s 公司在1 9 9 6 年l o 月公布的。r t s p 是一个用来控制实时多媒体传 输的通信协议，它能够对多媒体流提供v c r 网络的远端控制功能，如播放、停止 等。更形象的说就是，r t s p 协议是多媒体服务器的“网络遥控器”它定义了播 放媒体流一般所需要的控制动作。r t s p 掷议仅完成客户和服务器之间的控制传 输，至于多媒体数据的传输则是由r r p 或其它协议完成的。 实时流协议( r t s p ) 建立并控制一个或几个时间同步的连续流媒体，如音频 和视频。r t s p 本身并不发送媒体流。换言之，i 郡p 充当多媒体服务器的网络远 程控制。r t s p 提供了一个可扩展框架，实现实时数据的受控、按需传送。数据源 包括实况数据与存储的剪辑。r t s p 用于控制多个数据发送会话，提供了选择发送 通道( 如u d p 、组播u d p 与t c p 等) 的方式，并提供了选择基于r t p 的发送机 制的方法。 目前还没有r t s p 连接的概念，r t s p 会话不会绑定到传输层连接，如t c p e 在r t s p 会话期间，r t s p 客户端可打开或关闭多个对服务器的可靠传输连接以发出 r t s p 请求。它也可选择使用无连接传输协议，如u d p 。 r t s p 控制的数据流可能用到r t p ，但r t s p 操作并不依赖用于传输连续媒体 的传输机制。r t s p 在语法和操作上与h t t p l l 类似，因此h r r p 的扩展机制在 多数情况下可加入r t s p 。r t s p 协议支持如下操作： 从媒体服务器上检索媒体：用户可通过h t t p 或其它方法提交一个演示描 第二章实时传输协议r t p 述请求； 媒体服务器邀请进入会议：媒体服务器可被邀请参加芷进行的会议，或回 放媒体。或记录部分或全都演示； 将新媒体加到现有演示中：如服务器能告诉客户端接下来可用的媒体内 容，对现场直播显得尤其有用。阅 2 1 3 资源预留协议i 毽v p 资源预留协议( r s v p ) 是一种用于互联网上质量整合服务的协议。r s v p 允 许主机在网络上请求特殊服务质量用于特殊应用程序数据流的传输。路由器也使 用r s v p 发送服务质量( q o s ) 请求给所有结点( 沿着流路径) 井建立和维持这 种状态以提供请求服务。通常r s v p 请求将会引起每个节点数据路径上的资源预 留。 r s v p 只在单方向上进行资源请求，因此，尽管相同的应用程序，同时可能既 担当发送者也担当接受者，但r s v p 对发送者与接受者在逻辑上是有区别的。r s v p 运行在i p v 4 或i p v 6 上层，占据协议栈中传输协议的空间。r s v p 不传输应用数 据，但支持因特网控制协议，如i c m p 、i g m p 或者路由选择协议。正如路由选择 和管理类协议的实施一样，r s v p 的运行也是在后台执行，而并非在数据转发路径 上。 r s v p 本质上并不属于路由选择协议。r s v p 的设计目标是与当前和未来的单 播( u i l i c a s t ) 和组播( m l l l t i c 黯t ) 路由选择协议同时运行。r s v p 进程参照本地路 由选择数据库以获得传送路径。路由选择协议决定数据包转发到哪里。r s v p 只考 虑根据路由选择所转发的数据包的o o s 。1 2 6 l 2 1 4 会话初始化协议s i p 会话初始化协议( s i p ) 是一种应用层控制协议，它可用来创建、修改或终止 多媒体会话，如因特网电话呼叫。s i p 能够邀请参与者加入已存在的会话，如组播 会议。现有的会话中可以添加或删除媒体。s i p 支持名称映射和重定向服务，支持 用户移动性。不管用户网络位置在哪，用户只需维持唯一的外部可视标识符。 s i p 在五个方面支持创建和终止多媒体通信： 用户定位：决定用于通信的终端系统的确定； 用户可用性：决定被叫方是否愿意加入通信： 用户能力：媒体和媒体参数的确定； 呼叫建立；参数协商，主叫方和被叫方的会话参数的建立； 呼叫管理：包括传输和终止会话、修改呼叫参数和调用服务。 s i p 可以结合其它i e t f 协议来建立完善的多媒体结构，如r t p 、r t s p 、s d p 里 薹王塞! 墼坚：! 竺堡塑焦塑墨笙堑壅 等。因此，s i p 需要与其它协议协同作用来为用户提供完善的服务。而s i p 的基本 功能和操作并不依赖于这些协议。 s i p 提供了一组安全服务，包括防止拒绝服务攻击、认证、完整性保护和加密 及隐私服务。 s i p 同时支持l p v 4 和l p v 6 。关于因特网电话会话，s i p 做如下工作：通过s i p 地址识别主叫方和被叫方。当建立个s i p 呼叫时，主叫方首先定位适合的服务 器，然后发出一个s i p 请求。最通常的s i p 行为是邀请。s i p 请求会被代理重定向 或者触发一系列的新s i p 请求，而不是直接到达目的被叫方。用户可以通过s i p 服务器注册他们的位置。s i p 地址( u r l ) 可以嵌入到网页中，因此只要点击一下就 可以和对方建立呼叫会话。【2 7 l 2 1 5 会话描述协议s d p 会话描述协议( s d p ) 为会话通知、会话邀请和其它形式的多媒体会话初始化 等目的提供了多媒体会话描述。 会话目录用于协助多媒体会议的通告，并为会话参与者传送相关设置信息。 s d p 即用于将这种信息传输到接收端。s d p 完全是一种会话描述格式，它不属于 传输协议，它只使用不同的适当的传输协议，包括会话通知协议( s a p ) 、会话初 始协议( s i p ) 、实时流协议( r t s p ) 、m i m e 扩展协议的电子邮件以及超文本传输 协议( h t t p ) 。 s d p 的设计宗旨是通用性，它可以应用于大范围的网络环境和应用程序，而 不仅仅局限于组播会话目录，但s d p 不支持会话内容或媒体编码的协商。 在因特网组播骨干网( m b o n e ) 中，会话目录工具被用于通告多媒体会议，并 为参与者传送会议地址和参与者所需的会议特定工具信息，这由s d p 完成。s d p 连接好会话后传送足够的信息给会话参与者。 s d p 信息发送利用了会话通知协议( s a p ) ，它周期性地组播通知数据包到已 知组播地址和端口处。这些信息悬u d p 数据包，其中包含s a p 协议头和文本载荷。 这里的文本载荷指的是s d p 会话描述。此外信息也可以通过电子邮件或w w w ( w o r l dw i d ew 曲) 进行发送。 s d p 文本信息包括： 会话名称和意图； 会话持续时间： 构成会话的媒体； 有关接收媒体的信息( 地址等) 。f 2 8 】 第= 章实时传输协议r 1 摩 2 2 实时传输协议r t p 很铜疆 上一节提到实时传输协议包含两个紧密相关的部分，即实时数据传输协议r 1 限 和实时传输控制协议r t c p 。本节详细介绍r t p 和r t c p 的分组格式，应用情况以 及相关算法。 2 2 1 相关定义 在介绍r t p 和r t c p 分组格式之前，首先对下述定义进行说明。 1 多媒体会话 在同一组参与者中一组并发的r t p 会话。例如，一个视频会议就是一个多媒 体会话，可能包含一个音频r t p 会话和一个视频r 1 p 会话。 2 r t p 会话 一组使用r t p 通信的参与者的连接。一个参与者可能同时参与多个r t p 会话。 r t p 会话一个与众不同的特征是每一个会话都保留一个完整的、独立的s s r c 标 识符空间， 3 同步源( s s r c ) r t p 分组流的来源通过装入r t p 头中的3 2 位数值s s r c 标识符来识别，以便 不依赖于网络地址。所有来自同步源的分组组成同一个计时和序号数空间的一部 分，所以接收者通过同步源为回放区分分组。如果在一个r f p 会话中，一个参与 者生成多个流，那么每一个流必须使用一个不同的s s r c 。 4 贡献源( c s r c ) 指示r t p 分组流的一个源，它对r t p 混合器所产生的组合流做出了贡献。由 混合器插入。 5 终端系统 产生r 1 r p 分组中所要携带的内容并或使用已接收r t p 分组中内容的应用系 统。在一个特定的r t p 会话中，一个终端系统可以担当一个或多个同步源，但通 常来说是一个。 6 混合器 从一个或多个源接收r t p 分组的中间系统，可能会改变数据格式以某种方 式联合分组，然后发送新的r t p 分组。由于多输入源中的定时通常不会同步，混 台器将会在这些流中调整定时，并为组合流生成自己的定时。因而，源予一个混 合器的所有数据分组将会被认为它们的同步源是混合器。 7 转换器 1 4 基于砌噜的h 0 6 4 视频传输系统研究 指发送r t p 分组，且其同步源标识符完整无损的的中间系统。转换嚣的例子 包括没有混合而转换编码的设备，从多播到单搔的转发器，防火墙中应用层的过 滤嚣。 8 监视器 一个应用程序，它在r t p 会话中接收参与者发出的r t c p 分组( 特别是接收 报告) ，并且估计当前分发监控、故障诊断和长期统计数据等的服务质量。艇控功 能可能内建于参与会话的应用程序中，也有可能是一个独立的应用程序。 2 2 2 肘p 数据传输协议分组头格式 r t p 固定头字段格式如下； 0 il23 4 i5 i6 7o l 2 l3 l4 56 i70l234567o l l2 i3 i4 i5 l6 l7 v pxc cm 载荷类型 序号 时间戳 同步源标识符( s s r ci d c h t i f i e r ) 贡献源标识符( c s r c d e n t 讯e r s ) 前1 2 个字节出现在所有的r t p 分组中，c 骚汜i d e m i 舶r s 只有当混合器插入 时才有。 一、首字节： 版本v ：2b i t s 当前版本为2 填充标识p ： 1b i t 如果置位，则表示分组末尾包含一个或多个填充字节，填充不属于有效载荷 的一部分。最后一个八位组包含了填充字节的数目( 该数目包含最后这个字节， 应当忽略) 。 扩展标识位x ： 1b “ 如果x 标识为1 ，l 淝头的后面必须跟一个可变长的头扩展，如果有c s r c 列 表，头扩展要跟在其后。格式如下： 0l2345670l234567ol2345670l234567 由具体层面定义长度 h e r d e re x t e n s i o n 圈2 、2r t p 头扩展格式 第二章实时传输协议r t p 头扩展包含一个1 6 比特的长度字段来计数扩展中有多少个3 2 _ b i t 的字，不包 括4 字节的扩展头。r t p 的数据头后面只能跟单独的一个头扩展。头扩展的前1 6 比特是左开放的，以便区分标识符和参数。这1 6 比特的格式由具体的层面规范定 义。 贡献源( c s r c ) 数目c c ：4b i t s 指定了跟在固定头后面的c s r c 标识符的个数。 二、标识位和载荷类型： 标识位m ：lb i t 标识位的解释在特定的层面( p r o f i l e ) 中定义。它允许