（信号与信息处理专业论文）基于rtp视频传输及mpeg4+avc码率控制的研究.pdf

上海人学硕士学位论文基于r t p 视频传输及m p e g 4a v c 编码码率控制研究 摘要 随着信息技术的快速发展，宽带网络的普及，人们使用互联网不仅仅是单纯传送 文字信息或图案信息。具有实时性的资料，如视频和音频在网络上的应用也越来越多。 r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 协议应运而生，成为互联网实时信息传送的关键 协议。 在研究过程中，我们制作了一套仿真m p e g 一4 视频编码实时传输实验平台。使用 w i n d o w s 套接字进行网络编程，并采用了多线程程序结构。利用多线程程序的优点可 以提高程序的执行效率。媒体传输采用r t p 协议，我们根据标准r f c3 0 1 6 制定了 m p e g 一4 视频流的r t p 数据包分割方法。在使用r t p 数据包进行媒体传输的同时，系 统发送端程序发送r t c ps r 数据包，接收端程序可以利用其中的时间信息对媒体流进 行同步。接收端程序在对网络发送端的信息进行统计的基础上，发送r t c pr r 数据 包，把网络接收的情况反馈到发送端，以便发送端程序可以了解网络传输的情况。根 据较高码率视频图像编码码流的特点，提出改进r t p 数据包时间戳信息，使其对网络 抖动的统计值更为准确。 在分析了先前实时视频编码码率控制方法的基础上，本文介绍了目前使用较为广 泛的三种码率控制方法：二次率失真模型码率控制算法、h 2 6 3t m n 8 码率控制算法 和p 域码率控制算法，并介绍了m p e g 一4 先进视频编码码率控制方法所遇到的问题及 已有m p e g 一4 先进视频编码码率控制方法的提案。然后对m p e g - 4 先进视频编码整数 变换量化方法进行了详细分析。在此基础上提出了用于m p e g 一4 先进视频编码的新的 码率控制算法。 关键词：r t p 协议，m p e g 4 ，视频，码率控制 第i 贝 a b s t r a c t a c c o r d i n gt o t h e p r o g r e s so fi n f o r m a t i o nt e c h n o l o g y , t h eb a n d w i d t ho fn e t w o r kh a s b e c o m eb r o a d n o to n l yp u r ed a t ao rf i l ec a r lb ec o n v e y e di nn e t w o r k ，p e o p l ec a r la l s o t r a n s m i tr e a l t i m ed a t as u c ha sa u d i oa n dv i d e o r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) w a s s u g g e s t e db a s eo n t h i sd e m a n d at e s tp l a t f o r mw a sd e s i g n e da n di m p l e m e n t e dt oe m u l a t er e a l t i m ev i d e oe n c o d e da n d t r a n s p o r t e do v e r i pn e t w o r k t h es y s t e mw a sc o m p o s e do ft w op a r t s ：t r a n s m i t t e ra n d r e c e i v e rt h em e d i ad a t at r a n s p o r t e da c c o r d i n gt or t pp r o t o c 0 1 t h et r a n s m i t t e rs e n d s m p e g 一4s t r e a mi nr t p p a c k e t a tt h es a m et i m e ，i ts e n d sr t c ps rp a c k e tp e r i o d i c a l l y t h er e c e i v e ru t i l i z e st i m ei n f o r m a t i o ni nr t c ps r p a c k e ta n dr t pp a c k e tt os y n c h r o n i z e m e d i as t r e a m s t h er e c e i v e rs e n d sr t c pr r p a c k e tt ot r a n s m i t t e rt oi n f o r mt h es t a t u so f d a t at r a n s p o r t i n gt h et r a n s m i t t e rc a r lu s et h ei n f o r m a t i o nt o a d j u s t d a t at r a n s m i s s i o n a c c o r d i n gt o t h ec h a r a c t e ro fv i d e os t r e a m ，w ep r o p o s e dam e t h o d o fc h a n g i n gt h e t i m e s t a m p o fr t p p a c k e tt oi m p r o v e t h ea c c u r a c yo f n e t w o r k j i t t e re s t i m a t i o n ，t h ep r o g r a m u s e dm u l t i t h r e a d p r o g r a m m i n g t o i m p r o v es y s t e me f f i c i e n c y t h e n e t w o r kp r o g r a m i n t e r f a c eu s e di nt h e p r o g r a m w a sw i n d o w ss o c k e t a tl a s t ，t h er a t ec o n t r o lm e t h o di sd i s c u s s e di nt h i sp a p e r f i v er a t ec o n t r o la l g o r i t h m si s i n t r o d u c e d t h e nt h et r a n s f o r m a t i o n q u a n t i z a t i o nu s e di nm p e g 4a v ci s a n a l y z e di n d e t a i l an e wr a t ec o n t r o la l g o r i t h mf o rm p e g 一4a v c g o e so u tb a s eo n t h ea n a l y z a t i o n k e y w o r d s ：r t p p r o t o c o l ，m p e g 一4 ，a v c ，r a t ec o n t r o l ，v i d e o 第i i 页 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。除了 文中特别加以标注和致谢的地方外，论文中不包含其他人已发表或撰写过 的研究成果。参与同一工作的其他同志对本研究所做的任何贡献均已在论 文中作了明确的说明并表示了谢意。 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即：学校有权保留论文及 送交论文复印件，允许论文被查阅和借阅：学校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：莲i 兰 导师签名： 移敬日期：型 上海大学硕士学位论文基于r t p 视频传输及m p e g 一4a v c 编码码宰控制研究 1 1 前言 第一章绪论 上世纪九十年代初随着个人计算机多媒体数据采集、处理能力的增强和因特网的 迅速扩展，多媒体通信也进入了高速发展阶段。静态内容已经让位于流视频，文字让 位于音乐和语音，互动视音频变得越来越常见。这些变化要求新的应用工具，对应用 程序设计者来说，是新的而且独特的挑战。 为适应多媒体内容在互连网上的实时传输，i e t f 组织制定了r t p 协议( r e a l t i m e t r a n s p o r tp r o t o c 0 1 ) 【1 】【2 1 。在本文中介绍了仿真m p e g g 视频网络传输实验平台的实现， 对实现中的些具体问题进行了研究，并对m p e g - 4 先进视频编码的码率控制方法进 行了研究，提出了一种新的m p e g 一4 先进视频编码码率控制方法。 1 2 研究现状 1 2 1r t p 协议简介 目前，互联网上最常见的多媒体通信的应用主要有可视会议和流媒体等。为了支 持这些应用，相关的国际组织已制定了多种规范。其中，i e t f ( t h e i n t e m e t e n g i n e e r i n g t a s kf o r c e ) 与i t u ( t h ei n t e m a t i o n a lt e l e c o m m u n i c a t i o nu n i o n ) 制定的系列标准影响 最为广泛。图1 ，1 描述了这两个机构所制定的协议栈结构。 c a l lc o n t r o l “g h r v v e i 昏h m e d i a m e d i a n e g o t i a t i o n s e s s i o n sc o d e c s r t s ps i p s a pr t p t c pu d p i p i e t f 多媒体传输协议栈 m e d i a r e g i s t r a t i o n c a l lc o n t r o i c o d e c s，a d m i s s i o nm e d i a n e g o t i a t i o n r 仲h 2 2 5 0h ，2 4 5 u d pt c p i p i t u 远程会议协议栈 圈11i e t f 和i t u 关于因特网视音频传输协议栈 第1 负 从图1 1 中，可以看出r t p 协议在因特网视音频传输中处于关键地位，因此研究 r t p 协议在因特网实时视音频传输中的应用与传输特性具有比较重要的意义。 r t p 协议是t e t f 在1 9 9 6 年针对实时数据传输提出的新型协议。该协议可基于多 播或单播网络提供端到端网络实时数据传输，为实时数据传输提供时序重构、帧遗失 检测、数据安全等多种服务。r 1 1 p r t c p 独立于低层协议存在，可应用于多种不同的 网络协议环境，如u d p i p 、i p x 、a a l 5 a t m 等，并可根据用户需求进行相应扩展。 r t p 协议通过实时传输控制协议r t c p 来监控数据传输质量，进行自适应调整。r t p 协议不处理资源预留及保证服务质量等问题。 r t p 协议是一个和应用程序关联度非常高的通信协议，所传送的多媒体信息不同， r t p 协议数据包的包头的使用方法也不相同。在r f c1 8 9 0 t a j 中定义了大部分多媒体信 息的传送方法。另外，i e t f 对特定的媒体资料传送方法作了定义，例如针对m p e g 一4 媒体流的传送协议【4 1 。同时也由于r t p 协议与媒体资料的高度相关性，r t p 协议的实 现方法依赖予应用程序。 1 2 2m p e g 4 视频编码标准 m p e g 4 t 5 j 【6 j 【7 1 是i s o ( t h ei n t e r n a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n ) 和1 1 3 c ( t h e i n t e r n a t i o n a le l e c t o t e c h n i c a lc o m m i s s i o n ) 所制定的标准。它主要包括多媒体综合传输 框架( d e l i v e r ym u l t i m e d i ai n t e g r a t i o nf r a m e w o r k ，d m i f ) 、系统、音频、视频等几个 部分，m p e g 4 标准引入了合成与自然混合编码( s y n t h e t i c a n d n a t u r a lh y b r i dc o d i n g ， s n h c ) 的概念。本论文中主要对m p e g 4 自然视频编码在p 网络上的传输进行了一 些探讨。 m p e g 一4 视频编码提出了基于对象编码的概念，并以此为基础发展出多项新技术： 基于内容的交互功能：基于对象的多媒体存取工具：基于对象的码率控制和编辑功能； 基于对象的时域随机存取：自然及合成数据的混合编码等等。这些新的技术无疑显示 出了未来视频编码可能的一个发展方向。同时，通过四运动向量预测、无限制运动补 偿、a c d c 预测等技术有效地提高了自然视频的编码效率。 近年以来，又通过与i t u tv c e g 小组的合作，将h 2 6 4 标准纳入m p e g 一4 标准， 称为m p e g 一4 先进视频编码( m p e g 一4p a r t1 0 ) 8 1 。该标准采用了大量新的编码技术， 如将原先视频编码中的余弦变换用整数变换替代，在不引起性能降低很多的情况下， 不仅降低了运算复杂度，而且消除了反余弦变换导致的系数漂移。除此之外，还使用 了帧内预测编码、1 ，4 像素精度搜索、多参考帧预测、c a b a c 编码等技术，在相同图 像质量情况下，对自然图像编码效率较m p e g 、4 视频编码标准又获得了较火提高。 第2 页 上海大学硕士学位论文基于r t p 视频传输及m p e g 4a v c 编码码率控制研究 1 2 3m p e g 4i p 网络传输相关标准 目前，与m p e g 一4 网络传输相关的标准有两个，一个是m p e g 一4 系列标准中的多 媒体综合传输框架( d e l i v e r y m u l t i m e d i ai n t e g r a t i o nf r a m e w o r k ，d m i f ) 5 1 ，另一个是 由i e t f 制定的m p e g 4 视音频传输标准r f c3 0 1 6 4 1 。 多媒体综合传输框架【5 】是一个跨各类媒体的传输技术架构，让多媒体应用程序可 以不必了解传输技术细节，缩短应用程序开发的时间，下图为d m i f 的架构图。 1 3 e m e r i t a 0s t r e a m 秘塌p 啪q o t r e a m i m e f f a c e 粤 s m m i i s y n cl _ ”r d 辩停a t 9 4 l t c a t i a n l 坠￥叫u 掣l 辈 n 埘， “u # c l1 3 l ， lf h 时s t r e a _ u1 1 ) m l fl a y e r d m i f n e ， v c ki j 圈圉国圈圈圆圈国 ：3： t 憎h ，m 姒s n t h n i n m s m u xfa o f 细i l o 酣1 6 耐m m p e g - 4 圈1 2m p e g - 4d m i f 框架结构图 我们从图中可以看到m p e g 一4 编码码流( e l e m e n t a r ys t r e a m s ) 经过同步层( s y n c l a y e r ) 之后被切割成s l 。p a c k e t ，再由f l e x m u x 将q o s 需求相近且接收端相同的资料 合并，最后经过t r a n s m u x 将资料传送到网络上。在t r a n s m u x 中，我们就可以选择所 要使用的传输网络，例如可以使用r t p 、a t m 或p s t n 等。 另外一个标准是r f c 3 0 1 6 【“，在该标准中规定了m p e g 一4 视频数据和音频数据的 r t p 包格式。它不要求使用m p e g 一4 系统层的功能。这个标准由于避免了r t p 协议和 m p e g 一4 系统层中规定的一些重复信息，而且可以与其它标准的媒体流进行统一处理， 便于视频会议系统管理，常为h 3 2 3 等协c 义采用。它的缺点是与采用m p e g 4 框架的 应用程序的互操作性较弱。 在本论文所述的m p e g 一4 视频流的r t p 传输实现中，我们采用了r f c 3 0 1 6 标准。 1 2 4 视频编码码率控制 对于视频通信而言，由于通信信道带宽有限，需对视频编码码率进行控制，以保 第3 贝 上海大学硕士学位论文基于r t p 视频传输及m p e g 4a v c 编码码率控制研究 证编码码流顺利传送，并使信道带宽得到充分利用。传统的视频编码器采用了去空 时域相关f 生的帧内帧间预测、离散余弦变换量化和变长码编码技术以达到较高的编码 效率。目前的编码码率控制主要是通过调整视频编码的帧率和离散余弦变换的量化参 数来调整编码器的输出码率。调整视频编码帧率的方法虽然可以调整码率，但是使观 众在观看视频时有动作不连续的感觉，所以目前这种码率控制方法的研究比较少。主 流的码率控制方法是通过调整离散余弦变换的量化参数来调整编码器的码率输出。 针对不同的应用场合，已有许多学者提出多种码率控制策略。在非实时应用中， 可以通过多次编码选取合适的量化参数等大运算量的算法和用待编码视频帧后续的视 频信息来进行编码码率控制【9 l 。在实时应用中，只能使用已有的视频帧的编码信息来 进行编码。本论文中主要研究实时视频编码算法。实时编码码率控制方法主要有两种： 用先前宏块编码产生的比特数来预测当前宏块编码产生的比特数【l0 】；或者通过视频编 码率失真函数来预测当前宏块编码产生的比特数1 2 。1 3 】。 视频压缩编码技术迅速发展。i t u 和m p e g 组织共同制定了一种新的视频编码方 法，在m p e g 系列标准中称为m p e g 一4 先进视频编码标准( m p e g 4p a r t1 0a d v a n c e d v i d e oc o d i n g ，a v c ) 8 1 ，在i t u 中编号为h 2 6 4 。a v c 标准采用了多项新技术，编码 效率得到很大提高。a v c 中的个重要变化是不再直接使用8 8 离散余弦变换作为 其变换编码方法，而是采用从离散余弦变换演化而来的4 4 整数变换。这种整数变换 使变换算法复杂度减小。并且由于是整数运算，消除了浮点运算导致的离散余弦变换 系数漂移现象。 由于原先的基于率失真函数的码率控制方法多是基于离散余弦变换量化，不能直 接用于a v c 标准。现已有两个m p e g 4a v c 码率控制方法的提案f “j 。其中之一是 在j v t f 0 8 6 b 1 提案中通过改进m p e g 2t m 5 t l o 】的码率控制方法，使之能适用于a v c 编码。另一是在j v t g 0 1 2 1 “j 提案中提出用流量往返模型( f l u i df l o wt r a f f i cm o d e l ) 来分配每个基本单元编码比特数，并在宏块层编码采用了二次率失真函数i ”j 计算量化 参数。j v t g 0 1 2 对这两种算法的编码结果进行了比较，认为其算法优于j v t f 0 8 6 算 法。 在本论文中，通过对m p e g 4 视频编码和h 2 6 3 视频编码码率控制方法的研究， 以及对m p e g 一4a v c 标准的研究，分析了整数变换量化方法，在文献【l6 】中所给出的线 性率失真模型的基础上提出一种适用于m p e g 4a v c 编码标准的码率控制算法。 1 3 论文内容及安排 本论文对利用r t p 协议传送m p e g 4 视频码流的过程进行了分析，在此基础上 第4 页 上海丈学硕士学位论文基于r t p 视频传输及m p e g - 4a v c 编码码军控制研究 实现了一个基予r t p 视频传输的实验平台，并对实现过程中所遇到的问题进行了一些 研究。最后，在对编码器码率控制方法进行分析的基础上提出了一套适用于m p e g - 4 先进视频编码的码率控制方法。各章节内容安排如下： 第一章是绪论，这一章简要介绍了目前有关m p e g 4 视频传输的一些标准和本论 文所涉及的内容；第二章在分析一个视频会议过程的基础上对r t p 协议的应用方式进 行讨论；第三、四、五章描述了端到端的m p e g 一4 视频r t p 传输实验平台的实现，以 及其中遇到的一些具体问题的解决方法，并根据m p e g - 4 视频码流的特点利用时间戳 信息提高网络抖动计算准确度；第六章首先分析了目前视频编码码率控制的一些基本 方法，然后提出一个适用于m p e g 一4 先进视频编码的码率控制方法；第七章本文内容 进行了总结，并对今后的工作作了展望。 第5 负 上海大学硕士学位论文基于r t p 视频传输及m p e g - 4a v c 编码码率控制研究 ! lo l l i ! ! ! ! s ! ! ! ! | 自! 自! 自目| s ! ! ! 自 2 1 引言 第二章r t p 协议 网络技术飞速发展，多媒体技术日益成熟，传送声音和视频等具有实时特性数据 的应用也越来越多，在这种情况下提出r t p 协议而且很快得到广泛应用。 r t p 1 1 【2 1 提供了传送具有实时资料的功能，但是它并没有提供资源预留( r e s o u r c e r e s e r v a t i o n ) 或保证服务质量( q o s ) 的功能，它的实现是通过在要送出的资料前加上 r t p 的数据包包头( p a c k e t h e a d e r ) ，利用这些包头它可以提供许多有用的信息，例如： 载荷类型标志、序列号、时间戳和传送状态监控等，再加上r t c p 的反馈( f e e d b a c k ) 功能，我们就可以清楚地了解网络状况。 后面首先通过使用r t p 协议进行远程会议的一个例子来说明r t p 协议为进行实 时媒体信息传送所提供的功能，而后对r t p 协议简要描述，最后总结了r t p 协议所 提供的功能。 2 2 使用r t p i r t c p 进行视音频会议的一个例子 目前有很多关于视频会议的标准，例如：h 3 2 3 、h 3 2 4 ，而在h 3 2 3 中就是利用 r t p 来传声音和视频，以下是一个简单的两个人利用h 3 2 3 开视频会议的例子。 首先，要先知道对方的位置来和对方连线，在h 3 2 3 中定义了一个视频会议伺服 器：- - g a t e k e e p e r ，每个人可以到g a t e k e e p e r 注册或到g a t e k e e p e r 询问某个人所在位 置，知道对方位置后再利用h 2 2 5 0 和b i 2 4 5 这两个连线的控制协议作些视频会议 建立连线之前的信息交换和通道建立( c h a n n e l ) ，建立通道过程中就包含了建立r t p 的通道假设目前有a 和b 要开视频会议，两个人用的声音压缩标准为g 7 2 3 、视频压 缩标准为h 2 6 3 ，那么他们就会建出如图2 1 中的通道： 剀2 1r t p 通道示意图 第6 页 卜海入掌坝上学位论文基于r t p 视频传输及m p e g 4a v c 编码码翠控制研冤 图2 1 中表示了a 和b 之间的声音传送r t p 协议通道，其中上面的r t p 数据传 送声音的信息，也就是每3 0 m s 将有一个r t p 的数据包由a 送到b ，每一个数据包都 会加上r t p 的数据包包头，r t p 数据包按顺序放入u d p 数据包然后进行传送。r t p 数据包包头中包含有音频编码类型，这样数据发送端可以在r t p 会话中更改音频编码 的类型。 由于数据在因特网和其他数据网络的传送过程中可能会发生数据丢失、数据包顺 序被打乱以及数据包传送延时变化等现象，这对接收端的数据接收非常不利。在r t p 数据包包头中包含有时间信息和序列号可以让接收端重建发送端时间信息。在会议中 每个r t p 数据源的时间信息是分开重建的。其中序列号信息也可以用于接收端估计数 据包的丢失率。 在视频会议中，会不时有人参加，也会有人退出，所以我们需要知道谁在什么时 候加入会议，以及他们数据接收情况怎么样。每个参加者需要周期性通过r t c p 端口 ，。播数据接收情况报告和使用者名字。这些接收报告可以被发送端用来调整其数据发 送。当一个参与者退出时，他需要发送r t c pb y e 数据包。 在会议开始时会同样建立视频会话。视频会话一般与音频会话是分开采用两个 r t p 会话过程，网络可以根据不问媒体所要求的网络服务质量来提供服务。 2 3 r t p 数据包格式介绍【1 】【2 】 在上面一节中，我们通过一个视频会议的例子了解了r t p 协议完成实时数据传送 功能所需要的一些基本信息。这节主要介绍r t p 数据包格式 1 l 2 1 。 r t p 数据包包括四个部分： 1 固定的r t p 数据包包头( r 1 、ph e a d e r ) 2 可选数据包包头扩展( r t ph e a d e re x t e n s i o n ) 3 可选的数据载荷头 4 数据载荷( d a t a p a y l o a d ) 在具体实现中，使用的r t p 数据包包含r t p 数据包包头和数据载荷两部分，本 节介绍r t p 数据包包头。 图2 2 是r t p 数据包包头格式，其中r t p 数据包可能含有多个贡献源标识 ( c o n t r i b u t i n gs o u r c ei d e n t i f i e r ) 。下面是r t p 数据包中各数据域含义说明： 第7 兜 上海大学硕士学位论文基于r t p 视频传输及m p e g 4a v c 编码码率控制研究 0l23 01234 5678901234567890123456 78901 + 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一十一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ - - + - - + 一+ 一十一+ 一+ 一+ 一+ 一十一+ - - + 一+ - - + i v = 2j p i x |c ci m ip ti s e q u e n c en u m b e r i + 一+ 一+ 一十一十一十一+ - - + 一+ 一十一+ 一+ 一+ 一+ 一十一+ - + - + 一十一十一十一+ 一+ - - + 一+ 一+ 一+ 一十- + - + 一十一+ 一+ l t i m e s t a m p i + 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一十一十一十一十一+ 一+ 一+ 一+ 一十一+ 一+ 一+ 一十一十一4 - 一十一十一十一十一+ l s y n c h r o n i z a z i o ns o o r c e ( s s r c ) i d e n z i f i e r f + = + = + = + = + ：+ = + = + = + = + = + = + = + = + = + = + = + = + = + = + = + = + = + = + = + = + = + = + = + = + = + = + = + i c o n t r i b u t i n gs o u r c e ( c s g c ) i d e n z i f i e r s i i i + 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一十一+ 一+ 一十一+ 图2 2r t p 数据包包头格式 v e r s i o n ( v ) ：2 b i t s 代表r t p 的版本，目前版本为2 。 p a d d i n g ( p ) ：l b i t 这个比特值为1 时，代表在数据载荷后面有填充( p a d d i n g ) 数据，填充数据中的 最后一个字节说明填充数据的长度。通常只有在加密发送等需要固定长度的数据包时 才会有添加填充数据。 e x t e n s i o n ( x ) ：l b i t 这个数据域表明在r t p 数据包包头后有没有数据包包头扩展。数据包包头扩展取 决于传送的数据载荷种类， c s r c c o u n t ( c c ) ：4 b i t s 表明r t p 数据包包头后面的c s r c 的数量，c s r c 的定义参见下面的解释。 m a r k ( m ) ：1 b i t 这个数据域根据传送数据载荷种类的不同而有不同的用法，通常在声音数据中用 来指示在一段时间静音后第一个有声音数据的数据包。对视频信息则是用在当一个视 频帧( v i d e of l a m e ) 被切割成很多数据包时，最后一个数据包的m a r k 值会被设置为1 。 p a y l o a dt y p e ( p t ) ：7b i t s 用来说明该数据包中的数据载荷格式( p a y l o a df o r m a t ) 。r t p 协议是一个和数据 第8 负 载荷关系很密切的通信协议，目前通常使用的数据载荷都有相应的框架文件说明如何 利用r t p 协议传送。 s e q u e n c e n u m b e r ：1 6b i t s 该数据域在每个r t p 数据包中会累加1 ，可以用来计算数据包丢失的个数，调整 数据包的顺序等等。s e q u e n c en u m b e r 的初始值为随机数，这样可以防止对加密数据的 明文攻击。 t i m e s t a r n p ：3 2b i t s 时间戳数据域是r t p 最重要的数据域，记录r t p 数据载荷的取样时间，可以用 来进行数据源同步( s y n c h r o n i z a t i o n ) 、计算网络抖动等等，在第五章中将说明其计算 方法。时间戳值是从一个线性单调增加的时钟获得。对周期性采样的数据源来说，时 间戳的值是通过其采样间隔来计算。例如，m p e g - 4 框架文件【4 】规定默认采样时钟频 率为9 0 k h z ，而其帧频为3 0 帧秒，这样其两帧之间间隔的时钟周期为9 0 0 0 0 + 3 0 = 3 0 0 0 ，所以每帧视频画面r t p 数据包的时间戳比前一帧的要增加3 0 0 0 ，而一个视频 画面被切成很多数据包时，则每个数据包的时间戳值相同。另外，时间戳的初始值也 是取随机数，原因同s e q u e n c e n u m b e r 。 s s r c ：3 2b i t s 该数据域用来辨别同步源( s y n c h r o n i z a t i o ns o b r c e ) ，所谓同步源就是指一个r t p 数据发送源，例如，一个视频的数据流就会有一个s s r c ，而声音的数据流也会有另 外一个s s r c 。s s r c 的值也是取随机数，但是必须注意防止s s r c 值发生冲突的问题。 c s r cl i s t ：一个c s r c3 2b i t s ，最多可以有1 5 个c s r c r t p 协议可以通过混合器( m i x e r ) 把多个数据源的数据混合成一个数据流p 1 ，则 这个数据域用来存放被合并的信息流的s s r c ，个数则由c c 数据域来决定。因为c c 数据域只有4 个比特，所以最多只能放1 5 个c s r c 。 2 4 r t c p 数据包介绍【1 l 2 l r t c p 协议f 2 1 为r t p 控制通讯协议，最主要提供反馈的机制，能让发送端和接 收端互相知道数据收发情况。 第9 页 r t c p 有以下五种数据包格式： s r ( s e n d e rr e p o r t ) ；传递发送端的信息。 r r ( r e c e i v e rr e p o r t ) ：传送接收端收资料的情况。 s d e s ( s o u r c ed e s c r i p t i o n ) ：传送一些和使用者相关的信息。 b y e ：通知一个使用者离开。 a p p ：传送一些应用程序定义的资料。 图2 3r t c p 复合数据包 图2 3 是r t c p 复合数据包示意图，通常是几个r t c p 数据包复合后进行发送。 图中黑色区域是一个3 2 b i t 的随机数，在数据进行加密时才会存在，可以防止明文攻 击。然后紧接着是s r 数据包、s d e s 数据包和b y e 数据包。如果存在r r 数据包时， 应放在s r 数据包之后，s d e s 数据包之前。 2 4 1s r ：s e n d e r r e p o r t r t c p p a c k e t 图2 4 是s r 数据包的结构示意图。可以看到这是一个复合数据包，第一个数据 包是发送端信息( s e n d e ri n f o ) ，后面是回报数据块( r e p o r tb l o c k ) 。说明发送端在发送 数据同时也在接收数据，所以数据包中也会有回报数据块，回报信息接收情况。其中 各字段的含义如下所述： v e r s i o n ( v ) ：2b i t s 代表r t p 的版本，目前版本为2 。 p a d d i n g ( p ) ：1b i t 用法和目的与r t p 数据包相同，l e n g t h 数据域的值必须将补充数据包含在内。 r e c e p t i o nr e p o r tc o u n t ( r c ) ：5b i t s 当一个通道收到很多发送端送来的数据，则针对每个发送端必须有一个回报数据 块，此数据域代表回报数据块的个数。 0 123 0i234 567890123456 了890i 2345678901 + 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ + 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ + 一+ 一+ h e a d e riv = 2 i p ir c ip t ：s r = 2 0 0l l e n g t h i + 一+ 一+ 一+ 一+ 一+ 一十一十一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一十一十一十一+ 一十一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一十一+ s s r ce fs e n d e rl + 2 + 2 + o + 5 + 2 + 2 + 2 + = + = + = + = + = + 2 + 2 + = + ：+ 2 + 3 + = + = 4 - = + = + 2 + 2 + = + 2 + 2 + 2 + = + = + = + = + s e n d e rii i t p t i m e s t a m p ，m o s ts i g n i f i o a n tw o r d i i n f o+ - + - + 一+ 一+ 一4 - - + 一+ 一+ 一+ 一+ 一+ 一+ 一十一+ 一+ 一+ - + - - + - + 一十一+ 一+ 一+ 一+ 一+ - + - - + - + - - + - + - - + - - + l i t p t i m e s t a m p 。l e a s ts i g n i f i o a n tw o r d i + 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ - + 一+ 一4 - + 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ ir t pt i m e s t a m pf + 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ - + - + 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ ls e n d e r d a c k e tc o u n t i + 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一十一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ is e n d e r so c t e tc o u n ti + 2 + = + = + = + = + = + = + = + 2 + 2 + = + 2 + = + = + ：+ o + 2 + 2 + ：+ 2 + = + = + = + = + 2 + 2 + = + = + ：+ = 4 - o + 2 + r e p o r t is s r c 1 ( s s r co ff i r s ts o u r c e )i b l o c k+ 一+ 一4 - - + 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 叶一+ 一+ 一+ 一4 - - + - + 一+ 一+ 一+ 一+ 一+ 一+ 一+ 1if r a c t i o nl o s tic u m u l a t i v en u m b e ro fp a c k e t bl o s tl + 一十一+ 一+ 一+ 一+ 一+ 一十一十一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ + 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ ie x t e n d e dh i g h e s ts e q u e n e en u m b e rr e c e i v e di + 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ + 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ ji n t e r a r r i v a l1i t t e ri + 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ - 4 一+ 一+ 一+ 一+ 一+ 一十一+ 一4 - - + 一+ 一+ 一+ 一+ il a s ts r ( l s r )l + 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一十一+ + 一+ 一+ 一+ 一十一+ 一+ 一+ 一+ 一+ 一+ 一+ 一十一+ 一+ 一+ 一+ 一+ 一十一+ 一+ 一+ |delay 8 i n c el a s ts r ( d l s r )i + = + = + = + 2 + = + = + o + = + = + = + = + ；+ 2 + = + = + 2 + 3 + = + ：+ 2 + 2 + ：+ 2 + = + = + = + 2 + o + 2 + = + 2 + 2 + r e p o r t l s s r c 一2 ( s s r co f s e c o n ds o u r c e ) i b i o c k+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 2 ：，： + = + = + 2 + 2 + = + = + ；+ 2 + 2 + 2 + = + 2 + 2 + = + = + = + = + = + 2 + 2 + = + = + = + = + 2 + 2 + = + = + = + = + = + o + i p r o f i l e s p e s i f i ce x t e n s i o n s l + 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一4 - - + 一一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ p a c k e tt y p e ( p t ) ：8b i t s s r 的p t 值为2 0 0 。 图2 4s r 数据包结构 l e n g t h ：1 6 b i t s 整个r t c p 长度除以4 再减1 ，包含数据包包头和填充数据。 s s r c ：3 2b i t s 同r t p 数据包的s s r c 。 n t p t i m e s t a m p ：6 4b i t s n t p 为n e t w o r kt i m ep r o t o c o l ，其目的是得到一个统一的时间。这个数据域的值 笫j 1 兜 为1 9 0 0 年1 月1 日到目前的时间，有了这个数据域，我们就可以让不同机器送出来的 资料能够进行同步( s y n c h r o n i z a t i o n ) 。但是如果没有n t p 可以使用，也可以用自己机 器的时间，但是如此一来就失去同步不同终端数据的优点，在第五章将对此问题加以 讨论。 r t p t i m e s t a m p ：3 2 b i t s 此数据域的值为传送该r t c p 数据包时对应到r t p 数据包的时间戳值。例如，在