（信号与信息处理专业论文）基于rtp的安全视频会议系统.pdf

ab s t r a c t ab s t r a c t t h e a g e o f n e t w o r k h a s c o m e w h ic h h a s c h a n g e d p e o p l e s t r a d i t i o n a l w a y s o f li v i n g a n d w o r k i n g , a vi d e o c o n f e r e n c e c a n c a l l i n t h e p e r s o n s s e p a r a t e d o n e fr o m a n o t h e r i n d i ff e re n t p l a c e s i n t o a v i r t u a l m e e t i n g - r o o m . b y t h i s w a y p e o p l e c a n c o m m u n i c a t e e a c h o t h e r i n r e a l - t i m e , re d u c e t h e r e l a t i v e c o s t a n d i n c r e a s e t h e w o r k i n g e ff i c i e n c y . t h i s t h e s i s g i v e s a f o c u s o n t h e d e s i g n a n d i m p l e m e n t o f t h e i d e o c o n f e r e n c e a n d m a k e s a d e e p l y a n a l y s i s , d e s i g n a n d i m p l e m e n t o n i t . a t f i r s t t h i s t h e s i s d i s c u s s t h e f o u n d a t i o n f r a m e w o r k o f t h e vi d e o c o n f e r e n c e , e s p e c ia l l y p o i n t s o u t t h e m e d i a p l a y i n g f u n c t i o n s a n d i m p l e m e n t s o f j mf ( j a v a me d i a f r a m e w o r k ) .s e c o n d ly , i t m a k e s d e e p l y a n a l y s i s o n m e d i a d a ta t r a n s m i t t e d妙 n e t w o r k o v e r r e a l - t i m e t r a n s p o r t p r o t o c o l , i l l u s t r a t e s t r a n s m i s s i o n p r o g r e s s o f t h e m e d i a i n f o r m a t i o n i n t h i s v id e o c o n f e r e n c e s y s t e m ( v c s ) . a f t e r r e c o m m e n d i n g t h e t h e o ry a n d i m p l e m e n t o f t h e e n c r y p t i o n m e c h a n i s m , t h i s t h e s i s e m p h a s i z e s th e c o n c r e te r e a li z a t io n o f d e s e n c r y p t io n m e c h a n i s m o n t e x ts . a t la s t , t h e a u th o r g iv e s a s u m m a r iz a t i o n o n t h e v c s a n d b r in g s f o r w a r d t h e d i r e c t i o n o f i t 恤t h e f u t u r e . i n c o n c l u s i o n , w i t h a d e ta i l e d a n a l y s i s a n d i l l u s t r a t i o n o n t h e d e v e lo p m e n t o f t h e vi d e o c o n f e r e n c e s y s t e m b a s i n g o n t h e n e t w o r k s e c u r i ty , t h i s a r t i c l e g i v e s a p r o p o s i t i o n o f s o l u t i o n a n d m e t h o d a b o u t t h e d e v e l o p m e n t a n d a p p l i c a t i o n o f v c s . k e y wo r d s : v i d e o c o n f e r e n c e s y s t e m , e n c r y p t i o n , n e t w o r k s e c u r i ty , i n s t a n t c o mmu n i c a t i o n 1 1 南开大学学位论文版权使用授权书 本人完全了 解南开大学关于收集、保存、使用学位论文的规定， 同意如下各项内容:按照学校要求提交学位论文的印刷本和电子版 本;学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、 数字化或其它手段保存论文; 学校有权提供目 录检索以及提供 本学位论文全文或者部分的阅览服务; 学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版; 在不以赢利为目的的前 提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名: ”7 年歹 夕 经指导教师同意，本学位论文属于保密，在 本授权书。 年解密后适用 指导教师签名:学位论文作者签名: 解密时间:年月日 各密级的最长保密年限及书写格式规定如下: 5 年 ( 最长 5 年，可少于 5 年) ! 秘 密 i“ 年 最 长 i” 年 ， 可 少 于 i。 年 机 密 * 2 0 年 最 长 2 。 年 ， 可 少 于 2 0 年 ， 南开大学学位论文原创性声明 本人郑重声明: 所呈交的学位论文， 是本人在导师指导下， 进行 研究工作所取得的成果。 除文中已 经注明引用的内容外， 本学位论文 的研究成果不包含任何他人创作的、 已 公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体， 均己在文中以明确方式标明。 本学位论文原创性声明的法律责任 由本人承担。 学位论文作者签名: 7 月 o 第一章绪论 第一章绪论 第一节引言 伴随着网 络宽带的 普及， 人们对视频和音频信息的需求愈来愈强烈， 近些 年来， 依托计算机技术、通信技术和网络条件的发展，视频会议系统以其直观 性、交互性和实时性在远程商务、 远程教育、 远程医疗以 及航空航天等经济和 军事领 域都得到了 相当 广泛的 应用。 . 早在2 0 0 2 年， 美国i d c预测的本年度i t 业界热点技术中， 视频会议技术就位居前列。 另外， 全球盛名的通讯专业领域 w a i n h o u s e 研究机构在2 0 0 1 年7 月份所提供的 预测资 料中 也指出，从新的一年 开始将揭开视频会议领域迅猛发展的序幕。 但随之而来的安全问题也更加困扰业界，在我国建设第一个会议电视网的 时候，就已经提出了视频会议系统的安全保障问 题。( a : k 4r *9 - :t vm) 如果视频会议系统在安全方面出 现问题，有黑客或者是非授权的用户非法 加入到会议中，那就意味着恶意攻击者可以 监听会议内容，甚至把会议的内容 录下来，在网上公开散播，这将会对正常用户造成无法估计的损失，所以安全 问题是视频会议一个非常重要方面。 由 于计算机网 络具有系统复杂性、资源共享、 边界不可知、传输信息的路 由不确定性、电磁辐射等原因使其本身的安全性很低。 网络在我国起步较晚， 一些与网络有关的技术还不十分成熟，在现有的许多网络中至今还在传输裸信 息， 据有关调查，目 前我国企业采用信息加密的仅s % 。即 使传输经过加密的数 据，也大多采用传统密码体制。 因此，网络的安全系数一般都比较小。 数据加密是确保计算机网 络的重要安全机制，因此， 对网络传输的数据加 密和解密进行深入研究，开发出适用于网络环境下的信息加密解密系统很有意 义。 网 络加密的方式主要有 链路加密、端对端 加密， 端对 端加密的工作仅在目 的 节点和源节点进行， 所以 成 本低、 使用灵活.0 第二节 第一章绪论 网络视频会议介绍 1 . 2 . 1 视频会议系统的概念 视频会议系统 ( vid e o c o n f e r e n c e )是指两个或两个以上不同地方的个人或 群体通过传输线路 及多媒体设备，将声音、影像及文件资料互传， 达到即时且 互动的沟通。 视频会议系统是集通信、计算机技术、多媒体技术于一体的远程异地通信 方式。在召开视频会议时，处于两地或多个不同 地点的与会代表，既可以听到 对方的声音， 又能 看到对方的形象，同时 还能看到对方会议室的 场景，以 及会 议中 展示的实物、图片、表格、 文件等， 与真实的会议无异，使每个与会者 有 身临其境之感。在实际应用中，视频会议能够提高工作效率，降 低远距离会议 的费用。 视频会议系统 传送的是多媒体数据，与普通数据不同，由于声音和动态图 像的 源信号的数据量较大，无法直接在一般条件的数字线路上传输。同时， 基 于对实际使用效果的要求，用户还要求传送的声音、图像信号连续平滑，其它 辅助功能使用简捷。因此，要达到这样的效果， 系统在声音/ 图像压缩、通讯线 路条件、数据l 1 用程序共享等方面都对技术提出了很高的要求。 1 . 2 . 2 视频会议系统的历史 视频会议系统是多媒体计算机技术与 通信技术相结合的产物。视频会议系 统对数字化的视、 音频及文本数据等多 媒体信息 进行综合处理， 通过通信网 络 对多 媒体数据进行实时传输，利用计算机系统提供的良 好的交互功能和管理功 能，实现人与人之间“ 面对面” 的虚拟会议坏境。 视频会议的最初形式是会议电视， 最早是由 美国的贝尔实验室研制出来的。 1 9 6 4年，美国贝尔实验室在纽约国际博览会上展出了世界上最早的可视电话机 p i c t u r e p h o n e m o d - 1 , 它的频带为3 0 0 到3 4 0 0 h z ， 即在一个模拟话路上传送黑白 静止硬拷贝图像， 其图像和话音采用时分传送方式。 其后，美国b t公司研制出 1 m h z 带宽黑白 会 议电 视系统， 可提供黑白、 静止 或活动的点对点 会议电 视业务 。 经 过改 进后 的p i c tu r e p h o n e m o d - 11 于7 0 年 代 初 在匹 兹 堡和芝 加 哥 之间 开 始 用 于商业业务. 其后也出现了各种改进及其它的会议电视系统， 但此时的 会议电 视系统由于其大带宽要求使其实用性不大。 第一章绪论 1 9 8 4 年，原m i t制定出适合e l 或t i 通信网的m o o 系列建议，首次为 会议电 视和可视电话制定了 标准。国际标准的制定大大激发了世界各国对会议 电视系统的研制、 开发的 积极性。 但是由于h a 0 0 系列建议采用固定的基群速率 传输及简单的图像压缩技术，因而仍不能满足实际会议电视的需要。到现在， h . 1 0 0 系列建议虽然没有被宜布作废，但实质上它己经逐渐自 行消退了。 1 9 8 8 年，原c c i r 和c c i tt 共同开展了图像标准化方面的 工作， 不断提出 和完善会议电视的统一标准- h .2 0 0 系列建议， 把会议电视标准化推向 新的阶 段，同 时也为会议电 视的实用化铺平了 道路。1 9 8 8 年， 原c c 1 tt 的第十五研究 小组提出了视频会议、 可视电 话的h . 2 6 1 建议， 并于1 9 9 0 年1 0 月 通过。 该建议 不仅规定了编码器的主要结构，也规定了会议电 视视频信号的组成、纠错方法 和数据结构，为各种产品的国际间互通提供了保证。从此，会议电视作为一种 产业开始迅速发展，也就是从这个时 候开始，会议电 视才可以 称得上是视频会 议。此后，原c c i tt 又制定了h .3 0 0 系列标准，对视频会议系统的性能指标、 压缩算法、信息结构、 控制命令、 规程和组建会议电 视网的原则作了 完整的规 定。 上世纪6 0 年代，发达国家就己 经开始了视频会议的 研究。早期的视频会议 系统以 模拟方式传输，占 用很大的带宽，其代表有美国贝尔实验室研制的可视 电话、英国b t公司的1 m比 特带宽黑白视频会议系统。上世纪8 0 年代末、9 0 年代初，随着微电子、计算机、 数字信号处理及图像处理技术的 发展， 视频会 议的理论研究和实用系统研制方面也得到了迅速发展。 总的来说，其发展主要经历了 模拟视频会议、 数字视频会议 和国际统一标 准的数字视频会议系统三个阶段， 大体过程如下: 2 0 世纪6 0 年代初， 发达国家开始研究模拟视频会议系统，并逐渐商用化; 2 0 世纪6 0 年代末期， 在压缩编码技术的推动下， 由 模拟系统转向数字系统: 2 0 世纪8 0 年代初期， 研制出2 m i s 彩色数字视频会议系统，日 本和美国形 成非标准化的国内视频会议网: 2 0 世纪8 0 年代中期， 大规模集成电路技术快速发展， 图像编解码技术取得 突破， 信道费用降低，为视频会议走向实用提供了良 好的发展条件: 2 0 世纪9 0 年代初， i t u - t 推出的h . 3 2 0 标准， 结束了 各制造商因编解码标 准、 算法不统一而带来的混乱无序. 该标准对视频会议系统的性能指标、信息 结构、 控制命令、规程和组网原则做了完整的规定， 还规定了 编 解码器的主要 第一章绪论 结构，同时也规定了视频会议的信号的组成、数据结构，这一系列标准的制定 为各种产品在网络上的互通提供了保证。 1 9 9 6 年6 月， i t u - t又制定了基于分组交换网络视频会议标准一11 . 3 2 3 协 议. 分组交换网 络包括局域网、企业网、城域网、 a t m网、i n t r a n e t 和i n t e r n e t . 还包括遵循分组交换协议如p p p的p s t n( 公共交换电话网络)和i s d n( 综合 业务数字网) 等。 11 .3 2 3 视频会议不仅可以利用己 有的网 络设施，而且可以利用 互联网上丰富的信息资源0 11 . 3 2 3 视频会议和11 .3 2 0 视频会议的互连互通可以通 过h .3 2 3 / h . 3 2 0 网关实现。 视频会议系统自1 9 9 3 年进入我国，在近 1 0 年得到了快速的发展，从政府 机关、金融系统逐渐发展到远程医疗、远程教学、 企业管理等领域。国内、外 很多科研机构和厂商都进行了多点视频会议通信系统的 研究，并推出了各自 的 视频会议产品。 1 . 2 . 3 视频会议系统的类型 根据运行环境和支持标准等视频会议系统可以 划分为以下不同的类型。 ( 1 )根据会议节点数目 不同，视频会议系统分为点 对点视频会议系统和多 点视频会议系统。 点对点视频会议系统应用于两个通信节点间。 多点视频会议系统应用于两个以上节点之间的 通信。 ( 2 ) 根据运行的通信网络不同，视频会议系统分为 数字数据网 ( d d n ) 或 其他专用网型、 局域网 广域网型 ( l a n / w a n ) 和公 共交换电 话网型 ( p s t n ) 3 种。 使用d d n或专用网， 在3 8 4 2 0 4 8 k b i t/ s 速率下， 可提供2 5 - 3 0 恤秒的 c i f 或q c i f 图 像; 在l a n i w a n环境中， 运行 在3 8 4 k b it / s 速率下， 可提 供每 秒1 5 2 0 帧的图像; 而在p s t n上，运行在2 8 .8 k b i t/ s 或3 3 . 6 k b i t / s 等速率下， 只能达到5 1 0 帧/ 秒。 ( 3 ) 根据技术支持类型的不同，视频会议系统可分为基于线路的视频会议 系统和基于分组的视频会议系统， 但是现在两者间的界限已 经越来越模糊。 基 于线路的视频会议系统， 也称为常规视频编解码系统， 依照专用线路提供一个 的比特率，诸如租用线路或公用线路交换服务。 基于分组的视频会议系统是从 分组视频通话系统演化而来的，其基本原理是相同的，即利用桌面计算机支持 第一章绪论 视频会议的服务。 ( 4 )根据所选用的终端类型不同， 视频会议系统又可分为桌面视频会议系 统( d e s k t o p v i d e o c o n f e r e n c e ) 、 会议 室 型 视 频会 议 系统( r o o m / r o l l - a b o u t v i d e o c o n f e r e n c e )和可视电话系统。 桌面型视频会议系统是在普通计算机上增加一些附加设备，主要利用计算 机软件完成会议功能。 会议室视频会议系统在带有环境控制设备的 专用会议房间里装置一个或多 个大屏幕，系统由屏幕、摄像机、麦克风和辅助设备等组成。这些配置是充永 久性的，它们不能移到别的房间或大楼内，但可以 提供高质量的视频和同步音 频。 可视电 话系统主要用于点对点通信， 它满足了 在电话上进行视频会议传输 的需求。系统组成包括一个小屏幕、内 部摄像机、 视频编解码器、音频系统和 键盘1z 1 第三节开发工具简介 j a v a 是由s u n m i e ro s y s t e m开发的 一 种功 能强 大的新型程序设 计 语言. 是 与 平台无关的编程语言。它是一种简单的、面象对象的、分布式的、解释的、 键 壮的、安全的、结构的中立的、可移植的、 性能很优异的、多线程的、动态的、 语言， j a v a自 问 世以 后，以 其编程简单、 代码高效、可移植性强，很快受到了 广 大计算机编程人士的青睐。 j a v a 语言是i n t e r n e t 上具有革命性的编程语言， 它具 有强大的 动画、 多媒体和交互功能， 他使w o r ld w e b 进入了一个全新的时 代. j a v a 语言与c + + 极为 类似， 可用它来创建安 全的、 可移植的、多线程的交互式程序. 另外用j a v a 开发出 来的程序与平台无关， 可在多 种平台上运行。后台 开发， 是 一种高效、实 用的编程方法。人们在屏幕前 只能看到例如图案、计算的 结果等. 实际上操作系统往往在后台来调度一些事 件、 管理 程序的流向等。 例如操作系 统中的 堆栈， 线程间的资源分配与管 理，内 存的 创建、访问、管理等。 可谓举 不胜举. 13 1 本系统采用的开发工具j b u i l d e r ( 2 0 0 6 ) 是b o r l a n d 公司用于j a v a 程序设计 的一套集成化软件开发环境。( 图1 . 1 ) 第一章绪论 本文的创新点和着眼点在于可以根据用户的需要和习惯设置密码，来加密 所要传输的 数据， 这与系统平台 本身约定的加密 方式相比就有了 很大的 灵活性， 更有利于数据传输过程中的安全。 第二章视频播放与传输的框架结构 第二章视频播放与传输的框架结构 本章将从两个方面来介绍视频会议系统的基础框架结构，第一节主要介绍 j a v a me d i a f r a m e w o r k ( j mf )的结 构和工作机制，并详细说明利用 7 v 来处理 和播放音/ 视频的原理; 第二节简单介绍了什么是rip协议， r t p 协议中的一些 基本概念，以及如何与af结合实现视频的传输。 第一节j a v a 媒体框架( j m f ) 介绍 j a v a 媒体框架 ( j m f ) 使你能够编写出功能强大的多媒体程序， 却不用关心 底层复杂的实现细节。 j mf a p i 的使用相对比较简单， 但是能够满足几乎所有多 媒体编程的需求。j m f 中包含了许多用于处理多媒体的a 尸 【 。 j iv 目 前的最新版本是2 . 1 . s u n 通过它向 a v a 中引 入处理多 媒体的能力。 下面是 mf所支持的功能的一个概述: .可以 在j a v a a p p le t 和 应 用程 序中 播 放各 种媒 体 文 件， 例 如a u , a v i , m i d i , m p e g , q u i c k t im e 和w a v等文件. .可以播放从互联网上下载的 媒体流。 .可以 利用麦克风和摄像机等设备截取音频和视频， 并保存 成多 媒体文件。 .处理多媒体文件，转换文件格式。 .向互联网上传音频和视频数据流。 .在互联网上广播音频和视频数据。 2 . 1 . 1 j m f 的安装 当 下载了j m f 2 . 1以 后， 运行j m f - 2 _ 1 _ 1 b - w in d o w s - i 5 8 6 .e x e . 该 程序会将 j m f 2 . 1 安装到你指定的目 录下。当 安装成功后，你需要确认一下安装程序正确 设 定了c l a s s p a t h和p a t h环境 变量。 在c l a s s p a t h中 需 要 包 含j m f .j a r 和 s o u n d j a r : 在p a t h中 需 要 包含j m f 动 态 库的 路 径。 j m f r e g i s t r y( 注册j m f ) 如果你希望使用视频和音频截 取的设备，你需要确认安装了 这些设备的驱 动 程 序。 除 此之外， 你 还需要 运行j m f r e g i s t r y 应用 程序。 j m f r e g i s t ry可以向 j m f注册新的数据源、 媒体处理器、插件、视频和音频截取设备，然后你才能 第二章视频播放与传输的框架结构 以在网络上传输，但如果让实时的 媒体数据在远程主 机上还未完全下载就进行 播放， 就不能够采用t c p 协议了，因为t c p 协议具有封包的可靠性. 也就是当 封包丢失时， t c p就会要求重传，一旦重传发生了. 这将会影响整个传输的速 率， 相反的u d p 是一种不可靠协 议，它并不保证每个包都会到 达目的 端，也不 会保证目的端会收到顺序正确的包，因此u d p 会有丢失数据包、收到重复包以 及收到不正确顺序包的 代价， 但此代价的开销却比使用t c p 时要小。 用u d p 通信还有以 下优势: 1 .系统开销小、速度快 2 .对绝大多数基于消息包传递的应用程序来说，基于帧的 通信 ( u d p )比 基于流的通信 ( t c p ) 更为直接和有效 3 对应用部分实 现系统冗余、任务分担提供了 极大易实现性及可操作性 4 . 对等的通信实体、 应用部分可方便的根据需要构造成客户服 务器模型及 分布处理模型，大大加强应用在可操作性及维护性的能力 5 .可实现完全图 模型的网状网络拓扑结构，可大大增强系统的容错性 目 前u d p 协议的不足: 1 .无连接 2 .通信不可靠 无连接特性在某些应用可能是 优势， 但大部分的 应用都是需要有连接的， 我们在参考t c p协议及i s o 7 层协议、 x .2 5 协议的基础下， 设计了一套基于u d p 的通信协议来实现基于u d p的可靠通信及弱连接特性。 u d p 主要由以下几点保证: 1 .有序 2 .可靠性保证 3 .同步 4 .超时重拨 5 . n - r a q确 认 ( 包 括 捎带 机 制) 6 .选择拒绝 7 .量控制 ( 滑动窗口 协议) u d p 协议的状态驱动图:如图2 . 9 0 1 8 1 第二章视频播放与传输的框架结构 图2 .9 u d p 协议的 状态驱动图 综上，u d p 就成为实时多媒体数据传输的首选。 2 . 2 . 1 . 1 u d p 协议的 工作流程 是一 个基于u d p 的弱连接的协议， 该概念意味 着协议要维护流入、 流出 通 信模块的每个用户数据帧的状态和状态信息这样的一个事实，但对连接的建立 及释放也没有t c p 等协议要求的严格。 通信模块用 一个t c b ( t r a n s f e r c o n tr o l b l o c k )来管理、维护一个链路的状态。 下图2 . 1 0 -a所示是一个正常的通信过程。 a正常的通信过程b数据帧p d u丢失图c 确认帧丢失图 图2 . 1 0 u d p 协议工作流程图 第二章 视频播放与传输的框架结构 2 . 2 . 1 . 2 u d p 协议对丢失包的处理 1 数据帧p d u ( p r o t o c o l d a t a u r u t ) 丢失。 如图2 . 1 0 -b ， 发送方p d u ( 3 ) 在传输中 丢失， 接收方 ( p 2 ) 在收到p d u ( 1 ) . p d u ( 2 ) 后接收 到p d u ( 4 ) . 因为当 前要接收的序号为3 ， 因 此接收 方发送r e j ( 3 ) ， 表示当前要接收的是p d u ( 3 ) ，同 时也对3以前的p d u进行一次确认;发送方收到r e j ( 3 ) 后， 直接重 发p d u ( 3 ) ，同时把重发队列中 序号小 于3 的帧从队列中移走 ( 己确认) 。 2 . 确认帧丢失。 如图2 . 1 0 - c a c k ( 3 ) 丢失， 但接收方下一确认帧a c k ( 5 ) ,就对于 5以下的自 然确认。若发送方的一个确认帧也没有收到，则发送 方在重发定时器到达后，把重发队列尾的p d u重发出去接收方在收到 序号比当 前接收 序号n 小的p d u后， 立即 发送a c k ( n ) . 综上所述，无论是丢失数据帧还是丢失确认帧，协议均能纠正过来，保证 数据的可靠传递。 控制帧的发送及等待帧均有多次重试机会，对于网络的丢失包也不失引起 协议的工作不正常。如在握手阶段的s y n帧，在未收到s y n - a c k之前连续启 动握手定时器8 次，直到收到s y n - a c k为止。在重发若干次p d u后均不能收 到a c k 后， 链路进入p o l l o t . 9 4 ) 状 态， 发送r r 控询包， 在未收到r r - a c k 或r n r 之前连续启动探询定时器5 次， 直到收到应答消息为止。 2 . 2 . 1 . 3 u d p 协议的几种异常处 理 1 ， 正在通信的两方中， 发送方异 常退出，后又再建立连接。 2 .正在通信两方中，接收方异常退出。 综上所述，在通信过程中， 任何一方发生故障，在故障排除通信模块工作 后， 协议 均可保证通信自 动恢复， 这在实现系统的冗余备份， 任务分担等功能 时至关紧要。 2 . 2 . 2 实时传输协议r t p 1 . r i p协议: r t p( r e a l - t i m e t r a n s p o rt p r o t o c o l ) 协议最初是 在7 0 年 代为了 尝 试 传输声 音文件， 把包分成几部分用来传输语音，时间标志和队列号。 经过一系列发展， r t p 第一 版本在 1 9 9 1 年8 月由 美国的 一个实验室发布了。 到本世纪1 9 9 6 年形 成了标准的的版本。 第二童视频播放与传输的框架结构 很多著名的公司如n e t s c a p e ， 就宣称 n e t s c a p e l i v e m e d i a 是基于 r t p协议 的。 mi c r o s o ft也宣称他们的 ne t me e t i n g ” 也是支持r 7 ，协议。 r e a d - t i m e m e d i a f r a m e w o r k s a n d a p p l i c a t i o n 黔一鄂 r e a d - t i m e c o n t r o lp r o t o c o( r t c 1 ) 犷至翠摧 r e a d - t u n e c o n t r o l p r o t o c o l ( r t p 二 劣一 换纂 舟 套 图2 . 1 1 r t p 协议结构图 r t p 被定义为传输音频、 视频、 模拟数据等实时数据的传输协议， 见图2 . 1 1 0 从图中可以 看到， r t p 协议属于独立的通讯协议，它建立在u d p 协议之上， 最 初设计该协议是为了数据传输的多播，但是它也可用于单播。与传统的注重的 高可靠的数据传输的运输层协议相比，它更加侧重的数据传输的实时性。此协 议提供的服务包括时间载量标识、数据序列、时戮、 传输控制等。 r t p与辅助 控制协议r t c p 一起得到数据传输的一些相关的 控制信息。 j m f提供了一个 r t p与传输层的接口，可以实现基于任何传输层 ( t c p i u d p ) 的网络流媒体应用。另外它是一种采用j a v a 语言开发流式媒体应 用的a p i ， 通过利用j a v a 平台的优势， 为 访问 底层的 媒体框架提供了 一个通用 的跨平台j a v a a p i 。虽然j a v a 经常被批评为使用效率低下，但是由于j mf 使用 本地库播放媒体所以可以 克服j a v a 潜在的效率问题。 对整个系统而言效率瓶颈 还是在网络上， 尤其是当系统运行在w a n s 上h i 2 .关于r t p 协议中的重要术语: ( ”r t p 包: 它是一个数据包， 它是由 一个固定的r t p 头文件， 一个贡献 源 ( 见下面的注释)( 该贡献源可能为空)以 及有效载荷的数据共同组成的。有 一些底层协议可能需要一个 r t p包的封装。典型的 情况是底层协议的一个包只 包含一个r t p 包， 但是如果只要封装的方法允许，也可以包含几个r t p 包。 第二章 视频播放与传输的框架结构 ( 2 ) r t c p包:它是一个控制包。它是由一个固定的头文件以 及结 构化元 素组成的。 其中头文件与r t p头文件相类似，结构化元素是随着r t c p 包类型 的不同 而不同的。 一般都是将多个r t c p 包 作为 一个复合的包在底层协议 的 单个 包中发送。 该功能是由每个r t c p 包头文件中的长度字段来实现的。 ( 3 ) 传输地址:是一个网 络地址和端口的组合，这个组合主要用来 识别一 个传输层的瑞点， 例如: 一个ip地址和一个u d p 端口。 包是从一个源传 输地址 到一个目 的传输地址的。 ( 4 ) r t p 会话: 在使用r t p 通信的参与者之间建立的一组关联。 对 每一参 与者来说，会话是由一对特殊的目 的传输地址 一个网络地址加上一个r t p和 r t c p 的 端口 对) 所定义的。目 的 传输地址 对对于所有的参与者来说可以 是共同 的， 和ip组播的 情况相类似; 但也可以 是不同的，与单播的 情况类似， 单播的 情况是网络地址加一个公共的端口 对。在一个多媒体会话中，每种媒体 都是在 一个单独的r t p 会话中和它自己 的r t c p 包一起被携带的。多个r t p 的 会话是 由不同的端口 数目 对或不同的组播地址来区分的 。 ( 5 )同 步源标识符 s s r c ) :是r t p包流的源，是由一个3 2 位的s s r c 数字标识符来识别的， 该标识符由r t p 的 头文件所携带。 之所以 用头文件 携带， 是为了 不依赖网 络地址。从一个同步源出 来的所有的包构成了 相同的时 间和序 列号空间部分。 所以在接收端就可以 用同 步源为包分组，从而进行回放。同步 源可以改变它的数据格式， 例如音频编码等。 s s r c标识符是一个随机选择的 值， 这就意味着在一个特定的rip会话中，它的值是唯一的。一个参与者在一个多 媒体会话中 不需要对所有的r t p 会话使用相同的s s r c标识符， s s r c 标 识符的 绑定是通过r t c p 来提供的. 如果一个参与 者在一个r t p 会话中 产生了 多 个流， 例如是从不同的数码相机产生的， 那么每个流就必须用一个不同的s s r c 标识符 来识别。 ( 6 ) 贡 献源标识符 c s r c ) : 对一个 r t p混合器产生的组合流有 贡献的 r t p 包的源。 混合器中插入一列有参与源的s s r c标识符。 这一列被称为c s r c 列表。 一个典型的例子就是音频会议，混合器表示所有的谈话者的谈话 被组合 起来产生一个将要发出去的包，允许接收端确认当前的谈话者， 尽管所有的音 频包中都包 含了 相同的s s r c标识符。 ( 7 ) 终端系统:是一个应用程序， 它 产生能在r t p 包中传送的内 容， 或者 是可以“ 消 耗”接收到的r t p包的内 容。 一个终端系统的作用相当 于一 个特定 第二章 视频播放与传输的框架结构 的r t p 会话中的一个或多个同步源，通常的情况是一个同步源。 ( 8 )混合器: 是一个中间的系统，它从一个或多个源接收r t p包， 有可能 要改变数据格式，将这些包以某种方式去组合， 然后转发一个新的r t p包，因 为在多个输入源之间的定时 一般是不同步的， 混合器要对各个流之间的定时加 以调整，并为这个组合的流产生它自己的定时。因此，从一个混合器出来的所 有数据包要用混合器作为它 们的同步源来识别。 ( 9 )翻译器:是一个中 间系统，它用完整的同步源标识符来转发r t p 包。 例如:防火墙中应用层的过滤器等。 ( 1 0 )监视器:是一个应用程序，在一个r t p会话中 接收由发送者发送的 r t c p 包， 尤其是接收报告， 并且估算服务 质量， 进行错误诊断，以及长期的 静 态统计。监视器函数可能被 创建到参加会话的 应用程序中， 但也可以作为独立 的应用程序，既不参与也不发送或接收 r t p数据包，这就是所谓的第三方监视 器。 ( 1 1 )非r t p 方式:为 提供某种服务而采用的除r t p以外的协议和机制. 尤其是对多媒体会议来说， 一个会议控制应用程序可能会发布组播地址和密钥， 协商加密算法，并且定义在 r t p 有效载荷值和有效载荷格式之间的动态映射。 对一简单的应用来说，可能会用到电 子邮件或一个会议的数据库。 ( 1 2 ) r t p 有效载荷: 就是用r t p传输时， 在一个包中要传输的数据， 例 如音频的数据或者压缩的视频的数据. ( 1 3 )端口:传输协议用其在给定的主机中区分多 个目 的地址。在 t c p / f p 协议中使用小的正整数来识别端口。 由o s i 传输层所使用的 传输选择器( t s e l ) 其实就相当于端口。 r t p 要靠底层协议提供 一些机制， 例如端口来对一个会话 当 中 的r t p 和r t c p 包 进行 复 用. 11 0 1 3 .r n ， 协议是如何工作的: 在r t p里，媒体数据是以 序列形式的封包进行传送，每个封包都包含了 两 个部分，首部和有效载荷。图2 . 1 2 展示了r t p 的首部格式。 第二章 视频播放与传输的框架结构 了 、书 :1 6 ir . . , 1 p i引 参 与 m a m 有 效 载 r g o序 时 间 位 同步汉标识符( s s r c ) 参 与翻标识符( c s r c ) 0 . 1 5 1 依， 疾 乞 号 羚 气 ，r 汉 尹扩窄厅热攀毒多冬卜 孽 气 瓤二 扮 声 r t p 分组 一u d p 用户 数 据 报 i p 致据报 、 。 、厂 _ 二 病赫荔 豁 翻 爵 尤 豁 翎 锡 貂褚 、 户 ，。“、， _、，_，; 潇 图2 . 1 2 r i ?的首部格式 图2 . 1 2 中， 前1 2 个字节出 现 在 每个r t p 包 中 ，仅仅在被混合器插 入 时 ， 才出 现c s r c识别符列表。这些域有以下意义: 版 本 召) : 2比 特 此域定义了r t p的 版本。 此协议定义的 版本 是2 0 ( 值1 被r t p 草 案 版本使 用， 值0 用在最 初 v a t 语音工 具使用的协议中。 ) 填 料 ( p ) : 1 比 特 若填料比 特被设 置， 此 包包 含一到多个附 加在 末 端的 填充 比 特， 不是负载的一部分。填料的 最后一 个字节 包含可以忽略多少个填充比 特。 填料可能用于某些具有固定长度的加密算法， 或者在底层数据单元中 传输多个 rip包。 扩 展 ( x ) : 1 比 特 若设置扩展比 特， 固 定 头 ( 仅 ) 后面 跟随 一 个 头 扩 展 。 c s r c 计 数 ( c c ) : 4 比 特 c s r c 计 数 包 含了 跟 在固 定头 后面c s r c 识 别 符 的 数目。 标 志 ( 1v 1) : 1 比 特标志的 解释由 具 体 协 议 规 定 。 它 用来允 许 在比 特 流中 标 记 重要的 事件，如帧范围。规定该标志 在静音后的 第一个语音包时置位. 负 载 类 型 ( p t ) : 7比 特 此域定 义了 负 载的 格 式，由 具体应用 决 定 其 解 释. 协议可以 规定负载类型码和负载格式之间一个默认的匹配。其他的负 载类型码 可以 通过非r t p 方法动态定义。 r t p 发射机在任意给定时间发出一个单独的r t p 负载类型; 此域不用来复用不同的媒体 流。 序列号:1 6比 特 每发送一个r t p数据包， 序列号加一， 接收 机可以 据此 第二章 视频播放与传输的框架结构 检测包 损 和 重建 包序列。 序列号的 初始 值 是 随 机的 ( 不可预测) ， 以 使即 便 在 源本 身不加密时 ( 有时包要通过翻译器， 它会这样做) ， 对加密算法泛知的普通 文本攻 击也会更加困难。 时间标志: 3 2比特 时间标志反映了r t p 数据包中第一个比 特的抽样瞬间。 抽样瞬间 必须由随时间单调和线形增长的 时钟得到，以 进行同步和抖动 计算。 时钟的分辨率必须满足要求的同步准确度，足以进行包到达抖动测量。 时钟频 率与作为负载传输的数据格式独立， 在协议中或定义此格式的负载类型 说明中 静态定 义， 也可以在通过非r t p 方法定 义的负载格式中动态说明。 若r t p 包周 期性生成， 可以使用由抽样时钟确定的额定抽样瞬间，而不是读系统时 钟。 例 如， 对于固 定速率语音， 时间 标志钟可以 每个抽样周期加1 。 若语音设备 从输入 设备读取覆 盖 1 6 0个抽样周期的 数据块， 对于每个这样的数据块，时间 标志增 加1 6 0 ， 无论此块被发送还是被静音压缩。 时间 标志的起始值是随 机的， 如同 序列号。多个连续的r t p 包可能由同 样 的时间标志，若他们在逻辑上同时产生。 如属于同一个图象帧。若数据没有按 照抽样的顺 序发送， 连续的r t p 包可以 包 含不单调的时间标志， 如m p e g交织 图象帧。 s s r c : 3 2 比特 s s r c 域用以 识别同步源。 标识符被随机生成， 以使 在同一 个r t p 会话期中没有任何两个同步源有相同的s s r c识别符。 尽管多个 源选择 同一个s s r c识别符的概率很 低， 所有r t p 实现工具都必须准备检测和 解决冲 突. 若一个源改变本身的源传输地址， 必须 选择新的s s r c识别符， 以 避 免被当 作一个环路源。 c s r c列表: 0 到 1 5 项， 每项3 2 比 特 c s r c列表识别在此包中负载 的有贡 献源。 识别符的数目 在 c c域中给定。若有贡献源多于 1 5 个，仅识别1 5 个。 c s r c识别符由 混合器插入， 用有贡献源的s s r c识别符。 例如语音包， 混合产 生新包的所有源的s s r c标识符都被陈列，以期在接收机处正确指示交谈者。 在前面 说明过，威胁多媒体数据传输的一个尖锐的问 题就是不可预 料数据 到达时间。 但是流媒体的传输是需要数据的适时的到达用以 播放和回放。r t p 协议就是提供了时间标签， 序列号以 及其它的结构用于控制适时数据的流 放。 在流的 概念中 “ 时间标签” 是最重要 的信息。发送端依照即时的采 样在数 据包里隐蔽的设置了时间标签。 在接受端收到数据包后， 就依照时间标签按照正确的速率恢复成原始的适时 第二章 视频播放与传输的框架结构 的数据.不同的媒体格式调时属性 是不一样的。 但是r t p本身并不负责同步， r t p只是传输层协议，为了简化了 运输层处理，提高该层的效率。将部分运输 层协议功能 ( 比如流量控制)上移到应用层完成。同步就是属于应用层协议完 成的。它没有运输层协议的完整功能， 不提供任何机制来保证实时地传输数据， 不支持资源预留，也不保证服务质量。r t p报文甚至不包括长度和报文边界的 描述。同时 r t p协议的数据报文和控制报文的使用相邻的不同端口，这样大大 提高了协议的灵活