（通信与信息系统专业论文）高清晰网络视频会议终端的研究与实现.pdf

i i i ir r fi rr ll ilt ii i rji ii 华南理工大学 y 181517 5 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研 究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文 不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研 究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完 全意识到本声明的法律后果由本人承担。 作者签名： 艘z 日期：2 晒6 年6 月日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 即：研究生在校攻读学位期间论文工作的知识产权单位属华南理工大 学。学校有权保存并向国家有关部门或机构送交论文的复印件和电子 版，允许学位论文被查阅( 除在保密期内的保密论文外) ；学校可以公 布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制 手段保存、汇编学位论文。本人电子文档的内容和纸质论文的内容相 一致。 本学位论文属于： 日保密，在 弓 年解密后适用本授权书。 口不保密。 学位论文全文电子版提交后： 口同意在校园网上发布，供校内师生和与学校有共享协议的单 位浏览。 ( 请在以上相应方框内打“ ) 本人签名： 导师签名： 糟羞 日期： 日期： z e 6 i-l j kr- 、p 1 一 摘要 摘要 视频会议系统是采用视、音频压缩技术和多媒体通信技术，支持人们远距离 进行实时信息交流与共享、开展协同工作的应用系统。它可以充分地利用近年来 高速发展起来的数字图像处理技术和计算机网络技术，使得在i p 网络上架设远程 视频会议系统成为可能。终端设备是会议系统中的重要组成部分。网络视频会议 终端设备用于主、分会场，主要完成音视频的采集、传输、编解码、播放显示等 工作，同时，终端设备往往还提供一些额外的功能，如云台控制，文档共享，网 页浏览，以及参会者权限控制等等。本论文在现有的网络视频会议系统基础上， 实现高清晰度视频( h d v ) 会议功能，达到提高参会者图像的分辨率、改善画面质 量、增强视觉效果的目的。 本论文提出并完整地实现了一个针对h d v 视频的采集、封装、解码、显示的 视频会议终端系统。为了适配各种不同类型的视频采集设备，设计实现了一个视 频采集设备的管理模块，从而有效地采集来自包括h d v 摄像机等采集设备的视频 信息；为了适应高清晰度视频的高码率，高流量的特征，修改并完善了r t p 协议 栈的排序和缓冲机制，较好地改善了延时并大大降低了c p u 占用率；同时，系统 能够有效支持发送者和接收者的状态报告，对发送和接收的网络质量进行实时监 控。 为了解决远程异种云台控制问题，本论文还实现了一个不依赖特定协议的云 台控制器，用户可以通过编辑器，在无须编译任何代码的情况下，灵活地添加新 的协议内容，实现良好的可扩展性和可操作性，使得云台控制不依赖特定协议， 从而达到用户可以自由地选择云台而不受特定云台型号限制的目的。 本论文从原理、设计到编码流程详细地讲述了视频采集、视频管理、r t p 协 议控制、云台控制等功能的实现；上述功能已经实现并在校园网运行，并进行多 次测试。本论文的工作立足实际应用，完成了视频会议系统功能的扩展，实现了 高质量高性能的视频会议终端，具有较高的实用价值。 关键词：视频会议；h d v 高清晰度；云台控制；r t p 协议 华南理工大学硕士学位论文 a b s t r a c t n e t w o r kv i d e oc o n f e r e n c es y s t e mi sat y p eo fa p p l i c a t i o ns y s t e mf o rr e m o t e r e a l - t i m ei n f o r m a t i o na n dc o m m u n i c a t i o ns h a r i n ga n dc o o r p e r a t ew o r k i n g ，w h i c hi s i m p l e m e n t e db yv i d e oa n da u d i oc o m p r e s s i o na n dm u l t i m e d i ac o m m u n i c a t i o n i ti s a v a i l a b l et os e t u par e m o t en e t w o r kv i d e oc o n f e r e n c es y s t e mo v e ri pn e t w o r kb y d i g i t a li m a g i n gp r o c e s s i n ga n dc o m p u t e rn e t w o r kt e c h n o l o g yw h i c ha r ed e v e l o p e d r a p i d l yi nr e c e n ty e a r s v i d e oc o n f e r e n c et e r m i n a lp l a y sa ni m p o r t a n tp a r tr o l ei nt h e n e t w o r kv i d e oc o n f e r e n c es y s t e m ，a n di ti su s e dt od e a lw i t hc a p t u r e ，t r a n s f e r ， e n c o d e d e c o d e ，d i s p l a y t h es t r e a m so fv i d e oa n da u d i o s i g n a l s i ne a c h m a i n s u b c o n f e r e n c ef i e l d f u r t h e rm o r e ，s o m et e r m i n a ld e v i c e sa r ea l s op r o v i d ee x t r a c o m p o n e n t st os u p p o r tm o r ef e a t u r e ss u c ha s c a m e r ap l a t f o r mc o n t r o l ，d o c u m e n t s h a r i n g ，w e bb r o w s e r ，e t c t h ep u r p o s eo ft h i sp a p e ri st op r e s e n tav i d e oc o n f e r e n c e t e r m i n a ls y s t e mc h a r a c t e r i z e db yh i g hd e f i n i t i o nd i g i t a lv i d e o ( h d v ) c o n f e r e n c e b a s e do nt h en e e d so fh i g hq u a l i t ya n dh i g hr e a l t i m eo ne x i s t sv i d e oc o n f e r e n c e s y s t e m i ti si m p r o v e dv i d e oq u a l i t ym a r k e d n e s sb ys u p p o r t i n gh i g h d e f i n i t i o n i m a g e ，i no r d e rt oe n h a n c et h ee f f e c to fv i s i o na n di m p r o v et h eq u a l i t yo fv i d e o i nt h i sp a p e r ，af r a m e w o r ks p e c i f i c i t i e sw i t ht h ec a p t u r e ，e n c a p s u r e ，d e c o d ea n d d i s p l a yo fh dv i d e oh a sb e e ni n t r o d u c e d ，w h i c hi sm a d ep o s s i b l et os e tu pah i g h d e f i n i t i o nv i d e oc o n f e r e n c ei nx 8 6a r c h i t e c t u r e i no r d e rt oa d a p tw i t ht h ed i f f e r e n t k i n d so fv i d e oc a p t u r ed e v i c e ，i v ed e s i g n e da n di m p l e m e n t e dam a n a g e m e n tm o d u l e o fv i d e oc a p t u r ed e v i c e ；a n dt h em e c h a n i s mo fs o r t i n ga n dc a c h i n gi nr t ps t a c ki s i m p r o v e dt ol o w e rt h ed e l a yd u r i n gt h ev i d e os e s s i o na n dd e l e g a t et h ec p u c o s t s a t t h es a m et i m e ，t h es y s t e mc a ns u p p o r ts e n d e rr e p o r ta n dr e c e i v e rr e p o r ta v a i l a b i l i t y ， a n dm o n i t o rt h en e t w o r kq u a l i t y i no r d e rt os u i tf o rc o n t r o l l i n gd i f f e r e n tt y p eo fv i d e oc a m e r aii m p r o v e da g e n e r a lc a m e r a - c o n t r o ls y s t e mw i t h o u tt h el i m i tt og i v e nc a m e r a c o n t r o lp r o t o c 0 1 u s e r sc a na d dn e wp r o t o c o l st ot h es y s t e mw i t h o u tr e c o m p i l e dt h ec o d eb ye d i t o r ， w h i c hg a i n e db e t t e re x p a n s i b i l i t yb yc h o o s i n gt h ec a m e r af r e e l y t h i sp a p e re x p l a i n si nd e t a i l st h ew a yt or e a l i z et h ev i d e oc a p t u r e ，v i d e o m a n a g e m e n t ，r t ps t a c ks u p p o r t ，r e m o t ec a m e r ac o n t r o lb ye x p a t i a t i n gt h et h e o r i e s ， t h ed e s i g na n dt h ek e yc o d e s t h i sr e s e a r c hh a sb e e ni m p l e m e n t e da n dt e s t e d a b s t r a c t s a t i s f a c t o r i l yo nc a m p u sn e t w o r ki no u ru n i v e r s i t y b a s e do np r a c t i c a la p p l i c a t i o n ， t h u si tb r o a d e n st h ef u n c t i o n o fv i d e oc o n f e r e n c es y s t e ma n di m p r o v e st h eu s a g e v a l u ea n dl i f e c y c l ea n di m p l e m e n t sah i g h - d e f i n i t i o ns y s t e m ，w h i c hh a sa c h i e v e d h i g hp r a c t i c a lv a l u e k e y w o r d s ：v i d e oc o n f e r e n c e ；h i g hd e f i n i t i o n ；r t pp r o t o c o l ；c a m e r a - c o n t r o l m 目录 目录 摘 要1 a b s t r a c t i i 第一章绪论l 1 1 视频会议系统发展简介1 1 2 本课题的研究现状2 1 2 1 视频会议系统的发展2 1 2 2 高清视频会议终端的研究热点。2 1 3 本课题的立题意义5 1 4 本课题的来源和主要研究内容。5 1 5 本章小结6 第二章网络视频会议系统相关技术7 2 1 应用于实时视频传输的网络协议r t p 7 2 1 1r t p 协议介绍7 2 1 2 协议帧结构7 2 1 3 r t p 协议特点1 0 2 2m p e g 2m p h l ( 主级一高层) 编解码技术1 0 2 2 1m p e g 2 编码方式介绍1 1 2 2 2m p e g 2 t s 封装方式介绍1 1 2 3 高清视频编码显示标准介绍1 3 2 4m i c r o s o f td i r e c t x 技术1 5 2 5 本章小结1 7 第三章支持高清的视频会议终端的实现1 8 3 1 视频系统框架结构设计1 8 3 1 1 终端系统的主要功能1 8 3 1 2 终端系统的总体设计1 9 3 2 多路视频源的管理和统计2 l 3 3 基于i e e e l 3 9 4 接口的视频流采集和数据整形2 4 3 3 11 3 9 4 协议栈：。2 4 3 3 2h d v 摄像机的m p e g 2 一t s 视频流采集实现2 5 3 4 基于d i r e c t x 的视频采集管理器。2 8 3 4 1 视频采集管理器的结构2 8 华南理工大学硕十学位论文 3 4 2 枚举采集设备的定义2 9 3 4 3 共用接口抽象3 0 3 4 4 不同视频采集设备的采集实现3 1 3 5r t p 协议实现3 3 3 5 1 高清传输出现的问题3 3 3 5 2 适应高流量m p e g 2 t s 流传输的r t p 结构3 4 3 5 3 排序缓冲池架构3 5 3 5 4 缓冲块的分配和插入排序3 8 3 5 5o o s 状态信息的统计和获取4 2 3 6 本章小结4 4 第四章视频会议系统中的远程云台控制。4 5 4 1 背景和目的4 5 4 2 云台控制原理4 5 4 3 串口控制原理和实现4 7 4 4 控制实现4 8 4 5 本章小结。5 0 第五章实验与测试分析5 1 5 1 测试环境介绍5 1 5 1 1 网络环境。5 l 5 1 2 视频会议系统配置5 l 5 1 3 采集设备配置5 2 5 2 延时测试方法5 2 5 3 整体测试和评价5 5 5 4 实际应用实验5 6 5 5 系统测试中遇到的问题及解决5 7 5 6 本章小结。5 8 结论5 9 参考文献6 1 攻读学位期间发表的学术论文。6 5 致谢6 6 第一章绪论 第一章绪论 1 1 视频会议系统发展简介 视频会议系统是通过视、音频压缩和多媒体通信技术实现的，支持人们远距 离进行实时信息交流与共享、开展协同工作的应用系统。它是融计算机技术，通 信技术和网络技术于一体的产物。它能将各种媒体信息数字化，利用网络进行实 时的传输和交换，从而使得使用者享受到真实感强、交互性好的信息服务。 网络视频会议系统充分体现了信息社会获取信息的高效性、直观性。视频会 议通过交互与会协作成员的视频、音频信息，使得处于不同地域的成员之间进行 实时、直观的交流成为可能。不仅如此，视频会议系统还可以充分利用多媒体协 同工作中可进行信息处理的能力，使得文档共享等信息交流手段变得更为便捷。 视频会议系统视信息速率不同可以粗略分为高速会议系统和低速会议系统， 一般来说，可以粗略的将码率高于1 m b i t s 的系统定义为高速会议系统，低于 1 m b i t s 的系统则称为低速会议系统。可以认为高速会议系统具有较好的画质保 真度，但需要网络提供较高的带宽和终端具有较强的处理能力。 近年来，随着计算机处理能力和网络性能的提高，人们对网络视频会议的功 能提出了更高的要求，提供更高的会议质量，拥有更多便捷的功能成为大家关心 的目标。高速会议系统已经出现普及之势，不少厂家和科研单位已经实现了分辨 率为7 2 0 x 5 7 6 ( p a l ) 或者6 4 0 x 4 8 0 ( n t s c ) 的视频会议系统，这样的系统较之早期的 基于h 2 6 1 编码的3 5 2 2 8 8 ( c i f ) 格式的视频会议系统具有更好的画面质量。但是， 人们追求优良画质的要求是无止境的，更清晰的视频质量能更有效的提升处于不 同地区的与会方的实际交互效果，也可以更好的满足人们对画面质量的需要。在 某些特殊场合，如关键会议、战场事态监控、远程医疗会诊随 等等应用环境中， 拥有高清晰度的视频可以极大程度地提高会议的交互质量。有鉴于此，研制支持 高清晰度视频的网络视频会议系统成为我们的目标。 本毕业设计的主要目标是研究支持高清晰的视频会议系统，并实现相关的若 干关键模块，从而达到大幅度提高分辨率，提供更为出色的画质，极大的改善会 议交互性的目的。 华南理工大学硕士学位论文 1 2 本课题的研究现状 1 2 1 视频会议系统的发展 1 9 6 4 年，b e l l 实验室研制出最早的可视电话，此后各类视频会议系统加入了 迅速发展阶段，传输介质从p s t n ，i s d n ，a t m 发展到因特网。随着新一代i p v 6 互联 网的发展，目前已经出现的基于高速i p v 6 互联网的视频会议系统。 早期的视频会议系统采用模拟方式，使用了专用的视频和音频设备，需要专 门布线，价格相对高昂。但是随着多媒体编解码技术和计算机处理能力的发展， 有大量的视频会议系统开始采用了p c + i n t e r n e t 的方式，并保证在视频和音频质量 上有达到甚至超过模拟设备的效果。同时，具备了很多模拟会议系统不可能拥有 的优势，比如丰富的会议协作、会议管理功能、会议控制功能阳钔。软件视频会议 系统往往成本较低，支持产品升级和个性化的定制。 根据分辨率的不同，可以将目前的网络视频会议系统大体上可以分成三种类 型，即：早期基于i t u th 2 6 1 标准的视频会议系统，其分辨率为c i f ( 3 5 2 2 8 8 象 素1 。当前改进的产品采用了的m p e g 4 编码方式或者h 2 6 3 4 编码方式，从而使得 最终的显示分辨率可以达到i t u t - 6 0 1 所要求的4 c i f ( 7 0 4 5 7 6 象素) 尺寸，由于 同比网络视频会议初期的h 2 6 1 产品而言，清晰度有了较大幅度提高，所以有些厂 商和科研单位也将一些分辨率达到4 c i f 的视频会议系统称为“高清一视频会议系 统l l ，l 。目前正在研究的会议系统同前两种视频会议系统相比，在分辨率上有了更 大提升，可以达到h d v 要求的7 2 0 p 或者1 0 8 0 i 的标准，即真正的h d ( h i g hd e f i n i t i o n ) 视频会议系统。 1 2 2 高清视频会议终端的研究热点 尽管在家电领域目前已经有大量的支持高清晰度显示的设备问世，但是基于 网络的，能够用于视频会议系统的实例并不多见。 目前一个典型的可以实现网络高清直播的系统是韩国光州的g w a n g j u i n s t i t u t eo fs c i e n c ea n dt e c h n o l o g y ( g i s t ) 网络多媒体实验室改进的v l c w l s 系统 1 3 l ，它使用一台l i n u x 计算机作为采集端，接收h d v 摄像机( 如s o n yf x 1 等) 的 m p e g 2 t s 流信号，并将高清视频流采集并发送到指定网络的地址，接收端为1 台 w i n d o w s 计算机，通过对m p e g 2 - - t s 流进行解复用，解码并实现高清视频的显示。 但是该系统有其不足之处，即： 1 ) 只能点对点传输，无法将视频信息同时发送给多台计算机，无法开展更大 2 第一章绪论 规模的视频会议。 2 ) 需要4 台计算机才能完成点对点的视频会议。 3 ) 操作配置不便，采集端的配置全部基- 于l i n u x 系统的命令行操作，对使用 者的操作能力提出了一定的要求。 4 ) 系统延时较大，可以明显的感觉到延迟，影响实际交互效果。 由于以上局限，使之大规模应用于视频会议系统时存在种种不便。 v l s 厂、几c 删凰碉 殛 酉 - j e ；瞄 接收端 - - - - - - - - - - - - r w i n d o w $ 接收端 w i n d o w s 图1 - 1v l s v l c 结构 fig u r e1 1t h ea r c hit e c t u r eo fv l s v l c 日本的k e i ou n i v e r s i t y 也进行了网络高清晰度视频传输的相关研究i 副，它通过 联合超过4 0 家相关公司和科研单位，推出了d v t s 网络高清直播系统。其特点是 该系统传输高清视频未采用任何压缩，从而取得较好的实时性，测试中视频流从 日本传输到荷兰的阿姆斯特丹的单向延迟时间约2 7 0 毫秒。 由于该系统未对视频流进行任何压缩处理，从而不存在压缩和解压的系统开 销和延迟，也使得画质不会因为压缩而导致损失。但同时该解决方案也会带来一 个缺点，即极度占用带宽，一路高清视频需要1 5 g b p s 的网络流量，这一流量不仅 超过了绝大部分网络所支持的上限，甚至高于一般p c 机内部总线所能承受的最大 带宽( 一般p c 机总线理论上限流量为1 0 6 g b p s ) ，从而对计算机和网络设备都提 出了极高的要求。研究者也坦言，使用该方案会导致“h i g h e rq u a l i t y ，h i g h e r d o l l a f 【7 1 。 美国华盛顿大学也提出了自己的i h d t v 方案，同样要求系统拥有带宽为 1 0 g b p s 级别的以太网，包括网卡在内的所有设备都使用p c i e x p r e s s 接口，同时它 也使用了硬解码方案来降低开销，参与该科研项目的用户需要购买名为 “c o m e t d v i p 一的特制板卡，通过该板卡进行实时处理流信息，从而降低c p u 开 销。同日本d v t s 系统类似，该方案要求单路3 0 g b p s 的带宽( 组播) 或1 5 g b p s ( 单 播) ，同时，要求网络中的所有设备都能支持7 2 k b i t s 的大数据报。为了使计算机可 3 华南理工大学硕士学位论文 以承受这么高的流量，需要两张甚至多张千兆网卡来实现数据传输。该系统于2 0 0 4 年成功实现了从美国匹兹堡到澳大利亚的点对点传输【1 0 1 。 图1 - 2 i h d t v 应用 f i g u r e1 。2t h ea p p ii c a t i o no fi h d t v 美国微软公司也推出了支持h d v 的专利技术解决方案w m v - - h d ，它没有采 用m p e g 2 - - t s 流进行传输，而是使用了包含自有专利的w m v h d 编码格式。通 过使用扩展微软自有技术的压缩方案( 类似i s om p e g 4 ) ，使得视频编码流可以 支持1 0 8 0 i 或者7 2 0 p 格式的高清图像。在新的m e d i ap l a y e r l l 中，微软已经包含了 这一压缩方案的解码器。目前微软尚无推出支持实时编码的编码器，而是将该方 案与家用d v d 刻录相结合，走后期编辑的技术路线，即所谓的h d d v d 1 1 j 。 国内，清华大学张轩、赵庆国也设计了h d v 视频采集传输系统，并在2 0 0 5 年 3 月使用该视频传输系统进行了同韩国k a i s t 大学之间的i p v 6 网络测试【5 5 l ，实现方 式为点对点传输。该方案同样需要4 台计算机才能完成相关工作。 为了解决摄像机的云台协议不兼容的问题，已经出现了采用了全硬件设计云 台协议解码器，可以支持某个品牌或者某几个品牌的云台协议，如h i z o n e ， k a l a t e l 等等公司已经有较多产品问世。但是，使用硬件解码器随之也会带来需 要额外的开支，而且由于使用硬件实现，升级困难，从而导致硬件解码器对协议 的扩展能力非常有限。 4 第一章绪论 1 3 本课题的立题意义 伴随着人们对视频会议画面质量的要求，在视频会议系统中实现了h d v ( h i g hd e f i n i t i o nv i d e o ) 视频的支持，凭借着1 9 2 0 x1 0 8 0 分辨率的高清晰度视频 极大的提高了视频会议的质量，也超过了国内同类软件所能达到的最大分辨率。 同时，较之部分国外采用无压缩视频传输方案，需要专业的采集设备，万兆网络 环境的支持，本方案实际可以在p c 机的x 8 6 平台上实现，也无需专门的万兆以太 网络支撑，具有较好的实用价值和成本竞争力。 目前市面上可供选择的云台种类、规格繁多、功能各异。并且，各厂商之间 的云台控制协议并没有统一，如p e l c o 定义的云台控制协议包括p e l c o d 、p e l c o p ， 在客观上给网络视频会议系统的云台控制支持带来了一定的困难。目前，大多数 网络视频会议系统只能支持某一种或者几种的协议，使得最终用户在选择云台的 品牌和种类时受到限制。本课题旨在向使用者一个友好的，可扩展的接口，在无须 编译任何代码的情况下，灵活的添加新的协议内容，实现良好的可扩展性和可操 作性，使得云台控制不依赖特定协议，从而达到用户可以自由的选择云台而不受 特定云台型号限制的目的。 1 4 本课题的来源和主要研究内容 本课题来源于国家发改委资助的c n g i 0 4 1 3 2 t 项目，作者在该项目主要负 责高清视频会议终端部分的研发工作，对网络通信和视频处理两方面的关键技术 进行了研究，并承担视频采集、r t p 协议处理、云台控制、c o d e c 、高清视频显 示部分的代码实现。本系统已在华南理工大学校园网内使用，并进行了广州到上 海的高清视频会议实验，取得了良好的效果。 在系统研究开发与改进期间，作者主要完成了以下工作： 第一，研究了r t p 协议，对该协议相关实现方式进行了研究，在对v i c v l c 的r t p 协议栈进行研究的基础上，成功的实现了一个低延时、低开销的r t p 协议 栈，并支持在i p v 4 i p v 6 网络上的单播和组播方式传播，从而保障了h d v 视频的 有效、可靠传输。 第二，研究了微软的d i r e c t x 架构，尤其是d i r e c t s h o w 和d i r e c t d r a w 两个 子模块，实现了直接写显存的高性能显示技术，降低了系统开销。 第三，通过对d s h o w 和i e e e l 3 9 4 接口的了解，能够处理h d v 摄像机发出的 c i p 头数据，并进行采集和传输，从而将h d v 摄像机纳入了视频会议系统的架构。 第四，针对目前市面上云台协议各不兼容的现状，提出并实现了一种通用的 5 华南理工大学硕士学位论文 云台控制系统，使系统在无须重新编译代码的情况下，可以灵活地添加新的云台 控制协议，克服了一般视频会议系统受制于固定云台型号的问题，具有良好的扩 展性。在自行研制的网络视频会议系统中，实现了这种通用云台控制。 最后，对系统进行了全面测试，并和相关软件如v i c ，j a v a 控制端进行了配 套测试，并联合上海交通大学进行了基于i p v 6 网的h d v 交互测试。通过长时间的 测试，根据测试结果修正了已经发现的错误。 1 5 本章小结 本章介绍了视频会议系统的发展历程和新一代网络视频会议系统的特点，在 归纳高清晰度视频会议系统国内外现状的基础上，结合当前实际需求，介绍了本 课题研究的意义。最后，本章对本课题研究的主要内容进行了简要介绍。 6 第二章网络视频监控系统的关键技术 第二章网络视频会议系统相关技术 高清视频会议系统是一个建立在高流量的网络环境中的高开销的会议系统。 为了适应这一特点，本章将详细介绍系统中用到的r t p 协议，m p e g 2m p 2 h l 技术和所使用的t r a n s p o r ts t r e a m 流格式，微软d i r e c t x 技术等。 2 1 应用于实时视频传输的网络协议r t p 2 1 1 r t p 协议介绍 r t p 协议，即r e a l t i m et r a n s p o r tp r o t o c o l ，由i e t f 在1 9 9 6 年为了支持 网络实时传输服务所提供的数据实时传输的一个重要标准口引。它被设计成用于传 输具有实时特点的数据，如实时音频、实时视频等。当应用程序开始一个r t p 会 话时将使用两个端口：一个给r t p ，一个给r t c p 。r t p 本身并不能为按顺序传送 数据包提供可靠的传送机制，也不提供流量控制或拥塞控制，它依靠r t c p 提供这 些服务。通常r t p 算法并不作为一个独立的网络层来实现，而是作为应用程序代 码的一部分。实时传输控制协议r t c p ( r e a l - t i m et r a n s p o r tc o n t r o lp r o t o c 0 1 ) 和r t p 一起提供流量控制和拥塞控制服务。在r t p 会话期间，各参与者周期性地 传送r t c p 包。r t c p 包中含有已发送的数据包的数量、丢失的数据包的数量等统 计资料，因此，发送者可以利用这些信息动态地改变传输速率，甚至改变有效载 荷类型。r t p 和r t c p 配合使用，它们能以有效的反馈和较小的开销简化传输模式， 改善传输效率，因而特别适合传送网上的实时数据。 r t p 通常使用u d p 协议来传送数据，但r t p 也可以在t c p 或a t m 等其他协议 之上工作。由于相对于t c p 而言，u d p 是一种无连接的数据报投递服务，虽然没 有t c p 那么可靠，而且无法保证实时视频业务的传输质量，但是，考虑到u d p 协 议造成的传输时延远低于t c p 协议，能够很好的与视频流或音频流相匹配，由此 在实际应用中，往往使用u d p 协议来承载r t p 的实现。而对于一些控制消息，由 于对实时性要求不高，则可能使用t c p 协议。 2 1 2 协议帧结构 r t p 协议一般位于u d p 协议之上并作为一种应用型的传输层协议存在，它并 7 华南理t 大学硕士学位论文 没有提供任何传输可靠性的保证和流量的拥塞控制机制。r t p 在利用u d p 协议在 传输层传输流媒体数据的时候，不仅可以利用u d p 传输时延较低的优点进行传输， 而且可以直接使用u d p 协议提供的c h e c k s u m 提供校验。通过r t p 协议传送的数据 包一般包括四项基本内容，图2 一l 形象地表示了r t p 数据包的位置和结构。 图2 - 1r i p 数据包汹1 fig u r e2 - 1r i pd a t ap a c k e t r t p 数据包由固定包头和有效载荷两部分组成，其中固定包头又包括版本信 息、载荷类型、顺序编号、时戳、同步源标识和贡献源标识等，有效载荷就是传 输的音频或者视频等多媒体数据。图2 2 是r t p 的包头格式。 012 3 47 891 51 63 l vp xc cm载荷类型( p t ) 顺序编号( s e q u e n c en u m b e r ) 时戳( ti m e s t a m p ) 同步源标识( s s r c ) 贡献源标识( c s r c ) 图2 - 2r i p 头格式 fig u r e2 。2r t ph e a d e rf o r m a t 可以认为r t p 包头就是一个长度为1 2 7 2 个字节组成的二进制字段，开始的 1 2 个字节必定出现在每个r t p 包中，而c s r c 标识列表仅出现在混合器插入时， 除开c s r c 标识列表，r t p 包头可能还存在一个扩展包头。 r t p 包各个字段的具体意义如下： 版本( v ) ，占用2 比特，说明r t p 协议的版本号，当前在r t p 协议中定义的版 本号为2 。 填充( p a d d i n g ) 标志( p ) ，占用1 比特，如果该位被置位，说明在分组后增 补了。零填充 ，从而使得分组达到要求的长度，填充的最后字节指明了填充的长 度。这些内容不属于有效载荷。 8 第二章网络视频监控系统的关键技术 扩展位( x ) ，占用l 比特，如果该位被置位，说明固定报头会跟在个头扩 展的后面。 源c s r c 数目( c c ) ，代表贡献源标识计数，占用4 比特，跟在固定报头后记 录贡献源标识的数量。 标记( m ) ，占用l 比特，意指接收特定事件，如在数据包流中的帧边界进行 标记等。 载荷类型( p t ) ，代表有效载荷的类型，占用7 比特，标识r t p 包中有效载 荷的类型并决定其解释方式，接收端据此来判断媒体类型，如果是编码数据，则 p t 决定了接收端使用的编码器。至于载荷类型代码对载荷格式的静态映射则可 以通过非r t p 途径动态定义。 序列号( s n ) ，占用1 6 比特，初始值随机，随着每个发出的r t p 包而增加1 。 对于接收端而言，可以使用这个字段检查消息包是否有丢失并且按照顺序号处理 信息包。如接收端的应用程序接收到一组r t p 信息包流，序列号依次是6 0 、6 1 、 6 3 、6 4 ，则接收端可以认为一个序列号为6 2 的数据包在传输过程中丢失，从而能 够采取适当的措施来补救丢失的数据。 对于要求初始值随机，主要有两个原因，第一就是使用随机的序列号可以避 免重放，当某次会话的分组在网络上延时后，却被稍后的另一次会话接收，就会 遇到重放的问题；另一个原因就是使用随机的起始序列号可以提高安全性，避免 攻击者猜测序号。 时间戳( t i m e s t a m p ) ，占用3 2 比特，它反应r t p 数据信息包中第一个字节的 采样时刻。接收端利用这个时间戳来去除由网络引起的信息包的抖动，并且在接 收端为播放提供同步功能。r t p 同样规定，一次会话的初始时间戳必须随机产生， 但是没有规定时间戳的单位，而是由负载类型来确定时钟的粒度。这样，各种应 用类型就可以根据需要选择合适的输出计时精度。但是对于传输多媒体数据而言， 必须要求时间戳的速率大于一个采样周期的精度。此外，如果数据是在同一个周 期完成采样，但是由于编码的关系被分在了不同的r t p 分组，也必须要求这些分组 具有相同的时间戳。时戳也可以用于同步多个不同的数据流，帮助接收方确定数 据到达时间的一致性。 同步源标识( s s r c ) ，全称是s y n c h r o n i z a t i o ns o u r c ei d e n t i f i e rf o rt h e o r i g i n a t o r ，占用3 2 比特，它用来标识r t p 信息包的起源，从一个同步源出来 的所有的包构成相同的时间戳和序列部分。可以帮助接收端利用发送端生成的 唯一数值来区分多个同时并存的数据流，得到数据的发送源。在r t p 会话期间 的每个信息包流都有一个明确的s s r c s s r c 不是发送端的i p 地址，而是使用 一个在新的信息包流开始时随机分配的3 2 b i t 数值。 贡献源标识( c s r c ) ，全称是c o n t r i b u t i n gs o u r c ei d e n t i f i e rf o r t h e 9 华南理工大学硕士学位论文 p a y l o a d ，这个域最多可以有1 5 个项目，每项的长度为3 2 比特，其作用是列举出 产生该r t p 数据包的所有源。例如一个携带有多个源的混音数据的r t p 包，就可 以将每个源的s s r c 列举在c s r c 中，从而方便接收端辨别。 2 1 3 r t p 协议特点 r t p 协议的设计符合c l a r k 和t e r m e n h o u s e 提出的a p p li c a t i o nl e v e l f r a m i n ga n di n t e g r a t e dl a y e rp r o c e s s i n g ( a l f & i l p ) 原则，即：集成共性，个 性扩展。r t p 能够与应用程序的紧密结合，并根据应用程序的特点和要求构造与 剪裁控制策略，从而提高会话质量和网络服务的公平性，因此特别适合在互联网 上传输实时数据。r t p r t c p 具有以下优点： 首先，协议本身简单。r t p 协议起初是为组播而设计的，一般建立在u d p 协 议上，不具备传输层服务的完整功能，也不提供任何机制来保证实时的传输数据， 它不保证服务质量，而是依赖下层协议提供的服务来完成这些任务。它不能保证 准确的提交数据，发送端也没有假设下层网络是可靠的以及提交的分组是有序的。 r t p 报文甚至不包括长度和报文边界的描述，而是依赖下层协议提供长度的标识 和长度限制；同时，r t p 协