（通信与信息系统专业论文）ip实时视频流服务平台设计与实现.pdf

南京邮l u 大学硕【：研究生学位论文 摘要 摘要 随着多媒体技术和网络技术的发展，数字视频服务的应用范围越来越广泛，己日益深 入到传媒服务业、企业、家庭和个人。特别是如何在i p 网络上提供形式多样的数字视频服 务已成为业界关注的焦点。 本文结合作者参与的企业研发项目，详细讨论了i p 实时视频流服务平台的设计方法， 给出了主要软件模块的实现技术，并研究了q o s 、组播等关键技术。 论文首先简述下一代网络和数字视频技术的演进与发展，说明了p 实时视频流服务平 台的应用背景及研究意义。然后，系统讨论了该服务平台设计开发相关的若干基础技术， 包括r t p 实时传输协议、视频压缩编码、q o s 控制和服务发现技术。接着，论文给出了服 务平台的整体架构，包括服务平台的网络部署架构、硬件结构和工作原理以及系统软件模 块总体设计。在此基础上，论文详细讨论了服务平台软件设计实现技术。论文采用r t p 协 议技术、p 组播技术和多线程技术，设计并实现了包括i p 视频流传输、视频流基本播放 控制和定制播放服务功能的m 视频流及播放软件模块；采用基于r t c p 的q o s 技术、服 务发现技术和用户管理技术设计实现了包括q o s 控制、系统服务发现和用户群组管理功能 的平台管理软件模块。最后，论文给出了平台功能测试和性能测试结果，并深入探讨了组 播q o s 技术和进一步的工作。 测试结果表明，所实现的系统满足设计要求，并己作为第一版的研发产品交付公司试 用。 关键词：流媒体下一代网络i p 组播q o s a b s t r a c t w i t ht h ed e v e l o p m e n to fm u l t i m e d i aa n dn e t w o r kt e c h n o l o g i e s ，t h ea p p l l c a t l o n 。a n g e o f d i g i t a lv i d e os e r v i c ei sg r o w i n gu pe x t e n s i v e l y i ti s w i d e l yu s e di nm e d i as e n ，1 c em d u s t e n t e r p r i s e s ，f a m i l i e sa n df o ri n d i v i d u a l s p a r t i c u l a r l y , h o w t op r o v i d ed i g i t a lv i d e os e 1 c em v a r i o u sf o r m si ni pn e t w o r l ( sh a sr e c e i v e dc o n s i d e r a b l er e s e a r c ha t t e n t i o n w i t ht h ee x p e r i e n c e sg a i n e di na ne n t e r p r i s er & dp r o j e c tt h ea u t h o rp a r t i c i p a t e di n ，t h e d i s s e r t a t i o nd i s c l l s s e st h ed e s i g nm e t h o do fi pr e a l - t i m ev i d e os t r e a m i n gs e 1 c e p l a t l b mm d e t a i l i m p l e m e n t a t i o nt e c h n i q u e s o ft h em a j o rs o f t w a r em o d u l e s a r ep v 1 d e da n dk e y t e c h n o l o g i e so fq o s a n dm u l i c a s ta r es t u d i e d f i r s to fa l l ，t h ed i s s e r t a t i o nb r i e f l y i n t r o d u c e st h ee v o l u t i o na n dd e v e l o p m e n to f n e x t g e n e r a t i o nn e 似o r ka n dd i g i t a lv i d e ot e c h n o l o g i e sa n de x p l a i n s t h ea p p l i c a t i o n b a c k g r o u n da 1 1 d r e s e a r c hs i 鲥f i c a i l c eo fi pr e a l t i m ev i d e os t r e a m i n gs e r v i c ep l a t f o r m t h e n i td i s c u s s e ss o m e m a d e r i y i n gt e c t l i l o l o g i e sr e l a t e dt ot h ed e s i g na n dd e v e l o p m e n to f t h ep l a t f o r m ，i 1 1 c l u d m gr t p ， v i d e oc o m p r e s s i o nc o d i n g ，q o sc o n t r o l a n ds e r v i c ed i s c o v e r y f u r t h e r r n o e ，t h ed i s s e r t a t l o n g i v e sm ef r a m e 、o r ko ft h e s e r v i c ep l a t f o r m ，i n c l u d i n gi t sn e t w o r kd e p l o y m e n ta r c h l t e c t u r e ， h a r d w 鹏c o m p o s i t i o na n dw o r k i n gp r i n c i p l e s ，a n d t h eo v e r a l ld e s i g no fs y s t e ms o t t w a r e m o d u l e s b a s e do nt h ea b o v ed i c u s s i o n s ，t h ed i s s e r t a t i o nd e t a i l st h ei m p l e m e n t a t i o n t e c m q u e s o fs e n ，i c ep l a t f o ms o 脚a r ed e s i g n b yu s e o fr t p , i pm u l t i c a s ta n dm u l t i 岫a dt e c h n o l o 昏e s ，i r v i d e os t r e 锄i n ga n dp l a y b a c ks o f t w a r em o d u l e s a r ed e s i g n e da n di m p l e m e n t e d ，i n c l u d l n g t h a to 士 i pv i d e os t r e 锄t r a i l s p o r t ，b a s i cp l a y b a c kc o n t r o l o fv i d e os t r e a ma n dc u s t o m l z e dp l a y b a c k s e i c e s e m p l o y i n gr t c pb a s e dq o st e c h n o l o g y , s e r v i c e d i s c o v e r y 钯c h n o l o g y a n du s e r m a n a g 锄e n tt e c h n o l o 鼢t h ep l a t f o r m m a n a g e m e n t s o f t w a r er o o d u l e s a r ed e s l 伊e d a 1 1 d i m d l e m e n t e d i n c l u d i n gt h a to fq o sc o n t r o l ，d i s c o v e r y o fs y s t e ms e r v i c e sa n du s e rg 。o u p m a n a m e n t f i n a l l y t h ed i s s e r t a t i o np r e s e n t s t h er e s u l t so ff u n c t i o n a lt e s ta n dp e r f c r m a n c e t e s t o ft h ep l a t f o ma n de x p l o r e st h ei s s u eo f m u l t i c a s tq o sa n df u r t h e rw o r k t h et e s tr e s u l t sh a v es h o w n t h a tt h ei m p l e m e n t e ds y s t e mm e e t s t h ed e s i g nr e q u i r e m e n t s a n q i th a s b e e np r o v i d e dt ot h ec o m p a n y f o rt r i a lu s ea st h ef i r s tv e r s i o no f r & d p m d u c t k e yw o r d s ：m e d i as t r e a m i n g n g ni pm u l t i c a s t q 。s i l 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名： 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：缒导师签名：辜盔篁垒生日期：趔 南京i l i i l t u j , ；学顺七研究生学位论文 第一幸引言 1 1 研究背景 第一章引言 随着计算机技术的普及应用和网络技术的迅猛发展，以及视频压缩编码技术的不断进 步，数字视频服务已成为可能。它集成了多种技术优势，改变了传统的信息获取方法，集 动态影视图像、静态图片、声音、文字信息为一体，为用户提供实时、交互、按需的服务， 目前已成为网络领域的一个重要应用领域。 1 1 1 下一代网络的发展 近年来，信息技术日新月异，特别是微电子技术、软件技术、光通信技术的飞速发展， 为信息产业带来了革命性的进步。另一方面随着i n t e m e t 的普及，电子商务、互动多媒体 服务平台等已经不再是遥远的梦想。经济的发展和技术的进步把整个信息产业带入了商机 无限的数字化时代。随着技术的进步和需求的不断提升，能够提供集图像、数据为一体的 多媒体综合业务的下一代网络( n g n ，n e x tg e n e r a t i o nn e t w o r k ) 0 体系结构逐步显现，成为 电信网络发展的热点。 传统服务提供商( s p ，s e r v i c ep r o v i d e r ) 在话音业务及其增值业务、数据和多媒体业务领 域面临越来越激烈的竞争，采用n g n 技术可以增强服务提供商的业务提供能力，提高竞 争力。同时n g n 技术已经成为业界公认的网络演进目标，未来一段时期内传统服务提供 商将逐步从现有的公用电话网( p s t n ，p u b l i cs w i t c h e dt e l e p h o n en e t w o r k ) 网络平滑过渡到 n g n 网络。n g n 网络最大的优势就在于其业务的优势以及网络融合带来网络建设、运营 维护成本降低的优势。从单一的业务网变成融合多种业务为一体的网络，可以更大程度地 降低网络的建设、运维成本；通过和i n t e r n e t 网络的结合，可以灵活提供更多基于w e b 、 多媒体的业务；同时n g n 强大的业务平台把客户对于业务的需求变得更为简单，第三方 可以基于统一的业务平台进行业务开发，客户可以基于w e b 页面进行业务定制，这一切都 带给客户全新的更富有个性化的业务环境，使得下一代网络具有不可比拟的业务优势。 南京岍n 凡学碰| 。究生学位论土 第一章引d 112 数字视频流服务技术 从用户冉，j 需求来看，数字视频流服务1 2 是指通过网络可以在线地、连续地实时收看音、 视频节目，而且在收看过程中还可以采取某些交互控制操作。并且，不同于传统的先下载 再收看的模式，数宁视频流服务的客户端支持接收节目数据与播放同时进行。 数字视频流服务通常包括：视频点播系统( v o d 。v i d e oo i ld e m a n d ) 、视频实时播放系统、 远程教育系统( d i s t a n c el e a m i n g ) 以及数字图书馆( d i g i t a ll i b r a r y ) 等。数字视频数掘在i p 网 络上传输形成连续数据流，也称作流媒体( m e d i as t r e a m i n g ) o 】，以区别于图片、网页和文本 等时间上非连续数据。 从逻辑上说，所有的视频流服务系统都由视频服务器、客户端、网络和音视频数据组 成 4 1 。其运行模式是：用户通过客户端提出服务请求，经过网络传输提交给视频服务器， 服务器响应客户端的请求，并在随后的一段时间内，以一定码率将用户请求的音视频数据 从网络传输给客户端，从而向用户提供视频服务。视频服务器可以接入c a b l e t v 传输丁v 视频，也可以接入d v d ，v c d 传输a v 视频。其基本的服务过程如图11 所示，客户端和 服务器之问可以进行某些交互操作。 图i l 数字视频流服务 数字视频流服务系统不同于普通的电视系统。电视系统通常采用广播的形式进行音视 频( 增加特殊设备后也可以包含文本) 数据传输，用户仅仅是被动地收看电视节目，不能 进行主动的交互活动。而在数字视频服务系统中，用户可以在任意时刻选择自己喜爱的数 2 南京邮i u 人学硕b 研究生学位论文 第一苹弓l 青 字视频。 数字视频流服务不同于普通的文件传输。在普通的文件传输过程中，如利用r p 远程下 载文件，用户发送一个下载命令后，网络通常以尽可能高的速率传输数据。在文件下载结 束前，用户无需再对其做进一步的处理，也不能使用该文件。而在数字视频流服务过程中， 用户发送一个命令后，只需要等待一个短暂的延迟时间，即可完成节目播放。并且，在随 后的服务过程中，视频数据传输与播放并发进行，网络对视频数据传输通常并不是以可能 达到的最大速率进行，而是以视频数据自身规定的一个( 可变的) 速率进行传输。 数字视频流服务与普通文件传输的服务质量不同。普通文件传输不允许下载文件有任 何偏差( 否则无法使用) ，客户端得到的数据必须和服务器发送的数据完全一致。如有偏 差，则视为无效传输。不同的是，视频服务并没有此类严格要求，其偏差只要在客户端能 够接受的范围之内即可。在普通文件传输过程中，用户仅考虑总的传输时间，而对其中某 一个数据块的传输时刻不关心。而在视频流服务的过程中，总的传输时间基本上由视频数 据本身决定，但为了保证实时性，其中任何一个数据块都有一个最晚到达时亥l j ( d e a d l i n e ) ， 即数据的解码时刻，到达时间晚于该时刻的数据都将视为无效数据。 1 2 课题的应用背景 近年来，随着计算机、多媒体和网络技术的迅猛发展，数字视频服务得到了快速地发 展。大规模部署的视频流服务主要有两大类：数字电视( d t v ) 和i p t v 5 1 。前者是广电部 门部署的业务，旨在替代现有的模拟c a b l et v 服务，其用户群是广大的公共电视用户。后 者是电信部门部署的业务，旨在作为一项有前景的宽带增值业务，在以口为核心的下一代 网络( n g n ) 上提供，其用户群是广大的宽带电信用户。两者在网络上传送的都是数字视 频信号，d t v 在广电专用网络上传送，i p t v 则在i p 电信网络上传送。 上述两大类服务都是由大型的公共服务提供商提供的，且寄托于各自的网络优势。对 于小型的i s p 来说，则希望能利用大众广泛使用的互联网为特定用户群提供数字视频服务， 开拓新的增值服务空间。在此情况下，一些i s p 根据欧美市场的需要，推出了一种视频流 服务。其应用背景是：由于欧美国家间人员交往很频繁，例如从欧洲国家到美国去的人员 非常希望在美国仍然能收看到本国的电视，此时，部署在本国的服务系统可以将本地的 c a b l et v 信号接收下来后，变换成数字视频流通过互联网发送给所需要的用户。这相当于 将机顶盒和收看终端分离，远程部署的机顶盒位于欧洲本地，而收看的终端位于千里之外 3 南京邮f 乜- 人学硕i ：研究生学位论文第一章0 i 言 的美国，收看终端可以是普通的p c 机。对于欧洲来说，由于各国地域很小，泛欧各国之 间的人员交往也很多，因此这类应用即使在欧洲也有市场。当然，在此平台上除了远程传 递c a b l et v 视频流以外，也可以传递v o d 等业务流，或者进一步在其上开发其他的增值 服务。 对于大型企业来说，也可以利用此类服务平台在企业网内部传送共享的视频流，特别 对于分支机构分布在不同地域的公司来说，尤其具有应用价值。此时，视频流可以经由企 业专有的v p n 传送，以确保其服务质量。当然，在更小的局域网范围，此类服务平台也 有其应用的空间，这些都有待于运营商和业务提供商开拓。 正是出于以上的考虑，笔者参与研发实践的i t 公司提出了开发这样一种服务平台的计 划，暂定名为i p 数字视频流服务平台。第一阶段的计划是实现基本的视频流播放功能以及 必要的用户管理和服务发现等管理功能，并对诸如视频流播放服务质量( q o s ，q u a l i t yo f s e r v i c e ) 6 】等重要技术做初步的研究。本人参与了项目的总体设计，并开发实现了其中的一 些软件模块。 1 3 本人所做工作及论文主要内容 在“i p 实时视频流服务平台 课题的研究中，本人主要完成了以下几个方面的工作： ( 1 ) 针对下一代网络的业务需求，给出了服务平台的总体架构和软件总体结构设计 在深入地研究了下一代网络的演进与发展及数字视频流服务技术后，给出了服务平台 的总体网络架构。根据系统的功能需求分析，与项目组共同设计了平台软件总体结构，包 括各个软件功能模块和子模块。 ( 2 ) 根据p 网络中实时视频流的传送特性，实现了视频流的播放及q o s 控制功能 系统地分析了用户在观看实时视频流时可能的播放控制，运用消息机制，在服务平台 中各实体间实现了视频流的播放及控制功能。深入研究了基于r t c p 7 1 的q o s 监测，实现 了q o s 的控制策略，提高了实时视频流服务的整体性能。与此同时，设计实现了视频文件 的网络共享和定时插播两种服务。 ( 3 ) 基于平台的网络架构，设计实现了平台的服务自动发现机制和用户群组管理功能 从服务的角度考虑，运用消息通信机制，定义了服务平台中各实体间的服务发现消息， 并实现了服务自动发现【8 】功能。从管理的角度考虑，实现了用户的合法性验证，并对合法 用户的权限进行了划分。为防止用户程序异常退出，定时与用户发送同步消息。 4 南京邮电人学硕仁研究生学位论文 第一章引言 ( 4 ) 在掌握硬件构成及工作原理的基础上，创建了服务平台前端盒( f e b ) 的嵌入式 操作系统运行环境 在项目组设计的f e b 硬件平台上，通过配置创建了嵌入式u c l i n u x 操作系统【9 j 运行环 境。与硬件驱动程序配合，有效地实现了视频信号的接收及处理以及i p 数据包的收发及处 理功能。 论文共分为六章。第一章简要介绍了下一代网络与数字视频服务技术的基本概念，系 统分析了论文课题的应用背景和用户需求，阐述了课题的研究目标及本人的主要研究工 作。第二章阐述了与i p 实时视频流服务相关的若干基础技术，包括r t p 实时传输协议、 视频编码技术、q o s 技术和服务发现技术。第三章阐述了i p 实时视频流服务平台的系统设 计方案，给出了服务平台系统架构、硬件组成及工作原理、软件模块划分以及操作系统环 境的创建。第四章详细讨论了i p 视频流播放功能相关的软件模块的设计与实现，包括i p 视频流传送模块、i p 视频流基本播放模块以及定制播放服务模块。第五章详细讨论了服务 平台管理功能相关的软件模块的设计与实现，包括q o s 管理模块、服务发现模块以及用户 群组管理模块。最后，第六章给出了服务平台系统功能测试和性能测试的结果，小结了论 文所作的工作，探讨了组播【1 0 q o s 技术，并简述了进一步的工作。 南京邮电大学硕二卜研究生学位论义第二章1 p 实时视频流服务甲台的幕础技术 第二章i p 实时视频流服务平台的基础技术 本章阐述与i p 实时视频流服务平台相关的基础技术，主要包括实时传输协议( i 淝 r c a l t i m et r a n s p o r tp r o t o c 0 1 ) 幂i 实时传输控制协议( r t c p , r e a l t i m et r a n s p o r tc o n t r o lp r o t o c 0 1 ) n l 、视频编码m p e g 2 标准、q o s 控制和服务发现技术。 2 1 实时传输协议r t p r t c p 2 1 1 协议设计思想 r t p 为音频、视频等实时信号数据提供端到端的传递服务，可以向接收端点传送恢复 实时信号必需的定时和顺序信息，并向收发双方和网络运营者提供q o s 监测手段。 i e t f 定义的r t p 实际包括两个协议。一是r t p 本身，用以封装实时数据。其功能是 提供净荷类型指示( 即数据类型和编码方法) 、数据分组序号、数据发送时戳和数据源标识。 接收端根据这些信息可以正确地重组原始信号。在视频解码时，还可以根据序号确定接收 分组在数据流中的位置，从而不一定完全按顺序解码。 另一个协议就是r t c p ，用以传送实时信号的传递质量参数，提供q o s 监视机制。同 时还可传送会议通信中的参会者信息，向没有显式的成员控制和呼叫建立的“松弛型”会议 通信提供控制机制。 r t p 的设计采用“集成处理”和“应用成帧”的思想。 所谓“集成处理”指的是r t p 一般由应用层综合处理，而不作为一个单独的协议层 来处理。 所谓“应用成帧”指的是r t p 只规定所有应用都需要的公共功能，不像一般协议那 样通过任选机制等办法追求全面和完备，而是留有余地，允许具体应用修改和或 增加头部信息以满足其特定需要。 因此，用r t p 封装应用数据，除了要遵从r t p 协议本身的要求外，还需要制定两个应 用文件： 应用文档( p r o f i l e ) ：该文档定义一组净荷类型码及它们至净荷格式( 如媒体编码) 的 6 南京邮电人学硕上研究生学位论文 第二章i p 实时视师! 流服务平台的培础技术 映射关系。 净荷格式规范：具体定义每一种净荷( 例如音频或视频编码) 如何在i 盯p 中传送。 r t p 通常运行在用户数据报协议( u d p , u s e rd a t a g r a mp r o t o c 0 1 ) 之上，二者共同完成运输 层的功能，但协议并不排除采用其它合适的运输层协议。u d p 提供复用及校验和服务，所 谓复用就是通过分配不同的端口号来传送多个r t p 流。此外，协议还规定，r t p 流应使用 偶数( 2 n ) 端口号，相应的r t c p 应使用相邻的奇数( 2 n + 1 ) 端口号。因此，应用进程应在一 对端口上接收r t p 数据和控制数据，同时向另一对端口发送数据和控制信号。 2 1 2r t p 协议 实时传输协议( r t p ) 是为实时数据提供端到端传输服务的协议，目前普遍应用于i n t e m e t 多媒体数据通信领域。r t p 通常使用u d p 来承载传送数据，但数据也可以承载在其它底层 和传输层协议之上。r t p 协议提供了一对一或一对多的工作模式，它能够传递时间信息并 实现流同步。若底层网络支持i p 组播技术，则可使用r t p 协议提供多目的地址传送。接收 者可以使用报文中的序列号( s n ，s e q u e n c en u m b e r ) 字段对报文按需重组和丢包统计。 1 、r t p 协议的包格式 r t p 分组固定头部格式如图2 1 所示，报文的前1 2 个字节在所有r t p 报文中都是必须具 备的，分信源标识( c s r c ，c o n t r i b u t i n gs o u r c e ) 列表域是可选的，在涉及混音类的应用中， 该字段的值由混音器来填充。 v pxc cmp t 序号 时戳 同步源( s s r c ) 标识 分信源( c s r c ) 标识( o 1 5 个) 图2 1r t p 分组固定头部格式 分组头部各字段的含义为： ( 1 ) v ：版本号。指示r t p 版本号。 ( 2 ) p ：填充指示位。 如果p 位置“1 ，表示分组结尾会有1 个或多个填充字节，这些字节不属于分组净荷。 最后1 个填充字节指示共有多少个填充字节( 包括该字节本身在内) 。在两种情况下可能需 7 南京邮电大学7 页i 二研究生学位论文第二章i p 实时视频流服务i f 台的基础技术 要填充，一是某些加密算法要求数掘块大小固定；二是在个低层协议数据包中装载多个 r t p 分组。 ( 3 ) x ：扩展指示位。 如果x 位置“l ”，则固定头部后还有一个扩展头部，其含义由应用文档定义，供各种应 用传送和净荷格式无关的附加的公共信息。一般不使用。 ( 4 ) c c ：c s r c 计数。指示固定头部后部的c s r c 标识的个数。 ( 5 ) m ：标识位。其含义由应用文档解释。 ( 6 ) p t ：净荷类型。 该字段指明r t p 净荷类型，其定义和解释由应用确定。应用文档可以规定一个缺省的 净荷类型码至净荷格式的静态映射关系。非缺省的净荷类型码可以通过非r 1 7 p 手段( 例如数 据库、e m a i l 等方式) 动态定义。当p t 的值为3 3 时，表示数据类型为m p e g 2 。 ( 7 ) 序号 每发送一个r t p 分组，序号加1 。序号可供接收方检测分组丢失和恢复分组顺序。序号 的初值应为随机数，使得加密后不易受到攻击。 ( 8 ) 时戳( t i m e s t a m p ) 时戳指示的是r t p 数据分组第1 个字节的取样时刻。导出该取样时刻的时钟必须随时间 线性单调递增，以支持同步和抖动计算。时钟必须有足够的分辨率以获得所需的同步精度 和进行分组到达时延抖动的测量。时钟频率取决于净荷数据格式。如果r t p 分组周期性生 成，则使用由采样时钟决定的标称取样时刻，而不是通过读系统时钟获得。例如，对于固 定速率音频信号，时戳时钟每一个取样周期加l 。 和序号一样，时戳的初值也应是随机数。如果几个相邻的r t p 分组是同时生成的，例 如属于同一视频帧的数据，则它们的时戳值应相同。如果数据不是按取样顺序发送，例如 m p e g 交织视频帧，则相邻r 1 p 分组的时戳值可能不符合单调上升的规律，但此时分组序 号仍应为单调递增。 ( 9 ) s s r c ( s y n c h r o n o u ss o u r c e ) ：同步源标识。 该字段用以标识信号的同步源，其值应随机选择，以保证同一个r 1 p 会话中任意两个 同步源的s s r c 标识都不相同。 在混合操作时，各输入分信号的定时一般说来是不同步的，混合器需对它们进行定时 调整，对输出的复合信号r t p 分组将赋予它自己的时戳和序号。也就是说，复合信号将成 查塞些皇查兰堡! 竺! 壅竺堂竺i ! 塞 笙三童! ! 壅 旦丝塑丝壁堑：! ：鱼堕苎型垫查 为一个新的r t p 分组流，其同步源变为混合器，s s r c 值由混合器重新赋值。 ( 1 0 ) c s r c ( c o n t r i b u t i n gs o u r c e ) ：分信源标识。 该标识由混合器插入，其值就是各个输入分信号的s s r c 标识，用以标识各个组成分信 号的信源。r t p 分组头部包含的c s r c 标识数目由c c 字段指明。 2 、r t p 在协议层中的位置 如图2 2 所示，首先用r t p 协议标准对数据进行封装，再用u d p 协议对r t p 数据包进行 承载，最后由i p 网络层封装成i p 数据包进行传输。 2 1 3r t c p 协议 图2 2 r t p 数据封装 1 、r t c p 协议功能 r t c p 协议的基本思想是采用和数据分组同样的配送机制向r t p 会话中的所有与会者 周期性地传送控制分组，从而提供数据传送q o s 的监测手段，并获知与会者的身份信息。 其功能包括： ( 1 ) 提供数据传送质量的反馈信息 这是r t c p 最基本的功能。它是r t p 作为运输层协议的一项不可或缺的功能，也和其 它运输层协议的流量控制和拥塞控制功能密切相关。反馈信息可直接用于控制自适应编 码，在i p 多播中对于诊断数据分配故障也十分有用。向所有与会者发送接收反馈报告有助 于判断故障是局部性还是全面性的。这些信息还可通过多播方法发送给不参与会话的业务 提供者，作为第三方对网络进行监视和故障诊断。完成这项反馈功能的就是r t c p 发送者 报告和接收者报告。 ( 2 ) 传送r t p 源运输层永久标识 该标识称为规范名( c n a m e ) 。由于s s r c 标识可能改变( 如程序重启动时) ，因此接收 方需要使用不变的c n a m e 来跟踪每个与会者。c n a m e 的另一作用是关联同一与会者由 一组r t p 会话发出的多个相关的数据流，例如可视电话中的话音流和视频流，虽然分属两 个不同的r t p 会话，但是它们的r t c p 分组中的c n a m e 相同，接收者据此可知需对它们 9 塑室堕皇查兰堕：兰堕型圭堂丝笙苎翌三量! ! 壅堕丝塑! 堕坐堑：! 鱼堕苎型垫查 进行同步处理。 ( 3 ) 确定r t c p 分组发送速率 由于r t c p 分组需要定期发送，在大型会议情况下，网络上就会产生可观的控制话务 量，因此必须根据可用带宽和会议规模确定r t c p 分组的发送速率。 ( 4 ) 传送少量会话控制信息 例如与会者标识，可在用户界面上显示，对于与会者可以自由进出的“松弛型 控制会话 最为有用。此是任选功能。 为了完成上述功能，r t c p 定义了5 种分组类型： s r ( s e n d e rr e p o r t ) ：发送者报告。由数据发送者发出的发送和接收统计数据。 r r ( r e c e i v e rr e p o r t ) ：接收者报告。由非数据发送者发出的接收统计数据。 s d e s ( s o u r c ed e s c r i p t i o n ) ：源描述项。包括c n a m e 。 b y e ：指示退出会话。 a p p ：应用特定功能。 每个r t c p 分组由固定头部和若干个可变长度的数据单元组成。分组长度必定是3 2 比特字的整数倍，且头部有长度字段，因此多个r t c p 分组可以组装成一个复合r t c p 分 组，各分组间无需分界指示。规定复合分组中的第1 个r t c p 分组必须是s r 或r r ，且每 个复合分组必须包含1 个含有c n a m e 的s d e s 分组。 下面着重介绍一下最为重要的s r 和r r 分组及其作用。 2 、s r 和r r 分组 r r 和s r 都可用来发送数据接收质量的反馈信息，其差别在于s r 除了提供此信息外， 还可提供有关数据发送的信息。从分组结构上看，s r 除了有接收报告数据块外，还有2 0 个字节的发送者信息段。如果一个站点仅是会话的接收者，则只能发送r r 分组；如果一 个站点既是会话的接收者，又是会话的发送者，则可在发送s r 时一起发送接收反馈信息， 在没有s r 需要发送时，就专门发送r r 。报告分组定期发送，如果在上次发送s r 或r r 后又发送过数据，则本次应发送s r ，否则就发送r r 。 s r 和r r 都包含零个或多个接收报告数据块，每个数据块针对一个同步源。自上次发 送报告后，本站点从该同步源又收到过数据，接收报告提供数据接收的统计信息。每个s r 或r r 最多可包含3 1 个接收报告块。对分信源( c s r c ) 不发送接收报告。 1 0 南京邮l u 大学硕 ： i ) f 究生学位论文第二章i p 实时视频流服务m t 台的基础技术 vpr c p t ( = s r = 2 0 0 )长度 发送方s s r c n t p 时戳( 高位字) n t p 时戳( 低位字) r t p 时戳 发送方r t p 分组计数值 发送方r t p 字节计数值 s s r c - 1 ( 第1 个同步源的s s r c ) 丢失率累计丢失分组数 扩展的已接收最高序号 到达时延抖动 最末s r 时戳( l s r ) 最末s r 后的时延( d l s r ) s s r c - 2 ( 第2 个同步源的s s r c ) l 应用文档特定的扩展部分 头部 发送方信息 接收报告块l 接收报告块2 图2 3s r 分组结构 图2 3 示出s r 分组结构，它由三个数据段组成：头部、发送方信息和接收报告块。 ( 1 ) 头部 长度为8 个字节，包含以下字段： v ：版本号。含义同r t p 分组头部。 p ：填充指示位。含义同r t p 分组头部。对于复合分组而言，只有最后一个分组的 p 位可能置1 。 r c ：接收报告计数。指示本分组包含的接收报告块个数，可以为零值。 p t ：净荷类型。s r 的净荷类型值为2 0 0 ： 长度：其值加1 为该r t c p 分组的长度，长度单位为3 2 比特字，包括头部和填充 字节。 发送方s s r c ：发送该s r 分组的站点的同步源标识。 ( 2 ) 发送方信息 长度为2 0 个字节，是s r 的必备部分，包含以下字段： n t p 时戳：指示该s r 发出的绝对时间。n t p ( n e t w o r kt i m ep r o t o c 0 1 ) 称为网络时 雨京邮i 乜人学硕i ：自j f 究生学位论文第二章i p 实时视频流服务甲台的幕础技术 问协议，n t p 时戳表示相对于1 9 9 0 1 1 协调世界时零点的时间差值，单位为秒。 前3 2 比特为整数部分，后3 2 比特为小数部分。根据此值及由其它接收端回送的 时戳，就能测出至这些接收端的往返传播时延。 r t p 时戳：它所指示的就是上述n t p 时戳指示的时间，但是时间单位及初始值和 数据分组中的r t p 时戳相同。根据这一对应关系就可控制来自不同源的相同媒体 和不同媒体之间的同步，其条件是这些信源的n t p 时戳是同步的。 发送方分组计数值：其值为该发送者自开始发送以来直至本s r 分组生成时为止发 送的r t p 数据分组总数。 发送方字节计数：其值为上述同一段时间内发送的r t p 数据分组的净荷字节数， 该值可用来估算平均净荷数据速率。 ( 3 ) 接收报告块 该数据段包含零个或多个接收报告块，每个报告块提供来自指定同步源的接收数据的 统计信息。这些统计信息包括： s s r c n ：本报告块信息所属信源的s s r c 标识。 丢失率：指示自上次s r 或r r 发送以来，由s s r c n 发来的r t p 数据分组的丢失 比率。用二进s 0 d , 数表示，小数点位于该字段的最左面。该值定义为丢失分组数 与期望接收分组数的比值。 累计丢失分组数：指示从开始接收以来丢失的来自s s r c n 的r t p 数据分组总数。 该值定义为期望收到的分组数与实际收到的分组数之差。 扩展的已接收最高序号：其低1 6 比特为接收来自s s r c n 的r t p 数据分组的最高 序号，高1 6 比特为序号循环计数。该值与收到的初始序号之差就是上两个字段所 使用的期望收到的分组数。 到达时延抖动：用时戳单元测量的r t p 数据分组到达时延统计方差估值，用无符 号整数表示。 最末s r 时戳( l s t l l a s ts rt i m e s t a m p ) ：为最近收到的来自s s r c - 1 1 的s r 分组中 n t p 时戳的中间3 2 比特。 最末s r 后的时延( d l s r ，d e l a ys i n c es r ) ：自收到最近一个来自s s r c 一1 3 的s r 分 组至发送本接收报告块的时延，单位为1 6 5 5 3 6 秒。如果尚未收到s r 分组，则置 d i s r = o 。 1 2 堕塞! ! ! ! ! 皇! ! 堂堡! ：堕壅生堂垡堡茎釜= 童! 壅盟鲨塑鲨竖箜! ! 鱼塑量型垫查 r r 分组格式和s r 相同，差别仅在于没有2 0 个字节的发送者信息，且p t = 2 0 1 。 s r 和r r 中有许多有用的信息可供信号发送者、接收者和第三方监视q o s 性能和诊断 网络问题，并及时调整发送模式。 这些信息可分为三类：累计信息、即时信息和时间信息。 累计信息：通过计算两个接收报告累计信息之差可以监视长期性能指标； 即时信息：由即时信息可以测量短期性能； 时间信息：时间信息可以用来计算比率指标，且由于n t p 时戳和编码时钟速率无 关，可以获得独立于编码和应用文档的测量结果。 例如，两个接收报告的累计丢失分组数之差给出了在这段时间中的丢失分组数；扩展 最高序号之差为这段时间内的期望接收分组数；二者之比为这段时间内的分组丢失率。丢 失分组数与两个报告的n t p 时戳之差的比值为每秒分组丢失率。期望接收分组数与丢失分 组数之差即为这段时间内收到的分组数。由期望接收分组数还可判断丢失统计指标的可信 度，如总共5 个分组中丢失1 个，由于样本空间过小，此丢失率数据意义不大：如总共1 0 0 0 个分组中丢失2 0 0 个，则此数据比较可信。由于上述测量都是基于两个接收报告之差，因 此即使曾发生报告丢失也不会影响监测结果。 第三方即使没有接收实际数据，通过收到的发送者信息也可算出这段时间内的平均净 荷数据率和平均分组发送率。两者之比即给出平均净荷大小。假定分组丢失率和分组大小 无关，则由某个接收站接收分组数与平均净荷大小的乘积就能得出该接收站的吞吐量。 单个接收报告中的丢失率可以直接用作短期测量指标，该值在会话规模相当大时显得 很重要，由于此时报告间隔时间很长，且不一定保存所有接收站的信息，所以基于两个报 告之差的长期监测方法的实现可能有困难。 另一个关于网络拥塞的短期监测指标是到达时延抖动。分组丢失反映网络长时间拥塞 状况，而时延抖动跟踪的是网络瞬态拥塞状况，此时还没有出现分组丢失。作为网络管理 者来说，有必要监视和分析许多报告和许多接收站的时延抖动数据，以便了解整个网络的 负荷情况。 2 2m p e g 2 视频编码标准 m p e g 是国际标准化组织的运动图像专家d x n ( m p e c 毛m o v i n gp i c t u r ee x p e r tg r o u p ) 南0 定的动态视频压缩编码国际标准。m p e g 标准包括m p e g 视频、m p e g 音频和m p e g 系 1 3 堕塞业! ! 盔兰堕! 型! 壅生兰垡堡苎釜三至! ! 壅盟塑望! 盗里箜! 鱼堕量型塾查 统( 视音频同步) 三个部分。m p e g 压缩标准是针对运动图像而设计的，可实现帧之间的压 缩，其平均压缩比可达5 0 ：1 ，压缩率比较高，且又有统- - 9 0 格式，兼容性好。 m p e g 组织于1 9 9 4 年推出m p e g 2 压缩标准，以实现视音频服务与应用互操作的可 能性。m p e g 2 标准【1 2 】是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系 统层的详细规定，编码码率从每秒3 兆比特1 0 0 兆比特。m p e g 2 图像压缩的原理是利用 了图像中的两种特性：空间相关性和时间相关性。这两种相关性使得图像中存在大量的冗 余信息。如果我们能将这些冗余信息去除，只保留少量非相关信息进行传输，就可以大大 节省传输频带。而接收机利用这些非相关信息，按照一定的解码算法，可以在保证一定的 图像质量的前提下恢复原始图像。 下面主要阐述m p e g 2 标准的系统复用原理和m p e g 2t s 的框架，并说明m p e g 2 标准与其他压缩标准相比较的情况，即：服务平台中研究并选择m p e g 2 标准的理由。 2 2 1m p e g 2 视频编码标准概述 ( 1 ) m p e g