（通信与信息系统专业论文）视频点播与剪辑系统的客户端设计.pdf

y 5 8 c 3 。c 。 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导f 进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人 已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位 或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中 作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：叠塾日期：型竖i ：鎏 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国 家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学校可以 公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇 编学位论文。( 保密的学位论文在解密后遵守此规定) 本学位论文不属于保密范围，适用本授权书。 本人签名 导师签名 h 期 日期 ，。仁? ，习 j 征卜虹擎一 视频点播与剪辑系统的客户端设计 摘要 视频点播系统是一种典型的交互式多媒体信惑系统。传统率兑频点播 系统的主要组成部分是视频服务器、文档服务器、传输网络和网络客户 端，其功能是响应用户请求输出相应的视频节露，其设计尽标是为尽量 多的用户提供尽量好的服务质量( q o s ，q u a l i t yo fs e r v i c e ) 。根据用户 请求和自身功麓，传统的车觅颏点播系统主要霜来为校园阕和企监丽上漪 p c 用户提供实时高效的视频点播和远程教学服务。 随着宽带瓣络和多媒体技术斡发震，视频点播系统的功能也有了进 一步发展。本文所介绍的视频点播与剪辑系统就是对传统视频点播系统 瓣种改进。在该系统中，传统视簇服务器蛉一部分功能被薪翔入斡接 纳控制服务器分离出来，由它来完成用户接纳和点播控制功能；同时该 系统除了传统懿视频点播羧务羚，还骞了节譬剪辑薛功麓，瑟耀户可以 在本地游览节目时选取感兴趣的节目片断，然后节目的剪切信息通过涮 终传送到视频黢务器，在那墼将节隧片断剪切下来并送到用户漾。在该 系统中，用户还可以在本地浏览视频节目的关键帧，通过选择起止关键 枣雯，也可以剪甥狸应静节毽片獗。 客户端是视频点播系统中的重要组成部分，因为它直接面向用户， 题户所请求豹器秸服务最基褰器零要通过客户溃寒提交。客户端设计时考 虑的主要问题有与接纳控制服务器和视频服务器的通信、m p e g l 视频流 的接收与播放、关键帧的下载解辑与浏览和l s t 文件的上传等等。每个 功能都有对应的模块，其中通信模块是客户端的中枢，它负责与服务器 的信息交互，涉及到 强) p 趣t p 艘t s p f t p 等各秘传输协议；l s t 文件则 包含了节目剪切的信息，视频服务器根据此文件对节目进行剪切。m p e g i 模块则负责视频流的实时接收和播放；关键帧是节强内容的概括，是由 从视频节目中随机提取的镜头图像按一定规则组合而成，关键帧模块就 主要负责关键帧文件的解析茅浏览。各个模块在主模块的统一调度管理 下，有机的结合成一个整体，对用户提供视频点播和素材剪辑服务。 关键运：褫频点播与剪辑系统流式播羧器关键i 陵客户端 ciie n ts o f t w a r ed e si g no fv id e o o n d e m a n da n d e d i t i n gs y s t e m a b s t r a c t v i d e o 。o n 。d e m a n d s y s t e m i sa n t y p i c a l i n t e r a c t i v em u l t i m e d i a i n f o r m a t i o n s y s t e m t r a d i t i o n a l v i d e o o n d e m a n d s y s t e mm a i n l y i n c l u d e v i d e os e r v e r , a r c h i v es e r v e r , t r a n s p o r tn e t w o r ka n dn e t w o r kc l i e n tt e r m i n a l ， w h o s em a i nf u n c t i o ni so u t p u tv i d e op r o g r a ma c c o r d i n gt ot h ec l i e n tr e q u e s t ， a n dw h o s eg o a li st h a tp r o v i d eb e t t e rq o sa sp o s s i b l ef o rm o r ec l i e n t sa s p o s s i b l e a c c o r d i n g t oc l i e n t r e q u e s t a n ds e l f f u n c t i o n ，t r a d i t i o n a l v i d e o o n - d e m a n ds y s t e mi sm a i n l yu s e dt op r o v i d er e a l - t i m ea n d h i g hq u a l i t y v i d e oa n dl o n g d i s t a n c et e a c h i n gs e r v i c ef o rc l i e n to f c a m p u sa n de n t e r p r i s e n e t w o r k w i t ht h ed e v e l o p m e n to fb r o a d - b a n dn e t w o r ka n dm u l t i m e d i a t e c h n i q u e ， v i d e o o n - d e m a n d s y s t e ma c q u i r e m o r ef u n c t i o n t h ev i d e o o n d e m a n d s y s t e mi nt h i sp a p e ri s a ni m p r o v e dv e r s i o no ft r a d i t i o n a lv i d e o - o n d e m a n d s y s t e m i n t h i ss y s t e m ，s o m ef u n c t i o no ft r a d i t i o n a lv i d e os e r v e ri ss u b s t i t u t e d b yt h en e wa d d e da c c e p ta n dc o n t r o ls e r v e r , w h o s em a i nf u n c t i o ni s c l i e n t a c c e p t a n dv i d e o p l a yc o n t r o l ；i n t h es a m et i m e ，b e s i d e st h et r a d i t i o n a l v i d e o o n - d e m a n d s e r v i c e ，t h i ss y s t e m c o u l d p r o v i d e v i d e oc u ta n de d i t f u n c t i o n ，t h a ti sc l i e n tc o u l dc h o o s et h ef a v o r i t ev i d e op r o g r a mp a r t ，t h e nt h e c u ti n f o r m a t i o ni st r a n s p o r t e dt ot h ev i d e os e r v e r ，t h ep r o g r a mi sc u tt h e r e a n ds e n dt ot h ec l i e n tt e r m i n a l i nt h i s s y s t e m ，c l i e n t c o u l da l s os c a nt h e k e y f r a m eo f v i d e op r o g r a m ，t h r o u g hc h o o s et h es t a r ta n de n dk e y f r a m e ，c l i e n t c o u l da l s oc u ta c c o r d i n g l yv i d e o p r o g r a m c l i e n tt e r m i n a li si m p o r t a n tp a r to fv i d e o o n d e m a n ds y s t e m ，b e c a u s ea l l t h e s e r v i c eu s e r r e q u e s t a r e p r o v i d e d t ot h ec l i e n tt e r m i n a l t h em a i n c o n s i d e r e dp r o b l e mo fc l i e n tt e r m i n a li n c l u d ec o m m u n i c a t i o nw i t ht h ev i d e o s e r v e ra n d a c c e p ta n d c o n t r o ls e r v e r , r e c e i v ea n d p l a yr e a l t i m em p e g l v i d e o 4 s t r e a m k e y f r a m ed o w n l o a da n dp a r s e l s tf i l eu p l o a de t c e a c hf u n c t i o n c o r r e s p o n dt o a nm o d u l e c o m m u n i c a t i o nm o d u l ei sk e r n e l p a r t o fc l i e n t t e r m i n a l w h i c hi n v o l v eu d p 锺i 髓勰s p 屉t p p r o t o c o ia n d t h em a i nf u n c t i o n o fw h i c hi si n f o r m a t i o ne x c h a n g e ；l s tf i l ei n c l u d ei n f o r m a t i o na b o u t p r o g r a mc u ta n de d i t ，v i d e o s e r v e rc u tt h ep r o g r a ma c c o r d i n gt ot h i sf i l e m p e g lm o d u l ei s r e s p o n s i b l e t ot h er e c e i v ea n dp l a yo fr e a l t i m ev i d e o s t r e a m ；k e y f r a m ep r e s e n t t h ev i d e op r o g r a mc o n c i s e l y , w h i c hi sc o m p o s e d b y t h ec a m e r a p i c t u r er a n d o ms e l e c t e df r o m t h ev i d e op r o g r a m m a n a g e d b yt h e m a i nm o d u l e 。e a c hm o d u l ec o m p o s e 巍睦i n t e g r a t e dc l i e n tt e r m i n a lw h i c h p r o v i d ev i d e o o n d e m a n da n dp r o g r a m c u ta n de d i ts e r v i c ef o rt l l eu s e r k e y w o r d s ：v i d e o - o n - d e m a n da n d e d i t i n gs y s t e ms t r e a m i n g m e d i a p l a y e rk e y f r a m e c l i e n t 5 第一章绪论 1 1 多媒体技术与多媒体系统 爨姣1 9 8 7 年美辫r c a 公司静d a v i d s a m o f f 实验室在錾器第二簇c d r o m 年会 上展出世界i ：第一台多媒体计算机，雾媒体技术已经发展了二十多年。多媒体技术的 是瑰，标志麓人翻毫经霹潋鸯效的运爱图像逶售领域中关予图像匿续编羁毂磅究成 果，清楚地殿现出信息处理和通信技术的革命性发展方向。 多媒钵数据是蠹内容文本、图形、麴像、声音、动画、灞动图像餐媒体数撂爨形 成的复合数据。如果把对时间敏感的声音、活动图像的数据称为实时数据，而把其它 类型的数据稼淹非实时数据，熙多媒体数据当中至少蟹包含饔一秘实时数摄帮一秘t 非 实时数据”j 。 交互性怒多媒体技术中一个重要的特征。由此我们霹以傲出以下定义：多媒体披 术就是以交飘的方式在计算机控制下处理多媒体数搽的技术。 1 , 1 ，1 多攥傣产生的技术背景 每一耱灏技术懿产，圭与发鹱均蠢其特定瓣技拳慧景，鹭怒l 三l 其它槎关技术躲发葳 作为菇础的。多媒体的技术撼础有： 1 、塑像蹑结缡弼技术鳇藏熟 数字通信与模拟通信相比较而言，具有抗干扰能力强，保密性好等优点，但如果 不经过压缩，信号占怒的带赛姆大褥多。一路按国黪标准分纛进l 亍数字壤码躲彩色瞧 视信号数据率r = 2 1 6 m b s ，如果用二进制传输大概需要1 0 8 m h z 的带宽；而一路模拟 彩色瞧视信号盼带懿只有6 m h z 。虫鞋聚没有瞧缩技术，多媒体中图像数据的传输和存 储无法实用化。如今，数据率r = 6 m b s 的m p e g - 2 彩色电视信号已相当于模拟电视 广播缀的质爨。 2 、大规模集成电路技术的发展 芯片的集成度越离，芯熙上能容纳的元件越多，对多媒体数据实时处理的能力越 强，设备成本也将越低。只有在这种条件下，多媒体技术才能进入寻常百姓的家庭。 3 、太容鬟数字存储技术的发展 尽管图像压缩编码技术发展已经比较成熟，但多媒体数据量仍然很庞大。以个 普通的影片举例，假设片长9 0 分钟，码流速率为3 m b s ( 普通质量的m p e g 一2 压缩) ， 剐这部影片一共有2 g 字节。为了不影响多媒体数瓣的回放，数字存储设备的读取逮 9 率必须支持实时提取己压缩的活动图像数据流，并且误码率足够低。c d r o m 、 d v d r o m 等大容量数字存储技术的出现，为多媒体技术的实际应用和全面发展提供 了充分条件。 1 1 2 多媒体系统 多媒体技术最初是以多媒体计算机的形式出现的，因为多媒体计算机具有独立存 储、运算、处理与显示的能力，是多媒体技术最直接、最简单的表现形式。然而，多 媒体技术真正的意义在于多媒体通信系统。与网络结合，通过网络为用户提供多媒体 的信息服务，才是多媒体技术发展的方向。 目前应用的多媒体系统可以分为五类：独立商亭式业务、多媒体信息检索与查询、 多媒体会议与协同工作、视频点播以及多媒体信件。其中，后四类系统均是在多媒体 终端与终端之间、终端与多媒体数据库之间由网络相连接的多媒体通信系统。 1 、独立商亭式系统 这类系统的特点是以一台多媒体计算机为核心，不存在网络的连接：应用时主要 考虑的问题是如何搜集、组织素材，并运用多媒体将信息有效的、具有感染力和方便 的提供给用户。 2 、多媒体信息检索与查询 此类系统根据用户的查询条件向用户快速而又有效的提供存储于多媒体数据库 中的多媒体信息。由于从用户到数据库只传送查询命令，要求的传输带宽较小，而从 数据库传送到用户的多媒体信息是大量的、宽带的，所以多媒体信息检索与查询系统 是双向的非对称系统。多媒体数据库如何进行组织与存储、如何进行基于内容的检索 和查询是这类系统的主要研究方向。这类系统的典型应用在房地产、商品购物、娱乐 和旅游方面。 3 、多媒体会议与协同工作 在多媒体出现之前，人们已经发展了好几代的会议系统，从最初直接利用广播电 视的电视会议，到可视电话，会议电视系统，以及桌面会议电视系统，用户可以进行 双向沟通，可以用计算机取代电视与黑板，利用计算机处理和显示会议图像以及文字、 图形数据。 多媒体的出现，使人们可阻在会议系统中融入计算机协同工作的功能，具体来说， 会议系统使得参与会议的人可以同时使用同一种软件工作，能以交互操作的方式从某 一方提取资料，能自动记录与存储会议相关的内容，以备后用。 多媒体协同工作的最终目的是希望身处异地的人们能够象处于同一个房间里 样进行面对面的交流、协商工作，除了视觉与听觉外，人们还可以在会议中体验其他 类型的感觉。从通信角度看，这要求一点对多点，或多点对多点的实时不间断信息传 输，因此多媒体协同工作是对通信系统要求最高的应用。 从应用上说，多媒体会议系统除了包括多媒体会议电视外，还包括多媒体远程医 疗与多媒体远程教育。 1 、视频点播 在观看电视节目的时候，用户只能被动的接收电视台的节目，无法在自己希望的 时间观看指定的节目，也无法改变播放的过程；用户的主动权只是频道的切换。多媒 体技术的出现，给人们开创了一个互动的新时代，使人们得以在家里就可以选取服务 提供商的任何一套节目或者其中一段观看，并且能够进行类似磁带录像机的操作，如 快进、快退、重放、慢动作以及暂停等，还能定位播放，从节目中间开始观看。这就 是视频点播系统实现的功能。 在视频点播系统中，服务端需要同时向几百上千个用户提供内容不同的连续高速 数据流，其控制与调度的机制十分复杂；视频点播提供的内容主要是高质量的活动图 像，服务端与客户端问必须有宽带双向传输网络的支持；在提供点播所需带宽的前提 下，计时费用与节目版权费用必须能让普通家庭承受。只有解决这些问题，视频点播 才能象电话一般普及。 2 、多媒体信什 多媒体信件与普通的电子盔口件不同之处在于：多媒体信件除了传送文字之外，还 可以传送活动图像与声音。由于多媒体信件是一种非实时的存储转发系统，对通信系 统的要求比较低，是一种比较容易发展起来的多媒体业务。 1 2 视频点播系统 1 2 i 系统构成 视频点播系统由多媒体服务器、宽带通信网络和用户点播终端组成。视频点播系 统的主要功能是响应用户的请求输出相应的视( 音) 频节目，它的设计目标是为尽量 多的用户服务，提供尽量好的服务质量( q o s ，q u a l i t yo f s e r v i c e ) 。与传统的广播方式 不同，视频点播系统提供的是种交互式的服务。用户可以在任何时候，调取系统中 的任意节目，并可以象控制录像机或c d 机一样控制节目的播放。视频点播结构示意 图如图1 1 所示： 多媒体月r 务器 图1 - 1 视甄最播系统 多媒体服务器是系统的核心，通常也称为视频服务器。它存储和管理着大量的多 媒体数据，如电视、电影和音乐节目等，并为众多网络用户提供多媒体点播服务。多 个用户可以同时向视频服务器请求他们喜爱的节目，视频服务器从存储设备中同时读 取视( 音) 频流，并通过网络发送到相应的用户终端。因此，视频服务器需要巨大的 系统资源，如存储空间、i o 带宽、网络带宽等，而且媒体的播放有严格的时域约束。 由于要为几百甚至更多的用户提供并发的视频流，因此对视频服务器的处理能力和系 统的伸缩性等都有很高的要求，所以如何有效地利用视频服务器系统资源，是视频点 播系统的关键。从功能上分，视频服务器可分为三个部分：存储子系统、控制子系统 和通信子系统【”。 宽带通信网是连接视频服务器和用户终端的枢纽。通常情况下，多媒体宽带通信 网包括主干网和接入网。目前的主干网络都是由光纤网络，采用s d h 、d w d m 等技 术进行传输；而目前的接入网是多种多样的，有基于i p 的局域网( l a n ) 接入，有 基于a d s l 和光纤同轴电缆混合方式( h f c ，h y b r i df i b e r c o a x ) 的接入，也有基于 无线接入的方式等等。 视频点播用户终端主要包括两类，以多媒体计算机为平台的终端和以彩色电视机 为平台的终端。在多媒体计算机内附加上相关通信网对应的通信接口，就构成了多媒 体通信终端，它是一种能够承担综合业务的终端；传统的彩色电视机附加上机顶盒 ( s t b ，s e t t o pb o x ) 就构成了以彩色电视机为平台的通信终端，它除了v o d 功能外， 也可以用来进行多媒体信息查询，如电予购物等。这罩所说的机顶盒，内装有与相关 通信网络对应的双向通信接口、能够将按m p e g 标准压缩的视( 音) 频信号解压缩 1 2 的解码器，以及用来实现点播操作的控制单元。从长远的发展来看，这两种终端是不 能互相取代的。 1 2 2 系统特点 作为一个开放式的v o d 系统，必须具备以下特征： l 、服务器的吞吐能力能够模块化地扩展； 2 、能够从多种信源向系统输入信号； 3 、具备层次化存储结构； 4 、与多媒体信息检索和查询业务相结合； 5 、对不同终端的兼容性。 目前的视频点播系统可以分为两类：真正的视频点播( t v o d ，t r u ev o d ) 和准 视频点播( n v o d ，n e a rv o d ) 。t v o d 具备开放式v o d 系统的特点，对用户的服务 质量很好，但成本较高；n v o d 则通过简化视频服务器功能、节省线路改造费用以 及利用流的批处理调度策略实现多播或广播等方法来降低成本。在n v o d 中，如何 减少用户的起始延时，以及提高对交互性操作的支持是两个需要解决的问题。 1 3 视频点播与剪辑系统 随着宽带网络和多媒体技术的发展，各种不同类型的视频点播系统不断出现。本 文的视频点播与剪辑系统就是将视频点播和多媒体信息检索与查询结合在一起的一 种新系统。l p 网的用户通过该系统可以以视频点播的方式对节目库中的节目进行浏 览。对于带宽受限的用户，系统提供了关键帧浏览的方式。关键帧是对节目内容的概 括，由节目中挑选的镜头图片组成，用户通过浏览关键帧就可以对节目内容有大体了 解，而占用的带宽比直接浏览视频流所用的带宽要小十几倍。用户在浏览时还可以根 据自己需要对视频节目片断进行剪切，以进行个性化的节目编辑功能。特别对于电视 台等节目制作单位更为重要，因为通过l p 网就可以方便的实现各制作单位之间的视 频素材的共享。 1 4 本人工作及论文安排 本人在硕士研究生的攻读期间，查阅了大量的技术资料，仔细研究了相关的多媒 体传输协议，在此基础上，参与了视频点播与剪辑系统的研制与开发，承担并完成了 流式播放器的优化、关键帧解析与浏览的集成和客户端的优化等工作。 1 、流式播放器的优化 认真研究了流媒体技术和d i r e c t s h o w 技术，对原有的方案进行了深入细致的分 析，提出了解决视频数据播放流畅性的方法，加入了一定的q o s 功能，并完成了流 式播放器的编码优化和方案测试工作。 2 、关键帧浏览器模块 根据系统要求，仔细考察了原有的关键帧分层浏览的设计思想，深入研究了c o m 组件技术，充分利用了显示关键帧图像的控件，并在此控件的基础上，实现了关键帧 在对话框程序中的解析与浏览。 3 、客户端优化 仔细研究了原有的视频点播系统的结构框架，明确了客户端应有的功能，在先前 的基础上，重新规划了客户端的模块设计，对通信模块和m p e g l 播放模块做了改进， 并加入了关键帧解析浏览模块，使客户端具有了更完善的功能。 沦文结构分为两大部分，前半部分主要是一二三章，重点介绍视频点播与剪辑系 统的整体结构，其目的是让读者对系统构成有全面的认识，同时对客户端在整个系统 中的位置以及要完成的功能有初步的了解。其中第二章详细论述了分布式视频点播系 统的系统构成和系统流程，重点介绍了关键帧浏览、m p e g l 视频浏览和视频节目剪 辑三个重要功能的实现过程；第三章则简要论述了各种网际协议，包括t c p u d p 传 输协议、r t p r t c p r t s p 实时传输协议族和f t p 文件传输协议，这些协议在系统构 建中都曾用到。后半部分，即四五六章则重点论述了客户端设计中的两个重要模块和 客户端软件的总体设计方案。其中第四章详细论述了流式播放器的实现和完善，此模 块的主要功能是实时接收视频服务器发送的r t p 数据流并进行播放，主要利用了 d i r e c t s h o w 和环形缓冲技术，同时适当的加入了一些q o s 措施。第五章重点讲述关 键帧文件的解析和浏览过程，详细解释了关键帧文件的构成和格式、解析的策略以及 浏览的实现，论述了v c 环境下j p e g 图片浏览的实现。在前文基础上，论文第六章 详细论述了客户端软件的模块设计和接口设计。 第二章视频点播与剪辑系统 视频点播与剪辑系统的主要功能和目的已在前文做过介绍，本章将重点论述系统 的系统结构和工作流程。 2 1 符号标识说明 v s v i d e os e r v e r视频服务器 as a r c h i v es e r v e r文档服务器 a c s a d m i s s i o n c o n t r o ls e r v e r接纳控制服务器 c l i e n t客户端 2 2 系统结构 该系统结构如图2 1 所示，其中w e b 服务器的主要功能是位用户提供h t t p 方 式的网页浏览，使用户可以根据需要选择自己喜欢的节目。 接纳控制服务器的主要功能是根据用户的请求，实时的查询数据库，并根据自身 和v s 的资源使用状况以确定是否接纳用户请求。 视频服务器则存放供用户点播的热门节目，并响应来自a c s 的请求向用户传送 r t p 视频数据流，或者按用户要求剪切下所需的节目片断，并传送到指定的目的地， 例如用户端的编辑机。 文档服务器则存放供用户点播的非热门节目，当用户点播此类节目时需要a s 将文件迁移到v s 。 全局数据库存放与节目相关的信息。 编辑机则负责对节目素材进行编辑。 客户端是用户终端，用户通过客户端观看视频节目或浏览关键帧，并选择所需的 节目片断。 用 图2 1视频点播与剪辑系统结构 由上可知，该系统将传统视频点播系统中视频服务器的功能一分为三，其中接纳 控制部分由播控服务器专门负责，而视频服务器只负责存储并发送热门节目，而文档 服务器负责存储非热门节目。这样一来，不但减轻了视频服务器的负担，增强了系统 的扩展性，同时使得节目有了合理的分配，提高了服务的效率和质量。同时在视频服 务器和文档服务器中加入了素材剪辑服务，使用户可以根据自己爱好剪切视频节日， 这样既增加了系统功能，又极大的方便了以节目制作为目的的客户。 2 3 系统流程 包括关键帧浏览、m p e g l 浏览和视频节目剪辑三部分。这三个流程的发起者都 是客户端。 1 6 2 3 1 关键帧浏览 关键帧是节目内容的概括，是由从节目中挑选的具有代表性的镜头图片组合而 成。传输关键帧所用的带宽往往只有传输视频流所用带宽的十几分之一，因此，关键 帧浏览给资源有限的用户提供了了解节目内容的有效途径。 关键帧浏览的过程如图2 2 。 首先，c l i e n t 通过w e b 浏览器访问w e b 服务器，在其上进行查询、选择。w e b 服务器需要与全局数据库通信以获得客户端查询的信息，然后根据c l i e n t 的选择生成 相应的描述文件。通过该描述文件c l i e n t 可以获得存放关键帧的视频服务器的i p 地 址、提供服务的端口、选择关键帧对应的文件名以及素材名称等信息。 得到来自w e b 服务器的描述文件后，c l i e n t 通过r t s p 协议向a c s 发出下载关 键帧请求。a c s 将首先查询v s 的当前资源，以决定是接纳请求还是拒绝。 如果接纳成功，a c s 将把c l i e n t 的请求转发给v s ，同时向c l i e n t 返回查询结 果。c l i e n t 根据响应结果连接到v s 的端口上，通过f t p 将相应的关键帧文件下载下 柬。 如果接纳失败，a c s 将通知c l i e n t ；c l i e n t 将把结果返回用户，以供用户进行再 次请求。 客户端 ( 1 ) 通过w e b 页面查询选 或托绝 ( 9 ) l h i c l l e n t 传送 睛求的关键帧 视频服务器 ( 4 ) 向acs 提出请求 ( 5 ) 查询资源 一 ( 6 ) 接纳或拒绝 _ ( 8 ) 将c l l e n t 请求转发到vs w e b n 务器【 访问全局数据 接纳控制服 务器 图2 - 2 浏览关键帧流程 2 3 2m p e g i 浏览 视频点播系统的基本功能就是为用户提供实时视频浏览服务，即用户在本地就可 以收看网络上视频服务器发送的节目内容。目前，该系统只支持m p e g l 格式，主要 因为该格式码流速率较小，比较适合用作网络传输。 点播流程如下： c l i e n t 首先浏览网页，在搜索结果中选择浏览m p e g l 流，w e b 服务器返回相应 的描述文件：然后c l i e n t 通过r t s p 将该请求提交给a c s 。接到请求后，a c s 首 先查询全局数据库，以判断该m p e g l 文件在v s 中还是a s 中。 如果在v s 中，要查询v s 的资源以决定是接纳还是拒绝该请求。 如果在a s 中，要提出迁移请求，得到等待时间或者被拒绝。 a c s 将接纳结果通知c l i e n t 。 如果接纳失败，c l i e n t 将把该结果返回给用户，以供用户再次请求。 如果接纳成功，要分两种情况： 1 、节目在v s 上，则a c s 将请求转发给v s ，由v s 将开始将m p e g l 文件进 行打包并向c l i e n t 发送按r t p 协议打的包； 2 、节目在a s 上，c l i e n t 在进行一段时间的等待后，将通过r t s p 再次向a sc 发出请求；在等待时间里，a s 开始向v s 迁移，成功后修改全局数据库中该节目的 相应字段。a c s 接到c l i e n t 的再次请求后，要通过查询全局数据库罩的相应字段来 确认客户端请求的m p e g l 文件是否已经迁移到v s 上。经过对v s 的资源查询后， a c s 将c l i e n t 的请求转发到v s 上。v s 就开始将m p e g l 文件进行打包并向c l i e n t 发送r t p 包。 客户端 2 3 3 视频节目剪辑 ( 8 ) ( 1 5 ) 接纳成功或拒绝 或通知c l i e n t 等待 ( 1 1 ) 再次 忑1 丽 ( 6 ) ( 1 3 ) 查渤资源 接纳控制服 务器 ( 7 ) 拒绝或 ( 1 6 ) 将c 1 l e n t 请求 转发n v s 视频服务器 图2 - 3浏览m p e g l 流程 文档服务器 ( 9 ) 迁移节日 视频节目剪辑的目的主要是方便以节目制作为目的的客户，因为客户通过网络浏 览视频节目的同时就可以选择自己喜欢的节目片断并剪切下来， 普通用户也可以利 用此功能剪切自己喜欢的片断，此项服务大大增强了系统的实用性。 视频服务器剪切节目是根据l s t 文件进行的。l s t 文件，中文名为素材列表文 件，扩展名为1 s t ，因此简称l s t 文件。该文件包含了用户剪切节目的起f ：信息，l s t 文件是在客户端生成并上传到接纳控制服务器的，可能的来源有两个：关键帧选择和 早 纛 k j 雠 器 一l l 【_ 善 绷 一d 艮 屈拇 i 朗 一 撇憾 一一嘉h 圄一 m p e g l 流选择。 视频节目的剪切过程如下： 客户端通过r t s p 将生成的l s t 文件上传到a c s 。a c s 卡艮据l s t 文件中标记 素材所在的位置将l s t 文件分发到v s 和a s ，由它们分别在各自本地进行m p e g l 和m p e 0 2 素材的剪切和上传。 文档服务器 ( 3 ) 返回处理结果i( 2 ) 部分l s t 1盼发到a s ( 7 ) 将m p e g 2 上传到编辑# 一一( 1 ) 将l s t 文件 主i 主 g ：p n b 型 接1 1 纳1 - 3 控- ：8 制每 编辑机 2 4 小结 返一结一“垡黼j 视频服务器 图2 4节目剪切流程 ( 8 ) 将m p e g 2 上传到编辑 通过以上流程可以看出，客户端的主要任务是与服务器的网络通信、视频流的接 收浏览和关键帧的下载解析并浏览。在加入了素材剪辑和关键帧浏览功能后，该系统 的功能已超越了传统的视频点播系统。因此，该系统可以为更多用户提供各种质量的 服务，还给用户提供了更多选择，这些功能的加入尤其方便了以节目制作为目的的客 户。 第三章多媒体网络传输协议 文本、图像、声音、视频等多媒体信息，要在以i p 为协议的宽带网络上传输 对网络有 语音实时性：延时、抖动敏感；误码相对不敏感； 数据实时性要求不高，但要有严格的误码校错保证； 图像实时性要求不高，但要求更高的带宽； 视频高的带宽、并对实时性要求较严，允许有误码； 从上表可以看出，为了完成承载多媒体业务的要求，网络应具有如下j l 个特性： ( 1 ) 业务等级保证，也就是我们常说的q o s ( q u a l i t yo f s e r v i c e ) 保证。 网络应能根据不同的业务提供不同的质量等级( 如带宽、延时、抖动等) 。 ( 2 ) 高带宽，也就是网络的宽带化。 随着图像、视频等多媒体在网上的大量采用，要求网络能提供足够的带宽。 f 3 1 可靠性保证。 作为向用户提供服务的运营网络，必须提供充分的网络可靠性，以满足各种 业务不中断的要求。 ( 4 1 实时性。网络必须保证多媒体通信的实时性，以保证服务质量。为了获得真 实的现场感，语音和图像的延时都要小于o 2 5 秒，静止图像要求小于1 秒【3 l 。视频点 播与剪辑系统就运行在这样一个网络环境下，它所用到的主要传输协议有下述几种。 3 1 i p 协议 网际协议i p 是t c p i p 协议的心脏，也是网络层中最重要的协议。i p 层接收由 更低层( 网络接口层例如以太网设备驱动程序) 发来的数据包，并把该数据包发送到 更高层t c p 或u d p 层：相反，i p 层也把从t c p 或u d p 层接收来的数据包传送到更 低层。i p 数据包是不可靠的，因为i p 并没有做任何事情来确认数据包是按顺序发送 的或者没有被破坏。i p 数据包中含有发送它的主机的地址( 源地址) 和接收它的主 机的地址( 目的地址) 。下图是典型的i p 包头结构： 2 1 图3 1i p 包头结构 i p 分组头各部分的具体含义如下： 版本号( v e r s i o n ) ： i p 协议存在两个版本：i p v 4 和i p v 6 ，目前的版本为4 h l ( 4 b i t ) ：这个值是以4 字节为单位的i p 分组头的长度 一个典型的i p 分组头( 不含选项) 长度为2 0 字节，h l = 5 t l ( 1 6 b i t ) ：以字节为单位的i p 分组的总长度 总长度= i p 分组头长度+ 数据区长度 t l 可表示的最大长度( 即i p 分组的最大长度) 为6 5 5 3 5 字节 协议类型( p r o t o c o l ) ： 8 位整数，指出数据区中承载的数据所采用的高层协议 协议类型的编码是预定义的：t c p = 6 u d p ；1 7 i c m p = 1o s p f = 8 9 服务类型：说明提供的优先权 标识符：标识这个i p 数据包，分片时使用 分片偏移量：碎片偏移，这和上面标识符一起用来重组碎片的 t t l ：生存时间，每经过一个路由的时候减一，直到为0 时被抛弃 分组头校验和：提供对首部数据的校验 源和目的地址：发送者和接收者的i p 地址 由于i p 协议使用的是“尽力而为”来描述所提供的服务，从本质上讲，它会努 力尝试传递每个数据报，但并不保证数据报发生重复、乱序、损坏、丢失等情况。虽 然，i p 数据报的最大长度可以为6 4 k 字节，但因为每一种硬件技术都规定了帧所 能携带的最大数据量即最大传输单元( m t u ) ，所以传输过程中i p 数据报的长度也不 是固定的。随着i p 技术的发展，出现的趋势就是所有的业务都将在建立在i p 协议之 上。 3 2 用户数据报协议u d p 用户数据报协议( u d p ) 是定义用来在互连网络环境中提供包交换的计算机通信 的协议。此协议默认i p 是其下层协议。此协议提供了向另一用户程序发送信息的最 简便的协议机制。u d p 数据报由两部分构成：u d p 报头和数据区。数据报报头格 式如下： 4 1 o781 51 62 32 43 1 一一+ - - - - 一一一一_ - 一一一一p 一一一一一一一+ l源端口j目日勺端口j 一一+ 4 - - 一一一一一一一一+ i长度i校验码i 一一一一一1 一一一- 一一一- 一一一一一一+ l数据 k 一 用户数据报格式 各个域的含义如下： 源端口：它指的是源计算机上发送进程的端口，这也就假定了在没有其它信息的 情况下，返回信息应该向什么地方发送。 目的端口：它指接收方的端口地址。 长度：指的是此用户数据报的长度，包含数据报的头信息，以字节为单位。( 这 表明最小的数据报长度是8 。) 校验码：1 6 位，它覆盖u d p 报头和u d p 数据区。回想i p 首部的校验和，它只 覆盖i p 的首部而不覆盖i p 数据报中的任何数据。 u d p 协议封装 由于u d p 协议是运行在i p 协议之上的，在传输过程中，u d p 报文是封装在i p 分组中进行传送的。封装示意图如下： 概念分层 应矮爱 应用数据 传输层 u d p u d p 头u d p 数撼区 网络屡 i p r 1 i p 头i p 数据区 链路层 r， 帧头帧数据区 图3 - 2u d p 协议封装示意图 u d p 数据报豹发送窝搂羧是逶过u d p 漆蜀实现懿。璇目是令可读写瓣结稔， 具有内部的报文缀冲区。数据报发送时，u d p 软件将用户数据封装在u d p 数据报 中并转交绘l p 歉俘，送费狰嚣装窝转发。接浚过程黎鸯不同，族投蠢， p 层接收 到u d p 数据报，提交给u d p 软件的各端口，端口判断该报文的目的端阳号是否与 当翦渍墨甄酝，若涎琵戒功，穗该数据掇绦存弱穰应壤霸翡接浚驮列中；( 若驮别已 满，则丢弃该数据报) 。若朱匹配，则丢弃该数据报，同时向源端发送“端口不可达” 的i c m p 镦。 3 3 传输控制协议t c p t c p 协议也是建立在i p 协议之上的，不过t c p 协议怒可靠的，按照顺序发送的。 t c p 数撂在臻数黎袋中静瓣装壤凌露圈3 ，3 瑟示： 2 4 广 一一 t 1 i i p 首部it c p 首部；it c p 数据 2 0 字节 2 0 字节 图3 - 3t c p 数据在i p 数据报中的封装 t c p 的数据结构比较复杂。它的包首部如图3 - 4 所示： 01 51 63 1 j 1 6 位源端口号1 6 位目的端口号 3 2 位序列号 3 2 位确认号 4 位莳保留 ；滩 1 6 位窗口大小 部长度( 6 位) 1 6 位校验和1 6 位紧急指针 1 ；选项 ； 数据括 图3 - 4t c p 包首部i t c p 协议头最少2 0 个字节，包括以下的域： 源端口：1 6 位的源端口，其中包含初始化通信的端口。源端口和源i p 地址的作 用是标示报文的返回地址。 目的端口：1 6 位的目的端口域，定义传输的目的。这个端口指明报文接收计算 机上的应用程序地址接口。 序列号：3 2 位的序列号，它给出了段中携带数据的序号。接收方利用这一序号 来重排乱序到达的段并利用这一序号计算确认号。 确认号：3 2 位的序列号，指定了收到数据的序号。如果设置了a c k 控制位，这 个值表示一个准备接收的包的序列号。 首部长度：4 位。代表t c p 头部一共有多少个3 2 位的信息。这个信息是必不可 少的，因为有可选的头部区域，它标识了头部的结束和数据的开始。 保留：6 位值域，这些位必须是0 。为了将来定义新的用途所保留。 标志：6 位标志域。表示为：紧急标志、有意义的应答标志、推、重置连接标志、 习 一_ 上 同步序列号标志、完成发送数据标志。按照顺序排列是：u r g 、a c k 、p s h 、r s t 、 s y n 、f i n 。 窗口：1 6 位，用来表示想收到的每个t c p 数据段的大小。 校验和：1 6 位。包含一个t c p 段头和数据的校验和。 紧急指针：1 6 位，指向后面的优先数据的字节，在u r g 标志设置了时才有效。 如果u r g 标志没有被设置，紧急域作为填充。 选项：不定长，一般填充零，用来保证t c p 头是3 2 位的整数倍。 t c p 和u d