（通信与信息系统专业论文）宽带网络上的多媒体传输与浏览.pdf

摘要 随着宽带网络技术和多媒体通信技术的发展，人们开始逐步利用成熟的新技 术对传统产业进行数字化改造。传统的基于模拟方式的视频节目采编、制作、分 发、播放、观看的缺点越来越突出，研究综合性的、分布式的多媒体制作环境越 来越成为趋势。基于m p e ( 3 = 2 的数字化编辑系统能够提高节目制作的效率向 用户提供更高质量、更多内容的声像服务，从而越来越引起人们的兴趣。分布 式多媒体编辑与素材共享系统能够在双基模式下，对多种来源的声像信息进行 编辑、剪切、合成、压缩、存储、实时传输等，为电视台等单位的节目制作提供 了一个良好的改造方案。 本文结合大项课题分布式多媒体编辑与素材共享系统的具体开发工作， 就多媒体在宽带网络上的传输和浏览进行了相关的研究和开发。就同步采集的问 题提出了一种简单易行的方法，并进行了实验验证。对于关键帧测览，利用c o m 技术，设计了一个可分层的缩略图浏览器。为了在网络上流式传输多媒体文件， 研究了流媒体的相关技术之后，采用微软的d k e c t s h o w ，开发了一个流式播放器， 用于实时接收和播放多媒体资料。 关键词：多媒体通信视频采集流媒体c o md i 嘣心跏 眦t h e d e v e l o p m e n to fb r o a d b a n dn e t w o r k sa n dm u l t i m e d i ac o m m u n i c a t i o n t e c h n i q u e s ，w em - ob e r g t oi n a k ed i g i t a lr e f o r m st ot h et r a d i t i o n a l i n d u s t r yb y 璐迦t h em a t r u e d 嗍t e c h n i q u e s , e s p e c i a l l yi nt vs t a t i o l ，t t h e r e s e a r c ho n i n t e g r a t e da n dd i s t r f l 姐e dm u l t i m e d i ap r o d u c i n ge n v i r o n m e n tb e c o m e sag e n e r a l t e n d e n c y t h ed i g 越蛐s y s t e m s t h a tb a s e d m p e g - 2i n c r e a s et h ee f i i ! c i e n c yo f t h ep r o g r a m p r o d u c i n g , a n d a l s oo f f e ro l a 【l 捌d 埒r st h ev i d e os 盯l c i c cw i t ht h eh i g h e r q i 曲a n d i i o r ec o n t e n t s c o m b i n i n g al o to ft h em a t e r i a lr e s e a r c hw o r k so nt h ed i s m b u t o dm u l t i m e d i a e d i t i n gs y s t e m , t h ep a p e rp r o c e e d st ot h er e l a t i v e dr e s e a r c ha n dd e v e l o p m e n to n m u l t i m e d i at r a n s m i s s i o na n db r e wb yb r o a d b a n dn e t w o r k s t h ep a p e ra l s op r o v i d e sa f a c i l i t a t i v em c t h o d s y n c h r o n o u sc a p t u r ea n dp r o c e e d st o 黜q ：) c r h n e n tv e r i f i c a t i o n f o rk e y = f r a m eb 眦a l a y e r e dm i c r o - b r e w e rw a sd e s i g n e dw i t hc o mt e c h n i q u e s f o rm u l t i m e d i af i l e ss t r e a m i n gt r a n s m i s s i o ni nn e t w o r k s , as 垃 e a m i n gm e c c a p l a y e r b a s e do nd i r e c t s h o wt o c h n o l o g ya n d 而唱h 打w a sd e v 蛳at or e c e i v ea n dp h y t h er e a l - t i m en n l l t 妇e d i am a t e r i a l k e y w o r d e m u l t i m e d i ac o m m u n i c a t i o n c o md 缸矧盘抑w 2 第1 章概述 近年来，随着信息技术特副是宽带网络技术和多媒体通信技术的迅猛发展， 信息化、网络化成了社会发展的潮流，人类的生产和生活方式因此正向信息化时 代迈进。信息化影响着社会的每一个角落，传统的基于模拟方式的视频节目采编、 制作、分发、播放、观看等都朝着数字方向发展，从而推动了分布式多媒体综合 业务的兴起。分布式多媒体编辑与素材共享系统也得益于宽带网络技术和多媒体 技术。 1 1 宽带网络技术 过去的几十年，网络从原始状态发展到当今的规模和水平，可以说从性质上 发生了根本的变革。带宽束缚应用的情形越来越成为过去，窄带网络越来越被宽 带网络所取代。宽带网络是具有高速数据传输能力的网络平台，般包括骨干网 和接入网。 早期的宽带骨干网的数据率在2 m 以上，接入网数据率在2 0 0 k b p s 以上，当 前宽带骨干网的数据率在几百m 到1 0 g 左右，接入网数据率在几十兆左右。将 来骨干网带宽从几十o b p s 向几百o b p s 发展，甚至将达到t b p s 的水平；接入网 数据率在1 0 0 m b p s 以上。通常，骨干网是基于光纤的，能实现大地理区域的数 据流传送。这些网络通常采用高速传输网络( 如s o n e t s d h ) 传输数据，高速 包交换设备( 如a t m 和基于口的交换) 提供网络路由。传输技术主要用i p o v e r a t m 、i po v e rs d h 和i po v e rd w d m 等1 1 j 。对于普通的用户而言，所接触到大 多数网络为接入网。 接入网( a c c e s sn e t w o r k ) 是本地局端与用户端设备之间的信息传输网的总 称，因其在技术和规模上的特殊性，经常被称为“最后一公里”的网络线路。只 有接入网成为宽带网络之后，网络世界才能真正被称为宽带网络世界，多媒体业 务才能真正走入普通百姓家门。这一天已经来临。随着技术的不断进步，骨干网 带宽不断增加，接入网带宽越来越成为高速数据通信的业务瓶颈，在这样的环境 下，宽带接入网的建设成为近年来的热点，根据不同的技术背景，人们发展了多 种不同的宽带接入网技术。 从宽带接入的方式来看，有基于现有双绞线的a d s l 技术、基于h f c 网( 光 纤和同轴电缆混合网) 的c a b l em o d e m 技术、基于五类线的以太网接入技术、 基于固定无线的宽带接入技术以及光纤接入技术。 2 1 非对称数字用户线系统a d s l ( a s y m m e t r i cd i g i t a ls u b s c r i b e rl i n e ) 是充分 利用现有电话网络的硬绞线资源，实现高速、高带宽的数据接入的一种技术。 a d s l 是d s l 的一种非对称版本它利用数字编码技术从现有铜质电话线上获 取最大数据传输容量其下行速率的最高理论值为8m b p s ，上行速率的理论值 最高可达到1 5m b p s ，同时又不干扰在同一条线上进行的常规话音服务。但它对 电话线路的质量和距离有很强的敏感性。d t m ( d i s c r e t em u l t i - t o n e ) 目前已经 成为a d s l 技术的国际标准，而g l i t e 标准的推出在世界范围内加速了a d s l 推广进程。c d i t e 标准的最大下行速率为1 5m b p s ，最大下行速率为2 8 4 趾p s 。 c a b l em o d e m 是一种适用于i - i f c 的调制技术，具有专线上弼的连接特点， 允许用户通过有线电视网进行高速数据接入的设备。现在c a t v 网络普遍采用 同轴电缈光纤混合网结构0 - i f c ) ，使用光纤作为c a t v 的骨干网，再用同轴电 缆以树型总线结构分配到小区的每一个用户，这意味着在同一光节点下的用户分 享带宽资源，当用户激增时，速度就可能减慢。c a b l em o d e m 传输的理论下 行速率为3 0m b p s ，上行理论速率为5 0 0 k 2 5 6m b p s 。目前，c a b l e m o d e m 主要存在两种不同的标准，一个是由美国有线电视运营公司成立的行业组织 m c n s ( 多媒体线缆网络系统) 起草的、己被兀u 批准的j 1 1 2 标准：还有一个 是i e e e8 0 2 1 4 ，此标准正在制订中。从技术上讲i e e e8 0 2 1 4 比r r u j 1 1 2 先进。 以目前我国楼宇、住宅建设的现状，咀太网方式的宽带接入方式是一种比较 好的选择。以太网遵循星形拓扑结构，采用无屏蔽双绞线连接，在数据链路层仍 然沿用载波侦听多路访问冲突检测协议( c s m a c d ) 。以太网先后经历了共享 型以太网( 1 0b a s e - t 以太网) 、交换型以太网、百兆以太网( 1 0 0b s a t - d 、千兆 以太网，而且目前正在对万兆以太网进行研究。不同以太网之间可以进行无缝连 接，平滑升级，这样可以很容易地满足用户量急剧增长的需要。基于五类线的高 速以太网接入无疑是一种较好的选择方式。它特剐适合密集型的居住环境，非常 适合中国国情。因为中国居民的居住情况不象西方发达国家，个人用户居住分散， 中国住户大多集中居住，这一点尤其适合发展光纤n 4 , 区，再以快速以太网连接 到户的接入方式。在局域网中口协议都是运行在以太网上，即d 包直接封装在 以太网帧中，以太网协议是目前与口配合最好的协议之一。以太网接入手段已 成为宽带接入的新潮流，它将快速进入家庭。 l m d s ( 本地多点分配业务) 是l o c a lm u l t i p o h a td i s m b u t i o ns e r v i c e s 的缩写， 是一种微波的宽带业务，属于宽带无线接入手段，最大的特点在于宽带特性。 l m d s 在进行数据传输时可支持的速率为1 2k 1 5 5m b p s ，并支持多种协议，包 括帧中继、a t m 、t c p 讲等。l m d s 自身的特点，决定它更适合于大城市的 城区或其它人口比较稠密的地区；由于工作频率高，通信质量受雨、雪等天气影 响较大。 6 光纤接入网指的是接入网中的传输媒质为光纤的接入网。光纤通信具有通信 容量大、质量高、性能稳定、防电磁干扰、保密性强等优点。在干线通信中，光 纤扮演着重要角色，在接入网中，光纤接入也将成为发展的重点。光纤接入技术 与其他接入技术( 如铜双绞线、同轴电缆、五类线、无线等) 相比，最大优势在 于可用带宽大，而且还有巨大潜力可以开发，在这方面其他接入技术根本无法与 其相比。光纤接入网还有传输质量好、传输距离长、抗干扰能力强、网络可靠性 高、节约管道资源等特点。当然，与其他接入技术相比，光纤接入网也存在一定 的劣势。最大的问题是成本还比较高。尤其是光节点离用户越近，每个用户分摊 的接入设备成本就越高。另外，与无线接入相比，光纤接入网还需要管道资源。 这也是很多新兴运营商看好光纤接入技术，但又不得不选择无线接入技术的原 因。 分析以上的5 种宽带接入方式，我们发现都可以支持基于口技术的主流网 际互联传输协议，在宽带网络上的多媒体应用就可以从这个角度来加以考虑。 1 2 多媒体通信技术 多媒体通信技术是通信、广播电视和计算机技术经过长期地发展，相互融合、 相互渗透而形成的三位一体的一门崭新的技术。多媒体技术从2 0 世纪9 0 年代开 始迅速发展至今，已经通过网络迅速普及，从另一个方面，多媒体技术也促进了 宽带网络的应用。 多媒体通信技术的迅速发展，清楚地预示了信息处理和通信技术的革命性发 展方向。一方面，计算机技术己经不但具备了数学运算、文字处理、图形和动画 的基本功能，而且还支持包括伴音在内的运动图像的存储、处理和显示；另一方 面，新的数字图像压缩技术能够将数字电视信号由原来的21 6 m b s 的比特率压缩 到3 l b s 或更低。因此，包括数字电视图像信号在内的电视、电话、传真、可视 电话等媒体业务都可以在一台终端上实现，从而将通信、广播电视和计算机三个 原本各自独立的技术领域融合到一起，三种网络也同时向一种宽带网络发展，不 久的将来，三网合一，多种媒体的业务都将在这个网络上运行。 同时，个人计算机的普及、微电子技术和多媒体技术的飞速发展、综合业务 数字网的建立及宽带综合业务数字网、宽带i p 网的研究进展，都有力地推动了 多媒体通信的发展。当今会议的流行趋势是协作一即共享视频、图形和数据，凭 借高品质和影像和声音，在全球范围内进行面对面的联系和信息交流。如果说 7 1 9 世纪是电报的时代，2 0 世纪是电话的时代，那么，2 l 世纪将是多媒体通信的 时代。综合当前的发展现状，多媒体通信技术有以下几个发展趋势： 趋势之一：向m 融合 i n t e r n e t 网络惊人的膨胀速度使它迅速成为仅次于公众电话网的世界第二大 网，i n t e m e t 正在成为事实上的信息高速公路。在m 网上实现多媒体通信已成为 世界各国的主要目标。 当前，r r u t 等国际标准化组织正在积极研究在m 网络上实现多媒体通信 的方案，现有的口网以i p v 4 为基本协议，端到端时延不能保证，没有同步功能， 虽然能够提供具有某些多媒体通信特征的服务，但难以满足标准多媒体通信业务 的要求。而i e t f 公布的l p v 6 则具有动态分配网络地址和支持实时业务的功能， 增强了口层的安全机制，对未来多媒体通信向m 融合提供了保证。同时，目前 热门的i n t e m e t 与a t m 的结合技术、超高速交换路由技术等，为在理网上实现 多媒体通信业务提供了良好的发展契机。 越来越多的专家认为，无论未来基础网络采取何种结构，将是一个统一的 协议，宽带多媒体业务将统一到d 网上。 趋势之二：走向宽带 目前，基于现有网络的窄带多媒体业务应用市场已基本形成，宽带多媒体通 信成为下一步发展的重点。 由于通信网网络带宽的限制，当前的许多业务还不能充分展示多媒体通信的 魅力。但快速发展的光通信技术为未来的宽带多媒体应用描绘了美好的前景，光 纤将是未来最重要的信息通道。光纤的宽度在未来可以达到现在的1 0 倍、1 0 0 倍甚至1 0 0 0 倍。此外，在1 9 9 5 年的时候出现了多频率光纤，信息可以并行地传 出。现在已经证明，同一条光纤可以负载超过4 0 个频率的并行传递，在这种情 况下，光纤的速度非常高。传输网带宽的增长为宽带多媒体技术的发展奠定了坚 实的基础。同时，基于现有通信网的各种接入技术如a d s l 等的发展，为向大 众提供多媒体通信服务提出了过渡方案。 趋势之三：与移动技术结合 人们总是希望获得最大的方便，移动电话在世界范围内的超速增长充分说明 了这一点，可移动的多媒体通信业务被专家认为是未来多媒体通信的主要特征。 随着移动通信技术的发展，移动数据通信技术已经出现，但其通信速率还 比较低，属于窄带业务，难以满足多媒体通信对带宽的要求。当前移动通信领域 的热点第三代移动通信则对移动通信网对数据业务的支持作了详细的定义，使其 在初期阶段支持的数据通信带宽达到2 , r o p s 这一速率还将在日后得到迸一步提 高，从而为多媒体通信与移动通信的结合提供可能。 趋势之四：与卫星技术结合 利用地面网络来实现多媒体通信接入有两大难题，一是用户接入网络的投 资非常巨大：二是难以实现全球每个角落的全覆盖，满足普遍接入，于是厂商们 提出了卫星多媒体通信的解决方案。卫星通信的最大优势是可以实现对地面的全 覆盖，用户端接入方式更加灵活和经济，既可以通过天线直接与终端设备相连， 又可以通过地面接收站和相应的本地环路与用户相连，这些优势地面网络恰好可 以实现互补。 当前卫星通信技术如卫星通信容量的增长，星上处理技术、星际链路技术 等的发展为实现多媒体卫星通信提供了基础。特别是目前热门的低轨道卫星系统 是宽带多媒体通信是较好的选择。最近我国刚刚将“新一代宽带多媒体通信卫星 系统”列入“十五”归划。 总趋势：向综合的全方位宽带网迈进 世纪末的通信领域正处在一个纷争和动荡的时期，这主要表现在传统的电 信公司和新兴的网络公司之间的斗争，表现在以话音为代表的传统的电路交换和 以m 业务为代表的新型的分组交换之间的斗争，表现在传统的电话网络结构和 新兴的d 网络结构之间的斗争。但一些专家指出，当前的激烈斗争是未来实现 大融合的前兆，各种通信网络必将向一个综合的、提供全方位服务的宽带多媒体 通信网方向迈进，而这一网络将是一个统一的以口为基本协议的分组的网络。 1 3 多媒体节目制作 在多媒体通信技术上述的发展趋势中，我们看到，宽带与m 将是主流，所 以戎们也将顺应潮流，利用现代化的数字化技术改造升级传统行业。在传统的电 视台节目制作播出系统中。视频信号的采集、编辑、存储和播放都采用模拟方式， 即编辑人员使用摄像机或录像机等设备采集原始的视频信号，以模拟的方式处理 9 素材，并将制作好的节目仍旧存放在模拟的录像带上，最后通过模拟的地面广播 系统或有线电视网传输给用户电视机。随着网络技术和多媒体数据压缩技术的发 展，多媒体节目的制作由于其在多媒体通信系统中关键地位而成为研究的热点。 电视台的节目采编、制作、播出也在向数字化方向转交，各电视台、点播中心都 组建了局域网络，开展数字化工作，越来越多的数字编辑工作建立在m p e g - 2 的基础上。但是目前国内外对多媒体制作的研究也仅仅处于比较单一或单纯的状 态。系统而综合的研究多媒体节目的制作并与多媒体信息通信系统无缝集成的成 功案例比较少见。 现有的节目制作过程是一个线性串行的过程，并且素材在不同加工过程中全 部需要通过人工来传递，效率是比较低的。为了提供一个高效的节目制作环境， 提高节目的实效性，我们利用现有的宽带网络技术和多媒体技术，设计了这个分 布式、网络化的节目编辑制作环境，使之成为一个不仅能够对现有节目进行交互 式点播功能，更要有对多个视频节目选取不同的片断合成为一个新的节目的编辑 等功能。总的目的就是解决象电视台这类单位的节目制作从模拟制作转向数字制 作的问题，以实现这些行业和部门的信息化工作。 子课题的研究目的就是为了解决大课题的几个子问题。如何利用有限的带 宽，充分利用现有的资源；如何在网络上传输希望的多媒体资料；如何实现在网 络上的异地浏览。实现了这些功能就为整个数字化工作解决了很多问题。 分布式多媒体编辑与素材共享系统着眼于大型的多媒体信息系统中的节目 制作，结合国内外先进的非线性编辑技术，宽带网络技术和先进的系统设计技术， 能够提供一个充分适应宽带综合业务多媒体信息系统需要的节目制作的环境，该 环境具有网络化的结构，较高的效率，良好的扩展性和可维护性，以及较强的健 壮性，能够让使用者在一个宽带网络的环境下控制素材的采集，选取，粗编，外 语素材的翻译，配音，以及最后通过v o d 系统进行点播和广播。 1 4 论文安排 本人在硕士研究生的攻读期间，查阅了大量的技术资料，仔细研究了相关的 多媒体传输协议，在此基础上，参与了分布式多媒体编辑与素材共享系统的研制 与开发，承担并完成了网络化同步采集子项目、关键帧浏览子项目和流式播放器 子项目的开发设计工作。实现的主要软件模块有下列几个： 1 0 1 ) 同步采集模块 分析了远程控制采集站影响同步的各种因素，根据实验情况，提出了一 种基于硬件的人机结合，实现帧同步的方法，并完成了同步采集模块的 开发工作。 2 ) 关键帧浏览器模块 根据系统要求，提出了关键帧分层浏览的设计思想，充分利用c o m 组件 技术，开发了显示关键帧图像的控件，在此控件的基础上，实现了关键 帧的分层浏览、选取的功能。 3 ) 流式播放器模块 认真研究了流媒体技术和d h - e = c t s h o w 技术，提出了多媒体文件流式传输 解决客户远程浏览的问题，并完成了流式播放器的编码测试工作。 以宽带网络技术和多媒体通信技术为前提，本文第二章介绍了分布式多媒体 编辑与素材共享系统的系统概况。第三章讲述了多媒体信息在网络上传输使用的 几种通信协议，这些协议在开发系统的过程中都将用到。第四章具体讨论了同步 采集的一些问题，提出了一种简单易行的实现方法。第五章讲述如何开发设计关 键帧浏览器。第六章就流式播放器的有关知识进行了探讨，井开发了一个适合系 统应用的流式播放器。 第2 章分布式多媒体编辑与素材共享系统 在传统的电视台节目制作播出系统中，视频信号的采集、编辑、存储和播放 都采用模拟方式，这种系统存在许多不尽人意的地方，其主要问题是： 1 管理困难 随着时间的推移，存放在录像带上的节目和资料会越来越多，人工查找、维 护为数众多的录像带，会变得越来越困难。而且，不同单位交流节目时，用交换 录像带的方式，即耽误时间又不方便。 2 处理效率低 在查找节目素材时，必须使用编辑机反复快进或倒退录像带，使得节目的编 辑制作非常耗时，而且录像带反复快进或倒退还影响录像带质量。 3 保存困难 录像带数量急剧增多，保存需要大量空间；而且由于录像带本身存放时间一 长会出现退磁现象，使得录像带存放的节目图像质量明显下降。 为了克服以上困难，构建数字化和网络化的节目制作系统已经成为大势所 趋。近年来，随着网络技术的进步，特别是高速宽带网络的日渐成熟分布式的 节目编辑系统也一步步走上舞台【3 1 。实验室研制的分布式多媒体编辑与素材共享 系统就是宽带网络技术和多媒体通信技术的结合，它适应了人们在宽带网络上对 于多媒体信息进行管理、制作、检索、攫取和交互点播等方面的需求，能够大大 提高相关人员的工作效率。它实现了多媒体信息内容的采集、数字化、编辑、存 储、传输与分发一体化，构筑了一个宽带多媒体信息平台，为传统产业数字化提 供了样例。 “分布式多媒体编辑与素材共享系统”从功能上划分成为以下的几个子系 统： 1 素材采集子系统 2 素材选取子系统 3 粗编子系统 4 配音子系统 5 后期制作子系统 6 输出子系统 因为功能不同，各个部分的软件和硬件配置都有各自的特点。总体结构示意 图如图2 一l 所示。 配晋站 图2 1分布式多媒体编辑与素材共享系统结构示意图 图中，视频服务器( v s ) 存放各种视音频素材，当时间长久素材太多以后， 一些不太常用的素材可以转移到文档服务器( a s ) ，其它各个子系统也通过宽带网 络互相连接。各个子系统的功能简述如下： 1 ) 素材采集子系统 采集素材子系统的功能就是采集两种格式的节目素材。对同个节目源， 需要采集相同内容的m p e g - 1 和m p e g _ 2 文件。m p e g - 1 文件主要用来提取 关键帧和浏览粗编，网络上传送的主要是此格式的数据流。提取关键帧主要 是为了素材选取的时候加快浏览速度和节省网络带宽。m p e g - 2 文件是供最 后编辑剪切合成用，然后上载到视频服务器。 素材采集是多媒体节目制作的第一步。素材的来源是多种多样的。根据 实际情况，素材的来源可以是模拟的信号，如普通电视节目、以前使用录像 带保存的节目、模拟摄像机摄下的信号；也可以是数字化信号或文件，如通 过卫星传送的视音频信号、d v d 光盘、v ( d 光盘、或其他来源的m p e g 文 件或其他格式的文件。 在系统中，图像、声音信号的采集用数字压缩技术，采集到的节目以文 件形式存储在计算机硬盘上。由于计算机支持随机访问，因此在编辑节目时， 编辑人员可以方便地从任意图像帧切入，容易实现非线性逐帧编辑。而且数 字信息的存储可以避免因退磁现象带来的图像质量下降。 2 ) 素材选取子系统 素材选取子系统的目的是使远端或本地用户方便地在历年积累起来的大 型资料库中搜寻和截取自己感兴趣的素材。它可阻查询节目文字信息和关键 帧信息并根据查询所得信息从视频服务器提取节目对应的m p e g - i 文件的 片断在客户端进行播放并做到暂停到帧的选择，最后根据选择的m p e g - i 的 节目片断将对应的m p e g 2 文件的片断传输到编辑机或远端。 素材选取的时候，客户端采用w e b 测览的方式，从页面上浏览节目信息。 用户根据查询到的节目文字信息，可以进一步看关键帧信息和m p e g - 1 的节 目。若用户需要浏览关键帧，则单击该节目的关键帻链接，下载对应的关键 帧图片，进行浏览。若用户需要播放节目的m p e g - l 文件，则单击链接后， 建立起与视频服务器的r r p 连接并调起客户端的播放器，边下载边播放。用 户根据关键帧或m p e g - i 的节目来选择节目片断，系统将选择信息传送到粗 编子系统。 3 ) 粗编子系统 租编子系统的功能主要是对采集来的素材进行初步的筛选，选定需要的 一段一段的素材以便予直接编辑。 4 ) 配音子系统 有些素材可能需要配音，所以系统必须提供配音子系统。配音也是一个 比较费时间的过程。配音人员需要按照待配音的稿件，进行配音，必要的时 候还要进行修改。 5 ) 后期制作子系统 根据粗编的结果，进行最后的编辑合成，生成相应的节目。前面的所有 工作都是为了进行后期的合成与制作，最终得到一个唯一的编辑结果。 6 ) 输出子系统 最后编辑成功的节目提交到视频服务器，或送往v o d 系统供用户点播。 通过宽带网络进行节目制作，可以充分利用现有的宽带网络技术，支持较大 型的节目制作的项目，方便对各个部门工作人员的配置。由于在系统的节目制作 的各个单元之间传递的全部都是数字化的信号，对节目质量能够进行良好的保 护。 后面第四章将讨论素材采集子系统中的同步采集问题，第五、六章分别研究 素材选取子系统中的关键帧浏览和流式播放器的实现方法。 1 4 第3 章多媒体网络传输协议 文本、图像、声音、视频等多媒体信息，要在以口为协议的宽带网络上传 输，对网络有特殊的要求，下表显示了这些多媒体信息对网络的要求： i 语音实时性：延时、抖动敏感：误码相对不敏感： i 数据实时性要求不高，但要有严格的误码，校错保证： i 图象实时性要求不高，但要求更高的带宽； 】视频高的带宽、并对实时性要求较严，允许有误码； 从上表可以看出，为了完成承载多媒体业务的要求，网络应具有如下几个特 性： ( 1 ) 业务等级保证，也就是我们常说的q o s ( q u a l i t yo f s e r v i c e ) 保证。 网络应能根据不同的业务提供不同的质量等级( 如带宽、延时、抖动等) 。 ( 2 ) 高带宽，也就是网络的宽带化。 随着图象、视频等多媒体在网上的大量采用，要求网络能提供足够的带宽。 ( 3 ) 可靠性保证。 作为向用户提供服务的运营网络，必须提供充分的网络可靠性，以满足各种 业务不中断的要求。 ( 4 ) 实时性。网络必须保证多媒体通信的实时性，以保证服务质量。为了获 得真实的现场感，语音和图像的延时都要小于0 2 5 秒，静止图像要求小于1 秒【4 】。 分布式多媒体编辑与素材共享系统就运行在这样一个网络环境下，它所用到的主 要传输协议有下述几种。 3 p 协议 网际协议口是t c p p 协议的心脏，也是网络层中最重要的协议。m 层接收 由更低层( 网络接口层例如以太网设备驱动程序) 发来的数据包，并把该数据包 发送到更高层t c p 或u d p 层：相反，口层也把从t c p 或u d p 层接收来的数据 包传送到更低层。口数据包是不可靠的，因为礤并没有做任何事情来确认数据 包是按顺序发送的或者没有被破坏。口数据包中含有发送它的主机的地址( 源 地址) 和接收它的主机的地址( 目的地址) 。下图是典型的口包头结构。 图3 11 l i 包头结构 口分组头各部分的具体含义如下： 版本号( v e r s i o n ) ： 口协议存在两个版本：1 1 v 4 和i p v 6 ，目前的版本为4 l - i l ( 4 b i t ) ：这个值是以4 字节为单位的口分组头的长度 一个典型的p 分组头( 不含选项) 长度为2 0 字节，h i = 5 t l ( 1 6 b i t ) ：以字节为单位的p 分组的总长度 总长度= 球分组头长度+ 数据区长度 t l 可表示的最大长度( 即d 分组的最大长度) 为6 5 5 3 5 字节 协议类型( p 础删o l ) ： 8 位整数，指出数据区中承载的数据所采用的高层协议 协议类型的编码是预定义的：t c p = 6u d p = 1 7i c m p = lo s p f = 8 9 服务类型：说明提供的优先权 标识符：标识这个m 数据包，分片时使用 分片偏移量：碎片偏移，这和上面标识符一起用来重组碎片的 n 瞳：生存时间，每经过一个路由的时候减，直到为0 时被抛弃 分组头校验和：提供对首部数据的校验 源和目的地址：发送者和接收者的d 地址 1 6 由于口协议使用的是“尽力而为”来描述所提供的服务，从本质上讲，它 会努力尝试传递每个数据报，但并不保证数据报发生重复、乱序、损坏、丢失等 情况。虽然，d 数据报的最大长度可以为6 4 k 字节，但因为每一种硬件技术都 规定了一帧所能携带的最大数据量即最大传输单元( m t u ) ，所以传输过程中口 数据报的长度也不是固定的。随着d 技术的发展，出现的趋势就是所有的业务 都将在建立在m 协议之上。 3 2 u d p 用户数据报协议( i j d p ) 是定义用来在互连网络环境中提供包交换的计算机 通信的协议。此协议默认口是其下层协议。此协议提供了向另一用户程序发送 信息的最简便的协议机制。u d p 数据报由两部分构成：u d p 报头和数据区。 数据报报头格式如下：闭 o781 51 62 32 43 1 + 一一一一+ 一一一 一_ i 源靖口l目的端口i p - 一一_ 一一i - - _ 一+ l长度i 校验码 i + - 一一- - - 一- 一- - _ - - 一i - + 一一 用户敦据撮格式 各个域的含义如下： 源端口：它指的是源计算机上发送进程的端口，这也就假定了在没有其它信 息的情况下，返回信息应该向什么地方发送。 目的端口：它指接收方的端口地址。 长度：指的是此用户数据报的长度，包含数据报的头信息，以字节为单位。 ( 这表明最小的数据报长度是8 。) 校验码：1 6 位，它覆盖u d p 报头和u d p 数据区。回想邛首部的校验和， 它只覆盖i i i 的首部而不覆盖口数据报中的任何数据。 u d p 协议封装 由于u d p 协议是运行在m 协议之上的，在传输过程中，u d p 报文是封装在 口分组中进行传送的。封装示意图如下： 概念分层 应用层 应用数据 传输层 u d p r 1 l i d p 头u d p 数据区 网络层 i p i p 头i p 数据区 链路层 帧头帧数据区 图3 - - 2u d p 协议封装示意图 u d p 数据报的发送和接收是通过u d p 端口实现的。端口是一个可读写的 结构，具有内部的报文缓冲区。数据报发送时，u d p 软件将用户数据封装在u d p 数据报中并转交给坤软件，进行d 封装和转发。接收过程稍有不同，接收时， 口层接收到u d p 数据报，提交给u d p 软件的各端口，端口判断该报文的目的 端口号是否与当前端口匹配，若匹配成功，将该数据报保存到相应端口的接收队 列中；( 若队列己满，则丢弃该数据报) 。若未匹配，则丢弃该数据报，同时向源 端发送“端口不可达”的i c m p 包。 3 3 t c p t c p 协议也是建立在m 协议之上的，不过t c p 协议是可靠的，按照顺序发 送的。t c p 数据在口数据报中的封装情况如图3 - 3 所示。 r _ 芒= j 2 0 字节 2 0 字节 图3 - - 3t c p 数据在理数据报中的封装 t c p 的数据结构比较复杂。它的包首部如图3 - - 4 所示。1 6 01 51 63 l 1 6 位源端口号 1 6 位目的端口号 3 2 位序列号 3 2 位确认号 篡差j 怒旧u 出ad i 珊rs ll t e 位窗口大小 1 6 位校验和 11 6 位紧急指针 选项 图3 - - 4t c p 包首部 t c p 协议头最少2 0 个字节，包括以下的域： 源端口：t 6 位的源端口，其中包含初始化通信的端口。源端口和源d 地址 的作用是标示报文的返回地址。 目的端口：1 6 位的目的端口域，定义传输的目的。这个端口指明报文接收计 算机上的应用程序地址接口。 序列号：3 2 位的序列号，它给出了段中携带数据的序号。接收方利用这一序 号来重排乱序到达的段并利用这一序号计算确认号。 确认号：3 2 位的序列号，指定了收到数据的序号。如果设置了a c k 控制位， 这个值表示一个准备接收的包的序列号。 首部长度：4 位。代表t c p 头部一共有多少个3 2 位的信息。这个信息是必 不可少的，因为有可选的头部区域，它标识了头部的结束和数据的开始。 保留：6 位值域，这些位必须是0 。为了将来定义新的用途所保留。 1 9 标志：6 位标志域。表示为：紧急标志、有意义的应答标志、推、重置连接 标志、同步序列号标志、完成发送数据标志。按照顺序排列是：u r g 、a c k 、 p s h 、r s t 、s y n 、f 1 n 。 窗口：1 6 位，用来表示想收到的每个t c p 数据段的大小。 校验和：1 6 位。包含一个t c p 段头和数据的校验和。 紧急指针：1 6 位，指向后面的优先数据的字节，在u r g 标志设置了时才有 效。如果u r g 标志没有被设置，紧急域作为填充。 选项：不定长，一般填充零，用来保证t c p 头是3 2 位的整数倍。 t c p 和u d p 是t c p i p 协议中的两个传输层协议，它们使用球路由功能把 数据包发送到目的地，从而为应用程序及应用层协议提供网络服务。t c p 提供的 是面向连接的、可靠的数据流传输，而u d p 提供的是非面向连接的、不可靠的 数据流传输。面向连接的协议在任何数据传输前就建立好了点到点的连接。可靠 的传输协议可避免数据传输错误。非面向连接的传输协议在数据传输之前不建立 连接，而是在每个中间节点对非面向连接的包和数据包进行路由。当一个u d p 数据包在网络中移动时，发送过程并不知道它是否到达了目的地，除非应用层已 经确认了它己到达的事实。非面向连接的协议也不能探测重复的和乱序的包。 3 4 r t p r t p ( r e a l - t i m e t r a n s p o r t p r o t o c 0 1 ) 是用于i n t e m e t 上针对多媒体数据流的一 种传输协议。r i p 被定义为在一对一或一对多的传输情况下工作，其目的是提供 时间信息和实现流同步。r t p 通常使用u d p 来传送数据，但r i p 也可以在t c p 或a t m 等其他协议之上工作。当应用程序开始一个r t p 会话时将使用两个端口： 一个给r t p ，一个给r t c p 。r t p 本身并不能为按顺序传送数据包提供可靠的传 送机制，也不提供流量控制或拥塞控制，它依靠r t c p 提供这些服务。通常r t p 算法并不作为一个独立的网络层来实现，而是作为应用程序代码的一部分。r t p 和r t c p 配合使用，它们能以有效的反馈和最小的开销使传输效率最佳化，因而 特别适合传送网上的实时数据。 r t p 报文格式 一个标准的r t p 报文是由固定头和数据负载两部分构成的，如图3 5 所示。 图3 - - 5r t p 报文格式 其中的固定头部分如图3 - - 5 所示： 0123 0l2 3 4 567890l2 345 67890l2 3456789 01 + 一+ 一+ 一中_ + 一q - - - - r - - + 一+ 一+ 一+ 一十_ + 一十一十一+ 一。卜+ 一 一+ 一+ 一+ 一+ 一+ 一+ 一+ - - + - - + - - + 一+ 一+ 一+ l y = 2 1p i x l c c i m 【p tis e q u e n c en u m b e r l + 一十一 一十一+ 一+ 一+ 一+ 一+ 一卜+ 一 一+ 一卜+ 一- 卜+ _ + 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ _ + 一+ 一+ 一+ i t i m e s t a m p i + - - t - - + 一1 一+ + 一+ 一+ - - + - - + 一4 - - + - - + 一+ 一+ 一+ - - + 一4 - - + 一+ 一+ - - 4 - - + 一+ 一+ - - + 一+ 一+ 一k 十一+ 一+ 一+ |s y n c h r o n i z a t i o ns o u r c e ( s s r c ) i d e n t i f i e r1 + o + o + 2 + ：+ 2 + 3 + = + 2 + 2 + 2 + = = + 2 + = + 2 + 2 + 2 + = o = + 2 + 2 + 2 + 2 + 一+ 2 + = + 一+ o + 2 一 ； c o n t r i b u t i n gs o u r c e ( c s r c ) i d e n t i f i e r s i i + 一+ - - + - - 4 - - + - - + - - + 一卜+ 1 一 一 一- + 一- 一+ 一_ 一+ - - + - - + - - 4 - - - + - - + 一+ 一_ 一+ - - + - - q - - + 一+ 一+ 一+ 图3 6r i p 报文头结构 每个r t p 报文都有头1 2 字节。报文头中各项含义如下： 版本号( v ) ：2 比特 标识r t p 版本号。 填充标志( p ) ：l 比特 若为1 表示r t p 报文的负载域中含有填充字节，这时负载域中最后一个 字节的值表示负载域中无用字节的数目。当某些封装算法需要数据块尺寸固 定的传输或低层协议封装多个r t p 报文时，需有填充字节使用。 c s r c 记数器( c c ) ：4 比特 记录c s r c 标识的数目。c s r c 是成份源( c o t r i b u t i n gs o u r c e ) 的标识。 标记( m ) ：l 比特 标记( m a r k e r ) 位的具体含义由用户选用的轮廓文件所决定。该位往往被 用来标明连续码流中的某些特殊位置，如视频帧边界等。应用可以在选用的 轮廓文件中根据具体需求更改标记位所占用的比特位数。 扩展( x ) ：1 比特 扩展位为1 表示固定报文头后附带一个报文头扩展，其格式如图3 - 7 所 示。前1 6 位内容由轮廓文件决定，主要用来标识不同的头扩展类型。这种 方式可用来传送那些独立于具体负载格式的应用信息。 2 1 i d e f i n e db yp r 。f il e ( 1 6b i t s ) i l e n g t h i h e a d e re x t e n s i 。n 图3 7r t p 头扩展 负载类型( p t ) ：7 比特 负载类型标识了r t p 报文负载域数据的格式，其具体取值和含义由所选 用的轮廓文件所决定。轮廓文件规定了默认的负载类型对应的负载格式。r t p 协议还允许用户在一定的数值范围内( 9 61 2 7 ) 为特殊的数据编码方式动态 地指定标识符值。 序列号( s e q u e n c en u m b e r ) ：1 6 比特 序列号用来标识r t p 报文的顺序，用于接收方接收检验。序列号的值随 r t p 报文的发送加l 递增。接收方据此可以作出判断。初始的序列号是一个 随机数，以防止恶意攻击。 时间戳( t i m es t a m p ) ：3 2 比特 一般用来表示r t p 报文所带数据的采样时刻。用户也可以根据应用的需 要灵活地指定时间戳的取值，例如，时间戳的取值可以被用来表示r t p 报文 的发送时刻。时间间隔的选择必须能够充分表示同步的精度，即能用来评估 时延的抖动( 以每个视频帧为间隔是不够的) 。时钟的频率由以下几方面约 定：负载及其轮廓文件，或负载格式，或非r t p 方式动态决定的负载格式。 如果r t p 报文是周期性产生，则可使用数据的取样周期，而不需系统时钟。 比如对于固定码率的音频流，时间戳以音频采样周期进行递增。如应用每1 6 0 取样从设备中取数据，则时间戳每次增加1 6 0 。最初的时间戳是随机产生的， 类似于序列号。如果几个r t p 报文同时产生的话，它们可能会有相同的时间 戳，这意味着它们之间有着同步关系。连续的r t p 报文的时间戳不一定是递 增的，这发生在数据不按照其抽样顺序发送的情况下，( 例如t p e g 码流的i 帧数据) 。但是即使在这种情况下，序列号也是递增的。 同步源标识( s s r c ) ：3 2 比特 同步源标识用来唯一标识会话中的一个源，即不同源的r t p 码流含有不 同的s s r c 。即使那些码流是来自于同个用户的相同媒体类型( 如都为音频