（计算机应用技术专业论文）网络化的电视节目制作合成系统的设计与实现.pdf

西南交通大学硕士研究生学位论文第1 页 摘要 随着科学技术的发展以及电视业务特别是直播业务的扩展，电视节目制作 逐渐从原先的线性编辑发展到目前比较流行的非线性编辑，由小范围内的电视 节目制作系统发展到集素材收录、存储、合成和播出于一体的网络集群式视频 服务器系统。 本文课题涉及的视频服务器集群，是成都某公司为2 0 0 8 年北京奥运会专 门开发的集场地素材收录迁移、演播室播出控制、节目制作合成系统、素材播 出和中心存储素材管理等于一体的集群系统。该系统采用非线性编辑方式来制 作节目合成表单并且将合成的节目存储在磁盘，实现了采集、编辑、合成、播 出等功能网络一体化。 本论文开发的网络化电视节目制作合成系统是视频服务器集群下的一个 子系统，该系统下的素材合成端主要负责接收演播室播控系统的节目合成表单 和相关的控制查询命令，同时按照节目合成表单从素材提供端上获取源素材并 完成节目文件的制作合成。 论文首先介绍了本课题的研究背景与意义、电视节目制作合成的现状。接 着，简述了电视节目制作下的素材合成、相关的集群及其关键技术。然后，分 析了系统的任务与目标，设计了系统的拓扑结构与体系结构，分别从素材合成 端和素材提供端划分并设计了各自的功能模块。之后，分别对素材合成端和素 材提供端的模块进行了详细设计，包括：控制命令接收处理、素材合成程序的 结构、节目合成表单接收解析、素材的发送接收与读写、断点续传与素材提供 端切换、素材提供者调度与监控等等，并采用v c + + 实现了整个系统。最后， 通过设计测试用例，完成了系统的测试。测试及运行结果表明，系统运行稳定、 高效，达到了最初的设计要求。 经实际使用表明，包含有本系统的视频服务器集群系统运行平稳正常，为 2 0 0 8 年北京奥运会电视转播的顺利完成起到了重要作用。 关键词：电视节目制作合成；视频服务器；素材合成端；素材提供端；节目合 成表单；素材迁移 a b s t r a c t w i t ht h ed e v e l o p m e n to fs c i e n c ea n dt e c h n o l o g y , a n dt h e e x p a n s i o no ft h e t e l e v i s i o nb u s i n e s s ，e s p e c i a l l yt h el i v ep r o g r a m s ，t h ew a y o f m a k i n gt vp r o 蓼锄si s d e v e l o p e df r o mt h eo r i g i n a ll i n e a re d i t i n gt ot h ec u r r e n tn o n 1 i n e a re d i t i n g 。a n dt h e s y s t e mo fm a k i n gt vp r o g r a m si sd e v e l o p e df r o ms m a l ls c a l et ot h ev i d e os e r v e r c l u s t e rb a s e do nt h en e t w o r kw h i c hi n c l u d e st h ef u n c t i o n so f m a t e r i a l sc o l l e c t i n g s t o r i n g ，a n dp r o g r a m sm a k i n ga n db r o a d c a s t i n g t h ev i d e os e r v e rc l u s t e ri n v o l v e di nt h i st h e s i sw a sd e v e l o p e df o rt h e2 0 0 8 b e i j i n go l y m p i cg a m e sb yac o m p a n yi nc h e n g d u ，w h i c hi n c l u d e s m a t e r i a l m i g r a t i n gs y s t e m ，s t u d i ob r o a d c a s t i n ga n dc o n t r o l l i n gs y s t e m ，t vp r o g r a m s m a k i n g s y s t e m ，b r o a d c a s t i n gs y s t e m ，t h ec e n t e rs t o r a g es y s t e m ，a n de t c t h i sc l u s t e rs y s t e m u s e sn o n l i n e a re d i t i n gt om a k e s p r o g r a mf o r m s ，s t o r e st h et vp r o g r a m si nt h ed i s k a n di m p l e m e n t sm a t e r i a l sc o l l e c t i n g ，e d i t i n g ，p r o g r a m sm a k i n g ，b r o a d c a s t i n ga n d s o m eo t h e rf u n c t i o n sa l li nal o c a la r e an e t w o r k t h et vp r o g r a m sm a k i n gs y s t e mi nt h i st h e s i si sap a r to ft h ev i d e os e r v e r c l u s t e rm e n t i o n e da b o v e t h e s y s t e mh a st w om a i np a r t s ，i e 。t h em a t e r i a i s y n t h e s i z i n ge n da n dt h em a t e r i a ls u p p l y i n ge n d t h em a t e r i a l ss y n t h e s i z i n ge n d r e c e i v e st vp r o g r a mf o r m sa n dr e l e v a n tq u e r ya n dc o n t r o lc o m m a n d sf r o mt h e s t u d i ob r o a d c a s t i n ga n dc o n t r o l l i n gs y s t e m ，a n dm a k e sp r o g r a m sa c c o r d i n gt ot v p r o g r a mf o r m sw i t hm a t e r i a l sw h i c ha r eg o tf r o mt h em a t e r i a ls u p p l f i n ge n d s f i r s to fa l l ，t h i st h e s i si n t r o d u c e st h er e s e a r c hb a c k g r o u n da n ds i g n i f i c a n c e a n dt h ec u r r e n ts t a t u so ft h et e l e v i s i o n p r o g r a m sm a k i n gs y s t e m t h e n ，t h e t e c h n o l o g yo ns y n t h e s i z i n gm a t e r i a l s ，t h et e c h n o l o g yo nc l u s t e ra n ds o m eo t h e r i m p o r t a n tt e c h n o l o g i e sa r ei n t r o d u c e d s e c o n d l y , t h et a s ka n dt h eo b je c t i v eo ft h es y s t e ma r ea n a l y z e d ，a n dt h e t o p o l o g i c a ls t r u c t u r ea n dt h ea r c h i t e c t u r ea r ed e s i g n e d jt h e n ，t h ef u n c t i o n a l m o d u l e sa r ed i v i d e da n dd e s i g n e do nb o t ht h em a t e r i a ls y n t h e s i z i n ge n da n dt h e m a t e r i a ls u p p l y i n ge n d t h i r d l y , t h em o d u l e so nt h em a t e r i a ls y n t h e s i z i n ge n d a n dt h em a t e r i a l s u p p l y i n ge n da r ed e s i g n e di nd e t a i l s ，w h i c hi n c l u d ec o n t r o lc o m m a n dr e c e p t i o n 西南交通大学硕士研究生学位论文第1 i i 页 a n dh a n d l e ，t h es t r u c t u r eo ft h em a t e r i a ls y n t h e s i z i n gp r o g r a m s ，t e l e v i s i o np r o g r a m s f o r mr e c e p t i o na n d p a r s i n g ，m a t e r i a ls e n d r e c e p t i o n a n dr e a d w r i t e ，m a t e r i a l r e t r a n s m i s s i o nf r o mb r e a k p o i n t ，m a t e r i a ls u p p l y i n ge n d ss w i t c h ，m a t e r i a ls u p p l i e r s s c h e d u l ea n dm o n i t o r , a n de t c t h e n ，t h es y s t e mi sd e v e l o p e dw i t ht h ed e v e l o p m e n t t o o lo fv i s u a lc 4 - + f i n a l l y , t h es y s t e mi st e s t e dw i t ht h ed e s i g n e dt e s tc a s e s ，a n dt h er u n n i n g r e s u l t sa lep r e s e n t e d t h et e s t ss h o wt h a tt h es y s t e mi ss t a b l ea n de f f i c i e n t ，a n d m e e t st h en e e d s o fo r i g i n a ld e s i g n s t h ep r a c t i c a lu s es h o w st h a tt h ev i d e os e r v e rc l u s t e ri n c l u d i n gt h i ss y s t e mr u n s n o r m a l l ya n ds t a b l y , a n dm a k e sg r e a tc o n t r i b u t i o nt ot h es m o o t hb r o a d c a s to ft h e 2 0 0 8b e i ji n go l y m p i c s k e yw o r d s ：t e l e v i s i o np r o g r a m sm a k i n g ；v i d e os e r v e r ；m a t e r i a ls y n t h e s i z i n ge n d ； m a t e r i a l s u p p l y i n ge n d ；t e l e v i s i o np r o g r a mf o r m ；m a t e r i a l m i g r a t i n g 西南交通大学硕士研究生学位论文第v i 页 m s v a m f s e d l 本文部分术语缩写的中英文对照表 m e g as e r v e rf o rv i d e o 视频媒体服务器 a d v a n c e dm e d i af i l es y s t e m 高级媒体文件系统 e d i td e c i s i o nl i s t 编辑决策列表，记录视频编辑的完整过程 西南交通大学曲陶父遗大罕 学位论文创新性声明 本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作 所得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或 集体己经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体， 均已在文中作了明确的说明。本人完全意识到本声明的法律结果由本人承担。 本学位论文的主要创新点如下： ( 1 ) 根据演播室播控系统发送给本系统的控制查询命令的特点，同时为解 决一些控制查询命令处理时间过长而导致其他的控制查询命令无法得到及时 的响应，系统设计一种针对本系统下素材合成程序的结构。 ( 2 ) 为提高本系统的稳定性与高效性，系统使用了集群技术下的任务调度 和服务器负载监控和容错技术，来实现素材提供端的调度和素材提供端上素 材提供者的调度监控。 廖谈 别川 西南交通大学曲南父逋大罕 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学 校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查 阅和借阅。本人授权西南交通大学可以将本论文的全部或部分内容编入有关 数据库进行检索，可以采用影印、缩印或扫描等复印手段保存和汇编本学位 论文。 本学位论文属于 1 保密口，在年解密后适用本授权书； 2 不保密囹，使用本授权书。 ( 请在以上方框内打“”) 学位论文作者签名：趴 ， 日期：2 0 0 9 年f 月- 7 1 日 指导老师签名：秒刁参彳 日期：2 0 0 9 年y 月1 7 日 西南交通大学硕士研究生学位论文第1 页 1 1 研究背景与意义 第1 章绪论 近年来随着信息技术( i n f o r m a t i o nt e c h n o l o g y , i t ) 的发展，电视数字化 的进程明显加快，电视广播从拍摄、后期制作、存储、播出到传输正向数字 化、网络化全面展开【1 】。随着电视台业务的不断发展、频道数量不断增加， 频道专业化、栏目个性化、节目精品化成为每个电视台节目的发展方向【1 】。 各频道、栏目为树立品牌、提高知名度，对节目制作要求越来越高，因此， 如何能够快速高效地实现节目文件制作越来越成为电视台关注的焦点。 电视节目制作经历了两个主要阶段，即：早期的线性编辑与目前比较流 行的非线性编辑 2 巧】( 简称非编) 。线性编辑是基于磁带的电子编辑，其根本 特点是：素材的搜索、录制必须按时间顺序进行，需反复前后卷带以寻找素 材，因此较麻烦、费时间。而非线性编辑是使用数字存储媒体进行数字视音 频编辑的后期制作( 后期制作对应于前期的视音频收录) 系统，特点是：能 随机访问任意素材，不受素材存放时间的限制，且一套非线性编辑系统可以 实现线性编辑设备的几乎所有功能，以计算机为平台配合专用图像卡、视频 卡、声卡，利用某些专用卡( 如字幕卡、特技卡等) 和高速硬盘( s c s i ) ，以软件 为控制中心来制作电视节目。经过多年的发展，非编系统功能逐步完善，己 被大量地应用于电视节目后期制作。随着电视台业务的发展，基于磁带的线 性工作流程已经难以适应电视台对高效、低成本节目制作的要求，因而基于 非编工作流程的无磁带化、网络化制作系统将是电视节目制作的发展趋势。 2 0 0 8 年北京奥运会将无磁带化、网络化的制作系统推向了一个更高的阶 段。例如，成都索贝数码技术公司承担的奥运会的制播一体化项目而开发的 视频服务器集群系统，集中了文件存储管理、节目收录、节目制作、演播室 播出等功能，不仅实现了节目制作网络化、无磁带化，而且提高了节目制作 效率，满足了奥运会节目制作的需求。因此，基于千兆网络的视频服务器集 群将会得到了更多电视台的认可岱j 。 本课题是视频服务器集群系统的一个子系统，主要功能是按照非编系统 所做的节目合成表单，从网络上其它机器中获取源素材来合成节目文件，提 供给视频服务器集群系统中的演播室播出系统。所以一个安全高效的网络化 西南交通大学硕士研究生学位论文第2 页 的节目制作合成系统将会给电视台提供节目制作帮助，将对电视台节目制作 网络化进程起到巨大的促进作用，提高了节目制作合成效率，同时降低了节 目制作成本。本文结合集群技术和w i n s o c k 网络编程技术，研究并实现了一 个网络化的多媒体素材合成系统，旨在为电视台的节目制作提供帮助。 1 2 节目制作合成现状 对于提供电视节目的电视台来说，节目制作是其电视业务中的关键部分。 随着r r 技术的发展，节目制作系统逐渐从基于磁带的线性编辑系统发展到基 于磁盘的非线性编辑系统。 传统的线性编辑方式需要使用大量的录像机。一个中型电视台，平均需 要1 0 0 个编辑点，每个编辑点配置2 或3 台录像机，共需要2 0 0 多台录像机。 而采用非线性编辑方式，每个编辑点只需要一个非线性编辑机和1 台录像机； 如果使用非线性编辑网络，则整个系统只需要5 至l o 台录像机【9 】。很显然， 在满足功能要求的基础上，使用非线性编辑网络可以节约很多开支。 非线性编辑系统在处理本地磁盘上的多媒体文件发挥了非常巨大的作 用，但是对于不在本地磁盘上的多媒体文件，需要将其上载到本地磁盘，这 样大大地影响了节目制作的效率。由于非线性编辑系统无法实现素材共享和 协同工作等缺陷阻12 1 ，因此非线性编辑网络系统就逐渐发展起来【1 3 川】。 网络化节目制作合成系统作为非线性编辑网络系统的一部分，在实现节 目制作上发挥了重要的作用。但是，对于一些节目类型的制作，目前的网络 化的节目制作合成系统( 如新奥特公司的喜玛拉雅制作网络) 依然无法做到 尽善尽美。以下3 种就是目前网络化节目制作合成系统中依然存在很大缺陷 的节目制作类型。 精彩集锦：在许多新闻节目中，可能看到最近某些比赛的精彩集锦。现 有节目制作合成系统通常的做法，是将收录机器上赛事完整的视音频素材传 输到演播室中，由演播室的非线性编辑系统完成精彩集锦的编辑。由于精彩 部分只占整个收录素材的- - 4 部分，因此，被传输到演播室的收录素材中很 大一部分是起不到作用的。这样就大大浪费了文件传输的时间，从而降低了 节目制作的效率。 延时播出：对于实时性要求比较高的现场直播节目，演播室要求快速地 获取收录机器上的节目视音频文件。由于收录系统对收录文件的保护，对于 西南交通大学硕士研究生学位论文第3 页 尚未关闭的文件，系统将拒绝打开，这样就无法保证实时性。因此，收录系 统经常采用分段方式来存储收录文件，这样就可以保证已经关闭的文件可以 快速地传输到播出机器。采用此种方式依旧存在比较大的延迟，延迟的主要 部分在于正在收录存储中的素材段，因此减少时间延迟的关键在于能够读取 收录中的素材段。 合成文件共享：在网络化节目制作合成系统中，被制作合成的节目文件 将存储在演播室播出机器磁盘上，不同演播室相互独立。也正由于演播室的 相互独立，因此经常出现这样的情形：演播室a 刚制作完某一节目合成表单 后不久，演播室b 不得不采用同样的方式重新制作同样的表单，使得节目制 作的效率大大降低。 综上所述，虽然网络化节目制作合成系统在非线性编辑网络化系统中发 挥了很大的作用，并且提高节目制作合成的效率，但是，对于某些节目类型， 系统依然存在不足和需要改进的地方。 1 3 本论文研究内容及章节安排 本文主要拟对一个网络化的节目制作合成系统进行设计开发，该系统是 成都索贝公司为2 0 0 8 年北京奥运会开发的视频服务器集群系统的一个子系 统。由于网络化的节目制作合成系统与视频服务器集群系统下的其它子系统 ( 如演播室播出控制系统、节目收录系统和中心存储系统) 相互关联，因此， 以下5 个部分将是本文的研究重点： 第一，素材合成端从演播室播出控制系统获取并分析不同类型的节目合 成表单。 第二，传统的素材合成程序在处理演播室控制系统命令时无法做到及时， 因此，设计一个能够及时处理命令的素材合成程序是本文的重点之一。 第三，对于合成的节目文件做到及时存储备份。 第四，当多个素材合成程序并发运行时，可能导致素材提供端无法及时 响应，因此，素材提供端调度与负载检测也是本文重点之一。 第五，为提高系统效率，需要实现合成文件的断点续传功能。 本文共分为五个章节： 第一章绪论，主要论述了本文研究工作的背景与意义，介绍了当前电视 节目制作现状和当前先进网络化节目制作合成现状，并分析了几种常见的节 西南交通大学硕士研究生学位论文第4 页 目制作类型，以及每种节目类型传统制作的优缺点。 第二章相关知识与技术，首先介绍了节目制作系统下素材合成的意义和 本系统处理的几种类型素材合成方式。其次介绍了与集群技术和w i n d o w s s o c k e t s 技术，为了保证节目制作合成系统的高效与稳定，系统在许多地方采 用了集群技术，如：在素材合成程序中实现的素材提供端调度功能和素材提 供端负载检测功能。素材合成需要的源文件可能来自网络内多台机器，因此 网络编程中关键的w i n d o w ss o c k e t s 技术成为必不可少的环节。 第三章系统分析与设计。分析了系统任务与目标，设计了系统的拓扑结 构和体系结构，详细地对系统进行了功能模块的划分与设计。 第四章系统的详细设计与实现。从系统的素材合成端和素材提供端两个 大部分，分别详细地介绍了各自主要模块的设计与实现。 第五章系统测试及运行效果。在系统开发结束后，设计了相关的测试用 例，在w i n d o w ss e r v e r 2 0 0 3 系统上测试了素材合成程序和素材提供端上的素 材提供者和素材提供者调度监控程序。给出了系统运行中的一些典型截图。 最后，总结了全文，针对系统中不足的地方提出进一步的改进工作。 西南交通大学硕士研究生学位论文第5 页 第2 章相关知识与技术 2 1 节目制作下的素材合成 素材合成在此可以理解为素材剪辑，是指对源素材进行剪切和重新排列 组合，制作新的素材序列【l8 。2 2 1 。源素材包括视频和音频。素材合成的目的是 将多个零散的素材段合并成一个完整的节目文件，这样既可以在节目文件中 添加相关特技，又可以减少播出异常次数。 对于不同类型的节目合成表单( 简称：表单) ，素材合成方式也不同。以 下分别为精彩集锦节目、文件快速合成、演播室共享、延时播四种类型的节 目合成表单的素材合成方式。 对于精彩集锦类型，系统采用缩编e d l ( e d i td e c i s i o nl i s t ，编辑决策列 表【2 3 矧) 方式进行素材合成。e d l 是由非编系统生成的，记录了视音频文件 在时间轨上编辑信息。缩编是指经过非编编辑后的素材段仅对应于源素材文 件的一部分。非编系统产生的缩编e d l 表是按照x m l ( e x t e n s i b l em a r k u p l a n g u a g e ，可扩展标记语言【2 5 ，2 6 】) 格式存储的。表单中记录了素材名称、素 材路径、素材在文件中起点出点、在时间轨上起点出点等相关信息。由于产 生节目文件所需要的源素材在收录机器上存储，并且在中心存储上备份，因 此，e d l 表中对应的视音频文件均存在双份路径，其中一个路径为文件在收 录m s v 机器上的地址，另外一个路径为文件在中心存储上的地址，这样可 以提高素材存在的可能性。非编系统产生缩编e d l 表单后，将由演播室播控 系统发给节目制作合成系统，由该系统从素材提供端获取素材完成节目文件 的制作合成。 对于文件快速合成，所需的素材段通常为一段完整的源素材，因此非编 系统将不采用e d l 方式来制作节目合成表单，而只是提供一串字符串作为节 目合成表单，该表单记录了视频路径和音频路径，其中路径之间以“； 隔开。 例如：“d ：帅1 a v i ；d ：h q d 1 1 0 w1 w a v ；d a h d 1 h i 曲1 w a v ”，“d a h d 1 a v i 为视频在中心存储上的路径，“d ：h d 1 1 0 w1 w a v ；d ：h q d 1 h i 曲1 w a v 为两 个音频路径，表单中只允许出现段视频，最多不超过八个音频文件。文件 快速合成表单将由演播室播控系统发送给节目制作合成系统，素材合成程序 将从中心存储获取视频、音频文件，并将视频、音频合成为一个文件，以供 西南交通大学硕士研究生学位论文第6 页 播出程序播出。 演播室共享是为了提高节目制作效率，避免不同演播室之间重复合成同 一文件。在素材合成中，本地演播室需要根据节目合成表单分别从对应的素 材提供端获取源素材，这样系统将耗费大量的时间在建立t c p 通道连接上。 如果采用演播室共享方式，本地演播室将直接从对应的其他演播室中获得已 经合成的文件，这样仅仅需要建立一次t c p 数据通道，减少了时间的耗费， 提高了节目制作合成的效率。演播室共享的表单跟文件快速合成很类似，也 是一个字符串。由于演播室合成后的文件视频和音频以帧为单位存储在一起， 因此，字符串表单中只有一个路径，其中需要指明演播室中的机器名称。例 如，“d 9 f 5 e a 2 7 6 6 7 9 4 c 4 ：d 瓜d e f a iht 、n e w w r i t e ”即是一个演播室共享节目 合成表单，其中“d 9 f 5 e a 2 7 6 6 7 9 4 c 4 为某个演播室下的一个主机名， “d i rd e f a u l t 为对应主机下的默认文件夹名称，而“n e w w r i t e ”则为 合成文件的名称。演播室共享表单将由演播室播控系统发送给节目制作合成 系统，素材合成系统将从其他演播室获取对应的文件，供播出程序播出。 延时播通常针对现场直播节目类型。为了减少播出与现场的延迟，系统 通常直接从收录m s v 机器获得源素材，而不再考虑从中心存储获取备份的 素材。因此，其表单与文件快速合成表单类似，也将仅仅是一个字符串。例 如，“d 9 f 5 e a 2 7 6 6 7 9 4 c 4 ：k d i r c o l l e c t i o n k n e w c o l l e c t i o n 一2 0 0 9 0 12 2 0 0 0 0 ” 即是一个延时播节目合成表单，其中“d 9 f 5 e a 2 7 6 6 7 9 4 c 4 ”为收录机器名称， “d i rc o l l e c t i o n ”为收录素材在收录机器中的文件夹， “n e w c o l l e c t i o n2 0 0 9 0 1 2 20 0 0 0 ”为收录素材段的名字，其中的 “n e w c o l l e c t i o n ”为收录文件名，“2 0 0 9 0 1 2 2 为收录素材对应日期，“0 0 0 0 为收录对应的素材段。延时播表单将由演播室播控系统发送给节目制作合成 系统，合成系统将从收录m s v 机器获取收录素材并合成为节目文件，供播 出程序播出。 2 2 集群技术 为了保证节目制作合成系统的高效与稳定，开发时在许多地方采用了集 群技术。因此，此处对相关的集群技术作一介绍。 2 2 1 集群概念 集群( c l u s t e r ) 是由两台或多台节点机( 服务器) 构成的一种松散耦合的计 西南交通大学硕士研究生学位论文第7 页 算节点集合，为用户提供网络服务或应用程序( 包括数据库、w 曲服务和文件 服务等) 的单一客户视图，同时提供接近容错机的故障恢复能力【2 7 2 9 】。集群系 统一般通过两台或多台节点服务器系统通过相应的硬件及软件互连，每个集 群节点都是运行其自己进程的独立服务器。这些进程可以彼此通信，对网络 客户机来说就像是个个单一系统，相互协同为用户提供应用程序、系统资 源和数据。除了作为单一系统提供服务，集群系统还具有恢复服务器级故障 的能力。集群系统可通过在集群中继续增加服务器的方式，从内部增加服务 器的处理能力，并通过系统级的冗余提供固有的可靠性和可用性。 故障切换功能为服务器稳定运行提供了保障。当集群中某一台机器出现 故障时，其上的工作可以被切换到集群中一个或多个其它节点上完成。一旦 发生故障的节点恢复全面运行，可将其放回到集群中，并将其工作从其它服 务器转回该服务器。此外，通过前瞻性地将一台服务器的功能切换到集群中 其它服务器上，然后为该服务器增加升级所需的组件，以完成升级。 2 2 2 集群关键技术 1 。一致的服务 为了使多台服务器能表现得如同一个系统，必须让这些服务器具备一个 基本条件，那就是它们都单独运行，提供完全一致的服务。不然，如果各个 服务器提供的服务不一致，又如何让它们对外表现完全一致呢? 例如，我们 可以设置w e b 服务器，使多个w e b 服务器中保存的网页文件内容完全一致。 这样，无论访问哪个服务器，只要使用同样的u r l 就能得到同样的结果。因 此，在这个阶段要保证内容的一致性，就需要使用诸如服务器之间的同步镜 像、网络存储系统n a s ( n e t w o r ka t t a c h e ds t o r a g e ，网络附属存储) 或s a n ( s t o r a g ea r e an e t w o r k ，存储区域网) ，数据库的同步复制等等技术。 2 任务调度 当所有的服务器都具备一致性的表现，接下来就是将任务按照一定的方 式分配给这些服务器，这就是任务调度。 实现任务调度，首先需要将任务尽可能地按照小粒度分割，每个粒度应 该是能够在不同服务器上单独执行的最小单位。粒度划分得越小，任务分割 得越平均，整体效果就越好。但粒度的划分需注意运行的环境。例如，在s m p ( s y m m e t r i c a lm u l t i p r o c e s s i n g ，对称多处理) 多处理器的计算机系统中，任 意一个线程都可以在任一个处理器上执行，因此粒度划分为线程是可行的。 西南交通大学硕士研究生学位论文第8 页 但由于线程之间需要共享内存，因此在不同服务器之间使用线程粒度就不可 行，至少目前是这样。由于大多数网络服务都是基于t c p 网络连接的，因此 可以考虑按照t c p 连接划分任务粒度，这种粒度划分适合于包括w e b 服务、 数据库连接等在内的绝大多数任务。 实现任务调度的方式有很多种。一种方法是在系统内部完成，所有的服 务器能够自我协调，完成任务调度。这种方法要涉及所有的服务器，依赖于 具体的应用系统，因而较为复杂。另一种方法是不在服务器之间实现调度， 而是依赖于外部的任务调度设备来执行调度。这种方法实现简单，因此成为 集群任务调度实现的首选方案。 3 服务器负荷检测与容错 任务调度的关键是将所有的任务平均地分配给所有的服务器，如果不能 做到合理的分配，就会出现部分服务器上的拥塞现象，此时还可能会出现由 于后台服务器类型差异造成的处理能力不一致等情况。为达到任务分配均衡 的目的，必须使用某种方法来获得各个服务器的负荷状态。 最简单的一种方法，是用当前服务器的任务数量作为服务器的负荷，而 任务数量通常用网络连接的数量来衡量。用这种方法得到的服务器负荷不是 很准确，因为不同的连接对服务器造成的负荷是不同的。例如，对一个静态 网页的处理和一个后台c g i ( c o m m o ng a t e w a yi n t e r f a c e ，通用网关接口) 程 序的处理，服务器的负荷是不一样的。 另一种方法，则通过测量服务器对网络连接的响应时间来判断服务器的 负荷。这种方法得到的负荷值基本上能够反映服务器的负荷状态，不过也并 非绝对准确。因为服务器可能会对某些网络连接先给出快速响应，然后再处 理这些网络连接，而对系统负荷影响大的恰恰是这之后的处理过程，而不是 前面的响应。 正是由于准确获得服务器负荷的困难性，一些系统引入了客户服务器代 理机制，在各服务器上通过执行代理专门完成探测服务器负荷的任务。任务 调度设备除能够精确了解服务器负荷之外，还能够通过网络连接的正常与否 来了解各服务器的可用性，也就是说，能够检测出服务器是否正确运行。一 旦检测出某服务器不能正确运行，任务调度设备在任务调度时可以避开这些 故障服务器，将任务分配给其他运行正常的服务器，从而达到容错的目的。 西南交通大学硕士研究生学位论文第9 页 2 3w i n d o w ss o c k e t s 技术 w i n d o w ss o c k e t s 是w i n d o w s 下得到广泛应用的、开放的、支持多种协 议的网络编程接i ：3 ，主要应用于数据通信。它允许两个或多个应用程序( 或进 程) 在同一台机器上，或通过网络相互通信，已经成为w i n d o w s 网络编程的 事实上的标准 3 讲。它不仅包含了人们熟悉的b e r k e l e ys o c k e t 风格的库函数， 也包含了一组针对w i n d o w s 的扩展函数，使程序员能充分利用w i n d o w s 消息 驱动机制进行编程【3 。此外，在一个特定版本w i n d o w s 的基础上，w i n d o w s s o c k e t s 也定义了一个二进制接口，以此来保证使用w i n d o w ss o c k e t sa p i 的 应用程序能够在任何网络软件供应商的符合w i n d o w ss o c k e t s 协议实现上工 作。在通信的过程中，应用程序调用w i n d o w ss o c k e t s 的a p i 实现相互之间 的通讯，w i n d o w ss o c k e t s 又利用下层的网络通讯协议功能和操作系统调用实 现实际的通讯工作。它们之间的关系如图2 1 所示。 图2 - 1 应用程序与w i n d o w ss o c k e t s 关系图 套接字是通信的基石，是支持t c p i p 协议网络通信的基本操作单元。可 以将套接字看作不同主机间的进程进行双向通信的端点。一个套接口是通信 的一端，在这一端上可以找到与其对应的一个名字。一个正在被使用的套接 口都有它的类型和与其相关的进程。根据网络通信的特性，套接字可以分为 西南交通大学硕士研究生学位论文第1 0 页 3 类：流式套接字、数据报套接字及原始套接字【32 1 。 流式套节字定义了一种可靠的面向连接的服务，可实现无差错无重复的 顺序数据传输。数据报套接字定义了一种无连接的服务，数据通过相互独立 的报文进行传输，是无序的，并且不保证可靠、无差错。原始套接字允许对 低层协议( 如p 或i c m p ) 直接访问，主要用于新的网络协议实现的测试等。 由于本文涉及大量的文件传输，为了保证数据的可靠性与传输的安全性， 系统采用t c p 连接提供可靠的数据传输，因此作者选用了流式套节字作为 s o c k e t 所采用的类型，其通信流程如图2 2 所示。 西南交通大学硕士研究生学位论文第1 1 页 服务器 ：处理服务请求 应答数 客户端 图2 - 2 面向连接的通信流程图 西南交通大学硕士研究生学位论文第1 2 页 第3 章系统分析与设计 3 1 系统任务与目标 3 1 1 系统任务 节目制作合成系统是视频服务器集群系统下的一个子系统。视频服务器 集群系统还包括其它几个子系统，如：文件存储系统、演播室播控( 即播出 控制) 系统、场地收录迁移系统和中心存储系统等。节目制作合成系统的主 要任务包括以下两个方面： 第一，系统要能接收演播室播控系统制作的节目合成表单( 简称：表单) ， 根据该表单要求从所在局域网中的提供节目素材机器上，获取所需的所有素 材，并合成为一个节目文件，并同时备份该节目文件到备份机。 第二，系统能够接收并处理演播室播控系统发送的其他相关控制查询命 令，如：播控系统查询播出m s v 主机上节目文件列表的命令，节目制作合 成系统接收到正确的命令后，将调用本地文件列表查询接口，在正确获取节 目文件列表后，系统将该结果返回给演播室播控系统。 3 1 2 系统目标 1 支持多种节目类型制作 演播室播控系统发送给本系统的节目合成表单，存在多种类型，如：缩 编e d l 类、文件快速合成类、演播室共享类以及延时播( 边收录边合成) 类。 缩编e d l 类节目合成表单涉及的源素材不仅可以来自收录m s v 机器， 还可以来源于中心存储。文件快速合成类表单的源素材只来源于中心存储。 边收录边合成类表单的源素材只来源于收录m s v 机器。不同于上述三种表 单类，它们的源素材或者来自收录m s v 机器或者来自中心存储，演播室共 享类表单所需的源素材来源于其他演播室己合成的节目文件，即来源于播出 m s v 机器。 正是由于节目合成表单有多种类型，因此要求本系统应支持多种节目类 型的制作。 2 冗余备份 数据冗余是指在一个数据集合中存在重复的数据 3 3 , 3 4 】。数据冗余在电视 西南交通大学硕士研究生学位论文第1 3 页 节目制作合成中是非常重要的，如果播出素材或者源素材出现损坏，那么将 会给电视播出带来极大影响。因此，要求节目制作合成系统应保证重要资源 文件的冗余备份。 本系统的冗余备份主要是对播出文件的备份存储。系统不仅要将新合成 的播出文件存储上播出m s v 主机上，还需要将合成文件通过内网备份到播 出m s v 的备份机上。当播出m s v 主机出现异常，对外播出可以切换到备份 机，保证播出的可靠。 3 音频过渡 对于本系统所处理的4 种节目合成表单所涉及的素材，根据源素材来源 可以分为两类：一类是素材合成时可能需要多段不同的源素材，例如缩编e d l 节目合成表单类中涉及的素材即属此类；另外一类是素材合成时需要的源素 材为同一个源文件，例如文件快速合成类中的素材属此类。 对于素材合成时需要多段不同源素材情况，如果不进行特殊处理，就有 可能在合成节目文件的两个源素材连接处出现“爆音( s o n i cb o o m ，指音频 信号突然断开或者被引入其他强干扰时，产生的不协和的声音) 现象。为避 免此现象发生，在制作合成涉及多段不同源素材的节目文件时，需要在各段 素材连接处进行音频的过渡处理。对于源素材来源于同一个源文件的情况， 由于所需要的源文件是连续的，因此不会出现“爆音”。 4 素材提供者的调度与管理 素材合成程序如果想迁移( 即：把素材从某台机器传输到另外一台机器) 素材所在机器上的源素材文件，需要与素材所在机器上的素材提供者程序建 立连接。如果素材提供者想接收素材合成程序发送的命令，那么素材提供者 必须存在一个u d p 监听端口号，由于素材提供端上存在多个素材提供者，系 统为避免记录所有素材提供者的端口号，以基准端1 5 1 号+ 对应的素材提供者序 号作为对应的素材提供者u d p 监听端口号。 当多个素材合成程序( 在素材合成端上) 同时请求某个机器上的素材时， 如果系统不做调度，那么多个素材合成程序将以基准端1 ：3 号请求与第一个素 材提供者通信，系统必须对此情况进行调度以避免冲突，并保证素材合成程 序的文件迁移请求命令可以被分配到素材提供端上其他素材提供者，以达到 命令快速响应。 素材所在机器上的素材提供者通过素材提供者调度程序进行管理与调 西南交通大学硕士研究生学位论文第1 4 页 度。 系统开发要求在收录m s v 机器和中心存储机器上各有4 个素材提供者， 而在播出m s v 机器上有2 个素材提供者。 5 文件迁移的安全高效 播出安全是电视台制作合成节目最终目的所在，所制作的节目必须保证 播出的流畅性与完整性。由于合成节目文件所需要的源素材全部来自于收录 m s v 或者中心存储，如果源素材出现损坏，则会导致新合成的节目文件在播 出时候出现异常，因此素材合成过程中必须保证每一帧素材的正确性。 随着电视台业务的不断发展、频道数量不断增加，电视台在节目制作中 都很注重的一点就是：高效。许多时候电视节目制作就需要用到现场采集还 未结束的素材，例如边收录边合成( 延时播) ，如果按照传统的方式，等现场 采集分段结束再进行处理，这样就会影响播出的实时性，因此节目制作合成 系统应该在该类型的节目制作上进行改进处理。 在实际的素材合成过程中，可能会存在突发的事件，例如出现网络异常。 对于因源素材未传输完毕而导致素材合成失败情况，在重新合成的过程中就 会遇到一个不可避免的问题，即：是否断点续传 3 5 , 3 6 】。虽然重新请求素材进 行素材合成会比较安全，但这样做会导致节目制作效率的低下。而断点续传 可以避免重新请求已经迁移存储到本地的素材，大大提高了效率，但在安全 性上不如重新请求。因此，系统必须处理好文件迁移的安全与高效之间的冲 突。 3 2 系统结构设计 3 2 1 拓扑结构设计 图3 1 为节目制作合成系统及其与周围其它子系统( 即：演播室系统、 收录系统、中心存储系统) 关系的拓扑结构图。 西南交通大学硕士研究生学位论文第1 5 页 图3 - 1 系统拓扑结构图 从图3 1 可以看出，节目制作合成系统中存在两组播出m s v 组，每个播