全流程多节点异构备份的新闻生产系统技术方案

全流程多节点异构备份的新闻生产系统技术方案随着移动固态半导体技术的的不断发展，特别是移动固态半导体P2技术的的逐步成熟，其高安全性、文件化存储、非线性读写、高速传输、网络化等优点日益凸显。基于松下公司移动固态半导体P2技术的基础上，设计新闻准在线异构备份模式和P2与硬盘服务器互为主备的异构播出模式，应用于新闻节目制播全流程，贯通釆、编、播、应急等各环节。这两种异构制播模式的有机结合，使网络在出现技术故障的情况下，仍能快速响应，进行新闻应急制作和播出，从而大幅度提高系统的高可用性。一、新闻制播流程分析新闻制播流程如下图所示：图1新闻制播流程示意图1） 素材上载：素材来源能够是前期拍摄、卫星收录和来自媒资库的存档素材、资料上载等。作为最原始的新闻素材，记录方式己经实现文件化存储，但其内容没有经过加工处理，需要上载编辑制作。2） 粗编处理：初步完成新闻的梳理，形成画面完整的新闻素材，未进行配音、包装。3） 精编加工：对于粗编完成提交的素材进行包装，包括配音、效果、特技等精细编辑，完成新闻素材的成片工作，提交合成审核，此时素材能够下载准备播出。4） 审核上传：包括合成、审片、迁移，此阶段新闻内容已经合成播出成片。5） 演播播出：新闻素材经审片完成后，成片新闻自动迁移至硬盘服务器和下载播出。二、新闻制播安全技术分析安全播出是电视媒体永远的追求，内外网文件交换安全、数据存储、应用安全和演播室播出安全等环节安全设计不到位都会影响到新闻节目的播出。在系统设计时，基于成熟稳定技术的前提下，应从硬件、软件、管理等多个方面对安全性、可靠性、稳定性进行全方位的考虑，确保新闻生产系统的高可用性。但这些安全技术都是基于冗余技术上，仍旧存在技术故障造成的安全风险。所以，如何在故障情况下启动有效的应急措施，确保紧急情况下新闻播出安全，成为业界一直进行研究的课题。为进一步增强整个网络系统的高可用，当前市场主流有两种技术，一种是系统级应急备份系统，另一种是基于A/B制作岛技术架构的应急备份系统。系统级应急备份系统是在一个网络环境下，将主网络数据同步至备份系统，一旦主网络出现故障立即切换到应急系统，完成部分新闻制作，但此系统级应急是在统一的网络技术条件，系统没有任何安全隔离措施，一旦病毒破坏或网络攻击而出现网络故障，系统级应急系统同样存在被破环的风险，影响整个新闻制作业务，对新闻播出安全带来影响。基于A/B制作岛技术架构的应急备份系统是将新闻生产系统分成两个相对独立制作域，AB制作岛互为备份，有效避免制作岛单点故障。但是，基于A/B制作岛模式需要基本上完全配置相同的A、B两套制作域，投资巨大，场地要求高,，大多数电视媒体并不能承受如此大规模的项目投资和场地需求。对于如何解决新闻生产系统的高可用性，特别是全媒体时代下面临更加严峻的安全威胁。南方台综合分析新闻制播流程，在对IT技术和新闻业务的深度理解的基础上，利用松下公司移动固态半导体P2技术，将其创造性地应用于新闻节目制播全流程，在低投入低成本的条件下，实现了具有独特安全措施的全流程多节点异构备份新闻生产系统。三、全流程多节点异构备份新闻生产系统的设计三、全流程多节点异构备份新闻生产系统的设计当前新闻生产系统都是基于IT技术完成全流程业务功能，当前应急备份主流技术仍旧是以IT技术为主，均受制于网络系统的安全性。全流程多节点异构备份新闻生产系统的设计理念是在整个网络完全瘫痪的情况下，新闻生产完全不依赖、异构于网络系统，按照既定的新闻应急预案仍能脱网进行应急制作和播出。考虑到P2作为南方台高清新闻制作主要格式设备，根据P2技术具有文件化、网络化、高速传输，采用嵌入式操作系统，完全不存在任何病毒破坏攻击的特点,系统在没有增加其它额外设备投入的情况下，利用新闻生产流程上的P2设备，设计新闻准在线异构备份模式解决素材安全；我台还对P2设备进行优化改进，使其达到新闻播出的要求，创建P2与硬盘服务器互为主备的异构播出模式；并通过制定详尽的新闻应急预案，最终将P2技术贯通新闻生产系统全流程，设计形成了全流程多节点异构备份新闻生产系统。结合新闻制播流程各环节的安全要求，全流程多节点异构备份新闻生产系统的具体方案设计如下：设计新闻准在线异构备份模式：利用P2技术具有网络化功能，将P2设备接入新闻生产网络中，配置独立的合成及迁移服务器，通过流程化、自动化驱动方式将新闻素材粗编提交后，自动触发任务备份半成本节目至P2卡。创建P2与硬盘服务器互为主备的异构播出模式：综合利用P2技术具有多卡槽、无机械结构、非线性等特点，对P2AJ-HPD2500录像机进行系列软件修改、技术升级后，使其达到了新闻播出环节的要求，淘汰延用多年的磁带播出，解决硬盘播出系统架构相对复杂，容易受病毒攻击等安全隐患，采用P2录像机完成演播播岀，进一步提升了新闻的安全播出。制定脱网下的新闻应急预案：在解决P2技术贯通新闻制播中素材安全备份和播出的基础上，与新闻中心制定新闻制播异构备份应急预案，预案主要内容包括：首先对文稿内容进行定时备份，将常态化宣传片、版头等采用P2卡长期备份；其次是应急环境下新闻素材的制作，对前期拍摄未上载的新闻内容，采用单机非编上载制作播出；对仅进行粗编处理完成的素材，调用P2卡备份的半成品新闻节目，采用非编单机配音、快速编辑制作播出；对于精编、审核完成P2下载的新闻节目，可直接使用P2录像机播出；时间紧急的情况下，采用现场主持人配音方式，直接在演播室播放P2备份的新闻条目。图2全流程多节点异构备份新闻生产系统应急流程图南方台设计的全流程多节点异构备份新闻生产系统，将P2技术完全融入新闻生产系统全流程，解决了新闻素材异构安全备份和异构播出的难题，低投入低成本投资，无需增加场地需求，在新闻生产系统的基础上进行技术完善，为大规模新闻生产和播出系统的建设提出了全新的行之有效的解决方案。四、全流程多节点异构备份新闻生产系统的关键技术经广泛论证，对新闻制播全流程各环节进行深入研究分析，探讨利用P2设备文件化、网络化的优势，应用IT行业异构备份技术构建高可用性系统的原理,将其实践应用于构建高可用性新闻生产系统，解决粗编完成素材安全备份和演播播出安全问题，其关键技术如下：1）设计新闻准在线异构备份模式当前新闻时效性要求越来越高，大量新闻素材均是在播出前或播出期间完成制作应急插播，期间一旦出现全网络故障，尤其是在播出前出现故障的情况下，新闻成品节目没有备份，直接导致新闻无法播出，造成安全播出事故。根据P2技术的文件化、网络化的优势，提出新闻准在线异构备份模式的设计方案，此模式能够在新闻素材粗编完成提交后，将素材同时迁移备份至P2卡，出现全网络故障的情况下，仍能保存半成品节目，釆用非编单机、移动非编等设备应急制作新闻。1）设计思路系统基于移动固态半导体P2技术，在网络环境下使用P2设备及P2卡进行节目自动化节目素材备份；节目提交备份方式：记者在非编完成节冃粗编后，即可提交同时自动备份至P2卡;节目备份调度机制：在高清新闻中增加一个P2备份专用的MPC调度中心，增加后台合成及迁移策略，用于P2备份。节目合成机制：新增两台合成服务器，专门用于P2节目备份，不影响原有的节目工作流程；节目合成的格式为P2DVCPROHD格式。2）系统拓扑结构新闻制作模块新闻准在线异构备份图3系统拓扑图新闻制作模块新闻准在线异构备份图3系统拓扑图系统中主要的服务器、工作站釆用灵活的接入方式。其中，迁移服务器、合成工作站等都釆用双网（FC+以太网）接入，通过FC交换机直接访问光纤存储盘阵；任务调度服务器等釆用单网（以太网）接入。3）整体技术架构使用基于独立的P2MPC调度服务器+合成迁移服务器架构，P2MPC调度及迁移合成服务器独立于现有制作系统，配备完善的备份手段，不影响现有制作流程，为制作提供更为安全、灵活的手段。采用独立的P2MPC调度服务器+合成迁移服务器架构，一方面建立一个相对独立的P2MPC调度中心，部署P2合成及迁移策略，对现有新闻业务流程无任何影响，提升了新闻业务安全性。另一方面建立两套相对独立的合成及迁移服务器，不占用面向演播室播出的合成及迁移服务器。4）备份策略技术实现图4备份策略流程图客户端流程发起：用户在非编流程菜单中点击初编完成按钮并成功执行之后触发此备份流程，备份流程对于用户完全透明，无需人工干预。按栏目设计备份策略：为了将不同栏目的新闻条目备份到不同的P2卡中，方便在应急时快速找到节目对应的P2卡；当前本台晚上共计播出四档节目，按时段顺序排列为《卫视新闻坊》、《普语南方报道》、《今日最新闻》、《今日一线》，所以设计备份策略为《卫视新闻坊》、《今日最新闻》两档节目存放于1号P2读卡器的5块P2卡中《普语南方报道》、《今日一线》两档节目存放于2号P2读卡器的5块P2卡中。非编软件进行后台备份任务发起时，会根据新闻条目对应的栏目信息及以下XML文件，发起不同的备份策略消息给MPC调度服务器。<?xmlversion=,,1.0H?>vP2ColumnPolicy>vPolicyColumnName=”卫视新闻坊”〉<!--栏目名称-><MpcIP>192.168.200.170</MpcIP><!-MPC调度中心IP-><MpcMQ>mpc_msbuslm</MpcMQ><!-MPC调度中心消息队列<PolicyID>4546</PolicyID><!-需要调用的MPC策略ID--></PolicyxPolicyColumnNamc="今日最新闻"〉<!--栏目名称-><MpcIP>192.168.200.170</MpcIP><!-MPC调度中心IP-><MpcMQ>mpc_msbuslm</MpcMQ><!-MPC调度中心消息队列<PolicyID>4546</PolicyID><!-需要调用的MPC策略ID--></PolicyxPolicyColumnNamc="普语南方报道"〉<!--栏目名称-><MpcIP>192.168.200.170</MpcIP><!-MPC调度中心IP-><MpcMQ>mpc_msbustm</MpcMQ><!-MPC调度中心消息队列<PoIicyID>4547</PolicyID><!-需要调用的MPC策略ID-->v/PoIicv>vPolicyColumnNamc="今日一线”〉<MpcIP>192.168.200.170</MpcIP><MpcMQ>mpc_msbustm</MpcMQ><PolicyID>4547</PolicyID></Policy></P2ColumnPolicy>在网管软件中定义临时文件存储路径，并备份当前用户正在使用的NTLD时间线文件到此临时文件存储路径下。构造MPC消息，发起P2备份流程任务到集中调度，集中调度根据不同的备份策略调度不同的合成迁移服务器。其中合成服务为两台合成服务器组成的集群，统一调度；迁移服务器按约作方式提供服务，其中<PolicyID>4546</PolicyID>定义为迁移服务器1,<PolicyID>4547</PolicyID>定义为迁移服务器2,这样不同栏目的节目就会写入迁移服务器对应的P2卡中。任务首先在合成工作站上执行，CLOUDIA根据NTLD时间线内容合成备份到P2所需要的DVCProHDMXF+LPCM视音频格式素材，存储于中心存储的临时目录中。DVCProHD格式的合成效率比较高，大致效率在2倍速左右。P2备份执行器收到任务，分析素材相关信息后构造P2元数据XML,同时生成首帧80x60的预览图片备用；P2元数据XML中的场景名称，取文稿标题的前10个中文字符，用于应急时区分不同的节目。执行完5之后开启USB写入流程，P2备份执行器根据不同的文件类型分别把视频、音频、元数据以及缩略图以文件方式写入到P2读卡器的目录中。文件写入P2的策略为“排队“方式，文件写入PCD25的速度大致在20MB/S左右，即写入速度为2倍速。文件写入P2卡前，迁移服务对实现确认P2卡空间是否充足，若剩余空间不足，迁移服务会自动选择下一张空闲的P2卡。每台迁移服务器配置了5块32GBP2卡，大致相当于2小时左右的素材空间，每张P2卡大致存储30分钟左右的节目素材。节目备份后若仍需修改，釆用多版本方式进行区分，初始版本为某节目名称,下一个版本为“某节目名称-1",“某节目名称-2”，旧版本素材保留。上传完毕后记录素材写入情况到临时文件以区分具体哪些盘写入了那些素材。删除流程中用到的NTLD、XML以及BMP等临时文件，关闭连接任务执行完毕。P2卡管理方式为每天早上格式化一次，以保证有充足的空间进行节目备份。新闻准在线异构备份模式与现有网络流程关联度小，可独立运行，不改变现有工作流程，不影响现有节目日常制播的安全性；节目备份流程操作简单，对编辑、记者操作完全透明，在非编软件完成粗编任务，立即触发后台完成节目的P2备份，完全无需人工参与，提高应急备份的安全性；节目恢复流程操作简单高效，能够在尽量短的时间内找到并利用P2卡中的备份素材，完成节目制作及播出。2）创建P2与硬盘服务器互为主备的异构播出模式对于新闻播出环节来说，最为重视的就是安全性、可靠性、稳定性、操作简单、时效性等要求。在传统的新闻播出流程中，磁带是必不可少的介质。随着新闻节目制作播出的数字化、网络化，硬盘播出系统与磁带录像机模式逐步成为新闻节目播出的主要方式，甚至采用全硬盘播出的方式。但是因为磁带断磁、频繁换带、线性操作等硬伤，硬盘播出系统架构相对复杂，容易受病毒攻击等安全隐患，新闻节目播出的安全性、可靠性、稳定性、时效性等要求仍然无法完全满足,新闻播出过程仍旧时常出现安全播出故障和事故。1)P2技术改进和流程优化一直以来，松下公司推出P2技术的产品仅仅局限于新闻节目生产中的前期拍摄、后期上载编辑环节，AJ-HPD2500录像机刚推出时只作为通用视讯设备使用，具有多卡槽、无机械结构、非线性等特点，但对新闻播出的安全、快速、灵活要求而言，没有完全达到新闻播出的要求。其不足具体表现如下：其最初用于新闻播出时，播放方式一种是釆用类似硬盘服务器播出模式，将其作为硬盘服务器，通过控制机控制播出，但这样其容易受网络影响，安全性难以得到保障；另一种釆用磁带录像机模式，若要利用多卡槽，每台录像机插几张卡时，素材排列没有条理，核对素材麻烦，容易造成错误。多卡槽的操作会相互影响，六个卡槽的P2卡任意一张播放时，若插拔其他卡槽的P2卡会造成录像机的死机。设备对素材的读出速度不快，需要2至5秒时间，紧急插播响应速度不够素材条目的查找操作复杂，用于新闻应急、跳播时容易操作错误。与松下公司一起对AJ-HPD2500录像机进行了演播室播出的研究，通过技术功能改进和操作流程的优化使其更适合新闻直播，达到新闻播出的要求。具体改进主要以下几方面：a.安全性方面操作性问题：新闻播出需要单条素材播出的要求，但原录像机只具备按“PLAY”键连续播放片段的功能，不能单条素材播放。改进：增加了“SHIFT+PLAY”键功能，即能够播放单独某一条新闻，并在单条结束时尾帧自动静帧，避免了多播和黑场事故的发生，并增加了播单条新闻的倒计时功能，减少放像人员计算时间码的工作量。[SHIFT+PLAY单条播放】

图6图6单条播放按钮示意图【倒计时】皿優侦imini皿優侦imini图7倒计时时码示意图稳定性问题：原录像机六个卡槽的P2卡任意一张播放时，若插拔其他卡槽的P2卡会造成录像机的死机，该设计完全不能利用多卡槽的优势，而旦存在很大的安全隐患。改进：通过软件改进，最终版本具备多卡热插拔功能，放像人员能够在任意卡槽播放P2素材时，随时将新下载的节目合理地安排在两台播出录像机其余的卡槽内，充分利用多卡槽的优势，为放像员提供充裕的准备时间，这间接减少了放像人员的工作难度和压力，降低了播出的出错率。b.效率方面读写时间问题：原版本录像机对新插入卡槽的P2卡的读取时间约为2-5秒,每条条目的预卷时间也较慢，适合不了应急或快速跳播的新闻播出。改进：通过软件升级，读卡速度极大提高，基本达到P2卡素材的即插即所见，实现新闻条目的快速往前或往后寻找播出，大大提高节目播出的灵活性和效率。C.播出流程操作方面条目管理问题：每张P2卡上的新闻条目在录像机缩列图不按顺序排列，播出时不容易找到正确的条目，容易造成播出忙乱、出错。改进：增加USB键盘可对P2素材自定义命名功能，在责编下载阶段，对每一条新闻条目进行命名，让其对应串联单上的序号；增加缩列图素材排序功能，在播出前，可对插入播出录像机的所有卡素材条目进行选择排序，然后依次播放。如图：【新闻条目命名】图8新闻条冃命名示意图【素材条目排序播出】图9素材条目排序播出示意图应急操作问题：原版本录像机在录像机按下“STOP”键读取新插入的P2卡时，新素材在缩列图的显示跟随卡槽，而素材的选取框跟随上一次播放条目的后一条节目，这样在播放临时送来的即时新闻时，新闻条目多时，查找该新闻较费时、容易出错。改进：通过软件改进，默认录像机按下“STOP”键读取新插入的P2卡时，素材的选取框停留在录像机的第一条素材上（即序号最小卡槽上的P2卡素材），这样，我们就能够通过将每台播出录像机的第一个卡槽空余岀来，留作临时应急新闻的播放，以能够最快速播出所需的临时送播新闻。第一个卡槽的内容在最前面显示图10应急播出P2卡内容显示图2）P2技术构建高安全新闻节目播出流程的可行性从切实提高新闻节目播出安全性岀发，在充分考虑现有业务流程的基础上，结合P2播出与硬盘播出系统的各自优势，提出了全新的“P2+硬盘”新闻播出流程解决方案，基于以下几方面的技术考虑：在系统