媒资管理系统

媒资管理系统大型媒体资产管理子系统是广电行业，特别是电视台业务的重点和核心，对电视台的业务有着重要的作用。现从媒资的整体架构上入手，逐步深入到媒资系统的各个子系统设计的细节介绍。第1章媒资管理系统的定位建设媒体资产管理系统的目的是充分满足电视台对历史的、 现实的具有保存价值的资料进行收集、整理、存储和再利用、发布的需求。同时，使全台业务系统在媒资管理子系统的协调下实现业务、管理的联动。随着媒资管理子系统的启动和稳定持续运行，通过不断的积累，使电视台的图像、声音、文字等方面的资料能有效地为各种数字媒体平台服务，有效地为市场服务。总体看来，媒资管理统的定位和作用主要体现在以下几个方面：使全台网在最新的网络、媒体技术推动下实现业务的联动，组合实现传统历史资料的数字化，支持多资料源、多种格式素材的上载采用先进的编目技术，遵循标准的编目标准，完成数字资料的编目工作能够对媒体资料进行管理、支持分布式的存储，能够方便、快速的实现在线存储与近线存储之间的迁移，支持对离线存储的管理。能够实现全台统一管理、维护采用先进的技术手段，提高全台业务生产效率。能够支持多种方式的媒资发布，比如：下载到磁带、浏览检索、 WEB方式、IPTV、数字电视以及采用VOD方式的发布（与VOD产品配合）等。支持系统的不断扩展、升级，采用模块化、松耦合的设计思想，使系统的扩展、升级与巳由投资保护能够兼顾。第2章媒资系统作为电视台的工作流程管理中心和数据中心，媒资管理系统可以通过各种网关连接新闻制作、后期制作、收录传输、播出、办公网、演播室、广告等部门，并能通过这种方法连接更多的业务系统。所有业务部门既可以把制作完成、采集的节目或素材统一存储到媒资管理子系统中进行集中管理，也可以反向高效检索、调用这些资料。进而形成以节目、素材的收录、整理、保存、管理和利用为目标的先进的媒资管理子系统，全面高效支持全台网络的各种业务。2.1媒资系统总体流程制作网资料归档、媒资本地采集、集中收录是流程的开始，到最终的资料发布（下载、）和回迁，媒资节目迁出环节，媒资管理子系统与全台系统（新闻制播网、后期制作网、播出控制网、办公网、共享演播室）实现良好的融合。整个媒资管理子系统应该既实现了与电视台的非编视频网络系统之间的素材共享和交换，同时也应该实现将传统磁带方式保存的历史资料的数字化和入库管理， 完全满足电视台目前的系统需求。总体流程的说明：多种渠道的素材由网关服务器迁移到媒资管理子系统在线存储器缓存中。媒资管理系统的审片、整理工作站对素材、成片进行挑选、审核和整理、分类，根据需要调用转码功能，转换为指定格式。一次编目工作站实现自动转场识别，自动、手动提取关键帧信息。实现一次编目进行二次编目，可自定义编目体系，符合国家编目标准。也可调用整理服务器进行再次整理在编目审核工作站，查看素材/节目编目内容是否符合电视台要求和编目标准，如果不符合则重新编目。系统设置迁移策略，从在线存储将符合迁移策略的素材迁移到近线带宽，再到离线存储。系统为全台网其他网络提供检索服务，如果查看到有用素材，则其他系统利用网关服务器将媒资管理子系统中的素材/节目迁移到指定位置。可利用下载工作站直接将媒资管理子系统中的素材/节目下载到录像带。也可发布到WEB服务器和流媒体服务器2.2系统总体数据流向说明媒资系统的数据流向主要包括几类数据：归档/回迁/回传数据（此数据统称迁移数据，是各个网络与媒资之间的迁移数据）：与网关服务器直接关联，需要网关服务器处理的元数据和视音频文件。检索数据：可以是流媒体数据或低码率视音频文件。视音频文件：包括各种压缩格式的视音频数据，例如：MPEG2（I、IBP）、MPEG4等。流媒体数据：指可流式播放的视音频数据，例如： WMV。元数据：包括库管理数据、编目信息（初编目信息、精编目信息、再编目信息）控制信息：指控制任务处理的具体指令。磁带：包括数据流磁带和传统磁带（模拟磁带、数字磁带） 。从电视台整个系统的角度看，数据流向做如下分析：新闻制作子系统/后期制作子系统/播出网/演播室：低码率检索和流媒体播放通过三层交换途径实现，高码率数据和元数据通过网关服务器途径实现。2.3媒资系统组成与架构媒资系统的功能架构示意图。g维行运、理管备设、理管程流、理管限权、证认份身如系子理管XX 采集上载子系统下载子系统g维行运、理管备设、理管程流、理管限权、证认份身如系子理管XX 采集上载子系统下载子系统审核整理子系统检索子系统编目子系统1 关键帧、编目审核子系统总编室子系统业务平台J媒体处理子系统内容管理上系统元数据管理~应用组件~-应用接【I-流媒体处理关键帧处理网络子系统（以太交换网、FC光纤网）如图所示，媒资管理子系统分为2个层面，即业务平台和支撑平台。1、业务平台主要由以下子系统构成：采集上载子系统：主要是对历史资料进行整理、上载审核整理子系统：对归档素材文件进行整理关键帧提取子系统：实现自动、准确的转场识别、关键帧识别，有利于提高后续编目和检索的效率编目审核子系统：对编目的质量和规范进行审核下载子系统：将媒资经过归档的视音频文件通过下载子系统发布到各种媒介上去。检索子系统：供系统各种人员采用C/S、B/S方式对媒资管理的内容数据进行检索和浏览。总编室子系统：负责节目单编排，监督各个生产子系统的节目生产情况，完成将播出需要的节目及时迁移到播出，节目单的发布而引发播出的上载、迁移等请求。这些子系统是负责媒资管理子系统日常工作的运行系统，也是架构中最上层的应用系统。包含资料预处理、采集、整理、编目和相关的审核；磁带入库管理、

出库管理。2、支撑平台主要由以下子系统构成：网络子系统：系统管理、控制、元数据以及音视频文件传输的通道，是整个媒资管理子系统联动的桥梁存储管理子系统：素材、成品节目分布式迁移管理，作为资料保存和再利用的共享存储空间内容管理子系统：提供内容管理所需的元数据体系建立、对象关联定义、元数据访问服务、内容检索服务、版权与权限管理、应用级存储对象与迁移管理等核心功能、配置管理界面、针对行业典型应用封装的基础业务中间件及二次开发API接口等。媒体处理服务子系统：负责各种媒体格式转码、提供丰富的媒体格式。网络管理子系统：负责媒资管理子系统的内部权限认证、系统工作流程定制、基础数据管理、系统日常运行维护、各种运行数据的统计分析以及关键数据备份与恢复等工作。下图是按功能架构规划的设备组成示意:«雉点八、、肛〉瓷喝『言M上载［柞站：编目［作站：编目审鞍上柞站；下载工作站；«雉点八、、肛〉瓷喝『言M上载［柞站：编目［作站：编目审鞍上柞站；下载工作站；褊目管理、总褊室编节目准备工作站鹭•业务平台」媒体处理f系统存储f系统内容管理r系统调度*迂移管理、迁离线背理T作帖和周般据叩服务器.流媒依服务器J—FC交换机网络交换机231系统总体拓扑结构系统总体拓扑结构如下图所示:从图中可以看出媒资管理子系统的设备及其组成:媒资管理子系统采用双网（以太网和FC）结构，通过以太网交换机和FC交换机实现与网络交换平台连接;以太网方面，各个生产网络、网络交换平台、媒资网的以太网交换机接入网络交换平台的核心交换机，通过VLAN的划分保证各个网络的安全互访。以太网是实现系统间元数据互访的通道。2.3.2系统接口

媒资系统媒资系统核心以KM3ERH收录条统新闻制作系统后期制件系统演桥室共字乔统收录条统新闻制作系统后期制件系统演桥室共字乔统如图所示，媒资管理子系统的以太网交换机通过千兆链路连接到网络基础平台， 其FC交换机连接到网络基础平台的FC多协议路由器。在核心交换机的路由控制下，允许各个节目制作网的节目制作工作站可访问媒资系统的应用服务器，实现对媒资资料的检索，并可访问到流媒体服务器以浏览资料内容。在FC路由器的路由控制下，允许各个节目制作网的归档服务器和回迁服务器访问媒资的在线存储阵列，在媒资系统全局迁移策略的统一调度和控制下，实现将生产网的素材和节目归档到媒资，实现将媒资的资料回迁到节目制作网络。第3章媒资存储管理3.1设计概述存储管理是媒资管理的重要基础组件，作为资料保存和再利用的共享存储空间。从经济适用、稳定可靠的角度出发，应该采用多级存储方式构建存储管理系统。在实际使用上，媒资存储管理系统应重点解决以下问题：以多级存储方式建设，各级存储之间实现灵活的数据迁移。为新闻制作子系统、后期制作节目制作系统、播出系统和台内其他节目制作系统提供丰富的共享资源服务，实现系统之间的数据迁移。为媒资资料的检索提供丰富的数据资源。为资料发布提供强大的技术支撑，为市场服务提供丰富的资源。该架构设计有以下一些特点：双机热备高码率MDS服务器管理在线的FC磁盘阵列，提高了在线存储服务的可靠性。专门配置一台流媒体MDS服务器管理流媒体磁盘阵列迁移服务器和迁移管理服务器配合数据迁移管理软件，组成面向对象的分布式数据迁移架构。多个迁移服务器协同工作，实现了数据迁移任务的负载均衡和冗余备份。迁移管理服务器组成双机的高可用环境，作为提高数据安全的扩展手段。存储管理子系统设备组成：高码率FC光纤磁盘阵列及其MDS管理服务器（双机热备）；低码率FC光纤磁盘阵列及其MDS管理服务器；3.2重要设备功能介绍1、迁移管理服务器迁移管理服务器是数据迁移管理体系的核心，统一调度所有的数据迁移任务，迁移任务由生产系统的非编工作站或者媒资编目工作站发出。在全局迁移策略的控制下，迁移管理服务器协调网关和迁移服务器完成实际的数据迁移。2、 迁移服务器迁移服务器是实际完成数据在近线与在线存储之间迁移的设备。受迁移管理服务器的调度和管理。3、 归档、回迁网关服务器归档、回迁网关物理上是属于生产网络的设备。这里介绍它的功能是加深对迁移功能的理解。通过网关途径，实现存储管理子系统和其他业务系统之间的数据归档、回迁。网关具有元数据转换的功能，用于解析和处理系统之间交互的元数据。当生产网需要调用媒资管理子系统的资料时，调用请求发到网关，由迁移管理服务器进行审核、设定优先级，然后进行统一协调和排队处理，将请求任务转发给内容管理子系统，内容管理子系统（下节介绍）解析该请求，将解析的结果转换为管理信息发给迁移管理服务器，迁移管理服务器控制迁移服务器完成多级存储的内部迁移，然后通知网关从存储管理中心的在线存储获取所需资料，最后，网关完成从在线存储到其他系统的在线存储之间的数据迁移。作为辅助功能，网关可以嵌入必要的转码功能，完成资料的压缩格式互转。通过迁移服务器，实现存储管理子系统内部在线存储和近线存储之间的数据迁移。3.3存储容量设计根据系统的需求，媒资的在线存储应支撑资料归档、迁移、检索和下载、发布等方面的应用。媒资的近线存储应支撑各种资料的大容量长期归档。1在线存储容量计算媒资在线存储的作用在于保存供检索的全部低码率数据，并保存等待编目整理、归档和回迁的高码率数据。项目 新闻制作 后期制作历史资料 其他（收录、演播室、广项目 新闻制作 后期制作告、远程传输等）每天归档时间（小时）51.536 51.536码率（视频+ 5151.536 51.536音频）容量（GB/天）总和（高码率视GB/天1频+音频）总和（流媒体）GB/天以上是媒资每天归档的高码率视音频文件和流媒体所需容量。由于媒资管理子系统只有流媒体作为检索和浏览使用，其容量的计算方式是：总的归档节目时间X0.225（500K码率所需存储空间）=每天所需容量。数据来源1每天从新闻制作子系统归档来的数据，每天从新闻制作子系统的在线存储归档到媒资管理子系统在线存储的数据量约 xx小时，需要的视音频文件存储空间为xxxGB-数据来源2:每天从后期制作子系统归档来的数据，每天从后期制作子系统的在线存储归档到媒资管理子系统在线存储的数据量约xx小时，需要的存储空间为xxxGB;数据来源3:每天从收录、远程传输、演播室归档的素材。由于这些素材的量不定，可以根据实际情况调整。数据来源4:历史资料上载，每天共乂乂小时的上载，需要的存储空间xxxGB。以上数据达到每天XXXXTB,每天约xx小时的素材需要归档。一般情况下，迁移后的数据在线保存7天；低码率数据在线保存1年；高码率视音频容量计算公式：每天归档数据 x7=XXXXTB;低码率文件容量参考的计算公式：？TBx365=4.75TB;（注：低码率为WMV500kbps）考虑到存储的使用安全，媒资网只能使用90%的有效存储容量，因此高码率阵列需要每天高码率数据/0.9=?TB，低码率存储阵列为每天低码率容量/0.9=?B。2、近线存储容量近线存储，一般考虑使用数据流磁带库来处理。每天从在线归档到近线的数据量等于编目的素材量，即？？小时节目，以50Mbps码率素材为例，约？TB，按照近线保存100天，考虑10%的余量，则磁带库存储容量=? TBx100x1.1=？？TB。3.4存储带宽设计

F表是对带宽的估算数据访问类别假设的吞吐量（按最大算）估算的带宽带宽应用类型新闻/制作/播出/收录->媒资在线MPEG2I帧50Mbps，假设？个网关，每个网关可并发处理2个迁移请求，总计16路并发写入在线历史资料数字化按照50Mbps码率计算，假设？台上载设备并发采集写入在线媒资在线一>新闻/制作/播出/演播室MPEG2I帧50Mbps，假设？个网关，每个网关可并发处理2个迁移请求，总计？路并发在线读出资料检索WMV9,300Kbps，假设并发？路在线读出在线〈一>近线最大值二?路迁移服务器，每路30MB/s在线读出、写入近线一>生产网阵列（应急回迁）最大值二?个网关，每路30MB/s在线读出总计读写总和与总和（最大）读总和（最大）由上表的分析，系统的并发读写总带宽约为？MB/s。考虑到硬盘阵列的工作性能和稳定性，需要留有30%左右的带宽余量，则总带宽约为？MB/s。可以看出，在如此高带宽的情况下，普通的SCSI、SAS阵列无法到达要求，只有使用FC存储，才能够满足系统对带宽的需要3.5在线