永昌电视台媒体资产管理系统技术方案书(2).doc

永昌电视台媒体资产管理系统技术方案书 金诚视频永昌电视台媒体资产管理系统技术方案书兰州金诚视频技术有限公司二一一年十一月目 录1.系统架构规划31.1.总体规划31.2.总体设计原则31.3.总体系统架构51.4.基础网络平台71.5.系统总体特点72.系统详细设计82.1.系统结构82.2.工作流程102.3.详细功能和技术特点112.3.1.存储管理112.3.2.系统管理122.3.3.资源管理122.3.4.资源导入132.3.5.资源编目142.3.6.资源导出162.3.7.全文检索引擎172.3.8.B/S检索172.3.9.C/S检索192.3.10.迁移归档202.4.关键设备选型232.4.1.智能存储服务器231. 系统架构规划1.1. 总体规划我们为永昌电视台设计的媒体资产管理系统集媒体资源数字化、存储、编目、检索和再利用于一身，可以实现视/音频文件、图片、电子文档、工程图纸等各类型资源的统一管理和智能编目，并且提供多种高效的检索手段，实现视/音频信号的多格式采集上载、数据文件的快速导入导出和分段下载以及高/标清文件的安全存储。1.2. 总体设计原则l 先进性系统的设计、设备选型及工程施工，首先符合我国电视广播规范和有关标准，其次符合国际广播电视技术发展潮流，完全适应视音频编辑技术、计算机技术、网络通信技术及系统中其他技术发展的要求。l 可靠性本系统具有很高的可靠性。系统采用稳定、成熟的先进技术和高质量的设备，整个系统设计具备完善的应急方案，且应急操作快捷和安全。在系统运行过程中以及进行系统安装时，可指出可能出现的系统故障及具体排除的方法和手段。确保网络724小时无故障工作。l 安全性不论是基础平台、还是各个业务子系统，整个系统设计的遵循安全性的重要原则。在网络系统构建硬件方面，采用并发技术及相应的虚拟化存储等相应技术，从而保证了网络带宽可以满足该网络的实际需要，系统硬件选型以安全性、稳定性为主。l 时效性为了提高节目制作效率，网络设计过程中尽可能减少人机等待时间，所有操作力保实时，尽量不使用数据复制、打包合成等耗时的数据传递方式，而采用共享的存储结构。减少上载时间，利用网络并行编辑的流程提高制作效率。各子系统之间的互联实时，避免由于子系统之间元数据不统一或者素材压缩格式不统一而引发的格式转换。l 高性能本网络系统方案及软硬件设备配置，能高质量地满足后期网络对节目资源调用的需要；同时也能满足电视节目存储数字化、检索智能化和其它生产管理和资源调度的需要。l 兼容性网络中的所有硬件设备在选型过程中，能实现硬件兼容；系统软件界面统一，能够支持流行的第三方软件和插件，不同硬件平台间素材可以无缝共享。l 扩展性在扩展性方面，充分考虑整个系统在不久的将来即将承受更大的节目制作量，站点将大规模增加的情况，并力求作到在整个系统结构基本不变、现有设备基本无须替换的情况下具有大规模扩展的能力，并同时满足存储容量及带宽大幅度增长的需求。l 开放性本网络系统具有良好的开放性，系统能够支持主流的文件格式、压缩格式和相关的主流设备，满足节目素材的传输、数据交换等需求。l 容错性本网络系统具有检错、纠错能力，具有完善的备份措施。在系统出现故障时，能够在较短的时间内恢复系统运行。系统能对网络和设备的运行情况进行监测和记录。l 易维护性、可管理性网络系统具备完善的功能，设备操作简单、直观、维护管理方便。所有日常维护工作能实现在线式操作，在可能的情况下支持在线热插拨。l 智能化和自动化在网络系统中，充分采用先进技术，尤其是在非线性编辑、数据库管理、检索技术等方面，采用领先的智能化技术。在管理、转码、共享、数据调度等方面充分体现智能化和自动化。l 良好的性价比本网络系统既采用先进的技术和设备，又具有良好的性价比。尤其是系统设计充分考虑平滑升级，将来升级时，系统不需要大规模的设备替换，就能完成。1.3. 总体系统架构本方案从技术上分为划分三层：应用层、交换层和数据层。应用层主要包括各种实现业务功能的工作站点及服务器；交换层包括各种后台支持的数据、元数据交换服务、消息服务及媒体交换服务；数据层包括核心存储、文件系统和数据库。如下图所示：网络中的各个子模块作为系统应用层的成员，是生产业务的核心子模块。 永昌电视台媒体资产管理系统在结构上分为业务系统、检索查询系统、归档迁移系统以及对外发布接口，系统结构图如下：媒资业务系统资源管理器上载模块导入模块编目模块导出模块下载模块对外发布接口指定路径办公网非编互联播出互联归档迁移系统存储管理数据迁移带库控制检索查询系统WEB2.0TOP10全文检索条件检索同音字检索文件资料柜主题资料库分段回调l 媒资业务系统媒资业务系统主要提供上载、下载、编目、导入、导出等功能，整个媒资的前台应用操作都在此系统中完成。l 查询检索系统查询检索系统为检索客户端提供检索服务，采用B/S或者C/S方式，使用IE浏览器或者检索软件即可完成节目资料的查询检索。系统为用户提供多种检索手段和检索方式，例如参量检索，全文检索，分类检索等。l 迁移归档系统归档迁移系统采用分级存储架构，它将存储系统划分为在线、近线和离线三个存储区，各个存储区将根据实际应用要求配置相应的存储设备。三个存储区域由归档迁移系统统一管理调用，共同完成数据对象的存储、交换和维护任务。1.4. 基础网络平台本系统中的网络平台采用纯以太网架构，从性价比和未来的可维护性以及维护成本考虑，选择纯以太网架构的网络平台具有很多的优势。1.5. 系统总体特点n 最优性价比系统构成简单，可以使用很少的设备实现媒体资产管理的全部功能n 网络结构简单网络结构简单，无需进行繁琐的网络部署和配置n 可控性强基于任务的处理方式，加强资源加工处理过程的可控性，提供良好的资源掌控性n 易扩展编目站点、检索站点可随时增加，可根据需要接入数据流磁带库，有效保护已有投资n 安全性强系统备份机制灵活，同时支持磁带和存储对象的备份，保证业务系统中数据的安全性2. 系统详细设计2.1. 系统结构媒资管理服务器采用iStore系列智能存储系统，iStore系列智能存储系统构建在纯以太的网络化平台之上，iStore媒资管理服务器是媒资系统的核心服务单元，通过部署在上面媒资服务软件，为客户端提供相应的数据库服务、媒体文件浏览服务、流媒体服务、全文检索服务等。而媒资管理客户端主要分为Web检索客户端、iStore PC客户端，其中Web检索客户端主要是通过IE等浏览器实现BS检索功能；而PC客户端主要实现媒体资料管理、导入、导出、转码、编目等功能。l Web检索客户端在任意PC工作站或非编工作站打开IE，通过浏览器实现Web检索服务，即可对iStore所管理的资源浏览、下载再利用等，正真实现了Web检索到桌面，主要功能包括：n B/S检索方式部署更加灵活，支持多人同时在线检索浏览n 提供全文检索、关键词组合检索、分类检索、目录检索等多种检索方式n 提供工作夹管理模式n 检索方法和显示结果的灵活配置n 可对节目资料提交下载申请，并支持打点分段下载n 提供对下载任务的管理，可对下载任务进行查询问等管理n 检索系统经过精心优化，百万级数据支持毫秒级检索效率l iStore PC客户端iStore客户端为用户主要的操作软件，可部署在非编工作站或者任意Windows工作站上，该业务系统包含了资源管理、导入、编目、导出等功能，同时支持和非编的直接交互。主要功能包括：n 资源管理：资源的浏览、修改、删除等操作n 导入/导出：文件导入、导出以及格式转换，支持部分元数据的自动继承n 编目：支持视音频标准编目结构、关键帧提取等n CS检索：支持关键词模糊查询、分类查询、条件组合查询、按项目夹浏览n 资源交互：可支持同非编、播出等系统的资源交互 2.2. 工作流程上载、导入QC编目检索下载、导出迁移回迁前台应用后台处理用户管理策略管理存储监控入库出库*录像机*指定目录*标准XML。 上载：录像机输出的视音频信号通过媒资业务工作站上载完成数字化，生成时间上精确同步的高码流文件和低码流文件； 导入：通过导入模块将各类视频、音频、图片、文本等数字化媒体文件导入媒资系统，并可在导入的同时生成两路不同码率素材，系统支持DCD、CD、P2、蓝光、1394等接口。 质量检测：上载或者导入的高低码流文件可以进行回放检测素材质量，如果质量有问题则需要重新上载或者导入； 编目：利用编目模块可完成对节目详细编目信息的标引和录入，支持编目自定义； 入库迁移和存储：编目完成后，可以手动将资源迁移到数据流磁带机/库中。或者用户可以选择将高码流文件迁移到数据流磁带机/库中，低码流文件及关键帧信息分别存储在媒资低码流存储区和关键帧存储区内； 检索：用户可通过全文检索、参数检索等多种检索方式查询节目素材，在检索过程中，低码流视频在检索端可以立刻浏览，系统支持分段回调，可以直接在低码流上标记出需要下载片段的入出点，能后选择下载或者导出模块； 数据回迁：如果资源状态为进线，那么应该先切换到迁移模块，手动将高码流文件从数据流磁带机/库回迁到在线状态； 下载：下载模块将系统中保存的数字化媒体资料输出到各种格式的传统磁带上。 导出：导出模块可将资源导出到指定目录，同时支持转码生成多路不同格式的目标文件。2.3. 详细功能和技术特点2.3.1. 存储管理iStore存储管理服务是iStore后台核心服务软件，主要实现数据拷贝、转码、iStore License管理、任务监控、服务监控等。主要服务功能包括：l iStore License管理l 迁移目标支持网络径，远程调用效率更高l 配合Web应用B/S检索，支持视音频资料的分段迁移l 提供进度时间条显示，用户可实时了解数据迁移状态l 提供服务日志，可对数据迁移转码任务进行监控l 提供实时转码拷贝功能l 转码格式为主流标准视音频编码格式，包括H264、DV、MPEG2、MPEG4、WMV、REAL、MOV等（部分编解码格式需要单独付费）l 转码服务采用纯软件处理，不同格式的转码都可以达到实时或超实时l 提供多种数据安全策略，对在迁移转码过程中系统非法关闭时正在运行的任务，系统会在重启后自动重新开始迁移任务l 目录监控服务，在与第三方系统互联时监控网络共享目录，自动上传媒体文件实现iStore管理2.3.2. 系统管理系统管理服务主要完成应用层面的软件后台设置，包括用户的使用权限、编目结构设计、编目界面设计、存储路径的配置等直接影响到系统使用的各种设置。主要功能如下：l 对系统内用户、角色以及权限信息进行统一管理l 对系统存储区、存储路径、视音频文件格式等进行统一管理l 可对编目属性、编目类及受控词等进行自定义l 可利用界面设计器自定义编目界面l 可对数据库进行导入、导出操作l 可记录系统运行日志2.3.3. 资源管理资源管理模块主要以目录的方式来管理多媒体资源，用户可根据资源的目录来进行进行查找处理,如下图：主要功能包括：l 支持对视音频、图片、电子文档、教学课件、工程文件等多媒体对象的统一管理l 引进目录的概念来管理资源，用户可通过以自命名的方式建立目录，对于资源根据所属目录进行分类存储管理l 支持不同的视图方式来显示对象资源，类似Windows资源管理器的视图浏览方式l 提供资源检索功能l 提供回收站功能l 提供系统相关参数的全局设置功能l 通过名称检索可以资源正题名为基础进行快速查询l 支持全文+高级的检索模式风格2.3.4. 资源导入资源导入模块的主要功能是将各类已有的视频、音频、图片、文本等数字化媒体文件导入iStore智能存储系统，并可同时对视、音频文件进行格式转换。对XML标准输入输出节目编目元数据文件实现自动匹配，为系统间数据交换提供便利。同时也支持多种导入方式。主要功能包括：l 可导入视频、音频、图片、文本、Word文档等，同时支持视音频文件的多格式转码和元数据的导入l 支持单个、批量文件的导入l 支持手动、自动匹配资源类l 支持文件、DVD等导入方式l 导入节目可自动抽取关键帧,关键帧的抽取方式可设置成全局统一抽取方式；l 导入节目可自动转码成所需节目格式，无低码流可在导入时同时生成低码流素材，在导入时是否生成低码流及其格式也可在全局配置中统一设置；l 可设置导入任务执行状态：立即导入、手动导入；l 可对导入任务进行管理和监控，可添加、删除、暂停、启动导入任务；l 素材剪切合并，剪切高低码流素材，剪切后可生成新资源，提供重新抽取关键帧等附加功能。2.3.5. 资源编目资源编目主要是对进入iStore的节目/素材、多媒体资源等进行系统和详尽的编目著录，为检索再利用提供有力的保障。主要功能为：l 智能化资料关联，挖掘信息背后的价值；l 元数据自动提取，关联信息自动导入，将“编目”延伸到信息产生的时刻；l 支持编目模板定制，编目信息智能化记忆，最大限度减轻工作量，提高工作效率；l 符合国家电视资料编目标准，编目字段可根据实际业务要求进行动态扩充修改；l 低码流视音频浏览、多媒体对象预览、流媒体的使用、TS流节目直接播放，提供编目环节最大的信息量和方便性；l 关键帧浏览、整理和删除，手工抽取关键帧，手工提取节目肖像；l 编目区可对节目、片断、场景和镜头的各个字段编目，符合国家编目标准；l 可采用自动及手动提取关键帧，可将某关键帧设置为素材肖像；l 手动帧与自动帧分别浏览，保证关键帧不与手动帧混淆；l 支持逐帧定位；l 可对编目素材添加附件子对象，并可添加多个文件（如图片等）；l 可将编目素材设置记录级，有效控制不同权限用户是否有浏览已发布素材的权限；l 可设置编目模板，大规模提高编目效率；l 编目工作站浏览低质素材，在低质素材上进行编目，高质素材同时在后台被修改，大幅度节约传输带宽，提高效率；l 支持批量编目，提高编目工作效率。2.3.6. 资源导出导出功能是指将视频、音频、图片、文本等各类已有的媒体文件快速导出到指定的目录，同时支持转码生成多路不同格式的目标文件。主要功能如下：l 支持单个、批量文件的导出l 内嵌转码功能，支持视音频文件的多格式转码l 可导出视音频、图片、文本、Word文档、关键帧等，可同时以XML文件形式导出资源元数据l 支持导出到指定路径l 提供导出过程的进度显示l 通过资源管理器对素材进行CS检索到所需素材进行导出到可访问的指定路径；l 提供对导出任务的监控和管理，可删除、暂停、启动导出任务l 支持对视音频通过打入出点实现分段导出；2.3.7. 全文检索引擎iStore系统整合了最新的全文检索引擎技术，使得检索效率达到最优，可达毫秒级检索效率。全文同步后台服务工具如下图：2.3.8. B/S检索通过在存储服务器上通过部署Java服务以及Tomcat应用服务提供BS检索服务。在Tomcat应用服务上部署检索（iStoreWeb）等应用，可以使得用户以一种Web的方式对iStore所管理的资源实现检索再利用等操作。由于iStoreServer上部署了iStoreWeb检索服务软件，客户端不需要专门软件，在任意PC工作站或非编工作站打开IE，Safari等浏览器，即可实现Web检索服务，即可对iStore所管理的资源浏览、下载再利用等。Web检索支持跨编目字段的全文检索和灵活的参量检索，同时用户可针对感兴趣的节目或者资源实现播放浏览、并下载再利用等功能。主要检索功能包括：l B/S检索方式部署更加灵活，可支持多人同时在线检索l 提供全文检索、参量检索、分类检索等多种检索方式，全文检索向用户提供跨编目字段的查询检索，查询结果呈列表显示，所输入的全文字段以标红显示l 支持关键词模糊检索、编目字段组合检索l 提供登陆用户自己的工作夹，可将经常使用及要下载的节目加入工作夹，方便后续使用l 对于查询出的素材，用户可使用浏览器浏览该素材片断、图片信息等l 可查看检索到的素材的关键帧信息l 可通过修改配置管理来设定个性化的检索方法和检索结果的显示式样l 可对节目资料提交下载申请，支持打点分段下载l 提供对下载任务的管理，可对下载任务进行查询等管理l 提供按项目查询功能：可以通过项目分类查询已发布素材l 高效全文检索引擎，百万级数据检索实现毫秒级2.3.9. C/S检索C/S检索系统以资源管理器为核心，提供多种检索方式，通过系统配置的检索条件树，以输入检索内容的方式查找资源，用户可根据业务需求在资源管理器中对查询结果做相应处理。主要功能包括：l 通过名称检索可以资源正题名为基础进行快速查询l 通过编目类检索可以资源类型属性为基础进行分类查询l 提供联合检索功能，用于将编目类和名称、全文关联起来一起检索，实现在某一节目类中精确地查找资源2.3.10. 迁移归档迁移归档系统采用分级存储架构，整个归档系统划分为在线、近线和离线三个存储区。各个存储区将根据实际应用要求配置相应的存储设备。三个存储区域由归档中心系统统一管理调用，共同完成数据对象的存储、交换和维护任务。在线近线离线查询调用内容管理策略管理应 用在线存储是整个存储系统的唯一对外接口，进入系统的所有数据都会首先保存在在线存储系统中，所有对数据的利用也都要求数据位于在线存储系统中。近线存储大部存储码率视音频数据，它与在线之间通过数据迁移服务进行数据交换。离线存储的数据流磁带主要包括使用率很低的资料带和密级较高的资料带。数据在在线系统、近线系统、离线系统之间的迁移调度统一由归档中心进行控制。归档中心采用分布式软件体系结构设计，并基于面向对象的大容量数据存储迁移方式，属于整个业务系统软件体系中的中间层存储平台，归档中心系统不属于业务应用层，它只为系统所有业务提供数据分级存储管理服务。归档中心主要由存储管理服务、存储迁移服务、带库控制服务等几大模块构成，这几个模块之间通过存储API、消息中间件以及数据库进行通讯，实现系统的资源配置、资源调度、任务执行以及进度监控等。 存储管理服务模块（Manager）存储管理服务负责整个分级存储系统的任务资源调度，并提供集中的数据迁移管理，包括任务调度，资源分配及锁定，容错处理，进度监测、日志信息等。 存储迁移服务模块（DataMover）存储迁移服务负责实际的数据迁移操作，包括在线近线，近线在线，在线在线以及在线删除和近线数据的整理等。存储迁移服务可采用分布式集群工作方式，并通过LAN Free的方式实现数据