永昌电视台媒体资产管理系统技术方案书

永昌电视台媒体资产管理系统永昌电视台媒体资产管理系统 技术方案书技术方案书 兰州金诚视频技术有限公司兰州金诚视频技术有限公司 二二 一一年十一月一一年十一月 永昌电视台媒体资产管理系统技术方案书 金诚视频 2 目目 录录 1 系统架构规划 3 1 1 总体规划 3 1 2 总体设计原则 3 1 3 总体系统架构 5 1 4 基础网络平台 7 1 5 系统总体特点 7 2 系统详细设计 8 2 1 系统结构 8 2 2 工作流程 10 2 3 详细功能和技术特点 11 2 3 1 存储管理 11 2 3 2 系统管理 12 2 3 3 资源管理 12 2 3 4 资源导入 13 2 3 5 资源编目 14 2 3 6 资源导出 16 2 3 7 全文检索引擎 17 2 3 8 B S 检索 17 2 3 9 C S 检索 19 2 3 10 迁移归档 20 2 4 关键设备选型 23 2 4 1 智能存储服务器 23 永昌电视台媒体资产管理系统技术方案书 金诚视频 3 1 系统架构规划系统架构规划 1 1 总体规划总体规划 我们为永昌电视台设计的媒体资产管理系统集媒体资源数字化 存储 编目 检索和 再利用于一身 可以实现视 音频文件 图片 电子文档 工程图纸等各类型资源的统一管 理和智能编目 并且提供多种高效的检索手段 实现视 音频信号的多格式采集上载 数据 文件的快速导入导出和分段下载以及高 标清文件的安全存储 1 2 总体设计原则总体设计原则 先进性先进性 系统的设计 设备选型及工程施工 首先符合我国电视广播规范和有关标准 其次符 合国际广播电视技术发展潮流 完全适应视音频编辑技术 计算机技术 网络通信技术及 系统中其他技术发展的要求 可靠性可靠性 本系统具有很高的可靠性 系统采用稳定 成熟的先进技术和高质量的设备 整个系 统设计具备完善的应急方案 且应急操作快捷和安全 在系统运行过程中以及进行系统安 装时 可指出可能出现的系统故障及具体排除的方法和手段 确保网络 7 24 小时无故障 工作 安全性安全性 不论是基础平台 还是各个业务子系统 整个系统设计的遵循安全性的重要原则 在 网络系统构建硬件方面 采用并发技术及相应的虚拟化存储等相应技术 从而保证了网络 带宽可以满足该网络的实际需要 系统硬件选型以安全性 稳定性为主 时效性时效性 为了提高节目制作效率 网络设计过程中尽可能减少人机等待时间 所有操作力保实 时 尽量不使用数据复制 打包合成等耗时的数据传递方式 而采用共享的存储结构 减 少上载时间 利用网络并行编辑的流程提高制作效率 各子系统之间的互联实时 避免由 于子系统之间元数据不统一或者素材压缩格式不统一而引发的格式转换 高性能高性能 永昌电视台媒体资产管理系统技术方案书 金诚视频 4 本网络系统方案及软硬件设备配置 能高质量地满足后期网络对节目资源调用的需要 同时也能满足电视节目存储数字化 检索智能化和其它生产管理和资源调度的需要 兼容性兼容性 网络中的所有硬件设备在选型过程中 能实现硬件兼容 系统软件界面统一 能够支 持流行的第三方软件和插件 不同硬件平台间素材可以无缝共享 扩展性扩展性 在扩展性方面 充分考虑整个系统在不久的将来即将承受更大的节目制作量 站点将 大规模增加的情况 并力求作到在整个系统结构基本不变 现有设备基本无须替换的情况 下具有大规模扩展的能力 并同时满足存储容量及带宽大幅度增长的需求 开放性开放性 本网络系统具有良好的开放性 系统能够支持主流的文件格式 压缩格式和相关的主 流设备 满足节目素材的传输 数据交换等需求 容错性容错性 本网络系统具有检错 纠错能力 具有完善的备份措施 在系统出现故障时 能够在 较短的时间内恢复系统运行 系统能对网络和设备的运行情况进行监测和记录 易维护性 可管理性易维护性 可管理性 网络系统具备完善的功能 设备操作简单 直观 维护管理方便 所有日常维护工作 能实现在线式操作 在可能的情况下支持在线热插拨 智能化和自动化智能化和自动化 在网络系统中 充分采用先进技术 尤其是在非线性编辑 数据库管理 检索技术等 方面 采用领先的智能化技术 在管理 转码 共享 数据调度等方面充分体现智能化和 自动化 良好的性价比良好的性价比 本网络系统既采用先进的技术和设备 又具有良好的性价比 尤其是系统设计充分考 虑平滑升级 将来升级时 系统不需要大规模的设备替换 就能完成 永昌电视台媒体资产管理系统技术方案书 金诚视频 5 1 3 总体总体系统架构系统架构 本方案从技术上分为划分三层 应用层 交换层和数据层 应用层主要包括各种实现 业务功能的工作站点及服务器 交换层包括各种后台支持的数据 元数据交换服务 消息 服务及媒体交换服务 数据层包括核心存储 文件系统和数据库 如下图所示 网络中的各个子模块作为系统应用层的成员 是生产业务的核心子模块 应用模块 消息服务 媒体交换服务交换层 在线存储 文件系统 数据库数据层 媒资其他系统 永昌电视台媒体资产管理系统在结构上分为业务系统 检索查询系统 归档迁移系 统以及对外发布接口 系统结构图如下 永昌电视台媒体资产管理系统技术方案书 金诚视频 6 媒资媒资业务系统业务系统 资源管理资源管理 器器 上载模块上载模块 导入模块导入模块编目模块编目模块 导出模块导出模块下载模块下载模块 对外发布接口对外发布接口 指定路径指定路径 办公网办公网 非编互联非编互联 播出互联播出互联 归档迁移系统归档迁移系统 存储管理存储管理数据迁移数据迁移 带库控制带库控制 检索查询系统检索查询系统 WEB2 0TOP10 全文检索全文检索条件检索条件检索 同音字检同音字检 索索 文件资料文件资料 柜柜 主题资料主题资料 库库 分段回调分段回调 媒资业务系统媒资业务系统 媒资业务系统主要提供上载 下载 编目 导入 导出等功能 整个媒资的前台应用 操作都在此系统中完成 查询检索系统查询检索系统 查询检索系统为检索客户端提供检索服务 采用 B S 或者 C S 方式 使用 IE 浏览器或 者检索软件即可完成节目资料的查询检索 系统为用户提供多种检索手段和检索方式 例 如参量检索 全文检索 分类检索等 迁移归档系统迁移归档系统 归档迁移系统采用分级存储架构 它将存储系统划分为在线 近线和离线三个存储区 各个存储区将根据实际应用要求配置相应的存储设备 三个存储区域由归档迁移系统统一 管理调用 共同完成数据对象的存储 交换和维护任务 永昌电视台媒体资产管理系统技术方案书 金诚视频 7 1 4 基础网络平台基础网络平台 本系统中的网络平台采用纯以太网架构 从性价比和未来的可维护性以及维护成本考 虑 选择纯以太网架构的网络平台具有很多的优势 1 5 系统总体特点系统总体特点 最优性价比最优性价比 系统构成简单 可以使用很少的设备实现媒体资产管理的全部功能 网络结构简单网络结构简单 网络结构简单 无需进行繁琐的网络部署和配置 可控性强可控性强 基于任务的处理方式 加强资源加工处理过程的可控性 提供良好的资源掌控性 易扩展易扩展 编目站点 检索站点可随时增加 可根据需要接入数据流磁带库 有效保护已有投资 安全性强安全性强 系统备份机制灵活 同时支持磁带和存储对象的备份 保证业务系统中数据的安全性 永昌电视台媒体资产管理系统技术方案书 金诚视频 8 2 系统详细设计系统详细设计 2 1 系统结构系统结构 媒资管理服务器采用 iStore 系列智能存储系统 iStore 系列智能存储系统构建在纯 以太的网络化平台之上 iStore 媒资管理服务器是媒资系统的核心服务单元 通过部署在 上面媒资服务软件 为客户端提供相应的数据库服务 媒体文件浏览服务 流媒体服务 全文检索服务等 而媒资管理客户端主要分为 Web 检索客户端 iStore PC 客户端 其中 Web 检索客户 端主要是通过 IE 等浏览器实现 BS 检索功能 而 PC 客户端主要实现媒体资料管理 导入 导出 转码 编目等功能 Web 检索客户端检索客户端 在任意 PC 工作站或非编工作站打开 IE 通过浏览器实现 Web 检索服务 即可对 iStore 所管理的资源浏览 下载再利用等 正真实现了 Web 检索到桌面 主要功能包 永昌电视台媒体资产管理系统技术方案书 金诚视频 9 括 B S 检索方式部署更加灵活 支持多人同时在线检索浏览 提供全文检索 关键词组合检索 分类检索 目录检索等多种检索方式 提供工作夹管理模式 检索方法和显示结果的灵活配置 可对节目资料提交下载申请 并支持打点分段下载 提供对下载任务的管理 可对下载任务进行查询问等管理 检索系统经过精心优化 百万级数据支持毫秒级检索效率 iStore PC 客户端客户端 iStore 客户端为用户主要的操作软件 可部署在非编工作站或者任意 Windows 工作站 上 该业务系统包含了资源管理 导入 编目 导出等功能 同时支持和非编的直接 交互 主要功能包括 资源管理 资源的浏览 修改 删除等操作 导入 导出 文件导入 导出以及格式转换 支持部分元数据的自动继承 编目 支持视音频标准编目结构 关键帧提取等 CS 检索 支持关键词模糊查询 分类查询 条件组合查询 按项目夹浏览 资源交互 可支持同非编 播出等系统的资源交互 永昌电视台媒体资产管理系统技术方案书 金诚视频 10 2 2 工作流程工作流程 上载 导上载 导上载 导上载 导 入入入入 QCQCQC编目编目编目编目 检索检索检索检索 下载 导出下载 导出下载 导出下载 导出 迁移迁移迁移迁移 回迁回迁回迁回迁 前前前前 台台台台 应应应应 用用用用 后后后后 台台台台 处处处处 理理理理 用户管理用户管理用户管理用户管理 策略管理策略管理策略管理策略管理存储监控存储监控存储监控存储监控 入库入库入库入库出库出库出库出库 录像机 指定目 录 标准 XML 上载 上载 录像机输出的视音频信号通过媒资业务工作站上载完成数字化 生成时间上精 确同步的高码流文件和低码流文件 导入 导入 通过导入模块将各类视频 音频 图片 文本等数字化媒体文件导入媒资系统 并可在导入的同时生成两路不同码率素材 系统支持 DCD CD P2 蓝光 1394 等接 口 质量检测 质量检测 上载或者导入的高低码流文件可以进行回放检测素材质量 如果质量有问 题则需要重新上载或者导入 编目 编目 利用编目模块可完成对节目详细编目信息的标引和录入 支持编目自定义 入库迁移和存储 入库迁移和存储 编目完成后 可以手动将资源迁移到数据流磁带机 库中 或者用户 可以选择将高码流文件迁移到数据流磁带机 库中 低码流文件及关键帧信息分别存储 在媒资低码流存储区和关键帧存储区内 检索 检索 用户可通过全文检索 参数检索等多种检索方式查询节目素材 在检索过程中 低码流视频在检索端可以立刻浏览 系统支持分段回调 可以直接在低码流上标记出 需要下载片段的入出点 能后选择下载或者导出模块 数据回迁 数据回迁 如果资源状态为进线 那么应该先切换到迁移模块 手动将高码流文件从 数据流磁带机 库回迁到在线状态 下载 下载 下载模块将系统中保存的数字化媒体资料输出到各种格式的传统磁带上 永昌电视台媒体资产管理系统技术方案书 金诚视频 11 导出 导出 导出模块可将资源导出到指定目录 同时支持转码生成多路不同格式的目标文 件 永昌电视台媒体资产管理系统技术方案书 金诚视频 12 2 3 详细功能和技术特点详细功能和技术特点 2 3 1 存储管理存储管理 iStore 存储管理服务是 iStore 后台核心服务软件 主要实现数据拷贝 转码 iStore License 管理 任务监控 服务监控等 主要服务功能包括 iStore License 管理 迁移目标支持网络径 远程调用效率更高 配合 Web 应用 B S 检索 支持视音频资料的分段迁移 提供进度时间条显示 用户可实时了解数据迁移状态 提供服务日志 可对数据迁移转码任务进行监控 提供实时转码拷贝功能 转码格式为主流标准视音频编码格式 包括 H264 DV MPEG2 MPEG4 WMV REAL MOV 等 部分编解码格式需要单独 付费 转码服务采用纯软件处理 不同格式的转码都可以达到实时或超实时 永昌电视台媒体资产管理系统技术方案书 金诚视频 13 提供多种数据安全策略 对在迁移转码过程中系统非法关闭时正在运行的任务 系统会在重启后自动重新开始迁移任务 目录监控服务 在与第三方系统互联时监控网络共享目录 自动上传媒体文件实 现 iStore 管理 2 3 2 系统管理系统管理 系统管理服务主要完成应用层面的软件后台设置 包括用户的使用权限 编目结构设计 编目界面设计 存储路径的配置等直接影响到系统使用的各种设置 主要功能如下 对系统内用户 角色以及权限信息进行统一管理 对系统存储区 存储路径 视音频文件格式等进行统一管理 可对编目属性 编目类及受控词等进行自定义 可利用界面设计器自定义编目界面 可对数据库进行导入 导出操作 可记录系统运行日志 2 3 3 资源管理资源管理 资源管理模块主要以目录的方式来管理多媒体资源 用户可根据资源的目录来进行进行查 永昌电视台媒体资产管理系统技术方案书 金诚视频 14 找处理 如下图 主要功能包括 支持对视音频 图片 电子文档 教学课件 工程文件等多媒体对象的统一管理 引进目录的概念来管理资源 用户可通过以自命名的方式建立目录 对于资源根 据所属目录进行分类存储管理 支持不同的视图方式来显示对象资源 类似 Windows 资源管理器的视图浏览方式 提供资源检索功能 提供回收站功能 提供系统相关参数的全局设置功能 通过名称检索可以资源正题名为基础进行快速查询 支持全文 高级的检索模式风格 2 3 4 资源导入资源导入 资源导入模块的主要功能是将各类已有的视频 音频 图片 文本等数字化媒体文件导入 iStore 智能存储系统 并可同时对视 音频文件进行格式转换 对 XML 标准输入输出节目 编目元数据文件实现自动匹配 为系统间数据交换提供便利 同时也支持多种导入方式 永昌电视台媒体资产管理系统技术方案书 金诚视频 15 主要功能包括 可导入视频 音频 图片 文本 Word 文档等 同时支持视音频文件的多格式转 码和元数据的导入 支持单个 批量文件的导入 支持手动 自动匹配资源类 支持文件 DVD 等导入方式 导入节目可自动抽取关键帧 关键帧的抽取方式可设置成全局统一抽取方式 导入节目可自动转码成所需节目格式 无低码流可在导入时同时生成低码流素材 在导入时是否生成低码流及其格式也可在全局配置中统一设置 可设置导入任务执行状态 立即导入 手动导入 可对导入任务进行管理和监控 可添加 删除 暂停 启动导入任务 素材剪切合并 剪切高低码流素材 剪切后可生成新资源 提供重新抽取关键帧 等附加功能 2 3 5 资源编目资源编目 资源编目主要是对进入 iStore 的节目 素材 多媒体资源等进行系统和详尽的编目著录 为 检索再利用提供有力的保障 永昌电视台媒体资产管理系统技术方案书 金诚视频 16 主要功能为 智能化资料关联 挖掘信息背后的价值 元数据自动提取 关联信息自动导入 将 编目 延伸到信息产生的时刻 支持编目模板定制 编目信息智能化记忆 最大限度减轻工作量 提高工作效率 符合国家电视资料编目标准 编目字段可根据实际业务要求进行动态扩充修改 低码流视音频浏览 多媒体对象预览 流媒体的使用 TS 流节目直接播放 提供 编目环节最大的信息量和方便性 关键帧浏览 整理和删除 手工抽取关键帧 手工提取节目肖像 编目区可对节目 片断 场景和镜头的各个字段编目 符合国家编目标准 可采用自动及手动提取关键帧 可将某关键帧设置为素材肖像 手动帧与自动帧分别浏览 保证关键帧不与手动帧混淆 支持逐帧定位 可对编目素材添加附件子对象 并可添加多个文件 如图片等 可将编目素材设置记录级 有效控制不同权限用户是否有浏览已发布素材的权限 可设置编目模板 大规模提高编目效率 编目工作站浏览低质素材 在低质素材上进行编目 高质素材同时在后台被修改 永昌电视台媒体资产管理系统技术方案书 金诚视频 17 大幅度节约传输带宽 提高效率 支持批量编目 提高编目工作效率 2 3 6 资源导出资源导出 导出功能是指将视频 音频 图片 文本等各类已有的媒体文件快速导出到指定的目录 同时支持转码生成多路不同格式的目标文件 主要功能如下 支持单个 批量文件的导出 内嵌转码功能 支持视音频文件的多格式转码 可导出视音频 图片 文本 Word 文档 关键帧等 可同时以 XML 文件形式导 出资源元数据 支持导出到指定路径 提供导出过程的进度显示 通过资源管理器对素材进行 CS 检索到所需素材进行导出到可访问的指定路径 提供对导出任务的监控和管理 可删除 暂停 启动导出任务 永昌电视台媒体资产管理系统技术方案书 金诚视频 18 支持对视音频通过打入出点实现分段导出 2 3 7 全文检索引擎全文检索引擎 iStore 系统整合了最新的全文检索引擎技术 使得检索效率达到最优 可达毫秒级检 索效率 全文同步后台服务工具如下图 2 3 8 B S 检索检索 通过在存储服务器上通过部署 Java 服务以及 Tomcat 应用服务提供 BS 检索服务 在 Tomcat 应用服务上部署检索 iStoreWeb 等应用 可以使得用户以一种 Web 的方式对 iStore 所管理的资源实现检索再利用等操作 由于 iStoreServer 上部署了 iStoreWeb 检索服 务软件 客户端不需要专门软件 在任意 PC 工作站或非编工作站打开 IE Safari 等浏览器 即可实现 Web 检索服务 即可对 iStore 所管理的资源浏览 下载再利用等 Web 检索支持 跨编目字段的全文检索和灵活的参量检索 同时用户可针对感兴趣的节目或者资源实现播 放浏览 并下载再利用等功能 永昌电视台媒体资产管理系统技术方案书 金诚视频 19 主要检索功能包括 B S 检索方式部署更加灵活 可支持多人同时在线检索 提供全文检索 参量检索 分类检索等多种检索方式 全文检索向用户提供跨编 目字段的查询检索 查询结果呈列表显示 所输入的全文字段以标红显示 支持关键词模糊检索 编目字段组合检索 提供登陆用户自己的工作夹 可将经常使用及要下载的节目加入工作夹 方便后 永昌电视台媒体资产管理系统技术方案书 金诚视频 20 续使用 对于查询出的素材 用户可使用浏览器浏览该素材片断 图片信息等 可查看检索到的素材的关键帧信息 可通过修改配置管理来设定个性化的检索方法和检索结果的显示式样 可对节目资料提交下载申请 支持打点分段下载 提供对下载任务的管理 可对下载任务进行查询等管理 提供按项目查询功能 可以通过项目分类查询已发布素材 高效全文检索引擎 百万级数据检索实现毫秒级 2 3 9 C S 检索检索 C S 检索系统以资源管理器为核心 提供多种检索方式 通过系统配置的检索条件树 以输入检索内容的方式查找资源 用户可根据业务需求在资源管理器中对查询结果做 相应处理 主要功能包括 永昌电视台媒体资产管理系统技术方案书 金诚视频 21 通过名称检索可以资源正题名为基础进行快速查询 通过编目类检索可以资源类型属性为基础进行分类查询 提供联合检索功能 用于将编目类和名称 全文关联起来一起检索 实现在某一 节目类中精确地查找资源 2 3 10 迁移归档迁移归档 迁移归档系统采用分级存储架构 整个归档系统划分为在线 近线和离线三个存储区 各个存储区将根据实际应用要求配置相应的存储设备 三个存储区域由归档中心系统统一 管理调用 共同完成数据对象的存储 交换和维护任务 在线在线在线 近线近线近线 离线离线离线 查询调用查询调用查询调用查询调用 内容管理内容管理内容管理内容管理 策略管理策略管理策略管理策略管理 应应应应 用用用用 在线存储是整个存储系统的唯一对外接口 进入系统的所有数据都会首先保存在在线 存储系统中 所有对数据的利用也都要求数据位于在线存储系统中 近线存储大部存储码 率视音频数据 它与在线之间通过数据迁移服务进行数据交换 离线存储的数据流磁带主 要包括使用率很低的资料带和密级较高的资料带 数据在在线系统 近线系统 离线系统 之间的迁移调度统一由归档中心进行控制 归档中心采用分布式软件体系结构设计 并基于面向对象的大容量数据存储迁移方式 属于整个业务系统软件体系中的中间层存储平台 归档中心系统不属于业务应用层 它只 为系统所有业务提供数据分级存储管理服务 永昌电视台媒体资产管理系统技术方案书 金诚视频 22 归档中心主要由存储管理服务 存储迁移服务 带库控制服务等几大模块构成 这几个模 块之间通过存储 API 消息中间件以及数据库进行通讯 实现系统的资源配置 资源调度 任务执行以及进度监控等 存储管理服务模块 Manager 存储管理服务负责整个分级存储系统的任务资源调度 并提供集中的数据迁移管理 包括任务调度 资源分配及锁定 容错处理 进度监测 日志信息等 存储迁移服务模块 DataMover 存储迁移服务负责实际的数据迁移操作 包括在线 近线 近线 在线 在线 在线 以及在线删除和近线数据的整理等 存储迁移服务可采用分布式集群工作方式 并通过 LAN Free 的方