媒资档案管理系统方案介绍.doc

1 40 媒资档案管理系统媒资档案管理系统 技术方案技术方案 北京亚细亚智业科技有限公司北京亚细亚智业科技有限公司 2010 年年 10 月月 I 40 目目 录录 第第 1 章章方案综述方案综述 1 1 11 1系统建设的必要性 1 1 21 2建设内容和目标 2 1 31 3业务需求分析 3 第第 2 章章系统总体设计系统总体设计 5 2 12 1系统设计原则 5 2 22 2系统结构设计 6 2 32 3数据处理流程 8 2 3 1数据导入流程 8 2 3 2数据输出 发布 流程 10 2 42 4本方案的优势 11 2 4 1体系结构灵活 11 2 4 2强大的视音频处理 11 2 4 3能够管理各类数据资源 11 2 4 4海量数据多级存储 12 2 4 5成熟稳定的基础软件平台 12 2 4 6软件强大的跨平台运行能力 12 第第 3 章章系统功能描述系统功能描述 13 3 13 1资料整理上载 13 3 23 2视频转码分析 14 3 33 3资料编目标引 15 3 3 1编目标引建模 15 3 3 2视频关键帧抽取 17 3 3 3附件资料上传 18 3 43 4海量数据存储 19 3 4 1海量数据多级存储体系 19 3 4 2数据多级存储的实现 21 3 53 5多媒体资料查询浏览 25 3 5 1视音频资料检索 25 3 5 2关键字检索 26 3 5 3条件组合检索 26 3 5 4全文检索 26 3 63 6资料下载 29 3 73 7资料安全控制 29 3 83 8数据统计分析 30 3 8 1设备使用情况统计 30 3 8 2数据利用情况统计 31 3 8 3人员工作量统计 31 第第 4 章章非视音频数据的管理非视音频数据的管理 32 第第 5 章章系统的扩展性系统的扩展性 33 1 40 第第 1 章章 方案综述方案综述 经过多年的发展和努力 许多企业已经积累了大量高水平 高质量 具有 保存价值的历史资料 其中 包括音像资料 图片资料 文档资料 资料等等 随着时间的延续 这些资料的保存价值和重要性也随着突显出来 首先 这些 历史资料需要更安全可靠的介质保存 其次这些宝贵资料更需要合理有效的管 理和调用 使它们完整有序 便于检索 并能够提供方便 快捷 全面的资料 服务 充分发挥其实用价值 当前 信息技术的广泛应用 使各类资料的数字化保存管理已经成为趋势 数字技术在资料的生成 编辑 发布播出等业务中普遍采用 有效的提高了资 料保存和发布的质量 低成本 安全高效的海量存储技术也为大量历史资料的 长期数字化保存与管理奠定了基础 信息化在知识经济时代的深入 信息工作对资料的检索和再利用提出更高 的要求 编导在制作音像节目时 要查阅库存中同类或相似的信息以便参考和 再利用 逐渐增多的行业内部交流更需要资料共享 随着远程宽带网络的飞速 发展 用户所拥有的丰富资源还能通过网上资料交流而产生巨大的经济效益和 社会效益 面对当前企业的需求 构建一个适当的媒资档案管理系统可以合理地解决 这些问题 在保障数据安全的前提下 技术方案采用了灵活多样的低成本设计 思路 使其既适用于当前各类资料存储管理的需要 也适用于今后企业科学发 展的要求 1 11 1 系统建设的必要性 1 历史资料管理的现状 数量大 价值高 格式多样 企业拥有大量数字多媒体资源 而且每年还再不断增加 资料越来越多 种 类日趋齐全 其有形价值和无形资产均不能以金钱去衡量 2 现有的管理和保存环境条件有限 许多企业由于历史原因 现有的管理和保存环境条件不是很理想 原有的 资料查找和检索相对困难 有些珍贵资料保存也出现危机 2 40 3 资料管理现代化的条件已具备 主要体现在 存储与管理技术的进步 资料再利用的需求 系统建设成本的降低等 而且数字化的文件资料能够长时 间保存 质量不会有任何降低 所以 数字资料的存储与管理已经是发展的必 然 4 海量存储技术的发展 为数字资料的再次利用打下了良好的保存基础 综上所述 企事业机构建立一个资料丰富 保存条件好 编目完备的现代 化媒资档案管理系统是具备条件且完全是必要的 1 21 2 建设内容和目标 1 结合现有主流媒体使用的多媒体资源管理系统和多媒体资源现状 保证 系统开发所用技术的先进性 为企业建立一个资料丰富 保存质量高 使用快 捷的现代化数字媒体资料管理系统的目标 2 系统具备海量存储功能 软件系统支持 根据现有媒体资源的容量 可以为企业建立媒资档案管理中心 即搭建中心服务器及海量存储设备 实现 集中式管理和资源共享 核心服务器以及相关系统设备采用高端服务器集群 并实现核心设备间光纤高速连接 实现对于分散的文档进行集中的 进行长期 无损的数字化存储 防止数据资料的散失 3 系统具备强大的多媒体处理能力 为了保证多媒体素材今后不同的调用 方式 要实现常用格式的输入输出以及格式转换 如一份视频资料能够生成两 个码率的文件 高质量的用来长期存储 较低质量的实现网络中的在线搜索 浏览 发布及在线点播 4 系统具备高速的数据输入输出能力 媒资档案管理系统要借助现有网络 环境进行数据交换及存储 日常数据输入输出的量十分大 系统必须提供相应 的数据接口或解决方案来适应这种大容量 集中式的数据交换 如处理多个终 端同时向中心系统上传或下载数据的能力 5 系统的可扩展性 随着企业不断发展 多媒体资料不断丰富 容量不断 增加 系统必须提供一个简便可靠的扩展功能来满足正常上述需要 此外 随 着使用需求的不断变化 系统设计时必须灵活 系统管理者维护修改必须简便 如预留更多自定义的系统功能供系统管理者选择 3 40 6 对于各种类型的多媒体资料 统一格式 详细分类 通过一个系统平台 规范化管理 分配不同层面使用者不同的操作权限 保证原始资源安全可靠的 长期存储以及分级管理 如经过编辑的资源要与原始资源分别存储 并有一定 关联方式 能够方便的被使用者搜索到 对于历史数据的方便 准确快速的检 索 实现在线浏览 提取编辑等 7 为了快速完成资料整理和上载准备工作 根据资料容量和投资规模可以 搭建视频采集 视频编辑和处理 媒体资料上传等功能的媒体工作站 8 拟定一套使用规程和管理制度 规定进入媒资档案库文件的内容 格式 等标准 在完成资料存储格式的统一后 进行节目资料的编目 标引等整理工 作 做到操作简捷 直观 符合规范 1 31 3 业务需求分析 许多企业的历史资料规模大 种类多 既有视音频 也有文档 图片等等 通过对多个案例的实际分析 我们认为 企业的媒资档案管理系统要能够满足 如下方面的业务需求 视音频或平明媒体数据是系统管理的重点内容 视音频资料和平明媒体资料具有时间长 格式多样 存储容量大 管理复 杂的特点 在整个存储系统中 其数据量所占的比重也最大 所以 科学 合 理 高效的管理和存储企业大量的视音频资料 是本方案需要解决的重点 本方案采用主流 先进的数据处理技术 将模拟形式的视音频资料或纸质 的平面资料进行数字化转换和制作 并进行有效管理和存储 使大量资料能够 通过系统存得好 找得着 调得出 海量数据存储管理 建成的系统存储量要满足存储几十 TB 甚至上百 TB 的数据资料的能力 并随着资料的不断增加实现系统的无缝升级 存储的介质类型要以符合数字化 技术潮流和保存时间长的介质为主 重点要考虑到数据长期存储的安全 高效 足够的数据输入输出能力 用户在需要各类数据时 系统应能及时输出所需的内容或提供信号 对音 4 40 像资料来讲 应该实现包括 MPEG 2 I MPEG 2 IBP DVSD DV25 DV50 MPEG 1 MPEG4 AVI 等常用格式的输入输出 而且 能够实现对 WMV 等格式的支持 实现网络中的发布与点播 便捷的分布式数据上 下载 系统除了要为企业建立媒资档案中心外 还可以通过网络覆盖企业的分支 机构或企业的用户处 使这部分用户也能够及时上传和下载 因此 系统的软件功能要能够通过网络 便捷的连通各部门 并将需要管 理的数据及时传输到存储中心 同时 对保存在中心档案库中的数据资料 操 作人员通过软件界面 也要能够进行便捷的检索和浏览 输出 最大限度的方 便实际工作应用 快速简捷的编目 标引 对资料管理系统要求操作简捷直观符合规范 提供符合标准的编目标引方 法 提供良好的编目升级方式 对不同类型的数据需要提供灵活的编目 标引 建模体系 满足不同类型数据管理的要求 易懂有效的资料检索 浏览 对于系统中保存的不同类型的数据资料 软件要提供方便 高效的数据检 索 浏览能力 能够通过数据建模的任何条件与字段 对资料进行检索 查找 而且 针对不同类型的数据资料 应该能够按照其编目和描述方式灵活的 定义和调整检索条件 使用户可以在业务发生变化或增加新的描述字段时 方 便地调整检索方案 可靠的系统安全性 能够提供使用者权限的科学分配 提供良好的数据安全机制 可以保障数 据的通读性 实现数据的长期稳定的保存 对不同级别的操作人员 能够灵活 的控制其使用权限 能够对编目 查询等不同站点实现不同权限的分配 并且 对登录系统的人员操作进行全面的日志记录 5 40 6 40 第第 2 章章 系统总体设计系统总体设计 2 12 1 系统设计原则 系统设计原则是在满足用户数据资料的采集 编辑 编目标引 存储管理 下载输出等业务处理要求的情况下 充分考虑系统的可用性 稳定性 可靠性 同时兼顾系统的先进性 兼容性 可扩展性 1 系统的功能性 适用性 系统应根据企业数据采集 编辑 存储管理 下载输出等业务处理要求进 行开发 实现与企业实际业务工作的高度结合 切实提高工作效率 2 系统的开放性 可扩展性 采用成熟 标准的技术和产品 以便于将来与外系统的联接和数据共享 采用模块化设计方法 便于扩展 以适应未来发展需要 3 系统的先进性 系统应采用先进的视音频编辑技术 计算机技术 网络通信技术 存储技 术 内容管理技术等等 4 系统的安全性 采用各种有效的安全措施 如数据容错备份 网络隔离技术等 确保网络 的安全性 5 系统的稳定性 主要表现在两个方面 一是采用成熟的技术和高质量的设备 二是对网络 的关键设备要考虑容错及备份措施 6 系统的可管理性 系统应具有很强的管理能力 以提高节目的制作速度和设备使用调度能力 7 充分考虑厂商的技术支持 7 40 本方案全面基于我公司自行研发的 Mars Media 数据管理软件平台构建 由 于管理软件全部为我公司自行研发 所以 拥有对企业集团的最佳支持能力 从实施维护到开发升级 都可以全面满足用户的要求 做到最佳的支持与维护 8 经济性 本方案所有技术选型应该坚持性能价格比最优的原则 同时兼顾维护服务 能力和将来的扩展能力 保护用户现有的投资 综上 媒资档案系统的设计目标是 满足用户需求 考虑长远利益 充分 保护企业的现有投资 2 22 2 系统结构设计 企业的媒资档案管理系统就是要利用计算机将大量数据资料整理 编目标 引 海量存储 以便方便的检索和再利用 对资料的编目体系要按照一个灵活 规范的方式将各类资料分门别类的存放 对其中的所有的信息 不论是文字的 还是声音的 图像的 都加以标引 让使用者从任何角度出发 都能够准确 迅速地找到所需要的数字资料 对不同的资料源也可以采用不同的编目方式 以提高编目效率 同时系统支持多种数据格式的归档存储与管理 根据上述的业务需求分析 本方案将基于我公司成熟的 Mars Media 多媒体 数据管理软件平台来构建整个系统 Mars Media 为我公司自行研发的多媒体数 据管理平台 经过多个项目的长期实践检验 运行稳定 可靠 从逻辑上讲 Mars Media 涵盖了数据内容管理与存储管理两个层面 数据 存储为内容管理提供底层的存储支撑服务 内容管理层提供对数据资料的各类 业务处理 而且 软件最大限度的基于 B S 结构 日常业务操作 包括数据编 目标引 检索 浏览 系统管理等工作 全部基于 Web 界面 操作简单易用 由于软件系统全面基于网络 具备跨网段 跨路由的数据管理能力 所以完全 满足企业对总部及分支机构广域范围的数据传送与管理 通过软件的内容管理 层 查询 浏览等应用层用户能够对整个档案库进行输入 输出等访问 以进 行节目资料的再次处理与利用 因此 基于 Mars Media 软件平台 并与相关硬件设备的密切配合 可以为 8 40 企业能源建设一个科学 稳定 灵活 高效的媒资档案管理系统 本方案设计的企业媒资档案管理系统物理结构图如下所示 上图中 系统管理服务器和海量存储设备全部架设在公司的中心档案管理 室 包括系统元数据服务器 是系统业务处理的核心 运行元数据管理模块 完成对象建模 编目标引 检索查询 流媒体浏览等核心管理功能 软件基于 IE 界面 任何通过网络登录到本服务器的终端通过授权 都可以进行各类业务 操作 数据存储服务器运行海量数据存储软件模块 连接海量存储设备 将入库 整理好的历史数据进行长期保存 根据具体的存储策略 可以将指定的数据完 成从磁盘阵列 磁带库 以及磁带架之间的多级归档 恢复 调用 数据存储服务器同时运行数据交换软件 需要上载入库的资料无论是中心 还是远端 只要放入指定的目录 交换软件可以通过网络自动监测目标数据的 变化 将新增数据及时抓取到中心存储设备 进行数据的编目和入库保存工作 通过数据交换软件 要上载的数据只需存入各自的指定目录即可 都可以自动 将数据上传到中心存储设备 为了支持多种数据上传手段 技术方案还提供上 传客户端软件 各部门用户也可以通过数据上传客户端 将需要入库的资料传 送到存储中心 9 40 节目转码服务器运行视音频格式转换软件 完成自动将上载入库的高质量 Mpeg 2 节目向浏览用 Mpeg 4 wmv 节目的转换 以及其他数字格式如 avi DVD Mpeg 1 等资料向标准存储格式的转换 系统重建模块运行于重建服务器中 负责对系统中主数据库 服务器操作 系统的自动备份 通过完全 增量 差分等专业的备份方式将数据备份到数据 流磁带中 在服务器系统一旦出现问题的情况下 能够快速对系统进行恢复 海量存储设备采用磁盘阵列与磁带库相结合的多级存储方式 按照要求 各配备容量为 15TB 并通过 SAN 存储网络与各服务器连接 是服务器可以统一 访问中心的海量存储资源 相关部门配备相应的视音频上下载工作站 运行采集软件 完成模拟视音 频资料向标准 Mpeg 2 存储格式的采集 上载 2 32 3 数据处理流程 方案采用的 Mars Media 多媒体数据管理平台 由元数据管理模块 MetaServer 视音频转码模块 FlipServer 数据交换模块 ExServer 系统重建模块 RebuildServer 数据多级存储模块 StorageServer 等组成 配合视音频上下载设备来完成视音频数据的业务处理与存储 而各类型的文档 图片等电子数据则直接可以导入系统 进入档案库的管理体系中 各类多媒体数据导入系统以及从系统中输出 发布的流程如下 2 3 1 数据导入流程数据导入流程 数据导入指的是由数据交换软件模块 ExServer 主动对需要上载到系统 中的数据进行检测 并将需要管理的数据进行存储 编目 归档等处理的过程 导入过程中 系统认为需要导入的资料是完整的内容资料 不再有任何对数据 的再加工或再处理 具体业务流程图如下 10 40 检测到文件变化 迁移 转码 编目 迁移 迁移到在线 登记到数据库 需要浏览素材 需要编目 迁移到近线 N N N ExServerFlipServerMetaServerStorServer 结束 数据导入流程图数据导入流程图 上图流程描述的是全部的处理流程 当交换服务器 ExServer 检测到用 户存储的文件有新的时 就会提示是否需要迁移到本内容管理系统中 如不需 要则只在数据库中作记录 如需要迁移 则利用交换服务器按类进行资料迁移 在迁移的同时还可进行资料的备份 发布等功能 除此之外 交换服务器还提 供在线素材的 ftp 服务 不能通过交换服务器与本内容系统进行直接交换的客 户端 可以通过 ftp 服务 进行素材的迁移 然后把迁移的相关内容在数据库 中作记录 迁移到存储系统中的视频资料 有些本身格式不适合浏览或码流过 大影响浏览效果 如需要浏览时则可利用转码服务器 FlipServer 生成预览 素材 帧图片以及对素材做其他格式的转换工作 如素材还需要进行编目则可 利用元数据服务器 MetaServer 提供的编目功能进行 经过上述三个步骤后 的素材 就是用户编辑好的可以进行发布或其他用途的素材 在此 可以进行 利用存储服务器 StorServe 对编辑好的素材进行保存 方便用户以后使用 在 11 40 以上过程中用户可以根据需求 对不同的内容资料选择不同的处理流程 如 非视音频素材是不需要转码过程的 2 3 2 数据输出 发布 流程数据输出 发布 流程 数据从系统向外部输出 发布的业务流程图如下所示 MetaServerStorServerFlipServerExServer 下载或发布操作 迁移到在线 迁移 需要转码 转码 迁移到用户系统 迁移 N N 结束 N 数据输出流程图数据输出流程图 如上图 在用户下载或发布素材时需要进行数据输出 发布 流程 主要 是指在通过元数据管理软件 MetaServer 提供的检索页面检索到素材后 将 内容资料传送到其他系统的过程 具体步骤是首先用户在元数据处理模块根据 需要检索定位到所需的素材 然后从存储模块把素材迁移到当前在线状态 即 编辑或使用状态 接着看输出 发布 的需求 是否需要对素材进行转码 若 需要转码则调用转码模块对素材转码 使之满足用户需求 最后 利用数据交 换模块把整理好的素材迁移到客户端或是其他系统中 整个数据输出 发布 流程可以根据素材类型的不同 用户可以根据模板或手工来配置不同的流程 12 40 使之使用更加自动 方便 2 42 4 本方案的优势 2 4 1 体系结构灵活体系结构灵活 本方案构建的企业媒资档案管理系统中 用户可以灵活的导入 增加各种 数据类型 如 视音频 图片 文档 PDF 或 Word 等格式 以及未来可能产 生的全新数据资产类型 以适应和支撑不断产生的新媒体 新业务的需求 视 频的存储格式采用高质量的 国际标准的 MPEG 2 IBP 4 2 2 格式 可以向其 他各种常用视频格式的转换 用户可以灵活定义和修改原有的数据对象的标引描述 满足不同时期对内 容数据的不同描述需求 使数据内容在描述上可以与时俱进 不同类型的数据内容可以使用不同的分类法描述 而且分类法可以允许用 户自定义 针对不同类型的数据内容 可以按照其描述方式定义和调整检索条件 使 用户可以在业务发生变化或增加新的描述字段时 灵活调整检索方案 2 4 2 强大的视音频处理强大的视音频处理 可以对视音频文件自动进行后台 MPEG 4 流媒体转换生成 关键帧分析 抽帧等处理 减少人为干预的工作量 视频格式转换应该支持 DVD VCD DV AVI WMV 等常用格式与标准 MPEG 2 存储格式之间的转 换 编目时要求实现对视音频的逐帧编辑 编目时可以手动添加和删除关键帧 并可以对关键帧进行描述 关键帧的 属性可以自定义 数据内容可以添加不同的附属文件 如 宣传海报 相关照片 相关文档 等 附件的描述属性要求可以自定义 13 40 2 4 3 能够管理各类数据资源能够管理各类数据资源 本方案采用 Mars Media 软件平台 该平台完全是基于对象型设计的通用数 据管理平台 除专门为视音频数据设计的处理功能外 还具备管理各类不同数 据类型的能力 如 word excel pdf dwg mp3 等等 通过数据的交换导入 各类不同类型数据都可以进入系统的管理范围 而 且不同类型数据的建模和管理 都可以按照各自的数据特色 分别设计其建模 体系 检索方式等 以适应各种不同数据类型的管理需要 2 4 4 海量数据多级存储海量数据多级存储 本方案设计的媒资档案管理系统基于成熟的 Mars Media 管理平台 支持海 量数据的多级存储体系 所谓多级存储 是指在线磁盘阵列 近线磁带库 离 线磁带架相结合的数据多级存储体系 软件系统可以按需要将所需特定数据 如 不常用的历史资料 自动归档到磁带库中一份 以实现海量存储设备的 最佳性价比 同时确保磁盘阵列中数据的安全 而且存储容量能够无限扩容 2 4 5 成熟稳定的基础软件平台成熟稳定的基础软件平台 本方案采用的 Mars Media 软件平台是一个通过多年实际项目检验的成熟 平台 集成各类通用数据对象的管理能力 并且完全融合我公司媒体领域多年 的视音频管理经验 具备强大的视音频处理功能 运行稳定 可靠 而且具备 多个案例的成功实施 运行经验 所以 通过 Mars Media 企业完全能够为企业建立一个科学 稳定 高效 的媒资档案管理系统 2 4 6 软件强大的跨平台运行能力软件强大的跨平台运行能力 Mars Media 软件的主体模块全部基于标准的 Java 架构开发 可以适应任意 的操作系统和主机环境 除 Windows 外 还可以方便的移植到 Linux Unix 等各种不同的操作系统环境中 14 40 第第 3 章章 系统功能描述系统功能描述 由上述的系统结构设计 本方案设计的企业媒资档案管理系统基于我公司 成熟的 Mars Media 软件平台实现 其功能能够分为数据内容管理与数据存储管 理两个层面 具体来讲 系统能够具备如下方面的功能 资料整理上载 资料编目标引 数据海量存储 资料查询输出 资料安全控制 业务统计分析 系统维护 网 络配置 应用定制开发等功能 具体说明如下 3 13 1 资料整理上载 对于现有模拟形式的音像节目来讲 需要利用数字上载工作站将节目进行 数字化处理 上载 按照音像资料处理的标准 上载工作站需要采集 生成高 质量的 Mpeg 2 格式 8 10Mbps 的数据文件 用来进行节目资料的长期保存 和二次利用 对高码率视频 本方案的压缩格式采用国际标准的 Mpeg 2 IBP 4 2 2 格式 通过各类标准的硬件或软件都可以进行 MPEG 2 解码 都能对档 案库中存储的节目资料进行回放 根据项目的实际情况 需要配备上载工作站 并通过网络与中心媒资档案室连接在一起 各部门编码生成的 Mpeg 2 文件首 先缓存到工作站本地的存储目录中 中心软件系统的数据交换模块会实时监测 各上载工作站的缓存目录 将新压缩生成的高质量数字节目自动抓取到存储中 心的磁盘阵列 完成数据由采集编码前端向存储中心的上载 采集生成的高码率 MPEG 2 节目主要用于节目资料的长期保存 下载输出 以及再次利用等 为保障 MPEG 2 节目的高质量采集 系统采用专业的上载编码 器配合上载软件模块来实现 可以根据具体需要对节目选择不同的码率和 GOP 组合 充分满足各类需求 高码率 MPEG 2 动态图像可以实现视音频信号的高保 真 满足长期存储和向各类不同应用的视频格式转换要求 以及库存节目进行 二次利用 制作的需要 在设计上载整理系统时 主要注重以下几个功能 A 采用先进的分布式组件技术 确保系统组件灵活性和开放性 从而 15 40 建立了一个易于操作的标准和开放系统平台 只需升级软件和图像卡就可 实现系统的扩展和升级 B 采集码率可由用户灵活定义 高码流素材按照存储机制将暂时放到 上载工作站的存储体里 通过交换服务器将其传送到存储中心 进入多级 存储的管理范围 配合系统提供先进的纯软件转码中心 实现多种不同格 式间的互转 生成检索和浏览所使用的低码流 Mpeg 4 节目等 Mpeg 4 节 目将直接保存到存储中心的在线磁盘阵列上 以备实时检索和点播 具体采集步骤如下 1 建立素材模版 在采集数据之前 需要做好准备工作 使用人员可以根据素材类型的不同 编制出不同类型素材的采集模版 供各种素材录入或上传时使用 2 采集数据 在数据采集过程中 主要是首先由数据交换模块检测用户系统固定的目录内 是否有新的文件 如有新的文件且需要上传保存时 则由交换服务器进行数据 迁移 如若需要其他效果的视频素材 则可通过转码模块进行转码 如还需编 目 则可利用元数据处理模块进行编目 等需要进行的所有操作都完成后即可 把素材数据进行保存完成采集过程 对于其他文档 数据来讲 主要通过统一的资料处理 通过数据交换软件 将其从不同来源收集到存储中心 以备作详细编目和统一存储 3 23 2 视频转码分析 上传到存储中心的视音频资料 根据需要可以将采集好的标准 Mpeg 2 文 件转码成浏览码率的 Mpeg 4 wmv 等格式 通过浏览码率资料进行节目的编 目 在线浏览等 完成对视音频资料的全面管理 视频转码模块 还能够方便的实现标准存储格式与各类不同用途的视频格 式进行相互转换 以满足库存音像资料的各种不同类型应用 如 在线网络浏 览 视频二次编缉 DVD 刻录 录像带输出 甚至播出等等 16 40 3 33 3 资料编目标引 3 3 1 编目标引建模编目标引建模 通过软件系统的元数据管理中心 用户可以灵活 方便的对上载到系统中 的各类数据资源进行编目和标引 而且对各类数据资料都能够适用 不管其是 视音频 文档 或是其他数据 都能够灵活制定对应的编目体系 对不同类型 数据进行描述建模 来适应不同类型数据对象的管理要求 由于视频或音频文件是一种不能由一个具体数值来描述的非结构化数据 如何把这些非结构化的数据转换成可以用数据库来记录的结构化数据 是这个 模块所要完成的主要功能 此模块主要具有音像资料类别判定 标引录入 审 阅等功能 视频内容的描述是通过元数据来完成的 通过输入属性值来完成由非结构 到结构化的转换 由于不同的数字资料分类的方法不同 应用时所要检索和查询的属性也会 不同 例如 新闻类的资料比较重视时间性 比较短小 而影视类的资料比较 重视题材和故事内容 系统将对不同类型的音像资料定义不同的元数据集 来 描述它们 任何音像资料在做标引之前都必须判断其所属类型 选定后系统将自动调 用其相应的元数据 生成标引界面供标引工作人员录入 最后 通过审阅的功 能 检查标引信息的正确性和完整性 审查通过的标引将进入数据库进行保存 系统对不同数据对象的描述建模体系中应用了先进的 XML 数据交换技术 从而使各类元数据以及对象模型的定义与增添变得十分灵活 在没有应用 XML 的系统中元数据一旦被定义就很难再做修改 随着业务的发展 某一天可能因 业务或应用需要增加一种对视频描述的新属性 在原先的系统中就需要开发人 员重新修改数据库表结构 重新编写代码 这样就会带来很多复杂的开发工作 由于系统利用了 XML 技术 工作人员应用系统提供的对象建模功能 可以随时 增加任何一项新的属性即新的元数据 如果对系统中定义的元数据不满意或希 望增加新条目 可以完全由操作人员自己完成修改工作 当标引端调用这一类 17 40 型的元数据时 系统将生成新的标引窗口 并且在索引端会提供新的索引条目 从而使元数据的维护成为可能 降低了系统对开发商的依赖程度 编目系统是否完善直接关系到编导在查询资料时的准确性和方便性 为了 提高该系统的使用效率 系统的编目体系着重设计如下功能 A 各类数据资料的编目体系和属性均可在系统初始化建模时自定义 很好的满足了企业的不同要求 并增强了系统的扩展性 包括分类类型的 定义 各类型属性的加删 以及各种属性的显示方式 次序 是否多值 是否学习等各种个性设置 B 设置多种分类方法 系统完全支持颁布的编目标准 而且可以根据 企业的情况 定制新的分类方法和编目属性 具有很强的针对性和扩展性 分类方法的自由添加为以后新的分类方式的出现提供了方便 还可以使一 种资源可以归属到多种分类类型中 方便了用户的使用和查找 系统可以方便的导入音像资料建模的国家标准 或者自定义的建模标 准 国家标准的节目描述模版如下 C 数据档案详细编目 在各类数据的建模体系基础上 为不同的数据 资源添加详细编目信息 使不同的资料资料能进行分类标引 并提供分类 18 40 辅助标引手段 提供分类标引的维护功能 可以利用主题词 关键字等对资 料标引 在主题词确立的完成后引入安全权限机制 保证用户标引信息的 安全性 同时也提供主题词的维护功能 软件对已经上载到中心档案库中的视音频资料进行编目 标引的界面示意 图如下 3 3 2 视频关键帧抽取视频关键帧抽取 关键帧检索是视音频资料在网络上进行检索 发布必不可少的功能 有了 关键帧抽取功能 节目检索如同文字检索一样 用户访问时 可以检索到关于 视频的标题 描述 以及影片中的各个关键画面 并且可以从某个关键帧开始 浏览 观看一个节目的不同部分 节目转码完成后 软件根据要求 自动完成相应关键帧的自动抽取 包括 定时抽取 根据视频内容的自动转场抽取等 当视频画面的内容的变化量大于 用户预先设定值时 自动提取画面首帧 加入视频编目描述信息系统内的元数 据库 提高系统的编目工作效率 这些视频元数据实时进入元数据服务器的数据库 在管理系统中就如同管 理其他图像文件一样进行视频管理和发布 当然 因为视频包括更多的附加索 19 40 引信息 所以可以在系统中定义更多的其它元数据 软件界面如下 3 3 3 附件资料上传附件资料上传 对于每个视音频或者其它数字文件 除了对主文件进行编目描述外 还可 以上传与其相关的各类附件资料 如 音视频的文本稿件 宣传图片 附属其 它信息等 通过附件资料的关联和上传 在检索到需要的数据后 还可以浏览 查看 相关的附件信息 软件界面如下 20 40 3 43 4 海量数据存储 3 4 1 海量数据多级存储体系海量数据多级存储体系 根据企业的业务需求 系统需要存储的数据量非常大 一期要求达到 30TB 的数据存储容量 如此海量的数据存储规模 必然需要科学 稳定的海量存储 管理软件的支持 本方案采用的 Mars Media 软件平台 具备强大的数据多级存储模块 支持 强大 灵活的海量数据多级存储体系 所谓多级存储 是指在线磁盘阵列 近线磁带库 离线磁带架相结合的数 据多级存储体系 可以安装业务需要将不同类别的数据合理的分配到不同的存 储设备中 来达到存储资源的最佳利用与性价比最优 并且充分满足了长期存 储情况下的数据安全需要 根据系统的业务需求 技术方案对多级存储系统采用了基于 SAN 存储网络 的设计 配备磁盘阵列 磁带库两级存储设备 通过光纤交换机与存储服务器 构成 SAN 存储网络 SAN 网络基于先进的 2Gbps 光纤标准 数据传输快速 高效 21 40 在这种多级存储体系中 磁盘阵列用来保存常用的 适用频率高的数据资 料 可以被使用者快速调用 数据流磁带库由于其存储量大 安全可靠的特性 用来长时间保存不经常使用的历史资料 经常使用的重要资料 也可以归档到 带库 作为安全可靠的数据后备 以备在线盘阵一旦故障的情况下 还能够确 保数据的安全使用 A 在线存储 在线存储采用磁盘阵列来实现 采集整理的各类数据 如 MPEG2 和 MPEG4 节目 先存储在本地视频编码器硬盘上 由数据交换服务器统一调度上 载到 SAN 磁盘阵列 进入海量存储系统的管理范围 B 近线存储 近线系统用来保存更大规模的数据资料 系统重点考虑到了近线系统的与 在线系统的数据交换性能 数据的存储可靠性 系统运行成本 以及系统的扩 展性 容量与性能 近线存储设备采用自动化的数据流磁带库设备 在存储管理软件模块的指 挥下 自动完成数据的多级迁移和调用 存储管理软件模块具备强大的海量数 据多级存储能力 除了在线磁盘阵列存储外 还可以控制磁带库等近线存储设 备 实现海量数据长时间的多级存储与调度 C 离线存储 随着时间的推移 系统数据量会不断增大 考虑到更长时间历史数据的保 存 存储管理软件支持数据流磁带出库的离线保存方式 离线存储在数据量超 出近线带库保存容量的时候来使用 离线存储用来保存更大规模的数据资料 在线存储和近线存储的数据都是 系统自动实现 可以实现实时数据交换和存储容量之间的自动平衡 对实际业 务中的数据 其访问量随着时间的推移而急速衰减 对访问量较小的数据完全 可以将其从带库中取出 进行离线存储 为新数据 访问量大的数据腾出宝贵 的存储空间 离线的数据流磁带只要上架保存就可 用条形码作为标识 按类 时间等方式管理存放 D 存储网络 存储网络既能够支持传统的以太网方式 由能够支持 SAN 结构 使大容量 数据采用 FC 传输 考虑到系统的大数据量以及高效吞吐的要求 方案采用 22 40 SAN 结构的存储网络 将磁盘阵列 磁带库和相关服务器统一连接到 SAN 网 络中 完成数据的高速访问和调度 3 4 2 数据多级存储的实现数据多级存储的实现 存储任务管理存储任务管理 总体的存储任务管理调度由 存储控制 软件模块完成 存储管理 接受 业务层数据迁移调度的指令 并把完成数据在不同存储设备间搬移的工作分配 给 数据迁移 模块 根据数据迁移量的情况 系统中可以配备多个 数据迁移 模块 分别由 不同的主机完成数据迁移的任务 彼此互相协同的并行工作 这样 中心存储 区的数据搬移 调度等处理工作能够并发进行 从而保证存储系统高效 稳定 的运行 其主要功能包括 接受应用层管理与检索指令 任务调度 下达数据 搬移指令 反馈提示信息 系统设置及管理等等 数据归档与恢复数据归档与恢复 数据迁移 模块接受存储迁移的调度命令 主要完成把 数据从原始存储 位置迁移到目标位置的工作 安装有 数据迁移模块 的数据搬移工作站通过 光纤通道分别连接磁盘阵列 磁带库 数据迁移模块 负责整个归档 恢复过 程的执行 完成磁盘阵列 磁带库之间的数据归档与恢复 磁带库机械手控制磁带库机械手控制 机械手控制 软件模块负责操作控制磁带库的机械手 它配合相应的归 档 恢复命令 来操作机械手抓取磁带并放入相应的驱动器 从而与数据迁移器 配合来完成具体的归档 恢复任务 由于本模块通过底层的硬件控制 直接驱动 带库机械手 所以系统中同一时刻只能有一个存在 23 40 离线磁带管理离线磁带管理 存储服务器 还有一个附加功能 就是对离线的出库磁带进行管理 本 功能允许当 数据量达到一定程度 超出在线和近线存储容量的时候 不经常使 用的磁带可以自动或按照事先制订的策略从磁带库中吐出来 管理员可以人工 将其保存到离线的带架上 但是这盘磁带的离线保存位置以及其数据对象信息 已经被软件系统所记录 即软件同样可以方便的管理离线的数据 例如 如果 应用层的 信息管理 检索界面请求恢复一个位于已经被取出的磁带上的 信息 时 相应的磁带状态将变成 请求 并要求操作员把这盘磁带重新装入带库 以备系统进行数据恢复和调用 本模块允许将那些不常用的数据磁带放到带架上 以空出近线磁带库的存 储空间 来保存其它更为常用的数据 但是 它的重要特征就是软件还在管理 已经被移出磁带库的离线数据磁带 在软件中 用户可以方便的查询 浏览离 线带架上的各种磁带状态与数据信息 存储系统管理存储系统管理 存储控制 模块同时完成软件底层各种相关参数及用户组设置 主要包 括如下方面 迁移设置 磁带库设置 对象路径监视 对象的设计组成 策略 条件监视 数据分类设置 存储位置设置 以及冗余纠错设置等等 存储系统维护存储系统维护 负责系统的整体维护 显示各种维护信息 主要包括 可以随时方便的获 得整个系统的相关介质运行状态 磁带驱动器的使用状态 所有数据流磁带的 使用状态 以及所有归档对象的存储状态等等 管理员可以根据相关信息来进 行系统各方面的维护 磁带冗余纠错磁带冗余纠错 数据流磁带经过一段时间后可能会出现问题 从而导致所保存的数据损坏 为解决这个问题 Mars Media 的 存储服务器 软件提供数据流磁带的冗余纠 24 40 错功能 冗余模块 采用了专利技术的可移动存储介质冗余数据保护方法 其原 理示意图如下 校验磁带的生成 数据磁带的恢复 由上图 冗余校验机制允许将带库中的 n 盘磁带 n 值可以根据实际需要 自由设定 进行按位异或计算 即先将两盘磁带进行按位异或 得出的结果再 与下一盘磁带进行按位异或计算 以次类推 将 n 盘磁带全部进行按位异或计 算后生成的冗余数据作为备份容错 写入单独的容错磁带 这样 当这 n 盘磁 带中有任何一盘磁带损坏的话 软件可以根据冗余数据和其它的 n 1 盘磁带同 样通过按位异或算法 将损坏的磁带恢复 并且如果这 n 盘磁带中有不止一盘 磁带存在部分损坏 甚至每盘磁带都有不同程度的损坏 只要每盘磁带损坏的 位置不互相重叠的话 仍然可以通过冗余数据对每盘磁带损坏部分进行恢复 本方案建议采用 Raid 冗余纠错方式 25 40 数据多级存储管理软件模块的操作界面示意如下 A 特定数据按照具体存储策略由磁盘阵列向磁带库的归档保存 B 数据流磁带库设备管理 26 40 C 带库中数据流磁带介质的管理 3 53 5 多媒体资料查询浏览 通过软件系统 对档案库中各类数据资料进行查询浏览 是对数据建模与 编目结果的调用 系统的数据检索完全基于标准的 Web 界面 用户通过网络能够连接到中心 元数据服务器的任何电脑 都能够在授权的情况下 方便的查询自己需要的任 何信息 软件支持多种复合式条件的数据检索方式 用户按照自己相应的操作权限 可以按照各种主题词 关键字等要素对资料库中的数据进行检索查询 并返回 结果 大大提高了检索效率和检索结果的精确度 在对资料进行了多媒体采集 和编目的基础上 查询终端不仅可以使用 Web 界面方便的查询文档 图片类信 息 还可以通过网络浏览到低码流的音像资料 终端用户对数据资料检索查询的具体功能如下 27 40 3 5 1 视音频资料检索视音频资料检索 系统支持 Web 方式的节目检索查询 内部的用户通过 Web 端浏览检索 视音频资料需要相应的企业门户软件的支持 Web 检索门户系统支持用户通过以下多种方式进行视音频资料的查询 浏 览 3 5 2 关键字检索关键字检索 通过关键字进行的查询功能主要提供模糊查询和精确查询功能 模糊查询又称为智能查询 当用户输入一个关键词时 搜索引擎不但反馈 包括了关键词的资料信息 同时也发来与关键词意义相近的内容 比如 当查 找 查询 一词时 模糊查询会反馈来包涵了 查询 查找 查一查 寻找 搜索 等内容的资料 反馈资料的排列 一般是完全符合关键词的 在最前边 其次是相近的 模糊查询没有特殊的使用方法 只要在文字框中 输入关键词即可 而在对英文资料的查询中 还可以使用通配符星号 和 问号 使关键词更为模糊 模糊查询往往会反馈来大量不需要的信息 如果想精确地只查某一个关键 词 则可以使用精确查询功能 精确查询是在文字框中输入关键词 例如 中 华人民共和国 3 5 3 条件组合检索条件组合检索 这一功能允许用户输入多个关键词 而且 各关键词之间的关系可以是 和 或 非 and or not 的逻辑关系 再通过各种匹配算法 反馈 检索结果 3 5 4 全文检索全文检索 通过输入内容中所包含的文字 通过全文检索将反馈所有具有这些文字描 述的多媒体资料信息 当然 多媒体资料的全文检索功能需要第三方全文检索 28 40 引擎的支持 考虑到商业化的全文检索引擎比较昂贵 使用也比较复杂 本方 案可以集成一个开源而且免费的全文检索引擎 来达到数据高效的全文检索 通过以上多种方式的检索功能 系统将把符合条件的反馈资料按照树形的 方式显示在界面中 用户可以单击所需资料的标题进入 用户可以根据权限的 大小查看资料的文字信息 图片信息 MPEG 4 文件 以及下载高质量的 MPEG 2 文件 在内容检索 浏览功能模块中 还具备资料的映射功能 通过标记报道中 出现的人物 地点和事件 使内容更有价值 通过映射 资料将与其他相关的 资料链接 查看一段资料的同时 可以浏览出与本资料相关的其他资料内容 大大提高了资料信息的利用率 通过各类检索条件可以方便的查询到需要的各类资料信息 软件界面如下 点击任何查找到的多媒体资料 都可以浏览 查看其所有属性 描述信息 并能够在线播放 Mpeg 4 格式的 wmv 流媒体视频 软件界面如下图所示 29 40 除了能够浏览查询到的节目资料的基本元数据以外 还可以查看与本资料 相关联的附件信息 如 与本资料附属的图片 文稿 背景介绍等关联信息 30 40 3 63 6资料下载 编者通过检索后得到所需的资料内容 在浏览其属性 及观看其低码率视 频 确认检索数据即为所要资料后 可以对其进行下载 输出 通过上 下载工作站或者任何与中心元数据服务器相连的终端电脑登录软 件系统 在得到授权后 都可以对检索到的高质量节目数据进行下载 高质量 存储格式采用标准的 Mpeg 2 IBP 格式 所以任何支持标准硬件或软件 Mpeg 2 解码的终端都可以对高质量节目进行回放 同时 通过下载工作站的视频输出 还能够向录像机等设备输出模拟信号 以便将节目转录到录像带等介质 或者 通过软件转码 转换成标准的 DVD 数据 刻录到 DVD 光盘 这样 从资料库中输出的数据介质可以是磁带 DVD 光盘 VCD 光盘 视音 频数据文件和打印的资料等 形式多种多样 满足各类不同的应用需要 对于需要再编辑的节目 还可以按照要求利用系统的转码模块把存储中心 IBP 帧的 MPEG2 格式节目转换成用户所需要的非线编 I 帧格式或专用格式的文 件 与非线编系统对接 实现节目的二次制作利用 对于非视音频数据 不涉及多样的格式转换 可以直接从存储中心将数据 下载到检索客户端 利用对应的编辑软件 如 word excel acrobat reader autocad 等 对下载的数据进行查看 编辑 编辑完成过的数据 还 可以重新录入回数据档案库系统中 3 73 7 资料安全控制 作为企业的集中式多媒体数据管理系统 系统安全尤为重要 安全性可以 从两方面来考虑 用户操作安全与数据安全 技术方案充分考虑到了系统的操 作权限与数据安全管理 从用户操作使用的权限控制来讲 系统可以限制用户的数据上载 访问权 限和针对不同级别的存储资料做出不同的浏览权限的设定 最大限度的保护资 料资源的安全 具体如下 A 系统管理的权限 整个系统是一个软硬件结合的系统 它要涉及不同的管理比如网络管理 数据库管理 这些人员在对自己职责行使权限时应该是经过系统授权 所有的 31 40 操作是在整个系统的安全控制范围之内 B 登录系统操作的权限 为了保证系统在安全有效的条件下进行运行 避免人为的干扰或破坏 在 系统中实现了严格的权限管理 任何人员都只能根据事先规划好的人员职能及 权限分配计划来使用媒资档案系统 不能越权操作 从而有效保证素材使用的 安全 有序 有效 保证节目制作按规范有序的进行 同时对每个操作使用人员以及网络管理人员的每一次操作 系统都有详细 的日志记录 系统管理员可以进行人员 部门 栏目的增加删除 建立人员的 登录口令 用机使用计划的制定 人员权限的设置 系统日志的管理等等 人 员信息可以储存在每个使用人员的身份认证卡上 系统为每位操作人员都设有用户帐号 用户帐号对每个操作使用人员都上 唯一的 用户在使用媒资档案系统以前 都有一个登录过程 只有用户名和密 码得到验证通过后才可以使用系统各项功能 C 对数据访