同有数字化图书馆存储备份方案(san).doc

数字化图书馆存储备份解决方案数字化图书馆存储备份解决方案 北京同有飞骥科技有限公司北京同有飞骥科技有限公司 数字化图书馆存储备份解决方案 北京同有飞骥科技有限公司 1 目目 录录 第一章第一章 概概 述述 2 第一章第一章用户现状与需求分析用户现状与需求分析 4 1 用户现状 4 2 需求分析 4 第二章第二章解决方案解决方案 7 1 系统拓扑结构图 7 2 存储系统硬件配置 7 3 存储系统的构建 8 第三章第三章产品介绍产品介绍 15 1 NetStor DA9210F 系列磁盘阵列 15 第四章第四章报价报价 18 1 相关软件报价 18 2 相关硬件报价 18 数字化图书馆存储备份解决方案 北京同有飞骥科技有限公司 2 第一章第一章 概概 述述 数字图书馆这个概念从开始流行到现在不过十年左右的时间 而在国内成为图书馆界 IT 业乃至整个社会的热点甚至焦点则只是近几年的事情 美国人在 90 年代初提出这个概念 是出于为高速宽带互联网进行应用准备的考虑 因此 数字化图书馆是作为驱动多媒体海量 数字信息组织与互联网应用问题各方面研究的技术领域而被纳入美国的信息高速公路计划 NII 的 同样 在国内的数字化图书馆研究界 IT 技术出身的研究者也往往倾向于把数字化 图书馆看作一个 IT 技术的应用子集 认为它其实与图书馆的关系远不像名词使用上显示的那 样紧密 然而把 digital library 一词翻译成 数字化图书馆 而不是 数字化资料库 这个可能有些偶然 的事实 给了图书馆界一个不可多得的机会 使图书馆的未来发展与数字化图书馆技术的发 展紧密地联系起来 把图书馆界多年来在自动化 电子化方面的努力纳入数字化图书馆技术 发展的运行轨道 达到这一点 不仅确立了图书馆界在数字化图书馆技术和理论研究上的主 导地位 也为数字化图书馆技术的发展提供了厚实的应用和需求基础 传统图书馆最主要的职能是收藏 并在对所收藏的图书资料进行保存和组织的基础上为 读者提供各种服务 媒介是信息传播的载体 传统媒介包括图书 报纸 杂志 单据 票据 文件 广播和电视等 传统的纸张作为信息媒介存在着巨大的浪费 以图书为例 成千上万 册的书经过印刷 存储 运输 批发 销售等环节后才能送到读者面前 这样不仅成本巨大 浪费资源 而且环节众多 流通不便 造成的后果是 大量堆积的纸张难以管理和保存 信 息无法检索和查找 更谈不上信息的增值 Internet 使得信息传播方式发生了变革 海量的信息可以通过低廉的传输成本在网络上 传送 用户可以有选择地获取和使用需要的内容 电子化的信息数据不仅节约了传播的成本 同时加快了信息的增值 因此信息资料的数字化成为未来信息社会的基本需要 数字化媒介 是媒介信息的电子化表现形式 一方面可以代替传统媒介表现出相同的文字 声音和图像等 信息 另一方面可以方便地管理 查询和阅读 并且通过现代网络技术进行传播和安全保护 数字图书馆是一个电子化信息的仓储 能够存储大量各种形式的信息 用户可以通过网 数字化图书馆存储备份解决方案 北京同有飞骥科技有限公司 3 络方便地访问它 以获得包括多媒体在内的各种信息 并且其信息存储和用户访问不受地域 限制 随着信息技术的发展 需要存储和传播的信息量越来越大 信息的种类和形式越来越 丰富 数字图书馆是一种运行在高速园区宽带网络上的 可跨库检索的海量数字化信息资源 库群 对有价值的图像 文本 语音 影像 影视 软件和科学数据等多媒体信息进行收集 进行数字化加工 存储和管理 实施知识增值 并提供基于网络的电子存取服务 这样的应 用无疑对存储系统的要求很高 既要求高可用性 高可靠度和大容量 还需要低成本和易安 装管理 数字化图书馆存储备份解决方案 北京同有飞骥科技有限公司 1 第二章第二章 用户现状与需求分析用户现状与需求分析 2 1 用户现状用户现状 XXXX 数字图书馆经过前几年的建设 已经建成了一个能在网上提供数据检索 资料查 询 网络服务等多种应用功能的大容量数据中心 但随着读者数量突破百万 资料数据也越 来越多 大容量 安全高效的存储设施就显得尤为重要 XXXX 图书馆传统的存储设施显然 不能满足这些需要 为适应未来数字化图书馆的需要 XXXX 图书馆开始大幅度提高存储设 备的容量 考虑到 XXXX 图书馆目前的存储容量和未来 5 年数字资源增长趋势和应用需求 本次扩容的总存储容量定位在 TB 级 这些容量主要包括馆藏资源数字化全文存储 多媒体 资源存储 全文数据库镜像 光盘镜像存储和其他数字化资源和服务 XXXX 数字图书馆的借阅管理系统 数据库系统作为联机事务处理系统 要求一天运行 24 小时 每周 7 天不间断地运行 像借阅系统 假如中断 其后果不堪设想 而且绝对不允 许数据丢失 在系统的日常运行中 经常有纠正错误数据 更新数据等工作 需要维护人员 的干预 如果系统的可维护性不好 必然导致维护人员忙于日常应付 包袱越背越重 数字化图书馆存储备份解决方案 北京同有飞骥科技有限公司 1 2 2 需求分析需求分析 应用系统分析应用系统分析 所谓数字图书馆 就是在网络上建立网站 让网络用户能进入图书馆的 Web Server 再通过馆内 TRS 全文检索系统 链接到各个文件服务器上 从而能够网上检索 阅读图书文献 等资料 实现图书馆式的服务功能 但随着图书馆图书收藏量的大幅度增加 现有文件管理器 的存储量就显得有限 图书馆需要一种既经济又高效的资料存储方案 这正是目前数字化图书 馆建设的当务之急 目前大多数数字图书馆的软件是由三个部分组成的 Web 服务器 数字图书资料 图书 检索系统 而其中存储需求最大的当属数字图书资料部分 如果以传统的存储方式 如磁盘 阵列来存储数字图书资料 势必会造成存储成本过高 存储不能集中 不便于进行合理的管 理 而作为目前增长速度最快的存储方式之一的 SAN 以其特有的管理方便 安全性高以及 扩充方便等特点 成了图书馆数字图书资源存储的最佳方案之一 对于借阅系统 数据库等系统来说 应用 数据 系统的高可用建设也是必不可少的 应用高可用系统中我们可以采用双机热备或多机集群的方式来实现 数据的高可用我们可以 通过对应用数据定期的数据备份来解决 容量分析容量分析 以国内某数字图书馆应用软件的图片格式 PDG 为例计算 一所大学数字图书馆的总容 量 按照平均每册书有 300 页来计算 每一页的大小约是 35KB 一本书的大小是 35KB 页 300 页 10500KB 10 3MB 那么 按照一所大学图书馆现有的藏书量 80 万册计算 10 3MB 册 800 000 册 8240 000MB 8046 9GB 7 9TB 几年后这所大学图书馆的藏书量会达到 150 万册 10 3MB 册 1500 000 册 15 450 000MB 1 5087 9GB 14 7TB 数字化图书馆存储备份解决方案 北京同有飞骥科技有限公司 2 数字图书馆内容分析数字图书馆内容分析 数字图书馆显然不会只有图书 它会集成音频 视频 多媒体等各种其它形式的媒体资 源 创造出一个前所未有的阅读新空间 例如 读者在数字图书馆查找 红楼梦 不但可以 看到纸本图书的借还书状态 还可以阅读到数字图书 红楼梦音乐以及 红楼梦 电视连续 剧等 如此丰富的媒体资源存放在光纤磁盘阵列上是最合适的 因为光纤磁盘阵列已经被广泛 用于多媒体应用环境中 例如 电视台的非线性编辑 小区电影点播等系统 光纤磁盘阵列 能够提供很高的持续带宽 在大用户量访问的情况下 依然能够提供较高的数据传输带宽 数字图书馆建设模式分析数字图书馆建设模式分析 电子图书的出现使得用户不必再花费力气将现有的一些通用的书籍进行数字化 从这个 角度看 大学的图书馆可以先选取一些通用的数字图书 大概 25 30 万册 然后再着手特 色馆藏图书的数字化工作 根据这一模式 我们建议客户分阶段进行数字图书馆的建设 第一阶段先满足现有的需求 以选取超星资源库中 25 万册图书计算 大概需要 2 3TB 左右的存储容量 第二阶段按每年图书数字化速度是 3 万册计算 系统需要 3TB 左右的存储容量 以后 可以逐步扩展存储容量 技术分析技术分析 我们建议客户分阶段建设数字图书馆 这是根据数字图书馆建设模式和充分保护客户的 投资角度来考虑的 从 IT 行业的发展趋势来看 光纤磁盘阵列在未来几年逐步扩充市场 而且在服务器中也出现了用 FC AL 来替代 SCSI 总线的产品 从保护用户投资的角度来看 现在如果购买 10TB 的存储设备 会是一种资源的浪费 通过刚才计算 第一阶段需求是 2 5TB 左右 每年会增长 300GB 400GB 在加上多媒体资料的增加 按 1TB 计算 每年的 存储需求量会在 1 3TB 左右 这样要在 5 6 年后才能达到 10TB 的容量 随着光纤硬盘的成 本不断地下降 可以为用户节省大量的资金 综上所述 我们建议客户采用以光纤磁盘阵列为主的 SAN 网络 数字化图书馆存储备份解决方案 北京同有飞骥科技有限公司 3 第三章第三章 解决方案解决方案 3 1 系统拓扑结构图系统拓扑结构图 数据图书馆基础存储解决方案 NetStorDA9210F 磁盘阵列 Server Brocade 3200 Web Ftp Server Mail Server 3 2 存储系统硬件配置存储系统硬件配置 NetStor DA9210F 系列磁盘阵列系列磁盘阵列 NetStor DA9000J 扩展模块扩展模块 Brocade SilkWorm 3200 系列交换机系列交换机 Qlogic QLA2310F PCI X 光纤通道卡光纤通道卡 数字化图书馆存储备份解决方案 北京同有飞骥科技有限公司 4 3 3 存储系统的构建存储系统的构建 3 3 1 方案设计原则方案设计原则 高可用性高可用性 高可靠性高可靠性 高扩展性高扩展性 充分保护用户投资充分保护用户投资 网络连接采用网络连接采用 SAN 存储局域网络 架构 保证系统的高性能 可在 存储局域网络 架构 保证系统的高性能 可在 SAN 网上任网上任 意增加存储设备 提高系统的存储容量 意增加存储设备 提高系统的存储容量 系统采用全光纤磁盘阵列产品 保证系统的高性能 系统采用全光纤磁盘阵列产品 保证系统的高性能 3 3 2 方案设计目标方案设计目标 所采用的磁盘阵列产品在结构上及硬件组成上完全是冗余设计 如阵列控制器 内部 2 条光纤环路 电源 风扇 链路控制器 双口光纤硬盘等 不存在单点故障 确保整套系 统的安全运行 磁盘阵列可采用不同的 RAID 保护级别 保证用户的不同需求 存储系统可提供高可扩展性 可在线扩容 有很好的投资保护 所有硬件均可支持热插拔 保证系统应用的连续性 系统升级不必停机 可在线升级 系统具有良好的开放性 不同厂家产品之间能够互连 系统支持多种主机系统及集群 系统 系统安全性很高 可根据用户的要求 完成数据的隔离或共享 可通过增加应用软件来支持物理通路的冗余连接 以提高安全性 可提供远程容灾功能来防止意外灾难引起的数据丢失 存储产品采用基于 Windows 的图形管理界面 维护简单 数字化图书馆存储备份解决方案 北京同有飞骥科技有限公司 1 3 3 3 方案描述方案描述 基础方案基础方案 根据数字图书馆第一阶段的实际需求 如选取超星资源库中根据数字图书馆第一阶段的实际需求 如选取超星资源库中 25 万册图书计算 大概为万册图书计算 大概为 2 3TB 左右的存储容量 左右的存储容量 我们建议采用 NetStor DA9210F 系列磁盘阵列系统 NetStor DA9210F 系列磁盘阵列支持双冗余电源 四路大功率风扇制冷系统 所有部件 均采用 CableLess 设计 均支持热插拔 可以在线更换 单台磁盘阵列最大容量为 2336GB 通过连接 JBOD 最大可以扩充到 18TB 支持现有的 0 1 0 1 3 5 10 30 50 等 RAID 级别 支持热备援盘及故障报警 保证了无人职 守环境下存储磁盘系统的安全性可靠性 NetStor DA9210F 系列存储系统 是最新一代 3U 高度 RAID 存储方案 它们的设计完全兼容 SES 技术 NetStor 独特的 已申请专利的散热 技术 完全解决了 10000 15000RPM 高速硬盘工作时产生的热量问题 前瞻性的产品设计 能够满足未来更高速硬盘工作时的散热需求 NetStor DA9210F 提供给用户的光纤通道存储解决方案 以其紧凑的设计工艺 高可用 性以及优秀的读写性能 完全迎合了当今数据中心的要求 完全能够满足客户数字图书馆项 目第一阶段建设的需要 中间采用 Brocade SilkWorm 3200 系列交换机 构 SAN 主体架构 SilkWorm 3200 双 冗余电源 8 个端口 2 Gbit sec 支持 Web 管理 分区管理等功能 同时 Brocade SilkWorm 3200 可以动态级连交换机 保证了用户在日后系统扩展时 交换机端口数量不够 时可以方便的扩展现有系统 同时采用 Qlogic QLA2310F PCI X 光纤通道卡分别通过 PCI 插槽给每一个服务器配备 光纤通道 同时采用数根 LC LC 5M 的光纤线缆将每一个应该服务器 数据存储设 备 NetStor DA9210F 光纤盘阵连接到中间光纤交换机 Brocade SilkWorm 3200 从 而构成数字图书馆 SAN 存储区域网络 数字化图书馆存储备份解决方案 北京同有飞骥科技有限公司 2 扩展方案扩展方案 NetStorDA9210F 磁盘阵列 Server Brocade 3200 Web Ftp Server Mail Server 扩展方案是在基础方案的基础上搭建起来的 主要是使用了两个 Brocade3200 交换机 每台服务器通过两块光纤通道适配卡 HBA 两条光纤线路分别接入到两台交换机上 提 供线路冗余 以提高系统的安全性 光纤阵列提供两个主机接口 它们分别接入到两台交换机上 以提供线路冗余和提高性 能 这时的容量可以达到 17 2TB 可以将客户图书馆的所有藏书的电子版都存储起来 NetStor DA9210F 在高度为 3U 的 19 英寸标准机柜里 能够水平的放置 16 块 1 英寸厚 度的光纤接口硬盘 随着用户对存储容量的需求 可动态地级连 NetStor DA9000J JBOD 来 扩展存储容量 最多可连接 7 个 JBOD 最大可以扩充到 18TB NetStor DA9000F 系列磁盘 阵列可灵活进行多种配置以达到用户对容量 性能以及功能的各种要求从而适应多样化的应 用环境 在本方案中 如果按照一所大学图书馆现有的藏书量 80 万册 需要存储容量 7 9TB 计 算 NetStor DA9210F 动态连接 3 个 DA9000J JBOD 其扩展后的总容量可达 9 3TB 完全 满足现有数据存储要求 以及今后数字图书馆第二阶段包括每年数据增长的要求 数字化图书馆存储备份解决方案 北京同有飞骥科技有限公司 3 3 3 4 方案优势方案优势 经过对这所大学数字图书馆项目的实际需求的分析 并从学校的实际情况出发 同时考 虑到今后系统的升级问题 特提出以上解决方案 该方案具有以下优势 1 数据安全性得到了充分的保障 具体体现在 数据安全性得到了充分的保障 具体体现在 数据本身的安全 NetStor DA9210F 支持多种 RAID 等级 0 1 0 1 1 0 3 5 在多数情况下 我 们推荐使用 RAID5 因为 RAID5 的硬盘使用率较高 是安全性较高的 RAID 等级 除了 RAID 等级上的保护之外 我们的阵列还可以根据用户的需求提供多个全局热备份磁盘 一 旦阵列中的任何一块磁盘出现问题 全局热备份磁盘都会立即工作 达到保护数据的目的 阵列控制信息的存储 一般的阵列其阵列配置信息 包括硬盘分组 RAID 划分等信息 都存放在阵列控制器 上 一旦控制器出现问题 那么存放在控制器上的配置信息就会完全丢失 即使更换新的控 制器控制信息也无法挽回 那么硬盘上的数据就会丢失 给用户造成无法估量的损失 NetStor DA9210F 光纤磁盘阵列的配置信息都存放在硬盘上 这样即使控制器出现问题 也不会影响硬盘上的数据 而且当 RAID 组中的一块硬盘出现问题 更换新的硬盘后配置信 息会自动复制在新硬盘上 确保了数据的完整性和安全性 逻辑设备的有效隔离 NetStor DA9210F 光纤磁盘阵列支持现在流行的绝大多数 UNIX 操作系统 WIN NT 和 WIN2K 以及 NetWare 操作系统 它是一个真正的跨平台的磁盘阵列系统 由于我们的磁盘 阵列支持多种操作系统 为了使安装了不同操作系统的服务器连接到阵列上不会识别到所有 的逻辑单元 我们的管理软件提供了 LANMapping 模块 这个模块允许你通过主机的 World Wide Name WWN 来控制开放系统主机对逻辑单元的访问 你可以限制某个或某些主机对 这个 LUN 的访问 这个功能可以使其它主机看不到被保护的 LU 或无法访问存在其上的数据 2 数据集中存储和管理 数据集中存储和管理 我们设计的基础方案和扩展方案都是构建在 SAN 网络基础上的 那么我们的方案就体 数字化图书馆存储备份解决方案 北京同有飞骥科技有限公司 4 现了 SAN 网络的最大优势和特点 数据集中存储和管理 NetStor DA9210F 光纤磁盘阵列 自带一套磁盘阵列管理系统 统一管理系统上的数据 提高了管理效率 而且可以在这个基 础上通过第三方软件提供诸如快照 同步 异步复制等应用 3 SAN 存储局域网 中的所有硬件设备 磁盘阵列 交换机都是按客户实际需求配置 并 存储局域网 中的所有硬件设备 磁盘阵列 交换机都是按客户实际需求配置 并 充分考虑到设备的安全性和可扩展性 整套系统可通过在线升级来满足客户的不同需求 充分考虑到设备的安全性和可扩展性 整套系统可通过在线升级来满足客户的不同需求 4 可以通过改变硬件配置 网络连接方式提高网络性能 可以通过改变硬件配置 网络连接方式提高网络性能 5 通过增加网络和存储设备来进一步增加网络容量 扩大通过增加网络和存储设备来进一步增加网络容量 扩大 SAN 规模规模 数字化图书馆存储备份解决方案 北京同有飞骥科技有限公司 1 3 3 5 系统的高可用性系统的高可用性 主机主机集群 集群 Option 如果用户要求的应用系统应该是一个 7 24 不停机的应用系统 为了保证系统的高可用 性 我们采用 RoseHA 高可用性软件对服务器中的借阅管理系统 数据库系统进行的保护 服务器中的一台宕机 另外其他服务器可以接管在其上面的数据库应用 保证了用户应用程 序的连续性 系统以 Windows 2000 Unix 为平台 NetStorDA9210F 系列磁盘阵列及相应集群软件为 核心 常用数据库及网络数据存放在磁盘阵列中 服务器只安装本地系统文件及集群软件 当系统启动后 集群软件首先启动高可用的管理程序 然后启动必要的服务和代理程序来监 控和管理系统服务 高可用管理程序通过专用网络适配器来监控 监测 诊断和管理硬件 软件服务 当集群软件高可用管理程序监测到某个服务或硬件发生故障并作相应处理后 可由用户 设定 仍不能成功时 则开始切换服务 将 IP 飘移到相同用户名的 Standby 服务器上 磁 盘阵列中的数据库由主服务器切换到从服务器 并恢复所有的服务功能 完成整个切换过程 平均时间为 40 秒 软硬件结合实现真正意义上的数据与系统分离 对硬件配置要求不高 服务器可采用不同或相差较大的配置 系统切换时间短 平均切换时间为 40 秒 为目前同类软件中最短 切换过程对应用程序无影响 无需重新启动或登录 系统效率高 因为整个系统中数据读写 管理及容错由磁盘阵列来完成 而系统服务器 故障纠错处理由集群软件来完成 而这两个都是相对独立的子系统 双机容错监控路径 10 100M 自适应网卡线路 既不占用主机 CPU 资源也不占用基础网络带宽 因此系统效率 高 这一点在实际的应用中得到用户的一致好评 数字化图书馆存储备份解决方案 北京同有飞骥科技有限公司 2 第四章第四章 产品介绍产品介绍 4 1 NetStor DA9210F 系列磁盘阵列系列磁盘阵列 灵活多变 模块化设计 光纤通道磁盘阵列灵活多变 模块化设计 光纤通道磁盘阵列 NetStor DA9000F 系列磁盘阵列提供灵活机动的 RAID 存储解决方案 以适应用户不断 发展变化的需求 基于模块化机箱设计 NetStor DA9000F 系列磁盘阵列具有强大的可升级 能力 每个机箱仅占 3U 空间 可容纳 16 个硬盘 而且 随着用户对存储容量的需求 可动 态地级连 NetStor DA9000F JBOD 来扩展存储容量 最多可连接 7 个 JBOD NetStor DA9000F 系列磁盘阵列可灵活进行多种配置以达到用户对容量 性能以及功能的各种要求从 而适应多样化的应用环境 NetStor DA9000F 系列磁盘阵列存储系统的性能随着磁盘数量的 增加而提升 存储容量随着 1 英寸硬盘厂商单盘容量的增长而成倍增长 NetStor DA9000F 系列磁盘阵列的设计提供了极高的可用性 该系统支持热插拔冗余 RAID 控制器 S E S ISEMS 环境监测电路 电池保护的镜像高速写缓存 双路大功率电源 和涡轮冷却系统 功能全面的存储管理功能全面的存储管理 NetStor DA9000F 系列磁盘阵列提供的存储管理软件可以在本地或远程设置 管理 监 测和调整盘阵的运行 自动呼叫功能提醒管理人员任何细微的异常情况 友好的基于浏览器 的图形用户界面充分描述盘阵的拓扑结构及运行状态 使发生的问题