智能网络存储方案

第 1 页 共 11 页 智能网络存储方案智能网络存储方案 一 概述 目前 数字视音频网络和数据网络的大量应用成 为电视行业发展的必然趋势 这就要求提供更大 更 快 更有力的网络数据存储和共享途径 网络存储技 术无疑为我们提供了一个很好的选择 二 网络存储技术的分类 目前的网络存储技术大致分为三类 1 直接依附存储系统 DAS 又称为以服务器为中心的存储体系 如图一 所示 其特征为存储设备为通用服务器的一部分 该 服务器同时提供应用程序的运行 即数据访问与操作 系统 文件系统和服务程序紧密相关 当用户数量增 加或服务器正在提供服务时 其响应速度会变慢 在 网络带宽足够的情况下 服务器本身成为数据输入输 出的瓶颈 现在已渐渐不能满足用户的需求 不再为 大家所采用 2 网络依附存储系统 NAS 的结构是以网络为中心 面向文件服务的 在这 种存储系统中 应用和数据存储部分不在同一服务器 第 2 页 共 11 页 上 即有专用的应用服务器和专用的数据服务器 其 中专用数据服务器不再承担应用服务 称之为 瘦服 务器 数据服务器通过局域网的接口与应用服务器 连接 应用服务器将数据服务器视做网络文件系统 通过标准 LAN 进行访问 由于采用局域网上通用数据 传输协议 如 NFS CIFS 等 所以 NAS 能够在异构的 服务器之间共享数据 如 WindowsNT 和 UNIX 混合系 统 NAS 系统的关键是文件服务器 一个经过优化的 专用文件服务和存储服务的服务器是文件系统所在地 和 NAS 设备的控制中心 该服务器一般可以支持多个 I O 节点和网络接口 每个 I O 节点都有自己的存储 设备 3 存储区域网络 SAN 是一种以光纤通道实现服务器和存储设备之 间通讯的网络结构 如图三所示 SAN 的核心是 FC 其中的服务器和存储系统各自独立 地位平等 通过 高带宽 FC 集线器或 FC 交换机相连 可避免大流量数 据传输时发生阻塞和冲突 各应用工作站通过局域网 访问服务器 在各存储设备之间交换数据时可以不通 过服务器 这样就大 大减轻了服务器承受的压力 第 3 页 共 11 页 三 NAS 与 SAN 的比较 NAS SAN 与传统网络存储技术相比而言 无论 是从网络传输带宽 数据共享性还是从存储容量的可 扩充性 数据的一体化和安全性等个方面来说 其优 越性是不言而喻的 所以 现在众多的用户在对其存 储方案进行选择时 实际上也就成为对 NAS 和 SAN 的 选择了 NAS 和 SAN 有许多共同的特点 它们都提供集中 化的数据存储和整合优化 都能有效的存取文件 都 允许在众多的主机间共享并支持多种操作系统 都允 许从应用服务器上分离存储 而且 它们都提供数据 的高可用性 都能通过冗余部件和 RAID 保证数据的 完整性 NAS 和 SAN 也有着一些不同点 首先 实施和维 护的难易程度不同 上面曾提到 NAS 的存储设备与 众多访问客户的连接是通过标准的 LAN 进行的 也就 是说 直接将 NAS 存储设备接入 LAN 中就可以使用了 管理者所要做的只是来定义网络寸取权限或为每个用 户定义磁盘限额 而且由于 NAS 采用了热插拔和即插 即用技术 所以在新设备接入时无需关闭数据服务器 或进行重新配置 新增的存储空间可以立即为众多的 应用服务器和客户机所共享 而 SAN 的存储设备与客 第 4 页 共 11 页 户之间的联系是通过专用 FC 集线器和交换机来进行 的 如果客户端增加 就要对交换机进行级连 这就 大大增大了安装与设置难度 其次 二者的设备管理 难易成度不同 由于 NAS 中每一个 I O 节点都有自己 的存储设备 而这些设备又没有一个统一的管理的界 面 所以管理人员就必须逐一管理每个 NAS 设备 从 而使管理成本随网络上的 NAS 设备的增多而线性增加 而 SAN 对整个网络中的存储设备的管理 是采用 SAN 专用管理软件来进行集中式管理的 用户可以通过简 单的图形界面来管理不同平台和介质上的数据 也就 是说 在 SAN 中 其整个存储网络成为了一个集中化 的存储池 这样 管理人员管理起来就非常简单了 再者 NAS 和 SAN 是管理对象也不相同 SAN 管理的 是磁盘空间 而 NAS 管理的是文件 也就是说 SAN 是个磁盘工厂 而 NAS 只是一个文件服务器 最后 也是最重要的一点 那就是二者在性能上有所不同 NAS 是基于传统以太网络的存取设备 虽然减轻了服 务器所承担的压力 但势必严重增加网络的负荷 而 且无论存储磁盘的速度有多快 存取速度只可能与网 络带宽所允许的速度一样快 即 NAS 达到高性能的前 提条件是网络带宽足够 否则其性能将急剧下降 而 如果为了解决带宽问题而增设宽带网段 就势必丧失 第 5 页 共 11 页 NAS 价格较低 安装设置容易的优势 与 NAS 不同 SAN 构建于基于光纤的专用数据网络 可以提供极高 的带宽 不必担心由于带宽不足而引起的性能下降 可以说 NAS 和 SAN 各有其长短之处 在实际应 用中也各有不同之处 对于经济实力不足 有传统以 太网络 且急需扩充存储空间的用户 NAS 无疑是一 种便宜 快速的方案 而对于拥有强大经济后盾 对 网络性能要求较高及未来发展势头强劲的用户 则应 该选择 SAN 四 SAN 的现状和发展 1 现状 由于自身所具有的高速 集中化存储管理及几近 无限的扩充能力这些特点 特别适合对海量数据的视 音频数据进行存储 传输和实时处理 所以采用 FC 技术的 SAN 目前在很多电视台得到了推广 甚至已成 电视台运做的核心 在视频处理领域里 SAN 就像数 字视频网络中的大本营 不但承担着视频数据的存贮 迁移 交换 共享 而且掌管着网络设备的登记 删 除 查询 维护 可以这么理解 SAN 是电视台视频 网络的主干 在 SAN 网上可以挂接诸如新闻生产系统 非线性 xx 系统 广告非线性插播系统 数字化节目 库系统等 SAN 在日益广泛的应用中也暴露了一些缺 第 6 页 共 11 页 点和不足 SAN 网络仍然采用传统网络结构进行存储 操作 网络结构主要由交换机与集线器构成 将这些 传统规范的硬件应用于新的存储结构中 并应用传统 的网络管理技术进行存储管理 最终导致了系统的匹 配问题 SAN 系统出现之初 的确为我们解决了企业 数据存储与共享的问题 当存储数据达到 TB 级 高 带宽网络站点很多时就会出现很多问题 导致系统性 能严重下降 而第二代 SAN SDD 的出现 弥补了这 些不足 2 发展 新一代 SAN 其结构的核心是 SDD 它不是一个 更大的交换机 但它完成的功能更多 它将 交换 缓存 RAID I O 以及数据和文件的管理集于 一身 并可以完成数据和网络的管理 为数据交换提 供高带宽 高容错的集中存储访问 SDD 内部有两个 完全相同的组件 称之为 HSTD 每个 HSTD 有四个 100MB S 带宽流量的数据交换端口 称之为 HOST 这 样 每个 HSTD 就有 400MB S 的带宽 一个 SDD 拥有 两个 HSTD 的 800MB S 带宽 HOST 端口可直接与服务 器 工作站相连 也可与交换机相连 每个 HSTD 还 有一个 60 芯的数据总线用于和存储硬盘阵列相连完 成数据交换 其结构示意图如图四所示 第 7 页 共 11 页 SDD 利用 HSTD 组件省去了复杂的交换机间连接 并 将 RAID 控制器集成 前面的端口接服务器 也可以 连接交换机 后面的端口连接硬盘柜 这样一来 网 络结构变得非常清晰 简洁 可扩展性强 并且 SDD 对传输通道 硬盘通道 硬盘多重冗余 不仅提高了 带宽 又增加了安全保障 系统几乎永不死机 3 对比 带宽 在传统 SAN 方案中 应用 FC 而使带宽达 到了 100M 且其采用的 RAID 控制器是专门为点对点 通信而设计的 在较 少站点同时访问一个数据时有很好的性能表现 但当 有更多站点同时访问一个数据时 带宽将严重不足 使系统性能急剧下降 如果采用多硬盘塔来分担网络 带宽的方案 势必需要使用 switch 进行级连 这样 不但使网络的连接变得极为复杂 而且 switch 之间 的 100M 通道带宽就成为了网络的瓶颈 在 SDD 中 带宽可达 800M 并且采用新型 RAID 控制器 将 switch 的级连改为并联 消除了大规模网络传输中 的瓶颈 扩展性 传统 SAN 延用了 C S 的结构 其可升级 性与智能化都很差 若想进行系统升级则必须增加交 换机 RAID 控制器以及不同的控制软件 而且只能 第 8 页 共 11 页 使用交换机级连扩展站点 这种情况在网络规模较小 时 影响不大 但当网络的高带宽站点超过 10 个时 传统 SAN 的系统性能将越来越低 以至于不能构架大 型网络 这是因为传统 SAN 的 FC 交换机速度高 但 会在 SAN 中引入延时 为了增加接口而级连交换机也 会产生延时 当系统需要多台交换机时延时将十分明 显 并将使数据处理性能下降 在 SDD 网络中 FC 交换机都与 SDD 控制器相连 处于并行工作状态且互 不影响 当站点增加时 不用交换机级连 只需将新 的 FC 交换机接入 SDD 即可 不用改动以前的连接 带宽得到线性增长 能构架大型网络 稳定性 安全性 从图四中可以看出大型网络在 站点 增多后传统 SAN 需要 FC 交换机二级连接 增加了连 接点 RAID 控制器 电缆等 故障发生点增多 同 时故障源难以确定 维护难度大 而 SDD 网络结构简 单 连接点少 出错的机率小 易判断出错点 如图 五所示 比较图五与图四可以看出 在相同网络规模 下 SDD 网络结构连接简单 故障点少 在存储硬盘 与 SDD FC 交换机与 SDD 之间都采用双链路备份 容 错能力强 RAID 结构 在一个传统 RAID 环路中对磁盘的访 第 9 页 共 11 页 问是顺序的 降低了 RAID 卷的读写能力 一个环路 硬盘数量有限 硬盘卷的容量太小 当总存储容量达 到 TB 级以上时 系统会出现十几个盘符 降低了系 统的稳定性能 使管理难度加大 如果在 NT 下做带 区集 首先降低系统安全性 消耗系统资源 另外带 宽也会下降 同时传统 RAIDFC 硬盘塔当某一硬盘发 生故障时 不会影响整个 RAID 组 但可怕的是如果 盘塔发生故障 将导致其上整个 RAID 组数据丢失 而 SDD 的 RAID 则是在盘塔之间做 RAID 这样当一个 盘塔发生故障时 整个 RAID 也不会出现问题 大大 提高了存储系统的容错能力 同时 SDD 是在 10 个 磁盘通道上做 RAID 读写一个 RAID 时 对磁盘的访 问是同时并发的 充分利用了系统的多通道 高带宽 的性能 另外 SDD 的 RAID 结构采用两级 RAID 即在 RAID3 的基础上再将多个 RAID 组以 RAID0 方式捆绑 这样做一方面单个盘符容量大大增加可达几 TB 使 存储数据得到充分共享 另一方面 带宽集中利用 单个分区的带宽可达 360Mb s 以上 升级能力 性价比 由于随着存储容量 站点的 增加 传统 SAN 需要增加大量设备如 FC 交换机 硬盘塔 RAID 控制器等 导致成本急剧上升 扩展 系统结构复杂 又使维护成本上升 在 SDD 网络扩充 第 10 页 共 11 页 时 只需增加少量交换机和硬盘 整个网络结构不变 维护成本不增加 有效保护了用户的投资 另外 SDD 可以重新使用传统结构中的硬件以节省投资 除了以上性能提高 SDD 还具有传统 SAN 不具备 的优势 ZONING 能力 可以在 SDD 控制器中做 ZONING 这样可以指定 工作站可以看到哪些 LUN 提高系统的安全性 并使 跨平台连接的安全性得到保障 提供了 SDD 用户注册 的审查 对非法注册提出警告 全部的安全工作都将 被记录 CACHE 的集中使用 SDD 系统 CACHE 非常大 可达 5GB 并且这些缓 存集中使用 可当应急硬盘使用 极大的提高利用率 提升系统性能 而传统 SAN 系统总的 CACHE 虽然也非 常大 但却是分散使用 每一块对于视频采集和回放 都太小 没有利用价值 五 总结 传统 SAN 适用于小规模的存储网络如小