网络存储技术在网络中的应用

XX 大学 XX 学院 课程论文 网网 络络 存存 储储 技技 术术 在在 网网 络络 中中 的的 应应 用用 学院 班级 学号 姓名 目录 一一 摘要摘要 1 1 二 二 正文正文 1 1 2 12 1 网络存储技术的分类网络存储技术的分类 2 2 2 22 2 NASNAS SANSAN 和和 DASDAS 的比较的比较 3 3 2 32 3 NASNAS 和和 SANSAN 的比较的比较 4 4 2 42 4 网络存储系统的特性要求网络存储系统的特性要求 6 6 三三 存储区域网络设计存储区域网络设计 7 7 3 13 1 存储系统设计原则存储系统设计原则 7 7 3 23 2 存储系统架构概述存储系统架构概述 8 8 四四 未来趋势分析未来趋势分析 8 8 4 1 4 1 基于基于 InfiniBandInfiniBand 的存储系统的存储系统 8 8 4 24 2 采用 采用 DAFSDAFS 技术 技术 9 9 4 34 3 NASDNASD 技术 技术 1010 4 44 4 统一虚拟存储 统一虚拟存储 1010 论高可靠集群技术在网络中的应用 1 一一 摘要摘要 随着信息化的迅速发展 越来越多的信息被数据化 网络数据 信息爆炸性的增长 使网络存储技术变得越来越重要 采用何种方 式完成数据的网络存储 如何提高网络存储的安全性 稳定性 如 何提高网络存储的效率是现在网络存储最关心的问题 就常见的 3 种网络存储技术的优缺点及应用范围进行了介绍和讨论 关键词 网络存储 直接连接存储 DAS 网络附加存储 NAS 存储区域网络 SAN 二 正文正文 信息是一个企业可持续发展的核心动力之一 信息的可靠存储 是一个企业得以正常运作和发展壮大的根本所在 随着越来越多的 关键信息转化为数字形式并存储在可管理的介质中 用户对存储和 管理信息的能力产生了新的需求 为更有效地使用和管理信息 用 户对信息系统的搭建 数据中心的建设 数据的管理模式 数据的 有效使用 信息存储介质的选择以及信息的安全存储等方面 提出 多样化的要求 以达到数据的最佳利用 网络存储设备提供网络信息系统的信息存取和共享服务 其主 要特征体现在 超大存储容量 大数据传输率以及高可用性 要实 现存储设备的性能特征 采用 RAID 作为存储实体是必然选择 传统 的网络存储设备都是将 RAID 硬盘阵列直接连接到网络系统的服务器 上 这种形式的网络存储结构称为 DAS Direct Attached 论高可靠集群技术在网络中的应用 2 Storage 目前 按照信息存储系统的构成 SAN Storage Area Net work 和 NAS Network Attached Storage 是最常见的 种 选择 以网络存储中的主流技术 SAN 存储区域网 为例 讨论 一个 SAN 存储架构技术范例 以及如何在存储区域网中部署存储设 备 制定更加合理的数据存储备份机制 以构造出高可用性的存储 区域网络系统 2 12 1 网络存储技术的分类网络存储技术的分类 早期的存储系统是计算机系统的一部分 大多以存储设备形式 出现 计算机系统可以通过总线连接到磁盘 或者通过输入输出系 统和磁盘系统相连 或者是计算机基本 网络存储技上是以单机方 式工作的 随着网络的发展 数据的存储也逐渐由单机向多机方式 和专用机发展 数据的共享和传递也逐渐从依靠主机系统向依靠网 络系统发展 当前 应用业务系统有向多服务器 多数据源演变的 趋向 在大型企业应用和Internet发布系统中 安装数十台服务器 已经很常见 但过于分散的数据资源 会给访问和管理带来困难 因此 数据存储新问题备受关注 存储系统大致可以分成 种类型 1 直接依附存储系统 Direct Attached Storage DAS 直接 依附存储系统DAS又称为以服务器为中心的存储体系 其特征为存储 设备是通用服务器的一部分 该服务器同时提供给应用程序的运行 例如视频流 数据库等服务 数据的输入 输出由服务器负责 数据 访问和操作系统 文件系统和服务程序紧密相关 论高可靠集群技术在网络中的应用 3 2 网络依附存储系统 Network Attached storage NAS 这种存储方式多采用专用数据服务器 该服务器不再承担应用服务 称之为瘦服务器 Thin Server 数据服务器通过局域网的接口和 应用服务器连接 由于采用局域网上通用数据传输协议 如 NFS CIFS等 所以能够在异构的服务器间共享数据 这一点在 Windows和UNIX混合环境下是十分重要的 3 存储区域网络 Storage Area Network SAN 存储区域网 络SAN采用高速数据连接光纤通道 Fiber Channel FC 连接服务器 和存储系统 从结构上看 服务器和数据存储系统相互独立 将设 备连接到FC集线器或交换机上 便于扩展系统规模 FC的传输速率 和可靠性极高 能够满足当前音 视频业务的需求 在SAN中 所有 的存储设备和存储数据均可采用中心化管理 使得整个存储系统具 有可伸缩性 2 22 2 NASNAS SANSAN和和DASDAS的比较的比较 1 独立性 存储系统的独立性反映了服务器和存储系统间的依 靠程度 独立性越强 服务器和存储系统之间的相关性就越小 实 际上 独立性强的存储系统可以自成体系 不必考虑和服务器物理 连接的细节 2 带宽和瓶颈 在传统存储系统中 应用程序必须通过服务器 访问存储设备 考虑到所有的访问都必须穿透服务器 轻易形成瓶 颈 因此要求服务器有很大的吞吐速率 LAN的速率和服务质量 QoS 取 决于网络类型 论高可靠集群技术在网络中的应用 4 3 共享性 在传统存储服务器体系中 存储设备并非直接面向 网络用户或应用程序 而是以服务器作为访问的人口 作为存储设 备 无论是硬盘 还是阵列 都是间接地提供数据共享服务 真正 意义上的物理连接只有服务器的连接 NAS具有数据存储独立性 可 以通过LAN上运行的NFS CIFS协议实现数据共享 SAN直接支持服务 器和存储系统之间的多对多连接 具有共享特性 4 可扩展性 DAS体系只能通过增加服务器和磁盘存储量来扩 展容量 单一扩展容量几乎不可行 业务增长造成的访问流量增加 会使服务器成为瓶颈 而扩展服务器价格过高且管理难度加大 NAS 可以通过扩展I 0节点而增加容量 其带宽可以通过新增的网络接 口而得以提高 SAN具有可扩展性 可增加存储设备而实现系统扩充 5 可管理性 传统的DAS造成企业中有大量的服务器和存储系 统 其异构型和分布性使管理工作难以展开 NAS SAN均采用中心 化数据管理 便于控制网络上的每一个存储点 6 存储介质的多样性 虽然DAS可以采用多种存储介质 但是 它和服务器之间紧密的物理连接 在使用上受到较多限制 基于SAN 的存储系统内 存储设备和文件服务器被有效地分离 使得整个系 统可以采用多种存储介质 并且利用不同存储介质和设备的特征 通过统一的中心数据管理 建立多层次的异构存储体系 2 32 3 NASNAS和和SANSAN的比较的比较 NAS SAN和DAS相比而言 无论是从网络传输带宽 数据共享性 论高可靠集群技术在网络中的应用 5 还是从存储容量的可扩充性 数据的一体化和平安性等各方面来说 其优越性是不言而喻的 所以 现在众多的用户在对其存储方案进 行选择时 实际上也就成为对NAS和SAN的选择了 NAS和SAN有许多共同的特征 它们都提供集中化的数据存储和 整合优化 都能有效地存取文件 都能在众多的主机间共享并支持 多种操作系统 都能从应用服务器上分离存储 而且 它们都提供 数据的高可用性 都能通过冗余部件和RAID保证数据的完整性 NAS和SAN也有着一些不同点 首先 实施和维护的难易程度解 不同 上面曾提到 NAS的存储设备和众多访问客户的连接是通过标 准的LAN进行的 也就是说 直接将NAS存储设备接入LAN中就可以使 用了 管理者所要做的只是来定义网络存取权限或为每个用户定义 磁盘限额 而且由于NAS采用了热插拔和即插即用技术 所以在新设 备接人时无需关闭数据服务器或进行重新配置 新增的存储空间可 以立即为众多的应用服务器和客户机所共享 而SAN的存储设备和客 户之间的联系是通过专用FC集线器和交换机来进行的 假如客户端 增加 就要对交换机进行级连 这就大大增大了安装和设置难度 其次 二者的设备管理难易程度不同 由于NAS中每一个I O节点都 有自己的存储设备 而这些设备又没有一个统一的管理的界面 所 以管理人员就必须逐一管理每个NAS设备 从而使管理成本随网络上 的NAS设备的增多而线性增加 而SAN对整个网络中的存储设备的管 理 是采用SAN专用管理软件来进行集中式管理的 用户可以通过简 单的图形界面来管理不同平台和介质上的数据 也就是说 在SAN中 论高可靠集群技术在网络中的应用 6 其整个存储网络成为了一个集中化的存储池 这样 管理人员管理 起来就非常简单了 再者 NAS和SAN是管理对象也不相同 SAN管理 的是磁盘空间 而NAS管理的是文件 也就是说 SAN是个磁盘工厂 而NAS只是一个文件服务器 最后 也是最重要的一点 那就是二者 在性能上有所不同 NAS是基于传统以太网络的存取设备 虽然减轻 了服务器所承担的压力 但势必严重增加网络的负荷 2 42 4 网络存储系统的特性要求网络存储系统的特性要求 要达到存储系统独立的数据管理目标 对存储系统的特性有 如下几个方面的要求 按照重要性排列分别是 1 可靠性 数据集中到存储系统中 必然对系统设备的可 靠性提出更高的要求 同时需要建立数据备份 容灾系统进行配 合 提高数据安全性 2 可扩展性 网络时代业务发展的不确定性和数据的高速 膨胀 对独立于计算系统之外的存储系统 必然提出高可扩展性 的要求 这种扩展性并非是简单的容量扩展 同时还必须包括数 据处理能力 数据交换带宽和数据管理功能的扩展 3 兼容性 虽然存储系统已分离于计算系统之外 但今天 主机系统对数据的使用方式 仍旧以文件系统 数据库系统为主 要手段 存储系统要适应各种主机系统的数据I O要求 就必须能 够兼容各种操作系统 文件系统 数据库系统等各种传统数据管 理手段 4 可管理性 支持各种主流的管理协议和管理架构 能够 论高可靠集群技术在网络中的应用 7 与网络 计算机等各种设备统一管理和集中管理 能够在各种复 杂的环境中实现方便统一的设备和数据管理功能 5 性能 能够根据不同应用类型要求 提供带宽 IOPS IO Per Second 每秒IO操作数 OPS Operations Per Second 每秒并发操作数 ORT Overall Response Time 总 响应时间 等不同指标侧重点的性能服务 高端系统还应能够对 系统性能进行动态的扩展和调整 6 功能 各种数据迁移 数据分发 数据版本管理 数据 复制 在线扩容等数据管理功能 三三 存储区域网络设计存储区域网络设计 3 13 1 存储系统设计原则存储系统设计原则 为了确保存储的现场采集数据和运营数据万无一失 设计方 案满足以下几个要求 1 采用基于SAN的存储网络 保证数据高安全性 高可靠 性 高可用性等 个基本要求 支持在任何需要的时候增加存储 网络中的相关设备 服务器设备 存储设备等 能力 适应未来 的网络结构拓展和容量增加 2 考虑到由于设备 网络结构单点故障给未来系统运行带 来的不可预知的影响 在整体网络设计中硬件设备选型和数据链 路设计中全部采用冗余结构 设备选型在关键部件采取冗余结构 部件可以全部做到在线更换设计 数据通路利用软件功能配合硬 件的双链路设计 有效消除数据通路的故障隐患 论高可靠集群技术在网络中的应用 8 3 存储系统管理对每台主机的双链路做出统一管理 自动 侦测每条链路的完好性 一旦一条数据链路出现故障在没有用户 干预的情况下自动切换到健康的数据链路 保证数据访问的实时 性 另外 还具备数据流量的负载均衡能力 在每台主机可用的数 据链路中根据不同的策略 如应用程序的优先级别 每条链路的队 列长度等等 优化数据通路中传输的数据 从而充分利用双数据 链路连接的优势 3 23 2存储系统架构概述存储系统架构概述 存储系统采用存储区域网 SAN 架构 其中硬件设备包括高 端小型机 高性能PC服务器 企业级SAN交换机 企业级存储阵列 虚拟带库 磁带库 负载均衡交换机 小型机部分通过划分硬件 分区 定制和分配硬件资源来组成数据服务器集群 并在应用环 境中进行有效的负载均衡 多个业务应用系统部署在不同的硬件 小型机和PC服务器上 每个业务均有应用负载均衡配置 系统访 问认证 身份认证服务器通过F5 4层交换机进行负载均衡 高端 存储阵列通过快速的 专用的SAN网络交换机连接 并通过链路冗 余提高可靠性 存储阵列根据不同应用系统数据量的需求进行存 储空间划分 存储阵列硬件配置有主机柜和扩展柜 存储阵列之 间使用LVM Mirror 卷管理器 的数据镜像方式来实现本地冗余 数据备份 并配置硬件虚拟磁带库来提高数据备份性能 最终数 据可通过磁带库使用磁带备份介质进行异地保存 四四 未来趋势分析未来趋势分析 论高可靠集群技术在网络中的应用 9 在未来 网络存储将在以下几个方面得到发展 4 1 4 1 基于基于InfiniBandInfiniBand的存储系统的存储系统 InfiniBand 是被用来取代PCI总线的新I O体系结构 InfiniBand 把网络技术引入I O体系中 形成一个I O交换网络结构 主机系统 通过一个或多个主机通道适配器 HCA 连接到I O交换网上 存储 器 网络通信设备通过目标通道适配器 TCA 连接到该I O交换网 上InfiniBand体系结构把IP网络和存储网络合二为一 以交换机互 连和路由器互连的方式支持系统的可扩展性 服务器端通过主机通 道适配器 HCA 连接到主机内存总线上 突破了PCI的带宽限制 存储设备端通过终端通道适配器 TCA 连接到物理设备上 突破了 SCSI和FC AL的带宽限制 在InfiniBand体系结构下 可以实现不同 形式的存储系统 包括SAN和NAS 基于InfiniBand I O路径的SAN存 储系统有两种实现途径 其一是SAN存储设备内部通过InfiniBand I O路径进行数据通信 InfiniBand I O路径取代PCI或高速串性总 线 但与服务器 主机系统的连接还是通过FC I O路径 其二是SAN存 储设备和主机系统利用InfiniBand I O路径取代FC I O路径 实现 彻底地基于InfiniBand I O路径的存储体系结构 4 24 2 采用 采用DAFSDAFS技术 技术 作为一种文件系统协议 直接存取文件系统DAFS可以在大量 甚至过量负载时有效地减轻存储服务器的计算压力 提高存储系 统的性能 DAFS把RDMA的优点和NAS的存储能力集成在一起 全部 读写操作都直接通过DAFS的用户层 RDMA驱动器执行 从而降 论高可靠集群技术在网络中的应用 10 低了网络文件协议所带来的系统负载 DAFS的基本原理是通过缩 短服务器读写文件时的数据路径来减少和重新分配CPU的计算任务 它提供内存到内存的直接传输途径 使数据块的复制工作不需要 经过应用服务器和文件服务器的CPU 而是在这两个物理设备预先 映射的缓冲区中直接传输 也就是说 文件可以直接由应用服务 器内存传输到存储服务器内存 而不必先填充各种各样的系统缓 冲区和网络接收器 DAFS可以直接集成到NAS存储服务器中 一方 面实现高性能的数据传输 另一方面也可以更好地支持数据库管 理系统 如Oracle数据库等 4 34 3 NASDNASD技术 技术 NASD Network Attached Secure Disk 是CMU大学目前正在 研究的网络存储项目 它是一个类似NAS存储设