网络存储论文-网络存储发展趋势.doc

网络存储发展趋势分析2006.01.13毫无疑问，当我们逐渐步入信息化时代，企业的数据以及信息存储日益成为决定企业命运的最主要因素之一。如今，各个企业的业务数据中心都在以令人惊讶的速度高速增长，不但诸多操作平台上产生呈几何级数的增长的业务信息数据，而且在数据中心内部，系统和支持硬件在物理数量上也在不断增长。面对这源源不断的数据流和不断变化增长的系统和支持硬件，我们却发现，传统的数据存储架构（单一的服务器存储结构的直连存储形式）已经显得有些力不从心。幸好，网络的发展为数据存储提供了新的解决方案，网络的互联互通以及其所具有的开放性、可拓展性等特性不仅为日益增加的信息流提供了足够的存储空间，更为重要的是，它为信息的利用提供了最为快捷、方便的通道。于是，网络存储成为目前世界公认的一个必然的发展趋势，网络存储已成为继计算机浪潮和互联网浪潮之后的第三次浪潮。（一） 网络时代的网络存储技术分析.网络时代的到来使存储技术发生了巨大变化，从而进入了网络存储的时代。NAS（Network Attatched Storage ，网络附加存储）、SAN（Storage Area Network，存储区域网络）是存储领域近来十分引人注目的技术。它一方面能为网络上的应用系统提供丰富、快速、简便的存储资源；另一方面又能共享存储资源并对其实施集中管理，成为当今理想的存储管理和应用模式.1NAS技术。NAS系统拥有一个专用的服务器，服务器上安装着一个优化的文件系统和“瘦”操作系统，其作用类似于一个专用的文件服务器。这种专用文件服务器去掉了通用服务器原有的大多数计算功能，仅仅提供文件系统功能，用于存储服务。而且，NAS系统中的核心操作系统是经过特殊定制的，专门服务于文件请求且与主要的网络环境兼容.NAS存储系统的特点是通过基于IP网络的网络文件协议向多种客户端提供文件级I/O服务，客户端可以在NAS存储设备提供的目录或设备中进行文件级操作。当一个用户或应用程序试图访问文件时，经过解释的I/O请求被重定向到网络传输路径。这些I/O请求经过IP网络传输到NAS服务器端，由那里的网络文件协议接收，随后解包并处理客户端和块设备的映射关系，最后将正常的I/O操作请求交给服务器上的文件系统处理。虽然与直连存储相比，NAS结构已经在速度、可靠性等方面有很大的改善，但仍然存在一些难以解决的问题。其一是传输能力有限。在NAS中，数据的传输通过现有的局域网实现，但局域网原本是用来实现消息传递的，只适合短暂的突发数据传输，不能满足大容量连续数据传输的要求;同时，网络上大量计算机之间的通信也会占用有限的网络带宽，所以当网络规模较大时，必然会导致数据传输速率减慢。其二是可扩展性有限。虽然当存储空间不足时，在网络中增加一台NAS设备非常容易，但新的NAS设备要求有新的IP地址，无法与原有的NAS设备集成为一体，不能形成一个连续的文件系统，从而增加了存取和管理的复杂度。其三是数据备份能力有限并且不能对数据库服务提供有效的支持。通常，NAS设备不能支持存储设备之间的直接备份，只能采用基于网络的备份，这样会在数据备份时占用大量的网络带宽，严重影响网络上其他应用的运行，而且数据备份的速度也相对较慢。另一方面，由于NAS系统是面向文件的，采用的是NFS和CIFS这类网络文件访问协议，而不是块协议或数据库协议，因而使得NAS不能支持数据库服务。这一缺陷致使NAS的应用范围缩小了许多。不难看出，NAS技术的引入并没有解决根本问题，仅仅是一种过渡性的解决方案，真正解决问题还需要新型的网络存储技术。2SAN技术。 SAN是一种面向网络的存储结构，是以数据存储为中心的。SAN采用可扩展的网络拓扑结构连接服务器和存储设备，并将数据的存储和管理集中在相对独立的专用网络中，面向服务器提供数据存储服务。服务器和存储设备之间的多路、可选择的数据交换消除了以往存储结构在可扩展性和数据共享方面的局限性。通过协议映射，SAN中存储设备的磁盘或磁带表现为服务器节点上的“网络磁盘”。在服务器操作系统看来，这些网络盘与本地盘一样，服务器节点就像操作本地SCSI硬盘一样对其发送SCSI命令。SCSI命令通过FCP、iSCSI、SEP等协议的封装后，由服务器发送到SAN网络，然后由存储设备接收并执行。服务器节点可以对“网络磁盘”进行各种块操作，包括FDISK、FORMAT等，也可以进行文件操作，如拷贝文件、创建目录等。与DAS、NAS相比，SAN技术的主要优点包括以下一些：其一是为每台主机提供了更多的可控存储容量。SAN并没有提高单个磁盘驱动器的容量，也没有增加主机系统中支持的主机 I/O控制器的数量，但它能显著提高连接到每台主机I/O控制器的设备数。它还提供了通过级联网络交换机和集线器来扩展容量的方法。其二是可提供更高的传输带宽。目前光纤网络可提供2Gb/s的带宽，而千兆以太网可提供1Gb/s的带宽。此外，与共享带宽的总线和网络相比，使用交换网络的SAN为数据存取提供了更好的可扩展性，网络的传输带宽可以成倍地增长。其三是可提供更长的连接距离。SAN能以高速在很长的距离上运作，在采用光纤通道协议(Fibrc Channel Protocol,FCP)的FC-SAN中，使用单模光纤且不使用重发器，就可支持长达10公里的数据传输；而使用IP网络进行数据传输的IP-SAN则可以在广域网上传输数据，从而使数据的存取不再受区域的限制。其四是在数据可用和共享方面的优势。服务器和数据的分离以及面向网络的集中存储使数据的安全性和可用性大大提高。而且，利用SAN的远距离连接能力，通过数据镜像等操作，即使系统遭受区域灾害（如洪水、火灾、大规模电力故障等），也能很快完成数据的灾难恢复。同时，面向网络的集中存储和多路径的数据交换使数据共享变得非常容易。（二）未来趋势分析.在未来，网络存储将在以下几个方面得到发展。1. 基于InfiniBand的存储系统InfiniBand 是被用来取代PCI总线的新I/O体系结构。InfiniBand 把网络技术引入I/O体系中，形成一个I/O交换网络结构，主机系统通过一个或多个主机通道适配器（HCA）连接到I/O交换网上，存储器、网络通信设备通过目标通道适配器（TCA）连接到该I/O交换网上.InfiniBand体系结构把IP网络和存储网络合二为一，以交换机互连和路由器互连的方式支持系统的可扩展性。服务器端通过主机通道适配器（HCA）连接到主机内存总线上，突破了PCI的带宽限制，存储设备端通过终端通道适配器（TCA）连接到物理设备上，突破了SCSI和FC-AL的带宽限制。在InfiniBand体系结构下，可以实现不同形式的存储系统，包括SAN和NAS。基于InfiniBand I/O路径的SAN存储系统有两种实现途径：其一是SAN存储设备内部通过InfiniBand I/O路径进行数据通信，InfiniBand I/O路径取代PCI或高速串性总线，但与服务器/主机系统的连接还是通过FC I/O路径;其二是SAN存储设备和主机系统利用InfiniBand I/O路径取代FC I/O路径，实现彻底地基于InfiniBand I/O路径的存储体系结构。2采用DAFS技术。作为一种文件系统协议，直接存取文件系统DAFS可以在大量甚至过量负载时有效地减轻存储服务器的计算压力，提高存储系统的性能。DAFS把RDMA的优点和NAS的存储能力集成在一起，全部读写操作都直接通过DAFS的用户层RDMA驱动器执行，从而降低了网络文件协议所带来的系统负载。DAFS的基本原理是通过缩短服务器读写文件时的数据路径来减少和重新分配CPU的计算任务。它提供内存到内存的直接传输途径，使数据块的复制工作不需要经过应用服务器和文件服务器的CPU，而是在这两个物理设备预先映射的缓冲区中直接传输。也就是说，文件可以直接由应用服务器内存传输到存储服务器内存，而不必先填充各种各样的系统缓冲区和网络接收器。DAFS可以直接集成到NAS存储服务器中，一方面实现高性能的数据传输，另一方面也可以更好地支持数据库管理系统，如Oracle数据库等。今后的NAS存储系统将采用DAFS技术提高系统性能，并且在性能和价格上与SAN存储系统进行有力的竞争。3NASD技术。NASD（Network-Attached Secure Disk）是CMU大学目前正在研究的网络存储项目，它是一个类似NAS存储设备的智能磁盘驱动器，但将管理、文件系统语义和存储转发相分离，仅实现基本的存储元语，由文件管理器实现文件系统的高层管理部分。它对外提供以太网、ATM等数据通信接口与IP网络相连，或者通过FC接口连接到SAN上。NASD设备嵌入了低层的磁盘管理功能并提供了可变化长度的对象存储接口。客户端可以直接存取NASD设备中的存储资源。文件管理器负责每个客户对NASD设备存储资源的存取控制和检查工作。存储管理器则负责NASD存储资源的映射管理和RAID管理等工作。因为网络通信可以通过公用数据网络采用普通的通信协议完成，因而NASD需要提供安全机制，目前采用的是基于私钥/公钥验证技术的安全机制。4统一虚拟存储。统一的虚拟存储将不同厂商的FC-SAN、NAS、IP-SAN、DAS等各类存储资源整合起来，形成一个统一管理、监控和使用的公用存储池。虚拟存储的实质是资源共享，因此，统一虚拟存储的任务有两点：其一是如何进一步增加可共享的存储资源的数量；其二是如何通过有效的机制在现有存储资源基础上提供更好的服务。从系统的观点看，存储虚拟化有三种途径:基于主机的虚拟化存储