存储网络技术综述.doc

存储网络技术综述：存储网络的产生与未来发展 DoSTOR 2005-02-25 14:10 存储在线 1 存储与网络 由于计算机技术不断向更便宜，更有效的方向发展，早期的主机式计算机也从大型的中心式系统演化为便捷的，企业级的服务器。同时，网络技术也对计算机平台的演化产生了相应的影响。随着这两项技术的逐渐成熟，以及对计算机处理能力和相关数据需求的不断增长，更快，可达性更好的存储技术将得到更多的市场驱动，存储网络也因此而到来。 在过去的10至15年中，商业的模式发生了重大的改变。这其中，基于因特网的商业模式的爆炸性增长给信息的获取和存储技术带来了新的挑战。不断增长的对存储能力的需求使许多IT组织不堪重负，因此，发展一种具有成本效益的和可管理的先进存储方式就成为必然。 2 存储网络基础 2.1 SCSI SCSI是连接存储设备与服务器的最通用的方法。SCSI产生于1979年，是支持一到两个磁盘的8-bit的并行总线接口。这一协议不断发展，直至成为其他存储相关技术的基础。今天，串行SCSI成为了存储设备领域里，具有层结构和良好体系结构的协议族。 美国国家信息技术委员会所制定的T10标准，也就是SAM-2，为SCSI的实现提供了一个层次化的模型。这一框架包括SCSI驱动器软件，物理互联，命令实现以及存储管理。这些内容在一起为SCSI的互操作性和可扩展性提供了可能。它支持多驱动器类型，排队，多任务，缓存，自动驱动器ID识别，双向接口操作等内容。SCSI-3命令集将逻辑层转化为基于包的格式，从而为网络传输提供了可能。目前对串行SCSI有多种实现，包括Fibre Channel, Apples Firewire, IBM SSA等。最近又有iSCSI。 SCSI 标准共提供了三种可能的电气配置： 低成本的单端可选配置，适用于临近设备的连接，距离最大为6米； 较昂贵的HVD，可支持25米距离，具有较好的抗噪声性能； 最近提出的LVD，支持SCSI-3，作用距离可达12米。 随着基于因特网的应用的不断增长，不断加速的信息需求使得存储容量的增长速度超过了服务器处理能力的增长速度。一方面是服务器有限的内部存储极限，另一方面是不断增长的存储内容，这就要求服务器的存储外部化，以适应新的应用的要求。然而随着存储容量的不断增长和服务器的不断发展，在单一的服务器上实现同时对应用环境和存储环境管理就成为了一项新的挑战。将服务器和存储器分开虽然有助于提高这方面的管理能力，但是SCSI的25米极限，以及它的速度和共享能力，还是一个重要问题。 2.2 TCP/IP TCP协议和IP协议共同构成了通信协议族。这组协议是因特网获得成功的主要因素。一方面它们的扩展性很强，可以实现巨大的网络，另一方面TCP/IP也在因特网不同的使用者之间实现了安全和可靠的信息共享。由于这些特性的存在，使得因特网成为了一个真正的开放性网络，它可以支持数以百万计的家庭，学校，政府，公司直至世界的遥远角落。由于TCP/IP能够支持大量的网络技术，所以它完全有能力成为全球存储网络的基础。 2.3 Ethernet Ethernet是今天局域网领域得到最广泛使用的技术。它是IEEE802.3标准。最早是Xerox公司所开发。因为它是桌面电脑互联的最佳技术，所以得到Intel公司和Digital公司的进一步开发。它的发展经历了10Mbps到100Mbps再到1000Mbps的过程。现在，10Gbps的Ethernet也即将问世。 10Gbps的Ethernet和TCP/IP的组合为存储网络应用的实现提供了引人注目的解决方案。 2.4 Fibre Channel 大多数的存储域网络(Storage-Area Networks)都是基于一个叫Fibre Channel(FC)的体系结构。FC的发展是为了解决服务器和存储设备之间通信的诸多要求的。这些要求包括速度，容量，可靠性等等。目前它能够实现1Gbps及2Gbps的速率。它可以实现100MB/sec半工和200MB/sec全工的持续吞吐量。 3 体系结构基础 3.1 直连式存储(Direct Attached Storage) 由于早期的网路十分简单，所以直连式存储得到发展。到了二十世纪八十年代，计算由大型的集中式系统发展到灵活的客户端服务器分布式模型。正是尚处在初级阶段的局域网推动了这一转变。连接服务器的存储(Server-Attached Storage)和直连存储类似，但使用的却是分布式的方法，并仰赖与局域网的连接得以实现。随着计算能力，内存，存储密度和网络带宽的进一步增长，越来越多的数据被存储在个人计算机和工作站中。分布式的计算和存储的增长对存储技术提出了更高的要求。 今天，所有的存储操作都要通过CPU的I/O操作来完成。由于使用DAS，存储设备与主机的操作系统紧密相连，其典型的管理结构是基于SCSI的并行总线式结构。存储共享是受限的，原因是存储是直接依附在服务器上的。从另一方面看，系统也因此背上了沉重的负担。因为CPU必须同时完成磁盘存取和应用运行的双重任务，所以不利于CPU的指令周期的优化。 3.2 网络存储设备(Network Attached Storage) 局域网在技术上得以广泛实施，在多个文件服务器之间实现了互联，为实现文件共享而建立一个统一的框架。随着计算机的激增，大量的不兼容性导致数据的获取日趋复杂。因此采用广泛使用的局域网加工作站族的方法就对文件共享，互操作性和节约成本有很大的意义。NAS包括一个特殊的文件服务器和存储。 NAS服务器上采用优化的文件系统，并且安装有预配置的存储设备。由于NAS是连接在局域网上的，所以客户端可以通过NAS系统，与存储设备交互数据。 另外，NAS直接运行文件系统协议，诸如NFS，CIFS等。客户端系统可以通过磁盘映射和数据源建立虚拟连接。 3.3 存储网络(Storage Area Networks) 一个存储网络是一个用在服务器和存储资源之间的，专用的，高性能的网络体系。它为了实现大量原始数据的传输而进行了专门的优化。因此，可以把SAN看成是对SCSI协议在长距离应用上的扩展。 SAN使用的典型协议组是SCSI和Fibre Channel(SCSI-FCP)。Fibre Channel特别适合这项应用，原因在于一方面它可以传输大块数据(这点类似于SCSI)，另一方面它能够实现远距离传输(这点又与SCSI不同)。 SAN的市场主要集中在高端的，企业级的存储应用上。这些应用对于性能，冗余度和可获得性都有很高的要求。 3.4 SAN与NAS区别和联系 当我们对SAN和NAS进行比较时，我们发现这两种相互竞争的技术实际上是互补的。SAN和NAS是在不同用户需求的驱动下的独立事件。SAN是以数据为中心的，而NAS是以网络为中心的。概括来说，SANs具有高带宽块状数据传输的优势，而 NAS则更加适合文件系统级别上的数据访问。用户可以部署 SAN 运行关键应用，比如数据库、备份等，以进行数据的集中存取与管理；而NAS 支持若干客户端之间或者服务器与客户端之间的文件共享，所以用户可使用NAS作为日常办公中需要经常交换小文件的地方，比如文件服务器、存储网页等。越来越多的设计是使用SAN 的存储系统作为所有数据的集中管理和备份，而需要文件级的共享即File system I/O则使用NAS的前端(所谓前端,即只有CPU及OS，OS可以是windows 或Unix的内核或简化版,不包含盘体装载数据)，后端还是会集中到SAN 的磁盘阵列中采取数据，提供高性能、大容量的存储设备。 NAS和SAN在以下方面提供互补： (1) NAS产品可以放置在特定的SAN网络中，为文件传输提供优化的性能 (2) SAN可以扩展为包括IP和其他非存储关联的网络协议 从总体拥有成本(TCO)方面来分析，DAS由于单独部署的原因造成了总体拥有成本居高不下，部署SAN可以显著地节省用户的投资成本，而Cisco的多层SAN更可帮助客户再降低30的总体拥有成本，同时还提升了高可用性、存储虚拟化和复制能力等功能。 存储网络的演化就是基于DAS，NAS和SAN中最佳要素的融合，从而来满足以因特网为中心的商业对存储提出的越来越高的要求。 4 TCP/IP，Ethernet和存储网络相结合的多层环境 4.1 iSCSI iSCSI正是集合了Ethernet和IP的开放性，NAS的文件级存取，基于SAN的块级存取这四方面优点的混合产物。随着当今IP和Ethernet的激增，用户可以采用与构建因特网相同的基础来支持他们对存储网络的需求。服务器可以在运行TCP/IP的以太网卡上安装开放的iSCSI驱动，从而能够存取位于Fibre-channel上的SAN中的数据块。当今的用户可以利用基于TCP/IP的Ethernet来无限制的扩大他们的存储容量和带宽。iSCSI正是网络条件下的SCSI-3协议。 iSCSI为满足IT专业人员的特殊需求提供多种可能的拓扑。它可以部署为私有的，存储中心网。通过使用Ethernet，它还可以增加IPSec和防火墙以提高信息的安全。它也可以被设计成聚合的存储网络，既可以作为私人企业的解决方案也可以在公众网上以VPN的形式出现。理论上说，用户可以构建任何大小的网络以适应各种各样不同的需求，以降低用户在存储网络上的总体拥有成本(TCO)。 Cisco 在iSCSI技术上是市场的领导者，已经推出市场的有1个 FC 端口加1个千兆以太网端口的SN5420存储路由器及8个FC端口加2个千兆以太网端口的SN5428存储路由器，可满足不同客户对IP-SAN的发展需求。这些产品可根据需求作N1的备份，确保存储网络的高可靠性和稳定性。 4.2 FCIP FCIP(Fibre Channel over IP)是在TCP/IP上用管道技术来实现Fibre Channel的受推荐标准。它采用封装技术将Fibre Channel协议封装在IP包中，以使它能够通过IP网。已经拥有Fibre Channel网的用户可以通过调节他们已经存在的SAN以使它们能够扩展到城域网和广域网。FCIP正是这样一种将多个Fibre Channel孤岛连接起来的手段。 举个例子，FCIP可以用来连接地理上分开的Fibre Channel存储阵列，并实现数据的同步更新。这样一旦有数据遭到破坏，系统立即可以通过FCIP链路获得远端的热备份数据。这样做的好处是使数据具有灾难恢复功能，而这一点对于有些商业数据又是必不可少的。 4.3 SAN的应用 存储网络发展的主要推动力来自于它所产生的应用。这些应用在性能上，存储管理上和在可扩展性上都有一定的能力。下面是其中的一些应用： (1) 数据共享-由于存储设备的中心化，大量的文件服务器可以低成本的存取和共享信息，而同时也不会使系统性能有明显的下降。 (2) 存储共享-两个或多个服务器可以共享一个存储单元，这个存储单元在物理上可以被分成多个部分，而每个部分又连接在特定的服务器上。 (3) 数据备份-通常的数据备份都要依赖于共同的局域网或广域网设备。通过使用SAN，这些操作可以独立于原来的网络，从而能够提高操作的性能。 (4) 灾难恢复-传统上，当灾难发生时，使用的是磁带实现数据恢复。通过使用SAN，可以采用多种手段实现数据的自动备份。而且这种备份是热备份形式，也就是说，一旦数据出错，立即可以获得该数据的镜像内容。 4.4 将存储网络拓展到MAN Cisco完整光多服务边缘和传输(COMET)计划可以提供一整套全面的光网解决方案，它们可以利用各种可以支持语音、视频、数据和存储应用的创新技术，将用户的网络基础设施拓展到LAN、MAN和WAN。 COMET可以通过一个高速的、低延时的光学基础设施，支持各种存储网络应用，例如灾难恢复、数据复制、存储整合、存储外包和SAN互联。思科的密集波分复用(DWDM)技术可以在一对光纤上支持32个波长，从而可以满足SAN和MAN的迅速增长的需求。Cisco DWDM多服务平台可以在一个智能化的光传输基础设施上，集成网络、存储和传统应用。经过认证，思科的DWDM产品可以在主要的存储和管理网络服务环境中进行互操作，并且能够兼容多个厂商的技术，其中包括EMC、IBM、HPQ和MFN。此外，新一代SONET平台可以在城市运营商网络中为存储应用提供传输服务。 5 Cisco推动的新一代多层智能化存储网络 Cisco多层智能化存储网络可以降低目前要求最严格的存储环境的总体运营成本(TCO)。通过将业界最强大、最灵活的硬件架构与多层的网络和存储管理智能结合在一起，Cisco可以帮助客户建设高可用的、可扩展的存储网络，并为其提供先进的安全性和统一的管理。Cisco 多层智能化存储网络可以提供各种智能化网络功能，例如多协议/多传输集成，虚拟SAN(VSAN)，全面的安全性，先进的流量管理，完善的诊断功能，以及统一的SAN管理。 Cisco 多层智能化存储网络完全是为了实现高可用性而设计的。除了满足用户对于无中断软件升级和所有关键性硬件组件的冗余的基本需求以外，Cisco 多层智能化存储网络的软件架构还可以提供前所未有的高可用性。Cisco 多层智能化存储网络要求 Supervisor模块具有自动重启发生故障的进程的独特功能，这使得它变得非常强大。在某个Supervisor模块重启时(尽管这种情况很少发生)，在主Supervisor模块和备份Supervisor模块之间的完全同步可以确保在不中断数据传输的情况下进行全状态故障恢复。 Cisco 多层智能化存储网络将高可用性提高到了一个新的水平，确保了可以超过目前要求最严格的99.999%正常运行时间的超高可用性环境。 5.1 单一交换架构存储网络的扩展性 用户可以利用业界最强大、性能最高的ISL链路在交换层部署高可用性。端口通道功能让用户最多可以将16条物理链路集成到一个逻辑链路中。这个逻辑链路可以包括设备中的任何端口，从而确保了在某个端口、ASIC或者模块发生故障时，该逻辑链路仍然可以继续使用。在任何一条物理链路发生故障时，该逻辑链路能够继续运行，而不会导致重置。此外，交换结构最短路径优先(FSPF)的多路径功能可以为在16个等长的路径上进行负载均衡提供智能，并能在某个交换机发生故障时动态地重新设置数据传输的路由。 5.2 采用VSAN技术 Cisco 多层智能化存储网络在业界首次采用了虚拟SAN(VSAN)技术。这种技术可以在一个单一的SAN结构中创建多个基于硬件的独立环境，从而提高SAN的使用效率。每个VSAN都可以作为一个常规的SAN进行单独分区，并拥有它自己的交换服务，从而提高可扩展性和恢复能力。 VSAN不仅可以将SAN基础设施的成本分摊得更低，还可以确保数据传输的绝对隔离和安全，保持对各个VSAN的配置的独立控制。 5.3 有助于加强投资保护的多协议智能 Cisco多层智能化存储网络所特有的交换架构让它可以无缝地集成新的传输协议，以获得最大限度的灵活性。从光纤通道、iSCSI和FCIP开始，Cisco 多层智能化存储网络是一个强大的多协议平台，可以用于部署成本最优化的存储网络。现在，用户可以通过部署2Gbps光纤通道使用高性能的应用，利用基于以太网的iSCSI以低廉的成本连接到共享的存储空间，以及用FCIP在数据中心之间建立连接。Cisco多层智能化存储网络采用了独特的设计，可以支持未来的存储协议，因而用户可以无缝地移植到新的技术，同时保留一套统一的功能、服务和管理工具。 5.4 全面的安全性 为了满足人们对于在存储网络中实现无懈可击的安全性的需求，Cisco 多层智能化存储网络针对所有可能的被攻击点采用了广泛的安全措施。为了防范未经授权的管理访问，Cisco多层智能化存储网络采用了SSH、RADIUS、SNMPv3和角色访问控制(Role-based Access Control)等技术。为了防止攻击威胁到控制流量的安全，Cisco 多层智能化存储网络还采用了光纤通道安全(FC-SP)协议。FC-SP可以在整个交换结构中提供保密性、数据源认证和面向无连接的完整性。Cisco 多层智能化存储网络用VSAN技术确保了数据传输的安全，以隔离同一交换结构中的不同数据传输，并利用硬分区和软分区技术来满足VSAN中的传输隔离要求。基于硬件的ACL可以提供更加精确的高级安全选项。Cisco 多层智能化存储网络可以利用思科在保障全球数据网络中最敏感数据的安全方面所积累的经验，提供业界最安全的存储网络平台。 5.5 先进的诊断和故障修复工具 Cisco 多层智能化存储网络的多层智能包括多种先进的网络分析和调试工具。为了在大规模的存储网络中进行故障管理，Cisco 多层智能化存储网络利用FC Traceroute等命令来获取数据流的详细路径和时限，并利用交换端口分析工具(SPAN)有效地捕获网络流量。在捕获到流量之后，就可以利用Cisco Fabric Analyzer(一种内嵌的光纤通道分析工具)管理流量。此外，Cisco 多层智能化存储网络还集成了Call Home(自动通报)功能，以提高可靠性，加快解决问题的速度并降低服务成本。Cisco多层智能化存储网络可以为诊断和分析企业的存储网络提供最全面的工具集。 5.6 便于管理 要实现存储网络的潜在能力就意味着要提供相应的管理功能。为了满足所有用户的需求，Cisco多层智能化存储网络可以提供三种主要的管理模式：命令行界面(CLI)，图形界面Cisco Fabric Manager，以及与第三方存储管理工具集成。 Cisco 多层智能化存储网络为用户提供了一个统一的、接近的命令行界面CLI。CLI的语法与广为人知的Cisco IOS CLI的语法相同，因而非常便于学习，并可以提供广泛的管理功能。CLI是一个非常有效和直接的界面，可以为企业内部的管理员提供优化的功能。 Cisco Fabric Manager是一个反应迅速的并便于使用的Java应用，可以简化对多个交换机和交换结构的管理。Cisco Fabric Manager可以帮助管理员执行关键性的任务，例如拓扑发现，结构配置和验证，设置，监控，以及解决故障等。所有功能都可以通过一个安全的界面获得，从而让用户可以从任何地点进行远程管理。 Cisco Fabric Manager可以独立使用，也可以结合第三方管理应用使用。为了集成第三方管理工具和用户自行开发的管理工具，思科提供了一个范围广泛的API。 6 存储网络的未来发展 在DAS，SAS(Server Attached Storage)，SAN和NAS之间的区别正在变得模糊。所有的技术在用户的存储需求下接受挑战。传统的客户端服务器的计算模式将会演化成具有任意连接性的全球存储网络。在那种情况下，数据的利用率会得到提高。分布式数据也会得到更加优化的存储。 和其他领先技术一样，存储网络市