（计算机应用技术专业论文）基于嵌入式ip存储技术的分布式集群存储系统.pdf

南京航空航天大学硕士学位论文 i 摘 要 客户机/服务器体系的成功应用将服务器的处理能力推到了新的高度，远远 超过了存储设备及相关的连接组件所能够支持的水平。 目前大多数对存储空间的 需求通过磁盘阵列、光盘库等硬件存储资源来解决，但此类设备价格昂贵，而且 存储空间的加大使检索速度受到影响。针对当前网络服务系统中的存储问题，本 文提出结合嵌入式技术与网络存储技术，建立起一个基于嵌入式 ip 磁盘阵列和 和主机服务器端网络分布式文件系统的集群存储系统， 并采用网络软 raid 的方 式保证了存储系统的容错性能。 本文采用的技术路线为： 由主机服务器端 linux 操作系统上的 ndfs 文件系 统模块负责对嵌入式 ip 磁盘组成的存储空间进行组织和管理，在该模块中应用 信息分散算法 ida 实现文件的冗余容错与并行读写， 并将其在 vfs 中进行注册， 使应用程序能够通过 linux 文件系统透明地访问分布在嵌入式 ip 磁盘上的文件。 所做的具体工作有： 对 linux 上 ndfs 文件系统模块的主要数据结构和过程 进行了构造和设计，为主机服务器端的存储管理软件提供了实现方法和总体框 架；设计与实现了嵌入式 ip 磁盘的硬件和软件部分，硬件设计与实现包括嵌入 式处理器以及各外围功能电路主要器件的选择， 各功能电路和整体电路设计与实 现及调试。软件部分的设计与实现主要包括启动引导代码的移植、linux 内核的 移植、应用软件的移植以及根文件系统的制作。 该嵌入式 ip 磁盘在局域网环境下进行了测试，性能达到了对文件网络传输 的预期要求，同时相对于基于通用计算机的 nas 设备具有体积小、功耗低、安 装扩展方便、成本低等优点。 关键词： 网络存储， 嵌入式 ip 磁盘， arm， 分布式文件系统， ndfs， sata， ida 算法，linux 基于嵌入式 ip 存储技术的分布式集群存储系统 ii abstract the success of client/server architecture promotes the ability of server to a new height,which overstep the level that storage equipment and its linked module support. at present,most requirements for storage space are solved by hardware resources such as disk array,cd storeroom and so on，but this kind of equipments are expensive, moreover the accretion of storage room will make the speed of search slow. aiming at the storage problem of network service system，this article proposes a method that combines embedded technology and network storage, establishs a network storage system based on embedded ip disk array and distributed file system on server,and introduces network software raid to guarantee the performance of error tolerance. the following are the technology courses this article introduces:the ndfs file system module in linux os on host server takes charge of organizing and managing all of the embedded ip disks，in this module，applying the information dispersal algorithm to implement redundancy and parallel access of files，and register the module in vfs，so that the applicat program can read and write files on embedded ip disks pellucidly. the following are the idiographic jobs:constructing and designing of the main data structure and process of ndfs file system module, providing realization method and main frame for the storage managing software on host server;designing and realizing hardware and software of the embedded ip disk.the hardware part includes the choice of processor and external circuit chip，the design of each functional and integer electro-circuit，and hardware debugging. the software part mainly includes transplant of the bootloader、 linux kernel and application， besides includes design of root filesystem. the implement of embedded ip disk has been tested in lan environment，its performance achieve anticipative target of transmission speed，and it has some strongpoints compared to nas equipment base on universal computer such as small volume，convenient install and high expansibility，low cost and so on. keyword： network storage， embedded ip disk， arm， distributed filesystem， ndfs，sata，ida algorithm，linux 基于嵌入式 ip 存储技术的分布式集群存储系统 vi 图表清单 图 1.1 基于 ep9312/ep9315 的 nas 设备的硬件方框图.4 图 2.1 das 存储方式示意图.6 图 2.2 nas 存储方式示意图.7 图 2.3 san 存储方式示意图.8 图 2.4 ip san 存储方式示意图.9 图 2.5 服务器集群的两种形式.13 图 3.1 本地与分布式文件系统应用场合示意图.18 图 3.2 nfs 工作流程图.23 图 3.3 并行文件系统示意图.24 图 4.1 存储虚拟化结构示意图.26 图 4.2 存储虚拟化的实现方式.27 图 4.3 文件分片的 ida 算法示意 .29 图 4.4 虚拟文件系统 vfs 结构图.30 图 4.5 应用系统结构框图.32 图 4.6 ndfs 逻辑结构图 .33 图 4.7 ndfs 文件分片模块程序流程图 .36 图 4.8 ndfs 文件传输模块程序流程图 .37 图 5.1 ep9312 硬件结构图.39 图 5.2 内部 bootrom 启动流程图 .41 图 5.3 嵌入式 ip 磁盘的组成结构框图.42 图 5.4 redboot 移植流程图.45 图 5.5 linux 源码体系结构 .47 图 5.6 文件传输效率比较.47 表 2.1 几种存储系统的特性比较.11 承诺书 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立 进行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容 外，本学位论文的研究成果不包含任何他人享有著作权的内容。对本 论文所涉及的研究工作做出贡献的其他个人和集体， 均已在文中以明 确方式标明。 本人授权南京航空航天大学可以有权保留送交论文的复印件， 允 许论文被查阅和借阅， 可以将学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或其他复制手段保存论文。 作者签名： 日 期： 南京航空航天大学硕士学位论文 1 第一章 绪论 1.1 引言 随着计算机技术的发展和计算机应用的普及， 计算机的作用已不仅是进行计 算的工具，其主要应用已逐渐转变为海量数据的存储与处理。存储技术在计算机 技术中的地位变得越来越重要。集成电路技术的发展使 cpu 速度有了显著的提 高，而磁盘等 i/o 设备受机械部件速度的限制相对提高不大，这就造成单机系统 的计算能力与 i/o 性能之间的差距越来越大，磁盘 i/o 越来越成为计算机系统的 性能瓶颈，于是人们提出将 i/o 操作分散到不同计算机上并行处理来提高 i/o 性 能。随着计算机网络的发展与网络带宽的不断增长，利用网络技术来提高存储系 统的容量、可靠性与可扩展性成为可能，网络存储技术在这种情况下产生和发展 起来。 网络存储技术打破了传统模式中存储设备高度依赖于计算机的限制， 将存储 能力与计算能力分离开来。这种分离首先解开了存储容量的束缚，实现真正意义 上的海量存储。其次，这种分离使得存储体系成为一种独立的基础设施平台，以 整体的形式为信息系统应用提供全面的支撑。 网络存储的最重要的两种形式是网 络连接存储(nas)和存储区域网络(san)。 nas 模式建立在现有 tcp/ip 网络的基 础上，实施过程较为简便，可以较为迅速地增加存储容量并提升数据共享能力。 san 则独立于传统网络之外，以高效率的光纤通道技术为存储建立专门的网络。 近年来，网络分布式存储已经成为存储技术发展的新趋势。分布式存储系统 可以将分散在网络中的存储资源组织起来，构成大容量的虚拟磁盘存储空间。分 布式文件系统是构建大规模的分布式存储系统必不可少的组成部分。 作为分布式 存储系统中数据的组织者与管理者， 分布式文件系统为上层的应用程序提供了对 存储系统的文件访问接口。 1.2 存储技术的研究和应用现状 存储产品可分为直连式存储（das）、网络接入存储（nas）以及存储区域 网络（san）三大类，从目前来看，在不同的需求下，构建存储系统可以应用不 同的存储方案 das、nas、san。das 技术仍是市场应用的主流；nas 技术逐 渐走向成熟；而 san 技术则从自身的不断完善向整套存储方案转变。 das 依赖服务器主机操作系统进行数据的 io 读写和存储维护管理，存储设 备与服务器主机之间的连接通道通常采用 scsi 连接，带宽为 10mb/s、20mb/s、 基于嵌入式 ip 存储技术的分布式集群存储系统 2 40mb/s、80mb/s 等，随着服务器 cpu 的处理能力越来越强，存储硬盘空间越 来越大，阵列的硬盘数量越来越多，scsi 通道将会成为 io 瓶颈，服务器主机 scsi id 资源有限，能够建立的 scsi 通道连接有限。das 目前已经相当成熟， 但在可靠性和扩展性方面难以另人满意。 nas 是网络服务器发展的产物，它来源于对服务器的配置、优化和操作方 面的改进，已经发展成为一类存储设备。nas 设备实际上是一台为客户机/服务 器提供文件访问和数据存储能力的专用计算机，由于它是一种专门的解决方案， 因而其主要组件都是专用的，并且针对网络上的文件 i/o 共享进行了优化。nas 设备的一个重要特性是即插即用， 这是由于 nas 以基于以太网的 tcp/ip 网络拓 扑结构相连接而利用现有的网络资源。 san 采用光纤通道技术，通过光纤通道交换机连接存储阵列和服务器主机， 建立专用于数据存储的区域网络。san 经过十多年历史的发展，已经相当成熟， 成为业界的事实标准。san 存储采用的带宽从 100mb/s、200mb/s，发展到目前 的 1gbps、2gbps。san 采用网络(tcp/ip、atm、fddi)技术，通过光纤通道交 换机连接存储系统和服务器主机。随着 ip 网络技术的发展，san 技术发生了质 的飞跃。 san、大型磁带库、磁盘柜等产品虽然都是很好的存储解决方案，但它们高 昂的代价和复杂的操作是资金和技术实力有限的中小企业不能接受的。nas 采 用 tcp/ip 网络进行数据交换， tcp/ip 是 it 业界的标准协议， 不同厂商的产品(服 务器、交换机、nas 存储)只要满足协议标准就能够实现互连互通，无兼容性的 要求。千兆和万兆以太网的出现和投入商用，网络带宽的提高大大提高了 nas 存储的性能。nas 几乎继承了磁盘列阵的所有优点，可以将设备通过标准的网 络拓扑结构连接，摆脱了服务器和异构化构架的桎梏。 nas 的缺点是网络传输数据的能力较差，数据备份不能实现集中化，数据 库的读写操作有限，不能集群。因此，如果能消除或减弱 nas 的上述几种缺点， 将会使存储系统的综合指标得到很大改善，具有很大的理论和现实意义。 1.3 网络软 raid 实现存储系统可靠性 为了保证存储系统的高可靠性，必须建立一个具有冗余功能的系统。raid 技术提供了一种使用普通磁盘构建大容量、高性能与高可靠性的存储系统的方 法。raid 可以将许多磁盘按照不同的数据布局（例如 raid 0、1、5、10 等） 组织起来，通过对分布在不同磁盘上的条纹单元的并行读写操作来实现数据访 问。raid 的性能比单个磁盘的性能好，因为各个磁盘可以并发读写。raid 是 由独立的磁盘所构成的冗余阵列，它在整个阵列中对数据进行分区，并提供恢复 南京航空航天大学硕士学位论文 3 功能。在一个驱动器发生故障时，校验信息可以从阵列中其它驱动器上的数据中 计算出所丢失的数据。数据按照最适合于恢复和保护策略的方式分布在阵列上。 raid 已经成为磁盘硬件容错功能的实际标准。然而，运用软件的方式同样 也可以实现 raid 功能。网络软 raid 是指不依赖专门的硬件设备（例如硬件 raid 卡），通过软件编程与 tcp/ip 协议在普通的计算机上实现 raid 功能， 具有成本低、配置灵活、可用性好、扩展性好等优点。可以采用分布式文件系统 的方式来实现。 分布式文件系统的主要目的是在多个远程计算机系统上为客户模拟非分布 式文件系统的功能。 分布式文件系统的文件服务允许程序可以象对待本地文件一 样存储和访问位于网络上其他主机的远程文件。 在几个服务器上集中存储文件可 以减少本地磁盘存储，更为重要的是可以使对数据的管理和存储更有效率。分布 式文件系统需要支持更多的负载，具有更高的可靠性，这种需求推动了这方面的 研究工作，也导致了文件系统性能的大幅度提高。 1.4 嵌入式技术与 arm 以嵌入式微处理器和嵌入式操作系统为核心的嵌入式技术是近年来一个新 的技术发展方向，目前已在一些领域得到了广泛的应用。在所有的 32 位嵌入式 微处理器中，以 arm 公司的 32 位 ip 核为基础的 arm 嵌入式微处理器，因其 高性能、低功耗、低成本、小体积以及完整的产业链支持，取得了巨大的成功， 并占据 32 位嵌入式微处理器的绝大部分市场份额。 目前，国内外有众多的半导体生产商设计生产基于 arm 核的嵌入式微处理 器，采用 arm 技术的海量存储设备已经投入生产，并且会有更加先进的产品。 其中，cirrus logic 的 ep93xx 系列（arm920t 核）高性能嵌入式 arm 微处理 器以其优化的片上性能，格外引人注目，在诸如工业控制、数字媒体服务器、自 动音乐点播机、机顶盒、智能存储设备以及 gps 装置等各个应用领域，为用户 提供了多种性价比选择。其中，ep9312/9315 的性能最为突出，其主频达到 200mhz，并且集成了 ide 控制器以及 1m/10m/100mbps 的以太网控制器1，可 以作为设计嵌入式 nas 设备的硬件选择方案。图 1.1 为基于 ep9312/ep9315 的 nas 设备的硬件方框图。 基于嵌入式 ip 存储技术的分布式集群存储系统 4 ram硬盘 cpu ethernet网卡 flash硬盘 图1.1 基于ep9312/ep9315的nas设备的硬件方框图 在整个软件设计中，应该选择一个合适的操作系统。整个操作系统要求体积 比较小、网络功能比较强、适于裁减、能被嵌入到 flash 中，并且有网络管理和 磁盘管理功能。针对这些要求，本文选择了 linux 操作系统作为软件平台，对其 内核进行了裁减，移植并编写了相关应用软件，从而实现了嵌入式 nas 设备的 功能。 1.5 论文工作 本文针对以海量数据为中心的网络应用系统中的存储 i/o 瓶颈问题， 分析了 当前各类解决方案的优缺点，提出将嵌入式技术与分布式文件系统理论相结合， 设计并实现了基于 nas 的分布式集群存储系统。存储节点采用自主设计的基于 arm 及 linux 的嵌入式 ip 磁盘，精简了软硬件设计，并对文件 i/o 和网络传输进 行了优化。服务器 linux 操作系统上分布式文件系统的实现基于 michael 0. rabin 的 ida 文件分片算法， 每个文件都被分割后存储在不同的 ip 磁盘上， 其 中包含一定的冗余信息，实现了文件的并行传输和冗余容错能力。阐述了 ndfs 文件系统模块的设计原则和方法，为应用程序访问网络 ip 磁盘上的分布式文件 提供透明性，用软件方式实现了 raid 的可靠性和高性能。 1.6 论文结构 全文共分六章，各章内容如下： 第一章 绪论。论述了论文相关背景及本文所作的研究工作，介绍了常 用的存储技术、网络存储技术的应用和研究现状，还对分布式 文件系统和嵌入式arm技术做了必要的概述， 最后列出了本文的 组织结构。 第二章 网络存储技术与嵌入式技术。介绍了网络存储技术的主要特点 和应用状况，对采用网络存储的重要意义进行了分析与阐述， 然后说明了嵌入式技术应用于网络存储领域的重要意义。 南京航空航天大学硕士学位论文 5 第三章 分布式文件系统。本章介绍了分布式与非分布式文件系统的主 要区别，重点描述了分布式文件系统的特点和需求，讨论了分 布式文件系统的结构和实现。 第四章 网络分布式文件系统ndfs的设计与实现。本章介绍了在linux 服务器上设计与实现ndfs的方法和过程，讲述了将其加入 linux内核中的实现方法。 第五章 嵌入式ip存储节点的设计与实现。本章介绍了作为分布式存储 节点的嵌入式ip磁盘的设计与实现，重点讲述了硬件和软件的 设计思想和流程。 第六章 全文总结与展望。 1.7 本章小结 本章提出了存储领域中面临的问题和现有存储技术的研究应用情况， 引入了 传统存储技术 das 的扩充网络存储技术的概念、分类以及各自的应用领域 和局限。 提出了论文要研究的问题将嵌入式技术应用于网络分布式存储方案 中。最后介绍了本论文的结构。 基于嵌入式 ip 存储技术的分布式集群存储系统 6 第二章 网络存储技术 2.1 网络存储技术概述 2.1.1 传统存储技术 das 传统的服务器连接存储(direct attached storage，das)是一种直接与一主机 相连的存储设备，网络客户端通过访问这台服务器来浏览存储设备上的信息。采 用 das 的好处是费用低、技术成熟、安装简单和对网络宽带的依赖程度低，但 也存在距离短、扩展性差和信息资源利用率不高的缺点。由于早期的网络十分简 单，直连式存储（das）是最先被采用的网络存储系统。在 das 存储体系结构 中，为避免出现单点错误，通常采用多个服务器共享一个存储系统。当需要增加 系统的存储容量时，一般采用增加磁盘阵列（raid）方式。das 存储方式如图 2.1 所示。 server server disk tape 图2.1 das存储方式示意图 das 曾经是一种流行的存储系统，目前在桌面计算机系统中仍然占绝对比 例， 但在服务器系统中渐渐不能满足大容量的存储需求， 于是出现了nas 和 san 等其他存储技术。 2.1.2 网络附加存储 nas 网络附加存储(network attached storage，nas)将存储设备连接到现有的网 络上，提供数据和文件服务。它一般由可带有大量存储设备的服务器、经过简化 南京航空航天大学硕士学位论文 7 的操作系统以及其上的文件系统等几个部分组成， 由于内置了与网络连接所需的 协议，因此使整个系统的管理和设置较为简单。网络存储系统（nas）包括文件 服务器和存储设备部件，nas 安装了预配置的存储设备，让主服务器从文件 i/o 操作中“解脱”出来，使该服务器成为一种优化的文件系统，操作系统不再实现 计算功能，仅提供文件系统功能，客户端直接通过 nas 系统与存储设备之间交 互数据。nas 直接运行文件系统，如 nfs、cifs 等，另外通过设置 nas 可以 实现在不同的客户端（如 nt 和 unix）之间共享数据。nas 存储方式如图 2.2 所示。 nas 设备 internet internet pc pc serverserver 局域网 nas 设备 nas 设备 图2.2 nas存储方式示意图 nas 产品包括存储器件（例如磁盘阵列、cd/dvd 驱动器、磁带驱动器或 可移动的存储介质） 和内嵌系统软件， 它能够支持多种应用协议 （如 nfs、 cifs、 ftp、http 等），还能够支持各种操作系统，如 unix/windows nt 等，而且在 不同的网络环境中使用也无需对网络环境进行任何的修改。nas 产品直接通过 网络接口连接到网络上，简单地配置 ip 地址后，就可以被网络上的用户所共享 使用。nas 适宜于通过 lan 传输存储文件和共享文件。nas 设备的优点：支持 基于嵌入式 ip 存储技术的分布式集群存储系统 8 异构系统的文件共享；部署方便；可扩展。nas 设备的缺点：网络传输数据的 能力较差；数据备份不能实现集中化；数据库的读写操作有限；不能集群。 2.1.3 存储区域网络 san 存储区域网络( storage area network， san)是一种在计算机和存储元素或在 存储元素之间传输数据的网络。san 工作在主网，一般是局域网(local area network，lan)的后面，从事与存储相关的工作，例如数据存储、备份、调度等。 在 san 网络中，所有的数据传输在高速、高带宽的网络中进行，san 存储实现 的是直接对物理硬件的块级存储访问，提高了存储的性能和升级能力。 光纤通道 san（fc-san）。与传统技术相比，fc-san 技术的最大特点是 将存储设备从传统的以太网中隔离出来，成为独立的存储区域网络；另一大特点 是完全的块级存储访问，从而保证了巨大的数据传输带宽。fc-san 技术的优势 是不受基于小型计算机系统接口( small computer system interface，scsi)存储结 构的布局限制，采用磁盘阵列集中存放数据；能够独立地增加存储容量；采用统 一的管理和备份，节约了大量的人力和物力；提供一个供访问者检索需要的数据 中心，更好地实现了数字资源信息共享。fc-san 采用高速的光纤通道构成存储 网络，是 san 的主流技术。图 2.3 为 san 的存储方式。 internet internet pcpc server server hba hba 光纤通道交换机 光纤通道存储设备光纤通道存储设备 图2.3 san存储方式示意图 fc-san 能够有效降低延迟， 避免拥塞。光纤通道为存储网络提供了无可 南京航空航天大学硕士学位论文 9 比拟的性能和效率。fc-san 在全双工的传输能力下，2gb/s 的光纤通道在理论 上能支持 200mb/s 的带宽。而实际上，在占用的服务器 cpu 资源不到 10%的情 况下，吞吐量就已经达到 195mb/s。其次，协议简单。根据信道体系结构的特征， 光纤通道标准把许多的协议处理分配到硬件上，其中包括流控制，程序分段和重 装，协议段执行，以及差错处理等。再次，实际吞吐量大。光纤通道支持块数据 的传输，使得可以在服务器占用最少处理资源的情况下，保证高效的海量数据传 输。最后，降低 cpu 的系统开销。光纤通道也使用了一个非常有效的存储器和 操作系统的接口hba(主机组件适配器)，它为 cpu 分担了输入输出处理功 能。 随着 ethernet 和 ip 技术的不断成熟和发展，基于 ip 的 san 存储集合了 ethernet 和 ip 的开放性及块存储多方面的优点，并以 ip 协议替代光纤通道协议 实现端到端的 san 存储。ip-san 的基础是传统的以太网和 internet。随着技术 的进步， ip 网络的带宽发展相当迅速， 1gbit/s 以太网早已大量占据市场， 10gbit/s 以太网也已整装待发， 而且ip-san的基础iscsi协议也得到了ibm、 cisco、 intel、 brocade、adaptec 等业界巨头的支持，这都为 ip-san 的快速发展奠定了基础。 采用 ip-san 可以将 san 为服务器提供的共享特性以及 ip 网络的易用性很好地 结合在一起，并且为用户提供了类似服务器本地存储的较高性能体验。ip-san 其实是在fc-san的基础上再进一步， 它把scsi协议完全封装在了ip协议之中。 ip-san 在价格和灵活性方面较 fc-san 有巨大优势，但在性价比上却没有过多 的优势。toe 的出现改变了这一情况，通过使用 toe，ip-san 几乎可以得到与 fc-san 相比拟的性能， 灵活性和成熟度方面也获得了质的飞跃2。 ip-san 的存 储方式如图 2.4。 iscsi protocolblock i/o protocol iscsi存储设备 ip network server 图2.4 ip san存储方式示意图 基于嵌入式 ip 存储技术的分布式集群存储系统 10 2.2 das、nas 和 san 体系结构比较 2.2.1 优缺点的比较 从软件角度看，上述三种类型存储系统的体系结构是不同的。在 das 中， 应用与存储是一体的，通过系统总线可以访问存储设备；nas 是应用与存储分 离的系统，应用服务器通过局域网(lan)访问文件存储系统，通常 nas 以标准 化访问协议(如 nfs) 提供服务；在 san 中，文件系统与存储系统完全分离，存 储系统实际上成为运行应用程序的数据服务器，二者以高速 fc 或 tcp/ip 网络 连接。 nas 只需要简单的安装和维护，nas 设备允许用户直接把可扩充的存储器 连接到已存在的 lan 上，使用具有工业标准的低成本的接口卡(nic)。由于这些 nic 并不为服务器提供卸载或是协议加速，因此限制了性能。但是，随着 dafs(directaccess file system)标准的出现，它在高性能、低 cpu 开支的连结上 支持网络文件系统如virtual interface体系结构使得nas设备有潜力与san 平起平坐。 fc-san 为存储网络提供了无可比拟的性能和效率，但它也有不足：有距离 限制，最大的可支持的距离为 30 公里。互操作性差，fc-san 是由多个网络相 互协作完成的， 需要统一的标准并得到遵守， 这需要时间。 复杂程度高， fc-san 需要由专业而且昂贵的光纤交换机和路由器来构建独立的网络，因此，需要经过 专门培训的专用人员进行安装和维护。以上原因还造成了较高的拥有成本。 ip-san 基于 ietf 标准组织制定的 iscsi 协议3，允许块存储数据在广泛使用的 ip 网络上传输， 使得最终用户能在 wan 的任何位置对存储网络进行存取。 iscsi 协议最大的优势在于它是依托于 tcp/ip 协议栈的，任何两台具有 tcp/ip 的主 机都可以通过 iscsi 协议实现设备级共享。也就是说，无论距离多远，无论中间 是何种网络介质也无论连接的两端主机运行的是何种操作系统，iscsi 都可以实 现跨平台的设备级的共享。基于 iscsi 的 ip 网络存储技术具有开放性好、易于 扩展、建设成本低等优点。 2.2.2 存储方案的选择 每种网络存储系统都具有优缺点及不同的适用范围。 在没有出现全新的既提 供数据共享又提供快速访问的存储系统之前， 目前市场上是各种存储系统产品并 存和互补的。在网络存储具体选型上，如果对存储系统容量要求不大，可以采用 das 方案，即采用 raid 技术构成的磁盘阵列能够获得较好的存储性能，又能 节约大量资金。如果对存储系统的容量和性能等有进一步要求时，可以考虑提供 南京航空航天大学硕士学位论文 11 的数据应用服务是偏重于文件级的或是数据块级的存储。前者应首选优秀的 nas 存储系统，后者可以选择 san 存储系统。在选择 san 存储系统时，如果 资金有限，服务器和存储设备较少，可以选择 ip-san 系统，但 ip-san 毕竟后 发展于 fc-san，其实际使用性能还要多方考察。如果主要注重系统性能，采用 fc-san 是不错的选择， 它不但提供了优良的性能， 还提供了良好的系统安全性， 但是要以付出相当于构建和管理 ip-san 和 nas 系统数倍资金为代价3。 表2.1 几种存储系统的特性比较 特性 das nas san iscsi 传输方式 块级数据传输 文件 i/o block i/o block i/o 网络架构 内部总线直连 ip 网 光纤通道专用网tcp/ip 网络 传输协议 ide或scsi 协议 nfs 封装 scsi 的 fc 协议 封装 scsi 的 ip 协议 性能 一般 较高 高 较高 存储连接距离 使 用ide和 scsi 接口距离 小于 20 米 理论上无距 离限制 10km 理论上无距离限 制 带宽 10mbps 1gbps 10mbps 1gbps 1gbps、 2gbps 1gbps 扩展性 不易扩展设备， 增删硬件需停机 易扩展 服务器、存储设 备可任意连接、 可在线增删设备 易扩展、可 在线增删设备 主要设备 主机、磁盘 阵列 主机、nas 磁盘阵列 主机、 fc 光纤网 络、 hba 卡、 fc 磁盘阵列 主 机 、 iscsi hba 卡、iscsi 磁盘阵列 备份 备份影响主 机性能 占用局域网 带宽 不占用 lan 带宽 不占用 lan 带宽 安全 ip用户可直 接攻击存储设备 ip用户可直 接攻击存储设备 存储网不同 于用户网，安全 性高 ip用户可直 接攻击存储设备 管理 分散 分散 集中 集中 成本 低 适中 高 适中 适用范围 适合中小单位文 件共享 适合中小型 但文文件共享 满足大中型单位 数据库的应用 适合中小型单位 数据库的应用 基于嵌入式 ip 存储技术的分布式集群存储系统 12 2.3 网络存储的应用前景 2.3.1 重要意义 随着计算机技术和网络技术的迅速发展以及计算机应用的普及， 计算机的作 用已不仅是进行计算的工具，其主要应用已逐渐转变为大量数据的存储与处理， 通过网络进行传输的信息量呈指数级增长。人类已经进入数字化的信息时代，在 社会生活的各个领域，信息扮演着十分重要的角色。据统计，全球每年都要产生 1020 亿 gb 的新信息，相当于每人每年要产生 250mb 的信息量， 而对于企 业来讲， 其业务系统不仅要有高效灵活的数据管理能力还要有灾难事件发生时的 容错和恢复能力，这对传统的存储技术形成了巨大的挑战，存储技术在计算机科 学中的地位变得越来越重要。 集成电路技术发展使 i/o 速度有了显著的提高，而磁盘等 i/0 设备受机械部 件速度的限制相对提高不大，这就造成单机系统的计算能力与 i/0 性能之间的差 距越来越大，于是人们提出将 i/0 操作分散到不同计算机上并行处理来提高 i/0 性能4。随着计算机网络的发展与网络带宽的不断增长，利用网络技术来提高存 储系统的容量、 可靠性与可扩展性成为可能。 由此基于网络的存储技术应运而生。 它可以为企业提供超大存储容量、 大数据传输率以及高系统可用性的信息存储和 共享服务。 近年来，网络分布式存储已经成为存储技术发展的新趋势。网络存储建立起 了独立的基于网络的存储架构， 从整体上改变了由服务器承担一切存储任务的模 式， 可以实现更高速的数据传输， 同时通过在应用系统之间共享存储设备及数据， 也可使服务器拥有访问更大规模数据的能力。借助于网络存储，用户事务可以绕 过 i/o 操作， 避免服务器之间不必要的数据迁移操作， 从而更为直接地访问数据。 网络存储解决了传统存储模式在存储规模和访问能力方面存在的问题。 2.3.2 发展趋势 目前，网络存储技术发展迅速，san 与 nas 结合、智能 san 等新的发展 方向已经受到了人们的重视5，除了传统的 fc 互联技术以外，基于 ip 的网络存 储技术也飞速发展起来，并体现出了其成本方面的优越性，由于 iscsi 标准的不 断发展和完善，使用 iscsi 互联技术的 ip 网络存储必将成为今后网络存储的主 要发展方向。总之，基于 ip 存储协议的好处在于它不关心基础的传输机制是什 么而直接提供了一条无需基于光线通道条件下，实现高速存储网络的方案，因此 南京航空航天大学硕士学位论文 13 为众多企业提供了高性价比的网络存储解决方案6，总体来说，随着条件的愈加 成熟，尤其是以太网技术的快速发展，基于 ip 协议的综合存储将会迎来蓬勃的 发展。 随着san和nas核心技术的发展，它们也将会受到微处理器及网络领域所产生 的外部变革的影响。这些变革中有许多都来源于网络，包括网络带宽的提高和数 据组织方式的改进； 其他的一些变革则产生于计算机系统的内部， 包括处理器i/o 处理性能的提高和磁盘综合性能的提高。 2.3.2 存储集群系统 集群技术已经广泛应用于数据中心的服务器设备上，其效果非常显著；它解 决了系统管理员通常遇到的系统可用性、可管理性和可扩展性等问题。现在企业 对存储的投资越来越多，存储系统日益庞大，因此企业存储管理员们在日常工作 中经常会遇到容量可扩展性、性能可扩展性、可用性、可管理性等问题。于是存 储设备开发商们借用服务器集群技术来解决这些存储问题。 集群存储系统的基本 原理是，所有的设备被整合到一个虚拟的存储池，组成一个透明化的全局文件系 统， 整个集群系统只能分配到一个驱动器盘符。 这样不仅可以缓解存储管理压力， 而且可以提高现有磁盘资源的利用率6；同时还增加了服务器共享数据的能力， 避免了因相同文件被重复备份而造成的不必要的资源浪费。 服务器的集群有如图 2.5 所示的两种形式。 基于嵌入式 ip 存储技术的分布式集群存储系统 14 server internet 接入网 局域网 server internet pcpc active-passiveactive-active 图 2.5 服务器集群的两种形式 两台控制器耦合在一起，互为冗余，如果其中一台设备发生了故障，另一台 将会自动顶替上，维持业务的连续性，这就是最简单的集群形式，称为 active-passive。凡是支持 active-passive 工作模式的冗余双控制器配置方案，两台 控制器中总有一台一直处于备用状态，从控制器并不会分担主控制器的工作负 载， 而且系统容量是无法扩展的。 而在另一种集群形式 active-active 工作模式下， 在两台控制器之间可以实现双向的失效切换和负载均衡分配。在分布式集群中， 所有的物理存储资源都被整合到一个虚拟的存储池内， 管理员们只需要留意一下 存储设备与服务器的连接方式，以及它所运行的应用程序类型就可以了，诸如配 置存储资源之类的琐碎事情都由系统自动处理，不需要管理员插手。 存储集群主要有两大类：一类是集群文件系统，一类是建立在集群的架构之 上的独立硬件设备。目前，开发集群文件系统软件有 ibm、ibrix、polyserve、 red hat、sgi 和 veritas 等公司。它们都是基于主机的应用软件，可将 san 网络 中分布的服务器集群在一起，提供一个统一的管理界面。之所以集群文件系统受 到用户青睐，主要是因为它们能够支持多厂商的存储设备，保护了用户的原有投 资。相比之下，如果采用硬件集群系统的话，就需要添置新的硬件设备，费用比 较大6。 南京航空航天大学硕士学位论文 15 2.4 其它技术与网络存储的融合 2.4.1 sata 在网络存储中的应用 sata 现在已经开始悄然进入企业数据中心， 在低端和中高端存储阵列产品 中的地位正呈上升趋势。sata 硬盘的价格明显低于 scsi 和 fc 硬盘，而且价 格变化幅度相当大。使用 sata 硬盘，与 fc 硬盘阵列相比，每 mb 可以节省 30%50%的费用。而以前只有在企业级 scsi 和 fc 硬盘中才具有的性能，现在 sata 硬盘也可以做到。从企业的存储方式来看，目前很大一部分用户依然采用 着文件服务器、磁盘阵列、磁带等传统方式。 目前中低端用户的存储系统，并未实现全面的网络化。这预示着中低端的网 络存储设备，如 nas，或者由 sata 和 iscsi 构成的低端 san 解决方案，有着 广泛的市场空间。一般来说，基于 sata 的企业存储产品，具有如下的特点： 首先，此类系统在 raid 的实现上具有较强的易用性；其次，传输速度比 pata 系统高很多，能够满足存储速度的要求；第三，基于 sata 的存储系统可以支 持设备的热插拔，维护十分简便；第四