（计算机系统结构专业论文）存储系统中iscsi和fc链路融合技术研究与实现.pdf

i 摘要摘要 随着企业级存储需求的提高，传统的 scsi（小型计算机系统接口）本地存储模 型已逐渐被存储容量大，传输速度高的 san（存储区域网络）所代替。目前常见的两 种 scsi 传输方式 iscsi（互联网小型计算机系统接口）和 fc（光纤通道）都各自有 其优缺点，在统一存储系统融合这两种传输链路是目前发展的趋势。 在服务器级融合式存储系统的基础上，研究分析了存储系统不同链路融合的可行 性，提出了一种在融合存储服务器上实现 iscsi 和 fc 链路融合的三层架构：在融合 存储服务器上架构了统一 scsi 发起端子系统来对下层存储设备的异构链路实现同时 支持，统一 scsi 目标端子系统来对上层应用服务器的异构链路实现同时支持，然后 配合中层虚拟化子系统来统一管理下层存储设备和上层应用服务器存储空间之间的 映射。在 scsi 目标端子系统中将设备无关的功能独立出来进行统一化，形成了通用 的统一处理模块，在前端驱动中保留设备相关的功能，用通用处理模块对所有的存储 请求进行统一管理。分析比较了用户空间和内核空间，并选择在内核空间内实现该系 统。在统一虚拟化层使用 lvm（逻辑卷管理器）做基础，利用 linux 块设备文件操作 的统一性， 在统一 scsi 目标端增加虚拟磁盘操作模块来配合统一 scsi 目标端中层以 使其可以访问 lvm 逻辑卷。 经过系统可行性测试和系统性能测试，该链路融合的方案确实可行，可以在存储 服务器上对上对下均支持 iscsi、fc 两种链路，并且可以实现统一管理，采用该方案 的存储系统的存储性能能够满足普通用户需求。但该方案容易在服务器端形成瓶颈， 并且有可能造成数据一致性问题，有待改善。 关键字：关键字： 网络存储，存储区域网，互联网小型计算机系统接口，光纤通道，链路融 合，虚拟化 ii abstract as the increase of enterprise storage requirement, traditional scsi local storage model has been gradually replaced by san model which has great storage capacity and high transport speed. the familiar scsi transports iscsi and fc have their advantage and disadvantage respectively, so there is a trend that they should be integrated into one storage system. on the basis of server-level integration storage system, studied the feasibility of different links integration in storage system, brought forward a three-level architecture to implement the integration on the storage server: uniform scsi initiator subsystem supports the different links to the low level storage devices, uniform scsi target subsystem supports the different links to the upper level application server, and the middle level storage virtualization subsystem manages the mapping between low level device storage space and upper level application server storage space. in the scsi target subsystem, separated the device independent work from the target module and form the universal uniform module. this module manages the storage requests together. studied and compared the user space and kernel space implementation in linux, and chose the latter way. in virtualization subsystem adopts the simple convenient lvm as the basic, using the uniform speciality of the linux block device file operation, add a virtualized disk operation module in target module to cooperate with the uniform scsi target middle level to access the lvm logical volume. after system feasibility and performance test, this link integration scheme is feasible, can support iscsi, fc link simultaneously, and can be managed uniformly. the storage system which adopts this scheme has the high storage performance which meets the general user requirement. but there could be bottle-nack and some data consistency problems in integration server. it should be improved. keywords: network storage, storage area network, internet small computer system interface, fibre channel, link integration, virtualization 独创性声明独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他 个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集 体，均已在文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承 担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和 借阅。 本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密 ，在_年解密后适用本授权书。 不保密。 （请在以上方框内打“” ） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 本论文属于 1 1 绪论绪论 本章对存储链路融合技术的背景做简要的描述，然后对目前该方面的国内外的研 究概况进行介绍，接着对本文在存储系统链路融合技术中做的工作进行说明，最后陈 述了本文的总体内容和结构安排。 1.1 存储链路融合技术相关背景1.1 存储链路融合技术相关背景 在近些年， 互联网的数据流量急剧增长， 这意味着互联网已经成为人们从事商业、 贸易、学习、工作、娱乐等各种活动的主要途径之一。也就是说会有越来越多，越来 越丰富的应用会放在互联网上，随着互联网应用的急剧增多，数据存储需求也是急剧 增大，尤其是企业级存储，不仅存储数据量需求加大，存储访问流量和存储数据的完 整性，安全性，高效性的需求也越来越高，传统的基于单服务器模式的存储系统已经 成为瓶颈1。 小型计算机系统接口 （scsi） 源自于ibm-360计算机的通道选择器， 后来被shugart associates 公司加以简化与提炼，制成了统一智能磁盘驱动器接口，1986 年成为了 ansi 标准2。scsi 定义了一个智能并行外设总线的硬件规范和相应的指令集，经过 长期的发展，scsi 标准已经被多种外设所采用，包括磁盘驱动器、磁带驱动器、打 印机、扫描仪等，如今它的速度可以达到 320mb/s。在 scsi 总线上存在两种设备： 发起 i/o 处理请求的 scsi 发起端（scsi initiator）和处理 i/o 请求并发送反馈的 scsi 目标端（scsi target） 。一个 scsi 总线支持多个设备，其中至少有一个发起端设备和 一个目标端设备，发起端选择一个目标端，然后该目标端从发起端接收到一个请求， 并且根据请求进行数据处理最后返回回馈，这就是 scsi 操作的过程。 随着存储需求的提高，传统 scsi 的一些问题也逐渐暴露出来：点对点直连设备 的限制，可连接设备个数的限制，连接距离的限制等。 为了解决这些限制问题，nas（网络连接存储）和 san（存储区域网络）3相继 出现了。nas 是较为传统的方式，在连有存储设备的服务器上构建文件系统，然后不 同的文件系统服务器之间通过网络和 nfs（网络文件系统）进行整合，可以解决以上 问题。另一种解决方案就是 san，直接针对存储设备进行管理和访问，并不在上面进 2 行数据组织（比如组织文件） 。san 中数据传输的单元就是普通的，未经组织的数据 块，而 scsi 本身就提供了可互操作，高性能块级协议，因此，san 就把 scsi 协议 直接作为了块级数据访问协议，而 scsi 命令就通过 scsi 传输协议来在 san 中进行 传输。所以 san 就是连接多个不同存储设备或存储系统的网络，它不仅解决了上面 提到的 scsi 直连存储的问题，还提高了灵活性，可用性和可管理性4。 在用于 san 的 scsi 传输协议方面，除了早期的底层互连，先后相继出现了 fc （光纤通道） 、sep（scsi 封装协议） 、iscsi（互联网 scsi） 、fcip（光纤通道互联 网协议） 、ifcp（互联网光纤通道协议） 、fcoe（以太网上的 fc）等。其中，以 fc 做为 san 的传输方式的 san 称为 fc-san（光纤通道存储区域网）5，其它以 ip 网 络作为传输方式的 san 称为 ip-san（互联网存储区域网）6。 fc-san 就是通过光纤通道协议将 scsi 封装起来，并且在 fc 网络中进行数据 交换，它引入了类似主机地址的概念，因此，可以在网络中进行数据共享。fc 是一 个串行高速数据通道，提供两个端口之间的双向数据传输服务，非常适合 san 的需 求，目前 4gbps 速率的产品已经逐渐开始流行。将 fc 用于 sam（scsi 架构模型） 中，可以在逻辑上延长 scsi 总线。fc 可以让 scsi 设备之间通过 fc 接口进行通信， 通信距离更远，吞吐率更大，所以在 san 发展初期，将 fc 作为 scsi 传输协议是不 二的选择7。甚至可以说 fc 的发展导致了 san 的出现。 随着 san 的发展人们希望尝试利用已广泛存在的网络设施来服务于这种存储需 求，所以提出了在现有的以太网上进行 scsi 传输，这样产生出两个重要的问题：可 靠传输和目标识别8。目标识别可以由 ip 层的路由来实现，让每个目标端都用 ip 地 址识别；而在 ip 层上使用面向连接的 tcp（传输控制协议）来保证可靠性传输。 ip-san 其实是在 fc-san 的基础上再进一步，它把 scsi 协议完全封装在 ip 协 议之中。简单来说，ip-san 就是把 fc-san 中光纤通道解决的问题通过更为成熟的 以太网实现了，从逻辑上讲，它是彻底的 san 架构。ip-san 可以使用的传输协议有 很多，如 sep、iscsi、fcip、ifcp、fcoe 等，其中最常用常见也发展得很好的就是 iscsi 协议9。iscsi 协议是一些大的存储厂商联合提出，在互联网工程工作小组的支 持下发展得来。 协议将 tcp 作为下层支持， 发起端和目标端之间的通信是建立在一个 或多个 tcp 连接的基础之上的，tcp 连接用来发送控制信息，scsi 命令，参数和数 据（iscsi 协议数据单元） 。 fc-san 与 iscsi-san 各有自己的优缺点， 至少在短期内两者无法相互替代。 光 3 纤通道已经上市多年，开始逐步被用户所接受。作为 san 的基础架构，它专门为满 足大容量存储需求和实现业务连续性而设计，利用光信号完成传送，具备非常高的性 能。而 iscsi-san 基于许多用户都已经熟悉的 ip 协议，传送的距离更远。fc-san 与 iscsi-san 两者不是替代的关系，在运用中要使 fc 和 iscsi 协同工作，以充分发 挥互补优势10。 1.2 链路融合存储系统发展概况1.2 链路融合存储系统发展概况 近年来由于存储需求大增，各种高级的存储系统出现，在 san 存储方面，在早 以存在的scsi、 fcp协议的基础上又推出了许多存储传输协议与体系， 如iscsi、 fcip、 ifcp，包括最新兴起的 fcoe 等。在实现上，目前不论是硬件实现还是软件实现，对 同一存储资源的连接方式都是单一的，而在互联互通上都是通过传输过程中基本协议 的相互转化和映射来实现的。比如 fcip、ifcp、fcoe 等，软件方面，在块级存储上 也都是单一连接方式的实现，不同连接方式是以不同软件架构实现的，之间并不能简 单的相互融合。 文献11中 snia 提出了三种 iscsi 和 fc 的整合存储方案， 这些整合都是系统级 的。第一种方案叫做主数据中心 san，在主数据中心 san 中，外部远程连接都是通 过 ip 网络连接到数据中心的 ip 存储交换机，然后分别通过 iscsi 和 fc 分别连接到 iscsi-san 和 fc-san，甚至整合有 nas 系统设备和 ip 服务器。第二种方案叫做远 程数据中心多协议 ip-san，fc 存储设备或 iscsi 存储设备通过各自的连接方式连接 到 ip 存储交换机，服务器也通过 iscsi hba 或 fc hba 通过各自的连接方式连到另 一组 ip 存储交换机，两组交换机之间通过 ip 网络连接，下层交换机组可以通过 ip 直 连或广域网和主数据中心 san 连接进行扩展。第三种方案叫做部门级 san，去掉了 第二种方案的中间两层 ip 存储交换机组， 服务器和存储设备之间直接用 ip 网络连接， 该 ip 网络也可以连接主数据中心 san。这三种方案可以相互配合和整合，形成两种 san 整合的存储区域网架构。 palekar 在文献12提出了一种针对 san 环境的 scsi 目标端仿真器。该目标端从 存储网络的发起端发出的 scsi 命令和数据，处理之后再给发起端发送回馈。目标端 仿真器将接收到的 scsi 命令和数据传给 scsi 子系统。该仿真器只能对该系统上的 scsi 设备通过 scsi 接口进行通信。 文献13中的 intrastor 系统是一个三成存储系统。 下层是连有磁盘的 ip 磁盘控制 4 器（idc） ，中层是存储控制管理器（scm） ，上层是应用主机。上层应用主机可以使 用 iscsi 协议访问 scm，scm 使用一种叫做 xblock 的面向数据块的传输协议来访问 和管理 idc。 namgoong 和 park 于文献14实现了一个基于光纤通道协议（fcp）的磁盘阵列。 文献15设计实现了一种块级存储多协议转换架构， 可以将以不同的 scsi 传输协 议（如 scsi，fc，iscsi 等）传输的 scsi 命令送到不同的存储设备。 清华大学的 th-msns 系统16应用了一种 scsi 目标端仿真架构与文献12比较 相似。 华中科技大学存储实验室在这方面也进行了一系列的研究。 文献17分析当今 fc 与 iscsi 技术上的不同和各自的优势；文献18实现了一种在 linux 环境下的 iscsi 目标端，并实现了设备发现，web 配置管理，身份认证并进行了性能分析；文献19 提出了一种基于虚拟 iscsi 存储通道的 iscsi 存储解决方案并进行了性能分析；文献 20提出了一种使用单传输的 lvm 作为虚拟化组件的 iscsi 的 vscu， 实现网络级虚 拟化。 由于该领域正处于发展状态，在以后的存储系统实现中，为了提高系统的可用性 和可靠性， 各个层面的冗余是未来发展的趋势， 不仅在存储介质， 存储数据上有冗余， 在连接链路，连接方式上也会有冗余，形成完好的虚拟化机制，而以后的冗余机制， 选择机制也会更加智能，可用性会更高，在系统管理方面也会向各种主流的存储管理 标准看齐，向它们提供底层支持。 1.3 存储系统链路融合研究内容1.3 存储系统链路融合研究内容 本题所要研究与实现的链路融合技术， 就是解决 iscsi 和 fc 两种 scsi 传输方式 互联互通融合性问题，此技术可以让融合式存储服务器通过 iscsi、fc 等不同连接方 式将不同的远程存储资源映射到自身，进行统一虚拟化，并通过 iscsi、fc 等不同连 接方式对外提供块级存储服务，并且可以在不中断服务的情况下动态的对统一虚拟化 存储资源进行配置与管理。 实现的链路融合技术具有以下功能： 1. 对不同连接方式的远程存储提供支持，可以通过 fc、iscsi 等主流协议通过异 构网络访问远程存储设备。 2. 对不同连接方式的上层服务提供支持，可以通过 fc、iscsi 等主流协议通过异 5 构网络向各种上层服务器提供存储服务。 3. 对下层所有存储设备空间进行统一虚拟化。 4. 可以对虚拟化得到逻辑空间进行配置和管理。 对运行状况进行测试，测试该实现方法的可性能和整体存储性能。对测试结果进 行分析，并提出待改进之处。 1.4 本文内容及结构安排1.4 本文内容及结构安排 第一章：相关背景与研究内容。介绍了存储系统发展的背景和链路融合在存储系 统中的意义，并简要说明本文的研究内容。 第二章：介绍本系统中涉及到的相关技术，包括 scsi 协议和 fcp、iscsi 两种传 输协议的介绍和存储虚拟化技术的介绍，然后介绍了当前流行的服务器级融合架构。 第三章：关键技术分析。分为三个部分：一个是对不同链路进行融合的可行性分 析，然后总结出具体在哪一层做融合，哪些工作统一做，哪些工作分开做；另一个是 在 scsi 目标端架构中做一项改进，增加后端虚拟磁盘模块和统一虚拟化层，让 scsi 目标端能够作用于 lvm 逻辑卷，使得 scsi 目标端对设备更具有通用性；最后一个时 对实现空间的分析比较，以选择适合本系统的方案。 第四章：链路融合模块的设计实现。对目标端子系统和虚拟磁盘操作模块做了详 细的设计实现说明，着重描述了模块之间的接口交互和操作流程。 第五章： 系统测试分析。 分为可行性测试性能测试， 测试系统的正确性和稳定性， 同时测试引入该系统说带来的性能损失。 第六章：总结。对全文进行总结并提出该系统发展方向。 6 2 存储系统链路融合相关技术存储系统链路融合相关技术 要实现服务器级链路融合，相关技术有两方面，一是系统链路传输，一是融合虚 拟化，本章将分别对这两个方面的相关技术做介绍，最后介绍了当前比较流行的服务 器级融合系统架构，该架构为后面章节研究实现的基础。 2.1 存储系统链路传输技术存储系统链路传输技术 小型计算机系统接口 （scsi） 起源于ibm-360计算机的通道选择器， 后来被shugart associates 公司修改并制定成了一个统一智能的磁盘驱动器接口，并被成为 shugart associates 系统接口（sasi）21。scsi 于 1986 年变成 ansi（美国国家标准委员会） 标准。scsi 是一种中高端性能的智能、并行外设总线，它既规定了一种总线硬件标 准，也规定了一组命令集以优化使用该总线。随着时间的推移，scsi 标准已经成为 支持多种设备的标准，包括磁盘驱动器、磁带驱动器、打印机、扫描仪、处理器和通 信设备等，scsi 的速度从 1mb/s 到 320mb/s 不等。 在 scsi 中线上有两种设备： scsi 发起端 （scsi initiator， 发起 i/o 处理） 和 scsi 目标端（scsi target，回复请求并执行操作） 。单字节 scsi 总线（窄 scsi）支持 8 个设备，双字节 scsi 总线（宽 scsi）支持 16 个设备，其中必须至少有一个发起端 设备和一个目标端设备22。 发起端主机目标端磁盘 lun0lun3lun2lun1 scsi总线 id7id0 图 2.1 早期 scsi 系统示意图 发起端开始仲裁选择一个目标端，相应的目标端从发起端请求一个命令，发起端 发送一个命令描述块（cdb）给目标端，目标端执行这个接收到的 cdb 然后返回相 7 应的回复。 每个目标端设备能够再分为几个逻辑单元（luns） ，可以使目标端连接到多个带 有 scsi 主机适配器放入计算机，这时目标端作为一个共享外设，如 scsi 扫描仪。在 单字节的 scsi 总线上如有 1 个发起端设备，则可以存在 7 个目标端设备，每个目标 端设备可以用 8 个 luns，所以理论上在单字节 scsi 总线上一共可以存在 57 个逻辑 设备（1 个发起端+7 个目标端*8 个 luns） 。scsi 系统的示意图如图 2.1 所示。 同时逻辑块地址（lba）的概念也引入了 scsi 系统。当一个主机需要访问数据 的时候，给出的地址是一个逻辑块地址。发起端不需要知道磁盘布局、物理分布或其 他细节，逻辑地址和虚拟地址的概念很相似。具体来说，发起端是针对一个指定的 lba 集合发出命令，目标端通过接收到的命令将 lba 转化为实际的地址信息（磁道、 柱面、扇区地址） 。尽管损失了一些性能，但 lba 提供了一个统一方法的发起端访问 目标端设备，这样的寻址方式是与设备类型无关的。发起端使用 read capacity 命令来的得到一个存储磁盘或逻辑块设备的最大 lba23。 scsi soip sep iscsi udptcp 互联网协议 stp 光纤通道 驱动 网络适配卡 图 2.2 scsi 各传输协议层次 scsi 标准组织（）定义了一个协议集，以允许 scsi 能在不同的底层 互连上传输，这个协议集的协议被成为 scsi 传输协议。随着存储区域网络（san） 过去几十年的发展， 其中一些实现方法已经提交到互联网工程事务组 （ietf） 和 scsi 8 标准组织（t10） ，包括： 1. 光纤通道（fc） 2. scheduled transfer protocol（stp） 3. scsi 封装协议（sep）adaptec 提交 4. 互联网 scsi（iscsi）ibm 提交，ietf 维护 5. storage over ip（soip）nishan system 提交，ietf 维护 这些协议标准的层次结构如图 2.2 所示。 2.1.1 光纤通道（光纤通道（fc） 光纤通道是一种串行、高速的数据通道，提供两个端口之间的逻辑双向服务。光 线通道通过定义一种具有高灵活性和高性能的架构将局域网络和通道通信整合起来 以满足存储区域网络（san）的需求。光纤通道架构网络接近零错误，并可以提供 1gbps、2gbsp、4gbps 甚至 8gbps 的数据通路24。 在光纤通道网络上的独立的节点称为“n_port” ，每个 n_port 依赖于一个硬件实 体，能够提供交换功能的端口称为“f_port” 。光纤通道的结构是一种层次性架构，如 图 2.3 所示，每一个层次负责一项功能。 光纤通道在设计实现时就是按照 scsi 架构模型（sam）的需求来实现的，因此 光纤通道提供了一个延长 scsi 总线的逻辑上可行的方法。 光纤通道和 scsi 可以很好 的配合，因为相对于 scsi 传输技术来说，光纤通道允许 scsi-3 兼容的设备通过可靠 的光纤通道接口以更高的吞吐率进行更远距离的通信。因此光纤通道为 scsi 这个上 层服务提供了可靠的互连25。 scsi 到光纤通道的映射定义于对 scsi 标准的光纤通道协议（x3.269 - 1995 revision 12）也简称为 scsi-fcp。scsi-fcp 定义了四种管理功能： 1. 设备管理 2. 任务管理 3. 进程登入/登出管理 4. 连接管理 fcp 设备和任务管理协议定义了 scsi 架构模型（sam）中指定的 scsi 功能到 光纤通道物理信号接口（fc-ph）放入映射。scsi-fcp 基于两层结构，scsi 的 i/o 操作映射为 fcp 的交换（exchange）,i/o 操作需要的请求/回复原型应设为序列 9 （sequence） 中的信息单元。 链路控制由 fc-ph 协议进行， 映射关系如图 2.4 所示26。 ipi3scsiipatm其他协议 上层协议映射 通过fc传输的服务的功能的映射 公共服务 为节点组提供公共服务 连接服务 定义登陆和退出，管理排序和交换的协议 信号协议 仲裁功能 为仲裁提供顺序组，公平性管理，仲裁环的初始化，地 址分配 传输协议 8b/10b编码，顺序组，错误检测，端口状态监控 物理接口 传输接收，连接带宽 物理介质 光纤或者铜缆 上层协议 fc-4 层 fc-3 层 fc-2 层 fc-1 层 仲裁环 fc-0 层 图 2.3 fc 协议层次结构 fc-san 具有以下优势： 1. 通用性。fc-san 目前在世界 san 市场的占有率较高，大多应用在性能要求 较高的金融、电信等领域。光纤存储网络是目前最通用的一种存储方式。 2. 高效性。因为采用的是 gb 级光纤连接方式，在整个系统性能方面超越 iscsi-san。 3. 灵活性。有通光纤的地方，都可以将服务器通过光纤连接，对数据集中管理。 4. 稳定性。由于光纤性能较高，在其运行过程中稳定性较好。 相应的也具有以下缺陷： 1. 成本高。光纤交换机、hba 光纤卡、光纤硬盘等设备都较昂贵。 10 2. 管理难度大。fc-san 与应用网络的异构性使得占市场大多数的中低端客户， 因面对相对陌生、复杂的 fc 技术望而却步。 3. 容易形成存储孤岛。无法使存储设备在 internet 上运行物理覆盖有限，不超过 50 公里，这样容易形成存储孤岛。 4. 设备的兼容性问题。标准的不统一使得各个厂商所生产的设备之间不兼容。 scsi功能fcp相关 i/o操作交换 请求/回馈 原语 队列 命令服务请求 命令iu （fcp cmnd） 数据发送请求 数据描述符iu （fcp-xfer-rdy） 数据发送行为 数据iu （fcp_data） 命令服务回馈 命令状态iu (fcp_rsp) 图 2.4 scsi 协议与 fc 协议功能映射 2.1.2 互联小型计算机系统接口（互联小型计算机系统接口（iscsi） 光纤通道的发展导致了存储区域网络（san）的诞生，san 的扩展就是基于光纤 通道的底层互连的。下一步则是使现存的网络结构也能够服务于存储需求，目前有多 种方法将 scsi 传输放在已经存在的以太网结构上，其中绝大部分的协议都使用 tcp/ip 协议，因此这些协议都可以扩展到其他任何支持 tcp/ip 的连接层技术。 将基础网络技术用于存储，真正要解决的本质问题就是可靠性和目标端识别，后 者也就是路由寻址问题，可以通过 ip 层路由来实现。如果在网络结构中目标端由 ip 地址来识别，那么传输可靠性问题则可以通过在 ip 层之上使用一种可靠的面向连接 的协议来实现，就像 tcp 那样27。这样的实现方式有几个好处： 1. 能够使用现有的成熟的协议栈来进行数据传输； 2. 使用到的协议很容易理解， 像超时、 窗口这些概念使用非常广泛， 所以在 tcp/ip 协议栈之上设计实现任何协议都有大量的知识基础； 11 3. 使用以太网也使得代价很低，因为这是使用最广泛的网络技术。 互联网 scsi 协议（iscsi）是由 ibm、cisco system、hewlett-packard、sangate、 adaptec 和 quatum 等一些公司共同提出的，该标准目前在互联网工程事务组 （）的支持下开发。iscsi 协议就是将 tcp 作为底层基础的。 发起端和目标端之间的交互是建立在一个或多个 tcp 连接之上的。tcp 连接用 来发送控制消息、scsi 命令、参数和通过 iscsi 协议数据单元（iscsi pdu）发送数 据。 iscsi 协议需要一次登陆操作（login）才能使一个 tcp 连接为 iscsi 所用。这个 登陆操作可以用作认证和授权。从发起端到一个给定的目标端的连接是一个 iscsi 会 话（iscsi session）中的一部分，在一个发起端和一个目标端之间可以存在多个 iscsi 会话。 目标端通过监听一个规定的 tcp 端口来检测到来的连接， 发起端通过连接这个 规定的 tcp 端口并发送一个“login”消息来开始登陆过程，在目标端认证并授权这 个发起端之后，目标端回馈一个“accept login”消息，登陆操作创建一个会话编号 （session id） 。其他的所需参数可以通过高可扩展文本命令消息来传递，该格式消息 可以以键值对的形式传递属性，一旦该交互过程完成，这个 iscsi 会话就进入了全功 能阶段。 在 iscsi 的全功能阶段，发起端可以将 scsi 命令和数据封装在 iscsi 信息中， 通过已经建立的 iscsi 连接发送给目标端的不同的 lun（逻辑单元） 。对于那些需要 数据或传输属性的 scsi 命令， scsi 命令相应的数据和状态必须在用来发送这个 scsi 命令的同一个 tcp 连接上发送回去。发起端和目标端可以通过这个会话交互 scsi 命 令、scsi 数据和回馈信息28。 表 2.1 iscsi 协议消息报头格式 字 字节 3 字节 2 字节 1 字节 0 0 操作码 特定操作码域 1 48 字节报头后的数据长度 2 3 逻辑单元号（lun）或者特定操作码域 4 发起端任务标记 5 12 特定操作码域 iscsi 协议定义了目标端必须使用一种类似 url 的名字，格式如下： scsi:/modifier 12 这个用于连接的名字可以包含在登陆操作中以使得目标端可以以多种方式呈现， 该名字称作目标端识别名称（tan） ，其中的域名（domain-name）遵循 ipv4 或 ipv6 的命名规则。iscsi 协议标准规定的 iscsi 消息报头的格式如表 2.1 所示29。 iscsi-san 具有以下几点优势： 1. 成本低。适配卡、交换机和缆线的价格较低，可以在现有的网络上直接安装， 并不需要更改企业的网络体系。 2. 管理门坎及维护成本低。以 ip 网络来传输数据，网络现有管理即可满足需求。 3. 无距离限制。随着 ip 网络的延生而将存储距离不断扩大30。 4. 组建方式灵活，可扩展性高。可以直接在现有的网络系统中进行组建，不需要 改变网络体系，加上运用交换机来连接存储设备。 iscsi-san 的缺陷如下： 1. 噪声碰撞。由于走 ip 网络，含有全球各地的庞大数据及噪声，碰撞情形在所难 免，易导致延迟，大大影响传输性能，甚至数据的正确性。 2. 性能瓶颈。主要体现在传输频宽、流量控制、i/o 端速度、软件性能这几方面。 3. 支持的平台及软硬件仍少。 4. 安全性低。ip 网络环境复杂，熟悉 ip 网络的人多，所以安全性也令人质疑。 2.2 存储虚拟化技术存储虚拟化技术 虚拟存储（storage virtualization） ，就是把多个存储介质模块（如硬盘、raid） 通过一定的手段集中管理起来，所有的存储模块在一个存储池中得到统一管理。这种 可以将多种、多个存储设备统一管理起来，为使用者提供大容量、高数据传输性能的 存储系统，就称之为虚拟存储31。 存储虚拟化的基本概念是将实际的物理存储实体与存储的逻辑表示分离开来，应 用服务器只与分配给它们的逻辑卷（或称虚卷）打交道，而不用关心其数据是在哪个 物理存储实体上。 逻辑卷与物理实体之间的映射关系，是由安装在应用服务器上的卷管理软件（称 为主机级的虚拟化） ，或存储子系统的控制器（称为存储子系统级的虚拟化） ，或加入 存储网络 san 的专用装置（称为网络级的虚拟化）来照管的32。 如果仅仅需要单个主机服务器（或单个集群）访问多个磁盘阵列，可以使用基于 主机的存储虚拟化技术。虚拟化的工作通过特定的软件在主机服务器上完成，经过虚 13 拟化的存储空间可以跨越多个异构的磁盘阵列。 当有多个主机服务器需要访问同一个磁盘阵列的时候，可以采用基于阵列控制器 的虚拟化技术。此时虚拟化的工作是在阵列控制器上完成， 将一个阵列上的存储容 量划分多个存储空间（lun） ，供不同的主机系统访问。 只有网络级的虚拟化，才是真正意义上的存储虚拟化。它能将存储网络上的各种 品牌的存储子系统整合成一个或多个可以集中管理的存储池（存储池可跨多个存储子 系统)， 并在存储池中按需要建立一个或多个不同大小的虚卷， 并将这些虚卷按一定的 读写授权分配给存储网络上的各种应用服务器。这样就达到了充分利用存储容量、集 中管理存储、降低存储成本的目的33。网络级虚拟化示意图如图 2.5 所示。 存储子网磁盘阵列磁盘阵列 文件服务器 数据库服务器 web服务器应用服务器 san + 虚拟化引擎 图 2.5 网络级虚拟化 目前存储虚拟化的发展尚无统一标准，从存储虚拟化的拓扑结构来讲主要有两种 方式:即对称式与非对称式。 对称式存储虚拟技术是指虚拟存储控制设备与存储软件系统、交换设备集成为一 个整体，内嵌在网络数据传输路径中34；非对称式存储虚拟技术是指虚拟存储控制设 备独立于数据传输路径之外。 存储虚拟化有如下优势： 1. 可以将一个 san 里面的存储管理集中化，降低成本。 14 2. 打破了存储供应商之间的界线，各个存储厂商之间的壁垒将被打破。 3. 各种存储设备可以灵活使用，并统一其接口，使系统更易标准化35。 在存储虚拟化出现之前，只有原始的物理设备，文件系统需要管理存储设备的地 址空间36。随着时间发展，为了满足系统需求并提供冗余保护，有必要将存储设备的 地址空间管理分割或者整合来给系统使用。这种分割、整合、甚至是地址空间的复制 （镜像）就是虚拟化的要素。换句话说，虚拟化产生新的虚拟地址，它们是物理设备 的地址空间的子集或者超集37。 卷表示文件系统或者数据库使用的存储地址空间，这里的存储地址空间可以是实 际的，也可以是虚拟的。卷实际上就是抽象的存储地址空间，当存储空间是多个驱动 器或单驱动器的一部分时，由于设备这个词不能正确表达物理实体的涵义，卷就是这 样的存储空间的逻辑代名词。卷管理器（volume manager）为企业的应用提供了磁盘 和其他存储设备的在线管理newman 2001 。卷管理器提供虚拟设备机制并向用户应 用和文件系统提供完全透明的设备在线管理。应用程序和文件系统无须直接管理物理 设备，数据的安全性、完整性、i/o 性能的调整、设备在线扩展等均可以由卷管理实 现。另外，服务器进行在线管理不必因备份和维护而进行脱机。 lvm（逻辑卷管理器）是一种把硬盘空间划分成“弹性”逻辑卷的方法。这里的 “弹性” 体现在硬盘不必重新分区也能够被简单地重新划分大小。 需要强调说明的是， lvm 是 linux 操作系统中一个磁盘管理子系统，而不是文件系统。 一般来说，一个分区大小是固定的。如果一个分区上没有空间时，只能重新分区 以扩大相应分区的大小（这很可能要求重新安装整个操作系统） ，或者，将磁盘链接 指向新的硬盘空间。而 lvm 技术可以将新的磁盘空间添加到原来的分区中而不用移 动数据。lvm 带来了磁盘管理的灵活性38。 lvm 可以将若干个物理卷（physical volumes，pv） （例如磁盘、分区）组成一个 卷组（volume group，vg） ，而这些物理卷的大小可以并不相同，甚至类型也可以不 同（如 ide、scsi 磁盘） 。之后，卷组又被划分为逻辑卷（logical volumes，lv） ，即 虚拟分区。而逻辑卷的大小可以随时动态的调整从而实现了灵活管理磁盘分区的目 的。结构如图 2.6 所示。 在 lvm 中，主要涉及以下概念39： pv（physical volume） ：物理卷，处于 lvm 最底层，可以是物理硬盘或分区。 vg（volume group） ：卷组，建立在 pv 之上，可以含有一个到多个 pv。 15 lv（logical volume） ：逻辑卷，建立在 vg 之上，相当于原来分区的概念。不过 大小可以动态改变。 pe（physical extend） ：物理区域，pv 中可以用于分配的最小存储单元，可以在 建立 pv 时指定，如 1、2、4、864m，同一 vg 中的所有 pv 的 pe 应该相同。 le（logical extend） ：逻辑区域，lv 中可以用于分配的最小存储单元，取决于 lv 所在 pv 中 pe 的大小。 vgda（volume group descriptor area） ：卷组描述区域，存在于每个 pv 中，用 于描述该 pv 本身、pv 所含 vg、vg 中的 lv 以及 lv 中的物理区域分配等信息，在 使用 pvcreate 命令建立 pv 时建立。 逻辑卷逻辑卷(lv) 卷组卷组(vg) 物理卷物理卷(pv)sdasdbsdcsdd sde vg1vg2 v3 v1 v2 v1 v2 图 2.6 lvm 结构示意图 2.3 服务器级融合式存储系统服务器级融合式存储系统 融合式存储系统，指的是支持多种链路融合于一体的存储系统，该存储系统同时 支持多种 scsi 传输协议的连接连入该系统并进行存储块级访问。融合式存储系统分 为两种：网络级融合式存储系统和服务器级存储系统。本章提出一种服务器级融合存 储系统中服务器的架构，由于本文只涉及 fc 链路与 iscsi 链路的融合，所以这里的 融合式存储系统只支持两种 scsi 传输：iscsi 和 fc。 整个系统环境大体上可分为三个层次（如图 2.7 所示） ：下层为存储设备层，可以 是任何块级存储设备，如 fc-磁盘，fc 磁盘阵列，iscsi-磁盘，或者块级存储服务器， 16 甚至另一个存储区域网系统；中层为融合存储服务器，也就是本文主要设计和实现的 部分，该服务器上装有对不同连接通道的硬件支持，下层不同的存储设备可以在硬件 上通过各自的连接方式连接到中层存储服务器；上层为文件或应用服务器，也就是需 要使用存储系统的服务器，上层服务器连接存储设备的通道也是不同的，上层不同连 接通道的服务器也通过各自的连接方式连接到中层存储服务器。其中下层与中层之间 和中层与上层之间的数据传输都是块级数据，数据访问协议都是 scsi 协议，数据传 输协议使用 fcp、iscsi 等不同连接的主流协议。在对数据访问的支持上使用统一处 理模块进行处理，理论上，在配置上如果没有任何访问控制权限上的限制，上层任何 连接通道的任何文件或应用服务器可以通过各自的连接通道访问到任何一个存储设 备的任何一块存储空间。 融合存储服务器 fc盘阵 文件服务器应用服务器 直连存储服务器 san存储子系统 以太网卡 以太网卡 fc hba fc hba 管理客户端 图 2.7 融合式存储系统架构 这样的存储系统的优势有： 1. 性能好。由于将不同连接方式引入同一系统，则可以充分利用 iscsi-san 和 fc-san 各自的优势而减小它们各自的劣势，充分发挥系统的整体性能，使用 户可以根据自己的性能价格需求自由调整。 2. 扩展性强。由于对上对下都可以使用不同的连接方式，这样在进行系统扩展的 时候，不管是存储设备的扩展还是应用的扩展，都不会受到单一连接方式的制 17 约，加强了扩展性。 3. 可靠性高。不仅在端口通道上可以有冗余，在连接方式上也有冗余。 2.4 本章小结本章小结 本章对存储系统链路融合的相关技术做了介绍。首先简要介绍了 scsi 协议及其 发展轨迹，然后主要介绍了两种 scsi 链路传输技术iscsi 和 fc 链路，详细说明 了各自的组成， 对以 iscsi 做链路的 iscsi-san 和以 fc 做链路的 fc-san 做了对比， 呈现了各自的优势和缺陷。fc-san 在通用性，高效性，灵活性和稳定性上都很很大 优势，但成本偏高，管理难度大，容易形成存储孤岛，且设备兼容性也存在问题； iscsi-san 成本低，管理门坎及维护成本低，传输无距离限制，组建方式灵活，可扩 展性高，传输速度快，可用人才也很多，但其噪声碰撞问题严重，容易形成性能瓶颈， 硬件 iscsi 适配卡较贵，支持的平台及软硬件仍少，安全性低，无法兼顾效能及跨平 台性。虚拟化方面，本章着重介绍了存储虚拟化，虚拟化可以在主机级实现，可以在 存储子系统级实现，也可以在网络级实现，对这三种方式做了比较，并说明了存储虚 拟化的优势。最后对融合式存储系统做了