第10讲InfiniBand技术与存储网络

1、第十讲第十讲 InfiniBand技术与存储网络技术与存储网络 InfiniBand是一串行网络技术，它继承了目前多数开放是一串行网络技术，它继承了目前多数开放系统服务器使用的系统服务器使用的PCI总线。作为一种低成本的系统及组总线。作为一种低成本的系统及组件设计技术，件设计技术，InfiniBand串行总线串行总线/网络被认为是增长最快网络被认为是增长最快的网络技术之一，它的应用潜力远远超过当今所知的系统的网络技术之一，它的应用潜力远远超过当今所知的系统总线。总线。 本讲简要概述本讲简要概述InfiniBand如何替代如何替代PCI总线，讨论集群中的存储，总线，讨论集群中的存储，以及基于以及

2、基于InfiniBand的存储的存储I/O技术的相关进展技术的相关进展张晓：InfiniBand产生的背景产生的背景 计算机的整体性能取决于三个子系统的相互关系，处计算机的整体性能取决于三个子系统的相互关系，处理器、存储和理器、存储和I/O。要使整个系统的性能得到发挥，必须。要使整个系统的性能得到发挥，必须协调好三者之间的平衡关系。协调好三者之间的平衡关系。Moore定律准确地预测半导定律准确地预测半导体每体每18个月性能加倍，并在处理器和存储方面得到了很好个月性能加倍，并在处理器和存储方面得到了很好的验证。然而，的验证。然而，I/O互连受到机械和电器方面地限制，使互连受到机械和电器方面地限制

3、，使其性能提高远低于半导体的发展，因而限制了系统性能。其性能提高远低于半导体的发展，因而限制了系统性能。 当前被普遍采用的当前被普遍采用的I/O技术主要是技术主要是PCI。用于替代。用于替代PCI作为下一代作为下一代server互连标准，互连标准，InfiniBand受到所有主要受到所有主要OEM server开发商的支持。这是第一种具有工业标准的开发商的支持。这是第一种具有工业标准的高性能高性能I/O互连，它扩展了传统内部总线的角色，引入了互连，它扩展了传统内部总线的角色，引入了底板解决方案，并允许互连走出机箱，这种互连方式以前底板解决方案，并允许互连走出机箱，这种互连方式以前是网络互连所特

4、有的。是网络互连所特有的。 InfiniBand的最终目标是取代现在的最终目标是取代现在各种不同的网络各种不同的网络存储、通信和存储、通信和I/O。PCI技术规格简介技术规格简介 从从1992年创立规范到如今，年创立规范到如今，PCI总线已成为了计算机的一总线已成为了计算机的一种标准总线。种标准总线。 PCI总线取代了早先的总线取代了早先的ISA总线。当然与在总线。当然与在PCI总线后面出总线后面出现专门用于显卡的现专门用于显卡的AGP总线，与现在总线，与现在PCI Express总线，但是总线，但是PCI能从能从1992用到现在，说明他有许多优点，比如即插即用用到现在，说明他有许多优点，比如

5、即插即用(Plug and Play)、中断共享等。、中断共享等。 从数据宽度上看，从数据宽度上看，PCI总线有总线有32bit、64bit之分；从总线速之分；从总线速度上分，有度上分，有33MHz、66MHz两种。目前流行的是两种。目前流行的是32bit 33MHz，而，而64bit系统正在普及中。改良的系统正在普及中。改良的PCI系统，系统，PCI-X，最高可以达到最高可以达到64bit 133MHz，这样就可以得到超过，这样就可以得到超过1GB/s的的数据传输速率。数据传输速率。 替代替代PCI的的InfiniBand InfiniBand是一新的网络技术。它集成了系统功能，使是一新的网

6、络技术。它集成了系统功能，使它可以替代它可以替代PCI系统总线的功能。系统总线的功能。 作为总线替代品，它的一些主要特征如下：作为总线替代品，它的一些主要特征如下： InfiniBand基于全双工，交换串行传输；基于全双工，交换串行传输； 单项传输速率可达单项传输速率可达2.5GB/s； 系统通过外部系统扩展，而不是系统系统通过外部系统扩展，而不是系统“卡槽卡槽”； 随着内部扩展需求的消失，系统缩减；随着内部扩展需求的消失，系统缩减； 支持热切换，与支持热切换，与PCI不同；不同； 为每一个扩展外设提供独立电源（与通过系统相反）；为每一个扩展外设提供独立电源（与通过系统相反）； 主机主机I/O

7、控制功能成为网桥功能。控制功能成为网桥功能。1串行传输串行传输InfiniBand使用串行传输技术可提供比使用串行传输技术可提供比PCI并行总线更远并行总线更远的距离和更强的寻址能力。的距离和更强的寻址能力。InfiniBand有一个组件名为主机通道适配器（有一个组件名为主机通道适配器（HCA）。它）。它将替代将替代PCI桥芯片将外设连接到系统总线。桥芯片将外设连接到系统总线。2传输率传输率InfiniBand是全双工通信，单方连接速度可达是全双工通信，单方连接速度可达2.5GB/s， InfiniBand版本版本1的全双工通信速度可达道的全双工通信速度可达道5GB/s。另外另外InfiniB

8、and支持主动连接，可建立多个传输组，跨越支持主动连接，可建立多个传输组，跨越4到到12个连接，性能提高个连接，性能提高4倍及倍及12倍。这样倍。这样InfiniBand单项传单项传输速度是输速度是2.5GB/s,10GB/s,和和30GB/s。远超过。远超过PCI的的1GB/s的最高传输速率。的最高传输速率。3外部系统扩展外部系统扩展多年来将外设装载到系统内部是实现高速系统的最容易和多年来将外设装载到系统内部是实现高速系统的最容易和最可靠的方式。原因之一是并行总线信号不易通过外部电最可靠的方式。原因之一是并行总线信号不易通过外部电缆传输。缆传输。 因使用因使用PCI难以进一步缩短系统板尺寸、

9、以及提高难以进一步缩短系统板尺寸、以及提高吞吐量、可靠性、系统扩展等因素，推动了吞吐量、可靠性、系统扩展等因素，推动了InfiniBand的应的应用。用。5热交换热交换 InfiniBand使用逻辑网络地址，建立系统和外设的连接，使用逻辑网络地址，建立系统和外设的连接，代替实际使用的总线共享数据和地址线，更容易将连接和代替实际使用的总线共享数据和地址线，更容易将连接和设备隔离，而不影响整个信道。其结果是设备隔离，而不影响整个信道。其结果是InfiniBand网络网络上的设备可以热交换（热插拔）。上的设备可以热交换（热插拔）。6.独立电源独立电源 置于外部的外设可通过外置电源供电而不通过系统总置

10、于外部的外设可通过外置电源供电而不通过系统总线供电。因此电源容量可以随系统的增长而随时增加，不线供电。因此电源容量可以随系统的增长而随时增加，不必储备多余的电源。必储备多余的电源。4系统缩减系统缩减没有了总线插槽上的内部控制器，基于没有了总线插槽上的内部控制器，基于InfiniBand的系统的系统会更小。会更小。 从结构上看，从结构上看， InfiniBand控制器与网关类似，可跨越两个不同网络，控制器与网关类似，可跨越两个不同网络，如以太网或光纤通道如以太网或光纤通道SAN。主机控制器的网络网关功能主机控制器的网络网关功能 传统的系统总线传统的系统总线I/O系统控制器和适配器位于系统机箱内，

11、并提供与系统控制器和适配器位于系统机箱内，并提供与外部网络和总线的连接。但使用外部网络和总线的连接。但使用InfiniBand，I/O控制器可以置于网络的控制器可以置于网络的任何位置，嵌入式系统和存储子系统，并作为网络中的独立设备。任何位置，嵌入式系统和存储子系统，并作为网络中的独立设备。 集群集群InfiniBand的特点有利于高可的特点有利于高可用性、高性能及可扩展集群解用性、高性能及可扩展集群解决方案的发展。作为串行网络决方案的发展。作为串行网络技术，技术， InfiniBand可用于将系可用于将系统与系统内存总线紧密连接在统与系统内存总线紧密连接在一起。一起。 InfiniBand连接

12、系统的连接系统的能力比其他网络通过适配器和能力比其他网络通过适配器和桥连接具有更大的优势。桥连接具有更大的优势。集群的主要挑战就是找到一种集群的主要挑战就是找到一种方法整合系统，以提高系统处方法整合系统，以提高系统处理能力、存储能力和冗余。理能力、存储能力和冗余。集群是一种高可靠性、改进了处理性集群是一种高可靠性、改进了处理性能并有着大存储容量的解决方案，随能并有着大存储容量的解决方案，随着应用的增长，机群可能遇到一些在着应用的增长，机群可能遇到一些在单机系统上不会发生的问题。单机系统上不会发生的问题。集群的优点集群的优点1. 集群的可用性集群的一个主要优点是：随着应用和数据的增长，它能够在集

13、群的一个主要优点是：随着应用和数据的增长，它能够在较短的时间里处理较多的数据。一般所来，开发的应用程序较短的时间里处理较多的数据。一般所来，开发的应用程序是在单系统环境下运行的，如果系统发生了问题，应用程序是在单系统环境下运行的，如果系统发生了问题，应用程序及其数据有可能不可用。而在一个集群系统中，这个应用可及其数据有可能不可用。而在一个集群系统中，这个应用可以在集群中的另一个系统中继续运行。以在集群中的另一个系统中继续运行。2. 集群的处理能力集群的处理能力 一个含有多个处理机的集群，应该能比一个处理机完成工一个含有多个处理机的集群，应该能比一个处理机完成工作快。但这个结论极大的依赖于应用程

14、序的类型及集群系统作快。但这个结论极大的依赖于应用程序的类型及集群系统的特点。的特点。 通常，测试对比系统并不能代表真实结果（运行特定程序通常，测试对比系统并不能代表真实结果（运行特定程序所得到的运行效率，加速比等），但可以高度优化以达到完所得到的运行效率，加速比等），但可以高度优化以达到完美的测试结果。事物处理测试表明对数据库采用集群的方法美的测试结果。事物处理测试表明对数据库采用集群的方法是合理的。是合理的。集群的存储能力与I/O性能通过增加集群主机的原始存储容量，集群同样允许连接大量的存储。例通过增加集群主机的原始存储容量，集群同样允许连接大量的存储。例如，一个拥有如，一个拥有10TB磁

15、盘存储容量的单机系统可以扩展成支持磁盘存储容量的单机系统可以扩展成支持20TB的具的具有等两级主机的双系统集群，如图有等两级主机的双系统集群，如图13-5所示。所示。集群的重要优点是存储容量，与其相关的优点就是提供附加系统和相关集群的重要优点是存储容量，与其相关的优点就是提供附加系统和相关I/O能力。集群中用于存取存储的方法是一个非常重要的设计问题。能力。集群中用于存取存储的方法是一个非常重要的设计问题。 集群处理集群处理用用NAS和和SAN建立一个双节点集群建立一个双节点集群 下图所示为集群配置两个下图所示为集群配置两个NAS系统和两个存储子系统的情况。系统和两个存储子系统的情况。NAS系统

16、通过冗余连接设备，包括以太网双网络接口卡和系统通过冗余连接设备，包括以太网双网络接口卡和SAN双工双工HBA。高可用目标高可用目标 本例中假设用集群实现高可用性，要有极快的故障恢复速度，并且要本例中假设用集群实现高可用性，要有极快的故障恢复速度，并且要切换切换NAS服务器，前面介绍的一般数据复制技术都不能满足需要服务器，前面介绍的一般数据复制技术都不能满足需要。通过通过“心跳心跳”监视运行情监视运行情况况“心跳心跳”信号是集群系统之间的一个短促而持续连接，使得所有主机知道集群信号是集群系统之间的一个短促而持续连接，使得所有主机知道集群中的其它系统工作正常。每各集群主机都有一个相应进程响应从其它

17、主机接中的其它系统工作正常。每各集群主机都有一个相应进程响应从其它主机接收心跳信号。如果没有受到预期的心跳信号，这个进程就开始把资源从故障收心跳信号。如果没有受到预期的心跳信号，这个进程就开始把资源从故障系统转移到集群中的其它系统。系统转移到集群中的其它系统。对于双主机集群，心跳系统很简单。每个主机向对方发送有规律的、特定心对于双主机集群，心跳系统很简单。每个主机向对方发送有规律的、特定心跳信号。然而，对于有更多主机的集群，心跳系统的复杂度会相应提高。跳信号。然而，对于有更多主机的集群，心跳系统的复杂度会相应提高。为了获得心跳信号传输的可靠性，一般使用分离、独立的连接。为了获得心跳信号传输的可

18、靠性，一般使用分离、独立的连接。切换过程切换过程针对双主机针对双主机NAS集群，如果主机集群，如果主机A出了故障，主机出了故障，主机B叙准备接管主机叙准备接管主机A的工作。的工作。集群中的共享存储集群中的共享存储 切换主机必须能够访问停机主机正在处理的数据。为了切换主机必须能够访问停机主机正在处理的数据。为了做到这一点，就必须假设：切换主机有访问该数据的路径；可以找到故障发做到这一点，就必须假设：切换主机有访问该数据的路径；可以找到故障发生时中途停止写的数据，并回退。第一个假设可以通过生时中途停止写的数据，并回退。第一个假设可以通过I/O通道技术实现。第通道技术实现。第二个假设可以利用数据库和

19、文件系统技术来解决。二个假设可以利用数据库和文件系统技术来解决。数据库事务提交数据库事务提交日志和日志结构的文件系统日志和日志结构的文件系统数据完整性验证数据完整性验证1. 接管接管IP地址地址 切换过程的最后任务之一是接管停机系统地切换过程的最后任务之一是接管停机系统地IP地址。地址。集群中的数据存取设计集群中的数据存取设计非共享存储非共享存储 非共享是指每个集群成员各自控制着自己的资源，存取这些非共享是指每个集群成员各自控制着自己的资源，存取这些资源需通过内部集群通信从一个集群主机传送到另一个集群主机。当集群资源需通过内部集群通信从一个集群主机传送到另一个集群主机。当集群的一个主机存取另一

20、个集群主机的存储子系统时，的一个主机存取另一个集群主机的存储子系统时， 它必须通过集群网络它必须通过集群网络传送请求，接收到请求的主机开始工作，并将结果送回请求主机。传送请求，接收到请求的主机开始工作，并将结果送回请求主机。 非共享方法的优点是数据缓非共享方法的优点是数据缓存和数据锁定有主机单独管存和数据锁定有主机单独管理，使得集群操作简单、易理，使得集群操作简单、易理解。理解。非共享集群的缺点之一是集非共享集群的缺点之一是集群之间瓶颈的发生。另一缺群之间瓶颈的发生。另一缺点是：一旦发生切换，切换点是：一旦发生切换，切换成员必须存取并加载停机服成员必须存取并加载停机服务器的文件系统。务器的文件

21、系统。2 共享存储共享存储 主要优点是，一旦确认停机，其他集群主要优点是，一旦确认停机，其他集群成员可以直接访问共享资源，使切换工作比较简单。成员可以直接访问共享资源，使切换工作比较简单。 共享系统存储集群本身要共享系统存储集群本身要比非共享存储集群要复杂得比非共享存储集群要复杂得多。首先，要处理复杂的设多。首先，要处理复杂的设备锁定问题。备锁定问题。 共享存储集群的另一个问共享存储集群的另一个问题是如何使集群成员写入题是如何使集群成员写入缓缓存的数据存的数据对其他成员可见，对其他成员可见，并最终写入存储系统。并最终写入存储系统。3 智能子系统的数据共享智能子系统的数据共享 使用智能存储子系统

22、可使用智能存储子系统可以提高对写操作、提交进程和回退管理，它的角色更以提高对写操作、提交进程和回退管理，它的角色更像一个集群对等体（像一个集群对等体（peer），而不是一个从属者。它），而不是一个从属者。它可以在单一操作中容纳整个文件升级或数据库事务信可以在单一操作中容纳整个文件升级或数据库事务信息。这种息。这种“peer”可以管理自己的日志文件和带有集群可以管理自己的日志文件和带有集群性质的进程，以便有序的利用切换过程。例如，一个性质的进程，以便有序的利用切换过程。例如，一个“集群对等体集群对等体”存储子系统可以参与集群中的心跳和存储子系统可以参与集群中的心跳和正常状态监视系统，并报告那些正

23、在维持他们心跳信正常状态监视系统，并报告那些正在维持他们心跳信号但却不能从存储子系统传送和接收的系统错误。号但却不能从存储子系统传送和接收的系统错误。 另外，一个集群对等体存储子系统可以通过建立和释放停机系统的锁为集另外，一个集群对等体存储子系统可以通过建立和释放停机系统的锁为集群提供锁管理者需要执行新的分配锁协议。群提供锁管理者需要执行新的分配锁协议。InfiniBand网络组件网络组件InfiniBand设计的交换设计的交换光纤网络拓扑结构与光光纤网络拓扑结构与光纤通道光纤网络及交换纤通道光纤网络及交换以太网相同，与以太网相同，与PCI总线总线结构完全不同。结构完全不同。 右图显示了右图显

24、示了InfiniBand可以很方便地扩展系统。可以很方便地扩展系统。 出错率、编码与传输介质出错率、编码与传输介质与千兆以太网相同，与千兆以太网相同，InfiniBand采用来自光纤通道的传输采用来自光纤通道的传输介质和连接技术。介质和连接技术。 多心缆线多心缆线 4X 、 12X 虚拟线路虚拟线路 同时容纳多个进程并发，即一个端节点可以同时容纳多个进程并发，即一个端节点可以同时与多个端节点同时通信，并发送不同内容。同时与多个端节点同时通信，并发送不同内容。 交换机与路由器交换机与路由器 交换机在单个物理网络提供快速报传交换机在单个物理网络提供快速报传送，路由器在多个物理网之间提供包传送。送，

25、路由器在多个物理网之间提供包传送。分区分区 目的是将系统和子系统用分区的方法避免潜在的目的是将系统和子系统用分区的方法避免潜在的冲突，建立管理域，方便新设备已平稳，有序，无干扰的冲突，建立管理域，方便新设备已平稳，有序，无干扰的方式加入网络。方式加入网络。2. InfiniBand网络中的节点网络中的节点 InfiniBand中的节点指系统（处理器节点）、子系统中的节点指系统（处理器节点）、子系统（I/O节点）或路由器。节点）或路由器。端节点使用名为通道适配器（端节点使用名为通道适配器（channel adapter）的新型）的新型网络适配器。一个网络适配器。一个InfiniBand网络的通道

26、适配器可以由多网络的通道适配器可以由多个端口连接个端口连接InfiniBand网络。网络。 由于多数由于多数InfiniBand网络中网络中（老）（老）的应用使用系统服务的应用使用系统服务作为他们的作为他们的I/O接口，面向接口，面向InfiniBand未来的应用将可以通未来的应用将可以通过采用底层系统软件作为网络设备驱动。过采用底层系统软件作为网络设备驱动。 InfiniBand软件软件应用很可能用于解决集群应用。这类集群应用的例子如数应用很可能用于解决集群应用。这类集群应用的例子如数据库集群和网络存储集群。据库集群和网络存储集群。通道适配器通道适配器InfiniBand网络中相应的主机网络

27、中相应的主机I/O适配器称为通道适配器。适配器称为通道适配器。 InfiniBand指定两种通道适配器，主机通道适配器（指定两种通道适配器，主机通道适配器（HCA）和目标通道适配器（和目标通道适配器（TCA）。）。1）主机通道适配器）主机通道适配器 主机通道适配器负责与系统处理器主机通道适配器负责与系统处理器和内存总线的接口。它是系统专有组成部分，也将是系统和内存总线的接口。它是系统专有组成部分，也将是系统设计的核心组件。主机通道适配器可以设计用于高级通信。设计的核心组件。主机通道适配器可以设计用于高级通信。InfiniBand网络不像其他网络是专用系统，网络不像其他网络是专用系统，IB网络中

28、的系网络中的系统是网络中的主要实体。统是网络中的主要实体。2）目标通道适配器）目标通道适配器 目标通道适配器目标通道适配器提供端到非提供端到非IB网络网络（如以太网和光纤网（如以太网和光纤网络）的节点接口。目络）的节点接口。目标通道适配器也提供标通道适配器也提供与其它非网络外设类与其它非网络外设类的接口，包括各种总的接口，包括各种总线技术，如线技术，如SCSI总总线或线或USB总线。总线。3）通道适配器和多线技术）通道适配器和多线技术 主机和目标通道适配器可以主机和目标通道适配器可以选择采用控制器技术和物理连选择采用控制器技术和物理连接器连接接器连接4X和和12X的连接，同的连接，同时使用虚拟

29、线路所需的软、硬时使用虚拟线路所需的软、硬件资源。件资源。4）存储子系统中的通道适配）存储子系统中的通道适配器器 InfiniBand网络中的存储子网络中的存储子系统将通过目标通道适配器连系统将通过目标通道适配器连接到网络中，接到网络中，SAN网络和网络和InfiniBand的一个不同点就是的一个不同点就是主机主机I/O控制器的位置。控制器的位置。但使用但使用InfiniBand系统就不需要将主机系统就不需要将主机I/O控制器置于主机中。控制器置于主机中。InfiniBand网络子系统也网络子系统也有一个外部有一个外部InfiniBand端口和内部光纤通道或端口和内部光纤通道或SCSI设备。两

30、种方式如图设备。两种方式如图13-17所示。所示。使用使用VI协议管理远程系统存储协议管理远程系统存储 VI（virtual interface architecture）的主要思想是允许应用在集群网络）的主要思想是允许应用在集群网络系统和存储之间远程操作存储资源，即支持直接远程存储存取（系统和存储之间远程操作存储资源，即支持直接远程存储存取（remote direct memory access,RDMA) 。RDMA传输的特点是使用网络中类似传输的特点是使用网络中类似系统存储的操作在网络中发送和接收数据。系统存储的操作在网络中发送和接收数据。使用使用VI和和RDMA，没有低延迟、高可靠性的

31、网络是不行的。，没有低延迟、高可靠性的网络是不行的。VI是是InfiniBand所选择的协议，所选择的协议， VI和和RDMA也可以用于其它网络。也可以用于其它网络。 VI在光纤的在光纤的FC-4级已被定义为高端协议（级已被定义为高端协议（ULP）,iSCSI工作组也有相应的工作组也有相应的RDMA标准。标准。InfiniBand用户（应用）使用用户（应用）使用VI在网络中发送和接收数据。与系统中的虚在网络中发送和接收数据。与系统中的虚存一样，存一样，VI提供虚存地址转换函数使应用可以从其它节点通过集群网络申提供虚存地址转换函数使应用可以从其它节点通过集群网络申请和存取存储资源。请和存取存储资

32、源。VI协议通过建立工作队列对（协议通过建立工作队列对（work queue pairs）工作，它充当）工作，它充当InfiniBand用户和用户和InfiniBand网络之间的接口设备。网络之间的接口设备。每个队列对使用一个队列发送，另一个用于接收。网络中从一个节点传送每个队列对使用一个队列发送，另一个用于接收。网络中从一个节点传送到另一个节点的数据首先置于发送节点的发送对列中，然后传输到接受节到另一个节点的数据首先置于发送节点的发送对列中，然后传输到接受节点的接收队列中。点的接收队列中。1.工作队列对工作队列对队列对为特定用户而设，通道适配器中的所有的队列对相对其它队列对而队列对为特定用户

33、而设，通道适配器中的所有的队列对相对其它队列对而言是独立的和被保护的。一个用户可以使用多个队列对。言是独立的和被保护的。一个用户可以使用多个队列对。总之，通道适配器可以由多个用户，每个用户用自己专有的队列对在总之，通道适配器可以由多个用户，每个用户用自己专有的队列对在InfiniBand网络中通信。网络中通信。图13-18 用户用自己专有的队列对在InfiniBand网络中通信通道适配器2. InfiniBand、FC和以太网和以太网/TCP/IP网络的协议处理对比网络的协议处理对比InfiniBand使用系统存储操作原有的命令语法。队列对有一个相关的传输协议，决定了系统与存队列对有一个相关的

34、传输协议，决定了系统与存储间通信的整体可靠性。储间通信的整体可靠性。InfiniBand的这个传输服的这个传输服务是：务是：3. 传输服务传输服务可靠连接。可靠连接。非可靠连接。非可靠连接。可靠数据报。可靠数据报。非可靠数据报。非可靠数据报。原始数据报。原始数据报。4. 流控制流控制InfiniBand与光纤的与光纤的“缓冲对缓冲缓冲对缓冲”和和“端到端端到端”的流控制相同，支持连的流控制相同，支持连接级和端对端的流控制。接级和端对端的流控制。5.光纤通道上的光纤通道上的VIVI协议是光纤通道的上层协议。迄今为止，这一协议尚未使用，假设光协议是光纤通道的上层协议。迄今为止，这一协议尚未使用，假

35、设光纤通道与纤通道与InfiniBand技术有着同样的错误机制，即与光纤通道集群的开技术有着同样的错误机制，即与光纤通道集群的开发在技术上是可行的。发在技术上是可行的。InfiniBand集群集群图图13-19所示为一个简单的非共享所示为一个简单的非共享InfiniBand集群。这个集群由两个系集群。这个集群由两个系统通过两个目标通道适配器控制两个统通过两个目标通道适配器控制两个SCSI硬盘驱动器。一个独立的连硬盘驱动器。一个独立的连接负责两个系统的心跳系统。另外，分区用于强调这种非共享结构。接负责两个系统的心跳系统。另外，分区用于强调这种非共享结构。图13-19一个简单的非共享InfiniB

36、and集群图图13-20所示为一个共享集群。磁盘驱动器由智能存储子系统代替，它是用嵌入在所示为一个共享集群。磁盘驱动器由智能存储子系统代替，它是用嵌入在两个子系统两个子系统HCA中的分配锁管理其功能。所有设备，两个系统和两个存储子系统，中的分配锁管理其功能。所有设备，两个系统和两个存储子系统，都使用一个共享缓存系统都使用一个共享缓存系统“开销开销”以协调应用以协调应用。图13-20 带共享缓存的共享InfiniBand集群 集群成员系统 集群成员系统心跳 心跳 心跳缓存 心跳 心跳缓存缓存缓存锁锁PCI替代结构替代结构InfiniBand最主最主要的配置就是要的配置就是替代替代PCI总线到总线

37、到SAN的连接。的连接。在图在图13-21所示所示的网络中，的网络中，HCA为与主机为与主机系统中，光纤系统中，光纤通道通道TCA与主与主机系统相邻。机系统相邻。InfiniBand模型层次模型层次InfiniBand体系结构采用多个层次，每层独立操作。它包括物理层，体系结构采用多个层次，每层独立操作。它包括物理层，链路层，网络层，传输层和上层。见图链路层，网络层，传输层和上层。见图1所示：所示：本地IBA操作SAR网络链路编码MAC上层传输层网络层链路层物理层事务消息（QP）子网间路由（IPV6）网内路由（LID）流量控制报文中继MAC远程IBA操作SAR网络链路编码MAC报文中继链路MAC

38、终端节点交换机路由器终端节点 图1 InfiniBand 的层次物理层物理层： InfiniBand规范的物理层定义了电器和机械特性，包括光纤和铜规范的物理层定义了电器和机械特性，包括光纤和铜介质的电缆和插孔、底板接头、热交换特性等。介质的电缆和插孔、底板接头、热交换特性等。 InfiniBand采用全采用全双工串行传输双工串行传输,单线传输速率为单线传输速率为2.5Gb/s,。InfiniBand定义了物理层定义了物理层的三种链路速度，的三种链路速度，1X、4X或或12X线并行来扩展信道，具有较高的容线并行来扩展信道，具有较高的容错性和抗毁性。错性和抗毁性。链路层链路层: 链路层和传输层是链

39、路层和传输层是InfiniBand结构的核心。链路层定义了报文格结构的核心。链路层定义了报文格式、点到点链路操作，以及本地子网内的交换。式、点到点链路操作，以及本地子网内的交换。在链路层中有两种报文在链路层中有两种报文：管理报文管理报文和和数据报文数据报文。管理报文用于链路配。管理报文用于链路配置和维护，提供的控制操作包括：设备枚举、子网指示和容错。数据置和维护，提供的控制操作包括：设备枚举、子网指示和容错。数据报文用于传输信息，最大传输负载为报文用于传输信息，最大传输负载为4k。链路层还允许使用链路层还允许使用虚信道（虚信道（VL），VL是独立的逻辑链路，它们共享是独立的逻辑链路，它们共享一

40、条物理链路一条物理链路。每条物理链路可以支持。每条物理链路可以支持15条标准条标准VL和一条管理信道和一条管理信道VL15。VL15具有最高优先级，具有最高优先级，VL0的优先级最低。管理报文独占使的优先级最低。管理报文独占使用用VL15。虚信道可以同时容纳多个通信进程的并发，即一个端节电。虚信道可以同时容纳多个通信进程的并发，即一个端节电可以同时与几个不同的端点通信并传输不同的内容，而不会发生连接可以同时与几个不同的端点通信并传输不同的内容，而不会发生连接阻塞。阻塞。为了确保可靠性和性能，为了确保可靠性和性能， InfiniBand提供基于预约的流量控制管理提供基于预约的流量控制管理例程和两

41、阶段的数据完整检查。例程和两阶段的数据完整检查。网络层网络层： InfiniBand网络层提供报文在网络层提供报文在子网间的路由子网间的路由，在子网内，在子网内部传输时不需要网络层。每个路由报文使用部传输时不需要网络层。每个路由报文使用全局路由首部（全局路由首部（GRH）和一个和一个128位位IPV6地址表示源和目的节点地址。网络层还为子网中每地址表示源和目的节点地址。网络层还为子网中每个设备赋予个设备赋予64位唯一位唯一全局标志（全局标志（GUID），报文通过路由器时，就是，报文通过路由器时，就是基于该标志在子网间传输。当只在一个子网中传输时，基于该标志在子网间传输。当只在一个子网中传输时，

42、 InfiniBand不需要网络层信息和头开销。不需要网络层信息和头开销。传输层传输层： InfiniBand体系结构的最后一层负责实际报文的传输。传体系结构的最后一层负责实际报文的传输。传输层控制的几个重要方面，包括报文发送、通道多路复用和基本传输输层控制的几个重要方面，包括报文发送、通道多路复用和基本传输服务。服务。 InfiniBand有一项重要的改进，那就是有一项重要的改进，那就是使用硬件机制完成了传使用硬件机制完成了传输层的所有功能输层的所有功能。传输层还负责处理发送时数据分段，接收时重组。传输层还负责处理发送时数据分段，接收时重组。 InfiniBand规定了多种传输服务用于提高数

43、据可靠性，可以支持规定了多种传输服务用于提高数据可靠性，可以支持各种高层协议，如各种高层协议，如IP和和SCSI，定义了实现管理功能所需要的信息和消，定义了实现管理功能所需要的信息和消息和协议。这些管理协议分为子网管理和子网服务。息和协议。这些管理协议分为子网管理和子网服务。InfiniBand特性特性InfiniBand采用了当今的先进技术，其优越的性能。归纳如下：聚集带宽 InfiniBand交换方式提供了专用的无冲突的节点间通信，支持多条并发连接。当加入节点时，交换结构可以增加带宽。分布式系统的通用互联 InfiniBand可以构造全局公用的互联结构，用于在任何构造模块间进行通信，必要时

44、管理员可以加入专用构造模块。各种设备可以使用同一链路连接，这样管理员可以通过多种方式增加分布式系统和共享资源。 内建安全机制 InfiniBand管理结构基于安全密钥，它定义了改变结构或重新编程所需的授权。可以指定系统管理员只操作特定的子网，需要授权才能访问的设备。低软件管理开销 InfiniBand规范采用VIA(Virtual Interface Architecture)瘦传输层中队列通信模型和机制，消除了并行应用程序集群中server间的通信开销。错误隔离 InfiniBand点到点体系结构可以隔离交换结构的故障区。某一连接中的错误可以标志出来，而不会影响其它I/O设备。QoS 在In

45、finiBand中，HCA和TCA之间的QoS定义了基于虚链路的队列和带宽，可提供更好的一些服务。RAS优点 在可靠性方面，InfiniBand使用点到点的链路，信号少，基本链路连接使用四信号线，同PCI多信号线比较，故障率很小。InfiniBand标准为每个I/O单元提供了多个端口，可提供多个物理路由到同一个I/O单元，提高了系统的可靠性。可用性的增强通过冗余和标准的网络管理技术实现。 主要存储协议主要存储协议 随着对存储需求的不断增长，块存储管理依旧是存储管理的一个热随着对存储需求的不断增长，块存储管理依旧是存储管理的一个热点。块存储管理中使用的是点。块存储管理中使用的是SCSI协议，虽然

46、并行协议，虽然并行UltraSCSI也支持千兆也支持千兆网络速度，但是距离（一米）和互连限制（网络速度，但是距离（一米）和互连限制（16台设备或者通道）使得它台设备或者通道）使得它难于满足将来的存储网络。因此，光纤通道（难于满足将来的存储网络。因此，光纤通道（Fibre Channel），），Infiniband, iSCSI这三种千兆网络技术成为存储网络（这三种千兆网络技术成为存储网络（SAN）中块存）中块存储管理协议的竞争者。图储管理协议的竞争者。图2是三种技术的发展潜力预测是三种技术的发展潜力预测。 前面我们已经详细介绍了前面我们已经详细介绍了Infiniband，下面我们简要与，下面我

47、们简要与光纤通道和光纤通道和iSCS进行简要比较。进行简要比较。 光纤通道协议覆盖了光纤通道协议覆盖了OSI网络模型的物理、链路、网网络模型的物理、链路、网络和传输层。它可以提供多种不同的服务类别，包含了络和传输层。它可以提供多种不同的服务类别，包含了SCSI over Fibre Channel 定义，称为定义，称为FCP。光纤通道。光纤通道是一种二级网络协议（是一种二级网络协议（PCI等为一级协议，等为一级协议，Infiniband可以是一级协议也可以是二级协议）。帧、序列和交换可以是一级协议也可以是二级协议）。帧、序列和交换是是FC中三种主要的数据传输结构。帧是数据传输的基中三种主要的数

48、据传输结构。帧是数据传输的基本单位。在一个方向上传输的一组帧称为序列。双向的本单位。在一个方向上传输的一组帧称为序列。双向的一组序列称为交换。光纤通道当前支持的速度可以达到一组序列称为交换。光纤通道当前支持的速度可以达到4Gbps,可以采用交换式网络环境。可以采用交换式网络环境。 iSCSI协议定义了协议定义了SCSI over TCP操作。操作。 iSCSI协议协议借用千兆以太网上面的借用千兆以太网上面的TCP/IP。因为。因为TCP可以用于局可以用于局域网和广义网，域网和广义网， iSCSI也是一种二级协议。也是一种二级协议。 iSCSI使使用用TCP流量控制、拥塞控制、分段机制，还使用了

49、流量控制、拥塞控制、分段机制，还使用了IP寻址和发现机制。寻址和发现机制。 iSCSI实现的时候可以采用商用千兆以太网卡加实现的时候可以采用商用千兆以太网卡加TCP/IP， iSCSI层采用软件实现：或者使用专用网卡层采用软件实现：或者使用专用网卡实现以太网、实现以太网、IPTCP和和iSCSI层。千兆以太网当前支层。千兆以太网当前支持的链路速度主要是为持的链路速度主要是为1Gbps(以后将是以后将是10Gbps）。）。下图显示了几种可用于存储的协议以及它们应用领域的分布下图显示了几种可用于存储的协议以及它们应用领域的分布处理器处理器互联互联存储区域网存储区域网络互连络互连外部存储外部存储内部

50、存储内部存储点到点交换式InfinibandInfiniband光纤通道以太网SCSISCSI图图3 几种用于存储的协议及领域分布几种用于存储的协议及领域分布Infiniband,iSCSI和和FC协议的比较协议的比较我们按照下面的标准对这三种协议进行评价：我们按照下面的标准对这三种协议进行评价： 协议用于千兆速度网络的有效性协议用于千兆速度网络的有效性 协议可扩展性，是否可以方便地映射到协议可扩展性，是否可以方便地映射到IP网络网络 兼容兼容SAN协议和环境，在局域网范围内协议必须高效，协议和环境，在局域网范围内协议必须高效，可以高效处理可以高效处理SCSI协议（大部协议（大部 分分serv

51、er磁盘和磁带都是磁盘和磁带都是基于基于SCSI的），并且安全可靠。的），并且安全可靠。使用千兆线路速度光纤通道的效率使用千兆线路速度光纤通道的效率 数据通信开销包括软件开销和线路传输开销。网络通信研究表明，数据通信开销包括软件开销和线路传输开销。网络通信研究表明，当前物理链路传输开销已经很小。因此，软件开销决定了千兆线路速当前物理链路传输开销已经很小。因此，软件开销决定了千兆线路速度的效益，这主要体现在它们的物理度的效益，这主要体现在它们的物理I/O结构、对零拷贝的支持和对结构、对零拷贝的支持和对报文分割和重组上。报文分割和重组上。 FC和和iSCSI都是二级网络协议，必须使用都是二级网络协

52、议，必须使用PCI总线协议才能把数总线协议才能把数据从网卡传到内存。但是据从网卡传到内存。但是Infiniband（IBA）可以作为一级，也可以）可以作为一级，也可以作为二级网络。因此，数据可以直接从作为二级网络。因此，数据可以直接从IBA网卡传到系统内存。网卡传到系统内存。IBA采用了交换式互连结构，比通常的采用了交换式互连结构，比通常的PCI或者或者PCI-X更具有扩展能更具有扩展能力。力。PCI和和iSCSI也可以采用也可以采用IBA作为一级网络，但是同直接使用作为一级网络，但是同直接使用IBA既作为一级又作为二级网络相比，增加了协议转换开销。既作为一级又作为二级网络相比，增加了协议转换

53、开销。 在在TCP/IP 协议栈中数据需要首先从网卡拷贝到内核内存，然后协议栈中数据需要首先从网卡拷贝到内核内存，然后从内核内存拷贝到应用程序内存。从内核内存拷贝到应用程序内存。如果处理大块数据的时候，主机如果处理大块数据的时候，主机CPU就成为瓶颈，限制了协议的吞吐率。当把数据从网卡直接拷贝就成为瓶颈，限制了协议的吞吐率。当把数据从网卡直接拷贝到应用程序内存时，称为零拷贝，它缩短了传输路径的长度，降低到应用程序内存时，称为零拷贝，它缩短了传输路径的长度，降低了了CPU开销。开销。 在在FC中，中，FC网卡执行必要的零拷贝处理。网卡执行必要的零拷贝处理。帧中包含了帧中包含了Exchange I

54、D,Sequence ID和和Frame Number信息，丢失的帧或者乱序到达的帧不信息，丢失的帧或者乱序到达的帧不会影响零拷贝。会影响零拷贝。 IBA中双队列和中双队列和RDMA的概念可以实现零拷贝语义。的概念可以实现零拷贝语义。在在IBA中，当中，当发送方发出了读请求时，同时还发送发送方发出了读请求时，同时还发送Rkey和存放返回数据的内存起始和存放返回数据的内存起始地址。接受方进行地址。接受方进行RDMA写操作，把数据直接写到发送方应用程序内写操作，把数据直接写到发送方应用程序内存。存。 TCP协议是基于流的协议，难以实现零拷贝语义，因为协议是基于流的协议，难以实现零拷贝语义，因为TC

55、P段可能段可能分布到多个以太网帧。因此分布到多个以太网帧。因此iSCSI报文头和数据可能分布到多个以太网报文头和数据可能分布到多个以太网帧。同样，无关的多个帧。同样，无关的多个iSCSI请求也可能作为一个请求也可能作为一个TCP段到达。段到达。 应用程序发出的应用程序发出的I/O请求通常为请求通常为4k到到64k。如果发出的块请求为。如果发出的块请求为8k，在在iSCSI中需要映射为中需要映射为1.5k的的IP网帧，网帧，2k大小的大小的FC-2帧，帧，4k的的IBA帧。因帧。因此引发分割和重组开销。使用大帧的协议有优势。此引发分割和重组开销。使用大帧的协议有优势。FC和和IBA网卡执行分网卡

56、执行分割和重组操作，如果割和重组操作，如果iSCSI采用专门的采用专门的iSCSI网卡，也可以减轻网卡，也可以减轻CPU的负的负载。使用通用以太网卡后，载。使用通用以太网卡后，TCP分割和重组的工作需要主机来完成，增分割和重组的工作需要主机来完成，增加了主机加了主机CPU的开销。的开销。协议扩展能力协议扩展能力地址长度、设备发现、地址长度、设备发现、IP协议映射协议映射是协议可扩展能力的几个主要因素。是协议可扩展能力的几个主要因素。 地址空间地址空间 FC使用使用24位地址，位地址，IBA和和iSCSI使用使用128位地址。因此，位地址。因此，FC地址少于地址少于其他两种协议。在子网内部其他两

57、种协议。在子网内部IBA使用使用16位寻址。在位寻址。在FC中，网卡对于并发中，网卡对于并发的注册数量有限制，进一步限制了它的扩展能力。的注册数量有限制，进一步限制了它的扩展能力。 设备发现设备发现 在在FC中，当加入一个新设备的时候，它同管理员（交换机）进行接中，当加入一个新设备的时候，它同管理员（交换机）进行接触。管理员会通知其它设备。在触。管理员会通知其它设备。在FC中，当一个设备在线加入，它需要中，当一个设备在线加入，它需要注册到本区的其它设备中。划分区是为了进行访问控制，通信只能在成注册到本区的其它设备中。划分区是为了进行访问控制，通信只能在成员间进行。而且，设备与之联系的交换机会通

58、知其它交换机。在规模成员间进行。而且，设备与之联系的交换机会通知其它交换机。在规模成千的交换机和设备中，会产生许多消息。千的交换机和设备中，会产生许多消息。 IBA中子网管理员扮演了重要的角色。一组中子网管理员扮演了重要的角色。一组IBA设备作为一个子网，设备作为一个子网，子网中具有子网管理员。子网管理员活跃的时候会查询子网中的所有子网中具有子网管理员。子网管理员活跃的时候会查询子网中的所有设备，更新数据库中活跃端口和路由信息。子网管理员扫描子网更新设备，更新数据库中活跃端口和路由信息。子网管理员扫描子网更新活跃和部活跃端口信息。即使扫描限制在子网内部，也会产生许多多活跃和部活跃端口信息。即使

59、扫描限制在子网内部，也会产生许多多余的流量。余的流量。 iSCSI使用的发现机制中，节点可以采用地址硬编码，或者查询存使用的发现机制中，节点可以采用地址硬编码，或者查询存储名字服务器，或者发送一个多路传输消息查询它可以访问的设备。储名字服务器，或者发送一个多路传输消息查询它可以访问的设备。在规模上千的大型网络中，存储节点采用查询存储名字服务器的机制在规模上千的大型网络中，存储节点采用查询存储名字服务器的机制而不是多路传输方法。一旦消息发送节点（发起者）获得了接收设备而不是多路传输方法。一旦消息发送节点（发起者）获得了接收设备（目标）（目标）IP地址和地址和TCP端口，发起者在需要的时候就可以建立同目标端口，发起者在需要的时候就可以建立同目标的连接。的连接。 映射到映射到IP协议协议 当前，当前，IP是使用最为广泛的广域网络协议。因此，为了进行地域上的是使用最为广泛的广域网络协议。因此，为了进行地域上的扩展，大多数高层网络协议需要映射到扩展，大多数高层网络协议需要映射到IP。FC和和IBA需要把它们的流量需要把它们的流量控制机制进行映射，符合控制机制进行映射，符合IP交换的特性（可能丢失报文）。交换的特性（可能丢失报文）。FC和和IBA还还要映射它们的发现和寻址机制，以便处理大规模的要映射它们的发现和寻址机制，以便处理大规模的IP网络。由于网络。由于TCP到