第10讲 InfiniBand技术与存储网络.ppt

第十讲InfiniBand技术与存储网络 InfiniBand是一串行网络技术 它继承了目前多数开放系统服务器使用的PCI总线 作为一种低成本的系统及组件设计技术 InfiniBand串行总线 网络被认为是增长最快的网络技术之一 它的应用潜力远远超过当今所知的系统总线 本讲简要概述InfiniBand如何替代PCI总线 讨论集群中的存储 以及基于InfiniBand的存储I O技术的相关进展 张晓 zhangxiao InfiniBand产生的背景 计算机的整体性能取决于三个子系统的相互关系 处理器 存储和I O 要使整个系统的性能得到发挥 必须协调好三者之间的平衡关系 Moore定律准确地预测半导体每18个月性能加倍 并在处理器和存储方面得到了很好的验证 然而 I O互连受到机械和电器方面地限制 使其性能提高远低于半导体的发展 因而限制了系统性能 当前被普遍采用的I O技术主要是PCI 用于替代PCI作为下一代server互连标准 InfiniBand受到所有主要OEMserver开发商的支持 这是第一种具有工业标准的高性能I O互连 它扩展了传统内部总线的角色 引入了底板解决方案 并允许互连走出机箱 这种互连方式以前是网络互连所特有的 InfiniBand的最终目标是取代现在各种不同的网络 存储 通信和I O PCI技术规格简介 从1992年创立规范到如今 PCI总线已成为了计算机的一种标准总线 PCI总线取代了早先的ISA总线 当然与在PCI总线后面出现专门用于显卡的AGP总线 与现在PCIExpress总线 但是PCI能从1992用到现在 说明他有许多优点 比如即插即用 PlugandPlay 中断共享等 从数据宽度上看 PCI总线有32bit 64bit之分 从总线速度上分 有33MHz 66MHz两种 目前流行的是32bit 33MHz 而64bit系统正在普及中 改良的PCI系统 PCI X 最高可以达到64bit 133MHz 这样就可以得到超过1GB s的数据传输速率 替代PCI的InfiniBand InfiniBand是一新的网络技术 它集成了系统功能 使它可以替代PCI系统总线的功能 作为总线替代品 它的一些主要特征如下 InfiniBand基于全双工 交换串行传输 单项传输速率可达2 5GB s 系统通过外部系统扩展 而不是系统 卡槽 随着内部扩展需求的消失 系统缩减 支持热切换 与PCI不同 为每一个扩展外设提供独立电源 与通过系统相反 主机I O控制功能成为网桥功能 1 串行传输 InfiniBand使用串行传输技术可提供比PCI并行总线更远的距离和更强的寻址能力 InfiniBand有一个组件名为主机通道适配器 HCA 它将替代PCI桥芯片将外设连接到系统总线 2 传输率 InfiniBand是全双工通信 单方连接速度可达2 5GB s InfiniBand版本1的全双工通信速度可达道5GB s 另外InfiniBand支持主动连接 可建立多个传输组 跨越4到12个连接 性能提高4倍及12倍 这样InfiniBand单项传输速度是2 5GB s 10GB s 和30GB s 远超过PCI的1GB s的最高传输速率 3 外部系统扩展 多年来将外设装载到系统内部是实现高速系统的最容易和最可靠的方式 原因之一是并行总线信号不易通过外部电缆传输 因使用PCI难以进一步缩短系统板尺寸 以及提高吞吐量 可靠性 系统扩展等因素 推动了InfiniBand的应用 5 热交换 InfiniBand使用逻辑网络地址 建立系统和外设的连接 代替实际使用的总线共享数据和地址线 更容易将连接和设备隔离 而不影响整个信道 其结果是InfiniBand网络上的设备可以热交换 热插拔 6 独立电源 置于外部的外设可通过外置电源供电而不通过系统总线供电 因此电源容量可以随系统的增长而随时增加 不必储备多余的电源 4 系统缩减 没有了总线插槽上的内部控制器 基于InfiniBand的系统会更小 从结构上看 InfiniBand控制器与网关类似 可跨越两个不同网络 如以太网或光纤通道SAN 主机控制器的网络网关功能 传统的系统总线I O系统控制器和适配器位于系统机箱内 并提供与外部网络和总线的连接 但使用InfiniBand I O控制器可以置于网络的任何位置 嵌入式系统和存储子系统 并作为网络中的独立设备 集群 InfiniBand的特点有利于高可用性 高性能及可扩展集群解决方案的发展 作为串行网络技术 InfiniBand可用于将系统与系统内存总线紧密连接在一起 InfiniBand连接系统的能力比其他网络通过适配器和桥连接具有更大的优势 集群的主要挑战就是找到一种方法整合系统 以提高系统处理能力 存储能力和冗余 集群是一种高可靠性 改进了处理性能并有着大存储容量的解决方案 随着应用的增长 机群可能遇到一些在单机系统上不会发生的问题 集群的优点 1 集群的可用性 集群的一个主要优点是 随着应用和数据的增长 它能够在较短的时间里处理较多的数据 一般所来 开发的应用程序是在单系统环境下运行的 如果系统发生了问题 应用程序及其数据有可能不可用 而在一个集群系统中 这个应用可以在集群中的另一个系统中继续运行 2 集群的处理能力 一个含有多个处理机的集群 应该能比一个处理机完成工作快 但这个结论极大的依赖于应用程序的类型及集群系统的特点 通常 测试对比系统并不能代表真实结果 运行特定程序所得到的运行效率 加速比等 但可以高度优化以达到完美的测试结果 事物处理测试表明对数据库采用集群的方法是合理的 集群的存储能力与I O性能 通过增加集群主机的原始存储容量 集群同样允许连接大量的存储 例如 一个拥有10TB磁盘存储容量的单机系统可以扩展成支持20TB的具有等两级主机的双系统集群 如图13 5所示 集群的重要优点是存储容量 与其相关的优点就是提供附加系统和相关I O能力 集群中用于存取存储的方法是一个非常重要的设计问题 集群处理 用NAS和SAN建立一个双节点集群 下图所示为集群配置两个NAS系统和两个存储子系统的情况 NAS系统通过冗余连接设备 包括以太网双网络接口卡和SAN双工HBA 高可用目标 本例中假设用集群实现高可用性 要有极快的故障恢复速度 并且要切换NAS服务器 前面介绍的一般数据复制技术都不能满足需要 通过 心跳 监视运行情况 心跳 信号是集群系统之间的一个短促而持续连接 使得所有主机知道集群中的其它系统工作正常 每各集群主机都有一个相应进程响应从其它主机接收心跳信号 如果没有受到预期的心跳信号 这个进程就开始把资源从故障系统转移到集群中的其它系统 对于双主机集群 心跳系统很简单 每个主机向对方发送有规律的 特定心跳信号 然而 对于有更多主机的集群 心跳系统的复杂度会相应提高 为了获得心跳信号传输的可靠性 一般使用分离 独立的连接 切换过程 针对双主机NAS集群 如果主机A出了故障 主机B叙准备接管主机A的工作 集群中的共享存储切换主机必须能够访问停机主机正在处理的数据 为了做到这一点 就必须假设 切换主机有访问该数据的路径 可以找到故障发生时中途停止写的数据 并回退 第一个假设可以通过I O通道技术实现 第二个假设可以利用数据库和文件系统技术来解决 数据库事务提交日志和日志结构的文件系统数据完整性验证接管IP地址切换过程的最后任务之一是接管停机系统地IP地址 集群中的数据存取设计 非共享存储非共享是指每个集群成员各自控制着自己的资源 存取这些资源需通过内部集群通信从一个集群主机传送到另一个集群主机 当集群的一个主机存取另一个集群主机的存储子系统时 它必须通过集群网络传送请求 接收到请求的主机开始工作 并将结果送回请求主机 非共享方法的优点是数据缓存和数据锁定有主机单独管理 使得集群操作简单 易理解 非共享集群的缺点之一是集群之间瓶颈的发生 另一缺点是 一旦发生切换 切换成员必须存取并加载停机服务器的文件系统 2 共享存储主要优点是 一旦确认停机 其他集群成员可以直接访问共享资源 使切换工作比较简单 共享系统存储集群本身要比非共享存储集群要复杂得多 首先 要处理复杂的设备锁定问题 共享存储集群的另一个问题是如何使集群成员写入缓存的数据对其他成员可见 并最终写入存储系统 3 智能子系统的数据共享使用智能存储子系统可以提高对写操作 提交进程和回退管理 它的角色更像一个集群对等体 peer 而不是一个从属者 它可以在单一操作中容纳整个文件升级或数据库事务信息 这种 peer 可以管理自己的日志文件和带有集群性质的进程 以便有序的利用切换过程 例如 一个 集群对等体 存储子系统可以参与集群中的心跳和正常状态监视系统 并报告那些正在维持他们心跳信号但却不能从存储子系统传送和接收的系统错误 另外 一个集群对等体存储子系统可以通过建立和释放停机系统的锁为集群提供锁管理者需要执行新的分配锁协议 InfiniBand网络组件 InfiniBand设计的交换光纤网络拓扑结构与光纤通道光纤网络及交换以太网相同 与PCI总线结构完全不同 右图显示了InfiniBand可以很方便地扩展系统 出错率 编码与传输介质 与千兆以太网相同 InfiniBand采用来自光纤通道的传输介质和连接技术 多心缆线4X 12X虚拟线路同时容纳多个进程并发 即一个端节点可以同时与多个端节点同时通信 并发送不同内容 交换机与路由器交换机在单个物理网络提供快速报传送 路由器在多个物理网之间提供包传送 分区目的是将系统和子系统用分区的方法避免潜在的冲突 建立管理域 方便新设备已平稳 有序 无干扰的方式加入网络 2 InfiniBand网络中的节点 InfiniBand中的节点指系统 处理器节点 子系统 I O节点 或路由器 端节点使用名为通道适配器 channeladapter 的新型网络适配器 一个InfiniBand网络的通道适配器可以由多个端口连接InfiniBand网络 由于多数InfiniBand网络中 老 的应用使用系统服务作为他们的I O接口 面向InfiniBand未来的应用将可以通过采用底层系统软件作为网络设备驱动 InfiniBand软件应用很可能用于解决集群应用 这类集群应用的例子如数据库集群和网络存储集群 通道适配器 InfiniBand网络中相应的主机I O适配器称为通道适配器 InfiniBand指定两种通道适配器 主机通道适配器 HCA 和目标通道适配器 TCA 1 主机通道适配器主机通道适配器负责与系统处理器和内存总线的接口 它是系统专有组成部分 也将是系统设计的核心组件 主机通道适配器可以设计用于高级通信 InfiniBand网络不像其他网络是专用系统 IB网络中的系统是网络中的主要实体 2 目标通道适配器目标通道适配器提供端到非IB网络 如以太网和光纤网络 的节点接口 目标通道适配器也提供与其它非网络外设类的接口 包括各种总线技术 如SCSI总线或USB总线 3 通道适配器和多线技术主机和目标通道适配器可以选择采用控制器技术和物理连接器连接4X和12X的连接 同时使用虚拟线路所需的软 硬件资源 4 存储子系统中的通道适配器InfiniBand网络中的存储子系统将通过目标通道适配器连接到网络中 SAN网络和InfiniBand的一个不同点就是主机I O控制器的位置 但使用InfiniBand系统就不需要将主机I O控制器置于主机中 InfiniBand网络子系统也有一个外部InfiniBand端口和内部光纤通道或SCSI设备 两种方式如图13 17所示 使用VI协议管理远程系统存储 VI virtualinterfacearchitecture 的主要思想是允许应用在集群网络系统和存储之间远程操作存储资源 即支持直接远程存储存取 remotedirectmemoryaccess RDMA RDMA传输的特点是使用网络中类似系统存储的操作在网络中发送和接收数据 使用VI和RDMA 没有低延迟 高可靠性的网络是不行的 VI是InfiniBand所选择的协议 VI和RDMA也可以用于其它网络 VI在光纤的FC 4级已被定义为高端协议 ULP iSCSI工作组也有相应的RDMA标准 InfiniBand用户 应用 使用VI在网络中发送和接收数据 与系统中的虚存一样 VI提供虚存地址转换函数使应用可以从其它节点通过集群网络申请和存取存储资源 VI协议通过建立工作队列对 workqueuepairs 工作 它充当InfiniBand用户和InfiniBand网络之间的接口设备 每个队列对使用一个队列发送 另一个用于接收 网络中从一个节点传送到另一个节点的数据首先置于发送节点的发送对列中 然后传输到接受节点的接收队列中 1 工作队列对 队列对为特定用户而设 通道适配器中的所有的队列对相对其它队列对而言是独立的和被保护的 一个用户可以使用多个队列对 总之 通道适配器可以由多个用户 每个用户用自己专有的队列对在InfiniBand网络中通信 图13 18用户用自己专有的队列对在InfiniBand网络中通信 通道适配器 2 InfiniBand FC和以太网 TCP IP网络的协议处理对比 InfiniBand使用系统存储操作原有的命令语法 队列对有一个相关的传输协议 决定了系统与存储间通信的整体可靠性 InfiniBand的这个传输服务是 3 传输服务 可靠连接 非可靠连接 可靠数据报 非可靠数据报 原始数据报 4 流控制 InfiniBand与光纤的 缓冲对缓冲 和 端到端 的流控制相同 支持连接级和端对端的流控制 5 光纤通道上的VI VI协议是光纤通道的上层协议 迄今为止 这一协议尚未使用 假设光纤通道与InfiniBand技术有着同样的错误机制 即与光纤通道集群的开发在技术上是可行的 InfiniBand集群 图13 19所示为一个简单的非共享InfiniBand集群 这个集群由两个系统通过两个目标通道适配器控制两个SCSI硬盘驱动器 一个独立的连接负责两个系统的心跳系统 另外 分区用于强调这种非共享结构 图13 19一个简单的非共享InfiniBand集群 图13 20所示为一个共享集群 磁盘驱动器由智能存储子系统代替 它是用嵌入在两个子系统HCA中的分配锁管理其功能 所有设备 两个系统和两个存储子系统 都使用一个共享缓存系统 开销 以协调应用 图13 20带共享缓存的共享InfiniBand集群 集群成员系统 集群成员系统 心跳 心跳 心跳 缓存 心跳 心跳 缓存 缓存 缓存 锁 锁 PCI替代结构 InfiniBand最主要的配置就是替代PCI总线到SAN的连接 在图13 21所示的网络中 HCA为与主机系统中 光纤通道TCA与主机系统相邻 InfiniBand模型层次 InfiniBand体系结构采用多个层次 每层独立操作 它包括物理层 链路层 网络层 传输层和上层 见图1所示 本地IBA操作SAR网络链路编码MAC 上层 传输层 网络层 链路层 物理层 事务 消息 QP 子网间路由 IPV6 网内路由 LID 流量控制 报文中继MAC 远程IBA操作SAR网络链路编码MAC 报文中继链路MAC 终端节点 交换机 路由器 终端节点 图1InfiniBand的层次 物理层 InfiniBand规范的物理层定义了电器和机械特性 包括光纤和铜介质的电缆和插孔 底板接头 热交换特性等 InfiniBand采用全双工串行传输 单线传输速率为2 5Gb s InfiniBand定义了物理层的三种链路速度 1X 4X或12X线并行来扩展信道 具有较高的容错性和抗毁性 链路层 链路层和传输层是InfiniBand结构的核心 链路层定义了报文格式 点到点链路操作 以及本地子网内的交换 在链路层中有两种报文 管理报文和数据报文 管理报文用于链路配置和维护 提供的控制操作包括 设备枚举 子网指示和容错 数据报文用于传输信息 最大传输负载为4k 链路层还允许使用虚信道 VL VL是独立的逻辑链路 它们共享一条物理链路 每条物理链路可以支持15条标准VL和一条管理信道VL15 VL15具有最高优先级 VL0的优先级最低 管理报文独占使用VL15 虚信道可以同时容纳多个通信进程的并发 即一个端节电可以同时与几个不同的端点通信并传输不同的内容 而不会发生连接阻塞 为了确保可靠性和性能 InfiniBand提供基于预约的流量控制管理例程和两阶段的数据完整检查 网络层 InfiniBand网络层提供报文在子网间的路由 在子网内部传输时不需要网络层 每个路由报文使用全局路由首部 GRH 和一个128位IPV6地址表示源和目的节点地址 网络层还为子网中每个设备赋予64位唯一全局标志 GUID 报文通过路由器时 就是基于该标志在子网间传输 当只在一个子网中传输时 InfiniBand不需要网络层信息和头开销 传输层 InfiniBand体系结构的最后一层负责实际报文的传输 传输层控制的几个重要方面 包括报文发送 通道多路复用和基本传输服务 InfiniBand有一项重要的改进 那就是使用硬件机制完成了传输层的所有功能 传输层还负责处理发送时数据分段 接收时重组 InfiniBand规定了多种传输服务用于提高数据可靠性 可以支持各种高层协议 如IP和SCSI 定义了实现管理功能所需要的信息和消息和协议 这些管理协议分为子网管理和子网服务 InfiniBand特性 InfiniBand采用了当今的先进技术 其优越的性能 归纳如下 聚集带宽InfiniBand交换方式提供了专用的无冲突的节点间通信 支持多条并发连接 当加入节点时 交换结构可以增加带宽 分布式系统的通用互联InfiniBand可以构造全局公用的互联结构 用于在任何构造模块间进行通信 必要时管理员可以加入专用构造模块 各种设备可以使用同一链路连接 这样管理员可以通过多种方式增加分布式系统和共享资源 内建安全机制InfiniBand管理结构基于安全密钥 它定义了改变结构或重新编程所需的授权 可以指定系统管理员只操作特定的子网 需要授权才能访问的设备 低软件管理开销InfiniBand规范采用VIA VirtualInterfaceArchitecture 瘦传输层中队列通信模型和机制 消除了并行应用程序集群中server间的通信开销 错误隔离InfiniBand点到点体系结构可以隔离交换结构的故障区 某一连接中的错误可以标志出来 而不会影响其它I O设备 QoS在InfiniBand中 HCA和TCA之间的QoS定义了基于虚链路的队列和带宽 可提供更好的一些服务 RAS优点在可靠性方面 InfiniBand使用点到点的链路 信号少 基本链路连接使用四信号线 同PCI多信号线比较 故障率很小 InfiniBand标准为每个I O单元提供了多个端口 可提供多个物理路由到同一个I O单元 提高了系统的可靠性 可用性的增强通过冗余和标准的网络管理技术实现 主要存储协议 随着对存储需求的不断增长 块存储管理依旧是存储管理的一个热点 块存储管理中使用的是SCSI协议 虽然并行UltraSCSI也支持千兆网络速度 但是距离 一米 和互连限制 16台设备或者通道 使得它难于满足将来的存储网络 因此 光纤通道 FibreChannel Infiniband iSCSI这三种千兆网络技术成为存储网络 SAN 中块存储管理协议的竞争者 图2是三种技术的发展潜力预测 前面我们已经详细介绍了Infiniband 下面我们简要与光纤通道和iSCS进行简要比较 光纤通道协议覆盖了OSI网络模型的物理 链路 网络和传输层 它可以提供多种不同的服务类别 包含了SCSIoverFibreChannel定义 称为FCP 光纤通道是一种二级网络协议 PCI等为一级协议 Infiniband可以是一级协议也可以是二级协议 帧 序列和交换是FC中三种主要的数据传输结构 帧是数据传输的基本单位 在一个方向上传输的一组帧称为序列 双向的一组序列称为交换 光纤通道当前支持的速度可以达到4Gbps 可以采用交换式网络环境 iSCSI协议定义了SCSIoverTCP操作 iSCSI协议借用千兆以太网上面的TCP IP 因为TCP可以用于局域网和广义网 iSCSI也是一种二级协议 iSCSI使用TCP流量控制 拥塞控制 分段机制 还使用了IP寻址和发现机制 iSCSI实现的时候可以采用商用千兆以太网卡加TCP IP iSCSI层采用软件实现 或者使用专用网卡实现以太网 IP TCP和iSCSI层 千兆以太网当前支持的链路速度主要是为1Gbps 以后将是10Gbps 下图显示了几种可用于存储的协议以及它们应用领域的分布 处理器互联 存储区域网络互连 外部存储 内部存储 点到点 交换式 Infiniband 光纤通道 以太网 SCSI 图3几种用于存储的协议及领域分布 Infiniband iSCSI和FC协议的比较 我们按照下面的标准对这三种协议进行评价 协议用于千兆速度网络的有效性协议可扩展性 是否可以方便地映射到IP网络兼容SAN协议和环境 在局域网范围内协议必须高效 可以高效处理SCSI协议 大部分server磁盘和磁带都是基于SCSI的 并且安全可靠 使用千兆线路速度光纤通道的效率 数据通信开销包括软件开销和线路传输开销 网络通信研究表明 当前物理链路传输开销已经很小 因此 软件开销决定了千兆线路速度的效益 这主要体现在它们的物理I O结构 对零拷贝的支持和对报文分割和重组上 FC和iSCSI都是二级网络协议 必须使用PCI总线协议才能把数据从网卡传到内存 但是Infiniband IBA 可以作为一级 也可以作为二级网络 因此 数据可以直接从IBA网卡传到系统内存 IBA采用了交换式互连结构 比通常的PCI或者PCI X更具有扩展能力 PCI和iSCSI也可以采用IBA作为一级网络 但是同直接使用IBA既作为一级又作为二级网络相比 增加了协议转换开销 在TCP IP协议栈中数据需要首先从网卡拷贝到内核内存 然后从内核内存拷贝到应用程序内存 如果处理大块数据的时候 主机CPU就成为瓶颈 限制了协议的吞吐率 当把数据从网卡直接拷贝到应用程序内存时 称为零拷贝 它缩短了传输路径的长度 降低了CPU开销 在FC中 FC网卡执行必要的零拷贝处理 帧中包含了ExchangeID SequenceID和FrameNumber信息 丢失的帧或者乱序到达的帧不会影响零拷贝 IBA中双队列和RDMA的概念可以实现零拷贝语义 在IBA中 当发送方发出了读请求时 同时还发送Rkey和存放返回数据的内存起始地址 接受方进行RDMA写操作 把数据直接写到发送方应用程序内存 TCP协议是基于流的协议 难以实现零拷贝语义 因为TCP段可能分布到多个以太网帧 因此iSCSI报文头和数据可能分布到多个以太网帧 同样 无关的多个iSCSI请求也可能作为一个TCP段到达 应用程序发出的I O请求通常为4k到64k 如果发出的块请求为8k 在iSCSI中需要映射为1 5k的IP网帧 2k大小的FC 2帧 4k的IBA帧 因此引发分割和重组开销 使用大帧的协议有优势 FC和IBA网卡执行分割和重组操作 如果iSCSI采用专门的iSCSI网卡 也可以减轻CPU的负载 使用通用以太网卡后 TCP分割和重组的工作需要主机来完成 增加了主机CPU的开销 协议扩展能力 地址长度 设备发现 IP协议映射是协议可扩展能力的几个主要因素 地址空间FC使用24位地址 IBA和iSCSI使用128位地址 因此 FC地址少于其他两种协议 在子网内部IBA使用16位寻址 在FC中 网卡对于并发的注册数量有限制 进一步限制了它的扩展能力 设备发现在FC中 当加入一个新设备的时候 它同管理员 交换机 进行接触 管理员会通知其它设备 在FC中 当一个设备在线加入 它需要注册到本区的其它设备中 划分区是为了进行访问控制 通信只能在成员间进行 而且 设备与之联系的交换机会通知其它交换机 在规模成千的交换机和设备中 会产生许多消息 IBA中子网管理员扮演了重要的角色 一组IBA设备作为一个子网 子网中具有子网管理员 子网管理员活跃的时候会查询子网中的所有设备 更新数据库中活跃端口和路由信息 子网管理员扫描子网更新活跃和部活跃端口信息 即使扫描限制在子网内部 也会产生许多多余的流量 iSCSI使用的发现机制中 节点可以采用地址硬编码 或者查询存储名字服务器 或者发送一个多路传输消息查询它可以访问的设备 在规模上千的大型网络中 存储节点采用查询存储名字服务器的机制而不是多路传输方法 一旦消息发送节点 发起者 获得了接收设备 目标 IP地址和TCP端口 发起者在需要的时候就可以建立同目标的连接 映射到IP协议当前 IP是使用最为广泛的广域网络协议 因此 为了进行地域上的扩展 大多数高层网络协议需要映射到IP FC和IBA需要把它们的流量控制机制进行