免费预览已结束,剩余1页可下载查看
下载本文档
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
计算机集群系统高速互连技术浅析1. 引言高性能计算机在科研领域和关键业务处理方面占有举足轻重的地位,但是支持这类应用的解决方案,多趋向于专有的昂贵的专有系统,并且整体性能也并不总是灵活的、高效的,可扩展性更是乏善可陈。计算机群集的出现使这种状况得到了显著的改善,集群系统的使用已经有十几年的历史。 作为最早的群集技术设计师之一, G. Pfister 对群集的定义是,一种并行或分布式的系统,由全面互连的计算机集合组成,可作为一个统一的计算资源使用。1在大规模并行计算和机群等高性能计算系统中,处理器之间或计算节点之间的快速互联网络的重要程度并不亚于处理器本身,网络是集群中各个节点相互连接和协同工作的基础。随着双核处理器的出现、PCI-Express总线的发展、超级计算机的规模越来越大以及数据库集群的发展、金融分析的精确度的增加,制造业、石油、气象、生物等仿真技术的发展等,使得高带宽、低延时、高性能、低价格的网络互联方案变得日益重要。在实际的集群系统中,通常采用两套彼此独立的网络。一套是普通百兆以太网,用于系统管理和文件服务等普通网络通信;另一套是高速网,主要负责并行计算的消息传递和数据交换。在TOP500中,集群的高速网主要有千兆以太网(Gigabyte Ethernet)、10G Ethernet、Quadrics、Myrinet、Infiniband、PathScale的Infinipath、IBM的SP网络、Dolphin SCI、SGI的Numa-Link、Gray的RapidArray等2,其中最为广泛使用的高速通信网络有千兆以太网、Myrinet、Infiniband等三种2。下面就这三种网络在带宽、延迟、功能支持和技术优势等方面进行详细的阐述。2几种互联技术的比较与分析2.1 千兆以太网千兆以太网是对IEEE 802.3以太网标准的扩展,在基于以太网协议的基础之上,将快速以太网的传输速率(100Mbps)提高了10倍,达到了1 Gbps。为了能够把网络速度从原先的100Mbps提升到1 Gbps,对物理接口进行一些改动。为了确保与以太网技术的向后兼容性,千兆以太网遵循了以太网对数据链路层以上部分的规定。在数据链路层以下,千兆以太网融合了IEEE 802.3/以太网和ANSI X3T11光纤通道两种不同的网络技术,实现了速度上飞跃。图1所示为三者之间的构成关系。图1 三种网络技术构成关系图这样,千兆以太网不但能够充分利用光纤通道所提供的高速物理接口技术,而且保留了IEEE 802.3/以太网帧的格式,在技术上可以相互兼容,同时还能够支持全双工或半双工模式(通过CSMA/CD)。千兆以太网是现在应用最广泛的网络,可用于Linux集群管理,也可用于Linux集群节点间数据交换和通信,但其网络带宽和延迟不如专用网络,只能在节点通信负载不大的应用环境中得到广泛应用。千兆以太网支持系统到系统之间线速传输,达到约800Mbps的实际数据传送速率,报文收/发时延在60微秒左右。报文收/发延时(或称为ping pong延时)用报文发出到接受到对方回应之间的时间间隔的一半来计算。时延包括交换机的时延(收发双向均为10微秒左右)和接收方主机的收发延时(包括TCP/IP协议栈的处理和缓存到缓存的传送,这些均需要通过软件处理)。千兆以太网的特点是搭建容易,可以以较低的成本满足大部分应用需求。目前,出现了万兆以太网技术,可以以8G到10Gbps的速度输入输出数据。并且网交换部件和芯片组的最新技术进步缩短了以太网的传输延迟,一些局域网设备的延迟降低到了300纳秒。2.2MyrinetMyrinet是Myricom公司私有的交换式集群互连技术,该技术原来为大容量并行处理器系统设计的。Myrinet的基本组成部分是16端口矩阵式交换芯片,通过胖树结构组成较大的交换机和交换阵列。Myrinet交换机和主机适配器的端口速率为2Gbps。Myrinet GM为低级报文层支持收发和RDMA操作。主机端口执行“操作系统旁路”固化微码将协议处理工作从主机CPU卸载下来。Myrinet 网络的设计目标是要在局域网环境中获得系统域网络的性能。因此,它采用了MPP 系统中数据包通信和交换技术,在设计时充分考虑了并行系统内部互连网络传输距离近、出错率低的应用环境,使用简化的链路控制协议实现数据传送,减小了数据传输时的协议开销;采用无阻塞的Clos 网络拓扑结构,减少了数据包在网络中的冲突;网络适配器处理机对网络的自动映像和路由选择功能,可以提高网络的可靠性。Myrinet 网络自从开发成功以来,以其高带宽、低延时和良好的可扩展性,带宽可达200MB/秒,延迟小于10us,成为构造大规模集群系统的理想选择,在历届TOP500中都占有较大份额。2.3InfiniBandInfiniBand简称IBA,由Mellanox公司提出,是一种新的I/O总线技术,用于取代目前的PCI总线。InfiniBand技术是一种开放标准的高带宽、高速网络互联技术。该技术通过一种交换式通信组织(Switched Communications Fabric)提供了较局部总线技术更高的性能。InfiniBand总线拓扑结构是基于分组交换点到点连接的fat tree结构,有很好的扩展功能。它既能以PCB的形式提供芯片与芯片的互联,还能以电缆线的形式提供“out of the box”设备与设备之间的互联。通过硬件提供了可靠的传输层级的点到点连接,并在线路上支持消息传递和内存映像技术。可用于连接处理器节点和I/O节点组成系统级网络。InfiniBand的目标是减小I/O的复杂程度。InfiniBand体系结构中包含5个基本层,自下向上依次是物理层、数据链路层、网络层、传输层和上层软件应用层,其中前4层是通过硬件完成的3。由于硬件承担了原来由CPU完成的许多I/O通信工作,因此在处理并发的多路通信任务时,不会像其他通信协议那样产生额外开销。在InfiniBand结构中还单独定义了一个Subnet Manager的概念,用来配置网络单元、错误报告、链接错误排除、机箱管理等。Infiniband每个单独的链接通道是根信号线,根输入、根输出,每个数据方向是2.5Gb/s的带宽。目前的DDR方式能够达到单通道单方向5Gb/s带宽,在DDR方式下的双向带宽是10Gb/s。而且不同的通道之间还可以组合成为一个端口,这样带宽就可以成倍地增长。在I/O技术层面,InfiniBand 还具有两个非常关键的特性:一是物理层设备低功耗,二是“箱外带宽”(Bandwidth Out of the Box)。 一个InfiniBand结构的铜介质物理层设备(PHY)每一个端口只需要0.25瓦,而一个千兆以太网物理层设备每一个端口需要2瓦的功耗。Infiniband 完备的通信协议和网络底层的实现技术借鉴了以太局域网、光纤通道存储网络和广域网络的研究经验,因此具有很强的通用性。从InfiniBand技术的发展前景来看,随着基于QDR(四位数据率) InfiniBand技术的产品推向市场,InfiniBand网卡的单端口带宽将达到40Gbps、80Gbps或120Gbps,相信InfiniBand技术将会变得越来越普及。2.4 技术优势对比InfiniBand和Myrinet之间有许多类似的方面:都通过内部“胖树”结构用相对小的矩阵式交换芯片来组建较大的独立交换机。独立交换机通过外部“胖树”结构再联合起来满足更大规模的应用要求。所有这些交换机均使用“直通”交换技术减少交换时延,RDMA旁路系统内核处理降低时延和CPU使用率。尽管有很多的相似之处,在主机适配器体系结构上仍然有许多显著差异,如表1中的数据显示。采用完全“胖树”结构的大型集群需要大量的交换机和繁重的布线工作,例如一个1024个节点的典型集群结构,需要使用了24个交换机节点,每台交换机提供128个端口。这个配置的每个链路带宽均相同,因此共计有964条交换机互连链路。InfiniBand、Myrinet都比千兆以太网提供了更好的带宽、时延和CPU使用率。但是,由于相对小规模的交换矩阵芯片,端口数较多的交换机的内部可能会变得非常复杂。整个集群需要的交换机数量将很多,交换机之间互连的布线也将非常复杂。因此,具体选择哪种互连技术将必须根据实际应用的特点在性能和复杂性/成本上作出权衡。表1 InfiniBand和Myrinet参数对比Mellanox InfiniBandMyricom Myrinet 交换矩阵芯片24 端口 16端口交换拓扑Fat tree Fat tree 最大电缆长度(交换机到主机)10m 铜线 10m铜线200m 光纤单台交换机端口数144 端口/10 RU 128端口/9 RU主机适配器PCI-XPCI-X 端口速率2.5, 10, 30 Gbps 2 Gbps 大报文吞吐能力 64 字节6.6 Gbps (10 Gbps ports)1.88 Gbps最大吞吐率时的CPU使用率3% 6%16字节报文的收/发延时7.8 微秒 6.5微秒4字节报文的收发延时15微秒32微秒互联网络的考虑因素主要有延时、带宽、价格、功能支持。一般来讲,互联系统的价格与延时成反比,而与带宽成正比。为了节省费用,应该针对不同的应用配置不同的互联系统。由于各种应用的需求不同,对于互联方式的延时和带宽的要求也不一样。有些高性能计算的应用需要每个节点之间非常频繁地交换数据,但每次的数据量并不很大,在设计时就需要使用低延时的互联网络,而对带宽的要求则不高。反之,有些应用节点之间的数据交换不是非常频繁,但每次交换的数据量非常大,则需要考虑使用高带宽的互联网络,对延时要求则不高。下表中就前面阐述的三种互联技术的特性进行对比。表2 互联技术特性对比类型特点GigibatEthernet和其他高速网相比千兆以太网在性能上有着一定的差距,但价格最为便宜,同时采用标准的通信协议,能很好的与其它设备连接,具有很好的可实用性和可管理性。在中小规模机群和对网络性能要就相对较低的机群系统中得到了广泛的应用。万兆以太网的出现在性能方面有了一定的提高,但延迟问题依然存在,最低延迟仍然大于300纳秒。Myrinet使用广泛、技术最成熟的一种高性价比高速网络。Myrinet2000具有2.5GB/s的单向连接速度,2.6-3.6us MPI延迟E-卡和F-卡2.6us MPI延迟。最新推出的Meri-10G提供更高的带宽和更低的延迟。同时新的Myrinet完全实现了和以太网的互操作性。InfinibandInfiniband虽然诞生的时间不长,但具有极高的性能,特别是带宽,可达30Gbps,目前提供1X(2.5Gb/s)、4X(10Gb/s)、12X(30Gb/s)三种网络连接速度。缺点是在服务器硬件上需要昂贵的专有互联设备,并且与集群外部进行通信时,需要交换设备在以太网/IP和Infiniband间进行转换。3 结束语Myrinet作为经典的高速网络在TOP500中一直占有较大份额,
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- (2026年)十八项核心制度试题(含答案)
- 《宠物疫病》期终考试试卷及答案
- 2025班组安全培训考试试题含答案【新】
- 1中医药适宜技术培训试题及答案
- (完整版)《3-6岁儿童学习与发展指南》学习测试题及答案
- (2025)一级消防工程师继续教育题库及答案
- 《金融市场基础知识》考试真题及答案
- 关于2026年年终财务结算时间节点通知函3篇
- 安全风险管控体系培训考试模拟试卷(含答案)
- 2026年苏区历史考试题库带答案
- 2026年消防设施操作员(初级)实操考核试题及答案
- 七年级(上)历史63个核心必背考点
- 《CSCO胰腺癌诊疗指南(2026)》更新要点解读
- 儿童情绪调节量表
- 基于核心素养的小学语文大单元教学设计与实施指南
- 学校校务公开及信息发布管理办法
- 人教版川教版 三年级上册《生命生态安全》简述式教案
- SLT 336-2025水土保持工程全套表格
- 2026年前程无忧性格测试题目及答案
- 初中语文“阶梯式”整本书阅读教学研究
- 局麻药应急预案(3篇)
评论
0/150
提交评论