计算机仿真论文(计算机仿真 论文)高效能计算机互连网络拓扑结构的建模与仿真

1、计算机仿真论文（计算机仿真 论文）：高效能计算机互连网络拓扑结构的建模与仿真摘要:该论文主要论述了高效能已成为超级计算机的追求目标,影响计算机效能的因素很多,其中一项重要因素就是互连网络拓扑结构,其直接决定着互连网络中数据传输的效率.论文基于此,首先对结点内部的处理器、适配器、链路和交换机进行抽象、提取主要特性、设置参数并建立模型;在此基础上,针对高效能计算机互连网络拓扑结构的选择问题,以Opnet网络仿真软件为平台,建立了Mesh结构、Torus结构以及Fat-tree结构3种网络拓扑结构的模型,从网络延时、接收有效包的比例以及静态结构等方面,对网络性能进行分析,通过仿真结果的对比与总结,确

2、定Torus结构网络性能最优.关键词:计算机互连网络; Opnet仿真;高效能计算机;拓扑结构;建模与仿真Modeling and simulation on high productivity computersinterconnecting network topologyAbstract:Presently, high-productivity has become one of the goals that supercomputers pursue.Among the many factors, topology of the interconnection network is a

3、n important one which directlydetermines the efficiency of the data transportation in the interconnection network. This article, first-ly, abstracts the processors, adapters, links and switches, extract the major characters, set argu-ments, and then create models; on this basis, taking the Opnet net

4、work simulation software as theplatform and the selection of the most suitable interconnection network for the high-productivity com-puters as the main goal, we build three network topology models-Mesh, Torus and Fat-tree to analyzethe performance of the networks from the perception of network laten

5、cy, packet reception ratio andstatic structure. The conclusion out of the comparison and summarization of the simulation result isthat Torus is the best solution.Keywords:interconnection network; Opnet simulation; high-productivity computer; topology; mod-eling and simulation11、问题的讨论当前,随着内存墙、I/O墙、功耗

6、墙、编程墙、扩展性墙等诸多问题的日益突出,高效能计算机成为重点发展的技术方向1,2.影响高效能计算机性能的因素很多,包括结点机的硬件体系结构、互连网络的拓扑结构以及结点数量等诸多因素.其中,由于高效能计算机所执行的任务往往是大规模并行计算,需要多个节点机协同工作,因此互连网络就成为了这种体系结构中一个重要的性能瓶颈,其对整机性能的影响不容忽视.本文的仿真模型中,采用实际的物理参数建立模型,对InfiniBand互连网络进行简化模拟.当前,高性能计算机中常用的互连网络模型主要有Mesh, Torus, Fat-tree这3种.其中Mesh和Torus都属于k-ary n-cube互连网络.文献6

7、10做了大量的相关研究,得到了一些研究成果.本文主要对比了结点间Mesh结构、Torus结构以及Fat-tree结构下的网络性能,从传输延时、接收有效包的比例以及静态网络结构3方面对仿真结果进行分析,从而对不同结构的网络性能进行对比与总结.实验中采取了基于面向对象的建模机制11,使系统与模型具有直接的对应关系,符合正常思维习惯,易于理解,并且其封装性和继承性使模型具有可重用性,减少了代码量和模型数量.首先针对项目中高效能计算节点体系结构提出在Infiniband框架中分别实现Mesh,Torus和Fat-tree模型的方法,然后在此基础上,通过Opnet仿真,对这3种互连网络模型的性能进行对比

8、分析.对于网络仿真过程中负载模型的选择目前主要有3种方法:人工合成消息,全系统模拟和应用轨迹.全系统模拟即模拟整个系统包括网络中的计算机及运行于其上的应用程序,这种仿真方法较为复杂,不便应用.因此,本文采用人工合成消息的方法.2高效能计算机结构分析2007年我国就启动了“十一五”863计划“高效能计算机系统研制及关键技术研究”重大项目课题.在该项目中,高效能计算机的设计是由上百个结点构成的,每个结点内部包含16个Loongson3A处理器,处理器之间采用Hypertransport12总线互连,构成Mesh结构.由于每4片处理器能够实现缓存一致性,因此16个处理器划分为4组SMP,每组SMP通

9、过一片MCP68南桥芯片与InfiniBand适配器互连,如图1所示.点之间通过InfiniBand总线互连,物理结构上,Infiniband适配器发送的数据通过QDR Switch进行转发,属于星型拓扑结构,由于一种物理拓扑结构可以对应多种逻辑拓扑结构,逻辑结构上,结点之间的互连有Mesh,Torus以及Fat-tree133种拓扑结构可供选择.为了分析与物理拓扑对应的3种逻辑拓扑对于高效能计算机通信性能的影响,本文以该项目为背景,运用网络仿真软件对高效能计算机进行建模与仿真.3系统分析与实现3.1系统分析在本系统中,虽然结点间的拓扑结构有多种选择,从数据流的传输角度考虑,仍然存在一些共性.

10、结点内部的16个loongson3A CPU既为发送节点又是接收节点,CPU创建数据包,按X-Y路由协议将数据包传送给结点内部的目的CPU,或者通过Infiniband适配器转发到网络上,之后通过Switch转发给其他的Infiniband适配器,进而传送给相应的目的结点,最后通过X-Y路由协议到达正确的目的CPU.目的CPU接收数据包,记录需要的统计信息量后销毁该包,完成一次传输.包的传输流程包传输流程图由于同种类型的节点功能相同,抽象到模型的层面上存在很多的共性,因此采用面向对象的机制进行建模,同种类型的节点建立一种模型,如所有的loongson3A CPU建立一种模型,每个节点都是一种模

11、型的实例化,每个节点都可以拥有自己特有的属性,从而使节点之间保持了各自的不同性.使用loongson3A CPU的新型节点机最大的特点在于将过去用于CPU间通信的HT总线用于系统间的互连,从而使得CPU间通信也成为互连网络中系统间通信的一部分.因此,在设计高效能计算机互连网络仿真模型时,必须将处理器的通信模型作为一项重点.本文用IP/端口地址对标示一个CPU,IP地址标示该CPU所在的节点机,端口地址标示该CPU.另外,由于要对整个互连网络进行仿真,因此,需要对网络交换机进行建模,以精确模拟网络中数据包的转发过程.特别地,对于Fat-tree拓扑结构的互连网络,交换机分为叶交换机和主干交换机2

12、种,其转发策略有所不同:叶交换机的主要工作是接受主干交换机发来的数据包并转发给目的主机和查看各主干交换机的工作状态,并将数据包发送给空闲的主干交换机;而主干交换机的主要工作是根据数据包的目的地址将其转发给相应的叶交换机.因此,对这2种交换机需要分别建模和仿真.综上所述,从数据包的传输流程分析,总共需要建立4种模型:处理器模型、Infiniband适配器模型、叶交换机模型和主干交换机模型,模型与网络实际对象的对应模型与网络的对应关系网络对象对应模型Loongson3A CPU处理器模型Infiniband互连网络Infiniband适配器节点模型Fat-tree结构中第一层交换机主干交换机模型F

13、at-tree结构中第二层交换机叶交换机模型3.2系统实现处理器模型处理器模型是对loongson3A网络模型为了对比不同网络拓扑结构下的通信性能,创建了3个场景 ,结点间互连结构依次为Mesh结构、Torus结构和Fat-tree结构.圆形节点代表了一个结点,结点是一个子网,内部放置了16个处理器节点模型,通过HT总线相连成Mesh结构,方形节点为InfiniBand适配器节点模型.这里所指的Mesh,Torus以及Fat-tree结构是指InfiniBand适配器模型之间的互连结构.结果分析对网络性能进行定量研究,需要选择合适的网络性能指标.评价信息网络性能好坏的主要技术指标包括网络吞吐量

14、、链路利用率、响应时间、包延迟时间、延迟抖动、丢包率等.针对本实验中以包传输为基础的计算机通信网络的特征,通过静态结构分析网络的传输效率,以收包率和链路吞吐率评价数据包的传输特性,以各种延时评价交互式通信网络对时间的要求.从结构上进行分析,静态的对比3种拓扑结构的特征,.网络直径是评价网络通信性能的一种重要指标,2个节点之间的距离越短,其传输延时就越低.因此,从网络直径分析,Torus结构最具优势.静态结构对比分析表结构节点度网络直径网络总连接数对剖宽度二维Mesh结构1616 5 2( 16-1) 24 16二维Torus结构1616 5 2 16/2 32 2 16胖树结构4元2树Infi

15、niBand芯片的节点度恒为2,叶交换机的节点度为8,主干交换机的节点度为44 32 83种拓扑性能对比Mesh结构Torus结构Fat-tree结构网络延时中低高队列延时中中高收包率中中低网络直径高低中对剖宽度低高高总连接数低高高综合分析,在互连网络中高负载高数据传输率的情况下,Torus互连网络结构可以更好地分配带宽,降低网络拥塞程度,更充分地体现高效能计算机的计算性能.因此根据本文仿真的结果,Torus拓扑结构更适用于高效能计算机互连网络.本文使用Opnet网络仿真软件对高效能计算机进行建模,针对高效能计算机内部结点间物理拓扑可以对应多种逻辑拓扑的问题,主要建立了结点间Mesh、Torus以及Fat-tree这3种逻辑拓扑结构的网络模型,3种结构下仿真结果的对比与分析显示Torus结构的网络性能最优,从而为结点间拓扑结构的选择提供了依据.致谢在此,向对本文的工作给予支持和建议的同行,尤其是北京航空航天大学计算机学院肖利民教授领导的小组的老师和同学表示感谢.参考文献1曾宇.高效能计算机技术及标准现状J.信息技术与标准化, 2008(7): 17-20.2陈左宁.从高性能计算走向高效能计算J.计算机教育, 2004, 6: 26-28.3李涛,陈字明,赵精龙,等.