思特奇Infiniband解决方案测试报告.docx

思特奇Infiniband解决方案测试报告北京思特奇信息技术股份有限公司二一三年五月目录1测试概述2什么是infiniband(百度百科)21.1测试目标51.2测试环境51.2.1拓扑结构51.2.2详细配置61.3环境配置61.3.1安装infiniband intel驱动61.3.2安装infiniband开源驱动81.4安装测试软件netpipe111.4.1注意111.5InfiniBand性能测试111.5.1测试io带宽111.5.2测试网络延时131.1业务测试141.1.1安装内存数据库151.1.2测试两台主机间内存查询吞吐量151.1.3测试两台主机间Infiniband网络延时152结果验证153结论151 测试概述什么是infiniband(百度百科)InfiniBand架构是一种支持多并发链接的“转换线缆”技术，在这种技术中，每种链接都可以达到2.5 Gbps的运行速度。这种架构在一个链接的时候速度是500 MB/秒，四个链接的时候速度是2 GB/秒，12个链接的时候速度可以达到6 GB /秒。HCA卡:单口:双口:infiniband交换机:infiniband连接线:InfiniBand技术不是用于一般网络连接的，它的主要设计目的是针对服务器端的连接问题的。因此，InfiniBand技术将会被应用于服务器与服务器（比如复制，分布式工作等），服务器和存储设备（比如SAN和直接存储附件）以及服务器和网络之间（比如LAN， WANs和the Internet）的通信。我们为什么需要InfiniBand？采用Intel架构的处理器的输入/输出性能会受到PCI或者PCI-X总线的限制。总线的吞吐能力是由总线时钟决定的（比如33.3MHz，66.6MHz 以及133.3MHz）和总线的宽度（比如32位或者64位）。在最通常的配置中，PCI总线速度被限制在500 MB /秒，而PCI-X总线速度被限制在1 GB/秒。这种速度上的限制制约了服务器和存储设备、网络节点以及其他服务器通讯的能力。在InfiniBand的技术构想中，InfiniBand直接集成到系统板内，并且直接和CPU以及内存子系统互动。但是，在短期内，InfiniBand支持将由PCI和PCI-X适配器完成；这样，InfiniBand在最初将会受到总线的制约。在2002年年底，InfiniBand技术将会完全被整合在Intel服务器供应商以及Sun生产的服务器中（80%的可能性）谁在倡导InfiniBand？InfiniBand是由InfiniBand行业协会所倡导的。协会的主要成员是：康柏，戴尔，惠普，IBM，Intel，微软和Sun。从历史的角度看，InfiniBand代表了两种计算潮流的融合：下一代I/O（NGIO）和未来的I-O（FIO）。大部分NGIO和FIO潮流的成员都加入了InfiniBand阵营。InfiniBand是纯硬件的吗？不。InfiniBand的成功还需要软件-包括很多不同的层。这种技术架构和架构上的代理（服务器，存储设备，通讯设备，switch以及其他的一些设备）都需要软件管理。应用软件也必须适应这种架构。操作系统也必须进行调整以和芯片组进行最优化的通信。我们认为InfiniBand的相关软件的发展将会成为InfiniBand产品应用的一个瓶颈。但是，到2005年，80%大、中型企业都会有在数据中心环境下的正式的InfiniBand产品。Windows 2000支持InfiniBand吗？既支持也不支持。在InfiniBand的试制，测试阶段，对InfiniBand的支持是由设备供应商的驱动来提供的，而不是直接由操作系统来支持。而且，微软没有时间把对InfiniBand的支持加入到它的Windows 2000中。不过微软有可能在2002年第二季度把这种支持添加进来。（60%的可能性）InfiniBand会取代线缆通道吗？现在还没有计划。就象InfiniBand技术完全被整合到服务器的软件和硬件中需要时间一样，它被完全整合到存储设备和SAN中也需要时间。2003年，90%的InfiniBand服务器会采用InfiniBand-线缆通道、InfiniBand-千兆以太网或者InfiniBand- SCSI桥的方式连接网络上的外接存储。（90%的可能性）。InfiniBand会取代千兆（或者更快的）以太网吗？对这个问题的回答是：不会。以太网是应用于高层网络通信（比如TCP/IP）的技术，而InfiniBand是用于低层输入/输出通信的技术。即使以太网达到甚至超过了InfiniBand的速度，高层网络通信的特点使得它也不能够成为适合服务器端输入/输出的解决方案。 总结：InfiniBand架构肩负着改善服务器端输入/输出性能的使命。但是，InfiniBand不仅仅是芯片和硬件。为了发挥应有的作用，硬件和软件必须充分在操作系统，管理层以及应用层整合起来。按照技术激进程度划分，“A类型”的企业将会在2002年第二季度考虑小批量生产InfiniBand产品，而没有那么激进的企业可能会等到2003年第一季度或者更迟。如果你还没有关注InfiniBand，那要准备好应付铺天盖地的相关信息，甚至是产品。经过多年的酝酿，和使其成为规范的努力，以及实验室的开发。InfiniBand即将横空出世。不管你最终采用InfiniBand，或是放弃，亦或是等等看看，你都要了解这种用于数据中心的新型互联技术。InfiniBand产品正逐步进入市场，预计在2003年将有大批产品上市。由康柏、戴尔、惠普、IBM、英特尔、微软和SUN公司于1999年创建的InfiniBand行业协会(IBTA)，现在有180多加公司参加。这些业界巨人也组成了筹划指导委员会。自从2000年1月以来，共吸收了3亿美元的风险资金，很明显，InfiniBand是业界推出的重大项目。存储网络界的许多大公司认为，InfiniBand将会作为PCI总线的替代品，首先出现在服务器内部。这样就很容易解释为什么他们对InfiniBand互联不热心。但是，没有什么事情是必然的。随着启动的一系列工作，InfiniBand将会很容易地进入存储网络。如果InfiniBand确实作为PCI的替代品用于数据中心，则会出现这样的情况，或者InfiniBand证明自己同样适用网络传输，或者需要进一步的开发。这就是要关注该技术的原因。或许需要投入时间、资金，并重新规划，但是，这会潜在地改进公司的互联体系结构。InfiniBand如何工作InfiniBand是一个统一的互联结构，既可以处理存储I/O、网络I/O，也能够处理进程间通信(IPC)。它可以将磁盘阵列、SANs、LANs、服务器和集群服务器进行互联，也可以连接外部网络（比如WAN、VPN、互联网）。设计InfiniBand的目的主要是用于企业数据中心，大型的或小型的。目标主要是实现高的可靠性、可用性、可扩展性和高的性能。InfiniBand可以在相对短的距离内提供高带宽、低延迟的传输，而且在单个或多个互联网络中支持冗余的I/O通道，因此能保持数据中心在局部故障时仍能运转。如果深入理解，你会发现InfiniBand与现存的I/O技术在许多重要的方面都不相同。不像PCI、PCI-X、 IDE/ATA 和 SCSI那样共享总线，因此没有相关的电子限制、仲裁冲突和内存一致性问题。相反，InfiniBand在交换式互联网络上，采用点到点的、基于通道的消息转发模型，同时，网络能够为两个不同的节点提供多种可能的通道。这些方面，InfiniBand更像以太网，而以太网构成LANs、WANs和互联网的基础。InfiniBand和以太网都是拓扑独立其拓扑结构依赖于交换机和路由器在源和目的之间转发数据分组，而不是靠具体的总线和环结构。像以太网一样，InfiniBand能够在网络部件故障时重新路由分组，分组大小也类似。InfiniBand的分组大小从256b到4KB，单个消息（携带I/O处理的一系列数据分组）可以达到2GB。以太网跨越全球，InfiniBand则不同，其主要用于只有几间机房的数据中心，分布于校园内或者位于城市局部。最大距离很大程度上取决于缆线类型（铜线或光纤）、连接的质量、数据速率和收发器。如果是光纤、单模的收发器和基本数据速率的情况下，InfiniBand的最大距离大约是10公里。如同以太网一样使用交换机和路由器， InfiniBand在理论上能够跨越更远的距离，尽管如此，在实际应用中距离要受到更多的限制。为了确保数据分组的可靠传输，InfiniBand具备诸如反应超时、流控等特点，以防止阻塞造成的分组丢失。延长InfiniBand的距离将降低这些特征的有效性，因为延迟超过了合理的范围。为了超越数据中心的范围，其它I/O技术必须解决长距离的问题。InfiniBand厂商通过能够连接到以太网和光纤通道网络的设备来解决这个问题（光纤通道的最大距离大约为10公里，因此桥接设备使得InfiniBand能够与现存的用光纤通道连接的校园网络和城域网络的分布式数据中心相兼容）。1.1 测试目标测试IntelQLE7342ck Qlogic Dual-Port 40GB IB to X8 ADA QLE7342-CK Infiniband HCA卡在pc机上的吞吐量以及网络延迟情况. HCA卡的驱动的安装 硬件管理功能测试 IPoIB功能测试 IPoIB基本性能测试 编译并行程序测试 业务部门测试(billing的内存库测试)1.2 测试环境使用两块Intel HCA卡,两台pc机作为硬件测试平台1.2.1 拓扑结构1.2.2 详细配置硬件平台网络配置操作系统应用软件pcserver服务器14*2.67GHz, 36GB内存，2块SATA 500GB硬盘eth0： 75ib0： CentOS release 6.3 (Final)OFEDnetpipe内存库软件pcserver服务器24*2.67GHz, 36GB内存，2块SATA 500GB硬盘eth0: 76ib0:CentOS release 6.3 (Final)OFEDnetpipe内存库软件1.3 环境配置操作系统均为完全安装的CentOS release 6.3 (Final)系统。同时还需要另外下载安装以下一些rpm包：pciutils-devel-2.2.1-16.2.rpm sysfsutils-64bit-1.3.0-14.rpm 在Redhat中sysfsutils-64bit库需要自己编译。参照如下方法下载sysfsutils-src-1.2.0-1.rpm解压rpm2cpio sysfsutils-src-1.2.0-1.rpm | cpio div/编辑sysfsutils.spec， 修改其中Release： 64bit#export CC=gcc m64#cp sysfsutils-1.2.0.tar.gz /usr/src/redhat/SOURCES/# rpmbuild -ba sysfsutils.spec编译好的sysfsutils在/usr/src/redhat/RPMS/目录下1.3.1 安装infiniband intel驱动第一次安装intel提供的官方驱动:/SearchResult.aspx?lang=zho&keyword=infiniband按照安装菜单:1) View OFED Installation Guide 2) Install OFED Software 3) Show Installed Software 4) Configure IPoIB 5) Uninstall OFED Software Q) ExitSelect Option 1-5:q安装后,hca卡状态为down,CA qib0 CA type: InfiniPath_QLE7342 Number of ports: 2 Firmware version: Hardware version: 2 Node GUID: 0x0011750000709a70 System image GUID: 0x0011750000709a70 Port 1: State: Down Physical state: Sleep Rate: 40 Base lid: 2 LMC: 0 SM lid: 2 Capability mask: 0x0761086a Port GUID: 0x0011750000709a70 Link layer: IB Port 2: State: Down Physical state: Sleep Rate: 40 Base lid: 65535 LMC: 0 SM lid: 65535 Capability mask: 0x07610868 Port GUID: 0x0011750000709a71 Link layer: IB然后咨询intel专家回复如下:We are not support HCA HCA connected. But maybe you has some workaround maybe work, you can try. Keep the Subnet manager active and worked. #service opensmd startThan manual enable the port#The workaround is to run “ibportstate -D 0 1 enable” on one end.(that is ibportstate -D enable. HCA numbers from 0, Port numbers from 1)#得知intel技术上不支持hca卡互连.1.3.2 安装infiniband开源驱动从/downloads/OFED/ofed-1.5.3/下载ofed1.5.3驱动1. 运行命令rootinfini2 OFED-# ./install.pl2. 安装菜单OFED Distribution Software Installation Menu 1) View OFED Installation Guide 2) Install OFED Software 3) Show Installed Software 4) Configure IPoIB 5) Uninstall OFED Software Q) ExitSelect Option 1-5:.选择2,然后:OFED Distribution Software Installation Menu 1) Basic (OFED modules and basic user level libraries) 2) HPC (OFED modules and libraries, MPI and diagnostic tools) 3) All packages (all of Basic, HPC) 4) Customize Q) ExitSelect Option 1-4:选择33. 修改mm.h文件vi /usr/src/kernels/2.6.32-279.el6.x86_64/include/linux/mm.h注释其中代码:/*int _get_user_pages(struct task_struct *tsk, struct mm_struct *mm, unsigned long start, int len, unsigned int foll_flags, struct page *pages, struct vm_area_struct *vmas);*/4. 重新安装步骤开始15. 运行命令查看ib卡状态rootinfini1 # ibstatCA qib0 CA type: InfiniPath_QLE7342 Number of ports: 2 Firmware version: Hardware version: 2 Node GUID: 0x0011750000709a70 System image GUID: 0x0011750000709a70 Port 1: State: Initializing Physical state: LinkUp Rate: 40 Base lid: 2 LMC: 0 SM lid: 2 Capability mask: 0x0761086a Port GUID: 0x0011750000709a70 Link layer: IB Port 2: State: Initializing Physical state: LinkUp Rate: 40 Base lid: 65535 LMC: 0 SM lid: 65535 Capability mask: 0x07610868 Port GUID: 0x0011750000709a71 Link layer: IB6. 发现hca卡状态都是Initializing7. 执行命令rootinfini1 # service opensmd restart8. 在第二主机上重复上述安装过程9. 查看hca卡状态rootinfini1 # ibstatCA qib0 CA type: InfiniPath_QLE7342 Number of ports: 2 Firmware version: Hardware version: 2 Node GUID: 0x0011750000709a70 System image GUID: 0x0011750000709a70 Port 1: State: Active Physical state: LinkUp Rate: 40 Base lid: 2 LMC: 0 SM lid: 2 Capability mask: 0x0761086a Port GUID: 0x0011750000709a70 Link layer: IB Port 2: State: Initializing Physical state: LinkUp Rate: 40 Base lid: 65535 LMC: 0 SM lid: 65535 Capability mask: 0x07610868 Port GUID: 0x0011750000709a71 Link layer: IB10. 分别在两台主机配置ipoibrootinfini1 # ip a a /24 dev ib0rootinfini2 # ip a a /24 dev ib011. 两台主机互相pingrootinfini1 # ping infini2PING infini2 () 56(84) bytes of data.64 bytes from infini2 (): icmp_seq=1 ttl=64 time=5.72 ms64 bytes from infini2 (): icmp_seq=2 ttl=64 time=0.108 msC- infini2 ping statistics -2 packets transmitted, 2 received, 0% packet loss, time 1597msrtt min/avg/max/mdev = 0.108/2.915/5.723/2.808 msrootinfini2 OFED-# ping infini1PING infini1 () 56(84) bytes of data.64 bytes from infini1 (): icmp_seq=1 ttl=64 time=0.088 ms64 bytes from infini1 (): icmp_seq=2 ttl=64 time=0.113 ms64 bytes from infini1 (): icmp_seq=3 ttl=64 time=0.095 ms64 bytes from infini1 (): icmp_seq=4 ttl=64 time=0.106 msC- infini1 ping statistics -4 packets transmitted, 4 received, 0% packet loss, time 3136msrtt min/avg/max/mdev = 0.088/0.100/0.113/0.013 ms12. 驱动安装结束测试过程具体的测试过程，包括基本功能测试，网络性能测试两类，请参看以下几个步骤。1.4 安装测试软件netpipe本次测试InfiniBand的网络性能使用的工具是NETPIPE。并且与千兆以太网做一个性能对比。1. 下载NETPIPE源码并解压2. 修改makefile其中的cc选项，在cc后加上-m643. 然后执行make 生成 NPtcp。这个程序是用来测试以太网性能。我们将分别测试IPoverIB，以及IPoverEthernet4. 再执行make ibv 生成 NPibv。这个程序是用来专门测是InfiniBand的传输性能的。5. 执行以太网测试方法。infini1#./NPtcp /启动侦听服务infini2#./NPtcp h IP_ADDRESS /启动测试客户端,其中IP地址为对应的测试网段的地址测试infiniband方法infini1#./NPibv /启动侦听服务infini2#./NPibv h oceanib1 /-h后为远端的主机名1.4.1 注意在编译NPibv的时候可能会出现代码bug,修改ibv.c文件:rootinfini1 src# pwd/work/NetPIPE-3.7.1/srcrootinfini1 src# vi ibv.c修改static int max_wq=50000; /* max write queue entries */为 static int max_wq=15000; /* max write queue entries */重新编译后开始测试过程1.5 InfiniBand性能测试1.5.1 测试io带宽 ftp文件1. 以太网ftp测试sftp get CentOS-6.3-x86_64-bin-DVD1.isoFetching /workmnt/CentOS-6.3-x86_64-bin-DVD1.iso to CentOS-6.3-x86_64-bin-DVD1.iso/workmnt/CentOS-6.3-x86_64-bin-DVD1.iso 100% 4091MB 11.2MB/s 06:05 测试使用CentOS-6.3-x86_64-bin-DVD1.iso系统镜像文件,大小4G.ftp时间6分5秒,平均速度11.2MB/S2. infiniband over ip ftp测试sftp get CentOS-6.3-x86_64-bin-DVD1.isoFetching /workmnt/CentOS-6.3-x86_64-bin-DVD1.iso to CentOS-6.3-x86_64-bin-DVD1.iso/workmnt/CentOS-6.3-x86_64-bin-DVD1.iso 100% 4091MB 46.0MB/s 01:29 测试使用CentOS-6.3-x86_64-bin-DVD1.iso系统镜像文件,大小4G.ftp时间1分29秒,平均速度45.96MB/S3. 带宽比较 netpipe软件测试1. 以太网带宽测试当数据包大小达到4194304的时候,100