IPv6存储集群网络模块的设计应用

1、    ipv6存储集群网络模块的设计应用    王悦摘要：互联网协议 ipv4技术存在很多缺陷，如网络地址资源有限，地址空间狭小，网络地址分配率低，安全性不高等问题。随着互联网规模和网络结构的不断扩大和发展，人们对网络协议的要求就越来越高，而ipv4技术已经远远不能满足互联网发展的实际需要。在这样的形势下， ipv6作为ipv4技术的下一代网络协议就运用而生。网络协议 ipv6技术作为新一代网络协议，很大程度上解决了传统ipv4技术的多种不足问题，成为新一代网络协议的主要标志，使用了将近20余年的ipv4技术将会成为历史。该文主要针对ipv6存储集群网

2、络模块的设计和应用进行了分析和探讨。关键词：ipv6；ipv4；存储集群；网络模块；设计应用：tp393 ：a ：1009-3044（2015）012-0044-02ipv6作为新一代网络协议技术具备多重优点，网络地址资源丰富，有超大的网络地址空间，服务质量高，分级地址模式以及安全性高等特点。随着科技的不断创新和人们要求的不断提高，视频会议、流媒体直播以及数据通信等等业务的增加，而这些实现这些应用的过程中都需要足够的网络储存支持，这就导致网络的数据量急剧增长。san和nas是以往常用的存储集群系统，san和nas属于共享存储系统，系统中的每个节点都可以对其进行访问，但如果系统中的节点增加到一定

3、程度时，i/0总线将会影响系统性能的进一步增长，这样就不能满足实际需要。而lustre的出现有效地解决了san和nas中出现的问题，为海量存储系统的构建提供了基础条件。目前，大多数分布式文件系统都是通过ipv4技术实现的，在ipv6网络协议逐渐成为互联网标准的形势下，构建基于ipv6的分布式文件系统将成为互联网的必然发展趋势。文章将介绍把支持ipv4的lustre分布式文件系统改进为支持ipv4和ipv6两种网络协议的分布式文件系统的设计原理和方法步骤，并在两种协议环境中对lustre的性能进行测试。1 基于lustre的文件系统、网络模块lustre文件系统是有多个公司和科研机构共同研发的基

4、于对象存储的文件系统，其中之一的ibm（即国际商业机器公司）开发的超级计算机bule gene（深蓝）和hpstorageworks scalable file share（hp的可扩展文件共享系统）用到的文件存储系统都是都是lustre文件系统。lustre文件系统表现的多方面优点主要原因是因为该系统同时采用了mds（元数据服务器）、ost（基于对象的存储服务器）以及client（客户端）形成三方通信模式。元数据服务器的主要功能是维护和管理目录结构、命名空间以及用户权限，并且还负责保持系统数据的一致性；存储服务器主要就是负责系统对象数据的存储管理；客户端负责存储系统文件的运行，和存储服务器实

5、现系统数据交互，负责系统文件的读写以及存储对象的属性改变，另外还有通过获取符合链接、目录、inode结构等方式与元数据服务器进行交互。开发基于ipv6的lustre文件存储系统要解决的一个关键性问题就是lustre文件存储系统的网络模块，lustre文件存储系统采用的网络模块是portals mpi，portals mpi主要是针对规模较大的并行系统而设计开发的，该网络模块利用旁路应用程序以及旁路操作系统等相关技术到达零拷贝的效果，并通过对网络抽象层的应用可以独立支持各种网络类型。tcp/ip nal是portals 支持的多种网络类型中唯一一个涉及ip协议栈的，所以只需要对网络抽象层进行改进

6、设计。为了对socket api同时支持ipv4和ipv6的原理有更深入的理解，就需要对socket api的内核实现原理进行分析。linux系统内核对ipv6的支持是从该系统版本2.2开始，本文是以版本2.6为研究对象进行分析。2支持ipv4和ipv6双协议栈的socket设计原理2.1选择地址结构ipv4和ipv6之间最明显的变化及时把32位地址位数增加到128位，in6_addr和in_addr分别是两者在linux系统中的描述形式，但最后还是采用其对应的socket地址结构进行描述，极sockaddr_in6和sockaddr_in，主要原因有三个：第一，实现协议无关性的一个关键要素就

7、是系统再进行ip地址传递同时就其所属协议族进行传递，这就需要地址结构中包含有所属协议族，而socket地址结构很好地解决了这个问题。第二，ipv4的单播地址可以保证全球唯一，但ipv6包含有链接局部和聚合全局单播地址等，链接局部单播地址只能在给定链路内保证唯一，但不可以保证全球惟一，其代表的接口是否相同不能利用in6_addr来进行具体判断，只有把sockaddr_in6结构中的sin6_scope_id（指定链路范围的成员）与结构中in6_addr（pv6地址成员）进行有效结合才可以对接口进行精确识别。第三，sockaddr_storage 结构和sockaddr 结构是socket 的两个

8、通用地址结构，sockaddr 结构的容量要比sockaddr_storage 结构小很多，因此在进行空间预留时很容易出现空间不够的问题，而sockaddr_storage 结构有足够大的容量。2.2 选择ip地址类型第一，选择ipv6地址类型。大端字节序和小端字节序是系统内存中多字节类型的两个存储方法，两个存储方法的主要区别就是高序字节存储在起始地址，还是低序字节存储在起始地址。ipv6地址的表达方式有三种，三种地址表达方法的128位数地址都是利用数组来表示。数组元素是多字节的表达方式有两种，另外一种是s6_addr，s6_addr的元素是利用长度为16的单字节数组。为了省去大端字节和小端字

9、节相互转换的麻烦，ipv6地址的表达方式尽可能采用s6_addr。 第二，选择ipv4的地址类型。通常采用的int的ipv4地址表达方法其实是很不安全的，因为int类型在很多情况下并不是32为，而且程序的可读性也有所降低，因此ipv4的地址类型可以用in_addr来表示。2.3使用同时支持ipv4和ipv6 双栈的socket api以往的socket api仅仅支持ipv4协议，随着ipv6的诞生和发展，产生了支持双栈的api。在对支持双栈的api进行调用时一定要明确地址结构的格式和地址结构的地址族，协议之间的相关性不能被隐藏。getnameinfo（）和getaddrinfo（）是sock

10、et api提供的两个新型函数，协议无关性可以利用这两个函数来实现。利用getnameinfo（）可以通过服务端口号和socket地址结构获取服务名和主机名；getaddrinfo（）可以由服务名和主机名获取服务端口号和socket地址结构。2.4 socket系统在内核中的调用系统调用主要是给用户空间的程序提供内核服务，系统调用用到的函数主要有connect（），socket（），以及setsockopt（）等。对于比较重视效率的程序，如分布式系统，其系统调用如果比较频繁的话就需要转移到内核空间，以便提高效率。在内核中实现的系统直接调用的过程中，效率较高的都是底层函数。进行socket系统调

11、用的时候，获得socket结构指针后对其所指向的方法进行直接调用，此时程序可以到达最高效率。结合文章以上论述分析，这种情况下指定的操作集就是socket指针指向的方法。另外，因为用户空间的地址范围和内核空间的地址范围有所不同，所以一定要对寄存器的段描述符进行更改，使段描述符指向内核空间，才可以实现内核中的系统调用。3对改进后的 lustre文件系统进行测试运用文章的上述设计原理，成功设计开发出同时支持ipv4和ipv6双协议的分布式文件存储系统。对改进后的lustre文件系统性能进行测试，该文件系统既可以在ipv4网上正常运行，同时也可以在纯粹的ipv6网上运行。为了对ipv4环境下的lust

12、re和ipv6环境下的lustre进行性能比较，进行了对比性测试。测试的需要的相关设备：配置相同的两台机器，其一为client和ost，另外一个是mds；硬盘（300 gb×2 sata）、ddr ram（512 mb）、cpu（3. 0 g）作为性能测试硬件环境；linux-2.4版本的redhat 9.0和lustre-1.2（改进后的文件系统）作为软件环境。iozone为测试工具。具体测试方法：在linux-2.4加载ipv6以及不加载ipv6的环境下运行支持ipv4和ipv6双栈的文件系统lustre，利用iozone在系统中写出一定大小的文件，根据测试结果分析，系统的数据块

13、从小逐渐到大，在ipv4和ipv6环境下lustre都可以获得宽带，lustre在两种环境中的运行性能没有表现出太多差别，主要是因为ipv4的地址长度仅仅是ipv6地址长度的四分之一，但ipv6的数据包结构比较简单，而且有固定的报头长度，有利于硬件的运行和实现，整体分析，lustre在ipv4和ipv6环境下的性能基本相同。4 结束语本文以仅支持ipv4网络协议的分布式文件系统lustre为基础，利用socket接口设计、开发了同时支持ipv4和ipv6两种网络协议的分布式文件系统，对其设计开发原理做了具体阐述，并对改进后的lustre分布式文件系统进行性能测试。测试结果证明基于ipv6的lustre分布式文件系统可以用于构建新一代网络储存集群，接下来要研究的是基于ipv6的数据传输问题。参考文献：1 曹强，罗怡，谢长生，张常军.ipv6存储集群网络模块的设计应用j.江南大学学报：自然科学版，2007（4）.2 陈如明. 对ip 技术发展中一些问题的思考j. 电信科学， 2005， 21（8）： 6-9 .3 徐志桐. 在ipv4环境下部署ipv6网络的策略j. 中国新技术新产品，2009（9） .4 罗怡，谢长生，曹强，张常军. 下一代互联网存储集群系统的设计与实现j. 计算机工程与科学，2007（6）