（计算机系统结构专业论文）nas系统网络性能研究与改善.pdf

华中科技大学硕士学位论文 摘要 t n a s ( 附网存储) 是种专门用来为客户系统提供特殊存储服务的专用操 作系统或应用系统。其较低的成本和较高的性能在存储领域赢得了光明的前 景。n a s 设备的功能易于扩展或者伸缩，当增加容量时，客户可以使用所增 加的容量，这种特性为客户实现了无缝的存储伸缩性。同时，为了在大流量情 况下更好的满足客户i 0 请求，必须同时也要改善其网络吞吐性能，b o n d i n g 正是解决问题的途径。、1 将多块网卡虚拟成为一块网卡，使其具有相同的i p 地址，来实现提升主 机的网络吞吐量或者是提高可用性，这种技术被称作b o n d i n g 。 这项技术其实 在s u n 和c i s c o 中已经存在，分别称为t r u n k i n g 和e t h e r c h a n n e l 技术，其最 早应用是在集群- - b e o w u l f 上，为了提高集群节点间的数据传输而设计的。、 在开放源码平台中，f r e e b s d 系统具备内核稳定，网络功能强大等特点。 但作为n a s 开发平台的f r e e b s d4 4 并不支持b o n d i n g ，鉴于改善n a s 设备 网络性能的必要性，f r e e b s d 上的b o n d i n g 开发也就提到日程上来。 b o n d i n g 的实现可以有多种途径，针对n a s 设备具体硬件环境和软件体系 结构，可以通过直接修改网卡驱动程序并将其嵌入到系统内核的方式来实现多 块i n t e l 网卡的协同工作。 懒过改善后的n a s 设备其网络应用具备以下两个主要特性： 能够实现链路聚集提高网络吞吐率。 能够实现f a i l o v e r ( 故障接管) 提高网络可用性。 从最终的测试数据来看，通过b o n d i n g 来改善n a s 系统网络吞吐率和可 用牲是切实可行的。心 关键词： n a s ；b 。n d i n g ；链路聚集f a i l 。v e r ；f r e e b s d 华中科技大学硕士学位论文 a b s t r a c t n a s ( n e t w o r ka t t a c h e ds t o r a g e ) i so n ek i n do fe x p e r to sa n da p p l i c a t i o n s y s t e m u s e dt o p r o v i d es p e c i a ls t o r a g e s e r v i c ef o rc l i e n t b e c a u s eo fh i g h p e r f o r m a n c ea n dl o wc o s t ，n a sw i nag o o df o r t u n ei ns t o r a g ef i e l d n a sd e v i c e s f u n c t i o ni se a s yt oe x p a n da n dc o n t r a c t w h e ni n c r e a s i n gi t ss t o r a g e ，c l i e n tc a nu s e t h e mi m m e d i a t e l y t h i s s p e c i a l i t yr e n d e rg a p l e s sr e t r a c t i l i t y f o rc l i e n t a tt h e s a m et i m e ，i no r d e rt o s a t i s f yu s e r sr e q u e s ti nh i g hn e t w o r kt r a f f i c ，w em u s t i m p r o v ei t sn e t w o r k i 0p e r f o r m a n c e a n dn o w b o n d i n g c a l ls e t t l ei tw e l l t r e a t i n gm u l t i p l en i c ( n e t w o r ki n t e r f a c ec a r d ) a so n en i c ，s e t t i n gt h e mt h e s a m ei p , s oa st oi m p r o v et h es e r v e r sn e t w o r ki op e r f o r m a n c eo rr e l i a b i l i t y ，i ti s s oc a l l e db o n d i n g i nf a c t ，t h i st e c h n o l o g yd o e se x i s ti ns u na n dc i s c o s y s t e m t h e yc a l li tt r u n k i n ga n de t h e r c h a n n e lr e s p e c t i v e l y ，a n di ti sf i r s t l yd e s i g n e dt o i m p r o v e d a t at r a n s m i s s i o nb e t w e e nt h en o d e si nc l u s t e rs y s t e m - - b e o w u l f a m o n ga l l t h e o p e n s o u r c eo p e r a t i o ns y s t e m s ，f r e e b s di sf a m o u sf o ri t s s t a b l ek e r n e la n ds t r o n gn e t w o r km o d u l e h o w e v e r ，f r e e b s dd o e s n t s u p p o r t b o n d i n g c o n s i d e r i n gt h ei m p o r t a n c eo fi m p r o v i n gn a sd e v i c e s n e t w o r ki o p e r f o r m a n c e ，i ti su r g e n tt oi m p l e m e n tb o n d i n gi nf r e e b s d t h e r ea r es e v e r a lw a y st oi m p l e m e n t b o n d i n g f i n a l l y ，t a k i n gn a s d e v i c e s h a r d w a r ec o n d i t i o na n ds o f t w a r es y s t e mi n t oc o n s i d e r a t i o n ，w ec h o o s et om o d i f y n e t w o r kc a r dd r i v e ra n dr e c o m b i n ei tt ot h ek e r n e l a f t e rb o n d i n g ，t h em u l t i p l e i n t e ln e t w o r kc a r d sc a n c o o p e r a t ew i t he a c ho t h e r t h en a s s y s t e mh a st h ef o l l o w i n gt w oc h a r a c t e r sa f t e rb o n d i n g ： i tc a ni m p r o v en e t w o r ki ow i t hb o n d i n g i tc a ni m p r o v en e t w o r k r e l i a b i l i t yw i t hf a i l o v e r w ec a ns e ef r o mt h el a s ti ot e s t i n gr e s u l tt h a ti ti sf e a s i b l et oi m p r o v en a s d e v i c e sn e t w o r k p e r f o r m a n c ew i t hb o n d i n g 1 1 华中科技大学硕士学位论文 1 绪论 本章在分析现代信息技术发展规律的基础上，总结了网络存储的必然趋势 及其国内外发展现状，概括了与本课题相关的关键技术，阐明了课题的研究意 义和主要研究内容。 1 1 课题背景及意义 本课题是作者参加了与美国某公司的国际合作项目”n a s 系统软件开发” 中的一部分工作。随着计算机技术和网络技术的快速发展，传统的存储体系越 来越不能满足数据存储的需求，必将被网络存储技术所淘汰。n a s 1 ，2 3 】设备由 于具有较高的性价比在网络存储市场上获得了广泛的接受。但随着客户对数据 依赖性迅猛增加并伴随网络技术的快速发展，特别是干兆网已经逐步步入市场 的环境下，n a s 系统的网络吞吐已经力不从心，成为制约整个系统性能的瓶 颈。如果靠升级网络硬件来提高系统性能必将对以高性价比著称的n a s 设备 发展前景带来负面的影响，因此，在利用已有的网络硬件设备环境下，通过软 件技术提高网络吞吐已经成为n a s 系统亟待解决的问题。n a s 系统网络性能 研究及改善正是在这种背景下提出来的，它主要针对提高n a s 系统的网络吞 吐率和网络可用性，以解决网络i o 瓶颈问题，实现具备较高网络性能的附网 存储系统。 在全面的分析了n a s 体系结构，并对n a s 系统i o 模型进行深入探讨的 基础上，本课题主要对n a s 系统上的b o n d i n g 技术实现进行了研究及性能测 试。对b o n d i n g 的设计思想和负载均衡算法作了一定的分析研究，重点放在它 所包含的链路聚集，f a i l o v e r ( 故障接管) 【4 5 l 等核心技术，针对具体的软硬件环 境阐述了提高n a s 系统网络性能的思想和实现途径。 经过改善后的n a s 系统在具有高网络吞吐率的同时，还具备高网络可用 性，能够同时满足客户数据量持续增长和数据安全性日益提高的要求，解决了 在信息高速公路中n a s 存储系统的网络瓶颈问题，可广泛应用于金融、电信、 国防、电子商务、视频和信息服务等领域以及大型公司的门户网站服务器等。 华中科技大学硕士学位论文 本课题中所探讨研究的链路聚集技术，故障接管技术，针对i t 业发展最 前沿的瓶颈问题，具有较高的理论学术价值和广阔的应用前景。 1 2 存储体系面临的革命 网络技术的迅猛发展，各种共享与交换的数据信息以几何级数的速度急剧 增加，导致了用户对存储产品和存储服务需求的爆炸性增长。i d c 预测，今后 几年世界范围内磁盘存储系统的容量将以每年7 9 6 的速度递增，到2 0 0 3 年， 整体存储容量会接近2 0 万t b 。新m o o r 定律揭示了现代信息技术发展的规律 卜j ：“每1 8 个月，集成电路的性能将提高一倍，而其价格将降低一半：存储容 量每年翻一番：光纤容量及光电器件的性能每9 个月就会提高一倍。”但是， 存储设备性能的增长速度却远远落后于c p u 和光纤通讯的速度，传统存储体 系已成为整个信息高速公路高速发展的瓶颈。数据存储越来越为人们所重视。 传统的以服务器为中心的存储网络架构面对源源不断的数据流已显得力不从 心。人们希望可以找到一种新的数据存储模式，独立出存储设备，同时具有良 好的扩展性、可用性、可靠性，以满足今后数据存储的要求。数据存储市场的 发展，使得以服务器为中心的数据存储模式逐渐向以数据为中心的数据存储模 式转化。网络存储即是这种新型数据存储模式的解决方案。 1 2 1 网络存储 网络存储把网络技术集成到存储i o 中，它融合了网络和i o 的最好特性， 特别是网络的可寻址能力、即插即用、距离、连接性和灵活性，存储i o 的高 性能和高效率。所有存储都是网络存储这个事实，使得网络存储在i t 基础设 施中获得了越来越独立的地位。 网络存储有两个主要的表现形式【7 】【洼1 】：存储区域网络( s a n ，s t o r a g ea r e a n e t w o r k ) j 和附网存储n a s 。其中，s a n 一般基于光纤通道( f i b r ec h a n n e l ， 引本文并不讨论依赖于服务器的附网存储技术如n c t s c s 和n a s d 尽管这些概念比附网存储服 壹壁出毽堡基呈：但茳丛直苤璺亡瑟应用， 华中科技大学硕士学位论文 f c ) 1 9 l o ，1 1 1 构建a2 1 ，系统具有非常优异的性能；而n a s 基于现有的网络系统构 建，具有较高的性能价格比和广泛的支持平台。 网络数据和信息的急剧增加也自然带来了存储服务市场的迅速增长。网络 存储设备提供网络信息系统的信息存取和共享服务，其主要特征体现在：超大 存储容量、大数据传输率以及高系统可用性。 1 2 2 存储系统发展过程 考察外部存储系统的发展过程可以发现，存储系统在需求牵引下，结合相 关硬件技术的相对成熟逐步发展壮大。具体过程大致可分为三个阶段： 1 提高存储速率，扩大存储容量8 0 年代末期，高性能计算机系统的峰 值计算能力已达到每秒千万至数亿次操作，i o 系统的通道速率也已达到 l o m b s 量级，而当时最高性能的硬盘容量只有5 0 0 m b 左右，传输率约为 i 2 m b s ，这远不能满足高性能计算机系统的整体要求。为此，人们开始研发 并发i o 技术，s t r i p p i n g 技术应运而生，即r a i do 【幢，1 3 】技术。现在，硬盘的 单盘容量已超过1 6 0 g b ，传输率己接近8 0 m b s 。人们除了对速度和容量有更 高的要求外，对存储系统新的要求也在计算机系统的应用中不断提出。 2 提高存储系统的可靠性随着计算机应用领域的拓展，金融、军事、 大型企业等对计算机存储系统的可靠性提出了更高的要求，不允许出现任何不 可恢复的灾难性故障。为此，人们在研究提高存储系统的容量和速度的同时， 研发了一系列提高数据可靠性的技术以及数据管理方法。提高数据可靠性的基 本思想是数据冗余，从早期的数据备份到现在广泛采用的r a i d 技术，如r a i d 1 、r a i d3 、r a i d5 等，都是数据冗余的典型实现。 3 网络存储随着分布处理、网络通信技术的发展和应用的扩大，人们 要求对相对集中存储的数据能实现共享访问。这种需求导致了网络存储技术的 迅速发展，由此进入了存储技术和应用发展的黄金时期。p c 的出现、i n t e r n e t 的诞生都曾经席卷全球，为整个世界带来了翻天覆地的革命。如今，人们又将 啦s a n 也可基于其它阔络构建。如以太网，主要有两种：通过专用的高速交换罔络把众多n a s 设备 和服务器连接在一起的存储网和基于i s c s i 协议的i p s a n 但以太网的传输质量还不能满足存储的 盎丞：且盎毖控e ：s 叫蛞工t 臣垃还没成为主逾筮臣直囱。盔立丕王过论 华中科技大学硕士学位论文 面临第三次i t 浪潮网络存储。 1 , 3 网络存储解决方案 1 3 1s a n & n a s 当前，网络存储技术的发展十分迅速，所涉及的范围也十分广泛，并与其 它计算机热点技术的发展方向密不可分，如群集系统、嵌入式系统等。 1 s a n 体系结构 s a n ( 存储区域网络) 是一种专用高速网络，能够提供介于存储设备和服务 器之间的直联服务。在当今的市场中，s a n 与光纤通道几乎是同义词。所谓 光纤通道就是计算机、存储设备间的通讯协议的集合，是为实现高带宽、灵活 的拓扑结构和远距离连通性等条件下高性能信息传输而设计。它的目标是把各 种不同类型的存储子系统，如高性能的r a i d 、长期存储的文档和短期备份的 文件集成到一个单一的系统中。通过划分成一个简单的共享文件系统，用户可 以使用s a n 中的资源。s a n 具有存储设备之间的互操作性，允许管理员对 一个或多个服务器使用新的集群技术和智能共享技术，来提供磁盘存储和磁带 备份服务。s a n 包含各种网络连接性选项，如光纤通道、新兴的i s c s i 【1 4 ”】 和基于i p 标准的光纤通道i f c p 1 6 , 1 7 】。目前用于s a n 的大量软硬件绝大多数 都是基于光纤通道的。图1 1 描述了s a n 系统的拓扑结构。 图1 1s a n 拓扑结构示意图 在旧的存储结构中，数百g b 的存储空间分割分配给几十台服务器。可能 有些服务器在用完所分配的存储空间之后，其它服务器的存储容量还空余很 4 华中科技大学硕士学位论文 多。但是s a n 能以按需分配的原则为不同的服务器分配存储空蚓，而且，s a n 甚至能把已分配的未使用空间转移给另一台存储空间紧张的服务器。同时， s a n 还允许在没有l a n 和服务器的情况下执行备份。在专业视频编辑中，为 了处理非常大的文件，渲染软件可能会运行几天时间，并且备份工作不能中断 文件编辑过程，s a n 则允许实时地把数据从存储设备直接备份起来，在此过 程中，不会影响网络流量或要求关闭文件。对基于服务器的存储方案来说，这 一点是无法傲到的。 使用s a n 的直接好处是可以提高性能，它比传统的直接外挂存储d a s ( d i r e c ta t t a c h e ds t o r a g e ，直接附加存储) 快许多，并允许使用者通过多台服 务器访问网络资源，可以大大提高对存储资源的访问能力和可伸缩性。同时， 可以很方便地增加存储设备和服务器，而不需要关闭网络，更重要的是可以提 供系统冗余。 从当前的市场状况来看，虽然一些中小型企业具有相应的光纤架构，能够 从众多应用中获益，但是s a n 的使用通常仅推荐给大型企业级用户。互操作 性仍然是采用早期技术的公司所面临的一个问题。在标准设备继续发展到 2 g b p s 以上的速率的时候，互操作性仍将继续成为一个问题。s a n 的系统制造 商，如e m c 、i b m 和c o m p a q 做了大量的测试，列出了兼容性硬件清单。然 而，些公司还是从用户角度出发，构建出了支持即插即用的、高集成化的s a n 系统。在位于美国克罗拉多州的存储网络工业协会( s n i a ) 技术中心，有四家公 司使用s i n a 开放的标准演示了他们设备之间的互操作性。这项标准正在等待 所有参与厂商的认可。让光纤通道s a n 变得象e t h e r n e t 网络那样容易安装和 配置，还有很长一段路要走。 2 n a s 和s a n 技术比较 在s a n 迅猛发展的同时，另外一种技术n a s 也在快速崛起。 n a s 在一个l a n 上占有自己的节点，将数据的存储负载从应用服务器上 卸载下来，可用于实现涉及文件存取及管理的所有功能，将存储设备与服务器 彻底分离，集中管理数据，从而有效释放带宽，提高了存储的整体性能，也可 有效降低总体成本。表1 3 给出了n a s 与s a n 的技术比较： 华中科技大学硕士学位论文 表1 1n a s s a n 技术比较 s a n 特点n a s 特点 存储网络存储设备 传输b l o c k s 块 传输文件 【服务器访问数据客户可以访问数据 i 在服务器上设置文件系统在网络存储系统设备上设置文件系统 与f c 连接与l a n 连接 使用s c s i 小型计算机系统接口协议使用网络协议 传输1 g 数据( w i t hf c )目前传输( 1 0 m 1 0 0 m 1 0 0 0 m ) 虽然两者技术规范相异，但基于n a s 、s a n 的存储系统都是完全独立的， 不存在与服务器之间紧密的、依赖性的物理硬连接，都可以构造中心化的数据 存储系统。二者都可通过冗余的硬件配置和软件支持做到安全可靠的保护数 据，都具有良好的扩充能力和数据共享能力。 s a n 和n a s 不是彼此对立的，而是是相互交叉的，s a n 中也可以包含面 向文件的n a s 存储设备。图1 2 给出了n a s 与s a n 混合应用。 图1 2s a n + n a s 共存不例 长期以来，服务器的存储都是在系统内由存储设备实现并作为服务器的一 部分出售的，这使人们形成了存储设备是附属设备的印象。n a s 和s a n 改变 了服务器和存储设备间的连接形式，使之具有外部特性，让存储设备与服务器 处于同等地位，从而改变了人们对存储设备既有的“附属”印记，为解决i 0 瓶颈开辟了新的思路。 华中科技大学硕士学位论文 1 3 2n a s 设备的广泛应用 虽然许多的中小企业一直面临着数据量不断扩张所带来的压力但长期以 来，市场上一直缺少满足中小企业存储需求的产品。s a n 、大型磁带库、磁盘 柜等产品虽然都是很好的存储解决方案， 但它们那高贵的身份和复杂的操作 是资金和技术实力有限的中小企业无论如何也不能接受的。市场需要一种面对 中小企业的简单、易用的存储解决方案。 图1 3n a s 在存储领域中所处的地位 从图1 3n a s 设备与磁带库、光盘库和基于服务器的存储器在成本、容量 及性能方面的竞争比较中可以看出，n a s 设备的高性价比正好满足中小企业 和政府部门现在对存储设备的需求，而且具有足够的扩展空同，以适应他们未 来的发展需求。相关技术的成熟是n a s 产品快速发展的重要因素，尤其是i d e 硬盘技术的飞速发展和软件r a i d f l8 , 1 9 】技术的引入，可以说是n a s 产品发展 的一个里程碑。在这里需要指出，硬盘厂商和i d e 设备供应商的加入和推动 是n a s 产品发展的主要推动力。他们不仅使n a s 的产品更加成熟，也使其成 本不断降低，使n a s 产品进人中小企业成为可能。 n a s 适用于那些需要通过网络将文件数据传送到多台客户机上的用户。 n a s 设备在数据必须长距离传送的环境中可以很好地发挥作用。此外，n a s 7 华中科技大学硕士学位论文 产品是真正即插即用的产品。典型n a s 设备安装过程很简单，只要连接到 t c p i p 网络，分配一个i p 地址，再让其他服务器知道它的位置就行了，利用 目前的安装向导例程，网络经验不多的人也能安装。正确地进行配置之后， n a s 可以提供可靠的文件级数据整合，因为文件锁定是由设备自身来处理 的。n a s 设备的物理位置同样是灵活的。它们可放置在工作组内，靠近数据 中心的应用服务器，或者也可放在其他地点，通过物理链路与网络连接起 来。无需应用服务器的干预，n a s 设备允许用户在网络上存取数据，这样既 可减小c p u 的开销，也能显著改善性能。 既有符合工业标准的可靠存储技术，又有较高的性价比，短短几年的发展， n a s 设备已逐渐成为网络数据存储方案的酋选关键设备【2 们。 图1 4n a s 设备市场发展趋势 图1 4 示意出n a s 设备的市场前景。i d c 预测报告指出，今后几年n a s 设备的收入将以每年6 6 5 的速度递增，到2 0 0 3 年将接近7 0 亿美金。g a r t n e r 集团也根据n a s 的发展，预测n a s 设备的收入会从1 9 9 9 年的1 0 亿美金增长 到2 0 0 3 年的超过1 0 0 亿美金。越来越多的人开始关注n a s 设备及以其为基础 的网络数据存储解决方案，越来越多的公司也在加紧研究n a s 产品，美国的 p r o c o m ，n e t a p p ，e m c 等公司逐渐成为中高端n a s 产品的代言人。 华中科技大学硕士学位论文 1 4 国内外的网络存储发展现状 国内对存储设备的需求量很大，特别是像银行、电信、数据中心和网站等 一些有大数据处理需求的单位，已深切体会到网络数据集中存储、备份、管理 的重要性和必要性，纷纷投资先进的存储管理系统，以提高网络性能、提升数 据的高可靠性。目前，正在形成市场的是性价比较高的n a s 系统。技术含量 较高的产品，如具有盘阵控制器、容量在t b 级、电源采用冗余设计、支持热 插拔、高可靠、高可用的s a n 系统，市场销售价格均较高。 在研发方面，国外的研究机构处于领先的地位，美国的伯克利大学和卡耐 基一梅隆大学较早就分别提出了n a s 和n a s d ( n e t w o r k a t t a c h e ds e c u r ed i s k ) t 2 1 的思想。而在产品化的研发上，存储设备的高端产品目前被美国和日本大公司 所垄断，中低端市场则以台湾产品居多。由于成本因素，国外的大公司对于进 入中低端市场的投入不大。因此，中低端产品主要是台湾公司和大陆正在起步 的公司进行竞争，中高端产品主要竞争对手是美国公司。 目前，国内公司或机构对存储技术的研发可以分为三个层次： 1 利用国外的产品，针对国内用户提供存储解决方案。 2 传统的家电企业利用自己庞大的资金和较完善的市场网络，与国际大 公司进行强强联手，直接进军s a n 。 3 一些公司和研究机构利用自己的技术积累，进行自主产品的研发。 我国存储技术的研发起步较早，如华中理工大学计算机学院，早在2 0 世 纪9 0 年代初就已经开始了对存储技术尤其是r a i d 技术的研究。目前国内专 门研发网络存储设备的公司虽然不多，但对此有兴趣的公司不少。只是限于技 术原因，尚无法自己独立研发存储设备。现在看到了存储技术及其市场的光明 前景，联想电脑、清华同方、大恒、华东电脑、澳柯玛公司等一大批公司和研 究院所正在奋起直追。华中科技大学外存储系统实验室则建成了高速数据存域 网，开展了大量的研究工作，并已开发出n a s 产品。 g 华中科技大学硕士学位论文 1 5 改善n a s 设备网络性能的必要性 n a s 方案必须满足网络总的最大i o 传送需求，其指标应该优于现有服务 器平均传送速率的总和。但目前存在的以下缺陷，必须给予解决： 1 网络速度影响n a s 的传输 与网络工业比较，存储工业受到的热情相对较低，但当同网络速度进行比 较时，却发现存储i o 速度竟是如此之快。 表1 2 常见的网络技术和存储技术比较 速度 w nl l 以太扁 快速以太罔 5 6 k b f a ms c l f a s tw i d e s c s l 5 m b ，s 1 0 m bs 2 0 m b 、e f mb 】s ，1 0 0 m b 、 ，3 0 0 m h 、 ”m ，0 ( - 3 l5 5 r o bsu i t r as c s i4 0 m bs - 4 l h ) m bs 千兆以太圈t g b s 光纤造遁 2 ( 1 0 m b * 。、! i hs 表1 2 试图使网络和存储技术的历史和演进发生联系，为了便于比较，表 右边的最后一列近似地给出以位为单位的存储传输速度，而不是以字节为单 位。注意，存储速度通常使用字节为单位表示。表中并没有列出各种技术的有 效吞吐量，例如，在正常条件下，以太网的峰值利用率是3 0 ，那么，1 0 0 m b s 网络的有效吞吐量是3 0 m b s 。而实际的存储传输可以达到理论最大传输速度的 9 5 ，例如，通过一个2 0 m b s 的路径，实际的传输速度可以达到1 9 m b ，s 。这 是t c p i p 网络传输和存储传输之间的主要差别之一。甚至在专用的、点对点的 t c p i p 网段，在不产生c s m a c d 碰撞的情况下，由于协议本身的开销，有效 吞吐量也只限制在线速的7 0 8 0 之间。 n a s 设备与客户机之间主要是进行数据传输。今天在l a n w a n 上传输 的大量数据被分成许多小的数据块。从以上比较看来：n a s 设备可以更大效 率的利用网络带宽来提高其网络i o 。 2 i o 性能分析对n a s 系统的影响 具体的理论分析将在第四章中阐明，根据n a s 排队模型的理论分析和计 华中科技大学硕士学位论文 算结果找到影响网络性能的相关因素表明： 1 网络带宽变大时，系统的响应时间变小； 2 网络带宽变大时，不同负载下的系统i 0 响应时间的差别变小( 当请求 率较小时几乎没有差别) 。出现以上现象的原因是由于网络负载变大时，分组 包在网络中的逗留时间就越长，因而i o 响应时间就越长。如果增大网络带宽， 从而就减少了i o 请求在网络服务中的排队时间，即减少了总的i o 响应时间。 3 对外服务的附网设备网络接臼数越大，系统的响应时间越小。同时还 看出，附网设备网络接口数增多时，响应时间随请求到达率的变化的起伏变小， 说明采用较多附网存储设备或者增加同时对外服务的网络接口数可以实现高 的可持续性带宽，也说明了n a s 存储系统具有较好的可扩展性。 从上述结论可以看出，网络性能对整个存储系统的性能有较大的影响。增 加网络带宽，增加n a s 设备对外协同服务的网络接口数量必将减小系统响应 时间，改善其系统性能。 b o n d i n g 技术正是解决以上瓶颈的关键。 1 6b o n d i n g 技术概括 将多块网卡虚拟成为一块网卡，使其具有相同的i p 她址，来实现提升主 机的网络吞吐量或者是提高可用性，这种技术被称作b o n d i n g 。这项技术其实 在s u n 和c i s c o 中已经存在，分别称为t r u n k i n g l 2 2 】( 链路聚集) 和 e t h e r c h a n n e l t 2 3 】技术，在l i n u x 中，这种技术称为b o n d i n g 43 1 。b o n d i n g 驱动 最早来自于d o n a l db e c k e r 的b e o w u l f 2 4 , 2 5 】对k e r n e l2 0 的补丁。但是已经有了 很大的改进和变化。 b o n d i n g 技术在n a s 设备的应用中将包括以下两个主要方面： 在考虑b o n d i n g 带来的性能表现时，不得不考虑数据传输时是否工作于对称模式，这取决于软件、 同卡、交换机的协同工作能力在对称模式下，羲据传输采用全双工模式，每条链路既可接收也可发 送数据；而工作于非对称模式下时，多条链路发送数据，而仅仅只有一条链路接收数据要求达到对 称工作模式从而实现全双工数据传输，仅仅购买支持b o n d i n g 的软件和两卡还远远不够，还需要交换 机对b o n d i n g 的支持现已有一类称为智能交换扼( i n t e l l i g e n ts w i t c h ) 的产品，如c i s c o 系统公司的 c a t a l y s t 交换机、北方网络b a y 公司的b a y s t a c k 交换机以及c a b l e t r o n 系统公司的s m a r t s w i t e h 交换机 等等- 它们能够给予b o n d i n g 很好的支持本文讨论的是工作于非对称模式下n a s 端的软件b o n d i n g 华中科技大学硕士学位论文 1 通过实现链路聚集提高网络吞吐。 2 通过实现f a i l o v e r 故障接管提高系统可用性。 1 b o n d i n g 的优点： 1 不改变现有网络设备以及原有的布线，不需要购买昂贵的硬件设备即 可较大的改善网络性能，也无须考虑千兆网令人头疼的传输距离极限。 2 b o n d i n g 可以捆绑任何相关的网卡接口，也可以随时取消设置，这样 提供了很高的灵活性。 3 b o n d i n g 可以提供负载均衡能力以及系统容错。由于b o n d i n g 实时平衡 各个服务器网络接口间的流量，一旦某个端口出现故障，它会自动把故障端口 从b o n d i n g 组中撤消，进而重新分配各个b o n d i n g 端口的流量，从而实现系统 容错。 2 b o n d i n g 负载均衡算法 由于b o n d i n g 能够在各条链路之间进行负载均衡，所以它采用的算法将决 定均衡的效果。有三种被广泛使用的算法： 循环检测算法采用轮询的方法把流量均匀发布给各个网卡端口，但其不 足之处是在接收端可能出现少量数据包时序的混乱。 自适应算法最大可能的将流量均匀分配给各个网卡端口，其计算量相对 来说较大。 静态算法能保证每个数据包能够正确到达指定的端口，但缺乏灵活性而 且速度相对来说较慢。 通过纯软件的方式即可实现b o n d i n g 。目前，在l i n u x 下面已经实现了模 块加载形式的b o n d i n g 。但f r e e b s d 并不支持b o n d i n g 特性。这也正是本课题 的主要研究任务。 1 7 课题主要研究工作 本课题要研究的内容主要有三点： 1 对n a s 系统中的多个网卡实现链路聚集，同时对客户群服务，从 华中科技大学硕士学位论文 而提高网络吞吐。 2 在n a s 系统中实现网卡故障接管，提高网络可用性。 3 对b o n d i n g 后的系统网络吞吐性能作出定量分析，得出具体结论。 为了实现上述目的，要解决的关键问题及实现策略如下： 1 根据b o n d i n g 的基本思想，分析l i n u x 平台上的解决途径并针对项目中 n a s 系统具体的软硬件环境提出实现方案。 2 确定负载均衡算法，分析f r e e b s d 系统平台上的网络驱动程序架构并 修改网卡驱动程序。 3 将b o n d i n g 功能与n a s 系统集成。 4 在测试平台上：包括硬件( 客户机，服务器，千兆交换机) ，软件( 操 作系统平台，网络流量测试软件) 进行定量的性能评估，得出最终结论。 在实现过程中，主要的工作将集中于网卡驱动程序的修改。 本文篇幅结构安排如下： 第二章在分析n a s 系统软硬件体系结构并研究了n a s 设备分散网络流量 的特性。 第三章深入研究了f r e e b s d 操作系统网络驱动构架，列举几种可行的 b o n d i n g 实现方案并进行了筛选。 第四章根据n a s 排队论模型分析了影响系统i o 的几个关键因素，同时 阐述技术实现中的几个关键问题。 第五章是对改善后系统的性能评测。 第六章是全文总结和后续工作。 13 华中科技大学硕士学位论文 2 n a s 体系结构及网络特性 本章首先介绍了n a s 设备的软硬件体系。另外，还讨论了n a s 技术的典 型应用，最后分析了n a s 服务器分散网络流量的特性。 2 1n a s 体系软硬件环境 典型的n a s 产品连接在公共网络上，以预先配置好的磁盘、集成的控制 系统和存储管理软件，向用户提供集成的网络存储服务。n a s 系统的特点在 于它是一个专门服务器，具有优化的文件系统和能根据文件服务要求进行调节 的“瘦”操作系统。通过这种专门的操作系统与文件服务器功能的结合，产生 最优网络存储性价比。 2 1 1n a s 的硬件环境 如图2 i 示，n a s 设备的基本硬件结构由控制器和存储子系统两部分构成 图2 1n a s 服务器的基本硬件结构 n a s 设备不同于传统的通用服务器，它去掉了通用服务器原有的不适宜 于数据的存储和传输的大多数计算功能，而仅仅提供文件系统功能，用于存储 服务，大大降低了存储设备的成本。为方便存储到网络之间以最有效的方式发 送数据，专门优化了系统软硬件体系结构，多线程、多任务的操作系统内核能 l4 华中科技大学硕士学位论文 更好地支持对存储器的读写，充分利用诸如内存、c p u 、总线周期和网络带宽 等硬件资源，具有较大的数据吞吐量。 其中控制器部分主要包括处理器、内存、网络适配器和存储控制器等四个 单元模块，存储总线一般选用s c s i 2 6 ，2 7 ，2 3 ( s m a l lc o m p u t e rs y s t e mi n t e r f a c e ， 小型计算机接口) ，i d e t 2 9 ，3 0 1 ( i n t e g r a t e d d r i v ee l e c t r o n i c s ，集成电子驱动器) 或 光纤通道f c ，这三种接口当前主流的数传率分别为：1 6 0 1 0 0 2 0 0m b p s ，均 能很好地满足数据传输的要求，但i d e 总线并行工作能力较差，且设备数有限， i d e 硬盘一般应用于低端的入门级n a s 设备。 2 1 2n a s 的软件系统 n a s 系统软件设计的基本要求是较高的稳定性和i o 吞吐率，并能满足数 据共享、数据备份、安全配置、设备管理等要求，其结构如图2 2 所示，可划 分为五个模块：操作系统、卷管理器、文件系统、网络文件共享和w e b 管理 模块。 图2 2n a s 设备的软件系统结构图 其中，操作系统是n a s 设备的核心，必须慎重选择。它必须是3 2 位或以 上，中高端设备宜采用实时操作系统，如v x w o r k 【1 。中低端设备则可采用源 码开放的l i n u x ，f r e e b s d 等，但须对系统进行裁减并针对特定硬件环境进行性 华中科技大学硕士学位论文 能优化。在核心操作系统中应包含对应的设备( 如网络设备、存储设备) 驱动模 块，并保留对一些基本网络协议的支持f 如t c p i p ，u d p i p ，s p x i p x ) ，这些 协议是上层网络服务的基础。 卷管理器的实质是磁盘管理和空间分区管理，主要包括磁盘监视、异常处 理和软件r a i d ，一般应支持r a i d 0 ，r a i d l ，r a i d 5 以及磁盘的热插拔和热 备份功能。 文件系统提供了持久性存储和管理数据的手段，它必须是3 2 位或以上， 必须支持多用户，并应具备日志系统。 网络文件共享 3 2 l 一般随操作系统提供，应支持尽可能多的文件共享协议， 如：广域网范围的f t p 和h t t p 服务，u n i x 系统的n f s 3 3 1 ，w i n d o w s 系统的 c i f s l 3 4 1 ，n o v e l l 系统的n c p ( n o v e l lc o r ep r o t o c 0 1 ) ，苹果系统的a f p ( a p p l e a t a l k f i l ep r o t o c 0 1 ) 等。在客户访问n a s 时，由n a s 服务器中的网络协议完成网络 文件系统到本地文件系统的转换，将请求发送给存储设备，最后将请求的数据 发送回客户端。 w e b 管理提供给系统管理员一个友好的界面，使之通过对浏览器操作实现 监视、控制和配置n a s 设备的网络、卷以及文件共享权限等状态参数。网络 上的任何用户，只要拥有适当的管理权限，可以在任何位置，任何操作系统平 台上对网络存储服务器进行管理。该模块与“瘦”服务器、专注存储等一起构 成了n a s 设备有别于其他服务器的主要特征。 n a s 设备支持多计算机平台，内置常见的网络通讯协议和文件共享传输 协议，具有较好的协议独立性，支持w i n d o w s ，u n i x ，n e t w a r e ，a p p l e 或i n t r a n e t w e b f t p 等客户的数据访问，客户端不需要任何专用的软件，安装简易，甚 至可以充当其它机器的网络驱动器，用户通过网络支持协议就可调用相同的文 档。对于不同类型的客户，n a s 设备可仿真成为相应的w i n d o w s ，a p p l e ，n o v e l l ， 或u n i x 服务器，进行访闯权限、用户认证、系统日志、警报等的控制和管理。 此外，n a s 设备还可方便的利用现有的工具，如i e n e t s c a p e 浏览器、t e l n e t 等，进行远程管理，如设置i p 地址、服务器名称、用户信息、r a i d 的级别、 磁盘配额等。 华中科技大学硕士学位论文 2 2n a s 技术的典型应用 图2 3 概括了几种典型的附网存储应用 服务器后端存储 一工作站间文件共享 在线备份 圈2 3 附网存储的典型应用 n a s 将存储设备通过标准的网络拓扑结构连接到一群计算机上，所以 n a s 在适用性方面具有不少优势。 首先，n a s 产品无需另外的服务器就可直接上网，它不依赖通用的操作 系统，而是采用一个面向用户的、专门用于数据存储的简化操作系统，内置了 网络连接所需的协议，因此使整个系统的管理和设置较为简单。 其次n a s 是真正即插即用的产品，并且物理位置灵活，可放置在工作组 内，也可放置在其他地点与网络连接。通过热插拔技术，可以在线添加新的磁 盘驱动器，不需要关闭n a s 服务器。同时也可以在软件帮助下保持原有文件 的正确性。 从某个角度来说，n a s 服务器的概念就是从通用服务器中抽取一部分功 能，并在一个专用设备中实现该部分功能。一般来说，n a s 的性能要比通用 17 华中科技大学硕士学位论文 服务器高得多，以美国n s s ( n e t w o r ks t o r a g es o l u t i o n ) 公司的s p a n s t o r 为 例，与传统的基于n f s 的s u nm i c r o s y s t e mc o r p 的通用服务器相比，在同等 容量下，价格只有s u n 系统的l 3 ，而性能指标i o p s ( 每秒i o 操作数) 是 s u n 系统的3 倍。 2 , 3n a s 设备分散网络流量 n a s 系统使用了点对点全连接的网络结构，它将存储系统、i o 设备、文 件管理以及网络带宽均衡的分布到各个节点而不是集中到某个节点，如图2 4 所示这种分散处理方式减低了单个节