（计算机科学与技术专业论文）高速链路分流技术研究与实现.pdf

国防科学技术大学研究生院硕十学位论文 摘要 随着计算机网络的发展，骨干网络链路带宽不断增加，入侵检测系统、内容 审计系统等分析设备的性能越来越不能满足链路带宽的要求。开发性能更高的分 析设备在时间上具有一定的滞后性，而且难以突破单机处理能力上限的瓶颈。此 问题的解决方案之一是用分流设备将网络流量平均分配给多个分析设备并行处 理。 本文围绕高速网络链路分流技术开展研究，主要工作如下： ( 1 ) 针对现有负载均衡算法存在的两个弱点，提出了基于历史流量的动态负载 均衡算法。算法根据历史流量信息，精确地调整各个分析节点的流量，实现分析 节点流量的平衡稳定。算法在保证同流同宿的前提下，具有调整时间短、稳定性 好等优点。 ( 2 ) 分析了骨干链路流量特征，设计了应用层负载均衡模型。针对网络流量中 p 2 p 应用流量所占比例较大，通信内容难以审计等特点，模型将网络流量划分为普 通应用流量和p 2 p 应用流量，分别使用静态负载均衡算法和基于历史流量的动态 负载均衡算法进行分流，保证了p 2 p 应用流量在单个分析节点上的完整性，提高 了节点分析处理p 2 p 应用的准确度。 ( 3 ) 基于上述研究设计并实现了一个路由器分流管理系统。系统可以同时控制 多台分流设备对高速链路上的流量进行负载均衡，根据用户定义的分流规则，应 用基于历史流量的动态负载均衡算法，产生分流策略，配置路由器，实现对不同 厂家不同型号路由器的统一管理。 该分流管理系统现应用于国家某部门，用于各类路由器的统一管理，其分流 效果好，稳定性高，具有很好的应用价值。 主题词：分流算法，高速链路，网络流量，应用层负载均衡，路由器管理 第i 页 国防科学技术大学研究牛院硕士学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to fc o m p u t e rn e t w o r k sa n dt h ei n c r e a s i n gb a n d w i d t ho f b a c k b o n el i n k s ，t h ep e r f o r m a n c eo fa n a l y s i se q u i p m e n t ss u c ha si n t r u s i o nd e t e c t i o n s y s t e m sa n dc o n t e n ta u d i ts y s t e m s ，c a nn o tm e e tt h ed e m a n d so ft h eg r o w i n gl i n k b a n d w i d t h t od e v e l o ph i g h e r p e r f o r m a n c ea n a l y s i se q u i p m e n t sw o u l dt a k eal o n gt i m e a n di ti sd i f f i c u l tt ob r e a kt h r o u g ht h ec e i l i n go f s i n g l ee q u i p m e n t sc o m p u t i n gc a p a c i t y b o t t l e n e c k s o n es o l u t i o nt ot h ep r o b l e mi sd i s t r i b u t i n gt h en e t w o r kt r a f f i ct oan u m b e r o fp a r a l l e lp r o c e s s i n ga n a l y s i se q u i p m e n t sw i t ht r a f f i c d i s t r i b u t i n ge q u i p m e n t t h i st h e s i sd i s c u s s e dt h ed e v e l o p m e n ta n ds t a t u so fl o a db a l a n c i n gt e c h n o l o g y ，a n d s u m m e du pt h et y p eo fl o a db a l a n c i n gt e c h n o l o g y ，a sw e l la si t sa c h i e v i n gm e t h o di n v a r i o u sf i e l d so fa p p l i c a t i o n t h em a i nc o n t e n t so ft h ep a p e ra r ea sf o l l o w s ( 1 ) ah i s t o r i c a l t r a f f i cb a s e dd y n a m i cl o a d b a l a n c i n ga l g o r i t h m f o rt h e c h a r a c t e r i s t i c so fn e t w o r kt r a f f i cw a sp r o p o s e d t h ea l g o r i t h ma d ju s t e dt r a f f i cw h i c h a l l o c a t e dt ot h et r a f f i c a n a l y s i sn o d e sa c c u r a t e l y b a s e do nt h eh i s t o r i c a lt r a f f i c i n f o r m a t i o n ，t oa c h i e v eab a l a n c e ds t a b i l i t ya m o n gt h ea n a l y s i sn o d e s t h ea l g o r i t h m e n s u r e st h e ”s a m ef l o wt os a m ed e s t i n a t i o n ”p r i n c i p l ea n dh a sas h o r ta d j u s t m e n tt i m e ， g o o ds t a b i l i t y ，a n do t h e ra d v a n t a g e s ( 2 ) a na p p l i c a t i o n l e v e ll o a db a l a n c i n gm o d e lw a sd e s i g n e db a s e do nt h ef l o w c h a r a c t e r i s t i c so ft h eh i g hs p e e db a c k b o n el i n k s a c c o r d i n gt ot h ef e a t u r e so ft h e i n c r e a s i n gp 2 pa p p l i c a t i o n s t r a f f i cp r o p o r t i o ni nt h ew h o l en e t w o r kt r a f f i ca n dt h e d i f f i c u l t i e so fa u d i t i n gi t sc o m m u n i c a t i o n s ，t h em o d e ld i v i d e dn e t w o r kt r a f f i cf l o w si n t o t h eg e n e r a la p p l i c a t i o nt r a f f i ca n dp 2 pa p p l i c a t i o nt r a f f i c t h em o d e ld i s t r i b u t e dt h et w o t r a f f i c sr e s p e c t i v e l yw i t ht h eu s eo fc e r t a i nl o a db a l a n c i n gs t r a t e g i e s ，a n de n s u r e dt h e i n t e g r i t yo fp 2 pa p p l i c a t i o nt r a f f i ci nas i n g l ea n a l y s i sn o d e ( 3 ) ar o u t e rl o a db a l a n c i n gm a n a g e m e n ts y s t e mw a sd e s i g n e da n di m p l e m e n t e d b a s e do na b o v er e s e a r c h e s t h es y s t e mc o u l dc o n t r o lm u l t i p l et r a f f i cd i s t r i b u t i n g d e v i c e so nt h eb a c k b o n el i n kf o rl o a db a l a n c i n ga tt h es a m et i m e i to b t a i n e dt h e r e a l t i m es y s t e mi n f o r m a t i o na n dt r a f f i cf l o wi n f o r m a t i o no ft h et r a f f i cd i s t r i b u t i n g s y s t e m s ，a n dg e n e r a t et h et r a f f i cd i s t r i b u t i o ns t r a t e g yb a s e do nu s e r - d e f i n e dr u l e s ，a n d c o n f i g u r e dt h er o u t e r i ta c h i e v e dr o u t e ru n i f i e dm a n a g e m e n to fd i f f e r e n tm a n u f a c t u r e r s a n dd i f f e r e n tm o d e l s t h i ss y s t e mi sa p p l i e di nm a n yd e p a r t m e n t s i th a ss o m ec h a r a c t e r i s t i c ss u c ha s g o o dd i s t r i b u t i n ge f f e c ta n ds t a b i l i t y ，a n dh a sag r e a ta p p l i c a t i o nv a l u e k e yw o r d s ：t r a f f i cd i s t r i b u t i o na l g o r i t h m ，h i g hs p e e dl i n k s ，n e t w o r kt r a f f i c ， a p p l i c a t i o n l e v e ll o a db a l a n c i n g ，r o u t e rm a n a g e m e n t 第i i 页 国防科学技术大学研究生院硕十学位论文 表目录 表3 1 算法所使用的符号含义。1 4 表3 2h a b 算法记录的历史流量信息表1 6 表3 3 修改后的历史流量信息表1 7 表3 4 重流h 分割表18 表3 5 长沙市网络流量样本表2 3 表3 6 算法实验参数设置表2 5 表3 7 调整因子对动态调整次数影响的实验结果表2 5 表3 8h a b 算法实验结果表2 6 表3 9 重流分割策略产生的重流h 分割表2 7 表3 1 0h a b 算法与i b m 算法性能参数比较表2 7 表3 1 1h a b 算法与i b m 算法缓冲队列长度比较表2 8 表4 1 长沙市网络流量样本分析结果表3 1 表4 2 网络流量样本的p 2 p 应用报文集数3 3 表4 3 网络流量样本的p 2 p 应用报文集数3 5 表4 4 模型参数设置表3 6 表5 1 分流设备配置方式表5 2 表5 2 路由器分流管理系统性能参数表5 6 第1 v 页 国防科学技术大学研究生院硕十学位论文 图目录 图1 1网络分流系统工作示意图l 图2 1专用分流设备负载均衡器构成图9 图2 2 设定门限值的散列法1 2 图2 3设置索引的散列法1 3 图3 1 动态调整策略算法流程图2 4 图4 1 网络应用通信示例图一3 2 图4 2p 2 p 应用节点集3 3 图4 3 静态分流函数的负载均衡效果一3 5 图4 4 静态分流普通应用流量与p 2 p 应用流量效果比较图一3 6 图4 5 各分析节点流量分配图3 7 图4 6 样本1 实验中分析节点流量变化图3 8 图5 1 路由器分流管理系统运行示意图4 0 图5 2 通用路由器策略路由配置实例4 2 图5 3路由器端口组策略配置实例4 3 图5 4 系统处理流程图4 4 图5 5 路由器分流管理系统构成图4 5 图5 6 信息采集模块用例图4 7 图5 7 信息采集模块用例图4 8 图5 8 初始化模块远程登录及信息获取顺序图4 8 图5 9c u s t r u l e 类成员变量示意图一5 0 图5 10g r o u p r e g 类成员变量示意图5 0 图5 1 1 策略发布模块构成图5 2 图5 1 2 流量动态调整顺序图5 3 图5 13 配置文件格式图5 5 第v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文题目：直逮垡整金遣盐苤婴塞量塞理 学位论文作者签名：翅垒遗 日期： 跏g 年，2 月订日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有姜数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书。) 学位论文题目：崮速垡整金速莛盔珏塞量塞理 学位论文作者签名：翻篁边日期：加j 年1 2 月丛日 储特刻醛各芦牡一嗍：坩朋帅 国防科学技术大学研究生院硕士学位论文 第一章绪论 】1 课题背景 随着计算机网络的发展，0 c 4 8 、o c l 9 2 链路的广泛应用，骨干链路带宽不断 增加，入侵检测系统、内容审计系统等分析设备的性能越来越不能满足链路带宽 的要求【2 】。在链路速度达到i g b p s 级别时，现有的分析设备难以独自处理如此人 流量的报文信息”。 开发性能更高的分析设备需要较长的研发周期，而且其性能的增长仍无法满 足嘲络带宽日益增长的需求，导致新设各的生命周期短，社会效益不高。在现有 设备的基础上，可采用多台设备并行处珲的方式来解决网结带宽的快速增长与分 析设备性能有限之间的矛盾”j i 。为实现网络流量的并行处理，需使用网络分流系 统将流量分配到多台设备上从而降低单个分析节点的负载 t i t s 。网络分流系统的 工作意图如图1l 所示。 酗ll 网络分流系统工作示意图 网络骨干链路带宽是庞大的，流量是多变的，其中的报文信息是复杂多样的。 本文把在某一时间段内具有相同通信五元组的报文集合称为一条流，若干条流的 集合称为一个分流单位。为了便丁分析节点分析处理捕获的流量满足单个分析 节点处理信息的完整性，分流系统在对流量进行分配时应尽可能的将同条流的 全部报文分配给同一个分析节点来处理。如何将庞大而多变的网络流量均衡分配 给多个分析节点，保证同一分流单位内的报文被分配到同一个分析节点上处理， 并且在流量发生变化导致分配不均衡时，能够迅速的对流量的分配关系进行调整， 防止单个节点过载现象的产生，是一个亟需解决的问题。 第l 页 国防科学技术大学研究生院硕十学位论文 近年来，分布式的文件共享、基于p 2 p 的网络应川越来越一泛p 儿j ，p 2 p 流量 在网络流量中所占的比例不断增加【l l 】【1 2 】，分布式的网络攻击也不断出现。在分布 式应用或攻击中，单纯分析一条或几条流无法获得应用或攻击的全部信息，只有 尽可能多地将同应用或攻击的全部流量发送给同一个分析节点进行处理，才能 获得更加准确的分析结果。报文层和流层的分流技术，受其分流层次的局限性， 无法满足此需求。应用层负载均衡是将相同网络应用的流量分配给同一分析节点 的分流技术。它作用于应用层，与报文层和流层负载均衡相比具有更高层次的抽 象。因此，应用层负载均衡是一个极具研究价值的课题。 当今计算机网络中广泛使用了基于通用路由器的分流技术，通过配置路由器 的策略路由规则，实现流量的负载均衡。由于生产厂家不同、设备的品牌不同， 各种型号路由器在分流策略的制定与分发，分流命令的格式与内容，报文的过滤 与丢弃，分流功能的实现方式等等各方面存在很大的差异。为方便网络管理员的 统一管理与监控，亟需开发一个路由器分流管理系统。该系统可以向管理员提供 一个与特定型号路由器无关的统一的管理界面，通过合理的分流算法结合用户自 定义的分流规则，产生分流策略，并下发到各分流设备，实现不同厂家、型号的 路由器的集中管理。 本文设计实现的路由器分流管理系统在某项目中应用效果良好。 1 2 负载均衡算法的研究进展 随着负载均衡技术在计算机网络的大量应用，各种针对不同应用环境和不用 网络流量构成的负载均衡算法不断涌现。算法主要应用于入侵检测与内容审计系 统，网络多处理器，路由器多输出接口之间负载均衡等方面。研究人员通过对网 络流量进行深入的分析，设计了适合自身系统的最优化负载均衡算法和动态调整 策略【1 3 】。 l k e n c l 等提出了一个路由器内部各转发引擎问的动态负载均衡模型【l 训。该模 型通过反馈控制机制防止转发引擎的过载，来实现多个转发引擎间负载均衡的动 态调整。其报文分配算法使用了扩展h r w 算法，采用动态修改转发引擎的权重向 量的方式来达到自适应负载均衡的目的。 w e i g u a n gs h i 等人【1 5 】【1 6 】基于对i n t e r n e t 流量的分析，阐明了仅依靠h a s h 技术 不能获得高效的负载均衡结果，提出将网络数据流量划分为正常流( n o r m a lf l o w s ) 和具有侵略性的流( a g g r e s s i v ef l o w s ) ，并采取动态调整具有侵略性流的调度技术， 达到在其最大转发性能下的自适应负载均衡效果，以获得较高的资源利用率。 在网络中各分流单位的流量变化较大的情况下，为了提高路由表c a c h e 的稳 定性并实现各输出接口的动态负载均衡，a s h a i k h 等人【1 。7 j 根据i p 流的持续时间 第2 页 国防科学技术大学研究生院硕士学位论文 与链路状态更新频率等特点，将例络的流量分为长流和短流，并建议动态路山长 流而静态路由短流。通过动态调整对负载敏感的长流，可以减少路由表的频繁更 新，从而提高路由表的c a c h e 命中率。 g d i t t m a n n 等人【1 8 】在其论文中描述了一个并行转发系统的负载平衡器i b m 。 它采用基于表的h a s h 技术来划分流量，通过查表得到目标转发引擎( f e ) 。算法为 每一个具有相同索引的流束( f l o wb u n d l e ) 保留其最近到达报文的时间戳，当触发动 态调整时，将时间戳最早的流束分配给当前负载最轻的处理器以实现动态负载均 衡。对于数据流量在短时问内超过单个转发引擎处理能力的流束，为了维持较小 的丢包率，采取增加转发粒度的方案，使用报文层的“数据散射 技术，将流束 内的报文分配到不同的转发引擎处理。 w s h i 等人【l9 j 描述了一个多处理器路由器中的自适应负载均衡方法s h i ， 它采用h a s h 技术来划分流量，同时考虑输入负载流量特性，选取其中m 个流量最 大的流束，并保存其相应的信息。当触发动态调整时，将这m 个流束分配给当前 负载最轻的处理器实现白适应负载均衡。 从以上负载均衡算法的发展趋势可以看出，负载均衡算法已经越来越专业化 与具体化，很多应用领域都需要适合自身需求的高效的负载均衡算法【2 0 】一【2 6 】。因此， 深入的分析系统应用环境的网络流量特征是设计良好的负载均衡算法的坚实的基 础。 1 3 本文的主要工作 本文的主要工作有以下三点： 一、深入分析高速链路的流量特征，提出了基于历史流量的负载均衡算法， 该算法既能实现多个处理节点间的动态负载均衡，又能保证报文的同源同宿。该 算法的主要优点是算法记录了每个分流单位的历史流量信息，在分析节点流量出 现不平衡，需要动态调整时，算法可以按照分流单位的历史流量信息合理的选择 最适合调整的分流单位，使各个分析节点的流量迅速恢复均衡状态。 二、设计了应用层负载均衡模型，该模型使用基于流量特征的识别方法( t l i ) 与深度报文检i l ) ! l j ( d p i ) 技术相结合的方法对流量进行识别，将网络流量按照其所属 应用进行分类，将同一应用的流量分配给同一分析节点进行处理。模型作用于应 用层，对p 2 p 类应用具有较好的识别与分流效果，解决了传统的分流模型难以处 理p 2 p 类应用的问题。 三、构建了一个“路由器分流管理系统”，该系统可以按照分流算法以及用 户自定义规则集中控制多台路由器，均衡各个分析节点的负载，使其高速并行工 作。由于生产厂家和应用方式的不同，骨干链路中使用的路由器种类繁多，各类 第3 页 国防科学技术大学研究生院硕士学位论文 路由器具有不i 司的分流策略和命令系统，这给网络管理员带来了很多1 i 便。 路由 器分流管理系统支持c i s c o 、j u n i p e r 、华为、中兴、港湾路由器以及f o r c e l 0 交换 机的集中控制，向用户提供统一的接口和使用界面。系统使用了基于历史流量的 动态负载均衡算法，生成优化的分流策略，可以均衡、灵活的分配网络流量。 1 4 本文的结构 本文共分为五章。 第一章介绍了本文的课题背景和主要工作。 第二章介绍了负载均衡技术的分类、实现方法。本文从多个角度对负载均衡 技术进行了总结分类，介绍了负载均衡技术的软、硬件实现方法，深入研究了当 前广泛应用的经典的负载均衡算法。 第三章在对网络流量特征提取的基础上，设计了基于历史流量的动态负载均 衡算法( h a b 算法) 。h a b 算法记录了网络流量中各个分流单位的历史流量信息， 当流量分配出现不均衡时，根据历史流量信息迅速产生最优化的调整策略，实现 分流系统的动态均衡。h a b 算法与经典的i b m 负载均衡算法进行了比较，实验证 明，算法具有较快的调整速度，流量分配的稳定性较好。 第四章针对目前面向应用的负载均衡需求，设计了应用层负载均衡模型。模 型将网络流量在应用层次上进行了分流，将某一应用的全部流量分配给同一个分 析节点进行处理，提高了分析节点的处理精度。 第五章设计并实现了“路由器分流管理系统”，系统支持对六大厂家生产的 路由器或分流交换机的统一管理，可以同时控制多台路由器并行工作。在网络流 量动态分配时，管理系统可以产生优化的调整策略，使流量分配更加具备灵活性 和稳定性。 结束语对全文进行了总结，并对下一步的工作进行了规划。 第4 页 国防科学技术大学研究生院硕士学位论文 第二章分流与负载均衡技术概述 负载均衡技术是建立在现有网络结构的基础上，提供了一种廉价有效的方法 扩展系统的数据处理能力，提高网络的灵活性和可用性【2 7 】【2 8 】。在网络流量分配工 作中，分流技术和负载均衡技术具有相同的内涵。因此，本文将其统称为负载均 衡技术。 在计算机网络中，负载均衡技术主要完成以下任务【2 7 】：解决网络拥塞问题， 服务就近提供，实现地理位置无关性；为用户提供更好的访问质量；提高服务器 响应速度；提高服务器及其他资源的利用效率；避免了网络关键部位出现单点失 效。 网络流量负载均衡技术的主要思想【2 7 1 是根据负载均衡算法将网络流量平均分 配到不同的服务器或分析节点上去，以减轻单台服务器或分析节点的负担，从而 提高整个系统的效率。 负载均衡技术是在冗余之上的扩展方案，要求存在多个可以完成相同功能的 实体，例如同构的分析节点。它可以把负载按照一定的规则分配到多个分析节点 上，减小了单个分析节点的处理负载，提高了系统整体性能，在单个节点失效时， 可以将原本分配给失效节点的流量重新分配，降低了整个系统失败发生的几率， 提高系统的服务质量【2 9 】【3 0 1 。 2 1 网络流量负载均衡技术的分类 根据研究的切入点的不同，网络流量负载均衡技术可以从处理粒度、调度方 式以及系统的实现方式等多个方面进行分类3 。 2 1 1 按照处理粒度进行分类 从处理粒度看，网络流量负载均衡技术主要分为报文层调度和流层调度两类。 报文层调度是网络中应用最早的分流技术。报文层调度的最小分流单位是单 个报文，一般使用随机调度、轮询调度等负载均衡算法，可以实现网络报文负载 的均匀分配。报文层调度方式具有实现简单，效果好，记录状态少，易于动态调 整等优点，但不能保证报文的顺序，可能破坏流的相关性，导致属于相同流的报 文分配到不同处理机节点。随着网络攻击技术的发展，攻击行为的特征越来越隐 蔽，入侵检测设备在分析网络攻击行为时，需要检测相同流的全部报文，才能获 取正确的分析结果。报文层调度方式导致报文乱序，增加了分析节点的工作量； 同一条流的报文被分配给不同的处理节点，影响了分析结果的正确性。 第5 页 国防科学技术大学研究牛院硕士学位论文 流层调度的最小单位是一条流或分流单位。流层的报文分配算法一般采用 h a s h 技术，使用移位、x o r 、c r c 算法等计算报文头信息的h a s h 值，根据h a s h 值将其分配到相应的输出接口。这样可以保证报文顺序以及流的相关性，但可能 不能均匀分配流量，需要根据流量的变化进行实时的调整。 2 1 2 按照调度方式进行分类 从调度方式看，网络流量负载均衡技术主要分为静态调度和动态调度两种方 式。 静态报文调度采用固定的报文分配算法，将网络流量按照报文或报文所属流 的特征对流量进行分配。静态调度没有考虑网络流量的局部性和突发性等特点， 在微观上会导致负载分配不均衡。 动态负载分配算法可以获取各个分析节点的处理流量，根据各个分析节点的 负载情况，调整负载均衡策略，自适应地调节不均衡节点的流量，实现负载的再 分配，具有更好的整体性能。 2 1 3 按照系统实现进行分类 从系统的实现方式看，网络流量负载均衡技术的实现系统可分为专用分流系 统和基于通用路由器的分流系统。 专用分流系统是专门为网络流量分配而研发的分流设备。专用分流设备针对 网络中具体应用而研发，具有较高的执行性能和分流效果。但是专用分流设备的 功能是固定的，随着网络的发展，专用设备升级困难，可扩展性差。开发新的专 用分流设备需要大量的资金投入，开发周期和稳定性测试时间较长，新设备的应 用在时间上有具有滞后性。 基于通用路由器的分流系统，借助于路由器的高速匹配和转发性能，通过设 定策略路由的方式定义分流规则，将路由器输入接口的网络流量按照分流策略转 发给输出接口。通用路由器的策略路由可以针对报文信息指定详细的匹配规则， 将输入接口的任意流量转发到指定输出接口。如今各大路由器生产厂家制造的路 由器种类与型号繁多，功能强大，用户可以根据实际需要选择功能适合的路由器。 因此，基于通用路由器的分流系统具有灵活性强、扩展性好特点。网络中作为分 流设备广泛应用的通用路由器有c i s c o 、j u n i p e r 、华为等厂家生产的路由器以及 f o r c e l 0 公司生产的具有策略路由功能的交换机等。 但是基于通用路由器的分流系统也存在一些弊端，由于网络中用做分流的路 由器的生产厂家不同、型号各异，每种型号的路由器的命令格式都不尽相同，这 给网络管理员的日常管理带来了很多麻烦。 第6 页 国防科学技术大学研究生院硕十学位论文 在负载均衡系统中j “泛应用的足流层的动态负载均衡分流方案。流层的调度 首先将输入接口的流量分成若干流或分流单位，然后将这些流或分流单位平均分 配到各输出端口上，并可以根据网络中流量的变化，实时的调整流和分流单位对 应的输出接口，既达到了负载均衡的目的，又实现了流量同源同宿功能。 2 2 传统的网络流量负载均衡技术 网络流量负载均衡技术在o s i 七层协议模型中的第二、三、四、七层都有相 应的实现形式。在数据链路层上，可以基于数据包的目的m a c 地址选择不同链路； 在网络层，大多数路由协议都支持多条路由路径同时工作，以达到流：量均衡的目 的；在传输层和应用层一般采用基于流量的访问控制方式，实现负载均衡功能。 本节将讨论当前广泛应用的几种负载均衡技术。 2 - 2 1 传输链路聚合技术 随着网络流量的不断增加，原有的线路不能满足带宽需求，而单一线路的升 级又比较昂贵或难以实现时，可以采用链路聚合技术。链路聚合技术将多条物理 线路的传输容量融合成一条单一的逻辑线路。 链路聚合技术的实现方式主要有以下几种。同步i m u x 系统工作在t 1 e 1 的 比特层，利用多个同步的d s l 信道传输数据，来实现负载均衡。i m a 是一种多线 路的反向多路复用技术，工作在信元级，运行在使用a t m 路由器的平台上。多重 链路p p p ，又称m p 或m l p ，是应用于使用p p p 封装数据链路的路由器负载均衡 技术。m p 可以将大的p p p 数据包分解成小的数据段，再将其分发给平行的多个线 路，还可以根据当前的链路利用率来动态地分配线路。 链路聚合技术的优点是节省了单条线路升级所需的费用，由于多条链路的存 在，提高了网络的可靠性，缺点是增加了网络的复杂性。 2 2 1 2d n s 技术 d n s 技术为多个i p 地址配黄同一个域名，查询这个域名的客户主机将得到其 中的一个i p 地址，从而使客户主机访问多个服务器中的一个，达到负载均衡的目 的。当系统使用d n s 负载均衡时，为了达到较好的分流效果，应尽量保证客户主 机能均匀获得不同服务器的i p 地址。 d n s 技术是一种简单而有效的负载均衡方法，但是它的缺点也比较多，如不 能区分服务器的性能差异，无法反映服务器的当前运行状态等，在d n s 数据刷新 时间设置上也存在一些难题。为了给客户主机随机分配服务器地址，就应使刷新 第7 页 国防科学技术大学研究生院硕七学位论文 时l 、u j 尽量短，然而将刷新时间设置得过短，d n s 服务器之l 、日j 将产生大量的d n s 信 息交换流量，而造成额外的网络负担。d n s 负载均衡的另一个缺点是，一旦某个 服务器出现故障，即使系统及时修改了d n s 设置，还是要等到下一个数据刷新时 间才能发挥作用，在此期间，保存了故障服务器地址的客户主机将不能正常的访 问服务器。尽管存在诸多问题，d n s 技术仍是一种非常有效的服务器负载均衡方 法，国内外很多大型网站都使用了d n s 技术。 2 2 3 代理服务器技术 代理服务器技术设置了专门执行任务分配的代理服务器，将客户主机的请求 均匀转发给多台服务器，从而达到负载均衡的目的。这种代理方式与标准的代理 方式不同，标准代理方式是客户主机使用代理访问多个外部服务器，而这种代理 是代理多个客户访问内部服务器，因此也被称为反向代理模式。 代理服务器技术将负载均衡和代理服务器的高速缓存技术结合在一起，可以 实时获取内部服务器的处理能力和状态，应用优化的负载均衡策略，选择负载最 小的内部服务器来向客户主机提供服务，实现很高处理效率。但是对于一次代理， 代理服务器就必须维护两个连接，一个对外与客户主机的连接，一个对内与服务 器的连接。随着并发连接数量的增加，代理服务器本身的负载也会逐渐增大，使 得反向代理服务器本身成为系统性能的瓶颈。 2 2 4 网络接入负载均衡技术 网络接入负载均衡技术基于支持负载均衡的地址转换网关，将一个外部i p 地 址映射为多个内部i p 地址，采用随机选择、根据服务器的连接数量或者响应时间 进行选择的负载均衡策略，为每次t c p 连接请求动态分配一个内部地址，达到负 载均衡的目的。例如具备第四层交换能力的局域网交换机，就能作为一个硬件负 载均衡器，完成服务器的负载均衡任务。 第四层交换功能一般基于硬件芯片来实现，因此具备网络接入负载均衡技术 的局域网交换机的性能非常优秀，但是真因为它是使用硬件实现的，其处理形式 不够灵活，应用面较窄，仅能够实现少数几种标准的应用协议的负载均衡。 2 2 - 5 协议内部支持负载均衡技术 在网络的应用层，有些协议内部支持与负载均衡技术相关的功能。例如h t t p 协议中的重定向功能。在h t t p 请求和报头中有很多对负载平衡有用的信息，系 统可以从这些信息中获知客户主机需求的u r l 和网页，负载平衡设备就可以将图 第8 页 国防科学技术大学研究生院硕士学位论文 像请求分配到专用的图像服务器，或者根据数据库查洵内容，将请求引导到专用 的数据库服务器。 协议内部支持的负载均衡技术不需要特定的负载均衡设备，减少了成本，但 是依赖于特定协议，导致其应用范围有限。 2 3 网络流量负载均衡设备 在高速链路中用于网络流量负载均衡的设备可分为两类：专用负载均衡设备 和基于通用路由器的负载均衡设备。随着负载均衡技术应用的逐渐具体化，功能 单一化，很多网络设备生产商推出了高速的专用分流设备，基于通用路由器的负 载均衡技术也有了很大发展。专用负载均衡设备是为特定网络应用设计的分流设 备，其应用针对性强，处理效率高。基于通用路由器的负载均衡设备是利用现有 的通用路由器的高速匹配和转发能力，对网络流量进行负载均衡的设备。基于通 用路由器的负载均衡设备功能强大、可扩展性好。 2 3 1 专用负载均衡设备 随着网络带宽不断增加，面向高速链路的高性能专用分流设备越来越多的应 用于骨干网的出入口等核心节点。具备负载均衡功能的专用分流设备主要采用并 行处理方法缓解高速网络流量与单台分析节点处理能力不足问的矛盾。专用分流 设备的核心部件是负载均衡调度器，调度器一般由h a s h 分类器、流分类器、自适 应控制器和输出选择器等部分构成，如图2 1 所示。流分类器用于将网络报文划分 为若干条流，h a s h 分类器将多条流整合为分流的最小单位分流单位，输出选择器 为分流单位选择输出接口，自适应控制器在检测到负载不均衡时，重映射某些分 流单位的输出接口，从而保持流量分配动态负载均衡。 图2 1 专用分流设备负载均衡器构成图 专用负载均衡设备具有针对性强，性能高效，分流效果良好等突出优点。但 第9 页 国防科学技术大学研究牛院硕士学位论文 是从系统长远发展米看，专用负载均衡设备也具自自身的弱点。由于号用设备是 针对某一特定网络的设备，对不同的网络没有通用性，随着网络的升级，需要重 新开发新设备，升级所需的费用较高。从开发新设备到设备可以稳定的工作需要 一个过程，因此专用设备在应用上具有一定的滞后性。 2 3 2 基于通用路由器的负载均衡设备 为了避免专用负载均衡设备的升级费用高、滞后性等缺点带来的问题，可以 使用通用路由器作为分流设备。通用路由器具有性能强大的策略路由能力，通过 设置路由器的访问控制列表( a c l ) ，实现网络流量的分类；通过设置策略路由规则， 实现对匹配流鼍的负载分配。策略路由技术起源于计算机安全领域访问控制，随 着计算机网络的发展，此技术思想被引入到数据分流领域，产生了对路由器转发 的报文的控制技术。使用侧路路由技术可以为通过路由器的所有报文或数据流指 定任意的输出接口，因此，通过动态的设置路由器的a c l 结合策略路由技术，即 可实现对经过路由器的流量的负载均衡。如今a c l 已经逐步发展成为一种路由器 分流策略的基础，已经成为多数路由器的基本功能。许多商用厂家的路由器如： c i s c o 、j u n i p e r 、华为、中兴等都支持通过a c l 和策略路由技术实现流量分配的负 载均衡。 基于通用路由器的负载均衡技术使用方法简单、实用性好，可以通过路由器 配置在短时间内实现数据分流，并可以实时修改路由策略，实现网络流量动态负 载均衡。 2 4 负载均衡算法 负载均衡算法在分流系统中起着至关重要的作用，良好的负载均衡算法能够 按照服务器或分析节点性能的差异、网络链路的状况合理的分配流量，最大化发 挥系统的整体性能。根据调度方式的不同，负载均衡算法可分为静态负载均衡算 法和动态负载均衡算法两大类。动态负载均衡算法可分为两个处理阶段，流量初 始分配阶段和动态调整阶段。静态负载均衡算法对流量进行固定分配，可以看作 只有流量初始分配阶段而没有动态调整阶段。因此，本文把负载均衡算法的运行 策略分为流量分配策略和动态调整策略。 2 4 1 流量分配策略 流量的分配策略本质上是静态负载均衡算法，也是动态负载均衡算法的流量 初始分配阶段的执行策略。流量分配策略的优劣不仅决定了静态负载均衡算法的 第1 0 页 国防科学技术大学研究牛院硕十学位论文 最终分流效果好坏，对于动念负载均衡算法的动态调整阶段的运行效率，即动态 次数和调整程度，也具有很大的影响作用。流量分配策略可以分为轮询均衡策略， 随机均衡策略，直接散列均衡策略和静态均衡策略【2 7 1 。 1 ) 轮循均衡策略。轮询( r o u n dr o b i n ) 均衡策略分为普通轮询均衡和权重轮询 ( w e i g h t e dr o u n dr o b i n ) 均衡。普通轮询均衡将分流单位按次序轮流分配给系统各 个分析节点。此均衡算法适用于各个分析节点性能相近的系统。权重轮循均衡可 以按照分析节点处理性能的不同，为每个分析节点设置相应的权值，流量分配时， 按照各个分析节点的权重为其分配分流单位。此算法以各个分析节点的处理能力 为依据进行流量分配，避免了出现低性能分析节点负载过重的情况，同时使高性 能分析节点性能得到充分发挥。 2 ) 随机均衡策略。随机( r a n d o m ) 均衡策略也可以分为普通随机均衡和权重随 机( w e i g h t e dr a n d o m ) 均衡。普通随机均衡使用随机算法将分流单位分配给各个分 析节点。权重随机均衡类似于权重轮循算法，在分配分流单位时根据不同了分析 节点处理能力的差异，其分配算法的是一个随机的过程。 3 ) 直接散列均衡策略。直接散歹l j ( d i r e c th a s h ) 均衡策略计算分流单位包含的某 些通信信息的h a s h 值，并对h a s h 值做进一步的运算，最后获得分析几点的编号。 常用的直接散列均衡策略有基于目的地址的散列法，目的地址可折叠异或的散列 法，源、目的地址可折叠异或的散列法，c h e c k s u m 散列法，c r c l 6 散列法。 实验证明，在上述几种散列均衡策略中，基于通信五元组的1 6 位c r c 算法具有 较好的负载均衡性能。 4 ) 静态均衡策略：静态( s t a t i c ) 均衡策略按照网络管理员的需求将某些特定的 流量分配给指定的分析节点进行处理，此算法适用于一些特殊应用，满足用户的 特殊需求。 2 4 2 动态调整策略 网络中的流量是实时变化的，即使系统采用分流效果良好的流量分配策略， 随着时间的推移，一般也会产生各个分析节点流量分配不均衡情况的现象。因此， 动态负载均衡算法需要具备一个性能良好，调整效果稳定的动态调整策略。动态 调整的一般原则是将新流量或者超负荷的分析设备上的部分流量分配给负载最轻 的分析节点。根据系统侧重点不同，确定负载最轻的节点的指标也不相同，具体 可分为响应时间均衡策略，最小连接数均衡策略，最小负载均衡策略等。 1 ) 响应速度均衡策略。响应时f 日q ( r e s