（计算机软件与理论专业论文）高层交换和智能数据流管理研究.pdf

东北大学硕士学位论丈摘要 高层交换和智能数据流管理研究 摘要 随着i n t e m e t 网络技术的发展，如何合理分担中心站点服务器的网络负载，使多台服务器 具有高可用性、可扩展性，并且保证每个访问用户都以最快的速度获得需要的信息，成为网络 服务系统面临的关键问题。高层交换技术就是在这样的需求下产生的。 本论文所描述的工作以军工8 6 3 项目的一个子课题为背景，以目前高层交换技术为基础， 参考国外主流的高层交换产品功能，重点研究了具有高可用性、可伸缩性和高性能的高层交换 技术及其实现方法。 作者所做的工作，完善了前期工作中设计的四层引擎工作流程：开发了横跨多层新的健康 检测机制，确保服务的连续性和高可用性，并实现了带宽管理模块。为了实现对四层引擎和七 层决策模块的兼容，设计了新的高层交换体系架构。这个新的架构以迟后绑定( d e l a yb i n d i n g ) 和 缓存机制为核心，在交换机中集成了t c p 协议栈和迟后绑定规则表。作为对高层决策模块的论 证，模拟实现了w e b 决策引擎。这种基于h t t p 协议的引擎具有u r l 重定向和识别持久化连接 的功能，可以使服务程序的设计最大限度的独立于后台服务器的物理拓扑结构。采用p c 机+ l i n u x 操作系统开发平台，通过修改l i n u x 内核中的t c p i p 协议栈完成软件原型的设计。 本论文详细描述了新的高层交换的架构及其模拟实现过程，对设计原理和技术基础进行了 详尽的说明。作为快速h t t p 头部识别机制，在项目的实现中提出了基于前向预测的状态机识别 算法并给出了效率测试的结果。对在项目中使用的算法( 如前缀匹配等) 都给出了测试说明和 测试结果。测试结果表明，所提出的高层交换技术方案不仅适合项目需求，而且能够解决目前 网络服务领域面临的问题。 关键词商层交换面向应用的交换迟后联接基于u r l 的连接重定向面向内容的交换 _ 1 1 东北大学硕士学位论文 a b s t r a c t r e a s e a r c h0 1 1h i g hl a y e rs w t c h i n ga n dt h ei n t e l l i g e n t m a n a g e m e n to f d a t af l o w a bs t r a c t w i t ht h ed e v e l o p m e n to fi n l e r n e tt e c h n o l o g y ，t h en e t w o r ks e r v i c es y s t e m sh a v ea l r e a d y e n c o u n t e r e dc r i t i c a lp r o b l e m ，w h i c hi sb o w1 0r e a s o n a b l ya s s i g nn e t w o r kl o a d st ot h es e r v e r s ，a n d m a k et h e mh a v eh i g hu s a b i l i t ya n ds c a l a b i l i t y ，a n dg u a r a n t e ee a c hu s e rg e tn e e d e di n f o r m a t i o na s f a s t p o s s i b l e h i g hl a y e rs w i t c h i n gh a s b e e nb r o u g h tf o r w a r dt od e a lw i t hs u c hc h a l l e n g e b a s e do no n es u b t a s ko fam i l i t a r yi n d u s t r y8 6 3p r o j e c ta n dt h eh i g hl a y e rs w i t c h i n g t e c h n o l o g y ，r e f e r e n c i n gt om a j o rf o r e i g nr e l a t e dp r o d u c t s ，t h i sp a p e rs t u d i e st h eh i g hl a y e r s w i t c h i n gt e c h n o l o g ya n di t si m p l e m e n t a t i o n ，w h i c hh a sh i g hp e r f o r m a n c e ，h i g ha v a i l a b i l i t ya n d h i g hs c a l a b i l i t y w o r k i n gw i t ht h i sp r o j e c t ，a u t h o ri m p r o v e dt h ep r o c e s so fl a y e rf o u rs w i t c h i n ge n g i n et h a t d e s i g n e d i nt h ep r o p h a s e t og u a r a n t e et h ec o n t i n u i t yo fs e r v i c ea n dh i g ha v a i l a b i l i t y ，w e d e v e l o p e dn e wm e c h a n i s m o fh e a l t hm o n i t o rt h a tc o v e r e dm u t i l a y e r s t oe n s u r et h eb e s tl e v e lo f s e r v i c ef o re a c hu s e rc l a s so ra p p l i c a t i o n ，b a n d w i d t hm a n a g e m e n tm o d e lt h a tc a na l l o c a t ee a c ht h e r e q u i r e db a n d w i d t hh a sb e e nd e v e l o p e d f o rt h es a k eo fc o m p a t i b i l i t yw i t hl a y e rf o u re n g i n ea n d l a y e rs e v e nd e c i s i o n m a k i n gm o d e l ，w eb r i n gf o r w a r dan e w k i n do fs y s t e ma r c h i t e c t u r et h a tc a l l r e d u c ec o u p l i n go ft h eb o t h a ss u p p o r tp o i n to ft h i sa r c h i t e c t u r e ，d e l a yb i n d i n ga n dc a c h e m e c h a n i s mh a sb e e na d o p t e d ，m e a n t i m e ，t c ps t a c ka n dd e l a yb i n d i n gr u l et a b l eb e e ni n t e g r a t e dt o o f o rt h ev a l i d a t i o no fl 7d e c i s i o n - m a k i n gm o d e l ，t h es i m u l a t i o no fw e be n g i n eh a sb e e n i m p l e m e n t e d b a s e do nh t t p ，t h ew e be n g i n ec a l lp e r f o r mu r l - r e d i r e c t i o na n dc o o k i e b a s e d p e r s i s t e n c e ，w h i c hm a k es e r v e r - e n dp r o g r a m m ek e e pa si n d e p e n d e n ta sp o s s i b l ef r o ms e r v e r - f a r m s r e a lt o p o l o g i a ls t r u c t u r e t h es o t t w a r ep r o t o t y p ei sd e v e l o p e dt h r o u g ht h em o d i f i c a t i o no ft h e l i n u xt e p i pp r o t o c o ls t a c k t h i sp a p e rd e s c r i b e st h eh i 曲l a y e rs w i t c h i n gs y s t e mi m p l e m e n t a t i o ni nd e t a i l ，i l l u m i n a t e st h e p r i n c i p l ea n dt h et e c h n o l o g yf o u n d a t i o n a s t h em e c h a n i s mo ff a s th e a d e ri d e n t i f i c a t i o n ， f o r e c a s t - b a s e ds t a t em a c h i n ea l g o r i t h mh a sb e e nb r o u g h tf o r w a r dw i t ht e s t i n gr e s u l t t h et e s tr e s u l t o f o t h e ra l g o r i t h mu s e di nt h i sp r o j e c t ( e g u r ip r e f i xr o a c h i n g ) i sa s op r o v i d e d i ti ss h o w na st h e r e s u l to ft h et e s tt h a tt h eh i 曲l a y e rs w t c h i n gt e c h n o l o g yd e v e l o p e di nt h i sp a p e ra d a p t st ot h e r e q u i r e m e n to ft h i sp r o j e c t ，a n dc a nr e s o l v et h ec u r r e n tp r o b l e m sf a c e db yt h ed o m a i no fn e t w o r k s e r v i c e k e y w o r d sh i g h l e v e l - s w i t c h i n g ，c o n t e n t - a w a r e - s w i t c h i n g , a p p l i c a t i o n - a w a r e - s w i t c h i n g ， d e l a y - b i n d i n g , u r l b a s e dr e d i r e c t i o n i i i 独创性声明 本人声明所呈交的学位论文是在导师的指导下完成的。论文中取 得的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或 撰写过的研究成果，也不包括本人为获得其它学位而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确 的说明并表示谢意。 学位论文作者签名：耆哥辅 日期：7 o - o 埤，阀g 司 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用 学位论文的规定：即学校有权保留并向国家有关部门或机构送交论 文的复印件和磁盘，允许论文被查阅和借阅。本人同意东北大学可 以将学位论文的全部或部分内容编入有关数据库进行检索、交流。 ( 如作者和导师同意网上交流，请在下方签名；否则视为不同意。) 学位论文作者签名：导师签名： 签字日期：签字日期： 东北大学硕士学位论文第一章概述 1 。1 研究背景 第一章概述 帚一早僦逊 现在，越来越多的组织，包括企业、政府部门、服务提供者、非赢利性组织、研究机构等 将其信息放置于i n t e m e t 之上。其信息的传递对l p 和w e b 应用的依赖也随之递增。作为社会 信息的一种传播形式，i n t e m e t 的数据流量遵循8 0 2 0 定律而呈现明显的不均衡性，亦即2 0 的 中心信息服务器承担了8 0 的信息流量。信息流量呈爆炸式增长，许多重要的网络信息中心的 服务访问量目益增大，服务器的负荷越来越重，网络带宽和服务器受到巨大的挑战。当前， w w w 、f t p 、s m t p 等网络服务面l 临的主要的挑战大体上可以归结如下： 系统失败或崩溃( f a i l u r e sa n dd o w n t i m e ) ，在单服务器或者d n s 负载均衡的系统架构 中，错误处理的冗余度很低，一个服务器的崩溃往往造成不可挽回的损失。 无法预测的突发式流量( u n p r e d i c t a b l et r a f f i cp a t t e r n s ) ，信息中心的访问量即使在不考 虑恶意d o s 攻击的情况下，也通常具有无法预测的特征。 服务质量的需求( n e e df o r q o s ) ，在电子商务中，服务提供者一般希望将服务和客户划 分为不同的等级，在紧急情况下可以对每个不同等级提供最低限度的服务质量。 安全问题( s e c u r i t yh a z a r d s ) ，当今世界，威胁和恶意攻击比过去任何对候都更加普遍。 攻击的手段复杂多样，攻击者总是试图使破坏最大化。 负载均衡( l o a db a l a n c i n g ) ，保证用户连接不总是分配给某个固定的服务器，以免造成 部分服务器容量超载而其它服务器上却只有少量连接请求1 。 d o s 攻击防范( d o ss h i e l d ) 4 j ，d o s 攻击虽然只是原始的攻击手段之一，但是在高 流量的网络环境中，只靠软件，目前仍然没有办法很好办法的预防。 本课题的研究目的是为了满足某一军工8 6 3 项目的一部分需求，遵循实用性与先进性、高 度机动性和可扩充性、安全性和可维护性、高可靠性和稳定性的原则【1 j ；综合考虑目前并着眼 未来我国国防通信设旅发展情况，构建安全、可靠的信息交换网络；为该系统各个部分提供综 合信息和业务( 数据、话音、视频) 的高效、快速传输与交换，并提供分发服务；保证信息交换 的安全。 在本课题的研究中，在原有的四层交换的框架和四层引擎的基本处理流程基础上，详细分 析了l i n u x 内核的网络部分，并对七层的决策机制提出了开拓性的建议。在原有研究的基础上， 我们的工作主要包括完善了四层引擎的处理过程，提出并实现了横跨多层的新的健康检测机制； 实现了带宽管理模块：拓展四层交换框架，开发了新的能兼容四层决策机制并支持七层引擎的 高层交换架构，架构的核心为四层代理、延迟绑定以及内嵌式协议栈；作为高层引擎的典型实 例，实现了支持u r l 重定向和c o o k i e 持久化的w e b 交换决策模块。并基于协议的特点提出了 前向预测状态机算法做为一种头部识别算法。 1 2 交换技术的发展 交换的基本功能就是转发业务流。局域网交换技术是作为对共享式局域网提供有效网段划 分的解决方案而出现的，它可以使每个用户尽可能地分享到最大带宽。随着局域网对容量和性 能方面需求的增高，9 0 年代中期出现了第二层( l 2 ) 交换机。第二层交换使用目标端口的m a c 地 址( 如以太网第二层中的媒体访问控制子层) 来决定输入信息包的下步流向。与共享介质局域 网相比，第二层变换机使网络性能大幅度提高。但第二层交换的弱点是在所有端口发送接收到 东北大学硕士学位论文第一章概述 的广播报文，容易产生广播风暴。 由于二层设备一般不能控制网络广播风暴，因此需要引入第三层的路由来控制数据在不同 子网之间传播。而传统的路由器由软件系统完成全部功能，并且对所有数据报文都要分析i p 层 的信息，即使是同一源地址向同一目的地址发出的所有数据包也同样处理，这导致路由器不可 能具有很高的吞吐量，也是路由器成为网络瓶颈的原因之一。因此出现了第三层交换技术。一 个具有三层交换功能的设备，是个带有第三层路由功能的第二层交换机，但它是二者的有机 结合，并不是简单地把路由器设备的硬件及软件叠加在局域网交换机上。三层交换机的基本特 点是基于交换式结构的硬件进行伊数据包的转发，以代替共享总线方式，转发引擎可以是专用 集成电路( a s l c ) ，也可以是专门为t p 转发而设计的网络处理器。但是第三层交换机不能取代路 由器的完整功能。 第二层与第三层交换产品在解决局域网和互联网络的带宽及容量问题上发挥了很好的作 用。但是，这可能还不够，还需要更多的性能。端到端的性能和服务质量要求对所有联网设各 的负载进行细致的均衡，以保证客户机与服务器之间数据平滑的流动，这正是第四层交换的用 武之地。第二层交换机连接用户和网络，在子网中指引业务流；第三层交换机或路由器将包从 一个子网传到另一个子两，而高层交换将包传到终端服务器。高层交换是网络基础结构中的重 要因素，它使得服务器容量随网络带宽增加而增加。 高层交换技术不仅仅利用第二层和第三层信息，而且利用第四层以及更高层得信息区分业 务流，能够提高服务器和服务器组的可用性、可扩展性和负载均衡，扩展过去的服务和应用中 使用的第二层和第三层交换性能和数据流的管理功能。 1 3 可行性分析 目前已经存在的一些高层交互产品给本项目提供了良好的借鉴和参考。新一代交换式路由 器体系结构的出现作为成型的技术也为高层交换机的体系架构的建立提供了很大的帮助。 鉴于现阶段课题以高层交换技术及实现方法的研究为主，并非实现晟终产品，因此采用开 放式操作系统平台进行研究、设计和开发是一种理想的选择。l i n u x 是目前开放式操作系统的 典型，人们对它的研究也比较多，因而我们采用p c 机和l i n u x 操作系统为开发平台通过修 改l i n u , x 内核的t c p i p 协议栈相关内容完成系统设计。 1 4 本人完成的工作 在高层交换和智能数据流管理的研究与实现过程中，本人独立完成的工作包括： 对现有高层交换技术的研究： l i n u x 操作系统t c p i p 协议栈源代码分析，和对h t t p 、邱等高层协议的理解； 在已有的项目基础上，对原有功能模块和代码的理解、整合及优化： 高层交换架构的设计、d e l a yb i n d i n g 和内嵌协议栈的原型设计、编码与测试； h t t p 引擎的功能设计和报文分析器、u r l 重定向和s e s s i o n 处理模块的实现； 提出基于前向预测的状态机算法做为一种报文头部分析识别算法。 1 5 论文的组织安排 根据研究过程所涉及的内容和系统实现的步骤，本论文分为以下六个部分： 第一章：介绍了高层交换技术的研究背景，简单叙述了交换技术的发展，并对高层交换技 术的研究与实现的可行性进行了分析； 第二章：介绍高层交换技术实现的技术基础和实现原理。通过对二三层交换机制的探讨引 东北大学硕士学位论文第一章概述 的广播报文，容易产生广播风暴。 由于二层设备一般不能控制网络广播风暴，因此需要引入第三层的路由来控制数据在不同 子网之间传播。而传统的路由器由软件系统完成全部功能，并且对所有数据报文都要分析i p 层 的信息，即使是同一源地址向同一目的地址发出的所有数据包也同样处理，这导致路由器不可 能具有很高的吞吐量，也是路由器成为网络瓶颈的原因之一。因此出现了第三层交换技术。一 个具有三层交换功能的设备，是一个带有第三层路由功能的第二层交换机，但它是二者的有机 结合，并不是简单地把路由器设备的硬件及软件叠加在局域网交换机上。三层交换机的基本特 点是基于交换式结构的硬件进行m 数据包的转发，以代替共享总线方式，转发引擎可以是专用 集成电路( n s l c ) ，也可以是专门为i p 转发面设计的网络处理器。但是第三层交换机不能取代路 由器的完整功能。 第二层与第三层交换产品在解决局域网和互联网络的带宽及容量问题上发挥了很好的作 用。但是，这可能还不够，还需要更多的性能。端到端的性能和服务质量要求对所有联网设备 的负载进行细致的均衡，以保证客户机与服务器之间数据平滑的流动，这正是第四层交换的用 武之地。第二层交换机连接用户和网络，在子网中指引业务流；第三层交换机或路由器将包从 一个子网传到另一个子网，而高层交换将包传到终端服务器。高层交换是网络基础结构中的重 要因素，它使得服务器容量随网络带宽增加而增加。 高层交换技术不仅仅利用第二层和第三层信息，而且利用第四层以及更高层得信息区分业 务流，能够提高服务器和服务器组的可用性、可扩展性和负载均衡，扩展过去的服务和应用中 使用的第二层和第三层交换性能和数据流的管理功能。 1 3 可行性分析 目前已经存在的一些高层交互产品给本项目提供了良好的借鉴和参考。新一代交换式路由 器体系结构的出现作为成型的技术也为高层交换机的体系架构的建立提供了很大的帮助。 鉴于现阶段课题以高层交换技术及实现方法的研究为主，并非实现最终产品，因此采用开 放式操作系统平台进行研究、设计和开发是种理想的选择。l i n u x 是目前开放式操作系统的 典型，人们对它的研究也比较多，因而我们采用p c 机和l i n u x 操作系统为开发平台通过修 改l i n u x 内核的t c p f i p 协议栈相关内容完成系统设计。 1 4 本人完成的工作 在高层交换和智能数据流管理的研究与实现过程中，本人独立完成的工作包括： 对现有高层交换技术的研究： l i n u x 操作系统t c p 1 1 a 协议栈源代码分析，和对h t t p 、f t p 等高层协议的理解； 在已有的项目基础上，对原有功能模块和代码的理解、整合及优化； 高层交换架构的设计、d e l a yb i n d i n g 和内嵌协议栈的原型设计、编码与测试； h t t p 引擎的功能设计和报文分析器、u r l 重定向和s e s s i o n 处理模块的实现： 提出基于前向预测的状态机算法做为一种报文头部分析识别算法。 1 5 论文的组织安排 根据研究过程所涉及的内容和系统实现的步骤，本论文分为以下六个部分： 第一章：介绍了高层交换技术的研究背景，简单叙述了交换技术的发展，并对高层交换技 术的研究与实现的可行性进行了分析： 第二章：介绍高层交换技术实现的技术基础和实现原理。通过对二三层交换机制的探讨引 第二章：介绍高层交换技术实现的技术基础和实现原理。通过对二三层交换机制的探讨引 东北大学硕士学位论文第一章概述 的广播报文，容易产生广播风暴。 由于二层设备一般不能控制网络广播风暴，因此需要引入第三层的路由来控制数据在不同 子网之间传播。而传统的路由器由软件系统完成全部功能，并且对所有数据报文都要分析i p 层 的信息，即使是同一源地址向同一目的地址发出的所有数据包也同样处理，这导致路由器不可 能具有很高的吞吐量，也是路由器成为网络瓶颈的原因之一。因此出现了第三层交换技术。一 个具有三层交换功能的设备，是个带有第三层路由功能的第二层交换机，但它是二者的有机 结合，并不是简单地把路由器设备的硬件及软件叠加在局域网交换机上。三层交换机的基本特 点是基于交换式结构的硬件进行伊数据包的转发，以代替共享总线方式，转发引擎可以是专用 集成电路( a s l c ) ，也可以是专门为t p 转发而设计的网络处理器。但是第三层交换机不能取代路 由器的完整功能。 第二层与第三层交换产品在解决局域网和互联网络的带宽及容量问题上发挥了很好的作 用。但是，这可能还不够，还需要更多的性能。端到端的性能和服务质量要求对所有联网设各 的负载进行细致的均衡，以保证客户机与服务器之间数据平滑的流动，这正是第四层交换的用 武之地。第二层交换机连接用户和网络，在子网中指引业务流；第三层交换机或路由器将包从 一个子网传到另一个子两，而高层交换将包传到终端服务器。高层交换是网络基础结构中的重 要因素，它使得服务器容量随网络带宽增加而增加。 高层交换技术不仅仅利用第二层和第三层信息，而且利用第四层以及更高层得信息区分业 务流，能够提高服务器和服务器组的可用性、可扩展性和负载均衡，扩展过去的服务和应用中 使用的第二层和第三层交换性能和数据流的管理功能。 1 3 可行性分析 目前已经存在的一些高层交互产品给本项目提供了良好的借鉴和参考。新一代交换式路由 器体系结构的出现作为成型的技术也为高层交换机的体系架构的建立提供了很大的帮助。 鉴于现阶段课题以高层交换技术及实现方法的研究为主，并非实现晟终产品，因此采用开 放式操作系统平台进行研究、设计和开发是一种理想的选择。l i n u x 是目前开放式操作系统的 典型，人们对它的研究也比较多，因而我们采用p c 机和l i n u x 操作系统为开发平台通过修 改l i n u , x 内核的t c p i p 协议栈相关内容完成系统设计。 1 4 本人完成的工作 在高层交换和智能数据流管理的研究与实现过程中，本人独立完成的工作包括： 对现有高层交换技术的研究： l i n u x 操作系统t c p i p 协议栈源代码分析，和对h t t p 、邱等高层协议的理解； 在已有的项目基础上，对原有功能模块和代码的理解、整合及优化： 高层交换架构的设计、d e l a yb i n d i n g 和内嵌协议栈的原型设计、编码与测试； h t t p 引擎的功能设计和报文分析器、u r l 重定向和s e s s i o n 处理模块的实现； 提出基于前向预测的状态机算法做为一种报文头部分析识别算法。 1 5 论文的组织安排 根据研究过程所涉及的内容和系统实现的步骤，本论文分为以下六个部分： 第一章：介绍了高层交换技术的研究背景，简单叙述了交换技术的发展，并对高层交换技 术的研究与实现的可行性进行了分析； 第二章：介绍高层交换技术实现的技术基础和实现原理。通过对二三层交换机制的探讨引 东北大学硕士学位论文第一章概述 出四层和更高层交换机的介绍，并讨论了和高层交换机相关的其它技术和现有产品： 第三章：介绍四层交换机制和及其模拟实现，从四层交换机的功能需求和结构模块开始， 描述了四层交换机的接收和转发的数据处理流程和n a t 地址转换。此外本章内容还包括健康 监测问题和包分类算法； 第四章：在这一章中，提出了一种基于四层代理的全新的高层交换机制的架构模型和这个 架构的设计实现。内容包括高层交换机制的架构模型、d e l a yb i n d i n g 的原理和实现以及实现迟 后绑定实现中涉及的细节问题； 第五章：做为高层引擎的典型实例，介绍了h t t p 转发控制模块的具体实现。注意内容包括 基于l r r l 的连接重定向、基于c o o k i e 的连接持久化以及头部分析识别模块。根据h t t p 消息头 部的特点我们提出了前向预测状态机算法做为一种快速的头部字段识别算法； 第六章：本论文的总结。 东北大学硕士学位论文第二章技术基础与设计原理 第二章技术基础与设计原理 高层交换系统的设计原理主要包括n a t 地址转换、d e l a y b i n d i n g 机制、连接重定向、端口 映射以及高层的状态机。n a t 地址转换通过考察源地址和目的地址的映射来动态的建立客户和 服务器的对应关系，交换机以中介形式存在于服务器和客户之间，对客户端隐藏服务器的真实 拓扑结构id e l a yb i n d i n g 是实现更高层的交换的核心机制；连接重定向是实现内部业务分离、 相同功能服务器负载均衡的重要机制；对于安全问题，高层交换机通过针对底层的i p 分级、特 殊子网设定和更高层协议的服务优先级划分等机制来处理。 2 1 二、三层交换机的交换机制和体系结构 传统的交换机工作在二到三层，其根据报文的m a c 或者i p 地址来决定转发的目地地址。与 路由器不同，虽然交换机需要了解各个端口的主机的m a c 或者i p 地址，但是整体上，其并不清 楚网络的拓扑结构。工作在二三层的交换机将不同的物理网络连系成为一体，并不具有网间寻 址功能。 2 1 1 第二层交换 第二层交换机是作为集线器的改进而提出的。其主要的功能是可以有效解决报文的广播干 扰问题。第二层交换以端口到端口的形式来传递报文，处理数据报文的m a c 头部，而路由器在 网络层进行处理i j j 。对于i p 网络协议来说，第二层交换机是透明的，即交换机在转发数据包时， 不知道也无须知道信源机和信宿机的i p 地址，只需知道m a c 地址。交换机在操作过程当中会不 断的收集资料去建立它本身的一个地址表。这个表相当简单，它说明了某个m a c 地址是在哪个 端口上被发现的所以当交换机收到一个数据封包时，它便会检查一下该数据包的标签部分的 目的m a c 地址，核对一下自己的地址表以确认该从哪个端口把数据包发出去，由于这个过程比 较简单，加上现在这个功能由专用集成电路似s i c ) 硬件进行。因此速度相当高，一般只需几十 微秒，交换机便可决定一个i p 封包的转发端i z l 。 第二层交换机的弱点是处理广播封包的手法不太有效。当交换机收到一个从工作站上发出 来的i p 广播封包时，它便会把该封包传到所有其它端口去，哪怕有些端口上连的是i p x 工作站。 这样一来，非t e p i p 节点的带宽便会受到负面的影响，就算同样的t c p i p 节点，除非其子网跟 发送那个广播封包的工作站的子网相同，否则他们也会无缘无故地收到一些与它们毫不相干的 网络广播，整个网络的效率因此会大打折扣。 2 1 2 第三层交换 第三层交换技术也称为i p 交换技术、高速路由技术等。它的本质是：二层交换加三层转发。 即：一次路由，多次交换9j 。 假设主机a 跟主机b 以前曾通过交换机通信，中间的交换机如果支持第三层交换的话，它 便会把a 和b 的i p 地址及它们的m a c 地址记录下来。当其它主机如c 要和a 或b 通信时， 针对c 所发出的寻址封包，第三层交换机会不假思索的送给c 一个回复封包告诉它a 或b 的 m a c 地址以后c 当然就会用a 或b 的m a c 地址“直接”和其通信。因为通信双方完全没有 通过路由器这样的第三者，所以哪怕a 、b 和c 属于不同的子网，它们之间均可直接知道对方 的m a c 地址通信。 更重要的是，第三层交换机并没有像二层交换机那样扩散广播封包，第三层交换机能看懂 东北大学硕士学位论丈第二章技术基础与设计原理 三层信息，如i p 地址、a l p 等吼因此，第三层交换机便能洞悉某广播封包目的何在，从而在 没有把它扩散出去的情形下，满足了该广播封包发送端的需要( 不管他们在哪个子网里) 。如果 认为第三层交换机就是路由器，那也应称作超高速反传统路由器，因为第三层交换机没做任何 “拆打”数据封包的工作，所有路过它的封包都不会被修改并以交换的速度传到目的地。 根据数据处理部分采用的不同实现方式，三层交换机可以分为纯硬件和纯软件两大类。下 面两个图显示了第三层交换的过程聊。 网络 固固田固 网络 节点节点 图2 1 被路由的报文在每一个节点的第三层接收处理 f i g 2 1 t h em u t e dp a c k e th a n d l e di ne a c hn o d eo f l a y c rt h r e e 网络 固田曰田 厂 节点节点 | 网络 图2 2 相i 司两主机间后续报文在第二层交换处理 f i g2 2t h e f o | 1 0 w i n g p a c k e t b e t w e e n t h es o l i i c h o s t s h m a d l c z l i n l a y e r t w o 与交换机相比，路由器显然能够提供构成网络安全控制策略的一系列存取控制机制。由于 路由器对任何数据包都要有一个”拆打”过程，即使是同一源地址向同一目的地址发出的所有数 据包，也要重复相同的过程。这导致路由器不可能具有很高的吞吐量，也是路由器成为网络瓶 颈的原因之一。而三层交换中，仅仅在路由过程中才需要三层处理，绝大部分数据都通过二层 交换转发，因此三层交换机的速度很快，接近二层交换机的速度。 2 2 四层交换机 2 2 1 第四层交换的概念 首先要说明的是，多层交换技术( 包括第四层交换) 和交换路由技术 o 7 8 1 在设计思想、完成功 能等各个方面都十分接近，很难严格界定某种技术是属于前者还是后者，也没有必耍。因此， 在讨论第四层交换机的交换式硬件体系结构时，我们主要依据目前交换式路由器的结构。 四层交换机采用软硬件结合的方式，即二层、三层数据交给a s i c 芯片处理，四层数据交 给c p u 处理。交换式路由器能在网络的第四层识别数据流，并能实施多种控制。 图2 3 为四层交换机分布式体系结构的逻辑示意图。一台设备内有一个c p u 卡和多个带有 本地处理单元的线路接口卡，各部件之间通过交换式结构相互连接，代替共享式总线。c p u 卡 负责管理和维护各个线路接口卡的正常工作，路由器上的c p u 还要运行路由选择协议，生成路 由转发表，并将完整的路由表下载到所有的线路接口卡上，而四层交换机上的c p u 完成各种控 制功能，产生包分类规则，产生数据包处理动作等。线路接口卡对收到的数据包选择发送端口， 东北大学硕士学位论文第二章技术基础与设计原理 然后送到目的输出端口。输出端口将数据包送到物理线路上。 图2 , 3四层交换机分布式体系结构的逻辑示意图 f i g 2 3 t h el o g i ci l l u s t r a t i o no f l 4s w i s hd i s t r i b u t i o ns t r u c t u r e 2 2 2 四层交换机的实现原理 四层交换机以二层的m a c 包交换和三层的简单路由查找为基础，在每次接受到来自客户端 的连接时( 主要指t c p 连接，也支持u d p 等，通常以s y n 字段来判定一个报文是不是连接请求报 文) ，使用某种负载均衡算法来查找一个可用的后台服务器。如果没有合适的服务器，则使用预 先指定的各用服务器。 端口b端口a 图2 4 四层交换的体系架构模型 f i g 2 4n e a r c h i t e c t u r e m o d e l o f l a y e r f o u rs w i t c h 在选择好后台服务器之后，将客户端和服务器的对应关系保存在映射表( n a t 地址转换表) 中，针对t c p 协议( u p d 也类似，在实现时常常另做处理) ，所需要的信息包括源i p 、源端口、目 的i p 、目的端口、占用的交换机的端口五个要素。在将所需信息加入映射表之后，交换机替换 东北大学硕士学位论文g _ v _ - 章技术基础与设计原理 客户的i p 地址和端口为交换机的i p 地址和端口，然后将报文发往后台服务器。这时的映射表 处于半悬置状态。当然，在替换地址和端口之后，必须进行相关的校验( 例如t c p 的伪头部的校 验和的检查) 。针对这种重新校验，可以使用效率较高的替换校验算法。服务器收到请求报文之 后，接受请求，并将反馈信息送往客户端。交换机在检查到反馈信息之后，将映射表中相应的 连接项置为完全连接，并设置连接定时器。执行n a t 地址转换和校验，然后交换机将来自服 务器的报文转发给客户端。至此，一个以交换机为中介的端到端的全连接已经建立，所有从属 这个连接的后继报文都能按照此项n a t 信息进行转发。 2 2 2 1 四层交换中的效率 和二、三层交换不同，四层交换中因为必须执行地址的转换( n a t ) 和校验和的重新计算， 这就造成对每个报文的处理时间的增长。针对此种问题，我们使用一些优化方案来解决。对n a t 映射表，使用h a s h 表的结构存储，以期望获得尽可能小的查询时间开销，在此可以使用的是源 地址散列查找算法。当一个连接中的报文到达的时候，我们使用其源地址和端口来计算其散列 键值，使用此键值来得到n a t 地址项。因为在个全连接中使用的交换机的中介端口是唯一 的( 交换机的服务接口也是唯一的) 。当一个报文从服务器发往客户端时，使用基于中介端口来 生成h a s h 键值。当然，这种实现方案需要建立两个h a s h 表，而且两个表的表项之问必须建立 对应的连接关系。我们以p a i r 对来描述这种关系。这种模型被用在d e l a y b i n d i n g 的规则表的实 现中。 s r c 。l p d e s t - i p s r c p o r t 义 d e s t - p o r t 其它连接信息 其它连接信息 p a i r 指针p a i r 指针 图2 5 客户到服务器映射方式 f i g 2 。5 t h em a p p i n gm e l h o df r o mc l i e n tt os e l v c r 2 2 2 2 四层交换机的并发处理能力 因为每一个经过交换机的端到端的连接都要占用交换机的一个端口，此外交换机还需要保 留特殊服务接口以做它用，故从理论上说，可用的端口数目大约为6 0 0 0 0 左右f 略小于2 + + 1 6 ) 。 采用上述的h a s h 查找机制后，虽然冲突的几率随连接的数目增长，但其增长的速率为连接增长 速度的n 分之一( n 为h a s h 基数) 。例如对使用简单位异或的源地址散列调度，如果采用八位的 键值( 基数为2 * * 8 = 2 5 6 ) ，每增加一个连接项，则对每个键值，其增加1 2 5 6 的冲突可能性。 后台服务器的容量并没有硬式约束，但是因为随着服务器数目的增加，对服务器健康检测 的扫描周期将显著增长，这势必造成对服务器负载敏感度的降低。从而使基于反馈的调度算法 的有效性在一定程度上有所下降。此外，对每台服务器，在交换机端必须保留其实时状态信息， 过多的服务器也会造成火量的缓存被占用，而在通常情况下，这些缓存是和蚓对性的数据共用 的。当然，服务器数目的增长会使后台处理能力同比例增加。考虑以上因素，一般认为2 0 - - 2 0 0 台的规模比较适合。 如果将查表和处理报文头部的操作交给硬件完成处理机只是参与必须的操作，则四层交 东北大学硕士学位论文第二章技术基础与设计原理 换机的处理能力可以接近于线速。 2 2 2 3 资源的回收 在高流量的网络环境中，缓存等资源的重要性不言而喻。当一部分连接过时后，必须能够 及时的将其所占用的资源释放掉。在正常情况下，对t c p 连接，依据报文首部的丘n 字段来辨别 一个连接的结束。在网络中存在大量的不可预测的通信模式的时候，有可能连接被单方强行终 止，对此，对每个连接都有专用的定时器，如果在设定的范围内，连接没有被激活过，则交换 机会认为这个连接出现异常，就自动丢弃这个连接的相关数据，并回收相关的资源。 2 2 2 。4 四层交换的优点和不足 四层交换在速度上基本可以达到线速标准，而且提供了二、三层交换机所不具备的健康检 测、负载均衡、n a t 转换等功能。下面，对四层交换提供的优点和些不足略做介绍。 可用性方面 优点：第四层交换机实时监测所有应用服务器的状态。当发现某台应用服务器或某个应用 不能提供服务时，第四层交换机自动把服务请求分配到正常的服务器，保证服务的连续性。而 且系统无需额外软件加载到内部服务器。通过减少交换机与服务器的依赖性进步提高可用性。 其n a t 机制对外隐藏了内部的细节，即使内部的部分服务器崩溃，客户端在使用服务时也不 会感觉任何的不同。而且，四层交换机提供的管理接口能及时通知管理者服务器组的运行情况， 可以在一定程度减少管理人员的工作量( 不再需要手工验证服务器是否可用) 。 不足：对四层以上的错误检测无能为力。例如对h t t p 服务器，有可能出现主页面缺失、容 器崩溃( 对一些应用服务器，如t o m c a t 、s t r u t s ) 等错误。在类似情况f ，到服务器的研) 连接是 有效的，但是其服务却不可用。另外，对u n i x 下的一些服务器( 如t e l n e t 、w u 邱) 使用托管方式 由d e a m o n 进程代为建立连接，其服务器的可用性和四层的连接几乎不相关。 伸缩性方面 优点：处于在前端四层交换机使管理者能够随意增减后台的服务器而不影响客户的操作。 这种良好的伸缩性使管理者在应付访问量突发性膨胀时能挂载更多的服务器而不影响网络的拓 扑结构。其低耦台性使服务器硬件的升级、扩展更容易。 不足：因为四层交换机制的操作粒度相对较高，它要求后台的提供同一种服务的服务器必 须是同构的。换而言之，对后台服务集群来说，无法进行同种服务的内部划分。例如，如果后 台服务器群希望把s o f t w a r e 和m e d i a 放在不同的服务器上供客户下载，或者希望将w w w 服务 中使用到的图片放置在专门的图形服务器上，这些要求通过四层交换机很难实现。 2 3 高层交换 高层交换是指在四层交换的基础之上，构建高层交换引擎，使之能充分利用高层协议( s s l ， h a p ，邱，s n m p 等) 的特有信息来实现优化的数据流管理和提供更高的服务质量。在四层交换机 制中，我们可以利用t c p 、u d p 报文头部信息对数据报文进行转发从而实现负载均衡、弹性控制 ”u j 等功能。但是，仍然存在很多情况仅仅使用四层信患无法充分处理( 例如h t t o4 0 4 错误) 。高 层交换机制能够深入到封装的数据包的内部