（计算机系统结构专业论文）基于负载均衡机制的网络入侵检测系统的设计和实现.pdf

摘要 摘要 随着黑客入侵事件的h 益猖獗，人们发现只从防御的角度构造安全系统是不够 安伞的。入役榆测技术是绨“防火墙”、“数据加密”等传统安全保护措施后新 代的动态安个技术，它能够划计算机和网络资源卜的恶意实用行为进行以别和响 应，并h 小仪能检测束自外部的入侵行为， 司时也能监督内部用户的未授权活动。 但是随荷高速局域网和光纤通信等新技术的应用对网络性能和流量带宽提u 了越来越岛的要求。从最初的以k 为单位的网络速度到1 0 m 1 0 0 m 网络，刽现在 千兆网络已经成为大势所驱，这些变革对网络入侵检测系统的处理性能提出厂更 高的要求。 结合实际课题，本文介绍了入侵检测的基本理论和技术方法，并对负载均衡技 术进行了讨论。针对当前网络入侵检测系统普遍面临的由于网络负载过重而带来 的不足，本文紧密围绕基于负载均衡的网络入侵检测系统的实现关键技术，在以 下几个方面开展了研究和实现工作： 1 ) 提出了基于负载均衡的网络入侵检测系统模型。 2 )针对网络带宽的增加对网络入侵检测系统提出的性能要求，提出了相 应的负载均衡策略，使用负载均衡器进行n i d s 负载均衡，并采用双 机热备技术提高负载均衡器的可靠性。 3 )对一些关键技术设计和实现进行了介绍，如碎片重组技术、通信模块 的设计等。 4 ) 分析了网络入侵检测技术的局限性，在此基础上提出了将入侵检测技 术与其他网络安全技术相结合的方案，并提出了动态网络安全防护体 系。 关键词：网络安全网络入侵检测负载均衡双机热备份 a b s t r a c l a b s t r a c t w i t hm o r ea n dm o r es i t e si n t r u d e db yh a c k e r s ，s e c u r i t ye x p e r t sh a v ef o u n dt h a ti ti s n o te n o u g ht ob u i l dac o m p r e h e n s i v es e c u r i t ys y s t e mo n l yu s i n gd e f e n s i v et e c h n i q u e s t h ei n t r u s i o nd e t e c t i o ni san e wd y n a m i cs e e m i t yt e c h n i q u ei na d d i t i o nt ot r a d i t i o n a l s e c u r i t yp r o t e c tt e c h n i q u e s ，s u c h a sf i r e w a l la n dd a t ae n c r y p t i o n i d sw a t c h e st h e c o m p u t e ra n dn e t w o r kt r a f f i c f o ri n t r u s i v ea n ds u s p i c i o u sa c t i v i t i e s ，i td e t e c t sn o to n l y t h ei n t r u s i o nf r o mt h ei n t e m e th a c k e r s ，b u ta l s of r o mt h ei n t r a n e tu s e r s b u tt h eg r o w t ho fn e t w o r kb a n d w i d t hr e q u i r e st h a ti n t r u s i o nd e t e c t i o ns y s t e m s h a v e h i g h e rp e r f o r m a n c e st h a n e v e r i nt h i s p a p e r ，t h ep r i n c i p l e s a n dt e c h n o l o g i e so fi n t r u s i o nd e t e c t i o ns y s t e ma r e i n t r o d u c e dl o a d b a l a n c i n gt e c h n o l o g i e s a r ea l s od i s c u s s e d ，a f t e r a n a l y z i n g t h e d i s a d v a n t a g e so ft h et r a d i t i o n a ln i d s ，o u rw o r ka n dr e s e a r c h e s f o c u so nt h ek e y i m p l e m e n t a t i o nt e c h n i q u e s o fn e t w o r ki n t r u s i o nd e t e c t i o n s y s t e m b a s e do nl o a d b a l a n c i n gt e c h n o l o g y t h ef o l l o w i n g c o n t e n t sa r ed i s c u s s e di nt h et h e s i s 1 1an e t w o r ki n t r u s i o nd e t e c t i o nf r a m e w o r kb a s e do nl o a db a l a n c i n gt e c h n o l o g yi s p r o p o s e d 2 1t h e g r o w t h o fn e t w o r kb a n d w i d t h r e q u i r e s t h a ti n t r u s i o nd e t e c t i o ns y s t e m sh a v e h i g hp e r f o r m a n c et h a ne v e r i nt h i sp a p e r ，s o m e e f f e c t i v el o a db a l a n c i n g p o l i c i e sa r e p r e s e n t e d b yu s i n g l o a db a l a n c e r t h eo v e r a l ld e t e c t i o ne f f i c i e n c yo f n i d sc a l lb e i n c r e a s e d ， 3 ) s o m ek e yt e c h n o l o g i e sa r ei n t r o d u c e d i nd e t a i l 4 ) a f t e ra n a l y z i n gt h el i m i t a t i o n so f t h en e t w o r k i n t r u s i o nd e t e c t i o ns y s t e m ，t h i s p a p e rp r o p o s e s a d y n a m i c n e t w o r ks e c u r i t ym o d e l ，w h i c ha d o p tt e c h n o l o g yo f f i r e w a l i h o n e y p o ta n d e t c ， k e y w o r d ：n e t w o r ks e c u r i t y n e t w o r ki n t r u s i o nd e t e c t i o nl o a db a l a n c e h o ts t a n d b y 声明 创新性声明 本人声明所旱交的沧文是我个人在导师指导下进行的研究工作及取得的 研究成粜。尽我所知，除了文中特别加以扔；注和致谢中所罗列的内容以外。 论文中不包含其他人已经发表或撰写过的研究成果：也不包含为获得西安电 予科技大学或其它教育机构的学位或证书而使用过的材料。与我一同j 作的 同志对夺研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切楣关责任。 本人签名 3 建：珏 同期：呈! ! 生：! ：兰 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学a 本 人保证毕业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电 子科技大学。学校有权保留送交论文的复印件，允许查阅和借阅论文：j - 学校 可以公布论文的全部或部分内容，可以允许采用影印、缩印、或其它复印手 段保存论文。( 保密的论文在解密后遵守此规定) 本人签名：王量：垫 导师签名：要至銎 f 譬 j 譬鬻 日期：塑些：至 日期：一一，留z 多 第一章绪硷 第一章绪论 本章主要内容： 研究背景 网络安全概述 论文研究内容和章节安排 本章是整篇论丈的一个绪。首先阐述了论丈的研究背景，然后介绍了网络安 全的基本概念，最后对论文所研究的一些问题和论文的章节安排作了一个大概的 介绍。 1 1 研究背景 随着计算机技术的发展，在计算机上处理业务已由基于单机的数学运算、文 件处理，基于简单连结的内部网络的内部业务处理、办公自动化等发展到基于企 业复杂的内部网、企业外部网、全球互联网的企业级计算机处理系统和世界范围 内的信息共享和业务处理。在信息处理能力提高的同时，系统的连结能力也在不 断的提高。但在连结信息能力、流通能力提高的同时，基于网络连接的安全问题 也日益突出。根据2 0 0 3 年计算机安全机构( c s i ) 和美国安全局( f b i ) 的报告显 示，7 0 的受调查网络承认和意识到在过去的1 2 个月里遭到不同程度的攻击，3 0 的还不知道是否遭到过攻击，另外与去年同期相比拒绝服务攻击d o s 增加超过 3 3 ，所有这些都是发生在我们现实网络中。 入侵检测系统是近些年兴起的一种安全技术，它作为一种积极主动地安全防 护技术，提供了对内部攻击、外部攻击和误操作的实时保护，在网络系统受到危 害之前拦截和响应入侵。入侵检测系统通常采用并连形式联在网络之中，这种系 统与被保护系统处于同一个网段中，因此它不会因为单点故障而造成系统的中断， 但是其性能也直接影响着整个网络的安全性。实验表明，在高速的网络环境卜， 入侵检测系统可能因为负载太高而无法正常工作，不仅造成网速极大的降低，丢 失数据包的现象也很严重。使得探测器无法对某些蓄意的入侵进行检测。如何能 实时地获取和分析高速网络信息流，使网络入侵检测系统能适应高带宽和高负荷 的网络环境，成为当今网络安全领域急需解决的技术难题。 f 是基于这种情况，本论文提出了一种基于负载均衡机制的网络入侵检测系 统。该系统町实时完整地获取高速网络数据流，并将网络数据流及时地分发到后 续的处理机，山处理机对宽带网络数据流进行实时全而的检测和分析，并将检测 分析结果及时的发送到控制中心。 苯 二负找均衡机制的网络入侵检测系统的设计j 实现 1 2 网络安全概述 以i n t e r n e t 为代表的全球性信息化浪潮同益深刻，而i n t e r n e t 所具有的开放性、 国际性和自由性在增加应用自由度的同时，对安全提出了更高的要求，这主要表现 在：开放性的网络，导致网络的技术是全开放的，任何一个人、团体都可能获得， 因而网络所面i 瞄的破坏和攻击可能是多方面的例如：可能来自物理传输线路的攻 击，也可以对f 5 0 络通信协议和实现实施攻击：可以是对软件实施攻击，也可以对 硬件实施攻击。 国际性的一个网络还意味着网络的攻击不仅仅来自本地网络的用户，它可以 来自i n t e m e t 上的任何一个机器，也就是说，网络安全所面临的是一个国际化的挑 战。 自由意味着网络最初对用户的使用并没有提供任何的技术约束，用户可以自 由地访问网络，自由地使用和发布各种类型的信息。用户只对自己的行为负责， 而没有任何的法律限制。 尽管开放的、自由的、国际化的i n t e m e t 的发展给政府机构、企事业单位带来 了革命性的改革和开放，使得他们能够利用i n t e r n e t 提高办事效率和市场反应能力， 以便更具竞争力。通过i n t e m e t ，他们可以从异地取回重要数据，同时又要面对网 络开放带来的数据安全的新挑战和新危险。如何保护企业的机密信息不受黑客和 工业间谍的入侵，己成为政府机构、企事业单位信息化健康发展所要考虑的重要事 情之一。 一般认为，目前网络存在的威胁主要表现在1 1 1 ： 非授权访问：没有预先经过同意，就使用网络或计算机资源被看作非授权 访问，如有意避开系统访问控制机制，对网络设备及资源进行非_ 【f 常使用， 或擅自扩大权限越权访问信息。它主要有以下儿种形式：假冒、身份攻 击、非法用j o 进入网络系统进行违法操作、合法用户以未授权方式进行操 作等。 信息泄漏或丢失：指敏感数据在有意或无意中被泄漏出去或丢失，它通常 包括，信息在传输中丢失或泄漏( 如”黑客1 门利用电磁泄漏或搭线窃听等 方式可截获机密信息，或通过对信息流向、流量、通信频度和长度等参数 的分析，推出有用信息，如用户口令、帐号等重要信息。) ，信息在存储介 质中丢失或泄漏，通过建立隐版隧道等窃取敏感信息等。 破坏数据完整性：以非法手段窃得对数据的使用权，删除、修改、插入或 甄发某衅重要信息，以取得有益于攻击者的响应：恶意添加，修改数据， 以t 扰用户的l i ：常使用。 拒绝服务攻击：它不断对网络服务系统进行干扰，改变其f 常的作、k 流程， 第一章绪论 执仃无关程序使系统响应减慢甚至瘫痪，影响正常用户的使用，毖盒使合 法用，。被排斥而1 i 能进入计算机网络系统或不能得到相应的服务。 网络安全是个系统的概念，有效的安全策略或方案的制定，是网络信息安 全的苗要目标。网络安伞技术j 三要有，认证授权、数掘加密、访问控制、安仝1 r 汁等。网络安伞近几年的热点发展过程基本上按照以下顺序进行： 防火端技术的研究：在网络边界上保卫内部网。 v p n 技术的研究：连接分散的内部网，完成内部网外延的扩人，与防火 墙技术结合紧密。 p k i 技术的研究：进一步扩大内部网的外延，同时建立广义的信任关系。 入侵检测技术的研究：阻止各种攻击事件的发生。 lt 3 论文研究的问题及章节安排 1 _ 3 1 论文研究的问题 本论文的主要研究问题包括： 高速网络问题 随着网络技术的快速发展，网络带宽和网络流量不断增大，出现了百兆甚至 是千兆的网络，另一方面，随着网络用户的增多，网络规模不断增大，从而使得 在某个点上收集整个网段内的网络数据并进行分析是不可行的，必然会出现丢包 问题，使某些数据包漏掉检测模块的分析，导致漏报或误报。 数据包的重新装配( r e a s s e m b l y ) 问题 不同的网络的最大传输单元( m t u ) 不同，一些大的网络包常常被分成小的 网络包来传递。当大的网络包被拆分时，其中的攻击特征有可能被分拆，n i d s 在 网络层无法检测到这些特征，而在上层这些拆分的包又会重新装配起来，造成破 坏。碎片攻击【2 】就是攻击者利用现在很多入侵检测系统在进行字符串匹配之前不能 准确地重组碎片而进行的一种攻击。碎片重组的问题是在进行字符串匹配以前， 入侵检测系统必须在内存中缓存所有的碎片，然后进行重组。碎片攻击包括：碎 片覆盖、碎片重写、碎片超时等。要分析这些数据发现攻击，只有对这些数据包 进行重组，这非常消耗系统资源。 单点失效问题 负载均衡器单点接入，可能由于本身的故障或其他方面的原因，成为整个系 统的瓶颈，失去了作用，那么整个网段就失去了保护，从而给攻击者提供了深入 攻击的机会。 摹丁负载均衡机制的网络入仪检测系统的设计与实现 1 3 2 论文章节安排 第章为绪论，给出了论文的研究背景以及沦文所研究的相关问题。第二章 为入侵检测系统的基础知识，主要介绍入侵检测的基本概念、体系结构、分类、 方法和入侵检测系统的发展趋势。第三章介绍了负载均衡的基础知识，包括负载 均衡的概念、系统模型、层次结构、以及负载均衡调度算法和负载均衡技术。第 四章为基于负载均衡的n i d s 的设计和实现，给出了系统的整体设计及其关键技术 的设计和实现。第五章为入侵检测技术与其他技术的交互，并提出了动态网络安 会防护体系。 第二章入侵检测系统相大概念 第二章入侵检测系统相关概念 本章主要内容： 入侵检测概述 入侵检测标准研究状况 入侵检测系统的体系结构 入侵检测系统的分类 入侵检测方法 入侵检测系统的发展趋势 本章主要目的是对入侵检测技术进行系统的阐述，介绍了入侵检测的基本理 论和技术方法，并对入侵检测系统的发展趋势进行了讨论。 2 1 入侵检测概述 入侵检测技术i d s 是一种主动发现网络隐患的安全技术。作为防火墙的合理 补充，入侵检测技术能够帮助系统对付网络攻击，扩展了系统管理员的安全管理 能力( 包括安全审计、监视、攻击识别和响应) ，提高了信息安全基础结构的完整 性。它从计算机网络系统中的若干关键点收集信息，并分析这些信息。入侵检测 被认为是防火墙之后的第二道安全闸门，在不影响网络性能的情况下能对网络进 行监测。入侵检测系统可以防止或减轻网络威胁，我们通常认为其具有以下功能【3 】： 识别黑客常用入侵与攻击手段 入侵检测技术通过分析各种攻击的特征，可以全面快速地识别探测攻击、拒 绝服务攻击、缓冲区溢出攻击、电子邮件攻击、浏览器攻击等各种常用攻击手段， 并做相应的防范。一般来说，黑客在进行入侵的第一步探测、收集网络及系统信 息时，就会被入侵检测系统捕获。 监控网络异常通信 入侵检测系统会对网络中不正常的通信连接做出反应，保证网络通信的合法 性；任何不符合网络安全策略的网络数据都会被入侵检测系统侦测到并警告。 鉴别对系统漏洞及后门的利用 入侵检测系统股带有系统漏洞及后门的详细信息，通过对网络数据包连接 的方式，对连接端口以及连接中特定的内容等特征进行分析，有效地发现网络通 信中钊对系统漏洞进行的非法行为。 完善网络安全管理 入侵榆测系统通过对攻击或入侵的检测及反应，可以有效地发现和防止大部 分的网络犯罪行为，给网络安全管理提供了一个集中、方便、有效的工具。使用 入侵检测系统的数据监测、主动扫描、网络审计、统计分析功能，可以进步船 楚r 负载均衡机制的网络入侵检测系统的设计与实现 控网络故障，完善网络管理， 2 2 入侵检测标准研究状况 为了提高i d s 产品、组件及与其他安全产品之削的互操作性，当前有两个国 际一降组织在i 址行蓿入侵检测标准化工作，他们是互联网： 程任务组( i e t f ) f 属 的入侵检测工作组( i d w g ) 和美国国防部高级研究计划署( d a r p a ) 提出的通 用入侵检测框架( c i d f ) 。 2 ，2 1i d w g 标准化工作 i d w g 主要负责制定入侵检测响应系统之间共享信息的数据格式和交换信息 的方式，以及满足系统管理的需要。i d w g 的任务是为入侵检测系统、响应系统 和它们需要交互的管理系统之间的若享信息定义数据格式和交换程序。i d w g 提 出的建议草案包括三部分内容：入侵检测消息交换格式( i d m e f ) 、入侵检测交换 协议( i d x p ) 以及隧道模型( t u n n e lp r o f i l e ) 4 1 。 i d m e f 描述了一种表示入侵检测系统输出消息的数据模型，并且解释了使用 这个模型的基本原理。i d m e f 数据模型以面向对象的形式表示分析器发送给管理 器的警报数据。数据模型的设计目标是用一种明确的方式提供了对警报的标准表 示法，并描述简单警报和复杂警报之间的关系。实现i d m e f 最适合的地方是入侵 检测分析器( 或称为“探测器”) 和接收警报的管理器( 或称为“控制台”) 之间的数 据信道。 i d x p 是一个用于入侵检测实体之间交换数据的应用层协议，能够实现i d m e f 消息、非结构文本和二进制数据之间的交换，并提供面向连接协议之上的双方认 n 完整性和保密性等安全特征。i d x p 模型为建立连接、传输数据和断开连接。 2 , 2 2c i d f 标准化工作 c i d f 提 _ _ 5 了。个通用的入侵检测框架，然后进行这个框架中各个部件之州的 通信小议和a p l 的标准化，以达到不同i d s 组件的通信和管理吼 c i d f 所做的t 作主要包括四部分：i d s 的体系结构、通信体制、描述语高和 应_ i = i 编程接r ( a p i ) 。 c i d f 根捌i d s 系统通用的需求以及现有的i d s 系统的结构，将i d s 系统划分 为u u 个棚埘独奇：的功能模块：事件产生器、事件分析器、响应单元、事件数掘库。 班件产牛器从环境中抽取感兴趣的信息，并把信息转化为标准的格式以便系 统其它部什使， f ：j ；事件分析器分析输入的格式化后的事件，进行真l f 意义上的入 侵检测，井产生新的通用入侵检测对象，这些新的通用入侵检测对象可以被看作 第一章入侵检测系统相犬概念 是输入督件的总结或综合，或被看作是一个警告：事件数据库不仅被用来保 仔事件，还被用束持久的保存所有需要保存的通用入侵检测刘象。响应单元功能 要简单些，它只包括按照输入的通用入侵检测对象进 i l j j 应的反击行为。 c i d f 架构图如图2 1 所示： 幽2 1c i d f 架构图 c i d f 和1 d w g 都还不成熟，目前仍在不断地改进和完善中，但可以预见，标 准化是未来的入侵检测系统必然方向，而c i d f 或i d w g 很可能会代表将来的i d s 国际通用标准。 2 3 入侵检测系统的体系结构 入侵检测系统一般由以下几部分组成1 6 j ： 数据收集器：收集反映状态信息的审计数据，输入给检测器 检测器：负责分析和检测入侵行为，并发出报警信息； 知识库：提供必要的数据信息支持； 控制器：根据报警信息，采取相应动作。 入侵检测系统通用模型如图2 2 所示： 图2 2 入侵检测系统的通用模型 2 4 入侵检测系统的分类 根据着眼点的不同，对入侵检测技术的分类方法很多，我们将逐一介宝； 引。 数据来源 基丁负载均衡机制的网络入侵检测系统的设计! 实现 根掘数据来源的不同，可将入侵检测系统分为3 类： 基于主机：系统获取数据来源是系统运行所在的主机 是系统运行所在的主机。 基于网络：系统获取数据的来源是网络传输的数据包 网络的运行。 混合型：混合型是既基于主机又基于网络。 保护的目标也 保护的目标是 分”力法 根据分析方法的不同，可将入侵检测系统分为2 类： 误用检测模型( m i s u s ed e t e c t i o nm o d e l ) ：这一模型假设入侵者活动可 以用一种模式来表示，系统的目标是检测主体活动是否符合这些模 式。它可以将已有的入侵方法检查出来，但对新的入侵方法无能为力。 其难点在于如何设计模式既能够表达“入侵”现象又不会将正常的活 动包含进来。 异常检测模型( a n o m a l y d e t e c t i o nm o d e l ) ：这种模型假设入侵者活动 异常于正常主体的活动。根据这一理念建立主体正常活动的“活动简 档”，将当前主体的活动状况与“活动简档”相比较，当违反其统计 规律时，认为该活动可能是“入侵”行为。异常检测的难题在于如何 建立“活动简档”以及如何设计统计算法，从而不把正常的操作作为 “入侵”或忽略真正的“入侵”行为。 分布性 根据系统各个模块运行的分布方式不同，可将入侵检测系统分为2 类： 集中式：系统的备个模块包括数据的收集与分析以及响应模块都集中 在一台丰机e 运行，这种方式适应于网络环境较简单的情况。 分布式：系统的各个模块分布在网络中不同的计算机。 2 5 入侵检测方法 入侵检测系统常崩的检测方法有特征检测、统计榆测与专家系统。 特征检测：特钮枪删对已知的攻击或入侵的方式作山确定性的描述，形成 相应的事件模式。! 与被审计的事件与已知的入侵事件模式相匹配时，即报 警。原理上与专家系统榻仿。其检测方法上与计算机病毒的检测方式类似。 目前基丁对包特征描述的模式匹配应用较为广泛。该方法预报检测的准 确率较高，但对于死经验知u 的入侵与攻击行为无能为力。 统检测：统计横掣常丌1r 异常检测，在统讨模，眇扣常用的测量参数包 括：审计i l 邵 二的数嘬、f t q j 隔州桕j 、资源消耗情况等。常用的入侵检测5 种 第一章入侵检测系统相关概念 统模型为： 操作模型，该模型假设异常可通过测量结果与一些固定指标相比较得 到，固定指标可以根据经验值或一段时间内的统计平均得到，举例来 醴，在短时削内的多次失败的登录很有可能是口令尝试攻击； 方差，计算参数的方差，设定其置信区问，当测量值超过置信区州的 范围目寸表叫订可能是异常； 多元模型，操作模型的扩展，通过同时分析多个参数实现检测： 马尔柯夫过程模型，将每种类型的事件定义为系统状念，用状态转移 矩阵米表示状态的变化，当个事件发生时，如果状态矩阵进行该转 移的概率较小则可能是异常事件： 刚阳j 序列分析，将事件计数与资源耗用根据叫问排成序列，如果一个 新事件在该日寸间发生的概率较低，则该事件可能是入侵。 统计方法的最大优点是它可以“学习”用户的使用习惯，从而具有较高检出率与 可用性。但是它的“学习”能力也给入侵者以机会通过逐步“训练”使入侵事件符合正 常操作的统计规律，从而透过入侵检测系统。 专家系统：用专家系统对入侵进行检测，经常是针对有特征入侵行为。所 谓的规则，即是知识，不同的系统与设置具有不同的规则，且规则之间往 往无通用性。专家系统的建立依赖于知识库的完备性，知识库的完备性又 取决于审计记录的完备性与实时性。入侵的特征抽取与表达，是入侵检测 专家系统的关键。在系统实现中，将有关入侵的知识转化为i f - t h e n 结构( 也 可以是复合结构) ，条件部分为入侵特征，t h e n 部分是系统防范措施。运 用专家系统防范有特征入侵行为的有效性完全取决于专家系统知识库的 完备性。 2 6 入侵检测系统的发展趋势 随着网络技术和网络规模的不断发展，人们对于计算机网络的依赖也不断增 强。与此同时，针对网络系统的攻击越来越普遍，攻击手法日趋复杂。入侵检测 系统也随着网络技术和相关学科的发展而日趋成熟，其未来发展的趋势主要表现 在以下方面瞄j ： 宽带高速实时的检测技术 大量高速网络技术如a t m 、千兆以太网等近年里相继出现，在此背景下的各 种宽带接入手段层出不穷。如何实现高速网络下的实时入侵检测已经成为现实面 临的问题。日前的入侵检测系统在其性能指标与实际要求相差很远。要提高其性 能主要需考虑以下两个方面：首先，入侵检测系统的软件结构和算法需要重新设 基j 负载均衡机制的网络入侵检测系统的设训4j 实现 计，以期适应高速网的环境，提高运行速度和效率；其次，随着高速网络技术的 不断发展与成熟，新的高速网络协议的设计也必将成为末来发展的趋势，那么， 现有i d s 如何适应和利用未来的新网络协议将是一个全新的问题。 大规模分布式的检测技术 传统的集中式i d s 的基本模型是在网络的不同网段放置多个探测器收集当前 网络状态的信息，然后将这些信息传送到中央控制台进行处理分析。这种方式存 在明显的缺陷。首先，对_ j i 大规模的分布式攻击，中央控制台的负荷将会超过其 处理极限，这种情况会造成大量信息处理的遗漏，导致漏警率的增高。其次，多 个探测器收集到的数据在网络上的传输会在一定程度上增加网络负担，导致网络 系统性能的降低。再者，由于网络传输的时延问题，中央控制台处理的网络数据 包中所包含的信息只反映了探测器接收到它时网络的状态，不能实时反映当前网 络状态。 面对以上问题，新的解决方法也随之产生，例如普渡大学开发的a a f i d 系统， 该系统是p u r d u e 大学设计的一种采用树形分层构造的代理群体，最根部的是监视 器代理，提供全局的控制、管理以及分析由上一层节点提供的信息，在树叶部分 的代理专门用来收集信息。处在中间层的代理被称为收发器，这些收发器一方面 实现对底层代理的控制，一方面可以起到信息的预处理过程，把精练的信息反馈 给上层的监视器。这种结构采用了本地代理处理本地事件，中央代理负责整体分 析的模式。与集中式不同，它强调通过全体智能代理的协同工作来分析入侵策略。 这种方法明显优于前者，但同时带来一些新的问题，如代理间的协作、代理间的 通信等。这些问题仍在进一步研究之中。 数据挖掘技术 操作系统的门益复杂和网络数据流量的急剧增加，导致了审计数据以惊人速 度剧增，如何在海量的审计数据中提取出具有代表性的系统特征模式，以对程序 和用户行为作出更精确的描述，是实现入侵检测的哭键。 数掘挖掘技术是项通用的知识发现技术，其目的是要从海量数据中提取对 用户有用的数据。将该技术用于入侵检测领域，利用数据挖掘中的关联分析、序 列模式分析等算法提取相关的用户行为特征，并根掘这些特征生成安全事件的分 类模型，应用于安全事件的自动鉴别。一个完整的基于数据挖掘的入侵检测模型 要包括对审计数据的采集，数据预处理、特征变量选取、算法比较、挖掘结果处 理等系列过程。这项技术难点在于如何根据具体应用的要求，从用于安全的先 验知以出发，提取出叫以有效反映系统特性的特征属性，应用适合的算法进行数 1 l ( ：挖掘。另技术难点在于如何将挖掘结果自动地应用到实际的i d s 中。 更先进的检测算法 在入侵检测技术的发展过程中，新算法的m 王见可以有效提高检测的效率。以 第章入侵检测系统相关概念 卜刑，机器学习算法为当前检测算法的改进注入新的活力。它们分别是汁算机免 疫投术、神经网络技术和遗传算法。 h 算机免疫技术是直接受到生物免疫机制的肩发而提出的。生物系统 中的脆弱性因素都是由免疫系统来妥善处理的，而这种免疫机制在处 理外来异体时呈现了分如的、多样性的、自治的以及自修复的特征， 免疫系统通过识别异常或以自口末出现的特征来确定入侵。计算机免疫 技术为入侵检测提供了一f 思路，即通过正常行为的学习来哄别不符 合常态的行为序列。在这方面已经作了若干研究：i ：作，仍有待f 进。 步深入。 神经网络技术在入侵检测中研究的时间较长，并在不断发展。早期的 研究通过训练向后传播神经网络来识别已知的网络入侵，进一步研究 识别未知的网络入侵行为。今天的神经网络技术已经具备相当强的攻 击模式分析能力，它能够较好地处理带嗓声的数据，而且分析速度很 快，可以用于实时分析。现在提出了各种其他的神经网络架构诸如自 组织特征映射网络等，以期克服后向传播网络的若干限制性缺陷。 遗传算法在入侵内检测中的应用时间不长，在一些研究试验中，利用 若干字符串序列来定义用于分析检测的指令组，用以识别j 下常或者异 常行为的这些指令在初始训练阶段中不断进化，提高分析能力。该算 法的应用还有待于进一步的研究。 入侵响应技术 当i d s 分析出入侵行为或可疑现象后，系统需要采取相应手段，将入侵造成 的损失降到最小程度。一般可以通过生成事件告警、e m a i l 或短信息来通知管理 员。随着网络的同益复杂和安全要求的提高，更加实时的和系统自动入侵响应方 法正逐渐被研究和应用。这类入侵响应大致分为三类：系统保护、动态策略和攻 击对抗。这三方面都属于网络对抗的范畴，系统保护以减少入侵损失为目的，动 念策略以提高系统安全性为职责，而入侵对抗则不仅可以实时保护系统，还可实 现入侵跟踪和反入侵的主动防御策略。 基r 负载均衡机制的入侵检测系统的设计0 实现 第三章负载均衡模型和相关技术介绍 本章主要内容： 负载和负载均衡的定义 负载均衡的系统模型 负载均衡的层次结构 负载均衡算法的分类 负载均衡调度算法 负载均衡技术 本章主要目的是对负载均衡技术进行系统的阐述，介绍了负载均衡的基本理 论，给出了负载均衡的系统模型，并对负载均衡的调度算法和负载均衡技术进行 了讨论。 3 1负载和负载均衡的定义 负载均衡是分布式计算中的一个重要内容，它的主要目标在于均衡所有节点 上的负载，以使得所有节点上的负载基本相等。因此，负载均衡也称负载共享。 但这种相等并非简单的任务数目相等，而是依据这些异构结点的性能分派的加权 相等。通常负载均衡包含三层含义 9 】： 表示系统运行所处的一种稳定状态； 实现负载均衡的软件或系统； 通过上述软件或系统的运行过程，使系统达到一种负载均衡状态。 一个理想的体现系统负载情况的负载指标应满足： 采集丌销低，这样可以频繁采集以确保信息更新； 能体现所有竞争资源i 二的负载； 各个负载指标在采集和控制上彼此独立。 目前广泛采用的负载指标有：节点等待任务队列的长度；节点的利用率：处 理单元的响应时问等0j 。 3 2 负载均衡的系统模型 4 个负载均衡系统可以抽象为一个动态控制系统。系统的当前状念( 各节点 ：的负载情况) 通过一个负载汜录部件记录下来。所收集的负载信息通过一个负 载r m ，邮件束判定系统是处于负载失衡：i 犬态。若是，则由一个负载均衡( 再分 眦) 部什州系统器节点的负载分配状况进行调整，以达到均衡。模型血图3 1 所可；： 第二三章负载均衡模型平相关技术介纠 图3 1 负载均衡系统模7 性 3 3 负载均衡的层次结构 在现有网络结构之上，负载均衡提供了一种廉价有效的方法扩展服务器带宽 和增加吞吐量，加强网络数据处理能力，提高网络的灵活性和可用性。它主要完 成以下任务： 解决网络拥塞问题，服务就近提供，实现地理位置无关性 为用户提供更好的访问质量 提高服务器响应速度 提高服务器及其他资源的利用效率 避免了网络关键部位出现单点失效 对一个网络的负载均衡应用，可以从网络的不同层次入手，具体情况要看对 网络瓶颈所在之处的具体分析。在多数的网络应用中，都采取了b s 模式，中间 还有代理服务器之类的中间层，如果从客户端应用为起点纵向分析，负载均衡技 术的实现可分为客户端负载均衡技术、应用服务器技术、高层协议交换、网络接 入协议交换等几种方式】。 图3 2 负载均衡层次结构图 基于客户端的负载均衡 这种模式指的是在嘲络的客户端运行特定的程序，陔程序通过定期或不定期 基丁负载均衡机制的入侵检测系统的殴计与实现 的收集服务器群的运行参数：c p u 占用情况、磁盘i o 、内存等动态信息，再根据 某种选择策略，找到町以提供服务的最佳服务器，将本地的应用请求发向它。如 果负载信息采集程序发现服务器失效，则找到其他可替代的服务器作为服务选择。 整个过程对于应用程序来说是完全透明的，所有的工作都在运行时处理。因此这 也足一种动态的负载均衡技术。 但这种技术存在通用性的问题。因为每一个客户端都要安装这个特殊的采集 程序：并且，为了保证应用层的透明运行，需要针对每一个应用程序加以修改， 通过动态链接库或者嵌入的方法，将客户端的访问请求能够先经过采集程序再发 往服务器，以重定向的过程进行。对于每一个应用几乎要对代码进行重新开发， 工作量比较大。 所以，这种技术仅在特殊的应用场合才使用到，比如在执行某些专有任务的 时候，比较需要分布式的计算能力，对应用的开发没有太多要求。另外，在采用 j a v a 构架模型中，常常使用这种模式实现分布式的负载均衡，因为j a v a 应用都基 于虚拟机进行，可以在应用层和虚拟机之问设计一个中间层，处理负载均衡的工 作。 应用服务器的负载均衡技术1 1 2 】 如果将客户端的负载均衡层移植到某一个中间平台，形成三层结构，则客户 端应用可以不需要做特殊的修改，透明的通过中间层应用服务器将请求均衡到相 应的服务结点。比较常见的实现手段就是反向代理技术。使用反向代理服务器， 可以将请求均匀转发给多台服务器，或者直接将缓存的数据返回客户端，这样的 加速模式在一定程度上可以提升静态网页的访问速度，从而达到负载均衡的目的。 使用反向代理的好处是，可以将负载均衡和代理服务器的高速缓存技术结合在一 起，提供有益的性能。然f f | ：它本身也存在一些问题，首先就是必须为每一种服务 都号门丌发个反向代理服务器，这就不是一个轻松的任务。 反向代理服务器本身虽然可以达到很高效率，但是针对每一次代理，代理服 务器就必须维护两个连接，一个对外的连接，一个对内的连接，因此对于特别商 的连接请求，代理服务器的负载也就非常之大。反向代理能够执行针对应用协议 斫优化的负载均衡策略，每次仅访问最空闻的内部服务器柬提供服务。但是随蔫 # 发连接数量的增加，代理服务器本身的负载也变得非常大，最后反向代理服务 器本身会成为服务的瓶颈。 基于域名系统的负戡均衡 n c s a 的川扩展w e b 是最早使用动态d n s 轮询技术的w e b 系统。在d n s 中 为多个地址配酬一个名。，因而查询这个名字的客户机将得到其中 个地址， 从【m 使得不州的客、访问小l 司的服务器，达到负载均衡的日的。 商层协议内容交换技术 第二章 负载均衡模型耳相笑妓术介纠 除了i i 述的儿种负载均衡方式之外，还有在协议内部支持负载均衡能力的技 术，即u r i 。交换或七层交换，提供了一种对访问流量的高层控制方式。w e b 内棒 交换技术检查所有的h t t p 报头，根据报头内的信息米执行负载均衡的决策。1 1 1 、t p 运行于+ f c p 连接的最高层。客户端通过恒定的端 j 号8 0 的t c p 服务直接连接到 服务器，然i ；通过t c p 连接向服务器端发送一个h t t p 请求。协议交换根据内容 策略来控制负载，向小是根据t c p 端口号，所以不会造成访问流量的滞留。 刚络接入协议交换 大型的m 络一般都是由大量专用技术设备组成的，如包括防火墙、路山器、 第3 、4 层交换机、负载均衡设备、缓冲服务器和w e b 服务器等。如何将这些技术 设备有机地组合任一起，是一个直接影n i a j n 网络性能的关键性问题。现在许多变 换机提供第刚层交换功能，对外提供一个一致的i p 地址，并映射为多个内部l p 地 址，对每次f c p 和u d p 连接请求，根据其端口号，按照即定的策略动态选择一个 内部地址，将数据包转发到该地址上，达到负载均衡的目的。负载魄分配一般采 用随机选择、根据服务器的连接数量或者响应时间进行选择的负载均衡策略。 传输链路聚合 链路聚合技术是将多个线路的传输容量融合成一个单一的逻辑连接。当原有 的线路满足不了需求，而单一线路的升级又太昂贵或难以实现时，就要采用多线 路的解决方案了。目前有5 种链路聚合技术可以将多条线路“捆绑”起来。 同步i m u x 系统工作在t 1 e 1 的比特层，利用多个同步的d s l 信道 传输数据，来实现负载均衡。 i m a 是另外一种多线路的反向多路复用技术，工作在信元级，能够运 行在使用a t m 路由器的平台上。 用路由器来实现多线路是种流行的链路聚合技术，路出器可以根据 已知的目的地址的缓冲( c a c h e ) 大小，将分组分配给各个平行的链路， 也可以采用循环分配的方法来向线路分发分组。 多重链路p p p 又称m p 或m l p ，是应用于使用p p p 封装数据链路的 路由器负载平衡技术。m p 可以将大的p p p 数据包分解成小的数据段， j ；t 将其分发给平行的多个线路，还可以根据当前的链路利用率来动态 地分配拨号线路。这样做尽管速度很慢，因为数据包分段和附加的缓 冲都增加时延，但可以在低速的线路上运行得很好。 还有一种链路聚合发生在服务器或者网桥的接口卡上，通过同一块接 | - 】卡的多个端口映射到相同的i p 地扑，均衡本地的以太网流量以实现 征服务器上经过的流量成倍增加。 链路聚合系统增加了网络的复杂性，但也提高了网络的可靠性，当主要线路 的性能必需提高而单条线路的升级又不可行时，可以采用链路聚合技术。 基1 负载均衡机制的入侵检测系统的设计与实现 3 4 负载均衡算法的分类 负载均衡算法大体上町以分为静态、动态和自适应算法三类m 】。静态负载均 衡算法根据已有的有关任务的信息，通过某个算法来确定任务的分配，它不使用 系统状态信息来决定负载的分配，这对一些应用具有较高的效益。动态均衡算法 通过交换系统的状态信息决定系统负载的分配，具有超过静态算法的执行潜力。 它能够适应系统负载变化情况，比静态算法更灵活、有效。由于它必须收集、储 存并分析状态信息，因此动态算法会产生比静态算法更多的系统开销，但这种开 销常常可以被抵消掉。自适应负载均衡算法是一类特殊的动态算法，它们通过动 态地改变其参数、策略来调节其活动以适应变化的系统状态。 动态负载均衡算法按照集中程度可以分为集中式、完全分布式、层次性或它 们中的一些结合算法。在动态集中式负载均衡系统中，全局负载信息收集在一个 结点上，任何结点的负载变化信息都传给这个结点，负载均衡的所有决定由它做 出。这种方式的好处在于能够以较少的开销收集全局信息，挑选出最佳结点执行 任务，并且可以扩充到较大的网络计算系统。在完全分布式负载均衡系统中，每 个结点保存相邻结点或系统中部分结点的负载信息，相互合作做出各自的负载分 配。这种策略实现比较简单，并且经过一段时间后，可以选择到较合适的结点执 行任务，缺点是不能获得最佳结点分配负载，很难扩展到成千上万个结点的网络 计算系统。层次性方法是根据集中式、分散式方法的优缺点结合而成的一种负载 均衡算法。它将系统分成层次性的予系统，在不同层次上特殊的结点作为负载均 衡决策的控制结点，以分散其集中方式控制整个系统的负载均衡，它和网络拓扑 结构有很强的相关性。 3 5 负载均衡调度算法 轮叫调度 轮叫凋度( r o u n dr o b i ns c h e d u l i n g ) 算法就是以轮叫的方式依次将服务请求 发给不同的服务器，即每次调度执行i _ ( i + 1 ) r o o dn ，选出第i 台服务器。 轮叫调度算法假设所有服务器处理性能均相同，不管服务器的当前连接数和 响应速度。该算法相划简单，它无需记录当前