（计算机应用技术专业论文）基于pc集群并行化网络入侵检测系统研究与实现.pdf

硕士论文基于p c 集群的并行化阿络八侵检测系统研究与实现 基于p c 集群的并行化网络入侵检测系统研究与实现 摘要 计算机网络技术是一把双刃剑。在加速信息革命，给人类带来诸多利 益的同时也带来各种各样的安全隐患，甚至造成灾难性的后果。计算机操 作系统本身的安全防护能力非常有限，而加密技术、防火墙等传统的网络 安全技术都属于被动安全防御技术，而且存在着诸多自身不能解决的安全 隐患。基于上述原因，开始于上世纪8 0 年代，发展于上世纪9 0 年代的入 侵检测技术得到了网络安全业界普遍的重视。在网络安全防御体系中起到 了举足轻重的作用。传统的集中式入侵检测的设计处理能力一般在4 0 兆以 下。随着网络数据流量的爆炸式增长，面对主干网动辄百兆，千兆，甚至 更高的数据流量，集中式入侵检测系统的处理能力就显得捉襟见肘了 1 3 。于是人们开始探索各种提高入侵检测处理能力的方法，如采用a s i c 硬件处理，多网络处理器等。由于其价格不菲，很难在资金紧缺而又有入 侵检测系统需求的地方普遍采用。针对上述问题，作者在研究入侵检测原 理和技术的基础上，结合p c 集群技术，给出了应用p c 集群作为n i d s 硬件 平台的解决方案；论证其可行性；实现了基础模型；并且结合入侵检测技 术的发展给出本课题下一步的研究方向和工作重点。 关键词：网络安全网络入侵检测并行化网络入侵检测p c 集群 硕士论文基于p c 集群的并行化网络入侵检测系统研究与实现 t h er e s e a r c ha n di n 口l e n n t a t i o no f p a r a l l e ln e t w o r ki n t r u t l 0 nd e t e c t l 0 ns y s t e b a s e d0 np cc l u s t e r a b s t r a c t c o m p u t e rn e t w o r kt e c h n o l o g yw a sab o t he d g es w o r d ，o n t h eo n eh a n d ，i t a c c e l e r a t e si n f o r m a t i o nr e v o l u t i o n ，g i v e sh u m a n i t yag o o dm a n yb e n e f i t s ，o n t h eo t h e rh a n di te n g e n d e r sa s s o r t e dp o t e n t i a ls a f e t yh a z a r d ，e v e nd i s a s t r o u s a f t e r m a t h b e c a u s es a f e t yp r o t e c t i o na b i l i t yo fo p e r a t i n gs y s t e mi s e x t r a o r d i n a r yr e s t r i c t e d ，a n dc o n v e n t i o n a ln e t w o r kp r e v e n t i o nt e c h n i q u e ，f o r e x a m p l ee n c r y p t i o nt e c h n i q u e 、f i r ew a l lt e c h n i q u e ，b e l o n gt op a s s i v i t y d e f e n s i v et e c h n o l o g y ，i ta l s oi n c l u d e sag o o dm a n ys e l f - i n s o l v a b l ep o t e n t i a l s a f e t yh a z a r d t h ei n t r u s i o nd e t e c t i o nt e c h n i q u et h a td a t e db a c k t ou p p e r c e n t u r y19 8 0 s ，d e v e l o pt ou p p e rc e n t u r yt h en i n e t i e sg e t st ol a ys t o r eb yf a i r i n g o f t h er e p o s es u p r ar e a s o n sa n d p l a y sam a j o r r o l ei nn e t w o r ks e c u r i t yf i e l d t h ei n f o r m a t i o no nt h ei n t e m e tg e t sm o r ea n dm o r e ，a n dt h ea b i l i t yo f c e n t r a l i z a t i o ni n t r u s i o nd e t e c t i o nt e c h n i q u ei sa tf o r t ym i l l i o n s ，b u td a t as t r e a m q u a n t i t yo f b a c k b o n en e t w o r ka c h i e v e st oh u n d r e dm i l l i o n ，k i l o m e g a ，e v e n h i g h e r a n dp e o p l eb e g i nt of i n dd i f f e r e n tk i n d so fm e t h o d st oi n c r e a s e i n t r u s i o nd e t e c t i o n sa b i l i t y ，f o ri n s t a n c ea s i cn e t w o r kp r o c e s s o ra n ds o o n b u tt h e ya r ee x p e n s i v ef o rf u n d - l i m i t e du s e r sw h on e e di d s b a d l y t os o l v e t h ea b o v ep r o b l e m ，ir e s e a r c hi ni n t r u s i o nd e t e c t i o nt h e o r ya n dt e c h n i c a la n dp c 硕士论文基于p c 集群的并行化网络入侵检测系统研究与实现 c l u s t e rt e c h n o l o g y ，d e s i g nai n t r u s i o nd e t e c t i o nm o d e lw h i c hu s ep cc l u s t e rt o i m p r o v ei d s d a t ad e a l i n ga b i l i t y i nt h i sp a p e r ，ia l s oa r g u m e n tt h e r e o f f e a s i b i l i t yo ft h es y s t e m ，r e a l i z ep r e l i m i n a r ym o d e l ，a n dd i s c u s ss o m e ：n e x ts t e p d i r e c t i o na n dk e ye m p h a s i si ni n t r u s i o nd e t e c t i o nf i e l d k e y w o r d ：n e t w o r ks e c u r i t y n e t w o r ki n t r u s i o nd e t e c t i o np a r a l l e l n e t w o r ki n t r u s i o nd e t e c t i o np cc l u s t e r 硕士论文 基于p c 集群的并行化嗣络入侵检测系统研究与实现 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除 了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的 同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料考有不实之处，本人承担一切相关责任。 本人签名：j 冷巳钍日期：力缱么2 五一 j 7 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究生在校攻读学 位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国家有关部门或机构送交 论文的复印件和磁盘。允许学位论文被查阅和借阅：学校可以公布学位论文的全部或部分内容， 可以允许采用影印、缩印或其它复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵 守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论文注释： 本学位论文不属 本人签名： 导师签名： 权书。 日期： 日期： 硕士论文基于p c 集群的并行化网络入侵检测系统研究与实现 刖吾 i n t e r n e t 的普及，为资源共享和信息交流提供了高效快捷的平台。但是由于越来 越多的网络攻击和破坏，网络安全日益成为人们关注的焦点，成为急需解决的国际化问 题。随着d d o s 等新的黑客攻击手段的出现，传统的网络安全技术已经不能满足网络安 全的需求。作为主动式安全防护技术的入侵检测系统已经成为安全网络不可缺少的一道 安全屏障。然而网络数据流量的爆炸式增长，使得入侵检测系统的数据处理能力成为制 约入侵检测系统发展的瓶颈。入侵检测系统需要在高性能计算机的支持下才能实时的对 大量数据进行检测和处理，才能确保网络数据的安全性。采用a s i c 硬件处理、多网络 处理器等来构建入侵检测系统是几种解决方案，但是其昂贵的价格让许多有i d s 需求的 用户望而却步。构建商品化p c 集群做为入侵检测系统支撑平台是有意义的研究的方向。 本文基于网络入侵检测技术和并行集群计算技术，在分析了c i d f 方案和d a r p a 体系结 构的基础上，设计实现了一个“基于p c 集群的并行化网络入侵检测系统”。本文由以 下几个部分构成：一，概述：讨论课题背景和国内外研究现状以及课题的研究内容；二， 入侵检测技术的基本原理和相关技术介绍：深入探讨入侵检测系统的原理和技术分析， 介绍p c 集群系统的组建和应用：三，系统设计：提出总体模型和模块功能设计分析。 四，功能模块实现：给出关键模块的具体实现。五，总结与展望：对论文所取得的成果 做了总结，并指出论文的下一步研究方向和工作重点。 硕士论文基于p c 集群的并行化网络入侵检测系统研究与实现 1 1 课题背景和研究意义 第一章概述 从事计算机网络工作的人都知道两个事实：一计算机网络正在改变我们的生活方 式；二计算机网络是不安全的。伴随着计算机网络在各个行业的应用，计算机网络安 全已经成为一个国际化的问题。每年全球因计算机网络的安全系统被攻击、破坏而造成 的经济损失达数百亿美元，而且这个数字每年都在大幅度的增长。很多大公司都发生过 大的入侵事件，甚至专门从事网络安全的网站也受到黑客的攻击 2 4 】。也正是因为上述 情况，网络安全技术得到了长足的发展。传统的网络安全技术主要有：认证授权、数据 加密、访问控制、安全审计等，一般采用防火墙作为安全的第一道防线。而随着攻击者 知识的日趋成熟，攻击工具与手法的日趋复杂多样，单纯的防火墙策略已经无法满足对 安全高度敏感部门的需要。网络的防卫必须采用一种纵深的、多样的手段 2 5 】。 在这种背景下，入侵检测系统作为保障网络安全的重要手段，自d e n n i f i g 在1 9 8 6 年 提出开始就一直受到研究人员、工商业界和应用者的重视。二十几年来，研究者提出了 许多不同种类的入侵检测系统和检测方法【2 3 。从入侵检测的目标类型看，既有基于主 机的入侵检测系统，也有基于网络的入侵检测系统，或是二者的混合系统；根据入侵检 测系统的知识基础看，既有基于行为的异常检测，也有基于攻击模式的误用( 滥用) 检测， 或是二者的混合系统；从相应方式是看，既有主动响应方式，也有被动响应方式，如图 l 一1 。从实现的技术来看，既有应用传统的统计学方法，也有使用人工智能的方法，包 括贝叶斯分类数据挖掘专家系统，神经网络，人工免疫系统，p e t r i 网，m a r k o v 链， 隐m a r k o v 模型，自治a g e n t ，移动a g e n t ，机器学习等等。 但是，一个无法回避的现实是，在当前的网络安全产品中，应用最广、最为有效的 措施仍是早期的防火墙系统，甚至是最简单的包过滤方法。对于入侵检测系统来说，其 中一个最大的难点在于无论使用那种方法，需要计算的数据量都十分巨大，实时检测的 要求难于实现。从已经发表的文献来看，目前的算法还不能得到令研究人员满意的结 果。所以说要想在目前的算法条件下，完成实时的入侵检测就必须要采用硬件层面的并 行来解决，如果再考虑系统的性能价值比的话，采用p c 集群作为i d s 的硬件平台就是一 个很有现实意义的研究课题。 硕士论文基于p c 集群的并行化网络入侵检测系统研究与实现 图1 1 入侵检测系统分类表 1 2入侵检测技术国内外研究现状 1 2 1 国外的研究现状 目前国际上入侵检测的研究主要集中在美国。有许多研究得到政府和军方的支持， 并在实际环境中应用，而且还有大量的商用入侵检测工具。2 0 世纪8 0 年代，d d e n n i n g 最早提出了i d e s ( i n t r u s i o nd e t e c t i o ne x p e r ts y s t e m ) 入侵检测模型；2 0 世纪9 0 年代， s t e v e nr s n a p 等人在设计与开发分布式入侵检测系统d i d s ( d i s t r i b u t e di n t r u s i o n d e t e c t i o ns y s t e m ) 时，提出了一个层次化的入侵检测模型，简称i d m ( i n t r u s i o nd e t e c t i o n m o d e l ) ；进入新世纪以来，基于误用的检测技术已经比较成熟，几乎所有的入侵检测产 品都采用基于误用的检测技术，但是由于其不能及时的发现新的入侵，所以很多研究者 把研究的目光投向了基于异常的检测技术。但是由于其误报率居高不下，目前还没有成 熟的技术模型出现。国外一些研究机构和企业已研究或开发出了多种类型的入侵检测系 统其中有主要用来验证一些概念和算法的研究用的系统。分布式系统成为很多研究机 构得研究方向。提高单点入侵检测性能的研究多采用a s i c ，多n p 或者集群技术等等。 目前，s r u c s l 、普渡大学、加州大学戴维斯分校、洛斯阿拉莫斯国家实验室、哥 伦比亚大学、新墨西哥大学等机构在这些方面的研究代表了当前i d s 研究的最高水平。 目前国外主要商用产品有： c i s c o 公司的n e t r a n g e r i n t r u s i o nd e t e c t i o n 公司的k a n es e c u r i t ym o n i t o r n e t w o r ks e c u r i t yw i z a r d s 公司的d r a g o ni d s i s s ( i n t e m e ts e c u r i t ys y s t e m ) 公司的r e a ls e c u r e n a i ( n e t w o r ka s s o c i a t e sn a c ) 公司的c y b e r c o p 硕士论文 基于p c 集群的并行化嗣络入侵检测系统研究与实现 c a ( c o m p u t e r a s s o c i a t e ) 的s e s s i o nw a l l 1 2 2 国内的研究现状 目前国内的入侵检测研究工作开展较晚，科研界研究工作主要集中在中科院信息安 全国家重点实验室、北京大学、北京邮电大学、武汉大学等。目前从发表的文献来看主 要以研究综述、提出系统框架等居多。并且从总体上讲，研究人员在入侵检测研究方法 的选择上并没有超出国际上已经提出的方法范畴，商业产品在研究方法上仍然以误用检 测为主，在系统结构上向分布式发展。 目前工业界的土流产品有： 联想的“网御” 方正的“方通s n i p e r 东软的 n e t e y e ” 中科网威公司的“天眼” 绿盟公司的“冰之眼” 。 冠群金辰公司的“e t r u s t ” j 1 2 3 入侵检测技术存在的问题 虽然许多入侵检测系统声称能够做到精确检测入侵，但实际上很少能做得到。而且 面对日益增长的网络数据流量，i d s 要做到实时检测越来越困难，可以说不解决上面说 的两个问题i d s 的应用现状并不乐观，目前入侵检测技术存在的问题具体表现在： 基于网络的入侵检测系统难以跟上网络速度的发展。现在很多网络都是1 0 0 m 、1 0 0 0 兆甚至万兆的网络，网络速度的发展远远超过了数据包分析技术发展的速度。应用 并行技术来达到系统的实时检测是解决这个问题的一个方向。 攻击特征库的更新不及时。现在很多入侵检测系统没有提供某种技术方法来即时更 新攻击特征。在如今每天都有新漏洞发布、每天都有新的攻击方法产生的情况下显 然不能满足安全需求。所以我们应该采用多种入侵检测技术相结合的方式来发现新 的入侵。 针对入侵检测系统本身的攻击。入侵检测系统自身的安全性保护不够，易成为攻击 目标。 1 3 研究的内容 针对入侵检测存在的主要问题，本课题致力于解决入侵检测系统处理能力与网络流 4 硕士论文基于p c 集群的并行化网络入侵检测系统研究与实现 量迅速增长之间的矛盾。在课题的研究过程中，作者深入学习了入侵检测的基本原理； 掌握了现在主流的入侵检测技术；分析总结了s n o r t 等开源代码；学习了p c 集群技术。 在这些理论和技术学习的基础上，针对目前网络入侵检测系统不能满足网络数据增长的 的问题，给出了系统模型和解决方法，完成并行化网络入侵检测系统的设计。本系统由 于在硬件上采用了普通p c 和商用互连网络，所以系统成本比采用商用的入侵检测系统 要便宜得多，而且本系统继承和发展了一些开源代码，入侵检测库文件继承了s n o r t 攻 击库，使得系统具有很好的扩展性和可维护性。可扩展性是本系统的特色，如果入侵检 测系统不能满足网络流量的增长，只需要增加一些p c ，配置作少量得更改就可以满足 要求。 本课题首先学习研究了入侵检测的原理和目前入侵检测系统存在的主要问题。论证 了集群作为网络入侵检测系统硬件支撑平台的可行性，以及这样构建系统的优势。给出 了系统的总体设计和模块设计，完成了关键模块的实现。 在逻辑上，本系统总体上分为三个一级模块：控制台模块，传感器模块和负载均衡 模块。其中控制台模块运行于w i n d o w s 平台，而传感器模块运行于l i n u x 平台，传感 器构成一个集群系统，集群的任务划分由负载均衡器完成。这样的设计主要考虑到用户 的使用习惯，屏蔽了因为l i n u x 操作不便给管理员和用户造成的困惑。其中控制台模块 包含两个二级模块显示模块，控制台通信模块；传感器模块包括两个二级模块检测模块。 有些二级模块还包含三级模块，在本文中有详细的说明，这里不再累述。在课题的最后， 给出了系统需要改进的几个问题，给出了网络入侵检测系统技术走势和产品发展方向。 本课题的意义有二：1 ) 解决网络数据流量的爆炸式增长与现有的网络入侵检测系 统的处理能力有限之间的矛盾。2 ) 解决有网络入侵检测需求和资金短缺之间的矛盾。 本课题的提出，可以提高入侵检测系统的实时处理能力，可以提高网络入侵检测系统的 性价比。研究单位和小型企业可以利用已有的p c 来组建高性能集群，部署基于p c 集 群的网络入侵检测系统，达到保护现有资源，提高网络整体的安全性能的目的。 硕士论文基于p c 集群的并行化网络入侵检测系统研究与实现 2 1入侵检测技术综述 2 1 1 入侵检测发展 第二章相关技术 入侵检测( i n t r u s i o nd e t e c t i o n ) ，从名字我们就可以大概了解它的含义，也就是对入 侵行为的发觉。它通过计算机网络或计算机系统中的若干关键点收集信息并对其进行分 析，从中发现网络或系统中是否有违反安全策略的行为和被攻击的迹象。进行入侵检测 的软件与硬件支撑平台的组合便是入侵检测系统( i n t r u s i o n d e t e c t i o ns y s t e m ，简称i d s ) 。 硬件支撑平台有有很多种类型，本课题时用p c 集群作为入侵检测系统的硬件支撑平台。 了解入侵检测的简单发展过程有利于我们理解本可以的研究意义，1 9 8 0 年4 月， j a m e spa n d e r s o n 第一次详细阐述了入侵检测的概念，开始了入侵检测理论的研究；1 9 8 6 年，乔治敦大学的d o r o t h yd e n n i n g 和s r y c s l ( s p a 公司计算机科学实验室) 的p e t e r n e u m a n n 研究出了一个实时入侵检测系统模型一一入侵检测专家系统i d e s ( i n t r u f i o n d e t e c t i o n e x p e r ts y s t e m ) ，这个模型是许多商用产品的模型基础；1 9 9 0 加州大学戴维斯 分校h a b e r g e o n s 等人开发出了n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 。从2 0 世纪9 0 年代到 现在，入侵检测系统的研发呈现出百家争鸣的繁荣局面，并在智能化和分布式两个方向 取得了长足的进展。入侵检测系统在很多实际网络环境中得到了广泛的应用，并且在很 多安全防护体系中都和防火墙联动来实时阻止入侵的发生。这些技术的应用，涉及到 i d s 与防火墙、不同厂商的i d s 之间数据交换，由此促进了入侵检测技术标准化。 2 1 2 入侵检测技术的标准化 d a r p a 方案【2 6 】 为了提高i d s 产品、组件及与其他安全产品之间的互操作性，美国国防高级研究 计( d a r g a ) 和互联网工程任务组( i e t f ) 的入侵检测工作组0 d w g ) 发起制订了一系列建 议草案，从体系结构、a p i 、语言格式等方面规范i d s 的标准。d a r p a 提出的建议是 公共入侵检测框架( c i d v ) ，公共入侵检测框架( c i d f ) 所做的工作主要包括四部分：m s 的体系结构、通信机制、描述语言和应用编程接口a p i 。c i d f 在i d e s 和n i d e s 的基 础上提出了一个通用模型，将入侵检测系统分为四个基本组件：事件产生器、事件分析 器、响应单元和事件数据库。结构如图2 一i 所示。 6 硕士论文基于p c 集群的并行化网络入侵检测系统研究与实现 输入：原始事件源 i 图2 1c i d f 结构图 事件产生器 事件产生器的任务是从入侵检测系统之外的计算环境和网络环境中收集事件数 据信息，并将这些事件数据信息转换成c t d f 的g i d o 格式传送给事件分析器。 事件分析器 事件分析器分析从事件产生器接收到的g i d o ，进行分析处理，并将产生的结果 以新的g i d o 再传送给其他组件。这个组件是i d s 的核心部分。 事件数据库 事件数据库用来存储g i d o ，作为系统备份，以备系统需要的时候使用。这种设 计是基于高速以太网的入侵检测系统的研究需要。 响应单元 响应单元处理收到来自事件分析器的g i d o ，并据此采取相应的措施：如实时报 警、杀死相关进程、将连接复位、修改文件权限等。 这四种单元以相同得格式g i d o 传送数据，相互配合完成入侵检测全过程。并且 g i d o 也是入侵检测系统与防火墙等其他部件互操作的基本数据格式。入侵检测系统数 据格式和结构的标准化促进了入侵检测系统的发展应用。 i e t f 方案 2 6 1 i d m e f 描述了表示入侵检测系统输出信息的数据模型，并解释了使用此模型的基 本原理。该数据模型用x m l 实现数据的交互，并设计了一个x m l 文档类型定义。 i d m e f 最适用于入侵检测分析器( 或称为“探测器”) 和接收警报的管理器( 或称为“控 制台”) 之间的数据信道。 i d m e f 数据模型以面向对象的形式表示探测器传递给控制台的警报数据，设计数据 模型的目标是为警报提供确定的标准表达方式，并描述简单警报和复杂警报之间的关 硕士论文 基于p c 集群的并行化网络入侵检测系统研究与实现 系。 i d m e f 数据模型是用统一建模语言( u m l ) 描述的。u m l 用一个简单的框架表示 实体以及它们之间的关系，并将实体定义为类。 i 2 2入侵检测技术分类 按入侵检测所使用基本方法分类，入侵检测系统可以分为“误用检测( m i s u s e d e t e c t i o n ) ”和“异常检测( a n o m a l yd e t e c t i o n ) ”两种： 基于误用入侵检测 误用入侵检测系统的应用是建立在对过去各种己知的网络入侵检测方法和系统缺 陷知识的积累之上，它首先需要建立一个包含上述己知信息的数据库，然后在收集到的 网络活动信息中寻找与数据库项目匹配相关的信息。的当发现符合条件的活动线索后， 它就会触发一个警告，也就是说，任何不符合特定匹配条件的活动都将会被认为是合法 和可以接受的，哪怕其中包含着隐蔽的入侵行为。 基于异常入侵检测 。 异常入侵检测系统的工作是建立在如下假设基础上的：任何一种入侵行为都能由于 其偏离正常或者期望的系统和用户的活动规律而被检测出来。描述正常或者合法活动的 模型是从对过去各种渠道收集到的大量历史活动资料的分析中得出来的。入侵检测系统 将它与当前的活动情况进行对比，如果发现当前状态偏离了正常的模型状态，则系统发 出警告信号，这就是说，任何不符合以往活动规律的行为都被视为入侵行为。 两种检测方法的分析比较 基于异常的网络入侵检测但是这些都只停留在理论研究阶段，还没有一种真正只基 于异常的入侵检测系统产品问世。误报率高也是他的一个很大的缺点。在最先进的i s s 公司的入侵检测产品中据称采用了其作为辅助的检测手段，但是并没有公开代码和模 型，人们无从知晓。因此，误用入侵系统具备较高的检测准确性，容易实现，在目前的 大多数网络入侵检测系统中得到了广泛应用，但是它的完整性( 即检测全部入侵行为的 能力) 则取决于数据库的及时更新程度。误用入侵检测系统的优点在于具有非常低的虚 警率，同时检测的匹配条件可以进行清楚地描述，从而有利于安全管理人员采取清晰明 确的预防保护措施。 然而误用入侵检测系统的一个明显的缺陷在于，收集所有已知攻击行为和系统脆弱 性信息的困难性以及及时更新庞大数据库需要耗费大量精力和时间，这是一项艰苦的工 作。另一个存在的问题是可移植性，因为关于网络攻击的信息绝大多数是与主机的操作 系统、软件平台和应用类型密切相关的，因此带来的后果是这样的入侵检测系统只能在 某个特定的环境下生效。 基于目前的技术背景，采用基于误用的检测技术实现本课题是现实可行的，并在条 硕士论文基于p c 集群的并行化网络入侵检测系统研究与实现 件允许的情况下用基于异常的技术作为辅助，可以提高系统的对新产生的入侵的报警 率，减少误报率。 当然我们从前面的阐述中也知道还有其他的分类方法，比如基于主机的入侵检测和 基于网络的入侵检测等等。但是这些都本质上并没有什么区别，只是根据应用的环境和 数据来源不同来简单分类，这里就不作具体介绍了。下面我们来了解一下本课题涉及的 另一个主要技术_ p c 集群技术。 2 3p c 集群技术 2 1 1p c 集群技术简介 p c 集群目前还没有严格统一的定义，一种人们经常引用的定义是：一组通过高速 网络连接起来的p c 或者工作站的组合，对外呈现统一的界面，象一个系统一样工作。 集群的节点都是独立的p c 或者工作站，本身可以有一个或者多个处理器，可以有 独立的i o 设备。集群的网络可以是商用以太网、m y r i n e t 、g i g a n e t 的c l a n 等。本系统 的节点采用p c ，网络连接采用百兆以太网。集群的操作系统可以是w i n d o w s 、l i n u x 等通 用的操作系统，这样的系统我们非常熟悉，就使得我们应用集群比较方便。考虑到操作 系统的费用成本、系统安全性以及占用系统资源，我们选择l i n u x 作为集群的操作系统。 很多厂商推出自己的集群系统的时候都会配有集群操作系统，实际上就是一些性能检 测、任务分配、统一管理的软件包。我们可以购买这样的软件，也可以使用自己编写的 软件，但是这些都需要资会和技术的投入。我们采用开源的集群管理和任务分配软件作 为集群的操作系统。比较常见的有s c y l d ，b e o w u l f , o s c a r ，r o c k s ，s c e 等。我们需要 注意的是这些都不是一个软件，而是一组实现集群操作功能的软件集合。 促成集群出现的因素有很多，首先是需求刺激，人们对高性能计算的需求从来没有 停止过，集群正是在这样的需求背景下产生的。还有就是p c 处理能力的增强，高速网 络的发展，还有管理软件的成熟等等。这一切使得集群技术在现实环境中得到了广泛的 应用：科学计算集群、高可用性集群、负载均衡集群等集群技术在很多环境中被采用。 2 12p c 集群在入侵检测技术中的应用 应用集群技术来解决入侵检测系统的处理能力研究方面，很多网络安全研究者作了 有益的工作。例如，在参考文献 1 4 中的解决方案，就是应用集群技术来解决入侵检测 系统处理能力不足的问题。本课题放弃了使用前置负载均衡器的设计，因为这样很容易 造成新的处理瓶颈。采用直接在交换机端口上读取数据，在传感器上选择处理需要的数 据，消除了系统的瓶颈，改进了系统的设计。我们也可以看出，我们把控制台放到了系 硕士论文基于p c 集群的并行化网络入侵检测系统研究与实现 统的后端，而且控制台和传感器也只有处理消息的交互，不需要交换海量的网络原始数 据包，不会形成数据处理的瓶颈。 另外一个研究案例见参考文献u s ，这个模型也利用了p c 集群技术来提高系统的 整体的数据处理性能，有可扩展性强，价钱便宜，可维护性强等特点。但是数据包的获 取并不是入侵检测的主要瓶颈，检测模块的数据处理才是真正困扰入侵检测发展的瓶 颈。尽管如此，这些研究还是对本课题的研究有很大的启示作用。 从这些研究应用中，我们知道很多人都在尝试应用p c 集群方式来解决网络数据流 量大和系统单机数据处理能力低的这个矛盾。很多技术虽然着眼点不同，研究方法不同， 但是用并行的方法来解决的思想相同的。本课题从这些并行研究模型中汲取和很多有意 的技术和研究方法。 众所周知，入侵检测系统的处理瓶颈在数据分析和处理上，只有在把这个问题解决 了，才能真正提高系统的性能，所以我们必须在数据检测处理这个环节采用并行的解决 方法。基于上述原因，笔者给出的设计模型中，把集群技术应用到数据检测模块，提高 系统的实际数据处理能力。而且集群的负载均衡采用分布式结构，避免了新的瓶颈的产 生。我们将用第三章和第四章来分别讨论基于p c 集群的并行化网络入侵检测系统的设 计和实现。 。 硕士论文基于p c 集群的并行化网络入侵检测系统研究与实现 第三章基于p c 集群的并行化网络入侵检测系统设计 3 1系统总体设计 3 1 1 系统的物理结构图 图3 1 物理结构图 分布式入侵检测模型由三个部分构成：控制台、传感器、负载均衡器。控制台：保 存系统配置和各传感器的重要信息，接受各传感器报告的安全事件。传感器：包含多个 传感器，完成具体入侵检测任务，实现对于攻击的检测、响应。其中传感器构成一个集 群系统，由负载均衡器负责数据处理的负载均衡，提高系统的处理能力。 从本物理结构图中，我们可以比较直观的感受到本课题的网络入侵检测系统部署情 况，内部网络和外部网络联结节点处。如图所示，本系统是并联在网络接口处的，而每 个传感器的网卡都设置成混杂模式，也就是他们都要捕获所有的数据包，然后按照每个 传感器检测策略处理网络数据包，其他数据包就丢弃。如果发现入侵，按照规则报警处 理，如果没有发现入侵，则把这部分数据包也丢弃。数据节点采用双网卡，网卡1 来接 收待处理的数据，这个网卡可以不设地址，只要把网卡设成混杂模式就可以捕获所 有流经此网卡的数据包。这样做的好处是可以避免i d s 本身遭受到攻击。网卡2 用于 集群内部通信，用于策略的分发与变更等。同时也用于数据节点和控制台的通信。当然 在很多模型中，集群内部通信可以采用串口通信。两种方法个有千秋，我么这里采用通 过t c p ，i p 网络构建集群系统。 硕士论文基于p c 集群的并行化网络入侵检测系统研究与实现 3 1 2 系统信息交换图 图3 2 信息交换图 我们可以用上面的信息交换图来表示控制台和传感器，以及和目标网络，系统用户 之间的信息交换过程。在控制台和传感器模块上加入一个通信部件，控制台部分为控制 台通信部件，传感器部分为传感器通信部件，每个通信部件分为发送和接收两个模块， 中间用商用以太网进行信息和数据交换。集群的负载均衡为分布式结构，运行于集群节 点上。根据集群数据节点的情况进行集群负载均衡的调配工作，完成控制信息和数据信 息的交互工作。目标网络和传感器直接相联，而人与控制台的交互通过g u i 界面就可 以实现对传感器部件的操作与控制。控制台通信部件和g u ! 之间的通信通过共享内存 进行数据交换，他们都通过数据库访问控制部件同数据库实现通信。传感器通信部件与 检测部件之间的通信可以通过共享内存方式进行。从而完成用户到检测部件，从检测部 件到用户的双向信息传递过程。 硕士论文 基于p c 集群的并行化网络入侵检铡系统研究与实现 3 1 3 系统软件模块结构图 本课题的入侵检测系统，包括三个一级模块：控制台模块，传感器模块，集群负载 均衡模块。控制台部分可以分为显示模块和通信模块两个模块，通信模块主要是完成与 传感器之间的数据和控制信息的通信，显示模块主要是显示系统的信息以及系统对用户 命令的回馈，也可以通过它对传感器、数据节点、控制台等部件发布命令。 传感器模块分为通信模块和检测模块两个一级模块，通信模块主要完成与控制台模 块之间的数据和控制信息的通信，也分为发送模块和接收模块两个部分，分别与控制台 模块的接收模块和发送模块相互对应。而检测模块是本系统最为核心的部分，本部分的 设计参考了s n o r t 系统，进行了部分的改进和优化。它有包含检测功能模块和控制模块， 控制模块主要负责接收用户通过控制台模块传递过来的命令，对检测模式和检测方式进 行设置和控制。而检测功能模块则主要完成报文的捕获、数据的匹配、初始化等一系列 的功能。 负载均衡模块，主要负责根据机群数据节点的负载情况调节任务分配，达到集群系 统的负载均衡。它运行于每集群数据节点上，监控集群数据节点的负载情况，调整策略。 达到负载均衡的目的。 图3 3 总体软件模块图 硕士论文基于p c 集群的并行化网络入侵检测系统研究与实现 3 2 控制台模块设计 3 2 1 模块结构图 图3 4 控制台软件模块图 控制台部分可以分为显示模块和通信模块两个模块，通信模块主要是完成与传感器 之间的数据和控制信息的通信，显示模块主要是显示系统的信息以及系统对用户命令的 回馈，也可以通过它对传感器、数据控、控制台等部件进行控制。我们可以用下面这个 图表来模块之间的功能，关系和其所属的父模块的关系。 编号子模块名称子模块标识符 父模块名称 c i 显示模块d i s p l a y控制台模块 c 2 通信模块 c c o m m u n i c a t e 控制台模块 c 3 用户可见模块v i e w 显示模块 c 4 数据库操作模块d b o p e r a t e显示模块 c 5 x m l 编解码模块x m l o p e r a t e显示模块 c 5 发送模块s e n d e r 通信模块 c 7接收模块r e c e i y e 通信模块 3 2 2 视图功能 在w i n d o w s 平台上开发的控制台模块，视图分为三个部分，用户视图、控制视图、 通信视图。用户视图包括信息显示、规则制定等几个方面；控制视图包括用户信息管理， 数据库管理，传感器管理等等：通信视图是对系统中通信部件的管理，和数据库访问管 1 4 硕士论文基于p c 集群的并行化网络入侵检测系统研究与实现 理部件等。我们可以用下面这个列表来表示各个视图的所属类别。这样分类主要是考虑 到操作的方便性和用户习惯，并不是绝对的。 用户视图控制视图通信视图 用户角色控制用户信息管理部件 数据库访问管理 本地数据管理部件 信息报表显示 本地数据管理部件 响应规则制定 传 检测规则制定 规则库管理 感 攻击特征制定 部件 器 兽 传感器状态显示 通信部件 理 统计信息显示 部 入侵信息显示件 系统信息显示系统信息管理部件 图3 5 视图分类目 我们下面就具体表述一下各个视图的作用和需要实现的功能： 用户视图 1 用户角色控制： 用户角色包括：审计管理员、策略管理员、操作员和超级管理员，不同的管理员权 限不同：审计管理员只可以查看各种审计信息，包括日志信息等；策略管理员可以 制管理和制定各种策略和规则；操作员只能查看入侵信息；而超级管理员具有所有 权限。 添加用户 删除用户 用户信息修改 用户身份验证 用户身份切换 2 入侵检测规则制定： 添加规则 删除规则 修改规则 入侵检测规则包括： i 规则名( 唯一标示一个规则) 。 硕士论文基于p c 集群的并行化网络入侵检测系统研究与实现 i i 源地址。 i 目的地址。 攻击类型。 v 策略有效期。( 可以选择) 3 响应规贝r j n 定： 添加规则 删除规则 编辑规则 入侵响应检测规则包括： i 规则名( 唯一标示一个规则) 。 i i 源地址。 i i i 目的地址。 i v 攻击类型。 v 检测到该类型的攻击时采取的策略。 v i 策略有效期。( 可以选择) 4 攻击特征管理： 所有的攻击均在本地数据库中保存。 添加特征 删除特征 修改特征 5 统计信息显示： 每个可见客户机的各类请求报文统计， 文数量。 每个可见服务器的各类响应报文统计， 报文数量。 显示所有的事件信息。 6 传感器状态显示： 传感器标示 传感器的网络位置 例如f t p 、h t f p 、t e l n e t 等，显示相应报 例如f t p 、h t t p 、t e h a e t 等，显示相应 连接状态，连接状态标示传感器当前是否可达。 7 入侵信息显示： 显示报告信息的传感器。 显示入侵的详细信息： a 显示入侵类型。 硕士论文 基于p c 集群的并行化网络入侵检测系统研究与实现 b 入侵的严重程度。 c 入侵源。 d 入侵目标。 8 本地数据管理： 备份检测规则数据库。 备份响应规则数据库。 备份攻击特征数据库。 导出数据库信息到x m l 文件。 恢复份检测规则数据库。 恢复响应规则数据库。 恢复攻击特征数据库。 导入x m l 数据到数据库。 9 信息报表显示： 报表可以以柱状图、饼状图或者其它形式显示 以报表的形式显示检测规则。 以报表的形式显示响应规则。 以报表的形式显示攻击特征。 l o 日志管理： 日志显示。 日志备份。 日志恢复。 日志备份是将日志信息导入到数据库中。 11 系统信息显示： 软件系统当前状态显示。 本机资源利用情况现实，包括c p u 利用率、硬盘剩余空间等。 控制视图 1 用户信息访问部件： 向本地数据库添加新用户的信息。 从本地数据库删除用户信息。 在本地数据库修改用户信息 在本地数据库中查询用户 2 规则库管理部件： 添加、删除、查询、更新入侵检测规则。 硕士论文 基于p c 集群的并行化网络入侵检测系统研究与实现 添加、删除、查询、更新响应规则。 添加、删除、查询、更新攻击特征。 3 传感器管理器： 接收来自传感器的入侵信息。 、 枚举所有传感器。 查询指定传感器的属性。 接收来自传感器的统计信息。 4 本地数据管理部件： 通过数据库访问部件，完成以下功能： 备份指定的数据库。 导出数据库信息到x m l 文件。 导入x m l 文件到数据库中。 5 审计管理部件：验证用户权限。 6 日志数据管理部件： 添加日志信息。 删除日志信息。 ： 导出日志到数据库。 从数据库导入日志数据。 7 系统信息统计部件： 统计软件系统当前状态。 统计本机资源当前利用情况。 通信视图 1 擞据库访问部件：提供访问本地a c c e s s 数据库的接口。 2 通信部件：提供与传感器通信的接口。 x m l 编码部件采用了第三方的软件，所以在这里不作累述。控制台通信部件的设 计在3 5 中论述。 3 2 3 集群负载均衡模块设计 3 3 1 负载均衡模型的结构分层 负载均衡模型的结构分层设计采用模块化的思想。对模型的软件结构进行了划分， 整个负载均衡系统可以分为如下几个部分：中央控制模块、负载检测模块、负载处理模 块和心跳通信模块。各个模块之间通信通过进程间通信完成。 硕士论文 基于p c 柴群的并行化网络入侵检测系统研究与实现 数据节点1 通过广播通信 数据节点2 图3 6 负载均衡模型结构 在p c 集群系统的每个节点上都将运