（计算机软件与理论专业论文）基于移动agent的入侵检测系统网络检测引擎的研究.pdf

摘要 随着网络的迅猛发展，网络安全问题已经成为人们关注的焦点。防火墙和 入侵检测系统的作用越来越明显。入侵检测系统作为防火墙的有力补充，是网 络安全系统的第二道防线。但是，高速网络的迅速发展和交换式网络环境的进 一步普及，使得传统的基于网络的入侵检测系统无法在新的网络环境中发挥应 有的作用。 本文致力于研究和设计一种基于移动a g e n t 的网络入侵检测系统。将移动 a g e n t 技术应用在基于网络的入侵检测系统中，充分发挥移动a g e n t 的特性， 克服当前基于网络的入侵检测系统所面对的困难。将移动a g e n t 技术合理、有 效的引入网络入侵检测系统是本文研究的关键，同样，对移动a g e n t 在网络入 侵检测系统中的安全性、性能等也需要进行深入的研究。 系统采用分布式结构，分为控制台和网络节点两部分。控制台派遣移动 a g e n t 到网络节点上，采用分布式检测的策略解决高速网络负载分流的问题和 系统单点失效的问题。由于本系统完全基于跨平台的j a v a 语言实现，因此可以 在异构的网络中照常运行。系统的控制台负责系统总体的管理，网络节点提供 网络检测引擎的运行环境；在系统的控制台和网络节点都设置了日志模块，记 载系统事件；网络检测引擎采用分布式结构，构建在移动a g e n t 上，针对每种 入侵分别创建不同的检测a g e n t ，并将其派遣到网络上，这些移动a g e n t 通过 自身的迁移、交互和协作共同在动态网络上实现分布式的入侵检测。检测 a g e n t 采用基于协议分析的高效模式匹配算法来进行入侵检测。 功能性测试结果表明，所实现的系统达到了设计的预期目标。 关键词入侵检测系统移动a g e n t 协议分析 模式匹配 a b s t r a c t w i t ht h es w i f td e v e l o p m e n to ft h en e t w o r kt e c h n i q u e ，t h en e t w o r ks e c u r i t yp r o b l e m h a sb e c o m et h ef o c u st h a tp e o p l et a k ec a r eo f u s i n gf i r e w a l le n di n t r u s i o nd e t e c t i o n s y s t e ma r em o r ea n dm o r ei m p o r t a n t a st h es 订o n gs u p p l e m e n to ft h ef i r e w a l l i n t r u s i o nd e r e c t i o ns y s t e mi st h es e c o n dl i n eo fd e f e n s eo ft h en e t w o r ks e c u r i t y s y s t e m h o w e v e r , t h ef l l l 恤e rd e v e l o p m e n to f 也eh i 吐一s p e e dn e t w o r ke n dt h ef u r t h e r p o p u l a r i z a f t o no fs w i t c hn e t w o r ke n v i r o n m e n t m a k et h e 仃a d i f i o n a ln m s ( n e t w o r k b a s e di n t r u s i o nd e t e c t i o ns y s t e m ) u n a b l et op l a yt h er o l e ，w h i c hs h o u l dh a v ei nt h e n e wn e t w o r ke n v i r o n m e n t t h i sd i s s e r t a t i o ni sd e v o t e dt os t u d y i n ge n dd e s i g n i n gan i d sb a s e do nm o b i l ea g e n t a p p l yt h em o b i l ea g e n tt e c h n o l o g yt o t h en i d s ，e n dg i v ef u l l p l a yt o t h e c h a r a c t e r i s t i co fm o b i l ea g e n tt oo v e r c o m et h ep r e s e n tp r o b l e m sn d sf a c e d t h e k e yw o r ko f t h i sa r t i c l ei st og i v ear e a s o n a b l e e f f e c t i v ei n t r o d u c t i o no f m o b i l ea g e n t t e c h n o l o g yt on i d s ；e q u a l l y , d e e p l yr e s e a r c ho fm o b i l ea g e n t ss e c u r i t ye n d p e r f o r m a n c ei nt h en i d si sa l s oc r o c i a l t h es y s t e ma d o p t st h ed i s t r i b u t e ds t r u c t u r e ，i sd i v i d e di n t ot w op a r t so fac o n s o l e h o s ta n dn e t w o r kn o d e s c o n s o l ed i s p a t c hm o b i l ea g e n t si n t ot h en e t w o r kn o d e s e n dn e t w o r kn o d ew i l lg i v ef u l lp l a yt ot h ec h a r a c t e r i s t i co f h i g h l ya u t o n o m i cm o b i l e a g e n tt h a tc e nm o v ef r e e l ye n de a s i l y , t os o l v et h ep r o b l e mo fh i g h - s p e e dn e t w o r k a n ds i n g l ep o i n to ff a i l u r eb a s e do nd i s t r i b u t e dd e t e c t i o np o l i c y b e c a u s et h es y s t e m i st o t a l l yb a s e do nt h ep l a t f o r m f r e ej a v ap r o g r a m m i n gl a n g u a g e ，i tc a nr u na su s u a l a m o n gh e t e r o g e n e o u sn e t w o r k t h ec o n s o l eh o s tm a n a g et h ew h o l es y s t e m e n dt h e n e t w o r kn o d ep r o v i d et h er u n n i n ge n v i r o n m e n tf o rn e t w o r kd e t e c t i o ne n g i n e ；t h e r e a r el o gm o d u l e st ol o gs y s t e me v e n ti nb o t hc o n s o l eh o s te n dn e t w o r kn o d e ；t h e n e t w o r kd e t e c t i o ne l l g i n co fd sa d o p t st h ed i s t r i b u t e da r c h i t e c t u r e e n di sb u i l do n t h em o b i l ea g e n t s 。a c c o r d i n gt od i f f e r e n td e t e c t i o nr u l e as p e c i a ld e t e c t i o na g e n ti s c r e a t e d ，w h i c hc o u l dd e t e c ts o m ek i n do fi n t r u s i o n a n dt h ed e t e c t i o na g e n ta d o p t sa k i n do fp a t t e r nm a t c h i n ga l g o r i t h m ，w h i c hb a s e do np r o t o c o la n a l y s i s ，f o ri n t r u s i o n d e t e c t i o n 。 t h ef u n c t i o n t e s ti n d i c a t e st h a tt h es y s t e mr e a l i z e dh a sr e a c h e dt h ee x p e c t e dt a r g e t k e yw o r d s ：i n t r u s i o nd e t e c t i o n ；m o b i l ea g e n t ；p r o t o c o la n a l y s i s ；p a t t e r nm a t c h i n g 独创性声明 本人声明所成交的论文是我个人在导师指导下进行的研究工作及 取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得北京工业大学或其他教育机构的学位或证书所使用过的材 料。与我一起工作的同志对本研究所做的任何贡献均已在论文中做 了明确的说明并表示了谢意。 菇也z , o y 、z 关于论文使用授权的说明 本人完全了解北京3 2 业大学有关保留、使用学位论文的规定， 即：学校有权保留送交论文的复e l i 件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复 制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：丑导师签名：t 渔坠目期：趟： 第1 章绪论 以i n t e m e t 为代表的全球性信息化浪潮臼益深刻，信息网络技术的应用正日 益普及和广泛，应用层次正在深入，应用领域从传统的、小型业务系统逐渐向 大型、关键业务系统扩展，典型的系统如党政部门信息系统、金融业务系统、 企业商务系统等。社会经济的发展对信息资源、信息技术和信息产业的依赖程 度越来越大，信息已成为人类宝贵的资源。伴随网络的普及，安全日益成为影 响网络效能的重要问题，而i n t e m e t 所具有的开放性、国际性和自由性在增加 应用方便性的同时，对安全提出了更高的要求。网络信息安全已经成为关系国 家安全的重大战略问题。网络的开放性以及黑客的攻击是造成网络不安全的主 要原因。 开放性的网络，导致网络的技术是全开放的，任何一个人、团体都可能获 得，因而网络所面临的破坏和攻击可能是多方面的，例如：可能来自物理传输 线路的攻击，也可以对网络通信协议和实现实施攻击；可以是对软件实施攻 击，也可以对硬件实施攻击。国际性的网络还意味着网络的攻击不仅仅来自本 地网络的用户，它可以来自i n t e m e t 上的任何一个机器，也就是说，网络安全 所面临的是一个国际化的挑战。 科学家在设计i n t e m e t 之初缺乏对安全性的总体构想和设计，我们所用的 t c p i p 协议是建立在可信的环境之下开放性的网络。自由意味着网络最初对 用户的使用并没有提供任何的技术约束，用户可以自由地访问网络，自由地使 用和发布各种类型的信息。尽管，开放的、自由的、国际化的i n t e m e t 的发展 给政府机构、企事业单位带来了革命性的改革和开放，使得他们能够利用 i n t e m e t 提高办事效率和市场反应能力，以便更具竞争力。通过i n t e m e t ，他们 可以从异地取回重要数据，但是，他们同时又要面对网络开放带来的数据安全 的新挑战和新危险。如何保护企业的机密信息，阻止黑客和工业间谍的入侵， 已成为政府机构、企事业单位信息化健康发展所要考虑的重要事情之一。 1 1 计算机安全 c n n i c 发布的中国互联网络发展状况统计报告显示，中国现已有几千 万上网用户。因此，越来越多的公司将其核心业务向互联网转移，使服务成为 当前1 t 业的一个业务增长点，但网络安全作为一个无法回避的问题呈现在人们 面前。 一个安全的计算机系统的定义为：“一个可以信赖的按照预期的方式运行 的系统。”也就是说，网络系统的硬件、软件及其系统中的数据应该受到保 护、不因为偶然或者恶意的原因遭到破坏、更改、泄露，系统能够连续可靠地 正常运行，网络服务不中断。 因此，建立安全的网络所需要解决的根本问题是如何在保证网络可用性的 同时，对网络服务和客户应用进行控制和管理以保证网络信息资源的完整性不 受影响，一个更精确地安全定义是以四元术语隐私性、完整性、可用性和 可靠性给出的。 1 隐私性( p r i v a c y ) 。即对数据信息的非法访问应加以拒绝，只有授权用 户才能访问。 2 完整性( i n t e g r i t y ) 。即不能非法更改信息的原始数据，因为完整性是 保证数据信息的精确性和可靠性的基础。 3 可用性( a v a i l a b i l i t y ) 。即信息和系统资源能够持续工作的要求，授权 用户能够在他们需要时，从他们需要的地方，以他们需要的方式访问资源。 4 可靠性( r e l i a b i l i t y ) 。即确保信息来自可靠的信源。 图1 - 1p 2 d r 模型示意图 f i g u r e1 1p 2 d r m o d e l 一个安全的计算机系统应该同时支持上面的四个安全目标。根据以上的安 全性考虑，有人提出了p 2 d r 网络安全模型。如图1 - 1 所示，其中各个组成部分 分别为： p o l i c y一策略 p r o t e c t i o n 一防护 d e t e c t i o n 一检测 r e s p o n s e一响应 这是一种动态的、安全性高的网络。它的基本思想是：以安全策略为核 心，通过一致的检查、流量统计、异常分析、模式匹配以及应用、目标、主 机、网络入侵检查等方法进行安全漏洞检测，检测( 比如漏洞扫描和入侵检 测) 使系统从静态防护转化为动态防护，为系统快速响应提供了依据，当发现 系统有异常时，根据系统安全镱略快速做出响应，从而达到了保护系统安全的 目的。防护、检测和响应组成了一个完整的、动态的安全循环，在安全策略的 指导下保证信息系统的安全。 对于不同安全功能的实现，采用不同的安全系统来实现，一般都是通过设 置防火墙，并在网络中部署入侵检测系统来保障网络的安全。可以把我们的网 络类比为一个银行，防火墙相当于银行系统的大门和各种防止未授权人员进入 的防护措施，如各种电子锁和防盗措施，而入侵检测系统则是安装在银行中各 个角落的摄相机，随时监控银行中人员的行为，当出现违规的行为的时候，可 以通过这些监控设施尽快采取紧急响应措施，将所带来的危险降至最低，并可 以通过监控设施所保留的历史记录对违规行为进行指证。 1 2 防火墙 防火墙是一类防范措施的总称，它使得内部网络与i n t e m e t 之间或者与其他 外部网络互相隔离、限制网络互访用来保护内部网络。简单的防火墙可以只用 路由器实现，复杂的可以用主机甚至整个子网来实现。设置防火墙的目的都是 为了在内部网与外部网之间设立唯一的通道，简化网络的安全管理。可以分报 文过滤防火墙和应用层网关防火墙。 报文过滤防火墙是在p 层实现的，因此，它可以只用路由器完成。报文过 滤根据报文的源m 地址、目的邛地址、源端口、目的端口及报文传递方向等 北京工业大字坝士学位论文 报头信息来判断是否允许报文通过。其关键弱点是不能在用户级别上进行过 滤，即不能识别不同的用户和防止口地址的盗用。如果攻击者把自己主机的口 地址设成一个合法主机的口地址，就可以很轻易地通过报文过滤器。 应用层网关防火强的使用可以解决报文过滤防火墙的弱点。在应用层实现 防火墙，对应用协议和应用数据进行匹配检查。可以通过自由定义的安全策略 进行更加广泛和细致的检查。 1 3 入侵检测 入侵检测是指在特定的网络区域中发现未经授权的访问或非法入侵和威 胁，并对其做出反应。入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，简称i d s ) 是进行入侵检测的软件与硬件的组合。入侵检测系统监视计算机系统，寻找入 侵( 未授权用户) 或误用( 未授权用户逾越权限) 的迹象洲2 1 。 入侵检测是1 9 8 0 年由j a m e sa n d e r s o n 首先提出的【3 但直到1 9 8 7 年 d e n n i n g 提出了经典异常检测模型以后，才使入侵检测成为一种真正的计算机 系统安全的防御措施【4 】。1 9 8 8 年提出了i d e s ( i n t r u s i o nd e t e c t i o ne x p e r t s y s t e m s ，入侵检测专家系统) 5 1 和m i d a s ( m u l t i c si n t r u s i o nd e t e c t i o na n d a l e r t i n gs y s t e m ) 等入侵检测模型，将专家系统等其他的方法引入入侵检测领 域。1 9 9 0 年提出了n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 【6 】，拓宽了入侵检测系统的 数据源，将入侵检测数据源扩展到对网络数据包的检测。在随后的几年，入侵 检测系统才真正得到空前的发展。 i d s 技术至今大致经历了三个阶段的发展： 1 第一代i d s 系统包括基于主机日志分析和模式识别的入侵检测系统。这 个阶段的i d s 基本上都是试验性系统，代表性的系统有i d e s 、n i d e s 、 m d a s 、d i d s 、n s m 等。 2 第二代i d s 出现在2 0 世纪9 0 年代中期，主要采用网络数据包截取、 主机网络数据分析和审计、数据分析等技术，代表性的产品有早期的i s s r e a l s e c u r e ( v 6 0 之前) 、s n o r t p 等，国内的绝大多数i d s 厂家的产品都属于 这一类，这类产品的技术比较成熟，但是缺乏系统升级和配置的灵活性。 3 第三代i d s 是近几年才出现的，其特点是采用协议分析、行为异常分析 等技术。协议分析技术的采用极大地减少了计算量，减少了误报率；行为异常 第1 章绪论 分析技术的采用赋予了第三代i d s 系统识别未知攻击的能力，代表性的产品有 n e t w o r k l c e 、i s sr e a l s e c u r e ( v 7 o ) 、n f r ( v 2 0 ) 等。 入侵检测系统具有很大的发展前景，它的主要发展趋势为以下的几个方 丽： 1 针对分布式攻击的分布式入侵检测方面的研究。为了躲避检测，越 来越多的攻击者采用分布式协同的方式发起攻击，对这种攻击的检 测是入侵检测面临的一个重要挑战。 2 用于大规模高速网络入侵检测系统的研究。入侵检测系统要跟得上 高速网络和高性能网络节点产生的事件流。对高速网络的常见解决 方法是分流【9 】。 3 应用层入侵检测的研究。许多入侵的含义只有在应用层才能理解， 许多基于客户朋匣务器结构与中间件技术及对象技术的大型应用，需 要应用层的入侵检测保护。 4 智能入侵检测的研究。需要对智能化的入侵检测系统进一步研究以 解决其自学习与自适应能力。 5 对入侵检测系统与防病毒工具、防火墙、v p n 等其他安全产品协同 工作方面的研究。安全是个整体全局概念。人们在采用入侵检测系 统的同时，可能也会应用其他一些安全技术。如果入侵检测系统能 把检测管理入侵事件和其他安全技术协同起来，那么对整个网络的 安全而言会更好。 6 入侵检测系统的评估测试方面的研究。利用测试和评估结果，可做 出一些预测，推断入侵检测系统发展的趋势，估计风险，制定可实 现的入侵检测系统质量目标。并且可根据测试和评估结果，对入侵 检测系统进行改善，发现系统中存在的问题并进行改进，从而提高 系统的各项性能指标。因此，对入侵检测系统进行评估测试也是一 个比较重要的研究方向。 7 入侵检测与操作系统集成方面的研究。在不久的将来，传感器技术 将会集成到我们每天的计算环境中去。我们已经看到防火墙被集成 到操作系统中，u n i x 和w i n d o w s 都提供不同形式的个人桌面防火 墙。 8 对入侵检测系统自身安全状况的研究。入侵检测作为计算机与网络 的安全措施，其本身也会受到一些攻击，所以有必要采取一些安全 的技术，如m 隐藏技术、认证、s s l 等。 1 4 移动a g e n t 技术 a g e n t 是驻留于环境中的实体，它可以解释从环境中获得的反映环境中所发 生的事件的数据，并执行对环境产生影响的行为【1 0 1 1 】。智能a g e n t 是能为用户 执行特定的任务，具有定程度的智能以允许自主执行部分任务并以一种合适 的方式与环境相互作用的软件程序( 1 2 】。 移动a g e n t 则是一个能够在异构的网络中自主地从一台主机迁移到另一台 主机，并可与其他a g e n t 或资源进行交互的程序，实际上它是a g e n t 技术与分 布式计算技术的混合产物。对于传统的r p c 客户和服务器之间的交互需要连续 的通信支持，移动a g e n t 则可以迁移到服务器上，与服务器进行本地交互，这 种通信方式大大节省了通信开销。对于移动a g e n t 的迁移内容，不仅包含移动 a g e n t 的运行代码，同时还包括移动a g e n t 的运行状态。移动a g e n t 不同于远程 执行，移动a g e n t 能够自主的进行迁移，根据自己的移动策略从网络的一个位 置移动到网络的其他位置上继续执行。 1 5 国内外相关研究现状和分析 1 5 1 国外研究现状 入侵检测的起源于审计技术，是产生、记录并检查按时间顺序排列的系统 时间记录的过程。 1 9 8 0 年4 月，j a m e sea n d e r s o n 在c o m p u t e rs e c u r i t yt h r e a tm o n i t o r i n g a n ds u r v e i l l a n c e ) ) ( 计算机安全威胁监控与监视) 中第一次详细阐述了入侵检测 的概念，并且对计算机系统威胁分类为：外部渗透、内部渗透和不法行为，同 时提出了利用审计跟踪数据监视入侵活动的思想。这份报告被公认为是入侵检 测的开山之作吼 从1 9 8 4 年到1 9 8 6 年，乔治敦大学的d o r o t h yd e n n i n g 和s r i c s l 第1 章绪论 ( s t a n f o r d r e s e a r c h i n s t i t u t e ) 的p e t e r n e u m a n n 研究出了一个实时的入侵检测系 统模型- - i d e s ( 入侵检测专家系统) 【4 】吼 1 9 9 0 年，c a l i f o r n i a 大学d a v i s 分校的l t h e b e r l e i n 等人开发出了n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 6 1 。该系统首次使用网络数据包作为审计数据源， 提出了网络i d s 的概念。从此，入侵检测系统的两大阵营正式形成，即基于网 络的i d s ( n e t w o r k - b a s e di d s ) 和基于主机的i d s ( h o s t - b a s e di d s ) 。 1 9 9 4 年，p o r r a s 在s r i 开发出i d e s 系统的后续版本n i d e s 系统，并进一 步开发了用于分布式环境的e m e r a l d ( e v e n tm o n i t o r i n ge n a b l i n gr e s p o n s et o a n o m a l o u sl i v ed i s t u r b a n c e s ) 系统，该系统设计在大型分布式网络环境下工 作，具备在不同功能层次上进行检测分析的能力。 1 9 9 7 年，c i s c o 公司开始将入侵检测技术嵌入到路由器中，同时i s s 公司发 布了基于w i n d o w sn t 平台r e a l s e c u r e 网络入侵检测系统，从此开始了商用网 络入侵检测系统的发展。 2 0 0 0 年，普渡大学的d i e g oz a m b o n i 和e s p a f f o r d 提出了入侵检测的自治 a g e n t ( a u t o n o m y a g e n t ) 结构，并实现了原型系统a a f i d 系统 1 3 i 。 到目前为止，比较成熟的基于代理的分布式入侵检测系统产品还没有进入 市场，但是在实验室中已经出现了很多此类的原型系统或实验产品。 1 5 2 国内研究现状 当前国内的主要产品都主要着眼于系统的整体性能，一般都是以专用机进 行网络数据包的入侵检测，其中所谓的分布式，并没有从根本上解决千兆入侵 检测系统的处理速度问题，而只是将数据收集部分采用分布式，并不是数据分 析部分的分布式。 国内主要的入侵检测系统的同类产品主要有： 1 u m s l d s u n i s i d s ( 紫光入侵检测系统) 是紫光网络推出的一个真正实时监测黑客入 侵、报警、响应和防范的入侵检测系统。u n i s d s 主要包括管理中心a d m i n 、 基于网络的入侵检钡4 引辈n e t w o r ka g e n t 和基于主机的入侵检测引擎h o s ta g e n t 三个模块。u n i s i d s 实现了基于主机检测功能和基于网络检测功能的无缝集 成。通过对系统事件和网络上传输的数据进行实时监视和分析，一旦发现可疑 - 7 t 的入侵行为和异常数据包，立即报警并做出相应的响应，使用户的系统在受到 破坏之前及时截取和终止非法的入侵或内部网络的误用，从而最大程度的降低 系统安全风险，有效的保护系统的资源和数据。 2 方御网络入侵检测系统 方御网络入侵检测系统是北大方正方御安全产品系列的核心产品之一，它 针对各行业用户的网络应用设计，以解决各行业的网络管理员、安全技术人员 的实际需要为目标。方御网络入侵检测系统主要分为控制台、分布式传感器、 规则库、审计和日志系统、报表统计系统、入侵响应系统等部分。该产品是国 家经贸委支持的国家熏点技术创新项目，同时被列为国家8 6 3 计划信息安全”入 侵检测与灾难恢复”课题。 3 “冰之眼”网络入侵检测系统 中联绿盟信息技术( 北京) 有限公司自主研发的“冰之眼”网络入侵检测 系统是n s f o c u s 系列安全软件中一款专门针对网络遭受黑客攻击行为而研制 的网络安全产品。该产品可最大限度地、全天候地监控，提供企业级的安全监 测手段。在事后分析的时候，可以清楚的界定责任人和责任事件，为网络管理 人员提供强有力的保障。冰之眼网络入侵检测系统由网络探测器、内网探测 器、s s l 加密传输通道、控制台、日志分析系统、s q l 日志数据库系统及绿盟 科技中央升级站点几部分组成。 在国内基于移动a g e n t 的分布式入侵检测系统还主要在实验室中，对于在 实验室中的实验项目，如电子科技大学计算机学院微机所的一个部委基金资助 的项目就是关于基于移动a g e n t 的分布式入侵检测系统，其他如中国科大研究 生院( 北京) 、北京理工大学、大连理工大学、南京航空航天大学“ 、河北工 业大学等高等院校和其他科研院所都有相关的原型系统，并发表了相关的论 文。 1 6 主要研究内容及研究方案 本文的主要研究内容是探索如何有效地将移动a g e n t 技术应用到网络入侵 检测系统中，实现基于移动a g e n t 的分布式网络入侵检测系统。基于现有成熟 的入侵检测技术，结合移动a g e n t 技术应用于入侵检测系统的优势，设计一种 基于移动a g e n t 的分布式入侵检测系统模型，并在基于j a v a 的移动代理平台 毋ma 百e t s 上，构建原型系统。 基于移动a g e n t 的网络入侵检测系统，属于分布式的网络入侵检测系统， 对于每个分布式组件，都相当于一个小型的网络入侵检测系统。因此，首先需 要实现一个简单的网络入侵检测系统，然后在此基础上将移动a g e n t 技术应用 在该入侵检测系统中，构成基于移动a g e n t 的分布式网络入侵检测系统。 整个系统分为两个部分：控制台和节点主机。控制台主要负责整个系统的 管理工作；节点主机提供移动a g e n t 的运行环境。控制台派遣检测a g e n t 到节 点主机上完成分布式的网络入侵检测。 在系统中采用静态代理实现网络报文的捕获和系统信息的收集。将静态代 理放置在网络中的节点主机上收集信息并作基本处理，各种静态代理将信息处 理后传送给上层的网络检测引擎。网络检测引擎采用分布式结构，构建在移动 a g e n t 上，针对每种不同的入侵分别创建不同的检测a g e n t ，并将其派遣到网络 上。这些移动a g e n t 在不能独立判断入侵的情况下相互协作共同完成入侵检 测，并对入侵产生报警或执行相关操作。 对于基本的网络入侵检测系统，采用j a v a 作为开发语言，采用精简的 j p c a p 项目开发包实现报文捕获。在数据检测和数据分析部分，使用基于协议 分析的高效模式匹配算法进行入侵检测。由于在协议分析的基础上调用模式匹 配引擎，因此大大缩4 , y 匹配的搜索范围，提高了匹配效率。移动a g e n t 运行 平台采用基于j a v a 的i b m 公司的开源项目a g l c t s ，并使用移动a g e n t 服务器 t a h i t i 为移动a g e n t 提供运行环境。 本课题提出根据每种入侵分别创建不同的检测a g e n t ，将这些检测a g e n t 派 遣到动态的网络上，可以自动的实现高速网络的负载平衡，解决了高速网络的 数据分流问题。同时，由于采用了分布式的结构，也解决了单机入侵检测系统 的单点失效问题，大大提高了系统的安全性和有效性。 - 垒- 第2 章技术背景 2 1 基于网络的入侵检测系统 入侵检测系统按照检测数据源的不同，一般分为基于主机的入侵检测系统 和基于网络的入侵检测系统。 当入侵检测系统用于分析网络分组( n e t w o r kp a c k e t ) 时，该系统就是基于 网络的。与之相对的是，基于主机的入侵检测处理计算机本身产生的数据( 如 事件日志文件 10 】) 。一般的入侵检测系统都分析t c p i p 协议，并通过各种技术 来分析协议的不同层的数据。由于一般的入侵行为都是由于系统或者网络具有 某种可以利用的漏洞，并由入侵者加以利用，因此，入侵行为都具有某种特征 ( s i g n a t u r e ) 。网络入侵检测系统可以通过对系统或协议的漏洞进行分析来找到 该入侵行为的模式，通过模式匹配的方法来检测入侵行为。 基于网络的入侵检测系统通常放置在比较重要的网段，实时地监视该网段 的各种数据包，并对每一个数据包或可疑的数据包进行特征分析。由于其分析 检测的准确率要明显高于主机入侵检测系统，因此得到了更加广泛的应用。目 前，大部分入侵检测产品都是基于网络的。 按照通用入侵检测框架( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ，c d f ) 的规范 1 5 【1 6 i ，如图2 - 1 所示，i d s 包含4 个基本部件：事件产生器( e v e n t g e n e r a t o r s ，用e 盒表示) 、事件分析器( e v e n ta n a l y z e r s ，用a 盒表示) 、响应 单元( r e s p o n s eu n i t s ，用r 盒表示) 和事件数据库( e v e n td a t a b a s e s ，用d 盒 表示) 。 事件产生器事件分析器 事件数据库响应单元 图2 - 1c i d f 通用入侵检测框架 f i g u r e2 1c o m m o ni n t r u s i o nd e t e c t i o nf r a m e 角2 章技术背景 用c i d f 来表示入侵检测的过程：e 盒通过传感器收集事件数据，并将信息 传送给a 盒，a 盒检测误用模式：d 盒存储来自a 、e 盒的数据，并为额外的 分析提供信息；r 盒从a 、e 盒中提取数据，d 盒启动适当的响应。通常，网 络入侵检测系统中，都完全或者部分地实现c i d f 规范中所有的组件。 网络入侵检测系统主要由报文捕获模块、协议分析模块、规则匹配模块和 响应处理等模块组成【1 7 】。网络入侵检测系统中的事件产生器，是报文捕获模 块，一般都是由伯克利数据包过滤器发展而来的，在不同的操作系统上产生了 不同版本；事件分析器，也就是入侵检测引擎，一般采用特征检测或异常检测 图2 - 2 网络入侵检测系统数据流 f i g u r e2 2d a t af l o wo f n i d s 方法对数据包进行分析，如果发现攻击或异常现象，则发送报告给响应处理模 块，在实际的产品中多采用高效和准确率高的模式匹配算法，也就是协议分析 模块和规则匹配模块；事件数据库是存放各种中间和最终数据的地方的统称， 它可以是复杂的数据库，也可以是简单的文本文件；因此一般采用集中的数据 库来实现，或者采用本地日志的形式来实现；响应单元，也就是决策响应模 块。按照攻击或异常现象的危险级别确定应该采取的行动，并采取相应的行动 进行响应，如向控制台发警报，切断网络连接或通知防火墙隔离攻击方等。 北京工业大学硕士学位论文 2 1 1 报文捕获 网络报文捕获是网络入侵检测系统的基础部件。一般指捕获整个网络的所 有网络分组。尽管网络分组可以从路由器及交换机的输出处获得，但网络分组 通常都是在网络上被“嗅探”到的。网络数据分组的捕获技术主要经过两代技 术。 b p f 机制 通常，现在的网络报文捕获技术都是由b s d 系统包截取系统发展发展来 的。b p f ( b e r k e l e yp a c k e tf i l t e r ) 即伯克利数据包过滤器，是一种基于u n i x 内 核的数据包过滤机制，它可以提供内核级别的功能使用户程序访问未处理的原 始网络流量数据。b p f 提供了一种新的流量监控结构，其性能比其它工具有显 著提高，主要有两个原因：第一，b p f 使用基于寄存器的过滤器虚拟机，能够 在基于寄存器的r i s c 处理器上高效地实现，而早期的数据包过滤器使用基于 内存堆栈的过滤机，其性能受内存速度瓶颈影响；第二，b p f 使用简单的不共 享方式缓存模型，充分利用现代计算机的大地址空间【1 8 。 b p f 主要由三个部分组成：网络分接头( n e t w o r kt a p ) 、数据包过滤器 ( p a c k e tf i l t e r ) 和核心缓冲器。 1 网络分接头 网络分接头负责从网络设备驱动程序处收集数据包拷贝，并传递给正在监 听的应用程序。过滤器决定某一数据包是被接受还是拒绝，及数据包被接受以 后数据包中的哪些部分将被拷贝给应用程序。 2 伯克利数据包过滤器 伯克利数据包过滤器是一种用于u n i x 内核的数据包过滤体制。b p f 使用 了一种重新设计的基于寄存器的“过滤器虚拟机”，它能够在基于寄存器的 r i s c 处理器上高效率地实现。b p f 使用了一种简单的非共享的缓存模型，能 大大提高数据包的截取性能。 3 核心缓冲器 核心缓冲器( k e m e lb u f f e r ) 用于暂存截取的数据包，以便于进一步的处 理。当一个数据包到达网络接口设备时，链路层设备驱动程序通常把它传送给 系统协议栈进行处理。但是，当b p f 也在该网络接口上监听时，驱动器将会首 第2 章技术背景 先调用b p f 。b p f 再将数据包传递给每个监控进程的过滤器。这些用户自定义 的过滤器将决定一个数据包是否被接受以及数据包中哪些内容应该被保存下 来。对于每一个决定接受数据包的过滤器，b p f 将所需的数据拷贝到与之相连 的缓存中。然后，设备驱动程序重新获得控制权。此时，如果该数据包的目标 地址不是本机地址，则驱动程序从中断过程返回，否则，将进行正常的网络协 议处理过程。 l i b p e a p 函数库 随后出现的是基于l i b p e a p 库的通用数据截取技术。l i b p c a p 是用户态的数据 包截取a p i 函数接口。最初，l i b p e a p 是为了t c p d u m p 而编写的。l i b p e a p 支持 b p f 过滤机制，l i b p e a p 最主要的优点是可以从任何类u n i x 内核平台上截取数 据包。典型的免费开源n d s 系统s n o r t 就是依赖于l i b p e a p 库进行数据包截取 的程序之一。l i b p e a p 的英文意思是p a c k e tc a p t u r el i b r a r y ，即数据包截取函数 库。该函数库提供的函数接口可用于需要截取经过网络接口数据包的系统开发 上。由b e r k e l e y 大学l a w r e n c eb e r k e l e yn a t i o n a ll a b o r a t o r y 研究院的v a n j a c o b s o n 、c r a i gl e r o s 和s t e v e nm e c a n n e 编写。 为了支持在w i n d o w s 系统上使用l i b p e a p 的机制，出现了l i b p c a p 在 w i n d o w s 系统上移植的版本- - w i n p e a p 。 2 1 2 协议分析 模式匹配方法分析速度快、误报率低，这是其它入侵检测分析方法不可比 拟的，但是单纯使用模式匹配的方法有很大的弊端。因为这种检测方法是把网 络数据包看作无序的随意的字节流，不涉及网络数据包的内部结构，只是机械 地对网络中传输的数据包逐一进行匹配，而不管是音频包还是图像包。单纯的 模式匹配方法的工作过程如下： ( 1 ) 从网络数据包的包头开始，与攻击特征进行比较； ( 2 ) 如果比较结果相同，则检测到一个可能的攻击； ( 3 ) 如果比较结果不同，则从网络数据包的下一个位置开始，重新与攻击特 征进行比较； ( 4 ) 直到检测到攻击特征或网络数据包中的所有字节匹配完毕都没有找到攻 击特征。这时，一个攻击特征的模式匹配过程结束； 北京工业大学硕士学位论文 ( 5 ) 对于每一个攻击特征，重复步骤( 1 ) 一( 4 ) ； ( 6 ) 对所有的攻击特征匹配完毕的时候，该数据包的匹配完毕。 因此，可以看出传统的模式匹配方法存在很多问题： ( 1 ) 计算量大。对于一个特定网络每秒需要比较的最大次数为：攻击特征字 节数网络数据包字节数每秒数据包数量攻击特征数量。如果所有攻击特 征长度为2 0 字节，网络数据包平均长度为3 0 0 字节，每秒3 0 0 0 0 数据包，攻 击特征库中有4 0 0 0 条特征，那么，每秒比较次数为： 2 0 3 0 0 3 0 0 0 0 x 4 0 0 0 ；7 2 1 0 ”( 次) ( 2 ) 检测准确性不高。传统的模式匹配只能检测给定类型的攻击，对稍微变 形的攻击特征就束手无策。例如，对于w e b 服务器的p b _ f c g i 漏洞，执行以 下命令会产生相同的效果。 h t t p ：w w w , s o m e n e t c g i - b i n p h f ? q a l i a s = x 0 a b i n c a t 2 0 e t c p a s s w d h t t p ：w w w s o m e n e t c g i b i n p h f ? q a l i a s - - x 0 a b i n c a t 2 0 e t c p a s s w d h t t p ：w w w , s o m e n e t c g i b i n p h f ? q a l i a s - - x 0 a l b i n c a t 2 0 e t c p a s s w d 对于攻旨p h f , i , i p t l f 和p h f 可以认为是同一攻击，但是单纯的模式匹配方法 对这种稍加变化的攻击却无法检测。随着网络技术的发展，网络的流量也在不 断加大，攻击技术更加复杂，可见传统的模式匹配方法已不能适应新的要求。 l l l l l 一 1 4 个字节 2 0 个字节 2 0 个字节 1 4 个字节 图2 - 3e