（计算机系统结构专业论文）基于多代理的网络入侵检测系统的设计与实现研究.pdf

摘要 摘要 入侵检测是保障网络安全的重要手段之一。本文研究了利用代理( a g e n t ) 技 术构建入侵检测系统的若干问题。 首先，在分析入侵检测的基本理论和代理技术的基础上，提出了一种基于多代 理的、分布式、多层次的入侵检测体系结构，并对其特点进行了分析。 基于面向对象思想，设计了系统内部的消息交换格式：通过分析系统的通信需 求，给出了系统内部的通信方式和安全的通信协议；针对目前入侵检测系统j 下成 为被攻击目标的现状和代理技术给系统自身带来的安全问题，又提出了相应的安 全策略和安全机制。 最后，本文分析了入侵检测在信息系统安全体系中的作用和局限性，讨论了引 入容忍入侵的思想，将入侵检测和多种安全技术结合起来，建立多层次、纵深防 御体系的问题。 关键词：网络安全入侵检测代理 a b s t r a c t a b s t r a c t i n t r u s i o nd e t e c t i o ni sa ni m p o r t a n tm e t h o d a g a i n s tn e t w o r kt h r e a t sa n da t t a c k s w e p r o p o s et h es t u d yo nc o n s t r u c t i n gi n t r u s i o nd e t e c t i o ns y s t e mb yu s i n ga g e n tt e c h n o l o g y i nt h i st h e s i s f i r s t l y , t h i st h e s i sp r o p o s e sam u l t i l a y e rd i s t r i b u t e di n t r u s i o nd e t e c t i o na r c h i t e c t u r e b a s e do n a g e n t sa n d d i s c u s s e st h e p r o p e r t yo f t h ea r c h i t e c t u r e s e c o n d l y ，t h ef o r m a to fm e s s a g ee x c h a n g e di nt h es y s t e mi sd e s i g n e db a s e do n o b j e c t - o r i e n t e dt e c h n i q u e a c c o r d i n g t ot h er e q u i r e m e n t so ft h es y s t e mc o m m u n i c a t i o n s t h ec o m m u n i c a t i o n sm e a n sa n ds e c u r ec o m m u n i c a t i o n sp r o t o c o la r ea l s og i v e n f o r e m e r g i n ga t t a c k sa g a i n s ti d sa n dt h r e a t st ot h es y s t e mr e l a t e dt oa g e n t s ，t h i st h e s i s p r e s e n t sc o r r e s p o n d i n gs e c u r i t ys t r a t e g ya n dm e c h a n i s m t o o f i n a l l y a f t e ra n a l y z i n g t h ef u n c t i o na n dl i m i t a t i o no fi n t r u s i o nd e t e c t i o ni n i n f o r m a t i o n s y s t e ms e c u r i t ya r c h i t e c t u r e ，t h i s t h e s i sd i s c u s s e st h e p r o b l e m o f c o n s t r u c t i n g a m u l t i - l a y e ri n d e p t h d e f e n s e b yi n t r o d u c i n g i n t r u s i o nt o l e r a n c ea n d c o m b i n i n g i n t r u s i o nd e t e c t i o nw i t hv a r i o u ss e c u r i t yt e c h n i q u e s k e y w o r d ：n e t w o r ks e c u r i t y i n t r u s i o nd e t e c t i o n a g e n t 卢明 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行j 的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文巾不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均己在论文中作了明确的说明并表示了，谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：拐猫同期：2 翌哮u 关于论文使用授权的说明 本人完全了解两安电子科技大学有关保留和使用学位论文的规定，即：研究 型：往校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文：学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印、或其它复印手段保存论文。( 保密的论 文在解密后遵：j ：此规定) 本人签名 导帅签名 同期：至堡g 。l7 只期：型赴 第一章绪论 第一章绪论 随着计算机网络的迅猛发展，网络安全问题日益受到人们的关注。保护网络 免受攻击，保障信息安全正成为研究的热点。入侵检测是保障网络安全的重要手 段之一，但随着网络规模的不断扩大，攻击手段的不断增多，入侵检测正面临着 越来越大的挑战。本论文主要讨论了利用代理这一新兴技术构建入侵检测系统的 问题。并对系统的总体构架、实现和安全性等闯题作了研究。 1 1 网络安全概述 当前计算机网络j 下在经济和生活的各个领域迅速普及，整个社会对网络的依 赖程度越来越大，网络已经成为社会和经济发展的强大动力，其地位越来越重要。 众多的企业、组织、政府部门与机构都在组建和发展自己的网络。并连接到i n t e m e t 上，以充分共享、利用网络的信息和资源。但伴随着网络的发展，也产生了各种 各样的问题，其中以安全问题尤为突出。 网络面l 晦的安全威胁主要来自下面几方面： l 、黑客的攻击。 黑客是网络中一个特殊的群体，他们利用网络中的漏洞和缺陷，攻击网络中 的主机，进行非法的活动。如修改网页、非法进入主机破坏程序、窃取机密信息、 阻塞网络等。现在黑客技术正逐渐被越来越多的人掌握，黑客攻击己成为网络安 全的主要威胁之一。 2 、管理的欠缺。 网络系统的严格管理是企业、机构及用户免受攻击的重要措施。但事实上很 多企业、机构及用户的系统都琉予这方面的管理。这也是造成网络不安全性的一 个重要原因。 3 、网络自身的缺陷。 i n t e r n e t 的共享性和开放性使网络安全存在先天不足，其赖以正常运转的 t c p i p 协议族( i p v 4 ) ，在最初的设计时主要考虑的是如何在网络中f 确地传递 信息，而基本没有考虑安全问题，缺乏相应的安全机制，存在着安全隐患。 4 、软件中的漏洞或“后门”。 随着软件系统规模的不断增大，系统中也不可避免地存在安全漏洞。无论是 操作系统，还是众多的各类服务器、浏览器和应用软件都存在着安全隐患。而且 软件设计人员为了自身方便或其它的原因在软件中设置的“后门”也常常被攻击 基丁多代理的网络入侵检测系统的设计与实现研究 者利用。 5 、企业网络内部威胁。 同外部的攻击相比，网络内部的用户的误操作、资源滥用和恶意行为常常更 加难以防范。由于其更加了解网络的内部情况，因此会对网络造成更大的破坏。 正是由于存在以上的安全威胁，网络正遭受着越来越多的攻击。主要的攻击 有病毒( v i r u s e s ) 、孀虫( w o r m ) 、特洛伊木马( t r o j a nh o r s e ) 、陷( ( t r a pd o o r ) 、逻辑 炸弹( l o g i c a lb o m b ) 、哄骗( s p o o f ) 、冒充( m a s q u e r a d e ) 、口令破解( p a s s w o r d c r a c k i n g ) 、社会工程( s o c i a le n g i n e e r i n g ) 、扫描( s c a n n i n g ) 、拒绝服务( d e n i a l o f - s e r v i c e ) 等。因此，保障网络和信息安全f 成为同益关注的焦点问题。 1 2 入侵检测是保障网络和信息安全的必要手段 信息安全的目标是要保证信息的保密性( c o n f i d e n t i a l i t y ) 、完整性( i n t e g r i t y ) 、可 垌性( a v a i l a b i i i t y ) 和认证。 生( a u t h e n t i c a t i o n ) 川。 l 、保密性就是要保证信息不泄漏给非授权的个人和实体，只有合法用户爿能 使用，这是信息安全最重要的要求。 2 、完整性要求信息在存储或传输过程中不被非法修改、增删和破坏，保证信 息的正确性、有效性和一致性，这是信息系统安全的基本要求。 3 、町用性要保护合法用户访问信息系统时免受非法限制，即保证网络、系统、 硬件和软件的可靠性，即使有中断服务的事件发生，也能快速地恢复f 常。 4 、认证性就是保证信息只能被合法的用户访问和使用。 传统的安全措施主要有以下几种； 1 、识别与认证( i d e n t i f i c a t i o n & a u t h e n t i c a t i o n ) 识别与认证是网络安全最常用的、最基本的安全措施之一。其实现方式主要 有：通过用户名认别使用者是否是系统的合法用户；通过1 5 1 令字( p a s s w o r d ) 或智能 4 9 - ( s m a r tc a r d ) 等方式柬验证使用者是否是其所宣称的那个用户：通过c a 认证j ( k e r b e r o s 、x 5 0 9 ) 的方法确定用户的身份。借助识别与认证( i & a ) ，可以在很 大程度上限制非法用户对系统的访问，起到对系统的保护作用。 2 、访问控胄i j ( a c c e s sc o n t r 0 1 ) 访问控制针对不同的用户或组织，对其访问网络或系统资源设置不同的访问 级别，从而限制其可使用信息的多少。访问控制在识别与验证的基础上，迸一步 增强了系统的安全性。 3 、防火墙( f i r e w a l l ) 防火墙在不可信的网络( 如i n t e m e t ) 和可信的网络( 如公司内部网络) 之问 第一章绪论 提供了安全边界，通过包过滤或代理服务器的方式，阻挡或隔离外部网络对内部 网络的访问，从而达到保护内部网络的目的。 识别与认证可以阻止非法用户进入系统，鉴别合法用户并记录其活动，但是 面临着口令破解和网络嗅探的威胁。同时现有的认证系统，如k e r b e r o s ， s o l a r i s d c e 等都存在着已被证实的漏洞。因此，在i & a 系统之外监测用户的行 为是十分必要的。 访问控制通过设定相应的规则限制用户使用系统资源的范围。但为每一个目 录和文件设置访问权限是一项非常复杂的任务。无论是产品厂商还是系统管理员 都有可能错误地配置访问规则。同时众多的应用程序中存在的错误都可以被利用 来获得更高的权限。因此当系统的访问权限策略被破坏时，需要能尽快地检测到 并及时地做出反应。 防火墙通过过滤特定类型或特定地址的数据包来保护内部网络。但是防火墙 必须要允许特定的数据( 如h t t p 包) 通过，这样内部网络和外部网络j 能交换 信息。因此，任何针对允许流量的攻击，都有可能被利用来入侵网络。同时防火 墙的配置也是十分复杂的，不当的配置同样会造成入侵的漏洞。并且防火墙对于 内部人员的破坏往往是无能为力的。 综上所述，虽然识别与验证、访问控制和防火墙从不同的层次和角度对网络 实施了特定的保护，但由于其自身的缺陷，需要建立一种监测网络和用户行为的 机制，能够及时地发现入侵和非法的行为：在系统遭受攻击时，能及时做出反应 并对攻击作相应的记录；在受到攻击后能对数据进行统计分析，为以后的检测提 供依据。入侵检测f 是这样的一种机制，它在识别与验证、访问控制和防火墙的 基础上对网络提供了更深一层的保护，能更好地保障网络和信息系统的安全。 1 3 课题的研究内容和章节安排 入侵检测发展至今已有2 0 多年的历史，但无论是在理论和还是方法上都不完 善，并且随着网络规模的不断扩大，需要入侵检测系统在增强检测能力的同时， 也要具有检测大规模网络的能力。 代理作为一门新兴的软件技术，具有许多良好的特性。将这些特性引入入侵 检测系统，可以在很大程度上增强其检测能力。因此，本论文在参考i d w g 工作 组的相关草案、r f c 和国内外入侵检测的研究进展的基础上，进行了以下工作： l 、基于多代理( a g e n t ) 的入侵检测体系结构的研究。提出了一种基于代理 技术的、分靠式、多层次的入侵检测体系结构： 2 、系统实现机制的研究。主要包括对代理及其平台、系统的消息格式、通信 机制和系统自身安全性方蔼的研究。 基丁多代理的网络入侵检测系统的设计与实现研究 3 、讨论了将入侵检测和多种安全技术结合起来，引入信息保障、信息可生存 性的思想，建立多层次、纵深防御体系的问题。 本论文的章节安排如下： 第二章介绍了入侵检测的基本理论。主要内容包括入侵检测的基本概念、分 类、检测技术、入侵检测体系结构、入侵检测的现状和未来的发展方向。 第三章介绍了代理技术及其在入侵检测当中的应用，分析了代理技术在入侵 检测当中的优点和缺陷，提出了一种基于多代理的入侵检测体系结构，并对其各 个组成部分的功能及其相互关系作了阐述。 第四章讨论了代理及其运行环境。主要内容有：代理的运行平台、代理的生 命剧期、代理的属性和重要方法、代理的消息处理等。 第五章研究了系统的实现机制。给出了系统的通信方式和方法，设计了安全 的通信协议和系统的消息交换格式，并提出了相应的安全机制来增强系统的安全 性。 第六章对信息系统的安全体制做了探讨。这一章分析了入侵检测系统在网络 安全体系的作用及其局限性。讨论了结合多种安全技术，建立纵深防御体系的问 题。 第七章就本论文研究的内容做出了全面的总结，指出需要进一步丌展的工作。 第二二章入侵检测基本理论 第二章入侵检测基本理论 2 1 入侵检测概述 入侵检测( i n t r u s i o nd e t e c t i o n ) 的概念首先是由j a m e sa n d e r s o n 3 1 于19 8 0 年提 出来的。入侵是指在信息系统中进行非授权的访问或活动，不仅指非系统用户非 授地登陆系统和使用系统资源，还包括系统内的用户滥用权力对系统造成的破坏， 如非法盗用他人帐户，非法获得系统管理员权限，修改或删除系统文件等。 入侵检测可以被定义为识别出f 在发生的入侵企图或已经发生的入侵活动的 过程h ：。入侵检测包含两层意思：一是对外部入侵( 非授权使用) 行为的检测； 二是对内部用户( 合法用户) 滥用自身权限的检测。 入侵检测系统( i d s ) 是从网络和系统中收集并分析信息，找出入侵和滥用权 限行为的检测系统。 i d w g 工作组”。1 是i e t f 下设的一个工作组，主要致力于入侵检测标准化方面 的工作。它将入侵检测系统分为几个部分，各部分之间的关系如图2 1 。 施 r 。 圈2 1 入侵检铡系统组成圈 数据源为入侵 瀚系统提供最初的数据来源，i d s 利用这些数据来检测入侵。 数掘源包括网络包、审计日志、系统日志和应用程序同志等。探测器从数据源提 取出与安全相关的数据和活动，如不希望的网络连接( t e l n e t ) 或系统日志中用户 的越权访问等，将这些数据传送给分析器做进一步分析。分析器的职责是对探测 基丁多代理的网络入侵检测系统的设计与实现研究 器传来的数掘进行分析，如果发现未授权或不期望的活动，就产生警报并报告管 理器。管理器是i d s 的管理部件，其主要功能有配置探测器、分析器；通知操作 员发生了入侵；采取应对措施等。管理器接收到分析器的警报后，便通知操作员 并向其报告情况，通知的方式有声音、e - m a i l 、s n m p t r a p 等。同时管理器还可以 # 动地采取应对措旌，如结束进程，切断连接，改变文件和网络的访问权等。操 作员利用管理器束管理i d s ，并根据管理器的报告采取进一步的措施。管理员是网 络和信息系统的管理者，负责制定安全策略和部署入侵检测系统。安全策略是预 先定义的一些规则，这些规则规定了网络中那些活动可以允许发生或者外部的哪 些主机可以访问内部的网络等。安全策略通过应用到探测器、分析器和管理器上 来发挥作用。 2 2 入侵检测系统分类 依据不同的标准，可以将入侵检测系统划分成不同的类别。可以依照检测方 ，上、对入侵的向应方式和信息的来源等不同的标准来划分入侵检测系统【8 】。但传统 的划分方法是根据信息的来源将入侵检测系统分为基于网络的入侵检测系统 ( n i d s ) 和基于主机的入侵检测系统( h i d s ) 两大类。 2 2 1 基于网络的入侵检测系统 摹了二网络的入侵检测系统的信息来源为网络中的数据包。n i d s 通常是在网络 层监听并分析网络包来检测入侵，可以检测到非授权访问、盗用数据资源、盗取 口令文件等入侵行为。 n i d s 的优势在于它的实时性，当检测到攻击时，就能很快做出反应。另外 n i d s 可以在一个点上监测整个网络中的数据包，不必像h i d s 那样，需要在每一 台主机k 都安装检测系统，因此是一种经济的解决方案。并且，n i d s 检测网络包 时并不依靠操作系统来提供数据，因此有着对操作系统的独立性。 但n i d s 也有一些缺陷，因此也面临着一些挑战： j 、数据包的重新装配( r e a s s e m b l y ) 问题 不同的网络的最大传输单元( m t u ) 不同，一些大的网络包常常被分成小的 网络包来传递。当大的网络包被拆分时，其中的攻击特征有可能被分拆，n i d s 在 网络层无法检测到这些特征，而在上层这些拆分的包又会登赫装配起来，造成破 坏。 2 、数据加密问题 随着v p n ，s s h 和s s l 的应用，数据加密越来越普遍，传统的n i d s 工作在网 第二章入侵检测基本理论 络层，无法分析上层的加密数据，从而也无法检测到加密后入侵网络包。 3 、高速网络问题 在百兆甚至是千兆网上，仅仅通过在一个点上分析整个网络上的数据包是不可 行的，必然会带来丢包的问题，从而造成漏报或误报。 4 、交换式网络( a t m ) 问题。 异步传输模式( a t m ) 网络以小的、固定长度的包信元传送信息。5 3 字节定 长的信元与以往的包技术相比具有一些优点：短的信元可以快速交换、硬件实现 容易。但是，交换网络不能被传统网络侦听器监视。从而无法对数据包进行分析。 2 2 2 基于主机的入侵检测系统 纂于主机的入侵检测系统的信息来源为操作系统事件r 恚、管理工具审计记 录和应用程序审计记录。它通过监视系统运行情况( 文件的打开和访问、文件权 限的改变、用户的登录和特权服务的访问等) 、审计系统开志文件( s y s l o g ) 和应 用程序( 关系数据库、w e b 服务器) 同志来检测入侵来检测入侵。h i d s 可以检测到 用户滥用权限、创建后门帐户、修改重要数据和改变安全配置等行为，同时还可 以定期对系统关键文件进行检查，计算其校验值来确信其完整性。 h i d s 检测发生在主机上的活动，处理的都是操作系统事件或应用程序事件l m 不是网络包，所以高速网络对它没有影响。同时它使用的是操作系统提供的信息， 经过加密的数据包在到达操作系统后，都已经被解密，所以h i d s 能很好地处理包 加密的问题。并且，h i d s 还可以综合多个数据源进行进一步的分析，利用数据挖 掘技术来发现入侵。 但是，h i d s 也有自身的缺陷，主要有以下几点： 1 、影响系统性能。 原始数据要经过集中、分析和归档，这些都需要占用系统资源，因此h i d s 会 在一定程度上降低系统性能。 2 、配置和维护困难。 每台被检测的主机上都需安装检测系统，每个系统都有维护和升级的任务，安 装和维护将是一笔不小的费用。 3 、易受内部破坏。 由于h i d s 安装在被检测的主机上，有权限的用户或攻击者可以关闭检测程序 从而使自己的行为在系统中没有记录，来逃避检测。 4 、存在数据欺骗问题。 攻击者或有权限的用户可以插入、修改或删除审计记录，借此逃避h i d s 检测。 5 、实时性较差。 基丁多代理的网络入侵检测系统的设计与实现研究 h i d s 进行的多是事后检测，因此当发现入侵时，系统多数已经受到了破坏。 2 3 入侵检测技术 入侵检测技术可以分为两大类：异常检测( a n o m a l yd e t e c t i o n ) 和误用检测 ( m i s u s ed e t e c t i o n ) 哼3 。异常检测则提取正常模式下审计数据的数学特征，检查事 件数据中是否存在与之相违背的异常模式。误用检测搜索审计事件数据，查看其 中是否存在预先定义好的误用模式。为了提高准确性，入侵检测又引入了数据挖 掘、人工智能、遗传算法等技术。但是，入侵检测技术还没有达到尽善尽美的程 度，该领域的许多问题还有待解决。 2 3 1 异常检测 异常检测是基于这样的原理。即认为入侵是系统中的异常行为。它没有各种 入侵的相关知识但是有被检测系统、用户乃至应用程序正常行为的知识。它为 系统和用户建立币常的使用模式，这些模式通常使用一组系统的度量来定义。所 渭度量，是指系统和用户行为在特定方面的衡量标准。每一个度量都对应于一个 门限值或相关的变动范围。如果系统和用户的行为超出了正常范围，就认为发生 了入侵。 异常检测的一个很大的优点是不需要保存各种攻击特征的数据库，随着统计数 据的增加，检测的准确性会越来越高，可能还会检测到一些未知的攻击。但出于 用户的行为有很大的不确定性，很难对其行为确定正常范围，因此门限值的确定 也比较困难，出错的概率比较大。同时，它只能说明系统发生了异常的情况，并 不能指出系统遭受了什么样的攻击，这给系统管理员采取应对措施带来了一定困 难。 异常检测中常用的方法有：量化分析、统计分析和神经网络。 l 、量化分析 量化分析是异常检测中使用最为广泛的方案，其特点是使用数字来定义检测 规则和系统属性。量化分析通常涉及到一系列的计算过程，包括从简单的计数到 复杂的加密运算，计算的结果可以作为异常检测统计模型的数据基础。常用的量 化分析方法有门限检测、启发式门限检测和目标完整性检查。 门限检测的基本思想是使用计数器来描述系统和用户行为的某些属性，并设 定可以接受的数值范围，旦在检测过程中发现系统的实际属性超出了设定的门 限值，就认为系统出现了异常。门限检测最经典的例子是操作系统设定的允许登 录失败的最大次数。其他可以设置门限的系统属性还有：特定类型的网络连接数、 第删二章入侵检测基本理论 试图访问文件的次数、访问文件或目录的个数及所访问网络系统的个数等。 启发式门限检测是对门限检测的改进，对于包含大量用户和目标环境的系统来 晚，可以大幅度地提高检测的准确性。举例来说，传统的门限设检测规则是：一 个小时内，如果登录失败的次数大于3 次，就认为出现异常：而启发式门限检测 将这个规则定义为：登录失败的次数大于一个异常数，就会发出警报。这个异常 数可以使用多种方法来设定，例如使用高斯函数计算平均的登录失败次数m ，并 计算出标准的偏移量j ，在检测过程中将实际登录失败的次数与m + j 比较，检查 是否超出门限。 目标完整性检查是对系统中的某些关键对象，检查其是否受到无意或恶意的 更改。通常是使用消息摘要函数计算系统对象的密码校验值，并将计算得到的值 存放在安全的区域。系统定时地计算校验值，并与预先存储值比较，如果发现偏 差，就发出警报信息。 2 、统计分析 统计分析技术采用统计分析的方法为每一个系统用户和系统主体建立统计行 为模式。所建立的模式被定期的更新，以便及时反映用户行为随时间推移而产生 的变化。检测系统维护一个由行为模式组成的统计知识库，每个模式采用一系列 系统度量( 如文件的访问、终端的使用、c p u 的时f 】i i j 占用等) 来表示特定用户的 i 卜常行为，当用户的行为偏离其正常的行为模式时，就认为发生了入侵。 统计分析的方法可以针对那些冒充合法用户的入侵者，通过发现其异常的行为 束发现入侵，并且不需要像误用检测系统那样需要维护规则库。但是统计分析所 采用的度量必须要精心挑选，要能根据用户行为的改变产生一致性变化。同时统 计分析的方法多是以批处理的方式对审计记录进行分析的，因此实时性较差。 3 、神经网络 神经网络是人工智能里的一项技术，它是由大量并行的分布式处理单元组成。 每个单元都能存储一定的“知识”，单元之间通过带有权值的连接进行交互。神经 网络所包含的知识体现在网络结构当中，学习过程也就表现为权值的改变和连接 的增加或删除。 利用神经网络检测入侵包括两个阶段。首先是学习阶段，这个阶段使用代表 用户行为的历史数据进行训练，完成神经网络的构建和组装：接着便进入入侵分 析阶段，网络接收输入的事件数据，与参考的历史行为比较，判断出两者的相似 度或偏离度。神经网络使用以下方法来标识异常的事件：改变单元的状态、改变 连接的权值、添加或删除连接。同时也具有对所定义的正常模式进行逐步修j 下的 功能。 神经网络有以下优点： ( 1 ) 大量的并行分布式结构。 基于多代理的网络入侵检测系统的设计与实现研究 ( 2 ) 有自学习能力，能从周围的环境中不断学习新的知识。 ( 3 ) 能根据输入产生合理的输出。 神经网络上述优点使其能处理特别复杂的问题，例如对用户或系统行为的学 习和分析，这些都符合入侵检测系统不断面临新的情况和新的入侵的现况。但目 前神经网络技术尚不十分成熟，所以还没有较为完善的产品。 2 3 2 误用检测 误用检测首先对特定入侵的行为模式进行编码，建立误用模式库，然后对实 际检测过程中得到的数据进行过滤，检查其是否包含有入侵行为的标识。入侵模 式可以通过分析历史的审计记录自动生成，也可以通过预先定义一些模式来实现。 误用检测能迅速发现已知的攻击，并指出攻击的类型。便于采取应对措施： 同时用户可以根据自身情况选择所要监控的事件类型和数量：并且误用检测没有 浮点运算，效率较高。但其缺点也是显而易见的：由于依赖误用模式库，它只能 检测数据库中已有的攻击，对未知的攻击无能为力，这便要求不断地升级数据库， 加入新攻击的特征码；随着数据库的不断扩大，检测所要耗费的存储和计算资源 也会越来越大；由于没有通用的模式定义语言，数据库的扩展很困难，增加自己 的模式往往很复杂；并且将对攻击的自然语言描述转换成模式是比较困难的，如 果模式不能被f 确定义，将无法检测到入侵。 误用检测中常用的方法有：简单的模式匹配、专家系统和状态转移法。 l 、简单的模式匹配 简单的模式匹配是最为通用的误用检测技术，它拥有一个攻击特征数据库， 如果当6 u 被检测的数据与数据库中的某个模式( 规则) 相匹配，就认为发生了入 侵。这种方法的特点是原理简单、扩展性好、检测效率高、可以实时监测，但只 适用于检测比较简单的攻击，并且误报率高。由于其实现、配景和维护都非常方 便，因此得到了广泛的应用。s n o r t 系统就采用了这种检测手段。 2 、专家系统 专家系统是最早的误用检测方案之一，被许多入侵检测模型所使用。 专家系统的应用方式是：首先使用类似于i f - t h e n 的规则格式输入已有的知识 ( 攻击模式) ，然后输入检测数据( 审计事件记录) ，系统根据知识库中的内容对 检测数据进行评估，判断是否存在入侵行为模式。专家系统的优点在于把系统的 推理控制过程和问题的最终解答相分离，即用户不需要理解或干预专家系统内部 的推理过程，而只需把专家系统看成是一个黑盒子。 专家系统的统计应用于入侵检测时，存在以下些实际问题： ( 1 ) 处理海量数据时存在效率问题。专家系统的推理和决策模块通常使用解 第二章入侵检测基本理论 释型语言实现，执行速度比编译型语言要慢。 ( 2 ) 缺乏处理序列数据的能力，即数据前后的相关性问题。 ( 3 ) 专家系统的性能取决于设计者的知识和技能。 ( 4 ) 只能检测己知的攻击模式。 ( 5 ) 无法处理判断的不确定性。 ( 6 ) 规则库的维护是一项艰巨的任务，更该规则时必须考虑到对知识库中其 它规则的影响。 3 、状念转移法 状念转移法( s t a t et r a n s i t i o na p p r o a c h e s ) 采用优化的模式匹配技术来处理误用 检测的问题，这种方法采用系统状态和状态转移的表达式来描述已知的攻击模式。 现有的基于状态转移的入侵检测方法主要有状态转移分析( s t a t e t r a n s i t i o na n a l y s i s ) 和着色p e t r i 网( c p n e t s ) 。状态转移分析是通过检测攻击行为所引起的系统状态 的变化束发现入侵的，而着色p e t d 网则是通过对攻击行为本身的特征进行模式匹 配来检测入侵的。 ( 1 ) 状态转移分析( s t a t et r a n s i t i o n a n a l y s i s ) 状态转移分析是使用状态转移图( s t a t e t r a n s i t i o nd i a g r a m s ) 来表示和检测 已知攻击模式的误用检测技术。n e t s t a l t i ”】系统采用了这种技术。 状态转移分析使用有限状态机模型来表示入侵过程。入侵过程是出一系 列导致系统从初始状态转移到入侵状态的行为组成。初始状态表示在入侵发 生之前的系统状态，入侵状态则表示入侵完成后系统所处的状态。系统状态 通常使用系统属性或用户权限来描述。用户的行为和动作会导致系统状态的 改变，当系统状态由正常状态改变为入侵状态时，即认为发生了入侵。 ( 2 ) 着色p e t r i 网 另一种采用状态转移技术来优化误用检测的方法是由p u r d u eu n i v e r s i t y 的s a n d e e pk u m a r 和g e n es p a f f o r d 设计的着色p e t r i 网( c p - n e t ) 。 这种方法将入侵表示成一个着色的p e t r i 网，特征匹配过程由标记( t o k e n ) 的动作构成。标记在审计记录的驱动下，从初始状态向最终状态( 标识入侵 发生的状态) 逐步前进。处于各个状态时，标记的颜色用来表示事件所处的 系统环境( c o n t e x t ) 。当标记出现某种特定的颜色时，预示着目前的系统环境 满足了特征匹配的条件，此时就可以采取相应的响应动作。 2 3 3 其它的检测技术 在近期的入侵检测系统的发展过程中，研究人员又提出了一些新的入侵检测技 术，这些技术不能简单地归结为误用监测或异常检测，而是提供了一些具有普遍 基于多代理的网络入侵检测系统的设计与实现研究 意义的分析技术。这些技术有基于免疫系统的检测方法、遗传算法和基于内核的 检测等。 l 、基于免疫系统的检测方法 免疫系统是保护生命机体不受病原体侵害的系统，它对病原体和非自身组织 的检测是相当准确的，不但能够记忆曾经感染过的病原体的特征，还能够有效地 检测未知的病原体。免疫系统具有分层保护、分布式检测、各部分相互独立和检 测未知病原体的特性，这些都是计算机安全系统所缺乏和迫切需要的。 免疫系统最重要的能力就是识别自我( s e l f ) 和非我( n o n s e l f ) 的能力，这个 概念和入侵检测中的异常检测的概念很相似。因此，研究人员从免疫学的角度对 入侵检测问题进行了探讨i i “。 2 、遗传算法 另一种较为复杂的检测技术是使用遗传算法对审计事件庀录进行分析“”。遗 传算法是进化算法( e v o l u t i o n a r ya l g o r i t h m s ) 的一种，引入了达尔文在进化论里提 出的自然选择概念对系统进行优化。遗传算法利用对“染色体”的编码和相应的 变异和组合，形成新的个体。算法通常针对需要进行优化的系统变量进行编码， 作为构成个体的“染色体”，再利用相应的变异和组合，形成新的个体。 在遗传算法的研究人员看来，入侵的检测过程可以抽象为：为审计庀录定义一 种向量表示形式，这种向量或者对应于攻击行为，或者表示芷常行为。通过对所 定义向量进行的测试，提出改进的向量表示形式，并不断重复这个过程，直到得 到令人满意的结果( 攻击或正常) 。 3 、基于内核的检测方法 随着丌放源代码的操作系统l i n u x 的流行，基于内核的检 9 i 4 正在形成入侵检测 领域的新方向。这种方法的核心是从操作系统的层次上看待安全漏洞，采取措旌 避免甚至杜绝安全隐患。该方法主要通过修改操作系统源码或向内核中加入安全 模块束实现，可以保护重要的系统文件和系统进程。o p e n w a l l 。和l i d s 就是基于 内核的入侵检测系统。 2 4 入侵检测系统的体系结构 入侵检测的体系结构历经了一个由简单到复杂的过程。早期的入侵检测采用 简单的采集分析结构，后来发展为分级结构，形成了树形分级结构、网络型结构， 随着网络规模的不断扩大，分布式的检测结构正成为入侵检测体系结构的发展方 向。 第二章入侵检测基本理论 2 4 1 采集分析结构 早期的入侵检测系统【1 3 - 4 j 采用由两个部分组成简单的系统：采集部分和分析 部分，这两个部分或者在同一个主机内或者在物理上是分离的。采集部分从主机 的同志文件或网络中的数据包中收集信息，然后将信息输入到一个集中的分析部 分，这个分析部分采用一种或多种不同的技术对数据进行分析。当所监视的主机 数目较少时，这种体系结构是有效的。但它的扩展能力差，限制了监视更多主机的 能力。 2 4 2 树型分级结构 后来的入侵检测系统，如g r i d s ，在采集部分和分析部分之间插入中间部 分，形成了分级体系，从而增强t i d s 的可扩展性。这种分级的体系采用了树形结 构，命令和控制节点位于树的顶部，信息汇集节点在中间，操作节点在叶端。其 结构如图2 2 ： 图2 2 树型分级结构 在这种结构中，叶节点进行数据收集，将数据传到中间节点。中间节点汇集 来自多个叶节点的数据，经过进一步汇集、精简，再将数据送到根节点。根节点 是命令和控制中心，它分析网络当前的形势，如果发现异常情况，就发都命令做 出反应。 分级体系中信息经过分级过滤上行到达根节点，控制命令分级下行到达叶节 点，有良好的可扩展性，利于构建集中控制的分布式的i d s 。然而，当要检测的节 点数越来越多时，通信上的延时必然会影响到i d s 系统的实时性，同时该体系结 构还存在着单点失效( ap o i n t o ff a i l u r e ) 的问题。当根节点失效，会使整个系 统瘫痪：当中间的某个节点失效时，通过该节点的通信会被中断。 2 4 3 网络型结构 在网络型结构1 中。通信可以发生在任意类型的部分之间而不是严格地限制 基于多代理的网络入侵检测系统的设计与实现研究 在上级结点和下级节点中。例如，收集单元不通过中间的汇集节点，直接将个 重大事件汇报给命令和控制单元，而。并且，当不同的管理员管理企业网络的不 同部分时，命令和控制节点之间也存在着对等的关系，网络型的体系结构允许信 息由一个节点到任意其他节点，有很大的通信灵活性一但不受限制的通信流会使 它面临通信低效的问题。不过其功能上的灵活性可以弥补这方面的缺陷。 2 4 4 混合型结构 混合模型i n l 结合了树型分级式和网络式体系的优点。它采用网络体系的构建 方法，没有明显的根节点，但在总体上保持了分级式的结构，在必要时，允许各 部件之间的灵活通信。图2 3 为该体系机构的示意图。图中控制和命令节点间存在 着埘等关系，信息收集节点和命令控制节点间可以直接通信，中间节点和命令控 制节点之矧存在冗余的通信信道。 幽2 ，3 混合型结构 2 4 5 分布式结构 随着网络规模的日益扩大。分布式攻击和协同攻击对网络威胁越来越大，仅 仅在单一的节点或几个节点分析处理数据难以适应现在入侵检测的要求。因此需 要将中心节点的分析处理能力分布到网络中各个节点当中去，建立一种分布式的 入侵检测体系结构“鄹，底层具有处理局部入侵的能力，而高层则能监控整个网络。 2 5 现有入侵检测系统介绍 入侵检测的研究至今已有2 0 多年的历史，目前市场上已有许多较为成熟的入 侵检测产品，下面我们将简单地介绍凡秘。 1 、c m d s c m d s ( c o m p u t e rm i s u s e d e t e c t i o n s y s t e m ) 是由s c i e n c ea p p l i c a t i o n i n t e m a d o n a 公司| 丌发的入侵检测产品。它是一个基于主机的入侵检测系统，采用 第二章入侵检测基本理论 了异常检测和误用检测两种方法。 在异常检测中，c m d s 使用统计分析的方法，从用户的行为中获得其行为模 式。其统计的数据来源有：登陆和退出的次数；所执行的应用程序：打开、修改 和删除的文件数目；管理员权限的使用情况；经常使用的目录等。在用户操作过 程中，将自动地形成其行为模式，利用这些行为模式来分析用户的异常行为。 在模式识别中，c m d s 系统定义了u n i x 和n t 下的攻击特征，这些特征有登 陆失败次数、试图修改重要的文件、试图取得超级用户权限等，利用c l i p s 专家 系统来检测入侵。 2 、n e t r a n g e r n e t r a n g e r 是c i s c o 公司推出的基于网络的入侵检测产品，它能对整个企业网 络进行实时的检测。n e t r a n g e r 由多个传感器( s e n s o r s ) 和一个或多个控制器 ( d i r e c t o r ) 组成。传感器在硬件平台上实现，而控制器则是由软件来实现。 传感器放置在网络的关键点上，使用基于规则的专家系统来审查通过的网络 包。它能分析网络包的头部和包的内容，并能将具有共同特征的包关联起来。每 个传感器不仅能分析单个数据包，还能检测基于多个数据包基础上的攻击。 控制器提供了对整个系统的集中管理。通过控制器可以管理系统中的传感器， 调整其功能( 通信，数据管理，入侵检测和数据的收集等) ，远程地在传感器上安 装新的检测特征，同时还能收集、分析安全数据和检测传感器的状态。 3 、r e a l s e c u r e r e a l s e c u r e 是i n t e r a c ts e c u r i t ys y s t e m 公司的实时i d s 产品。它采用了三层体 系结构，系统由基于网络的检测引擎、基于主机的检测引擎和管理模块组成。 网络检测引擎运行在专门的工作站上，分析特定网段中的网络包，检测网络 入侵并于以响应。当其检测到入侵时，可以采取切断连接、发送警报、记录会话 和重新配置防火墙等措施，并向管理模块报告。 基于主机的检测引擎是对网络识别引擎的补充。每一个基于主机的识别引擎 安装在一个主机或工作站上，通过检查系统日志发现破坏网络安全的行为，并确 定攻击是否成功，同时通过中止用户进程、吊销用户的登录来防止进一步的入侵。 管理模块提供了一个易于配置和管理系统的方式，用来配置所有的检测引擎， 接收其报告并检测其状态。 2 6 入侵检测研究的现状和发展趋势 入侵检测的研究至今已有2 0 多年的历史了，有了很大的发展。然而目前入侵 检测系统还很不完善，仍有许多问题等待解决，当前i d s 的缺陷主要有： ( 1 ) 没有通用的构建方法论。 基丁多代理的网络入侵检测系统的设计与实现研究 ( 2 ) 检测模型和检测方法不完善，没有有效的刻画用户和系统行为的理论和 方法。 ( 3 ) 误报率高。i d s 所报告的入侵中多数是误报，并且可能还会漏掉一些真正 的攻击。 ( 4 ) 检测能力有限，现在多数商用i d s 只能检测已知的入侵，对未知的入侵无 能为力，并且对于已知入侵的变种，也不能很好地检测。 ( 5 ) 缺少可移植性。 ( 6 ) 可扩展性和动念配置能力有限。 ( 7 ) 入侵检测技术升级能力有限。 ( 8 ) 规则集难以维护。 ( 9 ) 在多层次和分级体制中，存在着单点失效( a p o i n t o f f a i l u r e ) 的问题。 ( 1 0 ) 入侵检测系统之间缺少相互合作。 ( 1 1 ) 没有相应的标准。 因此，未来入侵检测的研究有望集中于以下这些领域： ( 1 ) 攻击反应机制。 ( 2 ) 高度分稚式的入侵检测系统体系结构。 ( 3 ) 入侵检测互操作性标准。 ( 4 ) 运行入侵检测新的方法。 笺三兰二登苎王童垡堡塑堡笙型竺墨堡塑 ! ! 第三章一种基于多代理的入侵检测体系结构 3 1 代理概述 代理( a g e n t ) 起源于人工智能，是软件应用里的一个新领域，被广泛地应用 到了从简单的e - m a i l 过滤系统到复杂的航空设计领域。 a g e n t 是可以在特定环境下自治和连续运行的软件实体，它以灵活和智能的 方式运作，并能对环境的变化做出反应，理想的情况下，它可以从经验中