（通信与信息系统专业论文）基于代理的校园网入侵检测系统研究(1).pdf

哈尔滨工业大学工学硕士学位论文 摘要 随着计算机和网络技术的发展，网络入侵事件的日益增加，人们发现只从防 御的角度构造安全系统是不够的，入侵检测成为继“防火墙”、“数据加密”等传 统安全保护措旖后新一代的网络安全保障技术。 本文首先介绍入侵检测原理和分布式入侵检测方面的相关工作。在分析已有 分布式入侵检测系统模型的基础上，提出了一个基于代理的入侵检测系统模型框 架。该模型采用分布式的体系结构，由一个代理控制中心和若干代理组成，结合 了基于网络和基于主机的入侵检测方法，使用代理技术在分布式环境下对入侵进 行检测，可以有效地检测各种入侵，具有很好的可扩充性，易于加入新的入侵检 测代理，也易于扩充新的入侵模式。 本文的重点是从系统结构、检测技术、管理策略等层次上提出并实现新的基 于代理的入侵检测方法，以适应分布式校园网的入侵检测要求。系统采用代理控 制中心对各个代理的报警统一管理，各个代理具有一定的自治性，可单独使用。 另外，系统采用了一定的状态检查方法，以保证整个系统自身的安全。系统的实 验原型在l i n u x 操作系统环境下实现，但系统的结构模型与特定的系统应用环境 无关，它是一个通用的分布式入侵检测系统模型框架。 作为网络安全的一个重要研究领域，分布式入侵检测仍然存在着许多的问题 和技术难点。本文的最后给出了该系统需要进一步改进的地方。 关键词网络安全：入侵检测；分布式；代理 哈尔滨工业大学工学硕士学位论文 a b s t r a c t w i t l lt h e d e v e l o p m e n to fc o m p u t e ra n dn e t w o r kt e c h n o l o g y , m o r ea n dm o r e n e t w o r ki n c l u d i n gc a m p t i sn e t w o r ki n t r u d e db yh a c k e r s s e c u r i t ye x p e r tf o u n dt h a t o n l yu s ep r o t e c t i o nt e c h n o l o g yt ob u i l das e c u r i t ys y s t e m i sn o te n o u g h t h ei n t r u s i o n d e t e c t i o ns y s t e mo d s ) h a sb e c o m ean e wm e t h o df o rn e t w o r ks e c u r i t y , w h i c ha p a r t f r o mt r a d i t i o ns e c u r i t yp r o t e c tt e c h n o l o g y , s u c ha sf i r e w a l la n dd a t ae n c r y p t i o n t h j s t h e s i s f i r s t l y , i n t r o d u c et h e i n t r u s i o nd e t e c t i o n p r i n c i p l ea n d t h er e l a t i v ew o r ki n t h ea s p e c to fd i s t r i b u t e di n t r u s i o nd e t e c t i o n o nt h eb a s i so fa n a l y z i n gt h ee x i s t i n g m o d e lo fd i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e m ，t h i st h e s i sb r i n g sf o r w a r dt h em o d e l f r a m e w o r ko fa na g e n t - b a s e di n t r u s i o nd e t e c t i o ns v s t e m t h ed i s t r i b u t e dm o d e l c o m p o s e do fa na g e n tc o n s o l ea n ds e v e r a la g e n t s ，i n t e g r a t i n gt h en e t w o r k - b a s e da n d h o s t - b a s e di n t r u s i o nd e t e c t i o nm e t h o d sa n du s i n gt h ea g e n tt e c h n o l o g yt od e t e c tt h e i n t r u s i o ni nt h ed i s t r i b u t e de n v i r o n m e n t i tc a nd e t e c ti n t r u s i o ne f f e c t i v e l ya n di s e x t e n s i b l ef o ra d d i n gn e wi n t r u s i o nd e t e c t i o n a g e n t so rn e w i n t r u s i o nm o d e l s t h e t h e s i s , c o n c e r n i n g t h ea s p e c t so f s y s t e m a t i cs t r u c t u r e ，s t r a t e g i cm a n a g e m e n ta n d d e t e c t i o nt e c h n o l o g y , m a i n l yf o c u s e so nb r i n g i n gf o r w a r da n di m p l e m e n t i n gt h e i n t r u s i o nd e t e c t i o nm e t h o d sb a s e do na g e n t ss oa st om e e tt h er e q u i r e m e n to ft h e d i s t r i b u t e dc a m p u sn e t w o r k t h ea g e n tc o n s o l eo f s y s t e mm a n a g e s t h ea l a r m sc o m i n g f r o ma l la g e n t s ，e a c ho fw h o ma l s oe n j o ys o m ea u t o n o m ya tt h es a l n et i m ea n dc a n f u l f i l ls o m ed e t e c t i v et a s ki n d e p e n d e n t l y m o r e o v e r ，t h i ss y s t e ma l s o a d o p t ss o m e s t a t e c h e c km e t h o dt h a tc a l lp r o t e c tt h es e c u r i t yo f t h ew h o l e s y s t e m n 圮i m p l e m e n t o f t h em o d e lh a sb e e nt e s t e du n d e rl i n u x s y s t e m ，w h i l et h es t r u c t u r em o d e lo f t h es y s t e m ， ag e n e r a ld i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e mm o d e l ，h a dn oc e r t a i nr e q u i r e m e n tf o r t h ee n v i r o n m e n t a sa ni m p o r t a n tr e s e a r c ha r e ao ft h en e t w o r ks e c u r i t y , t h ed i s t r i b u t e di n t r u s i o n d e t e c t i o ni so n ea m a 她s t i l lr e m a i n sm a n y p r o b l e m sa n d t e c h n i c a ld i 茄c u r i e st ob e s o l v e d i nt h ec l o s i n gp a r to ft h et h e s i s ，f u r t h e ri m p r o v e m e n to ft h es y s t e mh a sb e e n p r o p o s e d k e y w a r d s n e t w o r k s e c u r i t y , i n t r u s i o nd e t e c t i o n , d i s t r i b u t e d ，a g e n t i i 哈尔滨工业大学工学硕士学位论文 1 1 课题背景 第1 章绪论 自从1 9 4 6 年世界上的第一台计算机问世以来，计算机技术以惊人的速度不 断地向前发展。现今的计算机不仅仅是用于科学计算的快捷工具，而且已经广泛 地应用于各个领域。在政府机关、军事机构及银行等国家重要部门都使用计算机 建立信息系统，管理和处理各种信息和情报。随着网络技术的出现和发展，计算 机技术和网络技术又为商业、企业及个人通信提供了相当便利的条件。 但是在网络技术发展的同时也带来了一系列安全问题，攻击者可以通过各种 技术手段非法接收、劫持、修改一些本来无权使用的秘密信息，更有甚者，他们 还冒充合法用户操纵计算机终端进行恶意破坏。1 9 8 8 年1 1 月2 日，“蠕虫”病毒 在网络中迅速蔓延，短短几个小时，致使上千台计算机不能工作；1 9 9 5 年8 月2 1 日，美国一个设防严密的银行的网络系统遭到入侵者的攻击，损失现金高达1 1 6 0 万美元；2 0 0 0 年2 月以来，y a h o o 、e b a y 、c n n 等著名网站相继遭到入侵者的攻 击，蒙受巨大损失。这些著名的网络安全事件说明受到攻击的网络和计算机给社 会造成了严重的损失。失去计算机和网络的安全就意味着个人、银行、学校、企 业、政府机关、军事部门等私有的、保密的信息受到破坏，威胁到它们的财产、 生存和发展。如何保护合法用户的利益不受侵犯，保护信息不受破坏，如何使开 放的网络体系环境中目标主机受到保护，如何能实时检测网络中存在的攻击行为 或检测系统存在的漏洞等，已经成为当今计算机安全和网络安全的关键问题。 当前，为加强学校与社会各界的交流合作，提高学校管理的工作效率以及充 分发挥现有的软、硬件资源，利用i n t e m e t i n t r a n e t ( 互联网内联网) 技术，许多 高校都建立了校园网，还有很多学校把已投入运行的校园网连入i n t e m e t ，这无疑 大大加快了信息发布和传播的速度。然而学校在网络安全方面从最初到现在一直 不是一方净土。2 0 世纪6 0 年代在美国麻省理工学院的人工智能实验室诞生了计 算机历史上的第一批黑客，当然他们是褒义上的黑客。而在8 0 年代之后，随着网 络的迅速普及，黑客们不再满足于一般的编程和寻找漏洞，而是热衷于入侵远程 主机上的网上冒险以及编制病毒、特洛伊木马等恶意软件，这样黑客就成为了典 型意义上的“入侵者”。 哈尔滨工业大学工学硕士学位论文 造成校园网络入侵的原因是多方面的，这主要是基于校园网络自身的特点， 其中包括：( 1 ) 校园网络的宽带和大量主机资源，为黑客发动攻击提供了较好的环 境条件；( 2 ) 校园网络比较开放，很多服务器可以自由访问，安全度很低，黑客很 容易隐藏身份；( 3 ) 学生往往出于好奇，在教育网络中进行入侵实验，当然其中也 不乏恶意行为：( 4 ) 校园网中主机和网络设备通常没有可靠的安全系统，很容易受 到攻击和入侵。由于校园网所具有的开放、高带宽、多主机等特点，因此校园网 就成了许多比较严重的网络攻击事件中的主阵地，例如2 0 0 2 年黑客造成的y a h o o 和e b a y 等网站服务一度关闭的拒绝服务攻击，据调查就是以学校为基地从校园 网络中发起的。当然，更多的学生身份的入侵者是乐于以攻击校园网为目标，尤 其是在攻击者处于“练手”的实验阶段。 校园网是一个局域网，由于学校特殊的身份和重要的基础设施正面临着一系 列的网络安全威胁。而作为互联网的一种主要的存在方式和组成部分，从某种意 义上说局域网的安全问题几乎反映了所有的网络安全问题。 1 2 网络安全的目标 网络安全涉及到计算机网络系统的各个方面，贯穿于o s i 的7 层模型。针对 网络系统实际运行的t c p i p 协议，网络安全贯穿于网络系统的4 个层次，表1 - 1 表示了对应这4 个层次的安全体系层次模型： 表1 - 1网络安全层次模型图 应用系统应用系统安全 应用层应用层 应用平台应用平台安全 会话层会话安全 网络层安全路由访问机制 链路层链路安全 物理层物理层信息安全 在网络安全的范畴内，网络并不只是物理的网络，它包含以下三个基本要素： ( 1 ) 数据：包括在网络上传输的数据与端系统中的数据，从本质上说这些电 子意义上的数据都是0 1 比特的组合，但是经过特定的程序产生和处理之后，它们 就具有了多种多样的语义学上的意义。 ( 2 ) 关系：网络作为交流的重要手段，涉及到通信各方依赖关系的建立与维 护，这也是攻击者比较感兴趣的一个方面，因为依赖关系的窃取就意味着能力和 数据访问权力的获取，进而可以转化为物理意义上的财富。 2 哈尔滨工业大学工学硕士学位论文 ( 3 ) 能力：包括网络系统的传输能力与端系统的处理能力，前者意味着网络 连接能力的充分运用，而后者则意味着数据处理能力和服务提供能力等。 网络安全的意义，就在于为以上三个要素提供保护，保证这三者能够为所应 为，为合适的人服务，而且只为合适的人服务【1 】。 1 3 传统的网络安全技术和模型 由于计算机联网，单机系统的安全问题不仅涉及到本身，而且会危及到其它 的单机系统，与此同时，单机系统所受到的威胁增多，如远程攻击和主机信任欺 骗攻击等，因而基于单机系统的安全控制已不足以保证网络的安全。传统的安全 方法是采用尽可能多的禁止策略对入侵进行防御，例如采用数据加密、数字签名、 访问控制、数据完整性控制、认证技术、密铜管理和系统审计技术等安全机制。 而传统的网络安全控制模型就是将端点认证、连接授权、数据完整性、数据保密 性、管理控制和审计结合起来，此外还融进其它的安全模型，如保密性模型和完 整性模型等，这一代网络安全系统的代表就是构筑防火墙。但是将计算机安全的 大部分预算投入到预防性措施上，并企图完全防止安全问题的出现在目前看来是 不现实的。因为防火墙技术、数据加密技术等安全措施只能进行静态防护，它们 属于静态的系统安全模型，一旦越过了它们的安全防线，这些技术就会失去作用。 总的来说它们的不足之处表现在以下三个方面：( i ) 无法实时监测和报警，更没有 自动响应功能；( 2 ) 功能单一，没有形成一个信息共享的完整的安全体系结构；( 3 ) 其自身的功能也是不完善的、不健全的、不安全的。 1 4 入侵检测的介绍 动态安全模型是针对静态的系统安全模型提出的。p d r 模型最早由i s s 公司 提出，后来出现了很多变种。这里介绍的p d r 模型可以称为p p d r ( 或p 2 d r ) ， 包括策略( p o l i c y ) 、防护( p r o t e c t i o n ) 、检测( d e t e c t i o n ) 和响应( r e s p o n s e ) 【2 j ，它们 的关系如图l 一1 所示。p 2 d r 模型是在整体的策略的控制和指导下，在综合运用 防护工具( 如防火墙、身份认证、加密等手段) 的同时，利用检测工具( 如入侵检测 系统、漏洞评估) 了解和评估系统的安全状态，通过适当的响应将系统调整到最安 全和风险最低的状态。防护、检测和响应组成了一个完整的、动态、螺旋上升的 安全循环。 哈尔滨_ l = 业人学上学硕士学位论文 圈1 ip 2 d r 模型 在该动态模型中检测和响应是重要的组成部分，它们不再被动地保护网络 和系统安全，而是具有检测和监测功能，同时对不安全的因素进行响应，并采取 适当的防御措施。其中入侵检测技术是该动态防御模型中核心的技术之一，具有 动态防御的意义，可以实时地检测网络上和系统内用户的一举一动，当发现可疑 行为或者入侵行为时能采取响应措施。 入侵检测作为安全技术的主要目的在于：( 1 ) 识别入侵者；( 2 ) 识别入侵行为； ( 3 ) 检测和监视已成功的安全突破；( 4 ) 为对抗措施及时提供重要信息。从这个角度 看待安全问题，入侵检测非常必要，它将弥补传统安全保护措施的不足。 1 5 现有入侵检测系统的局限性 现有入侵检测系统大多采用单一体系结构，即所有的工作包括数据的采集、 分析都由单一主机上的单一程序来完成，而一些分布式的入侵检测系统只是在数 据采集上实现了分布式p 】，数据的分析、入侵的发现还是由单个程序来完成的， 这样的结构有如下缺点： ( 1 ) 可扩展性比较差。由于所有工作都是由单一主机执行，被监控的主机数 和网络规模受到限制，入侵检钡4 系统的实时性要求较高，数据过多会造成其过载， 从而入侵检测系统因来不及处理过量的数据或丢失网络数据包而失效。 ( 2 ) 单点失效。当入侵检测系统自身因受到攻击或者其他原因而不能正常工 作时，其保护功能就会丧失，会影响到整个系统。 ( 3 ) 系统缺乏灵活性和可配置性。当系统需要加入新的模块和功能时，整个 系统就需要修改和重新安装【4 j 。 4 哈尔滨1 ：业大学下学硕+ 学位论文 1 6 本论文的主要研究内容 本文在分析已有分布式入侵检测系统优缺点的基础上，提出了一个基于代理 的入侵检测系统模型框架。该模型采用分布式的体系结构，由一个代理中一1 3 和若 干网络代理、主机代理组成，结合了基于网络和基于主机的入侵检测方法，使用 代理技术在分布式环境下对入侵进行检测。由于每个代理可以采用不同的入侵检 测技术，分别完成对入侵检测的数据采集和数据分析，同时在代理中心的控制下 相互协作，实现对整个系统的监控和响应，因此该系统可以有效地检测各种入侵， 具有很好的可扩充性，易于加入新的入侵检测代理，也易于扩充新的入侵模式。 本文从系统结构、检测技术、管理策略等层次上提出基于代理的入侵检测系 统模型，重点研究基于模式匹配和协议分析的检测方法以及数据挖掘技术在系统 中的具体应用并在校园网环境中进行了简单的模型测试。 1 7 本文结构 第1 章介绍了网络信息安全的重要性和入侵检测的必要性，传统的静态的安 全技术是一种被动的防范方法，而入侵检测是主动保护系统免受攻击，是对原有 安全系统的一个重要补充。 第2 章主要介绍了入侵检测系统的原理。对入侵检测系统的分类、系统框架、 入侵检测技术及发展趋势等做了综述。 第3 章探讨了代理技术在入侵检测系统中的应用。代理技术具有诸多的技术 优势，将其运用于入侵检测系统中可以解决现有入侵检测系统体系中存在的许多 问题。最后简要分析了一个有代表性的基于代理的入侵检测系统模型，为本文的 系统设计和实现提供了参考。 第4 章完成了基于代理的模型系统的设计。对系统体系结构、代理、代理控 制中心和系统的通信机制进行了详细阐述。 第5 章对系统的具体实现进行分析，主要是讨论模式匹配与协议分析的检测 方法在网络代理中的应用，并介绍数据挖掘在处理海量数据中的智能化应用，最 后对一个实验模型进行了简单的测试。 结论部分对本文完成的工作进行了总结及对今后工作的展望。 啥尔滨工业大学工学硕士学位论文 第2 章入侵检测系统 2 1 入侵检测系统定义 入侵( i n t r u s i o n ) 是对信息系统的非授权访问以及( 或者) 未经许可在信息系 统中进行的操作。它不仅包括发起攻击的人取得非法的系统控制权，也包括它们 对系统漏洞信息的收集，由此对计算机系统造成危害的行为。因此入侵是任何企 图破坏资源的完整性、保密性和可用性的行为集合 5 j 。 入侵检测( i n t r u s i o nd e t e c t i o n ) 是对企图入侵、正在进行的入侵或者已经发 生的入侵进行识别的过程。通过对计算机网络中的若干关键点或计算机系统资源 信息的收集并对其进行分析，从中发现网络或系统中是否有违反安全策略的行为 和攻击的迹象。 所有能够执行入侵检测任务和功能的系统，都可称为入侵检测系统( i n t r u s i o n d e t e c t i o ns y s t e m ，缩写为i d s ) ，其中包括软件系统以及软硬件结合的系统。入侵 检测系统对系统进行实时监控，获取系统的审计数据或网络数据包，然后将得到 的数据进行分析，并判断系统或网络是否出现异常或入侵行为，一旦发现异常或 入侵情况，发出报警并采取相应的保护措施。 一个合格的入侵检测系统能极大地简化管理员的工作，确保网络安全地运 行，入侵检测系统具有的功能有： ( 1 ) 监测用户和系统的运行状况，查找非法用户和合法用户的越权操作； ( 2 ) 检测系统配置的正确性和安全漏洞。并提示管理员修补漏洞； ( 3 ) 对用户非正常活动的统计分析，发现攻击行为的规律； ( 4 ) 检查系统程序和数据的一致性及正确性； ( 5 ) 能够实时检测到攻击行为，并进行反应； ( 6 ) 操作系统的审计跟踪管理。 6 哈尔滨工业大学工学硕士学位论文 2 2 入侵检测系统的分类 2 2 1 按照信息源的分类 从数据来源看，入侵检测通常可以分为2 类：基于主机的入侵检测系统和基 于网络的入侵检测系统。 基于主机的入侵检测系统通常从主机的审计记录和日志文件中获得所需的 主要数据源，并辅之以主机上的其他信息，例如文件系统属性、进程状态等，在 此基础上完成检测攻击行为的任务嘲。早期的入侵检测系统都是基于主机的入侵 检测技术。 随着网络环境的普及，出现了大量基于网络的入侵检测系统。基于网络的入 侵检测通过监听网络中的数据包来获得必要的数据来源，并通过协议分析、特征 匹配、统计分析等手段发现当前发生的攻击行为。 二者的比较：基于主机的入侵检测系统的能够较为准确地监测到发生在主机 系统高层的复杂攻击行为，缺点是对主机产生一定的负担，移植性差。而基于网 络的入侵检测系统能够实时监控网络中的数据流量，并发现潜在的攻击行为和做 出迅速的响应，但它精确度不高，在交换环境下难以配置，防入侵欺骗的能力比 较差。 2 2 2 按照检测方法的分类 从数据分析手段看，入侵检测通常可以分为2 类：异常检测和误用检测。 ( 1 ) 异常入侵检测( 也称为基于行为的检测) ：异常检测的假设条件是对攻击 行为的检测可以通过观察当前活动与系统历史正常活动情况之间的差异来实现。 异常入侵检测通常都会建立一个关于系统正常活动的状态模型并不断地进行更 新，然后将用户当前的活动情况与这个正常模型进行对比，如果发现了超过设定 阈值的差异程度，则指示发现7 - ：1 1 ：法攻击行为口】。由于它不是依赖于具体行为是 否出现来进行检测的，从这个意义上讲，异常检测是一种间接的方法。 ( 2 ) 误用入侵检测( 也称为基于知识的检测) ：误用检测的技术基础是分析 各种类型的攻击手段，并找出可能的“攻击特征”集合，利用这些特征集合或者 是对应的规则集合，对当前的数据来源进行各种处理后，再进行特征匹配或者规 则匹配工作，如果发现满足条件的匹配，则指示发生了一次攻击行为( e 】。误用检 测是一种直接的方法。 7 哈尔滨工业人学= 学硕士学位论文 比较而言，误用检测可以明确指示当前发生的攻击手段类型，有较高的检测 率和较低的误报率，开发规则库和特征集合也要更方便、更容易；缺点是只能检 测到已知的攻击模式。而异常检测的优点是可以检测到末知的入侵行为( 尽管可能 无法明示是何种类型) ，但误检率高，而且容易受入侵训练而被欺骗。由于异常检 测与误用检测各有优缺点，许多实际入侵检测系统同时采用两种方法。 2 2 3 按照其他特征分类 作为一个完整的系统，它还可以按照其他的一些重要特征作为分类的依据， 如控制策略、设计目标、收集事件信息的方式、检测时间、响应方式、数据处理 地点等。 入侵检测系统的分类( 部分) 可以用图2 1 形象地表示。 由 式 入侵检测系统 控制策略li 同步技术ll 响应方式i 信息源l1 分析方法 分 分 布 式 部 分 布 式 隔 批 任 务 处 理 型 时 连 续 型 动 响 腌 动 响 应 图2 - 1 入侵检测系统的分类 2 3 通用入侵检测系统框架 十 网 络 用 检 测 型 常 检 测 型 通用入侵检测框架( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ，简称c i d f ) 是 为了解决不同入侵检测系统的互操作和共存问题而提出的。c i d f 由4 个检测组 件组成：事件产生器( e v e n t g e n e r a t o r ) 、事件分析器( e v e n t a n a l y z e r ) 、响应单元 ( r e s p o n s eu n i t s ) 和事件数据库( e v e n td a t a b a s e ) ，如图2 - 2 所示。 8 哈尔滨工业大学工学硕士学位论文 图2 2 通用入侵检测框架 通用入侵检测框架将入侵检测系统需要分析的数据统称为事件。事件产生器 是从整个计算环境中获得被监测的事件，并向系统的其它部分提供此事件，它可 以是基于网络的入侵检测系统中的网络数据包，也可以是基于主机的入侵检测系 统从系统日志等途径得到的信息。事件分析器分析得到的数据，并产生分析结果。 响应单元则是对分析结果做出反应的功能单元，它可以产生切断连接、改变文件 屙陛等强烈反应，也可以只是简单的报警。事件数据库是存放各种中间和最终数 据的部件的统称，它可以是复杂的数据库，也可以是简单的文本文件1 9 1 。 2 4 入侵检测技术 2 4 1 异常入侵检测技术 异常入侵检测是根据使用者的行为或资源使用情况来判断是否入侵，而不依 赖于具体行为是否出现来检测。 2 4 1 1 统计分析方法利用统计理论提取用户或系统正常行为的特征轮廓，通 过比较当前特征与已存储的历史特征，来判断是否有异常行为。用于描述变量特 征的变量类型有：操作密度、审计记录分布、范畴尺度、数值尺度等，变量记录 的具体操作可以是：c p u 的使用、i o 的使用、使用地点及时间、邮件使用、文 件访问数量及网络会话时间等。 设，瓯一分别是用于描述轮廓的特征变量蝎，”：j j l 厶的异常程度值，s t 值越大说明异常性越大，则轮廓异常值可以用所有s 的加权平方和来表示： m = 口l 跗+ a 2 s 2 2 + + 口，矗2 ，啦 0 ，其中a j 表示每一种特征的权重。 如果选用标准偏差作为判别准则，则标准偏差： 仃：撕i 丽i 而，其中均值：m ” 9 哈尔滨工业大学工学硕士学位论文 如果某s 值超过了d o 范围，就认为出现了异常。 这种方法的优越性在于能应用成熟的概率统计理论，能在不同的系统间移植。 不足之处是对利用事件顺序关系的攻击难以检测，门限值确定困难【1o 】。 24 1 2 神经网络方法利用一系列信息单元( 命令) 训练神经单元，这样在给 定一组输入后，就可以预测出输出。与统计理论相比，神经网络更好地表达了变 量间的非线性关系，并且能自动学习并更新【l ”。用于检测的神经网络模块结构大 致是：当前命令和刚过去的w 个命令组成了网络的输入，其中w 是神经网络预测 下一个命令时所包含的过去命令集的大小。根据用户的代表性命令序列训练网络 后，该网络就形成了相应用户的特征表，于是网络对下一事件的预测错误率在一 定程度上反映了用户行为的异常程度，基于神经网络的检测思想可用图2 3 表示。 这种方法的优点是：能更好地处理原始数据的随机特性，有很好的抗干扰能力。 缺点是：网络的拓扑结构和各元素的权重很难确定，命令窗口w 的大小也难以选 取。窗口太小，则网络输出不好，窗口太大，则网络会因为大量无关数据而降低 效率。 r o o d 预测的一 旧 输入层输出层 一个命令 圈2 3 基于神经i 网络的入侵检测不意图 2 4 1 3 贝叶斯网络方法通过建立起异常入侵检测贝叶斯网，然后将其用作分 析异常测量结果。关于一组变量x = x l 规，而 的贝叶斯网络由以下2 部分组成： 一个表示x 中的变量的条件独立断言的网络结构与每一个变量相联系的 局部概率分布集合尸。两者定义了x 的联合概率分布。s 是一个有向无环图，s 中 的节点一对一地对应于x 中的变量。以端表示变量，也表示该变量对应的节点， 只，表示s 中的而的双亲。s 的节点之间缺省弧线则表示条件独立。给定结构 则x 的联合概率分布为 1 0 哈尔滨工业大学工学硕士学位论文 土 p ( x ) = ii p ( t 1 只) t i 以p 表示上式中的局部概率分布，即乘积中的项p ( 1 只，) ( f - 1 ，2 ，月) ，则 二元组 ，p ) 表示了联合概率分布砸) 。该分布可以是物理的或贝叶斯的【1 “。 与经典统计学只使用样本信息不同，贝叶斯统计分析用贝叶斯公式将先验信 息与样本信息综合，得到后验信息，而得到的后验信息又可作为新一轮计算的先 验，这个学习的过程实际上是一个迭代的过程，而且已被证明是收敛的。随着这 个过程继续下去，后验信息确实是越来越接近于真值。也就是说，贝叶斯方法的 学习机制是确实存在而且有效的。 2 4 1 ，4 模式预测这种检测方法的特点是考虑了事件的序列及相互联系，认为 事件序列不是随机的而是遵循可辨别的模式。通过归纳学习产生这些规则集，并 进行动态地修改，使之具有高的预测性、准确性和可信度。缺点是会把不可识别 行为模式作为异常判断。例如给出一条产生规则： ( 骂! 岛! 岛! ) ( 曩= 9 5 ，乓= 5 ) 式中，e i e 5 表示安全事件。 这条规则是根据前面观测到事件蜀模式后面是最，玛，目，马。观测到如 事件的概率是9 5 ，而事件e 5 的概率是5 。 2 4 1 5 贝叶斯推理方法通过在任意给定的时刻，测量a l ，a 2 。 变量值 推理判断系统是否有入侵事件发生。其中每个以变量表示系统不同的方面特征( 如 磁盘i o 的活动数量，或系统中页面出错的数) 1 3 1 假定a 变量具有2 个值，1 表示异常，0 表示正常。，表示系统当前遭受入侵攻击。每个异常变量a ，的异常 可靠性和敏感性分别表示为烈4 = 1 l ，) 和p ( 4 = 1 l _ 1 j ) 。贝q 在给定每个爿。的值条 件下，由贝叶斯定理得出，的可信度为： p r ，、 p ( 川4 ，4 ，4 ) = p ( a l ，4 ，鼻7 石南 其中要求给出，和一，联合概率分布。又假定每个测量4 仅与，相关，且同其它的 测量条件0 ，无关，f ，则有： 上 p ( 4 4 ，4 ，l ) = li p i j ) p ( 4 ，a 2 ，4 ，i 、，) = i i e ( 4l 一，) 从而得到： 哈尔滨工业大学： 学硕士学位论文 p ( i i a a 2 ，4 ) 删1 7 。p ( 4 i 。) 尸( 1 州行一，a ) p ( - 1 7 ) 兀np i - ，i ) 因此，根据各种异常测量的值、入侵的先验概率及入侵发生时每种测量到的 异常概率，从而能够检测判断入侵的概率。为了检测的准确性，必须还要考虑各 测量a 。间的独立性。一种方法是通过相关性分析，确定各异常变量同入侵的关系。 2 41 6 数据挖掘数据挖掘是指利用数据挖掘技术从审计数据或数据流中提 取感兴趣的知识，这些知识是隐含的、事先未知的潜在有用信息，提取的知识表 示为概念、规则、规律、模式等形式，并用这些知识去检测异常入侵和己知的入 侵【1 4 】。 2 4 2 误用入侵检测技术 误用入侵检测指运用已知攻击方法，根据已定义好的入侵模式，通过判断这 些入侵模式是否出现来检测入侵行为。 2 4 ，2 1模式匹配它建立一个攻击特征库，并检查发送过来的数据是否包含这 些攻击特征( 如特定的命令等) ，然后判断它是不是攻击i l 引。它的算法简单、准确 率高，缺点是只能检测已知攻击，模式库需要不断更新，不适宜于高速大规模网 络。 2 4 2 2 专家系统通过将安全专家的知识表示成i f t h e n 规则形成专家知识 库，然后运用推理算法进行检测入侵。在实现中，当规则的左边( i f 部分) 表示攻 击发生的条件全都满足时，系统采取规则右边( 1 h l 狲部分) 所给出的动作【1 6 1 。专 家系统的推理方式主要有以下2 种：( 1 ) 根据给定的数据，应用符号推理出入侵的 发生情况。需要解决的主要问题是处理序列数据和知识库的维护。不足之处就是 只能检测已知弱点。( 2 ) 根据其它的入侵证据，进行不确定性推理。这种推理的局 限性就是推理证据的不精确和专家知识的不精确。 2 4 2 3 条件概率这种方法将入侵方式对应于一个事件序列，然后通过观测到 事件发生隋况来推测入侵出现。它的依据是外部事件序列，根据贝叶斯定理进行 推理检测入侵。令e s 表示事件序列，先验概率为p ( i n t r u s i o n ) ，后验概率为 e ( e s ii n t r u s i o n ) ，事件出现的概率为e ( e s ) ，则 p ( 如印瑚如聍le s ) ：p ( e sii n t r u s i o h ) p ( i n t r u s i o n ) 。p(es) 1 2 啥尔滨工业大学工学硕士学位论文 通常网络安全专家可以给出先验概率p ( i n t r u s i o n ) ，对入侵报告数据进行统 计处理得出e ( e sii n t r u s i o n ) 和p ( e sj - ，i n t r u s i o n ) ，于是可以计算出： p ( e s ) = ( ( p ( e sii n t r u s i o n ) 一p ( e sl - 、i n t r u s i o n ) ) p ( i n t r u s i o n ) + p ( e sl ，i n t r u s i o n ) 故可以通过事件序列的观测，从而推算出p ( i n t r u s i o nl 五s ) 。基于条件概率误用检 测是在概率理论基础上的一个普遍的方法。它是对贝叶斯方法的改进，其缺点是 先验概率难以给出，且事件的独立性难以满足。 2 4 2 4 状态转移分析这种方法将攻击表示成一系列被监控的系统状态转移。 攻击模式的状态对应于系统状态，并具有转移到另外状态的条件断言。它允许事 件类型被植入到模型，不需同审计记录一一对应。缺点是攻击模式只能说明事件 序列，函此不能说明更复杂的事件【l ”。 下面是这种方法的一个简单示例，表示在一分钟内如果登录失败的次数超过 4 次，系统便发出报警。其中竖线代表状态转移，如果在状态发生登录失败， 则产生一个标志变量，并存储事件发生时间兀，同时转入状态& 。如果在状态 时又有登录失败，而且这时的时间乃一乃 ”指示规则所适用的流量方向。位于方向 操作符左侧的i p 地址和端口号被认为是指示来自主机的数据包流量，而位于右侧 的部分则指示目的主机。“ ”表示为双向操作符，这对于需要同时记录并分 析对话双方流量的场合是十分合适的，例如t e l n e t 或者p o p 3 对话过程。 规则选项是代理入侵检测引擎的核心部分之一，规则选项的设计将易用性和 检测性能以及灵活性结合起来。规则使用的关键字如下： m s g在报警信号和数据包日志中显示一条信息； l o g将数据包记录到用户指定名称的文件，而不是标准输出文件； t t l测试i p 数据包的丌l 字段： i d 测试i p 数据包的分组字段是否等于指定值； d s i z e 测试数据包的负载段大小是否等于指定值； c o n t e n t 在数据包负载中搜索指定模式； o f f s e t 选项c o n t e n t 的修饰符，设定模式搜索的起始偏移量； d e p t h选项c o n t e n t 的修饰符，设定某一指定模式匹配尝试的最大搜 索深度： f l a g s测试各种t c p 标识值： s e q测试t c p 序列号字段是否等于指定值； a c k 测试t c p 确认字段是否等于指定值； i t y p e澳4 试i c m p 类型字段是否等于指定值； i c o d e 测试i c m p 代码字段是否等于指定值； s e s s i o n 转储某一指定会话的应用层信息； ic m pi d 测试i c m pe c h oi d 字段是否等于指定值； i c m p _ s e q测试i c m pe c h o 序列号是否等于指定值： i p o p t i o n监控碑选项字段中特定代码的出现情况： r p c监控r p c 服务中特定应用程序过程的调用情况； r e s p激活的响应选项： c o n t e n t 一1 i s t 用于同时指定多个c o n t e n t 选项。 5 1 2 2 规则解析代理的规则库是文本文件，可读性和可修改性都比较好，缺 点是不能作为直接的数据结构供检测引擎调用，因此，在每次启动时，都需要对 3 5 哈尔滨工业大学工学硕士学位论文 规则库文件进行解析，以生成可供检测程序高效检索的数据结构3 9 】。代理采用了 一种二维链表的数据结构，分成链表头和链表选项两部分。在链表头中包含的是 多个规则中的共有属性，而不同的检测属性选项则包含在不同的链表选项中，如 图5 3 所示。 o p tt r e e n o d e r u l eo p t i o n ( m e s s a g e ，i o g t o ，s e s s i o nf l a g ) o p t f p l i s t + o p t _ f u n c o p t t r e e n o d e + n e x t r u l eo p t i o n ( m e s s a g e ，l o g t o ，s e s s i o nf l a g ) o p t f p l i s t + o p tf u n c o p t t t _ e e n o d e + n e x t o p t t r e e n o d eo p t t r e e n o d e 图5 - 3 规则链表数据结构 二维链表横向的节点称为r u l e t r e e n o d e ，纵向的节点称为o p t t r e e n o d e 。 r “e t e e n o d e z 主要包括规则头( r u l eh e a d e r ) 信息、处理函数指针( r u l e f p l i s t + r o l e f u n c ) 、r u l e t r e e n o d e 指针( r i g h t ) 、o p t t r e e n o d e 指针( d o w n ) 4 部分内容。 o p t t r e e n o d e 主要包含规则选项( r u l eo p t i o n ) 信息、处理函数指针( o p t f p l i s t * o p tt i m e ) 、o p t t r e e n o d e 指针( n e x t ) 3 部分内容。 二维链表的生成过程如下： ( 1 ) 横向搜索。打开规则库文件，读入一行，首先提取出该条目的r u l e h e a d e r 部分，沿着二维链表的横向进行查询，如果没有和该条目的r d e h e a d e r 相同的 r u e t r e e n o d e 节点，就在链表的末尾添加一个r u l e t r e e n o d e ，并将有关r m e h e a d e r 哈尔滨工业大学工学硕士学位论文 部分的检测函数加入到该r u l e t r e e n o d e 的处理函数链表( r u l e f f i l i s t ) 中去，定 位在该r u l e t r e e n o d e 上，然后进行第二步：如果找到和该条目的r u l eh e a d e r t 相同的r u l e t r e e n o d e 节点，就定位在该r u l e t r e e n o d e 处，进行第二步。 ( 2 ) 纵向搜索。在该r u l e t r e e n o d e 对应的纵向链表末尾添加一个 o p t t r e e n o d e ，然后根据该规则条目所包含的r u l eo p t i o n 部分内容，识别出其中 的各个关键字( k e y w o r d ) ，设置该o p t t r e e n o d e 的参数( m e s s a g e ，l o g t o 等) ，并 将各个关键字所对应的处理函数添加到该o p t t r e e n o d e 的处理函数链表 ( o p t f p l i s t ) 中去。 这样，每次读入一个规则条目，分别分析它的规则头和规则选项，在二维链 表中添加对应的节点( r u l e t r e e n o d e 或o p t t r e e n o d e ) ，设置该节点的处理函数链 表。当所有规则条目处理完之后，就生成了对应该规则库文件的二维链表。 5 1 3 数据采集的实现 数据采集的功能为捕获网络上传输的数据包并按照t c p i p 协议的不同