（计算机软件与理论专业论文）基于数据挖掘的入侵检测技术研究(1).pdf

华中科技大学硕士学位论文 摘要 ! 入侵检测系统( i d s ) 是防火墙的必要补充，与传统的加密和访问控制方法相 比，i d s 是全新的计算机安全措施。在收集到系统和网络的原始数据后，如何建立 入侵检测模型是入侵检测领域的研究重点。通过手工书写规则和其它特殊方式实现 的检测模型，使多数入侵检测系统只具有有限的有效性和适应性。将数据挖掘技术 应用于入侵检测，其思想是：尽可能除去在入侵检测系统构建过程中的人工行为， 用一种以数据为中心的观点，将入侵检测过程看作分析数据的过程，从而提高入侵 检测系统构建过程的自动化程度。i 对关联规则挖掘算法和序列规则挖掘算法进行改进，从审计数据中挖掘关联规 则和序列规则，指导训练数据的收集和特征选择过程。针对现有关联规则挖掘算法 和序列规则挖掘算法在实际应用中产生的大量垃圾规则的问题，对兴趣度函数作了 扩充，将是否含有核心属性作为模式是否有趣的一个度量。为了提高关联规则挖掘 算法的时间效率，应用设置行向量的方法，即采取行向量的位运算代替集合的“并”、 “交”运算，不需生成候选项集的支持案，使时间效率较a r d b s o 和a p r i o r i 算法 显著提高。对于频繁场景算法，在迭代过程中用两个n 阶最小出现链表生成n + l 阶 最小出现链表，不需要生成候选项集的支持集，提高了算法的效率。 设计并实现了一个入侵检测原型系统。该系统采用了轻量级、模块化的结构， 由训练代理负责生成并维护规则集，由检测代理根据训练代理产生的规则集，检测 输入的审计数据，来判断是否有入侵行为。系统对已知的攻击方法的检测是有效的。 。、。 关键词：入侵检测：数据挖掘：关联规则：序列规则 华中科技大学硕士学位论文 a b s t r a c t i n t r u s i o nd e t e c t i o n s y s t e m ( i d s ) ，i s ar e a s o n a b l e s u p p l e m e n t f o rf i r ew a l l d i f f e r e mf r o mt r a d i t i o n a la c c e s sc o n t r o la n de n c r y p t i o nt e c h n o l o g y ，i d si sal a t e s t s e c u r i t ym e a s u r e i ti s t h ef o c u so ft h ei n t r u s i o nd e t e c t i o nr e s e a r c hf i e l dt h a th o wt o c o n s t r u c tt h ei n t r u s i o nd e t e c t i o nm o d e la f t e rt h er a ws y s t e ma n dn e t w o r ka u d i td a t ai s o b t a i n e d c u r r e n t l yb u i l d i n ga ne f f e c t i v ei n t r u s i o nd e t e c t i o ns y s t e mi s a l le n o r m o u s k n o w l e d g ee n g i n e e r i n gt a s k s y s t e mb u i l d e r sr e l yo nt h e i ri n t u i t i o na n de x p e r i e n c et o c o n s t r u c tt h ei n t r u s i o nd e t e c t i o nm o d e l s t h e r ef o r , w ea p p l yd a t am i n i n gt e c h n i q u e st o i n t r u s i o nd e t e c t i o n t h ec e n t r a li d e ai st h a tt a k i n gad a t a c e n t r i cp o i n to fv i e wa n d c o n s i d e r i n gi n t r u s i o nd e t e c t i o n a sad a t aa n a l y s i s p r o c e s s w eu s et h ea s s o c i a t i o nr u l e sa n d f r e q u e n te p i s o d e sc o m p u t e d f r o ma u d i td a t aa st h e b a s i sf o r 鲥d i n gt h ea u d i td a t a g a t h e r i n ga n d f e a t u r es e l e c t i o np r o c e s s e s t w oe f f i c i e n t a l g o r i t h m sa r ep r e s e n t e d ，w h i c h a r eb a s e do ne s s e n t i a la t t r i b u t e sa n du s e sr o wv e c t o ro r m i n i m a lo c c u l t e n c el i n kl i s ts t r u c t u r e i no r d e rt oc o m p u t eo n l yt h er e l e v a n t ( “u s e f u l ”) p a t t e r n s ，w ec o n s i d e r t h e o r d e ro f i m p o r t a n c e a m o n gt h ea t t r i b u t e so f a u d i td a t aa n d u s ee s s e n t i a la t t r i b u t e ( s ) a sf o r m so f i t e mc o n s t r a i n t si nt h ed a t am i n i n g p r o c e s s a s a r e s u l t ，t h er o wv e c t o r ( i n i n i m a lo c c u r r e n c el i n kl i s t ) s t r u c t u r ei m p r o v e st h ee f f i c i e n c yo f t h ea l g o r i t h m se n o r m o u s l y t h ei n t r u s i o nd e t e c t i o ns y s t e mh a sl i g h t w e i g h ta n dm o d u l a ra r c h i t e c t u r et h a ti s c o n s t i t u t i v eo ft w ok i n d so f i n t e l l i g e n ta g e n t s ：t h el e a r n i n ga g e n t sa n dt h ed e t e c t i o n a g e n t s t h el e a r n i n ga g e n t sa r er e s p o n s i b l ef o rc o m p u t i n ga n dm a i n t a i n i n gt h er u l es e t s f o rp r o g r a m sa n du s e r stw h i l et h ed e t e c t i o na g e n t se x e c u t et h ec l a s s i f i e ro nt h ei n p u t d a t a ，a n d o u t p u te v i d e n c eo f i n t r u s i o n s k e y w o r d s ：i n t r u s i o nd e t e c t i o n ：d a t a m i n i n g , a s s o c i a t i o nr u l e s s e q u e n c er u l e s 华中科技大学硕士学位论文 ：= = = = = = = = = = 自= = ；= = = = ；= = = # = = = = ；= ；= = 1 1 选题的目的和意义 1 绪论 因特网( i n t e r n e t ) 起源于1 9 6 9 年的a r p a n e t ，最初用于军事目的，1 9 9 3 年开 始用于商业应用，进入快速发展阶段。到目前为止，互联网已经覆盖了1 7 5 个国家 和地区的数千万台计算机，用户数量超过一亿。随着计算机网络的普及，计算机网 络的应用向深度和广度不断发展。企业上网、政府上网、网上学校、网上购物等， 一个网络化社会的雏形已经展现在我们面前。在网络给人们带来巨大的便利的同时， 也带来了一些不容忽视的问题，网络信息的安全保密闯题就是其中之一。 一个安全系统至少应该满足用户系统的保密性、完整性及可用性要求。但是， 随着网络连接的迅速扩展，特别是i n t e r n e t 大范围的开放以及金融领域网络的接 入，越来越多的系统遭到入侵攻击的威胁。这些威胁大多是通过挖掘操作系统和应 用程序的弱点或者缺陷( b u g ) 来实现的。目前，对付破坏系统企图的理想方法是建立 一个完全安全系统。但这样的话，就要求所有的用户能识别和认证自已，还要采用 各种各样的加密技术和强访问控制策略来保护数据。 目前，网络安全技术主要包括1 1 。2 ： 1 数据加密技术： 加密算法是网络安全的基石。数据加密实质上是对以符号为基础的数据进行移 位和置换的变换算法。这种变换是被称为密钥的符号串控制的。一般情况下，我们 用公开密钥算法建立通信，用对称密钥算法存储或传输中的数据进行加密，而用m d 5 等报文摘要算法来验证数据的完整性。加密技术可运用于链路层、网络层、传输层 和应用层。加密产品主要包括链路密码机、i p 协议密码机、邮件文件加密产品、 交易处理过程加密系统等。 2 身份鉴别和认证技术： 鉴别是确保所有安全应用和服务的基础，认证就是将特定实体从任意实体的集 合中识别出来的行为，而鉴别则是为认证提供充分保证的手段。鉴别和认证产品主 华中科技大学项士学位论文 。 要包括：用于数字证书发行和管理的证书、卡片类、手持身份认证产品等。 3 访问控制技术： 其目的是防止对网络信息资源的非授权访问和操作。其技术原理包括：硬件物 理隔离，面向连接的中继，面向网络层的控制( 如i p 包过滤) ，协议层状态检查，面 向应用的转发与代理( 如s o c k s ) ，通过中继设备对实体标识进行变换( 例如n a t ) 及基 于授权等级分割的权限控制等。访问控制技术广泛应用于防火墙设备、代理服务器、 鉴别与认证服务器、授权服务器中。 4 防火墙技术 3 1 ： 防火墙系统是外部网络与内部网络( 需受保护) 之间的物理与逻辑界面。目前使 用的防火墙构件，可分成信息包过滤器、线路中继器及应用网关三种不同的访问控 制系统，它们可单独使用，也可结合在一起共同使用。 防火墙作为网络安全的一种防护手段得到了广泛的应用，它可以起到一定的防 护作用。然而，防火墙技术有如下的不足： 入侵者可以寻找防火墙背后可能敞开的后门绕过防火墙； 防火墙完全不能阻止内部攻击，对于企业内部心怀不满的员工来说形同虚设； 防火墙是一种被动的防护机制，防火墙不能提供实时的入侵检测能力； 防火墙是一种静态的防护机制，需要人工来实施和维护，不能主动跟踪入侵 者。 由以上内容，我们可以发现现有安全防护措施的不足【4 】： 1 被动地保护网络安全。现有的安全防范措施在保护网络安全方面虽然起到了 很大的积极作用，但这种保护常常是被动的，不能主动地发现一些安全隐患。比如， 在局域网内，假设员工在收发电子邮件、f t p 连接、传输机密文件等操作时以明文 方式进行的话( 实际上，在生活中，很多在局域网内传输的信息都是以明文方式传输 的) ，如果此时在局域网内有一个员工用s n i f f e r 嗅探软件进行监听，他可以把在局 域网上传输的机密信息如用户名和口令等全部截获，从而可以干一些超出他权限范 围内的事，如以他人身份收取邮件、查看或是修改他人计算机上的机密文件等。又 比如，即使局域网通过防火墙连接到i n t e r n e t 上，但如果从i n t e r a c t 上用诸如s y n f l o o d 和u d p f l o o d 软件向局域网发起攻击( 这是2 0 0 0 年初发生在a o l 、y a h o o 等很多全 球知名网站上的拒绝服务攻击事件) ，现有的安全防护措施不能很好地检测此类攻 击。 华中科技大学硕士学位论文 2 传统的安全防护措施对网络管理人员的素质要求较高。要想保证现有的安全 防范措施能完全充分地发挥作用，要想检测网络安全措施是否真正地发挥了作用， 就必须要求网络管理人员要有很高的业务素质，而这一点也常常不容易达到， 要较好地解决上面两个问题，就必须在现有的安全体系中引入入侵检测系统 ( i n t r u s i o nd e t e c t i o ns y s t e m ，简称i d s ) 。入侵检测系统就是按此思路建立的安全系统， 即：先建立比较容易实现的安全系统，同时按照一定的安全策略建立相应的安全辅 助系统。现在安全软件的开发方式基本上就是按照这个思路进行的。就目前系统安 全状况而言，系统存在被攻击的可能性。如果系统遭到攻击，只要尽可能地检测到， 甚至是实时地检测到，然后采取适当的处理措施。i d s 一般不是采取预防的措施以 防止入侵事件的发生，入侵检测作为安全技术其作用在于：识别入侵者：识别入侵 行为：检测和监视已成功的安全突破；为对抗入侵及时提供重要信息，阻止事件的 发生和事态的扩大。因此，入侵检测非常必要垆j 。 1 2 国内外研究概况 入侵检测的概念最早由j a m e sa n d e r s o n 于1 9 8 0 年提出1 6 】。而d o r o t h yd e n n i n g 于1 9 8 4 1 9 8 7 年最早提出并实现一个通用的入侵检测模型i d e s ( i n t r u s i o nd e t e c t i o n e x p e r ts y s t e m ) t7 1 。受a n d e r s o n 和d o r o t h y 的影响在2 0 世纪8 0 年代出现了大量的 原型系统如i d a u d i t a n a l y s i sp r o j e c t 、d i s c o v e r y 、h a y s t a c k 、m i d a s 、n a d i r 、n s m 、 w i s d o ma n ds e n s e 等；商业化的入侵检测系统直到2 0 世纪8 0 年代后期才出现，比 如目前较有影响的公司i s s 是在1 9 9 4 年成立的。国内的研究则从九十年代未起步， 至今方兴未艾。 然而，到目前为止，入侵检测技术仍然很不完善。一方面随着计算机技术、网 络技术自身的高速发展、千兆高速网、k c d 技术等的出现，又增加了入侵检测实现 的难度；另一方面，入侵技术也在不断地更新变化。可以说网络入侵检测技术又面 临者一个新的挑战。在大型网络中，入侵检测所面临的问题可以总结为：大型分布、 异构环境：庞大、时变、噪音信息数据：不完整信息的推理：处理不同类型的探测 器：网络结构的复杂性，致使协作、通讯的困难：大型网络中的信任关系复杂；进 攻模式的不断变化。 在目前入侵检测技术的研究中，一方面在检测技术上，针对越来越复杂的攻击 华中科技大学硕士学位论文 方法，如何提高人、检测能力。另一方面，利用a g e n t 技术在检测系统结构设计上， 实现对大型网络、高速千兆网、分布式异构平台环境的适应。目前的技术研究主要 集中在如下几个方面：检测系统的攻击反应机制：高度分布式的入侵检测系统结构； 入侵检测系统的互操作标准；新的入侵检测方法。 其中在新的入侵检测方法方面主要的研究方向有【5 】【8 】【9 l ： 基于特征选择异常检测方法： 基于贝叶斯推理的异常检测方法； 基于贝叶斯网络的异常检测方法； 基于模式预测的异常检测方法； 基于贝叶斯聚类的异常检测方法； 基于机器学习的异常检测方法： 基于数据挖掘的异常检测方法； 基于统计异常的检测方法； 基于神经网络的检测方法； 基于条件概率的误用检测方法； 基于状态迁移分析的误用入侵检测方法； 基于键盘监控的误用入侵检测方法； 基于专家系统的误用入侵检测方法； 基于模型误用推理的误用入侵检测方法： 基于p e t r i 网状态转换的误用入侵检测方法。 1 3 论文的组织结构 本课题主要探讨了在入侵检测系统的设计和实现中应用数据挖掘技术的方法。 下面介绍一下论文的内容安排。 第1 章简要地介绍了国内外网络安全和入侵检测技术的研究现状，阐述了本课 题的研究目的和意义。 第2 章讨论了入侵检测技术的一般原理和方法，详细地介绍了目前流行的几种 入侵检测系统的模型，并给出了入侵检测系统的分类。 第3 章阐述了用数据挖掘技术建立入侵检测系统的原理，重点讨论了审计数据 4 华中科技大学硕士学位论文 的收集和检测模型的构建过程。 第4 章详细地讨论了应用数据挖掘技术建立入侵检测模型的具体实现算法。着 重指出这些算法相对于通用的数据挖掘算法的改进之处。 ， 第5 章介绍了基于数据挖掘的入侵检测原型系统的设计和实现过程。 最后一章是对系统的评价和工作总结，并提出了今后的研究方向。 华中科技大学硕士学位论文 2 1 入侵检测的定义 2 1 1 入侵 2 入侵检测技术研究与分析 a n d e r s o n 在8 0 年代早期使用了“威胁”这一概念术语，其定义与入侵含义相 同。将入侵企图或威胁定义为未经授权蓄意尝试访问信息、窜改信息，使系统不可 靠或不能使用6 1 。h e a d y 给出另外的入侵定义，入侵是指有关试图破坏资源的完整 性、机密性及可用性的活动集合【1 0 】。s m a h a 1 1 1 从分类角度指出入侵包括尝试性闯入、 伪装攻击、安全控制系统渗透、泄漏、拒绝服务、恶意使用6 种类型。 2 1 2 入侵检测 国际上早在2 0 世纪8 0 年代就开始了对计算机和网络遭受攻击防范的研究，审 计跟踪为当时主要的方法。1 9 8 0 年，a n d e r s o n 首先提出了入侵检测的概念，他将入 侵尝试或威胁定义为：潜在的、有预谋的、未经授权的访问信息、操作信息，致使 系统不可靠或无法使用的企图【6 1 。他提出审计追踪可应用于监视入侵威胁。但这一 设想的重要性当时并未被理解，但他的这一份报告被认为是入侵检测的开创性工作。 从1 9 8 4 年到1 9 8 6 年，d e n n i n g 和n e u m a r m 研究并发展了一个实时入侵检测系统模 型，命名为i d e s ( 入侵检测专家系统) ，它是一种通过使用统计方法发现用户异常操 作行为并判断检测攻击的基于主机的入侵检测系统，将异常定义为“稀少和不寻常” ( 指一些统计特征量不在正常范围内) ，他们的这个假设是许多8 0 年代入侵检测研究 和系统原型的基础。1 9 8 7 年，d e n n i n g 提出关于这个问题的论文被认为是另一篇入 侵检测的开创之作【i ”。1 9 8 8 年，m o r i s si n t e r n e t 蠕虫事件导致了许多i d s 系统的开 发研制。1 9 8 8 年，l n n t 等人进一步改进了d e n n i n g 提出的入侵检测模型，他提出了 与系统平台无关的实时检测思想。1 9 9 0 年，h e b e r l e i n 等人提出基于网络的入侵检 6 华中科技大学硕士学位论文 测一一n i d s ，n i d s 可以通过在局域网上主动地监视网络信息流量来追踪可疑的行 为【1 3 1 。1 9 9 1 年，n a d i r 与n i d s 提出了收集和合并处理来自多个主机的审计信息 从而用以检测针对一系列主机的协同攻击。1 9 9 4 年，m a r kc r o s h i e 和g e n e 唧a f f o r d 建议使用自治代理以便提高i d s 的可伸缩性、可维护性、效率和容错性。1 9 9 4 年 b i s w a n a t hm u k h e r j e e 等对先前i d s 的研究做了较为完整的回顾和分析，对各种 i d s 的系统原型进行了分析和评述。1 9 9 5 年以后出现了很多不同的新的i d s 研究方 法特别是智能i d s ，包括神经网络、遗传算法、模糊识别、免疫系统、数据挖掘等 1 5 1 8 ，这些方法目前都处在理论研究阶段。 入侵检测是指监视或在可能的情况下，阻止入侵或试图控制你的系统或网络资 源的那种努力。它通过对计算机网络或计算机系统中的若干关键点收集信息并对其 进行分析，从中发现网络或系统中是否有违反安全策略的行为和被攻击的迹象。进 行入侵检测的软件与硬件的组合便是入侵检测系统。与其他安全产品不同的是，入 侵检测系统需要更多的智能，它必须可以将得到的数据进行分析，并得出有用的结 果。一个合格的入侵检测系统能大大地简化管理员的工作，保证网络安全的运行。 入侵检测是一种主动的防护措施，它从系统内部和网络中收集信息，从这些信 息中分析计算机是否有安全问题，并采取相应的措施。一个入侵检测系统应该具有 以下功能： 监视系统和用户的行为； 审计系统配置和漏洞： 评估敏感系统和数据的完整性； 识别和攻击行为； 对异常行为进行统计： 进行审计跟踪，识别安全法规的行为； 自动地收集和系统相关的补丁： 安装诱骗服务器，记录黑客的行为。 这些特点组合起来，就可以使系统管理员轻松地监视、审计、评估网络系统的 安全性。 华中科技大学硕士学位论文 2 2 入侵检测系统的原理 入侵检测是用来发现外部攻击与合法用户滥用特权的一种方法。入侵橙莉是根 据用户的历史行为，基于用户的当前操作，完成对入侵的检测，并留下入侵证据， 为数据恢复和事故处理提供依据。入侵检测系统的功能原理如2 1 所示： 图2 1 入侵检测系统的原理 在入侵检测系统中，系统将用户的当前操作所产生的数据同用户的历史操作数 据根据一定的算法进行检测，从而判断用户的当前操作是否是入侵行为，然后系统 根据检测结果采取相应的行动。入侵检测的过程是一个机器( 检测工具) 与人( 黑客) 对抗的决策分析过程。 2 3 入侵检测系统的模型 不同的入侵检测系统模型往往采用不同的组件描述系统组成。一般地，一个入侵 检测系统由以下组件组成【1 9 - - 2 3 ： i 数据源d a t as o u r c e ：数据源是i d s 监视并发现未授权或异常行为的原始数 据。通常包括原始网络数据包、操作系统审计记录、应用程序审计记录以及系统校 验数据等等。 2 ：盛廛堕丞墨塾q e ! 显廛整亘丛数堡逐噍塞数据! 丕回殴! 旦墨基盛庭整画蝗塞 华中科技大学硕士学位论文 数据的频率也不同。 3 行为a c t i v i t y ：行为是数据源的实例，如某个网络连接、某个用户执行的一 个操作和某个应用程痔的触发的一个事件等。行为既可以是危险的恶意攻击也可 以是无害鲍用户偶然异常操作。 4 。分析单元a n a l y z e r ：分析单元分析处理感应嚣收集到的数据( 如未授权或异 常行为和其它有用事件等) ，并产生告警。在现有i d s 系统中，感应单元释分斩单 元往往是统一组件的一部分。 5 事件e v e n t ：事件是对数据源数据进行分析的结果。攀件( 一个或多个) 触发 管警。 6 告警a l e r t ：告警消息由分析单元产生并发送到对应的响应单元。告警消息 通常包括豢 牛的类型、事件发生的对闯、事件处理的优先级等信息。 7 管理单元m a n a g e r ：一般地，管理单元的功熊包括感应单元配置、分桥单元 配置、事件告知管理、数据综合和报表等。 s 响应单元r e s p o n s o r ：响应单元是对告警作出反应的功能单元，它可以作出 切断连接、改变文件属性等强烈反应，也可以只是简单的报警。 在一些系统中，响应单元髑管理单元鹃功能由嗣一个模块执行，既可称失管理 单元，也可称为管理单元，如告知模型和告知询问模型。 9 反应r e s p o n s e ：反应是对事件发生采取的措施。反应可能由系统自动触发， 也可l 冀由安全管理人员发动。其中，通知管理员愚普遍反应。其它反瘦包括行为记 录、原始数据特征记录、切断网络连接、终止用户进程、改变两络或系统存取属性 等。 l o 。管理员a d m i n i s t r a t o r ：( 安全) 管理员负责整个l i d s 的安全镱略配置和组件 配嚣工作。管理员和操作员衽系统中担任不同的职责，是两个不同的系统角色，但 在现实可以燕同一个人或小组。 1 1 操作员o p e r a t o r ：操作员是i d s 的主要用户。操佟员监视入侵检测系统的输 出，必要时采取一定的反应措施。 目前，试图对i d s 进行标准化的工作有两个组织：i e t f 的i n t r u s i o nd e t e c t i o n w o r k i n gg r o u p ( i d w g ) 和c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r kg r o u p ( c i d f ) ，已 经提出了相关的革案。以下将介绍鼹个标准中采丽的入侵检测系统模型，并微分毒斤积 比较。 9 华中科技大学硕士学位论文 2 3 1 告知模型 告知模型支持分析单元到管理单元的单向通讯。下级管理单元也可以向r 上级管 理单元发送告警。如图2 2 所示。 当分析单元检测到一个事件或一系列事件的发生时，它马上报告给它的管理单 元。分析单元将事件( 一个或多个) 封装到告警中发送给管理单元。分析单元既不保 存事件也不保存告警。告知模型的好处是分析单元实现比较简单，容易配置，对主 机资源的消耗比较少。但是，由于分析单元总是机械的向管理单元发送告警，使管 理单元只能被动地接受数据。即使是无用的信息，管理单元也只能接受，大大增加 了管理单元的额外负担。目前，告知模型是i d e f 采用的主要分析模型。而且，市 场上的入侵检测产品也大都采用告知模型。 鳖塑塑卜叫塑型号雩 叫? 节号杠分析单元 ，77 、安全策略 。嗍c ， i d s # 2 分析单元 2 3 2 告知一询问模型 图2 2 告知模型 告知一询问模型能够支持分析器和管理器之间的双向通讯。在告知询问模型 宅：坌堑墅篮鳖量二全瑟垒仝萱墨墨銮亘警拯数量：园吐鳘璺签i i l 能丝皇座数筮 1 0 e - 中科技大学硕士学位论文 析单元进行进一步的数据交换。如图2 3 所示。 在告知一询问模型中，当分析单元检测到一个事件或一系列事件的发生时，它 也必须马上告警给它的管理单元。但是，与告知模型不同的是，它并不发送所有的事 件信息，而是有选择地发送一些重要的信息如事件类型、发生时间、优先级等。分 析单元发送的信息取决于其本地的环境与配置。若收到告警的管理单元对产生告警 的事件有兴趣，它将向发出告警的分析单元发出详细信息的查询请求，获取进一步 分析需要的有用信息。 告知询问模型的优点是它比较灵活，告警消息包比较小，不仅解决了告知模 型中的问题，同时也减少了不必要的网络流量。而且，由于询问机制的采用，分析 单元需要暂时保存部分或全部的相关事件信息，如分析记录，d u m p 数据报等等。 因此，它能够为管理单元提供更多的相关信息，不限于该告警的相关事件信息，有 利于分析告警和告警之间的相关性。 由于分析单元要暂时保存历史数据，供管理单元查询：而且还要接受管理单元 的查询请求，从保存在内存或硬盘的历史数据中查询出所需要的信息。同时，它们 还要执行入侵检测的主要职责。因此，告知一询问模型的分析单元比告知模型的分 析单元复杂，不适用于一些资源较少的主机和服务器。 r 望l - 数据源卜叫探测单元j 旦 分析单元 分析单元i 安全策略二二二二二 。嗍 e7 ， i d s ；1 2 分析单元j 图2 3 询问一告知模型 华中科技大学硕士学位论文 2 3 3c i d f 模型 c i d f 是由d a r p a ( 美国国防高级研究项目属) 在1 9 9 7 年提出的通用入侵检 测框架。它所要实现的目标为：1 实现入侵检测系统和网络管理系统共享入侵检测 系统的事件产生组件，事件分析组件，数据库和回应组件：2 实现入侵检测系统和 网络管理系统共享审计记录，报告信息，和入侵模式信息等；3 实现互操作性标准 和使用a p i 函数集来统一实现和管理i d s ；4 设计独立于i d s 实现语言，操作语言， 和网络协议的开放的入侵检测框架标准【2 4 。2 6 1 。一个符合c i d f 架构的入侵检测系统 的描述如图2 4 所示。 图2 4 c i d f 模型 1 事件组件( e - b o x e s ) ：收集或过滤事件数据的程序或模块。事件组件产生被 入侵检测系统处理的审计事件。 2 分析组件( a - b o x e s ) ：分析由事件组件传递来的事件数据，并产生警报信息。 3 数据库组件( d - b o x e s ) ：存储由事件组件和分析组件传递来的数据信息，包 括处理过的和未处理过的，并提供检索和查询服务。 4 回应组件( r - b o x e s ) ：回应组件根据分析组件提供的警报来对攻击做出反 应。 5 管理服务器：提供对各组件的消息管理和安全控制。 c i d f 将入侵检测系统需要分析的数据统称为事件( e v e n t ) ，它可以是基于网络 的入侵检测系统中网络中的数据包，也可以是基于主机的入侵检测系统从系统日志 等其他途径得到的信息。它也对于各部件之间的信息传递格式、通信方法和标准a p i 进行了标准化。 事件组件的目的是从整个计算环境中获得事件，并向系统的其他部分提供此事 件。分析组件分析得到的数据，并产生分析结果。回应组件则是对分析结果做出反 直的功能望元：宜互必做出诸如切断连接，改变文鲑属性笠强烈反应。甚至筮动盈 华中科技大学硕士学位论文 攻击者的反击，也可以只是简单的报警。数据库组件是存放各种中间和最终数据的 地方的统称，它可以是复杂的数据库，也可以是简单的文本文件。 在现有的入侵检测系统中，经常用数据采集部分、分析部分和响应部分来分别 代替事件产生器、事件分析器和响应单元这些术语。且常用日志来简单的指代事件 数据库。 目前c i d f 标准还没有正式确立，也没有一个入侵检测商业产品完全使用该标 准，但因为入侵检测系统的特殊性，所以使得各种入侵检测系统的模型都有很大的相 似性。各种入侵检测系统各自为阵，系统之间的互操作性很差，因此各厂商都在按 照c i d f 进行信息交换的标准化工作。 2 4 入侵检测系统的分类 入侵检测技术大体上可分为异常入侵检测和误用入侵检测两类。 异常入侵检测：假设主体的入侵活动异常于正常活动。由此可以建立主体正常 活动的“行为模型”。尝试用定量的方法描述可接受的行为特征，以区分不正常的行 为和潜在的入侵。进行检测时，将当前主体的活动状况与“行为模型”比较，若违 反其统计规律，则认为该活动可能是入侵行为。目前出现的具体方法有：基于特征 选择、基于神经网络【2 7 1 、基于模式预测、基于机器学习、基于规则的状态转换 2 8 - 2 9 】 和概率统计【3 0 】等。 异常入侵检测面临的问题在于： 1 入侵者可以逐步训练基于统计的检测系统，使之将异常活动判为正常活 动： 2 异常行为是相对的，难以确定正常和异常之间的阈值，容易漏报和误报： 3 计算量大，涉及的入侵度量众多： 4 需要较高的技术，可行性较低，而且通常不能给出准确的结论，只能提出 某种可能性； 5 异常检测的使用比较麻烦，要有一定的训练期，以获得正常行为的有关数 据。 优点在于；适应性好、不要求有关系统漏洞的知识、可以发现新的安全问题等。 误用入侵检测：假设入侵活动可以用某种模型( 特征) 来精确地描述，并可以通 华中科技大学硕士学位论文 过捕获攻击及重新整理来确认入侵活动是基于同一弱点进行攻击的变种。通过检测 系统的活动是否符合这一模型( 特征) ，可以判断是否有入侵活动发生。目前出现的 具体方法有：模式匹配、模型推理、基于条件概率、基于状态迁移和键盘控制等。 误用入侵检测的问题在于：对于未知的攻击无效、容易漏报，需要对入侵特征 库进行升级。 优点在于： 1 准确性好，可以针对某个具体的系统建立高效的检测系统： 2 容易实现和使用，而且检测准确率高、误报少，处理速度快，是目前最有 效、最流行的检测方法。 由于这两类方法的优势互补，所以在商用系统中通常把这两类方法结合使用以 提高对入侵的识别率。 另外，从审计源位置来区分，入侵检测系统可分为基于主机和基于网络的两种。 前者通过监视与分析主机的审计记录检测入侵，并可针对不同操作系统的优点捕获 应用层入侵事件，缺点是依赖于主机及其审计子系统，实时性较差；后者则通过在 共享网段上侦听采集通信数据分析可疑现象，其优点是侦测速度快、隐蔽性好，不 那么容易遭受攻击、视野更宽、仅用较少的监视器、对主机资源消耗少。 从入侵检测系统的行为来区分，它又可分为主动系统和被动系统。前者采取切 断连接或预先关闭服务、注销可能的攻击者的登录等主动措施对抗攻击；后者仅产 生报警信号。现在主动的入侵检测系统采用蜜罐和反跟踪的技术，不仅能够记录入 侵行为，还能够查知攻击者的具体信息，真正起到了阻止攻击的目的。 从根据系统检测频率，它又可以分为实时连续入侵检测系统和周期性检测系 统。 2 5 小结 本章对入侵检测技术、入侵检测系统的原理、入侵检测系统的分类、进行了研 究和分析。是本文后面构造入侵检测系统的基础。 1 4 华中科技大学硕士学位论文 3 检测模型的自动构建 入侵检测作为信息安全的第二道防线，与传统的安全技术相结合可达到比较理 想的系统安全目的。1 9 8 6 年，d e d e n n i n g 提出：安全破坏是异于系统正常模式的 行为，可通过监视系统的审计记录进行检测( 4 1 。最常用的入侵检测系统都是利用审 计数据作为信息来源。 在收集到系统和网络的原始数据后，如何建立入侵检测模型是入侵检测领域的 研究重点。当前的入侵检测系统中，检测模型多是通过手工书写规则和其它特殊方 式实现的。在误用检测中，系统中的入侵检测规则由安全专家通过手工编码提供； 而在异常检测中，审计数据特征和测度是根据模型创建者的经验和知识选择的。结 果使目前的多数入侵检测系统只具有有限的有效性和适应性。因此w e n k el e e 和 s a l v a t o r ej s t o l f o 提出将数据挖掘应用于入侵检测p ”其思想是：尽可能除去在入 侵检测系统构建中的人工行为，而用一种以数据为中心的观点，将入侵检测过程看 作分析数据的过程，从而提高入侵检测系统构建过程的自动化程度。 3 1 系统日志与审计信息 在一个部署有入侵检测系统的网络中，网络通信量是极大的，日常的系统日志 的数据量非常大。在一个系统正确、合理地配置了审计机制后，便可以源源不断地 产生大量的审计数据。所以，在系统中存在大量的日志和审计数据。这些信息有的 与入侵有关，有的与入侵无关。由于数据挖掘技术在数据中提取特征与规则方面有 非常大的优势，所以我们可以采用数据挖掘技术从那些大量的，甚至是冗余的系统 日志与审计数据信息中提取对安全有用的信息。 考虑到入侵检测系统的检测广度，应选用主机上操作系统的审计日志和网络数 据包所携带的信息作为分析的输入。 操作系统审计日志是由一个特殊审计子系统产生的，该子系统是操作系统软件 的一部分。审计日志是系统活动信息的集合，系统活动信息以时间顺序存放在一起， 组成一个或多个审计文件。其中的每一个审计文件又由多条审计记录组成，每一审 计记录描述一个单一的系统事件。只要用户的操作和用户触发的进程进行系统调用 华中科技大学硕士学位论文 和执行命令( 本地或远程的) ，就会产生这些记录。美国国防部于1 9 8 5 年发布了可信 计算机系统评测标准( t c s e c ，t r u s t e dc o m p u t e rs y s t e m e v a l u a t i o nc r i t e r i a ，又称桔皮 书) ，该标准即成为公认的计算机系统安全级别的划分标准。可信系统中的安全相关 事件要被记录在审计日志里，审计的开启对系统整体性能的影响要小，数据要易于 分析且不被非法存取和修改。其中c 2 级安全审计记录是当前基于主机的入侵检测 系统唯一可靠的数据来源。 各种种类的u n i x 系统中都有大量系统日志，如u t m p 记录当前登录到系统中的 所有用户，h t t p 日志记录了每一次h a p 连接情况，h i s t o r y 日志保存了用户最近输入 的命令等等。w i n d o w s n t ，2 0 0 0 系统，则产生三各类型的系统日志：系统日志、应 用程序日志和安全日志，它们被存放在系统的、w i n n t 、s y s t e m 3 2 、c o n f i g 目录下。 前两者任何人都能查看，是系统和应用程序产生的错误警告和其他信息；安全日志 则对应于审计日志，如果把它存储于n t f s 格式的文件系统中，安全日志就仅供系 统员查看和管理。安全日志由定义安全相关的事件组成，它们都是从t c s e cc 2 定 义的审计事件中派生的。 操作系统审计要记录以下类型的事件：使用识别与认识机制( 如注册过程) ，将 某个客体放入某个用户的地址空间( 如打开文件) ，从用户地址空间中删除客体、计 算机操作员、系统管理员和系统安全员进行的操作及其他所有与安全有关的操作。 对于每个记录下来的事件，审计记录应该能够标识出事件发生的时间，触发这一事 件的用户、事件的类型及事件成功与否等等。对于识别与认证事件，审计记录应该 能记录下事件发生的源地点( 如终端标识符) ；对于将某个客体引入某个用户的地址 空间及从用户地址空间中删除客体的事件，审计记录应该记录下客体名及客体的安 全级等信息【圳。 另外，还可以对操作系统另外配置一些其他的审计工具，譬如t c pw r a p p e r 、 t c p d u m p 、s e n d m a i l ，n e t l o g 等等。这些实用程序使用特定的日志文件产生它们的 信息，我们可以收集这些使用程序的输出，结合其他日志描述出一幅系统的真实状 态图。 需要指出的是：以上各种系统目志和审计日志并非专门为入侵检测系统或数据 挖掘算法而设计。因此，对于某些数据挖掘算法而言，挖掘上述格式的审计数据中 是一种十分烦琐困难的工作。甚至不可能完成。因此，需要另外的数据预处理过程， 将原始的审计数据转化为便于挖掘的格式。这一点，以后还会提到。 华中科技大学硕士学位论文 3 2 审计数据的收集与预处理构思与实现过程 3 2 1 主机审计数据的收集过程 w i n d o w s n t 的事件日志记录着操作系统或应用程序重要的事件。事件日志为 分：应用程序日志、系统日志和安全日志。应用程序日志包含由应用程序或一般程 序记录的事件。例如，数据库程序用应用程序日志来记录文件错误，由开发人员决定 所要记录的事件。系统日志包含由系统组件记录的事件。例如，在系统日志中记录 启动期间要加载的驱动程序或其他系统组件的故障，由系统组件记录的事件类型是 预先确定的。安全日志可以记录诸如有效和无效的登录尝试等安全事件，以及与资 源使用有关的事件。例如，创建、打开或删除文件，管理员可以指定在安全日志中 记录的事件。我们只监控有关系统安全审核的事件，监控这种事件记录我们就可以知 道系统发生了哪些重要的安全审核事件。 w i n d o w s n t 事件日志的格式如下： 1 事件源：登录事件应用程序的名字； 2 事件标识符：唯一的标识该事件，它对特定的事件源是唯一的； 一 3 事件记录类型：包括信息型、警告型、错误型、审核成功型、审核失败型； 4 分类类型：分类类型用于帮助组织事件使它们能在e v e n t v i e w e r 中被过滤， 包括登录及注销、文件系统授权、特权行为、安全策略的改变四类： 5 事件描述：用来详细的描述解释该事件，它应帮助用户理解什么错了以及建 议采取何种行动。其内容依赖于具体事件而变化。可包括对象服务器名、对 象类型、对象名、名柄i d 、操作i d 、进程i d 、主要用户名、主域、客户用 户名、窗户登录i d 、与任何对象访问有关的信息以及与任何优先级改变有 关的信息等； 6 填充符：用于在描述字符串填充占位符。 在确定了事件记录的格式之后，通过微软提供的w i n 3 2e v e n t l o g a p i 来访问系 统日志。系统日志收集过程图3 1 所示： 华中科技大学硕士学位论文 图3 1 系统日志收集过程 系统设定为每隔2 秒钟读一次安全日志，从中取出自上次读操作后产生的所有 新记录，将其存放在审计记录数据库中。 3 2 2 网络数据的收集过程 在我们实现的系统原型中，首先将网卡设置成混杂模式( p r o m i s c u o u sm o d e ) ，然 后运用伯克利信息包过滤( b e r k e l e y p a c k e tf i l t e r i n g ) 原理，利用网络驱动器接口标准 n i d s ( n e t w o r kd r i v e ri n t e r f a c es t a n d a r d ) 编写的从网上接收、过滤、分析数据包的程 序段从网络