（计算机应用技术专业论文）一种数据挖掘技术在入侵检测系统中的应用.pdf

哈尔滨理丁大学t 学硕士学位论 一种数据挖掘技术在入侵检测系统中的应用 摘要 随着网络基数的飞速发展，计算机网络被广泛应用到人类活动的各个领 域，网络对社会经济和人们生活的影响越来越大，网络安全问题也越来越受 到广泛的关注。面对严峻的网络安全的形势，迫切需要行之有效的网络安全 保障技术。 入侵检测是国内外近二十年来一直在研究网络安全的核心技术之一。它 是目前安全领域较新的课题，是动态安全领域的核心，但目前仍然存在很多 问题，尤其是具有自适应能力、自我学习能力的入侵检测系统还不完善。针 对这些问题，介绍了入侵检测和数据挖掘技术的基本概念、原理和结构，采 用了一种基于数据挖掘技术建立的入侵检测系统的方法，讨论了该系统实现 中的关键技术及解决方法，将现有的数据挖掘算法中的关联分析、序列模式 分析、分类等算法应用于入侵检测系统，对入侵行为提取特征、建立规则， 通过对审计数据的处理与这些特征进行匹配，以形成智能化的入侵检测系统。 最后对基于连接( 会话) 记录的滥用检测和基于用户行为的异常检测进行测 试，实现了一个简单的原型。 关键词入侵检测；数据挖掘；关联规则；序列模式 堕垒鎏堡三奎兰三兰至圭兰竺丝兰 a n a p p l i c a t i o no f d a t am i n i n gt e c h n i q u eo n i n t r u s i o nd e t e c t i o ns y s t e m a b s t r a c t w i t ht h ed e v e l o p m e n ta tf u l ls p e e do f t h en e t w o r kt e c h n o l o g y , t h ec o m p u t e r n e t w o r ki sa p p l i e dt oe a c hf i e l do ft h eh u m a na c t i v i t ye x t e n s i v e l y ，t h ei m p a c to n s o c i a le c o n o m ya n dp e o p l e sl i f eo ft h en e t w o r ki s g r e a t e ra n dg r e a t e r t h e s e c u r i t yq u e s t i o no ft h en e t w o r kr e c e i v e st h ee x t e n s i v ec o n c e r nm o r ea n dm o r e ， t e c h n o l o g ya n dp r o d u c t st h a t v a i 瞳o u sk i n d so fn e t w o r ks e c u n t ya r ec o r r e l a t e d w i t ha r ee m e r g i n gc o n s t a n t l y s oi ti su r g e n tt oe s t a b l i s has e to fn e t w o r ks e c u r i t y a s s u r a n c es y s t e m i th a sb e e nt h ef o c u so fr e s e a r c h i nn e a r l yt w e n t yy e a r s ，r e s e a r c h e so nt h e i n t r u s i o nd e t e c t i o n ，t h ec o r eo fn e t w o r ks e c u r i t y , h a v eb e e nd o n ea th o m ea n d b r o a d i n t r u s i o nd e t e c t i o ni n f o r m a t i o ns e c u r i t y , b u ti ts t i l lh a sm a n yp r o b l e m s ， e s p e c i a l l yi ns e l f - c o m p l e t i n ga n ds e l f - l e a r n i n g t os o l v et h e s ep r o b l e m s ，t h i s t h e s i si n t r o d u c e de l e m e n t a r yc o n c e p t ，p r i n c i p l ea n ds t r u c t u r eo fi n t r u s i o n d e t e c t i o na n dd a t am i n i n gt e c h n o l o g y , p r o p o s e dan e wm o d e lf o rt h ei n t r u s i o n d e t e c t i o ns y s t e mt h a tb a s e do nt h ed a t am i n i n gt e c h n o l o g y w ea p p l ys o m e e x i s t i n ga l g o r i t h m so fa s s o c i a t i o na n a l y s i s ，s e q u e n c ep a t t e r na n a l y s i s ，a n dd a t a c l a s s i f i c a t i o nt ot h ei n t r u s i o nd e t e c t i o n s y s t e m m o r e o v e r ，w e d r a w c h a r a c t e r i s t i c sa n ds e tu pr u l e so nt h ei n t r u s i o nb e h a v i o r s ，w ed e t e c ti n t r u s i o n a c t i o nb ya n a l y z i n gt h ea u d i td a t aa n dp a t t e r n sr e c o g n i t i o nt of o r ma ni n t e l l i g i b l e d e t e c t i o ns y s t e m a tl a s t ，m i s u s ed e t e c t i o nb a s e dc o n n e c t i o n ( s e s s i o n ) r e c o r d sa n d a n o m a l yd e t e c t i o nb a s e du s e ra c t i o na r et e s t e d ，s i m p l em o d e li si m p l e m e n t e d k e y w o r d s i n t r u s i o nd e t e c t i o n ；d a t a m i n i n g ；a s s o c i a t i o nr u l e s ；s e q u e n t i a l p a t t e r n i l 哈尔滨理工大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕士学位论文一种数据挖掘技术在入侵检 测系统中的应用，是本人在导师指导下，在哈尔滨理工大学攻读硕士学位期间 独立进行研究工作所取得的成果。据本人所知，论文中除已注明部分外不包含 他人已发表或撰写过的研究成果。对本文研究工作做出贡献的个人和集体，均 已在文中以明确方式注明。本声明的法律结果将完全由本人承担。 作者签名：乞荚浮日期：2 7 年弓月日 哈尔滨理工大学硕士学位论文使用授权书 一种数据挖掘技术在入侵检测系统中的应用系本人在哈尔滨理工大学 攻读硕士学位期间在导师指导下完成的硕士学位论文。本论文的研究成果归哈 尔滨理工大学所有，本论文的研究内容不得以其它单位的名义发表。本人完全 了解哈尔滨理工大学关于保存、使用学位论文的规定，同意学校保留并向有关 部门提交论文和电子版本，允许论文被查阅积借阅。本人授权哈尔滨理工大学 可以采用影印、缩印或其他复制手段保存论文，可以公布论文的全部或部分内 容。 本学位论文属于 保密厂 ，在年解密后适用授权书。 不保密i c ；7 。 ( 请在以上相应方框内打) 作者签名 已美痒 ， 导师签名吞f 同塞1 日期：1 0 口7 年弓月日 ， 。 日期：皿7 年乡月7 日 哈尔滨理丁大学工学硕j 一学位论文 1 1 入侵检测的提出 第1 章绪论 随着i n t e m e t 高速发展，计算机网络被广泛使用，一些机构和部门越来越多 地依靠网络传递信息，然而网络的开放性与共享性容易使它受到攻击与破坏， 信息的安全保密性受到严重威胁。网络安全问题已成为各机构广大网络用户最 关心的问题之一。 试图破坏信息系统的完整性、机密性、可信性的任何网络活动都称为网络 入侵。根据美国g e n e r a la c c o u n t i n g0 街c e ( g a o ) 2 0 0 4 的报告，在2 0 0 3 2 0 0 4 年， 有2 5 万次对美国政府机关计算机系统的入侵，9 8 的政府部门受到过攻击，而 其中仅1 - 4 的入侵被检测出来。该报告还显示，在过去的五年中入侵事件以 2 5 0 的速度增长，几乎所有的大公司和企业都不同程度地发生过入侵事件，所 造成的经济损失非常巨大。一个健全的网络信息系统安全方案应该包括安全效 用检验、安全审计、安全技术、安全教育与培训、安全机构与程序和安全规则 等内容，这是一个复杂的系统工程。安全技术是其中的一个重要环节，目前常 用的安全技术有防火墙、防病毒软件、用户认证、加密、入侵检测系统等。其 中防火墙是防范网络入侵最常用的方法。但是，防火墙只是一种被动防御性的 网络安全工具，想仅仅使用防火墙来保证网络安全是远远不够的。适当配置的 防火墙虽然可以将非预期的访问请求屏蔽在外，但不能检查出经过的合法流量 中是否包含着恶意的入侵代码，对于来自内部的攻击无能为力，入侵者可以找 到防火墙的漏洞，绕过防火墙进行攻击【1 1 。在这种需求背景下，入侵检测系统 ( i n t r u s i o nd e t e c t i o ns y s t e m ，简称i d s ) 应运而生。 入侵检测具有监视分析用户和系统的行为、审计系统配置和漏洞、评估敏 感系统和数据的完整性、识别攻击行为、对异常行为进行统计、自动地收集和 系统相关的补丁、进行审计跟踪识别违反安全法规的行为、使用诱骗服务器记 录黑客行为等功能，使系统管理员可以较有效地监视、审计、评估自己的系统。 入侵检测系统在未来的网络安全预防中将起到非常重要的作用。在企业网中它 可以及时发现、阻拦入侵行为，保护来自个别人、黑客和竞争对手的威胁，保 证企业信息平台的正常运转。因此，研究网络安全技术，特别是入侵检测技术 及其应用，对于保障计算机系统、网络系统和整个信息基础设施的安全具有非 哈尔演理丁大学工学硕士学位论文 常重要的理论和现实意义， 1 2 国内外研究发展现状 从最早期的计算机安全开始，人们就密切关注恶意使用者破坏保护机制的 可能性。早期系统多为多用户批处理系统。这个时期，主要的威胁来自系统的 合法使用者，他们企图得到未经授权的子料。到了2 0 世纪7 0 年代，分时系统 和其他的多用户系统己成气候，威廉h w 主持的计算机安全防御科学特别工 作小组曾提供了一项报告，为处理多级数据的计算机系统的发展奠定了基础。 但这篇报告并没有受到应有的重视，直到2 0 世纪7 0 年代中期，人们才开始进 行构建多级安全体系的系统研究 2 1 。 7 0 年代后期，美国政府，包括d o d ( 国防部) 和n i s t ( 国家标准和技术协会) 开始支持计算杌安全研究工作，安全审计也被考虑在这些研究中。1 9 8 0 年，安 德森提出了另外一项报告，这次是针对一个空军客户，后者使用大型计算机处 理大量的机密数据。报告中，安德森提出了减少分析数据量的方法，以及比较 统计数据和总的观察，也就是统计行为，以发现反常的行为。当一个安全违例 发生或反常的事件出现时，就会提醒安全官员，安全官员还能利用详细的观钡4 资料做后续的评估。在8 0 年代中期，入侵检测方面的许多工作都被他的思路深 深影响 1 9 8 0 年，j a m e spa n d e r s o n 第一次系统阐述了入侵检测的概念，并将入侵 行为分为外部渗透、内部渗透和不法行为三种，还提出了利用审计数据监视入 侵活动的思想。即其之后，1 9 8 6 年d o r o t h ye d e n n i n g 提出实时异常检测的概 念并建立了第一个实时入侵检测模型，命名为入侵检测专家系统( i d e s ) ，为构 建入侵检测系统提供了一个通用的框架( 如图1 - 1 所示) 。 图1 - 1 通用i d s 框架 f i g ，1 - 1g e n e r a li d sf r f l m e 哈尔滨理t 大学t 学硕十学位论文 1 9 9 0 年，l t h e b e r l e i n 等设计出监视网络数据流的入侵检测系统 n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 。自此之后，入侵检测系统才真正发展起来。 从2 0 世纪9 0 年代到现在，入侵检测系统的研发呈现出百家争鸣的繁荣局 面，并在智能化和分布式两个方向取得了长足的进展。目前，普渡大学、加州 大学戴维斯分校、洛斯阿拉莫斯国家实验室、哥伦比亚大学、新墨西哥大学等 机构在这些方面的研究代表了当前的最高水平【4 j 。 普渡大学开发的a a f i d ( a n t o na g e n t sf o ri n t r u s i o nd e t e c f i o n ，即自治代理 入侵检测) 系统是p u r d u e 大学设计的一种采用树形分层构造的代理群体，最根部 的是监视器( m o n i t o r ) 代理，提供全局的控制、管理以及分析由上一层节点提供 的信息，在树叶部分的代理( a g e n t ) 专门用来收集信息。处在中间层的代理被称 为收发器( t r a n s c e i v e r ) ，这些收发器一方面实现对底层代理的控制，一方面可以 起到信息的预处理过程，把精练的信息反馈给上层的监视器。这种结构采用了 本地代理处理本地事件，中央代理负责整体分析的模式。与集中式不同，它强 调通过全体智能代理的协同工作来分析入侵策略。 随着入侵检测技术的发展，成型的产品已陆续应用到实践中。入侵检测系 统的典型代表是i s s ( 国际互联网安全系统公司) 公司的r e a ls e c u r e 。目前较为著 名的商用入侵检测产品还有：n a i 公司的c y b e r c o p m o n i t o r 、a x e n t 公司的n e t p r o w l e r 、c i s c o 公司的n e tr a n g e r 、c a 公司的s e s s i o nw a l l 一3 等。 把数据挖掘技术应用于入侵检测系统是由哥伦比亚大学计算机系研究室 w e n k el e e 于1 9 9 9 年提出的一个全新的概念。目前，此项目是美国国防部 d a r p a ( d e f e n s ea d v a n c e dr e s e a r c hp r o j c o t sa g e n c y ) 项目的一部分。实验表明， 此方法能够提高系统的检测率，而不会降低任何一种检测模型的其它效能口l 。 我国在入侵检测技术方面也有一定研究，开发出了一些网络安全产品，如 西安信利网络科技公司的“网络巡警”解决方案、华泰网信息技术有限公司的 i n t e m e t i n t r a n e t 网络安全预瞀系统、北京启明星辰科技贸易有限公司的黑客入侵 检测与预警系统、北京时代先锋软件有限责任公司的行天黑客攻击检测工具等 多种入侵检测产品。 目前，国内也有少数一些研究机构及大学正在从事数据挖掘在入侵检测方 面的研究。从研究成果来看，大多处于初始阶段，还没有系统的理论推出。数 据挖掘技术应用于入侵检测系统的基本原理和方法正处在研究阶段，因此，本 课题研究数据挖掘的理论及用于入侵检测系统中数据分析的理论和方法，具有 一定的理论价值【6 j 。 哈尔演理工大学工学硕十学位论文 1 3 论文的主要工作和组织 本文的工作主要分为三个方面。 1 以检测结构模型的建立、数据挖掘算法在入侵检测方面的应用以及入侵 特征的提取作为研究的主要内容。通过对入侵监测系统模型的研究，根据异常 检测模型和误用检测模型的特点，提出了基于主机和网络以及异常检测与误用 检测相结合的系统结构模型。 2 在系统中采用关联规则和序列模式等数据挖掘算法实现数据采集、特征 建立和特征更新；通过机器学习得到新的规则实现系统知识的自动更新，提高 系统自我学习的能力，增强系统的自适应性。 3 根据网络数据的具体情况引入了轴属性、参考属性等概念对a p r i o d a l l 算法和f r e q u e n te p i s o d e 进行扩展，提高规则的准确性和概括性。对于有关低频 属性的挖掘，提出了基于宽度的逐层近似挖掘算法使规则库更趋完善，从而降 低漏警率和误警率。 论文分为5 章，第1 章研究了入侵检测的提出并对入侵检测系统国内外发 展现状进行分析，明确了研究课题的意义；第2 章分析了入侵检测系统的基本 概念及分类；第3 章研究了入侵检测的挖掘算法；第4 章提出了基于数据挖掘 的入侵检测系统结构模型并对所采用的挖掘算法进行扩展；第5 章对网络数据 和试验结果进行分析，最后是结论。 哈尔滨理工大学工学硕- j 一学位论文 第2 章入侵检测系统的有关概念与分类 入侵检测系统( i d s ) 全称为i n t r u s i o nd e t e c t i o ns y s t e m ，它从计算机网络系统 中的若干关键点收集信息，并分析这些信息，检查网络中是否有违反安全策略 的行为和遭到袭击的迹象。进行入侵检测的软件与硬件的组合便是入侵检测系 统。与其他安全产品不同的是，入侵检测系统需要更多的智能，它必须可以将 得到的数据进行分析，并得出有用的结果例。一个合格的入侵检测系统能大大的 简化管理员的工作，保证网络安全的运行。 2 1 入侵检测系统的现状及发展趋势 入侵检测系统作为一种主动的安全防护技术，提供了对内部攻击、外部攻 击和误操作的实时保护，在网络系统受到危害之前拦截和响应入侵。随着网络 通信技术安全性的要求越来越高，为给电子商务等网络应用提供可靠服务，而 由于入侵检测系统能够从网络安全的立体纵深、多层次防御的角度出发提供安 全服务，必将进一步受到人们的高度重视。 2 1 1 当前入侵检测系统存在的问题 i d s 自1 9 8 0 年被提出以来，i d s 在2 0 多年间得到了较快的发展。特别是近 几年，由于非法入侵不断增多，网络与信息安全问题变得越来越突出。i d s 作 为一种主动防御技术，越来越受到人们的关注。目前，国内外有很多家研究机 构在从事i d s 的研究工作，不少厂家也开发出了i d s 产品。但总的看来，现在 对i d s 的研究还不够深入，产品的性能也有待提高。具体说来，i d s 目前存在 的主要问题主要有： 1 i d s 产品的检测准确率比较低，漏报和误报比较多。 2 对分布式攻击和拒绝服务攻击的检测和防范能力较弱。 3 尚不能与其他安全部件很好地互动。 4 缺乏国际、国内标准。 5 对i d s 产品的测试评估缺乏统一的标准和平台。 由此可见入侵检测技术还不够成熟和完善，有很大的研究、发展空间嘲。 哈尔滨理工大学t 学硕卜学位论文 2 1 2 入侵检测系统的主要研究方向及发展趋势 从总体上讲，目前除了完善常规的、传统的技术( 模式识别和完整性检测) 外，入侵检测系统应重点加强与统计分析相关技术的研究。其主要研究方向可 以概括为： 1 ，宽带高速实时的检测技术如何实现高速网络下的实时入侵检测己经成 为现实面l 临的问题。目前的千兆i d s 产品其性能指标与实际要求相差很远。要 提高其性能主要需考虑以下两个方面：首先，i d s 的软件结构和算法需要重新 设计，以期适应高速网的环境，提高运行速度和效率；其次随着高速网络技术的 不断发展与成熟，新的高速网络协议的设计也必将成为未来发展的趋势。 2 大规模分布式的检测技术传统的集中式i d s 的基本模型是在网络的不 同网段放置多个探测器收集当前网络状态的信息，然后将这些信息传送到中央 控制台进行处理分析。 3 数据挖掘技术操作系统的日益复杂和网络数据流量的急剧增加，导致 了审计数据以惊人速度剧增，如何在海量的审计数据中提取出具有代表性的系 统特征模式，以对程序和用户行为做出更精确的描述，是实现入侵检测的关键。 数据挖掘技术是一项通用的知识发现技术，其目的是要从海量数据中提取 对用户有用的数据。将该技术用于入侵检测领域，利用数据挖掘中的关联分析、 序列模式分析等算法提取相关的用户行为特征，并根据这些特征生成安全事件 的分类模型，应用于安全事件的自动鉴别。一个完整的基于数据挖掘的入侵检 测模型要包括对审计数据的采集，数据预处理、特征变量选取、算法比较、挖 掘结果处理等一系列过程。 4 ，更先进的检测算法在入侵检测技术的发展过程中，新算法的出现可以 有效提高检测的效率。以下三种机器学习算法为当前检测算法的改进注入新的 活力。它们分别是计算机免疫技术、神经网络技术和遗传算法。 计算机免疫技术是直接受到生物免疫机制的启发而提出的。计算机免疫技 术为入侵检测提供了思路，即通过正常行为的学习来识别不符合常态的行为序 列。神经网络技术在入侵检测中研究的时间较长，今天的神经网络技术已经具 备相当强的攻击模式分析能力，它能够较好地处理带嗓声的数据，而且分析速 度很快，可以用于实时分析。现在提出了各种其他的神经网络架构诸如自组织 特征映射网络等。遗传算法在入侵内检测中的应用时间不长，在些研究试验 中，利用若干字符串序列来定义用于分析检测的指令组，用以识别正常或者异 常行为的这些指令在初始训练阶段中不断进化，提高分析能力。 哈尔滨理工大学工学硕士学位论文 5 入侵响应技术当i d s 分析出入侵行为或可疑现象后，系统需要采取相 应手段，将入侵造成的损失降到最小程度。随着网络的日益复杂和安全要求的 提高，更加实时的和系统自动入侵响应方法正逐渐被研究和应用【9 】。 在互联网高速上网迅速发展的今天，随着安全事件的急剧增加以及入侵检 测技术逐步成熟，入侵检测技术将会有很大的应用前景。 1 入侵检测技术应用于无线网络移动通信由于具有不受地理位置的限制、 可自山移动等优点而得到了用户的普遍欢迎和广泛使用，目前全球有上亿人使 用无线数据电话。但是由于移动通信的固有特点，移动台( m s ) 与基站( b s ) 之间 的空中无线接口是开放的，这样整个通信过程，包括通信、链路的建立、信息 的传输均暴露在第三方面前；而且在移动通信系统中，移动用户与网络之间不 存在固定物理连接的特点使得移动用户必须通过无线信道传递其身份信息，以 便于网络端能正确鉴别移动用户的身份，而这些信息就可能被第三者截获，并 伪造信息，假冒此用户身份使用通信服务；另外无线网络也容易受到黑客和病 毒的攻击。因此，入侵检测在无线网络方面有广阔的应用前景。 2 入侵检测系统走进家庭越来越多的人通过互联网将家中的计算机与公 司联网，而由于使用了宽带，这些用户的网络或d s l 调制解调器总是处于打开 的状态，黑客可以由此侵入网络，一些传播很快的病毒还会把个人计算机的内 容暴露给黑客，这些都预示着入侵检测系统将逐渐走入家庭i l “。 2 2 入侵检测的基本概念 入侵检测( i n t r u s i o n d e t e c t i o n ) 是对入侵行为的发觉。它通过对计算机网络或 计算机系统中的若干关键点收集信息并对其进行分析，从中发现网络或系统中 是否有违反安全策略的行为和被攻击的迹象【1 1 1 。 入侵检测作为一种积极主动的安全防护技术，提供了对内部攻击、外部攻 击和误操作的实时保护，在网络系统受到危害之前拦截和响应入侵。入侵检测 系统能很好的弥补防火墙的不足，从某种意义上说入侵检测是防火墙之后的第 二道安全闸门。 所有的i d s 的本质都是基于分析一系列离散的、按先后顺序发生的事件， 这些事件用于误用模式进行匹配，入侵检测源都是连续的纪录，它们反映了特 定的操作，间接反映了运行状态。i d s 功能包括：监视、分析用户及系统活动； 系统构造和弱点的审计；识别反映已知进攻的活动模式并向相关人士报警；异 常行为模式的统计分析；评估重要系统和数据文件的完整性；操作系统的审计、 哈尔滨理工大学工学颁上学位论文 跟踪、管理和识别用户违反安全策略的行为。 2 3 入侵检测系统的检测分类 2 3 1 行为类别分类方法 根据行为类别分类，入侵检测可分为异常检钡l j ( a n o m a l yd e t e c t i o n ) 和误用检 钡u ( m i s u s ed e t e c t i o n ) 1 ”。 异常检铡，也称为基于行为的入侵检测，以系统、网络、用户或进程的正 常行为建立轮廓模型( a p t 常行为模式) ，将与之偏离较大的行为解释成入侵。该 方法基于如下的假设：入侵会引起用户或系统行为的异常。异常检测方法具有 检测系统中未知攻击的能力，由于新攻击方法总是不断出现，因此异常检测技 术一直较受重视，产生了大量的异常检测技术。下面对其中的主要技术进行介 绍和分析。 1 统计分析统计分析方法是异常检测的主要方法之一。该方法依据系统 中特征变量的历史数据建立统计模型，并运用该模型对特征变量未来的取值进 行预测和检测偏离。 以统计分析方法形成系统或用户的行为轮廓，实现简单，且在度量选择较 好时( 即系统或用户行为的变化会在相应的度量上产生显著的变化) 能够可靠检 测出入侵。该方法的缺点为；以系统或用户一段时间内的行为特征为检测对象， 检测的时效性差，在检测到入侵时入侵可能已造成损害；度量的阈值难以确定； 忽略了事件间的时序关系。 2 基于数据挖掘的检测方法数据挖掘是一种利用分析工具在大量数据中 提取隐含在其中且潜在有用的信息和知识的过程。入侵检测过程也是利用所采 集的大量数据信息，如主机系统日志、审计记录和网络数据包等，对其进行分 析以发现入侵或异常的过程。因此，可利用数据挖掘技术，从大量数据中提取 尽可能多的隐藏的安全信息，抽象出有利于比较和判断的特征模型( 如基于异常 检测的正常行为轮廓) 。 基于数据挖掘的检测方法建立在对所采集大量信息进行分析的基础之上， 只能进行事后分析，即仅在入侵事件发生后才能检测到入侵的存在。 3 其他检测方法其他的异常检测方法有基于规则的方法、人工免疫法、 基于机器学习的检测方法和基于神经网络的检测方法等。 异常检测的优点为：不需获取攻击特征，能检测未知攻击或已知攻击的变 哈尔滨理工大学工学硕卜学位论文 种，且能适应用户或系统等行为的变化。但异常检测具有如下的缺点：一般根 据经验知识选取或不断调整闽值以满足系统要求，阈值难以设定；异常不一定 由攻击引起，系统易将用户或系统的特殊行为( 如出错处理等) 判定为入侵，同时 系统的检测准确性受阂值的影响，在闽值选取不当时，会产生较多的检测错误， 造成检测错误率高；攻击者可逐渐修改用户或系统行为的轮廓模型，因而检测 系统易被攻击者训练；无法识别攻击的类型，因而难以采取适当的措施阻止攻 击的继续i ”】。 误用检测，也称为基于知识或基于签名的入侵检测。误用检测i d s 根据已 知攻击的知识建立攻击特征库，通过用户或系统行为与特征库中各种攻击模式 的比较确定是否发生入侵。常用的误用检测技术主要有： 1 基于专家系统的检测方法专家系统是入侵检测中常用的一种检测方法， 将有关入侵的知识转化为i f - t h e n 结构的规则，前者为构成入侵的条件，后者为 发现入侵后采取的响应措施。专家系统的优点为把系统的推理控制过程和问题 的最终解答相分离，即用户不需要理解或干预专家系统内部的推理过程，只需 把专家系统看作一个黑盒子。在将专家系统应用于入侵检测时，存在下列问题： 缺乏处理序列数据的能力，即不能处理数据的前后相关性；性能取决于设计者 的知识：只能检测已知的攻击模式；无法处理判断不确定性；规则库难以维护， 更改规则时要考虑对规则库中其他规则的影响。 2 基于状态转移分析的检测方法状态转移分析方法运用状态转换图来表 示和检测已知的攻击模式，即运用系统状态和状态转移表达式来描述已知的攻 击模式，以有限状态机模型来表示入侵过程。入侵过程由一系列导致系统从初 始状态转移到入侵状态的行为组成，其中初始状态为入侵发生前的系统状态， 入侵状态表示入侵完成后系统所处的状态。 以状态转移分析方法表示的攻击检测过程只与系统状态的变化有关，而与 攻击的过程无关。状态转移分析方法能检测到协同攻击和慢攻击；能在攻击行 为尚未到达入侵状态时检测到该攻击行为，从而及时采取相应措施阻止攻击行 为。状态转换图给出了保证攻击成功的特征行为的最小子集，能检测到具有相 同入侵模式的不同表现形式。状态转移分析方法中状态对应的断言和特征行为 需要手工编码，在用于复杂的入侵场景时会存在问题。 3 其他检测方法其他的误用检测方法有基于有色p e t r i ( c p ) - n e t 的误用检 测及基于键盘监控的误用检测等。 误用检测的优点为：攻击检测的准确率高；能够识别攻击的类型。误用检 测的缺点为：只能检测已知攻击；滞后于新出现的攻击，对于新的攻击，仅在 - 9 - 哈尔滨理t 大学工学硕i 。学位论文 其包含进攻击特征库后才能检测到；攻击特征库维护困难，新攻击出现后需由 专家根据专业知识抽取攻击特征，不断更新攻击特征库：攻击者可通过修改攻 击行为，使其与攻击特征库中的特征不相符，从而绕过检测。 误用检测和异常检测各有优缺点，具有一定的互补性。通常检测系统为提 高入侵检测性能，将这两种技术结合以实现入侵检测。 2 3 2 数据采集源分类方法 入侵检测系统根据其检测数据的来源分为两类：基于主机( h o s t b a s e d ) 的入 侵检测系统和基于网络( n e t w o r k b a s e d ) 的入侵检测系统。基于主机的入侵检测， 也称为主机入侵检测，通过对主机系统状态、事件日志和审计记录进行监控以 发现入侵。而基于网络的入侵检测系统从网络上提取数据( 如网络链路层的数 据帧) 作为入侵分析的数据源【1 4 】。通常来说基于主机的入侵检测系统只能检测 单个主机系统，而基于网络的入侵检测系统可以对本网段的多个主机系统进行 检测，多个分布于不同网段上的基于网络的入侵检测系统可以协同工作以提供 更强的入侵检测能力。图2 1 给出了一个同时包含基于主机与基于网络的两种 机制的入侵检测结构框图。 图2 - 1 入侵检测系统结构图 f i g 2 - 1i d ss t r u c t u r ec h a r t 哈尔滨理工大学- 【学硕士学位论文 基于主机的入侵检测系统的检测目标是主机系统和系统本地用户，原理是 根据主机的审计数据和系统日志发现可疑事件。该系统通常运行在被监测的主 机或服务器上，实时检测主机安全性方面诸如操作系统日志文件、审核日志文 件、应用程序日志文件等的情况，其效果依赖于数据的准确性以及安全事件的 定义。这种类型的i d s 是利用主机操作系统及应用程序的审核作为输入的主要 数据源来检测入侵。基于主机的入侵检测系统被设计成检测i d s 代理所驻留的 宿主机，如图2 ，2 所示，这种i d s 可以检测到网络协议栈的高层数据，也可检 测到被监视主机上的本地活动，例如：文件修改和用户账户的建立。 图2 - 2 基于主机的入侵检测系统 f i g 2 - 2i d sb a s e dm a i n f r a m e 在图2 2 的客户一服务器通信模式下，客户机对服务器上的访问活动将被 服务器同志所记载。i d s 代理检测这些记录用户活动信息的日志文件，将它们 与事先知道的用户正常行为模式进行匹配。 通常，基于主机的i d s 可监测系统、事件和w i n d o w n i 下的安全记录以及 u n i x 环境下的系统记录。当有文件发生变化时，m s 将新的记录条目与攻击标 记相比较，看它们是否匹配。如果匹配，系统就会向管理员报警并向别的目标 报告，以采取措施。基于主机的m s 在发展过程中融入了其它技术，对关键系 统文件和可执行文件的入侵检测的一个常用方法，是通过定期检查校验来进行 的，以便发现意外的变化。反应的快慢与轮询间隔的频率有直接的关系。许多 产品都是监听端口的活动，并在特定端口被访问时向管理员报警。这类检测方 法将基于网络的入侵检测的基本方法融入到了基于主机的检测环境中。 基于主机的入侵检测系统能检测内部授权人员的误用以及成功避开传统的 系统保护方法而渗透到网络内部的入侵活动；具有操作系统及运行环境的信息， 检测准确性较高；在检测到入侵后可与操作系统协同阻止入侵的继续，响应及 哈尔滨理工大学工学硕上学位论文 时。 基于主机的入侵检测系统的缺点为：与操作系统平台相关，可移植性差； 需要在每个被检测主机上安装入侵检测系统，代价较高；难以检测针对网络的 攻击，如消耗网络资源的d o s 攻击、端口扫描等。 基于网络的入侵检测系统搜集来自网络层的信息。这些信息通过嗅探技术， 使用在混杂模式的网络接口来获得，如图2 3 所示。 图2 - 3 基于网络的入侵检测系统 f i g 2 - 3i d sb a s e dn e t w o r k 从图2 3 可以看出，基于网络i d s 位于客户端与服务端的通信链路中央， 它可以访问到通信链路的所有层次。因此，这种i d s 可以监视和检测网络层的 攻击( 如s y n 洪流) 。 基于网络的入侵检测( 也称为网络入侵检测) 监视网络段中的所有通信数据 包，识别可疑的或包含攻击特征的活动。在广播网络中，可以将网卡设置为混 杂模式，监控整个网络而不暴露自己的存在。基于网络的入侵检测能够利用网 络数据中的许多特征，比如单个包的t c p i p 头、包的内容以及多个包的组合。 网络型入侵检测系统担负着保护整个网段的任务。 基于网络的入侵检测系统有以下优点：对用户透明，隐蔽性好，使用简便， 不容易遭受来自网络上的攻击；与被检测的系统平台无关；仅需较少的探测器； 往往用独立的计算机完成检测工作，不会给运行关键业务的主机带来负载上的 增加；攻击者不易转移证据。 基于网络的入侵检测系统的缺点为：无法检测到来自网络内部的攻击及网 络内部的合法用户滥用系统；无法分析所传输的加密报文；在交换式网络中不 能保证实用性；易被攻击者绕过；系统对所有的网络报文进行分析，增加了主 机的负担，且易受d o s 攻击；入侵响应的延迟较大】。 哈尔滨理工大学工学硕士学位论文 2 4 本章小结 本章主要研究了入侵检测系统的概念、入侵检测系统的分类、入侵检测系 统的功能要求和发展趋势，阐述了入侵检测系统目前存在的问题和将来的发展 趋势及主要研究方向，说明了入侵检测系统是现在国际上研究的一个热点，以 及本课题研究的必要性。 哈尔滨理工大学工学硕上学位论文 第3 章数据挖掘技术 3 1 数据挖掘技术概述 采用数据挖掘的方法实现入侵检测系统是近年来入侵检测技术的一个方 向，下面就将介绍数据挖掘技术及数据挖掘与入侵检测相关的一些关键技术。 所谓数据挖掘，是从海量的数据中，抽取出潜在的、有价值的知识( 模式或 规则) 的过程。也就是根据预定义的商业目标，对大量的企业数据进行探索和分 析，揭示其中隐含的商业规律，并进一步将其模式化的技术过程。数据挖掘是 一门交叉学科，它集成了许多学科中成熟的工具和技术，包括数据库技术、统 计学、机器学习、模式识别、人工智能、神经网络等等【l “。 广义的数据挖掘是从存放在数据库、数据仓库或者其他信息库中的大量数 据中挖掘有趣知识的过程。在这种观点下，数据挖掘系统具有以下主要成分： 数据库、数据仓库或其他信息库、数据库或数据仓库服务器、知识库、数 据挖掘引擎、模式评估模块和图形用户界面。如图3 - 1 所示： 图3 - 1 数据挖掘系统 f i g 3 - 1d a t am i n i n gs y s t e m 哈尔滨理工大学丁= 学硕十学位论文 许多人把数据挖掘视为另一个常用的术语：数据库中的知识发现 k d d ( k n o w l e d g ed i s c o v e r yi nd a t a b a s e ) 的同义词【1 7 】。而另一些人只是把数据挖掘 视为数据库中知识发现过程的一个基本步骤。知识发现过程由以下步骤组成： 1 数据清理( 消除噪声或者不一致的数据) 。 2 数据集成( 组合多种数据源) 。 3 数据选择( 从数据库中检索分析相关数据) 。 4 数据变换( 数据变换或统一成适合挖掘的数据形式) 。 5 数据挖掘( 使用只能方法提取数据模式) 。 6 模式评估( 根据某种兴趣度度量，识别表示知识的真正模式) 。 7 知识表示( 使用可视化和知识表示技术，向用户提供挖掘的知识) 。 3 2 数据挖掘的主要功能 一般来说数据挖掘有以下的主要功能： 1 数据总结或称之为描述( d e s c r i p t i o n ) 目的是对数据进行浓缩，给出总 体的综合描述，实现对原始数据的总体把握。常用的数据描述方法是统计学的 传统方法，如计算数据项的总和、均值、方差等基本描述统计量或绘制直方图、 折线图等统计图形。 2 分类( c l a s s i f i c a t i o n ) 就是研究己分类资料的特征，分析对象属性，据此 建立一个分类函数或分类模型，然后运用该模型计算总结出数据特征，将其他 未经分类或新的数据分派到不同的组中。计算结果通常简化为几个离散值，常 用来对资料作筛选工作。 3 聚类( c l u s t e r i n g ) 当要分析的数据缺乏描述信息，或是无法组成任何分 类模式时就采用聚类的方法，将异质母体区隔为具有同构性的群( c l u s t e r ) ，即将 群组之间的差异识别出来，并对个别群组内的相似样本进行挑选，实现同群组 数据相近，不同群组数据相异。分类功能和聚类功能是不同的，分类是根据预 先定好的一些特征值进行对象分组，组或类是预先确定的，而聚类是事先不知 道的条件下根据对象的一些相似特征分组。 4 估计与预i l j ( e s t i m a t i o na n dp r e d i c t i o n ) 估计是根据已有的资料，对某一 参数或数值进行估计，来获取数据，其他未知属性之值。预测是根据对象属性、 过去的观察值和有关资料对该属性的未来值进行预测，估计预测使用的技巧主 要是回归分析、时间数列分析及入工神经网络方法。 5 关联和序列发现( c o r r e l a t i o na n ds e q u e n c ed i s c o v e r y ) 数据库中的数据一 哈尔滨理工大学t 学硕士学位论文 般都存在关联关系，即变量之间存在某种规律，关联就是要找出某一件事或某 一资料中会同时出现的东西。序列分析的相关关系是在关联中增加了时间属性。 因此关联分析就有了简单关联和时序关联之分。如第一次购买电脑的顾客中 9 5 的人同时购买电脑应用软件，此为简单关联。一支股票前一天上涨，则第 二天股票上涨的可能性为8 5 这就是时序关联。由于并不知道数据库中数据的 关联是否存在精确的关联函数，即使知道也是不确定的，因此关联分析生成的 规则带有置信度，置信度级别度量了关联规则的强度。 3 3 数据挖掘的基本方法 由于数据挖掘方法应用在不同的领域，针对各种不同的数据类型和目标要 求，数据挖掘有许多不同的方法。数据挖掘中所用到的主要方法和技术有： 1 分析方法( a n a l y t i cm e t h o d ) 数据挖掘中大量采用统计分析方法，如描述 统计、概率论、回归分析、时间序列分析、多元分析等。回归分析是用于了解 自变量和因变量的关系，并用这些关系来进行分析和预测。时间序列分析，即 利用时问序列模型进行分析。多元分析是对多维随机变量进行分析的技术，其 主要有主成分分析、因子分析、判别分析、聚类分析及典型相关分析等。 2 决策树( d e c i s i o nt r e e ) 一种用树枝状展现数据受各变量影响情况的分析 预测模型，根据对目标变量产生效应的不同而制定分类规则，它是建立在信息 论基础之上，对数据进行分类的一种方法。它首先通过一批己知的训练数据建 立一棵决策树，然后采用建好的决策树对数据进行预测。决策树的建立过程是 数据规则的生成过程，因此这种方法实现了数据规则的可视化，其输出结果容 易理解，精确度较好，效率较高，因而较常用。常用的方法有分类和回归树法 等。 3 神经网络( n e u r a ln e t w o r k s ) 一种模仿人脑思考结构的数据分析模式，从 输入变量或数值中自我学习，并根据学习经验不断调整参数，以期得到知识的 模式。它是建立在自学习的数学模型基础之上，可以对大量复杂的数据进行分 析，并能完成对入脑或计算机来说极为复杂的模式抽取及趋势分析。神经网络 的处理过程主要是通过神经网络的学习功能找到一个恰当的连接加权值来得到 最佳结果。比较典型的学习方法是回溯法。通过将输出结果同一些己知值进行 一系列比较，加权值不断调整，得到一个新的输出值，再经过不断的学习，最 后该神经网络得到一个稳定的结果。 4 相关规贝l j ( c o r r e l a t i o nr u l e ) 是一种简单而实用的关联分析规则，它描述 哈尔滨理工大学工学硕十学位论文 一个事务中某些属性同时出现的规律和模式，由一连串的“如果一则”的逻辑 规则对资料进行细分的技术。关联规则一般应用在事务数据库中，其中每个事 务都由一个记录集合组成。这种事务数据库通常都包括极为庞大的数据，因此 当前的关联规则发现技术正努力根据基于一定考虑的记录支持度来削减搜索空 间。其中的支持度是一种事务在日志中出现数目的度量。 5