（计算机应用技术专业论文）数据挖掘技术在入侵检测中的应用及原型系统的设计实现.pdf

北方交通大学硕i ：学位论文 摘要 y 4 z t o s l 入侵检测系统是一种用来检测网络入侵行为的工具。然而现 1 姒侵检测系统内部所包含的入侵模式规则( 包括正常模式规 则和异常模式规则) 往往不能很好地反应入侵的实际特点，另外， 系统提取的用户行为特征有时候也不能j 下确地反映用户的实际行 为特征。所以在现有的入侵检测系统的实际应用中经常出现漏报 或误报的情况。计算机网络系统拥有大量的数据，包括网络流数 据、系统只志数据、系统审计数据等等。如何从这么多的杂乱无 章的数据中提取出入侵模式规则以及用户的行为特征是当前研究 与开发入侵检测系统所面临的一个巨大挑战。 随着社会信息化的飞速发展，出现了数据挖掘技术。数 ) l f ：挖 掘技术的最大优势就是善于从许多大量的数据中提取出用户所需 的有价值的东西。针对数据挖掘技术与入侵检测的特点，本文重 的讲述。重点讲述了基于主机与基于网络的入侵检测系统的j j ；i 理 与优缺点。另外，还介绍了人工智能技术在入侵检测中的应川。 本文的重点在于数据挖掘技术在入侵检测中的应用。本文提 出了在入侵检测中应用数据挖掘技术的体系结构以及原理步骤 等，特别是在对系统同志审计信息进行挖掘方面提出了较为详细 的体系结构以及根据系统同志审计信息的特点提出了两个具体的 算法，包括对同志审计数据进行关联分析的算法与异常点分制i 的 算法。另外，针对移动a g e n t 的优势，将数掘挖拥 技术与移动a g e n t 结合在一起，提出了基于移动智能a g e n t 的实时入侵检测模删， 并对该模型的结构原理等进行了详细的论述。 l 作者在实际系统中对上述概念进行了较为完整的实现。f - k l 此 在本文中还对系统的设计实现与结果分析进行了很详细的谚l ：述。 作者在具体丁r 发原型系统时，将系统分为两部分，其中一部分是 入侵模式规则产生部分，另外一部分是采用数据挖掘技术的 # 于 北方交通大学颂二i ：学位论文 主机的入侵检测部分。其中入侵模式规则产生部分主要从许多大 量的历史日志数据、审计数据和当前的系统同志数据中挖掘出入 侵模式规则，作者采用了数据挖掘技术中的关联规则分析和异常 点分析原理。而入侵检测部分主要是根掘入侵模式规则产生部分 产生的模式规则对系统进行入侵检测，这个部分包括以下几个模 块：日志检测、r o o t 及远程登录异常检测、帐户检测、日志比较、 文件基线变化检测。我们可以通过入侵检测部分对系统进行入侵 检测，同时也对入侵模式规则产生部分产生的模式规则进行验证。 本系统是个原型系统，能较好地完成提取模式与入侵检测功 能，但是仍然需要进一步的扩展。本文的最后部分对该系统的进 一步发展进行了论述，包括数据源的进一步扩展、其他数据挖掘 功能的应用、移动智能a g e n t 入侵检测专家系统、系统的进一步 智能化等。y i 关键词：网络安全、入侵检测、数据挖掘、关联规则分析、蜊 点物 卜 北方交通人学硕i ：研究生学位论史 a b s t r a c t i n t r u s i o nd e t e c t i o ns y s t e m ( i d s ) i sat o o lf o rd e t e c t i n gt h e n e t w o r ki n t r u s i o nb e h a v i o r h o w e v e r , t h ei n t r u s i o nm o d e r u l e s ( i n c l u d i n gn o r m a lm o d er u l e sa n da b n o r m a lo n e 曲c o n t a i n e di n t h e i r m e rk n o w l e d g eb a s eo fn o wi d sa l w a y sc a n tr e f l e c tt h ec h a r a c t e ro f i n t r u s i o nb e h a v i o rc o r r e c t l y , a sw e l la st h ee x t r a c t e do n l i n eu s e r b e h a v i o rc h a r a c t e r t h e r e f o r e ，t h em i s t a k e sa n do m i s s i o n so fa l a r m o f t e ne m e r g e t h e r ei sal a r g es u mo fd a t at h a ti n c l u d e sn e t w o r kf l o w d a t a ，s y s t e ml o gd a t a ，s y s t e ma u d i td a t aa n ds oo ni nt h ec o m p u t e r n e t w o r ks y s t e m h o wt oe x t r a c ti n t r u s i o nm o d er u l ea n du s e rb e h a v i o r c h a r a c t e rf r o ms om u c hd i s o r d e r e dd a t ai sag r e a tc h a l l e n g ef o r t h e c u r r e n tr e s e a r c h a n d d e v e l o p m e n t o f i n t r u s i o nd e t e c t i o n s y s t e m w i t ht h er a p i dd e v e l o p m e n to fs o c i e t yi n f o r m a t i o nt e c h n o l o g y , d a t am i n i n gt e c h n o l o g yh a sa p p e a r e d t h em o s tp r e d o m i n a n c eo fd a t a m i n i n gt e c h n o l o g yi se x t r a c t i n gs o m ew o r t h yt h i n gf r o mal a r g es u mo f d a t a a c c o r d i n gt o t h ec h a r a c t e r so fd a t a m i n i n gt e c h n o l o g ya n d i n t r u s i o nd e t e c t i o ns y s t e m ，t h i st h e s i sf o c u b e so nt h ea p p l i c a t i o n0 1 d a t a m i n i n gi n t oi n t r u s i o nd e t e c t i o ns y s t e m ，a n dp r o p o s e st h ec o n c r e t e m o d e la n da l g o r i t h m a n di m p l e m e n t st h e mj nt h el e a ls y s t e m t h i st h e s i sf i r s t l yn a r r a t e st h ep r i n c i p l ea n ds t r u c t u r eo fn e t w o r k s e c u r i t ya n di n t r u s i o nd e t e c t i o ns y s t e mi nd e t a i l a m o n gt h o s et h e p r i n c i p l ea n dm e r i t s d e m e r i t so fh o s t b a s e di d sa n dn e t w o r k b a s e d o n ea r ef o c u s e do n i na d d i t i o n t h ea p p l i c a t i o no fa it e c h n o l o g yi n t o i n t r u s i o nd e t e c t i o ni sa l s oi n t r o d u c e d t h ee m p h a s i so ft h i st h e s i si st h ea p p l i c a t i o no fd a t am i n i n g t e c h n o l o g yi n t oi d s t h i st h e s i sp r o p o s e st h es y s t e ms t r u c t u r ea n d p r i n c i p l eo fd a t am i n i n gt e c h n o l o g ya p p l i c a t i o ni ni d s ，e s p e c i a l l yo n t h es y s t e ml o ga u d i t e dd a t am i n i n ga s p e c t t h i st h e s i sp r o p o s e dt w o a l g o r i t h m so fs y s t e ml o ga u d i t e dd a t am i n i n g ，w h i c hi n c l u d et h e a s s o c i a t i o nr u l e sa n a l y s i sa n do u t l i e ra n a l y s i s i na d d i t i o n ，a i m i n ga tt h e p r e d o m i n a n c e o fm o b i l ea g e n t ，t h i st h e s i s p r o p o s e s t h em o b i l e i n t e l l e c t u a l a g e n t - b a s e d t e a lt i m ei n t r u s i o nd e t e c t i o ns y s t e m b y c o m b i n i n gd a t am i n i n gw i t hm o b i l ea g e n t ，a n dn a r r a t e st h ep r i n c i p l eo f t h em o d e li nd e t a i l 北方交通人学硕i ：研究生学位论史 t h ew r i t e rc a r r i e so u tt h ea b o v e m e n t i o n e dc o n c e p t i o ni nar e a l s y s t e m h i d sd m t h e r e f o r e ，t h i st h e s i sa l s om a k e sd e t a i l e dn a r r a t i o n o fs y s t e md e s i g na n dr e a l i z a t i o n t h ew r i t e rd i s p a r t st h es y s t e mj n t o t w op a r t s ：o n ei si n t r u s i o nr u l ec r e a t i o np a r t a n dt h eo t h e ri si n t r u s i o n d e t e c t i o np a r t a m o n gt h o s e ，t h ef i r s tp a r ti sd e s i g n e dt om i n i n g i n t r u s i o nr u l e sf r o mh i s t o r i c a ll o gd a t a ，a u d i td a t aa n dc u r r e n ts y s t e m l o gd a t a 1 1 1 ef i r s tp a r tm a i n l ya d o p t sa s s o c i a t i o nr u l ea n a l y s i sa n d o u t l i e ra n a l y s i st oc r e a t er u l e s a n di n t r u s i o nd e t e c t i o np a r tm a i n l y a d o p t st h ei n t r u s i o nr u l e sp r o d u c e db yt h ef i r s tp a r tt om a k ei n t r u s i o n d e t e c t i o n ，t h i sp a r ti n c l u d e st h ef o l l o w i n gm o d u l e s ：l o gd e t e c t i o n 。 a b n o r m a lr o o ta n dr e m o t el o g i nd e t e c t i o n a c c o u n t d e t e c t i o n 1 0 9 c o m p a r i s o na n df i l eb a s e l i n ec h a n g ed e t e c t i o n t h i ss y s t e mi sap r o t o t y p eo n e ，t h o u g hi tc a na l s or e a l i z e sr u l e e x t r a c t i o na n di n t r u s i o nd e t e c t i o ns u c c e s s f u l l y , i tn e e d st of u r t h e r d e v e l o p m e n t t h i st h e s i sn a r r a t e st h ef u r t h e rd e v e l o p m e n to ft h es y s t e m a tl a s t ，w h i c hi n c l u d e st h ed a t as o u r c ef u r t h e re x p a n s i o n o t h e rd a t a m i n i n gm e t h o d sa p p l i c a t i o ni ni d s ，m o b i l ei n t e l l e c t u a la g e n t b a s e d i d e s ，t h ef u r t h e ra p p l i c a t i o no f a ii n t ot h es y s t e m a n de t c k e y w o r d s ：n e t w o r ks e c u r i t y i n t r u s i o nd e t e c t i o n ，d a t am i n i n g ， a s s o c i a t i o nr u l ea n a l y s i s ，o u t l i e ra n a l y s i s v 北方交通大学硕i ：研究生学位论文 第一帝绪论 第一章绪论 1 1 论文研究背景及内容 i m e m e t 的发展，正在引发一场人类文明的根本性变化。网 络已成为一个国家最为关键的政治、经济、军事资源，成为国家 实力的新象征。发展网络技术是国民经济现代化建设不可缺少的 一个必要条件。能否把握网络给中国发展带来的机遇，将会影响 2 l 世纪中国的现代化建设1 1 1 。 i n t e m e t 是由计算机网络互连而成的全球性信息网。网络缔 造了前所未有的新感觉和新生活，其无穷的信息量不仅激发了现 代个体的广泛兴趣和潜力，也为各社会群体创造了无限的发展空 间。而当全社会正陶醉于网络时代的精彩故事之中时，网络的不 安全因素也正潜滋暗长。随着i n t e r a c t 在经济领域中重要性的逐 步提高，i n t e m e t 上的犯罪活动将加速增长。 信息安全已成为世界性的现实问题，它与国家安全、民族兴 衰和战争胜负等国家民族的头等大事息息相关。美国作为全球化 浪潮的领导者，正在利用信息霸权谋求主宰世界，f 在鼓吹和准 备信息威慑及战略信息战。因此，网络安全和国防军事一样，是 一个敏感领域，拥有自己的网络安全产品和技术就至关重要，必 须打破国外公司在网络安全领域的垄断，真证掌握自己的网络安 全。 谁掌握了信息。谁就掌握了主动权，信息安全问题已经成为 信息化社会的焦点。立足于本国，制定我国的安全策略，构筑我 国的信息安全防范体系，开发我国的信息安全产品，是关系囤汁 民生和国家安全的大事，无论从政治上还是从经济上，信息安全 技术都具有非常广阔的天地。 随着网络安全技术的发展，国内外涌现了许许多多的刚络安 全方面的产品。作者在分析了目前国内外主流网络安全产品后， 发现其网络安全检测与防范都是纯“手工”的，缺乏智能性。这 就不能很好地防范多变的、危害性极大的网络入侵与破坏。所以， 一个高效有用的网络安全监测与防范工具必须具有相当的智能， 方可做到“魔高一尺，道高一丈”。并且这些网络安全产品的有 效性也经常不能满足人们的需求。特别是入侵检测系统经常出现 漏报与误报的情况。 北方交通大学碗l ：研究生学位论文 第一章绪论 1 1 1 网络安全状况与面临的主要威胁 近年来。i n t e m e t 的安全问题越来越引起人们的关注。通过 i n t e r n e t 侵袭专用计算机网络的事件迅速增多与近年来i n t e m e t 用 户的爆炸性增长同步。据计算机紧急情况处理小组( c e r t ) 报 道，1 9 8 9 年发生1 3 2 起计算机安全事故，1 9 9 4 年安全事故的数 量为2 2 4 1 起，先后共有4 力多个网络受到损害，到1 9 9 8 年发生 的有报道的安全事故已有2 5 0 0 0 个。依据f i n a n c i a lt i m e s 曾做过 的统计，目前平均每2 0 秒钟就有一个网络遭到入侵。2 0 0 0 年年 初美国的y a h o o 、e b a y 、a m a z o n 等大型著名网站遭到黑客攻击， 几天时间就损失近1 0 亿美元。m i c r o s o f t 也遭受了一件最严重的 入侵事件：有人非法侵入公司的电脑系统并窃取了软件生产的源 代码，m i c r o s o f t 最新的软件产品生产计划面l 临极大威胁。 在我国网络安全问题还没有得到充分的重视，许多大型的 信息港和企业的i n t r a n e t 在配置方案中仅配置了一道防火墙，并 没有在安全方面下太大的功夫。在网络安全产品方面，中国同国 外的差距至少有5 至1 0 年，自主丌发产品少，硬软件技术受制 于人，这使我们的网络管理呈现出一种十分“虚弱”的健康状态。 有媒体报道，中国9 5 的与i n t e r n e t 相连的网络管理中心都遭到 过境内外黑客的攻击或侵入，其中银行、会融和证券机构是黑客 攻击的重点。可以说国内目前的信息系统就象是一幢门户大丌的 大楼，罪犯可以如同进入无人之境那样随便作案，并且可以不留 下任何蛛丝马迹。信息产业部组织的专家在经过大量调查研究后 指出，我国信息安全在六大方面面临严峻形势( 国际金融报 ( 2 0 0 0 年1 1 月1 4 同第五版) ) ： 信息与网络的安全防护能力差 对引进技术和设备缺乏安全检测 基础信息产业严重依赖国外 信息安全管理机构缺乏权威 信息犯罪有快速蔓延之势 全社会的信息安全意识淡薄 同益严重的网络信息安全问题不仅使上网企业、机构和j q 户 蒙受巨大经济损失，而且使国家的安全与主权面临严重威胁。总 的来说，网络面临的主要威胁有以下几个方而的原因。 黑客的攻击。目前，世界上有2 0 多万个黑客网站，这些 站点都介绍些攻击方法和攻击软件的使用以及系统的 一些漏洞，因而系统、站点遭受攻击的可能性就变大了。 2 北方交通大学坝i + 研究生学位论文 第一章绪论 尤其是现在还缺乏针对网络犯罪卓有成效的反击和跟踪 手段，使得黑客攻击的隐蔽性好，“杀伤力”强，是网 络安全的主要威胁。 管理的缺陷。网络系统的严格管理是免受攻击的重要措 旌。而很多网站或系统都疏于这方面的管理。 网络的缺陷。因特网的共享性和丌放性使网上信息安全 存在先天不足，因为其赖以生存的t c p f i p 协议族缺乏相 应的安全机制在安全可靠、服务质量、带宽和方便性 等方面存在着不适应。 软件的漏洞或“后门”。随着软件系统规模的不断增大， 系统中的安全漏洞或“后门”也不可避免的存在，如常 用的w i n d o w s 、u n i x 操作系统几乎都存在或多或少的 安全漏洞，众多的各类服务器、浏览器、一些桌面软件 等都被发现过存在安全隐患。可以说任何一个软件系统 都可能会因为程序员的一个疏忽、设计中的一个缺陷等 原因而存在漏洞，这也是网络安全的主要威胁之一。 影响计算机网络安全的因素有很多，所以保护网络的安全也 不只一种手段。网络安全从技术上讲，一般包括反病毒、风险评 估、入侵检测、身份认证、加密、防火墙等儿大领域，只有在这 些领域全面解决了安全问题并综合利用这些技术，计算机用户， 尤其是企业级的用户才可能真正摆脱病毒与黑客的威胁，实现恻 络安全。 1 1 2 互联网的十大漏洞 这十大漏洞是当今互联网上发现的最普遍而且风险最高的漏 洞。这些大漏洞清单主要来源于i s sx f o r c e 安全小组的分析、 用户的安全报告、i s s 的专业服务队伍和安全合作伙伴。 l 拒绝服务攻击 t f n t f n 2 k t r i n 0 0 s t a c h e l d r a h t f u n t i m ea p o c a l y p s e 2 脆弱的账号 缺省账户( 路出器、肪火墙) 管理员账户a d m i r d r o o t 的空口令或弱i 令 北方交通大学硕- ：研究生学位论文 第一章绪论 s n m pc o m m u n i t yn a m e 的缺省设置 3u s ( 微软w e b 服务器m i c r o s o f ti n t e m e ti n f o r m a t i o ns e r v e r ) r d s h t r 畸形h e a d e r p w s 文件访问 c g i 圈套 p h p 3 元字符 p h pm l o g h t m l 读文件 4 数据库 o r a c l e 缺省账户n 令 o r a c l es e t u i dr o o to r a t c l s h s q l s e r v e rx p s p r i n t f 缓存溢出 s q ls e r v e rx p - c m d s h e l l 扩展 5 电子商务主页应用 n e t s e a p e g e t b o h t t p l n d e x s e r v e r p a t h f r o n t p a g ee x t e n s i o n s f r o n t p a g ep w da d m i n i s t r a t o r s 6 电子邮件系统 s e n d m a i l 管道攻击 s e n d m a i l m i m e b o 7 文件共享 n e t b i o s n f s 8r p c r p c c m s d r p c s t a t d s a d m i n a m d m o u n t d 9 b i n d b i n dn x t b i n d q i n v 1 0l i n u x 缓存溢出 i m a p b o q p o p p e r b o 4 北方交通大学硕i ：研究生学位论文 第一章绪论 改写堆栈覆益 w u f t p 缓存溢出 鉴于这十大漏洞的重要性和严重性，故应充分重视这些安全 问题，并将这些漏洞的解决办法和处理决策落实到安全策略中， 利用人工智能技术建立更加有效、更加完善的信息安全防护体 系。 1 1 3 常见的网络安全产品 目前共有6 0 多家网络公司2 0 0 多种网络安全产品。产品主 要集中在反病毒、防火墙、入侵检测和外部扫描。 在反病毒方面的产品主要有国内丌发的瑞星、v r v 病毒防 火墙、电脑安全卫士a v 9 5 、行天9 8 反病毒软件、金山毒霸、 k v 3 0 0 、熊猫卫士，中外合作开发的k i l l 9 8 。国外的t r e n dp c c i l l i n9 8 、a n t i v i r a lt o o l k i tp r o 、t h u n d e r b y t ea n t i v i r u s 、m c a f e e v i r u s s e a n 、n o r t o na n t i v i r u s 、i n o c u l a t ei tp e r s o n a le d i t i o n 和f p r o t 等。其中t h u n d e r b y t ea n t i v i r u s ( t ba v ) 的“启发式 查毒”非常厉害，虽然有时候不能确定病毒的名称，但是还是可 以检查出来。 防火墙产品有竞争力的厂商有c h e c k p o i n t 、d e c 、i b m 、n s c 、 t i s 、b n t 等，但最著名的厂商要数c h e c k p o i n t 、s o f t w a r e t e c h n o l o g i e s 、t r u s t e di n f o m a t i o ns y t e mc o r p o r a t i o n 和b o r d e r n e t w o r kt e c h n o l o g i e sc o r p o r a t i o n 。排名第一的c h e c k p o i n t 其防 火墙产品f i r e w a l l i 至今还是防火墙领域的主流产品，其产- 锗特 点是：采用s t a t e q u li n s p e c t i o n 的革新体系结构，浚技术包括应 用及过滤。具有安全性好等特点，不仅是公共防护系统，丽n 可 以作为专用防护系统，图形化界面易于使用，运用命令化规划柬 定义全球安全策略，在最大限度上减少了防火墙对系统资源的负 冲击。除了f i r e w a l l - i 以外，t i s 公司的应用型网关防火墙 g a u n t l e t ，b o r d e r 网络技术公司( b n t ) 的b o r d e rw a l l 也具有极强 的竞争力。目前国内防火墙产品最著名的厂商要数天融信技贸有 限责任公司的“网络卫士”。另外，还有亿阳信通的防火墙产品。 网络入侵监测系统方面产品主要有：i s s 公司的r e a l s e c u r e ， c a 公司的s e s s i o n w a l l - 3 ，n a l 公司的c y b e m o p ，a b i r n e t 公司的 i n t r u d e r a l e r t ，a n z e n 公司的n f r ( n e t w a r ef l i g h tr e c o r d e r ) ，i b m 公司的i e r s ( i n t e r n e te m e r g e n c yr e s p o n s es e r v i c e ) ，东大阿尔 派的n e t e y e 等。 北方交通犬学钡l 二研究生学位论文 第一章绪论 其中，r e a l s e e u r e 是分布式体系结构，多个检测引擎监视不 同的网络并向中央控制台报告，控制台和引擎之间的通讯采用加 密和认证。s e s s i o n w a l l 提供了定义监控、过滤和封锁网络通信 量的规则等功能，检测到入侵后立即向控制台发送警报、e m a i l 并进行记录，还可以向管理人员发送传呼，报表功能较强。 c y b e r c o p 入侵检测系统主要有c y b e r c o ps c a n e r , c y b e r c o ps e r v e r , c y b e r c o pn e t w a r e 组成。c y b e r c o ps c a n e r 主要是检测网络环境中 的薄弱环节，是一种扫描器。c y b e r c o ps e r v e r 主要在复杂的网络 环境中提供防范、检测并根据检测结果做出反应，并采用主动抗 击的措施。c y b e r c o pn e t w a r e 是通过循环监测网络流量来保护网 络上的共享资源。n f r 提供了一个网络监控框架，可以基于n f r 定制比较专门用途的i d s ，系统比较灵活。i e r s 由n e r r a n g e r 检测器和b o u l d e r 监控中心组成，检测器负责监听网络上可识别 的通信数字签名，一旦发现异常，就启动监控中心的报警器 在攻击预警方面，目前最好的是安氏( i s s ) 公司的产品， 它包含6 0 0 多种规则( 攻击手段) 。i d s 产品的好坏之别在于攻 击模式库的好坏即攻击规则的多少。i s s 公司攻击模式库之全主 要是因为有一个很强的x f o r c e 小组，专门寻找漏洞和进行攻 击模拟。 1 1 4 本科研课题内容简介 本课题最初是由本实验室跟某著名网络安全公司合作的一个 重大科研项目。该科研项目的主要内容就是研究与丌发网络安全 系列产品，特别是入侵检测系统。我们现在已经丌发出了一套混 合式网络安全入侵检测系统。该系统分为两大部分，一部分是基 于网络的入侵检测系统，一部分是基于主机的入侵检测系统。 基于网络的入侵检测系统部分主要通过对系统的网络流分组 数据进行分析，从中发现入侵行为，譬如对端口的扫描、对主机 的扫描、非授权登录、s y n f l o o d 攻击等等在网络上的异常行为。 而基于主机的入侵检测系统主要通过对系统的所有开志文件、系 统文件等进行分析，从中检测出入侵行为。 前面已经讲过，现在入侵检测系统的主要问题就是其漏报率 与误报率较高，不能满足用户的真诈需求，特别是现在的入侵检 测系统一般都是基于“手动”的，不具备学习能力与自适应能力。 为了提高入侵检测的准确性与实时性，并且使其具有一定的自适 应能力等，我们现在正在丌发智能网络安全系统，考虑把人工智 6 北方交通大学硕j ：研究生学位论文 第一带绪论 能的一些技术应用到入侵检测中，使入侵检测系统更具有智能 化、更能满足用户的各种各样的需求。我们现在已经在数据挖掘 技术、免疫算法、人工神经网络在入侵检测中的应用的理论方面 取得了一定的成果，并且也已经将这些理论知识投入到实际系统 的研究开发中，已经把原型系统开发成功了，具有较好的智能化 入侵检测功能。 作者在该科研课题中所主要从事的工作为基于主机的入侵检 测系统、数据挖掘技术在入侵检测中的应用以及系统实现。现在 已经在理论上建立了一个比较完整的体系，在系统的开发中也已 经取得了一定的成绩。在作者所丌发的这个原型系统中，已经将 数据挖掘技术成功地应用于入侵模式规则提取以及基于主机的入 侵检测当中。 1 2 论文的组织与安排 该论文的主要内容就是数据挖掘技术在入侵检测中的应用， 以及该原形系统的设计实现原理。在该文中，重点部分就在于数 据挖掘技术在入侵检测中的应用原理以及系统模型结构方面。并 且作者也对该系统模型进行了实现。本文的其余内容是这样安排 的。 第二章，入侵检测系统。在浚章中，主要对入侵检测系统的 概念和原理等傲一个较为综合的讲述。该章主要内容包括：网络 安全的概念及内容、入侵检测的概念和内容、入侵检测的体系结 构、入侵检测的种类和原理、人工智能技术在入侵检测中的应用。 通过这个部分的论述，可以掌握入侵检测的基本情况，从而为下 面章节的展丌论述打下基础。 第三章，数据挖掘技术在入侵检测中的应用。该章主要讲述 了数据挖掘技术在入侵检测中的应用原理，并提出了具体的模 型。该章主要内容包括：数据挖掘技术简介、入侵检测中采用数 据挖掘技术的理由与结构模型、采用数据挖掘技术的移动a g e n t 入侵检测模型。 第四章，对系统日志审计数据进行挖掘。该章主要讲述了对 l i n u x 系统同志审计信息进行数据挖掘的结构原理与模型。该章 内容包括：系统同志审计信息、对系统同志审汁信息进行数据挖 掘的模型框架。 第五章，原型系统的设计实现及结果分析。该章主要讲述了 北方交通人学坝j 研究生学位论史 第一章绪论 在实际系统中对第三、四章内容的实现，包括采用数据挖掘技术 提取入侵模式规则，以及将这些入侵模式规则应用于对主机的入 侵检测。该章主要内容包括：原型系统的总体结构、入侵模式规 则产生部分、日志检测部分、帐户文件检测部分、闩志比较部分、 文件基线变化检测部分。 第六章，系统的进一步发展。该章对本科研项目所开发的系 统的进一步发展作了论述。主要内容包括：数掘源的进一步扩展、 数据挖掘其他功能的应用、专家系统与移动式a g e n t 入侵检测系 统、系统的进一步智能化。 第七章，结束语。该章对本论文进行了总结，并提出了展望。 8 北方交通人学坝l 研究生学位论文 鹕_ 二章入侵榆测系统 第二章入侵检测系统 本章从系统的角度探讨了网络安全和入侵检测的问题，深入 讨论了网络安全与入侵检测的概念、系统结构与原理、分类、人 工智能技术在其中的应用。大致包含以下内容： 网络安全的概念及内容 入侵检测概念 入侵检测的体系结构与原理 入侵检测的分类 人工智能技术在入侵检测中的应用 2 1 网络安全的概念与内容 2 1 1网络安全的基本概念 作为一种战略资源，信息的应用也从原来的军事、科技、文 化和商业渗透到当今社会的各个领域，在社会生产、生活中起着 重大的作用。 在从1 9 6 5 年起，i n t e r n e t ( 前身是a r p a n e t ) 这一概念在 从被提出、研究直至基本实现的过程中，网络系统的安全性直 没有得到足够的重视。从目前最为广泛使用的t c p i p 协议来看， 研究人员在设计和实现该协议时，缺乏足够的安全性方面的考 虑。这一方面是出于当时的网络系统主要分布在研究机构内作为 学术研究之用，另一方面也由于使用人数少、舰模小，安全性相 对而占不很重要。 但是，在三十多年后的今天，情况发生了根本性的变化， i n t e r n e t 的覆盖范围、使用人数、t c l l i p 协议被研究的透彻程 度，以及其本身固有的安全缺陷，导致了网络系统的安全问题越 来越严重，网络入侵次数和造成的损失急剧增长：网络安全问题 f 阻碍着i n t e r n e t 的进一步发展，也对国家安全提出了挑战。 网络技术和应用的快速发展，对系统安全提出了新的要求： 1 保密性( c o n f i d e n t i a li t y ) 保密性指保证计算机及网络系统的硬件、软件和数据只能被 合法用户所使用；由于无法保证是否有非法用户截取网络上的数 据，必须采用保密技术来确保数据的保密性。数据加密技术就是 用来实现此目标的。 9 北方交通人学坝i ：i o d 生学位论文第一二帝入侵榆测系统 2 完整性( i n t e g r i t y ) 完整性指要维护信息的一致性，防止非法用户对系统数据的 篡改；可以采用数据加密和校验技术实现此目标。 3 可用性( a v a i l a b i l i t y ) 可用性是面向用户的安全要求，指合法用户根据需要可以随 时访问系统资源。 4 身份认证( a u t h e n t i c a t i o n ) 对网络用户进行验证，证实其身份与其所声称的身份是否一 致；身份认证既可以建立在基于第三方可靠的权威认证服务基础 上，也可以采用较简单的个人对个人的身份认证技术，确保数据 来源和目的的可靠性。简单认证的依据可以是用户帐号和密码、 或者主机地址等，复杂的认证需要有认证协议，与其它安全机制 结合使用。 5 不可否认性( n o n r e p u d i a t i o i l ) 这是针对通信各方信息真实同一的安全要求。参与网络通讯 过程的各方( 用户、实体或者进程) 无法否认其过去的参与活动。 6 授权和访问控制( a c c e s sc o n t r 0 1 ) 授权和访问控制规定了用户对数据的访问能力，包括什么用 户有权访问、对数据拥有什么操作权力等。 上述安全特性和技术之间并不是孤立的，它们常常相互结合 起来完成更强大、安全的功能。例如，身份认i l e a l 授权、存取控 制的综合运用可以确保数据的保密性，不可否认技术与认证技术 结合可以防止非授权用户对敏感数据的访问。 网络安全是指网络系统的部件、程序、数据的安全性，它通 过网络信息的存储、传输和使用过程体现。所谓的网络安全性就 是保护网络程序、数据或者设备，使其免受非授权使用或访问， 它保护的内容包括： 保护信息和资源 保护客户和用户 保护私有性 网络系统的安全是一个十分复杂的问题，在网络系统的各个 层次( 从物理层往上直到应用层) 、各个级别( 网络主机级和用 户级) 都存在安全问题；即使网络协议本身足够安全，但是可能 在具体实现上又存在安全漏洞，这种例子比比皆是。所以只注意 或者解决某个层次或者级别的安全性对网络系统整体安全水平 的提高而言作用是不大的。 o 北方交通大学硕 。研究生学位论义第二章入侵榆测系统 2 1 2 网络安全的体系结构 在网络信息的存储、传输和使用过程中，网络安全通过保护 网络程序、数据或设备，使其免受非授权使用或访问，来达到保 护信息和资源、保护客户和用户、保证私有性等目的。网络安全 不仅仅是一个纯粹的技术问题，它涉及到法律、管理和技术等方 面综合的许多因素2 i 。图2 1 给出了网络安全系统结构的各个 因素。 厂一# 二二二二二二二二二二彳! 技 术r ：网 法 律 i 一土j - - 幽2 1 网络安全体系结构 网络安全一般包括以下层次的内容i ”i ： ( 1 ) 入侵检测技术； ( 2 ) 数据加密技术； ( 3 ) 数据恢复技术。 从技术上有效地实现网络安全，必须建立这几种技术的一体 化网络安全系统。网络安全系统的各种技术之间存在相互依赖、 相互制约和相互约束的关系，网络安全问题不能被简单地分解成 若干种问题及其解决方法。网络安全必须上升到系统的高度，从 系统总体出发，指定网络安全策略，建立安全机制( 包括保密性、 完整性、可获性、抗抵赖性、可审计性等) ，明确用户权限、责 北方交通大学颁l ：研究生学位论文 笫一章入侵榆测系统 要的网络安全目的。 2 2 入侵检测的概念 入侵检测是一种主动网络安全技术，是对防火墙的合理补 充，帮助系统对付网络攻击，扩展了系统管理员的安全管理能力 ( 包括安全审计、监视、进攻识别和响应) ，提高了信息安全基 础结构的完整性。它从计算机网络系统中的若干关键点收集信 息，并分析这些信息，看看网络中是否有违反安全策略的行为和 遭到袭击的迹象。入侵检测被认为是防火墙之后的第二道安全闸 门，在不影响网络性能的情况下能对网络进行监测，从而提供对 内部攻击、外部攻击和误操作的实时保护。这些都通过执行以下 任务来实现： 监视、分析用户及系统活动； 系统构造和弱点的审计； 识别反映已知进攻的活动模式并向相关人士报警： - 异常行为模式的统计分析： - 评估重要系统和数据文件的完整性： 操作系统的审计跟踪管理，并识别用户违反安全策略的行 为。 对一个成功的入侵检测系统来讲，它不但可使系统管理员时 刻了解网络系统( 包括程序、文件和硬件设备等) 的任何变更， 还能给网络安全策略的制订提供指南。更为重要的一点是，它应 该管理、配置简单，从而使非专业人员非常容易地获得网络安全。 而且，入侵检测的规模还应根据网络威胁、系统构造和安全需求 的改变而改变。入侵检测系统在发现入侵后，会及时作出i j 向应， 包括切断网络连接、记录事件和报警等。 一信患收集 入侵检测的第一步是信息收集，内容包括系统、网络、数捌 及用户活动的状态和行为。而且，需要在 r 算机网络系统巾的若 干不同关键点( 不同网段和不同主机) 收集信息， 入侵检测很大程度上依赖于收集信息的可靠性和j 下确性，因 此，很有必要利用所知道的真正的和精确的软件来报告这些信 息。因为黑客经常替换软件以搞混和移走这些信息，例如替换被 程序调用的子程序、库和其它工具。黑客对系统的修改可能使系 统功能失常并看起来跟正常的一样，而实际上不是。例如，u n i x 1 2 北方交通大学硕上研究生学位论文 第一章入侵榆测系统 统功能失常并看起来跟正常的一样，而实际上不是。例如，u n i x 系统的p s 指令可以被替换为一个不显示侵入过程的指令，或者 是编辑器被替换成一个读取不同于指定文件的文件( 黑客隐藏了 初始文件并用另一版本代替) 。这需要保证用来检测网络系统的 软件的完整性，特别是入侵检测系统软件本身应具有相当强的峰 固性，防止被篡改而收集到错误的信息。 入侵检测利用的信息一般来自以下四个方面【2 1 ： 1 系统和网络日志文件 黑客经常在系统日志文件中留下他们的踪迹，因此，充分利 用系统和网络日志文件信息是检测入侵的必要条件。同志中包含 发生在系统和网络上的不寻常和不期望活动的证据，这些证据可 以指出有人正在入侵或已成功入侵了系统。通过查看同志文件， 能够发现成