（计算机软件与理论专业论文）安全事件关联分析引擎的研究与设计.pdf

摘要 摘要 随着网络安全的发展，单纯的被动的静态安全防御策略已经无法满足现实需 要。人们开始采用动态安全防御的思想来进行安全防护，入侵检测系统是动态安 全防御里的重要环节。但是，现有的入侵检测系统0 d s ) 存在一个致命的缺陷：误 报率高居不下，事件之间缺乏关联，现有的i d s 无法展现事件之间的逻辑关系，结 果用户很难了解事件背后隐藏的攻击策略或逻辑步骤。因此，在实际应用中，不 仅大量的误报混杂在f 确的警报中，同时警报本身由于数目太大，没有明确的逻 辑关系，很难管理。这些缺陷严重影响了 d s 的应用。 为了解决i d s 存在的上述问题，本文在深入分析入侵技术的基础上提出了一 个基于入侵序列的启发式关联方法。即，如果前一次攻击阶段的结果是下一次攻 击成功的前提条件之一，那么这两次攻击是关联的，是同一系列攻击中的两个步 骤。入侵序列的启发式关联方法的核心是入侵步骤的确定，本文对如何系统定义 入侵步骤进行了讨论，包括根据攻击阶段的结果进行的攻击类型分类、攻击集的 确定、攻击阶段的分解等。论文根据本事件关联分析方法设计并实现了一个事件 关联分析引擎，并利用实验验证了它的有效性。 事件关联分析引擎有4 个优点和特点：首先，可以有效减少误报的数目，有 利于系统管理员更快地发现攻击；其次， 可以有效减少需要用户关注的警报数目， 第四，可以揭示黑客入侵的一系列步骤， 理员进行针对性的应急措施。 可以展现事件之间的逻辑关系；第三， 使用户可以更轻松地管理和分析警报； 有利于发现他的入侵策略，方便系统管 事件关联分析引擎可以作为现有的i d s 产品的辅助分析工具，帮助用户快速 理解攻击事件、提高入侵应急响应速度。 关键词：入侵检测系统( i d s ) ；误报；关联分析；入侵序列 华南理工大学硕士学位论文 a b s t r a c t t h e d e v e l o p m e n t o fn e t w o r k s e c u r i t y m a k e st r a d i t i o n a ls t a t i cd e f e n s i v e t e c h n i q u e sn o tt oa c c o m m o d a t e w i t hs e c u r i t y s o ，p e o p l ea d o p t e dd y n a m i cd e f e n s i v e t e c h n i q u e s t ow i t h s t a n dt h r e a t s i n t r u s i o nd e t e c t i o ns y s t e mi so n eo ft h ed y n a m i c d e f e n s i v et e c h n i q u e sa n dp l a y sav e r yi m p o r t a n tr o l e 。b u t ，c u r r e n ti n t r u s i o nd e t e c t i o n s y s t e m s ( i d s s ) u s u a l l yg e n e r a t eal a r g ea m o u n to ff a l s ea l e r t sa n dn o n eo ft h e m c a n c a p t u r et h el o g i c a ls t e p so rs t r a t e g i e sb e h i n dt h ea t t a c k s i ns i t u a t i o n sw h e r e t h e r ea r e i n t e n s i v ei n t r u s i v ea c t i o n s ，n o to n l yw i l la c t u a la l e r t sb em i x e dw i t hf a l s ea l e r t s ，b u t t h ea m o u n to fa l e r t sw i l la l s ob e c o m eu n m a n a g e a b l e a sar e s u l t ，i ti sd i f f i c u l tf o r h u m a nu s e r st ou n d e r s t a n dt h ei n t r u s i o n sb e h i n dt h ea l e r t sa n dt a k e a p p r o p r i a t e a c t i o n s t h i sp a p e rp r e s e n t sac o r r e l a t i o na n a l y s i sa p p r o a c hb a s e do nt h es e q u e n c e sa n d h e u r i s t i ca r i t h m e t i ct oa d d r e s st h e s ei s s u e sa f t e ra n a l y z i n gl a r g en u m b e r so fa t t a c k t e c h n i q u e s t h a ti s ，t h ep r e r e q u i s i t eo fa ni n t r u s i o ni s t h en e c e s s a r yc o n d i t i o nf o rt h e i n t r u s i o nt ob es u c c e s s f u l b a s e do nt h i sf i n d ，t h ea p p r o a c hc o r r e l a t e sc o r r e s p o n d i n g a l e r t s b ym a t c h i n g t h e c o n s e q u e n c e o fs o m ei n t r u s i v e s e q u e n c e s b e c a u s e t h e i n t r u s i v ec o n s e q u e n c e si st h eb a s eo fc o r r e l a t i v ea l e r t s ，t h ep a p e rd i s c u s s e sh o wt o d e f i n et h ei n t r u s i v ec o n s e q u e n c e s ，i n c l u d i n gt h ec l a s s i f i c a t i o no fa t t a c kt y p eb a s e do n t h ea t t a c kr e s u l t s ，t h ee s t a b l i s ho fa t t a c k ss e t ，t h ed e c o m p o s eo fp r e r e q u i s i t ea n d c o n s e q u e n c e t h i sp a p e rd e s i g n sa ni n c i d e n tc o r r e l a t i o na n a l y s i ss y s t e mb a s e do nt h e a p p r o a c ha n dc o n d u c t so n ee x p e r i m e n tt od e m o n s t r a t et h ep o t e n t i a lo ft h es y s t e m i n r e d u c i n gf a l s ea l e r t sa n du n c o v e r i n ga t t a c ks t r a t e g i e s t h ei n c i d e n tc o r r e l a t i o na n a l y s i ss y s t e mh a sf o u ra d v a n t a g e s f i r s t ，i tc a nr e d u c e t h en u m b e ro ff a l s ea l e r t sa n dm a k eu s e r sf i n dt h ea t t a c k sr a p i d l y s e c o n d ，i tc a n r e d u c et h en u m b e ro fa l e r t sn e e d i n gu s e r sa t t e n t i o na n dm a k eu s e r sm a n a g et h ea l e r t s m o r ee a s i l y t h i r d ，i tc a np r o v i d ear e p r e s e n t a t i o no ft h ec o r r e l a t e da l e r t sa n dt h u s r e v e a l st h es t r u c t u r eo fs e r i e so fa t t a c k s f o u r ，i tc a l lp o t e n t i a l l yb ea p p l i e dt op r e d i c t a t t a c k si np r o g r e s sa n da l l o wt h eu s e r st ot a k ea p p r o p r i a t ea c t i o n st os t o pt h eo n g o i n g a t t a c k s t h ei n c i d e n tc o r r e l a t i o na n a l y s i ss y s t e mc a nb et h ea s s i s t a n t a n a l y s i st o o l o f c u r r e n ti d s s i tc a nh e l pu s e r st ou n d e r s t a n da t t a c k sa n di m p r o v et h e s p e e d o f i n t r u s i o ne m e r g e n c yr e s p o n s e a b s t r a c t k e y w o r d s ：i n t r u s i o nd e t e c t i o ns y s t e m s ( i d s s ) ；f a l s ea l e r t ；c o r r e l a t i o n ；c o n s e q u e n c e l n 华南理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所 取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任 何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的 法律后果由本人承担。 作者签名：而谚嘻日期：卯缚扫月t 砂日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权华南理工大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存 和汇编本学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密日。 ( 请在以上相应方框内打“”) 鬣曩擎耘 导师签名：乡f 凇f ：j 莎 日期：印年6 月r 日 日期：2 删年6 月r 。 第一章绪论 第一章绪论 1 1计算机网络的安全现状 现代计算机系统功能日渐复杂，网络功能日渐强大，正在对社会的各行各业 产生巨大深远的影响。随着人们对计算机网络依赖程度的日渐加深的同时，计算 机网络安全问题日益突出，现今已成为一种全球性的严重的社会问题。 c s i ( c o m p u t e rs e c u r i t yi n s t i t u t e ) 和f b i ( s a nf r a n c i s c of e d e r a lb u r e a uo f i n v e s t i g a t i o n ) 每年都联合进行美国计算机安全和犯罪调查。其2 0 0 3 年的调查显 示，在过去的1 2 个月里，9 9 的受访机构在使用各种安全技术，包括i d s 、防火 墙、防病毒工具、访问控制、文件加密等，但是却有9 0 的受访机构遭受过计算 机攻击，有8 0 的金融损失是由计算机安全问题引起的。 我国的计算机安全形势同样不容乐观，中国成为继美国和韩国之后世界上黑 客活动最多的国家。2 0 0 3 年中国互联网发展状况统计报告显示，在过去年内， 有超过5 9 4 的用户的计算机曾被入侵过【2 】。鉴于越来越严峻的形势，信息安全 研究已成为新的“8 6 3 ”计划中信息技术的四大研究内容之一。 1 2 入侵检测在网络安全防护中的重要性 为了应付日益严峻的网络安全局面，人们研究和应用了各种安全机制、策略 和工具。传统上，一般采用静态安全防御策略来进行防御，主要采用的手段有： 防火墙、数据加密、身份认证、访问控制、操作系统加固等。然而，随着攻击者 知识的日趋成熟，攻击工具与手法的日趋复杂多样，同时各种系统、软件存在的 层出不穷的漏洞，单纯的被动的静态安全防御策略已经无法满足现实需要。就如 同虽然门上装了锁，但你无法阻止别人破坏锁，或者绕过这个门闯进来。人们开 始采用动态安全防御的思想来进行安全防护，p 2 d r 网络安全模型是动态安全防 御思想的一个典型代表。 p 2 d r 模型的理想实现是在整体的安全策略( p o l i c y ) 控制和指导下，综合运 用防护工具( p r o t e c t i o n ，如防火墙、身份认证、加密等手段) ，利用检测工具 ( d e t e c t i o n ，入侵检测系统和漏洞扫描等) 了解系统的安全状态，并通过适当的 响应( r e s p o n s e ，安全评估和策略管理系统) 将系统调整到“最安全”和“风险 最低”状态。防护、检测和响应组成了一个完整的、动态安全循环。入侵检测系 华南理工大学硕士学位论文 统是p 2 d r 模型的重要环节，因为，成功的入侵检测是保证快速响应的关键，同 时，安全检测是调整和实现安全策略的有力工具。入侵检测实现了将静态防护转 化为动态防护。 入侵检测系统在网络防范体系中的作用类似于监视器，它通过检测网络和系 统内部的数据和活动，发现可能的入侵活动，并进行报警或主动切断入侵通道。 使用入侵检测系统不仅可以防止外部的入侵，还可以检测内部用户的未授权活动， 这是防火墙所不能实现的。 1 3本课题研究的意义及其主要研究内容 入侵检测系统在网络安全防护中的重要性已毋庸置疑，但是，目前的入侵检 测系统存在一个致命的问题：误报率高居不下。在2 0 0 2 年6 月，信息安全杂志 对五个全球著名i d s 厂商专家进行了访谈，他们均表示高误报率是目前i d s 所面 临的最大问题，即使是目前世界上最优秀的入侵检测系统，也只有7 5 的正确率， 即误报率经常在2 5 以上。x e r o xp a l oa 1 t o 研究中心经过实验发现”3 ，一个入侵 检测系统通常每天都会产生成百上千个警报，而这成百上千个警报中大部分都是 误报，在真正的警报中，又有很多是试探行为，并没有实现真正的攻击，因此， 真正需要用户关注的警报并不多。由于现有i d s 并不能展现警报之间的逻辑关系， 用户不得不面对一个非常艰难的任务：从海量的信息中分析出是否有攻击发生， 以及攻击进行到什么阶段? 这个识别判断工作如果全部由人工来完成，其工作量 是可想而知的。所以，目前的入侵检测系统厂商都面对着一个尴尬局面，用户购 买了入侵检测产品后，因为无法忍受众多的误报，终于将之束之高阁，入侵检测 产品成为了摆设。因此，如何降低误报率对于入侵检测系统的研究与发展具有重 要意义。 要有效减少误报率，首先必须知道误报产生的原因。归根结底，入侵检测系 统产生误报的原因可归纳为以下五点： ( 1 ) 正常使用中有和检测特征相似的特性； ( 2 ) 检测器的设计和编码存在缺陷； ( 3 ) 入侵者的欺骗攻击： ( 4 ) 分析方法存在缺陷； ( 5 ) 黑客的试探性攻击但没有攻击成功。 从误报产生的原因可以看出，通过对i d s 分析技术和本身设计方法、编码方 法的改进，可以减少误报。但是，一方面入侵检测系统需要尽可能多地提取数据 以获得足够的入侵证据，而另一方面由于入侵行为的千变万化而导致判定入侵的 规则越来越复杂，为了保证入侵检测的效率和满足实时性的要求，入侵分析必须 2 第一章绪论 在系统的性能和分析能力之间进行权衡，合理地设计分析策略，并且可能要牺牲 一部分分析能力来保证系统可靠、稳定地运行并具有较快的响应速度。在目前的 网络流量越来越大的情况下，对检测器分析能力的改进有一定的限度，不能从根 本上解决问题。于是只能从后面的集中分析入手，另寻蹊径，寻找减少误报的方 法。 有相关研究表明：由同一入侵者发出并被i d s 所记录的一系列事件在时序上 和逻辑性上都有较强的相关性【4 一”。如何根据入侵事件之间的相关性来减少i d s 误报是一个值得研究的重要内容1 8 】。 本文将在对入侵技术进行深入分析的基础上，提出一个基于入侵序列的启发 式关联方法，实现对现有i d s 所记录、系统日志、路由器日志等可疑事件的关联 分析功能，将真难具有危害性的入侵行为呈现在用户面前。 本文的主要目标就是利用入侵事件的相关性，设计并实现一个事件关联分析 引擎，使之可以作为现有i d s 的辅助分析工具，达到降低误报率、揭示隐藏在警 报中的入侵策略、提高警报的可管理性等作用。 1 4 论文的背景以及内容的安排 本课题是中国电信广州研发中心立项项目“安全统一分析平台”的子课题， “安全统一分析平台”主要是为电信内部的网络管理员提供一个安全而高效的分 析平台，从而作出适当的安全策略来提高电信支撑运营系统的安全性。 本文主要包含以下内容： 第1 章为绪论，在介绍网络安全现状和发展趋势、入侵检测系统在安全防护 中的重要作用的基础上，阐述本文选题及研究意义。 第2 章介绍了入侵检测技术，包括入侵检测的定义及功能、发展简史、标准 化工作、通用模型、分类和入侵分析技术。 第3 章对入侵技术进行了深入分析。因为对入侵技术的深入了解是进行入侵 事件关联的基础，所以，第3 章的结论将是关联方法的依据。 第4 章在简单介绍了关联分析相关研究的基础上，详细阐述了基于入侵序列 的启发式关联分析方法，同时对入侵的序列进行了详细的描述。 第5 章描述了事件关联分析引擎的设计实现和实验方法，经过对实验结果的 分析，证明了事件关联分析引擎的有效性。最后，总结了事件关联分析引擎的优 缺点和应用方式。 论文结尾是结束语、有关的参考文献、致谢和附录。 华南理工大学硕士学1 1 i 7 ：论文 第二章入侵检测技术简介 2 1入侵检测的定义及其功能 “入侵”( i n t r u s i o n ) 是个广义的概念，不仅包括被发起攻击的人( 如恶意的 黑客) 取得超出合法范围的系统控制权，也包括收集漏洞信息，造成拒绝访问 ( d e n i a lo fs e r v i c e ) 等对计算机系统造成危害的行为。入侵行为不仅来自外部， 同时也指内部用户的未授权活动。从入侵策略的角度可将入侵检测的内容分为： 试图闯入、成功闯入、冒充其他用户、违反安全策略、合法用户的泄漏、独占资 源以及恶意使用。 入侵检测( i n t r u s i o n d e t e c t i o n ) ，顾名思义，便是对入侵行为的发觉。它通过 对计算机网络或计算机系统中的若干关键点收集信息并对其进行分析，从中发现 网络或系统中是否有违反安全策略的行为和被攻击的迹象。进行入侵检测的软件 与硬件的组合便是入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，简称i d s ) 。与其他 安全产品不同的是，入侵检测系统需要更多的智能，它必须可以将得到的数据进 行分析，并得出有用的结果。入侵检测是对传统安全产品的合理补充，帮助系统 对付网络攻击，扩展了系统管理员的安全管理能力( 包括安全审计、监视、进攻 识别和响应) ，提高了信息安全基础结构的完整性。 具体说来，入侵检测系统的主要功能有： ( 1 ) 监测并分析用户和系统的活动； ( 2 ) 评估系统关键资源和数据文件的完整性： ( 3 ) 识别已知的攻击行为； ( 4 ) 统计分析异常行为； ( 5 ) 操作系统日志管理，并识别违反安全策略的用户活动。 2 2 入侵检测技术的发展简史 入侵检测从最初实验室里的研究课题到目前的商业产品，已经具有二十多年 的发展历史。1 9 8 0 年4 月，j a m e sp a n d e r s o n 为美国空军做了一份题为c o m p u t e r s e c u r i t yt h r e a tm o n i t o r i n ga n ds u r v e i l l a n c e ) ) ( 计算机安全威胁监控与监视) 的报告， 第一次详细阐述了入侵检测的概念【9 】。这份报告提出了一种对计算机系统风险和 威胁的分类方法和利用审计跟踪数据监视入侵活动的思想，被公认为是入侵检测 技术的开山之作。 ，4 第二章入侵检测技术简介 1 9 8 6 年，乔治敦大学的d o r o t h yd e n n i n g 和s r i c s l ( s r i 公司计算机科学实 验室) 的p e t e r n e u m a n n 共同提出了个实时入侵检测系统模型一i d e s ( 入侵检 测专家系统) 。该模型采用的是异常检测方法，为构建入侵检测系统提供了一个通 用的框架”。以后的入侵检测系统都是在这个模型的基础上发展的。 1 9 8 8 年，加州大学戴维斯分校在h a y s t a c k 项目中，提出了基于模式匹配的入 侵检测系统。1 9 8 9 年，h a y s t a c k 实验室发布了此系统的最后一个版本：s t a l k e r ， s t a l k e r 与s r i 和d e n n i n g 的工作融合，极大地发展了基于主机的入侵检测技术。 1 9 9 0 年是入侵检测系统发展史上的一个分水岭。这一年，加州大学戴维斯分 校的l t h e b e r l e i n 等人开发出了n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 【l ”。该系统 第一次直接将网络流作为审计数据来源，因而可以在不将审计数据转换成统一格 式的情况下监控异种主机。从此之后，入侵检测系统发展史翻开了新的一页，入 侵检测技术的两大领域正式形成：基于网络的i d s 和基于主机的i d s 。 1 9 8 8 年，莫里斯蠕虫事件发生之后，网络安全才真正引起了美国军方、学术 界和企业的高度重视。美国空军、国家安全局和能源部共同资助空军密码支持中 心、劳伦斯利弗摩尔国家实验室、加州大学戴维斯分校、h a y s t a c k 实验室开展对 分布式入侵检测系统d i d s 的研究，将基于主机和基于网络的i d s 集成到了一起 1 2 1 。这是i d s 历史上一个里程碑式的产品。 1 9 9 4 年，m a r kc r o s b i e 和g e n es p a f f o r d 建议使用自治代理( a u t o n o m o u s a g e n t s ) 以便提高i d s 的可扩展性、可维护性、效率和容错性。1 9 9 5 年，i d e s 的后续版本一一n i d e s ( n e x t g e n e r a t i o n i n t r u s i o n d e t e c t i o ns y s t e m ) 实现了多个 主机上的入侵检测。 19 9 6 年，g r i d s ( g r a p h b a s e di n t r u s i o nd e t e c t i o ns y s t e m ) 的设计和实现使得对 大规模自动或协同攻击的检测更为便利。f o r r e s t 等人将免疫原理运用到分布式入 侵检测领域，通过建立系统调用程序行为顺序的数据库，能够识别那些违背这个 调用顺序的可疑行为和恶意程序。 t 9 9 8 年，r o s sa n d e r s o n 和a b i d ak h a t t a k 将信息检索技术引进到了入侵检测 技术中。 目前s r i c s l 、普渡大学、加州大学戴维斯分校、洛斯阿拉莫斯国家实验室、 哥伦比亚大学、新墨西哥大学等机构代表了当前入侵检测技术研究的最高水平。 入侵检测技术的商业化从2 0 世纪9 0 年代早期开始，直到1 9 9 7 年开始获得重 视和大量使用，出现了百家争鸣的场面。目前在技术上占据领先地位的产品有t s s ( i n t e r n e ts e c u r i t ys y s t e m ) 公司的r e a l s e c u r e ，c i s c o 公司的n e t r a n g e r ，e n t e r a s y s 公司的d r a g o n ，c a 公司的e t r u s t 等。我们国家的i d s 厂商也在近年获得长足发 展，比较出色的有：安氏中国、启明星辰、中联绿盟等公司。 华南理工大学硕士学位论文 2 ，3入侵检测技术的标准化工作 目前的入侵检测系统大部分是基于各自的需求和设计独立开发的，不同系统 之间缺乏互操作性和互用性，这对入侵检测系统的发展造成了障碍因此d a r p a ( t h e d e f e ns e a d v a n c e d r e s e a r c h p r o j e c t s a g e n c y 。美国国防部高级研究计划局) 在 1 9 9 7 年3 月开始着手c i d f ( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ，公共入侵检 测框架) 标准的制定。现在，加州大学d a v i s 分校的安全实验室已经完成了c i d f 标准。i e t f ( i n t e r n e te n g i n e e r i n gt a s kf o r c e ，i n t e r n e t 工程任务组) 成立了 i d w g ( i n t r u s i o nd e t e c t i o nw o r k i n gg r o u p ，入侵检测工作组) ，负责建立i d e f ( i n t r u s i o nd e t e c t i o ne x c h a n g ef o r m a t ，入侵检测数据交换格式) 标准，并提供支 持该标准的工具，以更高效率地开发i d s 系统( i n t r u s i o nd e t e c t i o ns y s t e m ，入侵检 测系统) 。目前已有的草案包括：t h e i n t r u s i o n d e t e c t i o ne x c h a n g ep r o t o c o l ( i d x p ) 、 i n t r u s i o nd e t e c t i o nm e s s a g ee x c h a n g ef o r m a t d a t am o d e l 和e x t e n s i b l em a r k u p l a n g u a g e ( x m l ) d o c u m e n tt y p ed e f i n i t i o n 。 2 4入侵检测系统的通用模型 c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ( c i d f ) i n 述了一个入侵检测系统的通 用模型，如图2 1 。 囹钿；准 _ 囊叫a i ，1 耵目丰p i ：，由：譬0 辫o , ；v er i l 轼 耋t h ( 1 ln ) a 尊计卜分斟i 鬻 e v i 、n ；i n i t v z r s d 磷件数螂滞( e v t , t l i i “n t a b a s e s ) r 昀虑单元( r e s p o n s eu n it 8 ) 图2 1 入侵检测通用模型 c d f 将i d s 需要分析的数据统称为事件( e v e n t ) ，它可以是网络中的数据包， 也可以是从系统日志等其他途径得到的信息。 事件产生器的目的是从整个计算环境中获得事件，并向系统的其他部分提供 此事件。事件分析引擎分析得到的数据，并产生分析结果。响应单元则是对分析 6 第二章入侵检测技术简介 结果做出反应的功能单元，它可以做出切断连接、改变文件属性等强烈反应，也 可以只是简单的报警。事件数据库是存放各种中间和最终数据的地方的统称，它 可以是复杂的数据库，也可以是简单的文本文件。各组件之间的通信格式为c i s l ( c o m m o n i n t r u s i o n s p e c i f i c a t i o n l a n g u a g e ) ，详细内容可以查看1 3 1 。 2 ，5入侵检测系统的分类 入侵检测系统按其监视的数据来源可以分为3 种类型【1 4 1 。 基于网络的 d s ( n i d s ) ：基于网络的入侵检测系统通过网络监视来实现数 据提取。 传统上，局域网普遍采用子网广播的方式进行数据传输，任何一台主机发送 的数据包，都会在所经过的子网中进行广播，也就是说，任何一台主机接收和发 送的数据都可以被同一予网内的其他主机接收。在正常设置下，主机的网卡对每 一个到达的数据包进行过滤，只将目的地址是本机的或广播地址的数据包放入接 收缓冲区，而将其他数据包丢弃，因此，正常情况下网络上的主机表现为只关心 与本机有关的数据包，但是将网卡的接收模式进行适当的设置后就可以改变网卡 的过滤策略，使网卡能够接收经过本网段的所有数据包，无论这些数据包的目的 地是否是该主机。网卡的这种接收模式被称为混杂模式，目前绝大部分网卡都提 供这种设置，因此，在需要的时候，对网卡进行合理的设置就能获得经过本网段 的所有通信信息，从而实现网络监视的功能。 在交换式以太网环境内，由于不采用广播的方式传送报文，改变网卡设置的 方法已小适合。目前的解决方法有：将i d s 连在交换机的调试端口( s p a np o r t ) 上，这样可以得到任何其他端口的出入信息，但对交换机的性能有影响：采用 分接器( t a p ) ，将其连接在所要检测的线路上，可以在不降低网络性能的前提下 得到所需的信息。 n i d s 的优点： ( 1 ) 可获得所有的网络通信数据，易于发现相关性的攻击； ( 2 ) 一个检测设备可以检测同一网段内的所有主机的网络行为； ( 3 ) 不改变系统和网络的工作模式，也不影响主机和网络的性能； ( 4 ) 处于被动接收方式，很难被入侵者发现； ( 5 ) 可以从底层开始分析，对基于协议攻击的入侵手段有较强的分析能力； ( 6 ) 成本低，操作系统独立，具有很好的实时性。 n i d s 的缺点： ( 1 ) 监视的数据量过于庞大，对于i d s 的处理能力有比较严格的要求。如果 网络速度很快，会出现掉包现象，从而有可能漏检； 华南理工大学硕士学位论文 ( 2 ) 不能结合操作系统的特征和网络拓扑结构来对网络行为进行准确的判 断，这个弱点会被入侵者利用来躲避检测； ( 3 ) 处理加密的会话过程较困难，随着i p v 6 、v p n 等技术的普及，这个问题 会越来越突出。 基于主机的i d s ( h i d s ) ：基于主机的入侵检测系统将检测模块驻留在被保 护系统上，通过监视被保护系统的事件日志、关键的系统文件以及其他可审计资 源来检测可能存在的未授权改变或可疑的操作活动，并在发现异常时向维护人员 报警。 基于主机的入侵检测系统可以有若干种实现方法： ( 1 ) 对系统安全状态进行定期检查以发现不正常的安全状态。 ( 2 ) 通过替换服务器程序，在服务器程序与远程用户之间增加一个中间层， 在该中间层中实现跟踪和记录远程用户的请求和操作。 ( 3 ) 基于主机日志的安全审计，通过分析主机日志来发现入侵行为。 h i d s 的优点： ( 1 ) 检测效率高，分析速度快，能结合操作系统和应用程序的行为特征对入 侵进行进一步的分析； ( 2 ) 对分析“可能的攻击行为”非常有用，可以记录入侵者的一切行为，与 基于网络的入侵检测系统相比，通常能提供更详尽的相关信息； ( 3 ) 适用于加密和交换环境； ( 4 ) 通常情况下比基于网络的入侵检测系统的误报率低，因为检测在主机上 运行的命令序列比检测网络流更简单，系统的复杂性也少得多。 h i d s 的缺点： ( 1 ) 会降低被保护系统的性能； ( 2 ) 主机的日志提供的安全信息有限，有的入侵手段和途径不会在臼志中有 所反映，对有的入侵行为无法识别，例如：利用a r p 欺骗，冒充别的主机进行通 信。 ( 3 ) 全面部署基于主机的入侵检测系统代价太大，那些未安装检测系统的主 机会成为保护的盲点，入侵者可以利用这些机器来达到攻击目标； ( 4 ) 只检测自身主机，根本不监测网络上的情况，对入侵行为分析的工作量 将随着主机数目的增加而增加。 基于网络节点的i d s ( n n i d s ) ：n n i d s 是在n i d s 与h i d s 的基础上发展起 来的一类入侵检测系统。n n i d s 通过在网络节点上部署a g e n t ，采集流过该网络 节点的网络流量；并将采集的数据包与攻击特征库进行匹配比较，以实现针对此 毫 第二章入侵检测技术简介 网络节点流量的入侵检测。n n i d s 同时具备n i d s 和h i d s 的一些特点。从其部 署方式上看，n n i d s 类似于h i d s ，n n i d sa g e n t 也需要驻留于作为保护对象的 网络节点中；从其检测方法和检测技术上分析，n n i d s 又较为类似于n i d s 。整 体而言，n n i d s 更为接近于n i d s ，因而也有的i d s 分类方法不将n n i d s 单独作 为一个独立的类别，而将其归于n i d s 之中。从应用和安全功能的角度看，n n i d s 主要在以下两点区别于n i d s ： ( 1 ) 检测入侵的目标对象有所区别，n i d s 对所采集的所有网络流量进行匹配、 检测，而n n i d s 只针对目标网络节点的网络流量进行检测； ( 2 ) n n i d s 的检测流量远小于n i d s 的检测流量。 2 6入侵检测分析技术 入侵分析的任务就是在提取到的庞大的数据中找到入侵的痕迹。入侵分析过 程需要将提取到的事件与入侵检测规则进行比较，从而发现入侵行为。一方面入 侵检测系统需要尽可能多地提取数据以获得足够的入侵证据，而另一方面由于入 侵行为的千变万化而导致判定入侵的规则越来越复杂，为了保证入侵检测的效率 和满足实时性的要求，入侵分析必须在系统的性能和分析能力之间进行权衡，合 理地设计分析策略，并且可能要牺牲一部分分析能力来保证系统可靠、稳定地运 行并具有较快的响应速度。 分析策略是入侵分析的核心，系统检测能力很大程度上取决于分析策略。在 实现上，分析策略通常定义为一些完全独立的检测规则。基于网络的入侵检测系 统通常使用报文的模式匹配或模式匹配序列来定义规则，检测时将监听到的报文 与模式匹配序列进行比较，根据比较的结果来判断是否有非正常的网络行为。这 样以来，一个入侵行为能不能被检测出来主要就看该入侵行为的过程或其关键特 征能不能映射到基于网络报文的匹配模式序列上去。有的入侵行为很容易映射， 如a r p 欺骗，但有的入侵行为是很难映射的，如从网络上下载染有病毒的文件。 对于有的入侵行为，即使理论上可以进行映射，但是在实现上是不可行的，比如 说有的网络行为需要经过非常复杂的步骤或较长的过程才能表现其入侵特性，这 样的行为由于具有非常庞大的模式匹配序列，需要综合大量的数据报文来进行匹 配，因而在实际上是不可行的。而有的入侵行为由于需要进行多层协议分析或有 较强的上下文关系，需要消耗大量的处理能力来进行检测，因而在实现上也有很 大的难度。 入侵分析按照其检测原理可以分为两类【1 5 ： 1 特征检测 特征检测( s i g n a t u r e b a s e dd e t e c t i o n ) 又称m i s u s ed e t e c t i o n ，这一检测假设 9 华南理工大学硕士学位论文 入侵者活动可以用一种模式或信号来表示，即使是同一种入侵的变种也可以检测。 它通过预先定义好的入侵模式与观察到的用户行为进行模式匹配来检测入侵行 为。它的主要问题是如何写模式或信号，使其可以包括一个入侵的各种可能变种 行为，而不包括正常行为。它能够准确地检测到某些特征的攻击，但却过度依赖 事先定义好的安全策略，所以无法检测系统未知的攻击行为，从而易产生漏报。 模式匹配、专家系统、状态转移法等都属于典型的特征检测技术。 2 异常检测 异常检测是一种通过观测到的一组测量值的偏离度来预测用户行为的变化， 从而做出决策判断的检测技术。它是目前i d s 的主要研究方向，其特点是通过对 系统异常行为的检测，可以发现未知的攻击模式。异常检测的主要前提条件是所 有的入侵活动都是异常于正常主体正常的活动，这样，如果能检测所有的异常活 动，就可以检测所有的入侵活动。例如：系统可以认为一次密码尝试失败并不算 是入侵行为，因为的确可能是合法用户输入失误，但是如果在一分钟内有8 次以 上同样的操作就不可能完全是输入失误了，而可以认定是入侵行为。异常检测的 关键问题在于正常使用模式( n o r m a lu s a g ep r o f i l e ) 的建立以及如何利用该模式对 当前的系统用户行为进行比较，从而判断出与正常模式的偏离程度。异常检测目 前存在的问题是：只能识别出那些与正常过程有较大偏差的行为，而无法知道具 体的入侵情况。由于对各种网络环境的适应性不强，且缺乏精确的判定准则，异 常检测经常会出现误报情况。统计分析、量化分析、非参量化统计分析、神经网 络等是异常检测技术通常采用的分析方法， 在近期入侵检测系统的发展过程中，研究人员提出了一些新的入侵检测技术， 这些技术= i i i f ；能只是简单地归类为特征检测或是异常检测，而是提供了一种有别于 传统入侵检测视角的技术层次，它们或者提供了更具普遍意义的分析技术，或者 提出了新的检测系统架构，因此无论对于特征检测还是异常检测来说，都可以起 到很好的应用。下面是几个典型技术。 ( 1 ) 免疫系统 在一项极富创新意义的研究项目中，新墨西哥州大学的研究人员在生物免疫 系统和计算机系统的保护机制之间发现了某种相似性。免疫系统最基本也是最重 要的能力是识别“自我非自我”，换句话说，它能够识别哪些组织是属于f 常机 体，不属于正常的就认为是异常，这个概念和入侵检测中的异常检测的概念相似。 生物免疫系统使用氨基酸、蛋白质碎片来完成“自我”的分辨，计算机系统的某 些属性也可以充当这种角色。f o r r e s t 等研究人员通过大量的实验发现：对一个特 定的程序来说，其系统调用序列是相当稳定的【i ”。免疫系统的检测方法是：收集 各个特权进程所产生的系统调用序列，与正常的行为模式相比较，偏离了正常模 式的系统进程被认为是出现了异常。 第二章入侵检测技术简介 “自我”谚 别是一项功能强大而且很有发展前途的技术。但是，某些类型的 攻击，例如条件竞争、身份伪装、违背安全策略等，可能不涉及到特权进程的使 用，也就不能通过这种针对特权进程的免疫系统检测出来【1 7 1 。 ( 2 ) 基因算法 另外一项较为复杂的异常检测技术使用基因算法对审计数据进行分析处理。 基因算法是进化算法的一种，引入了达尔文在进化论中提出的自然选择的概念对 系统进行优化。基因算法的研究人员将入侵检测的过程抽象为：为审计事件记录 定义一种向量表示形式，这种向量或者对应于攻击行为，或者代表正常行为。通 过对所定义向量进行的测试，提出改进的向量表示形式，不断重复这个过程，直 到得到令人满意的结果为止【l ”。 在这种方法中，将不同的向量表示形式作为需要进行选择的个体，基因算法 的任务是使用“适者生存”的概念，得出最佳的向量表示形式。通过将基因算法 应用到异常检测中的实验可以发现，系统的平均检测率很高，而误报率很低，同 时系统的运行效率也可以接受( 1 ”。 但是基因算法在入侵检测系统中的应用同样存在许多缺陷【2o ：如果某些事件 或事件组对于特定的攻击来说是普遍存在的，攻击者利用这点向目标系统同时发 起多次攻击，则系统将无法找到最佳的向量表示形式；基于基因算法的入侵检测 系统无法在审计记录中实现精确的定位，因此，在检测器的结果中不包含时间信 息：不能产生和处理某些特定的入侵检测规则；无法检测多种同时发生的攻击行 为。 ( 3 ) 数据挖掘 数据挖掘可以从大量的、不完全的、有噪声的、模糊的、随机的数据中提取 出隐含在其中的有用信息和知识。与单纯的统计方法相比，数据挖掘可以从系统 同志、网络通信等大量数据中发现有助于检测入侵的知识和规律 2 ”。将该技术用 于入侵检测领域，利用数据挖掘中的关联分析、序列模式分析等算法提取相关的 用户行为特征，并根据这些特征生成安全事件的分类模型，应用于安全事件的自 动鉴别。一个完整的基于数据挖掘的入侵检测模型要包括对审计数据的采集，数 据预处理、特征变量选取、算法比较、挖掘结果处理等一系列过程，它将自学习 获得或专家手工输入的入侵舰则与当前活动的统计规律相匹配，按匹配结果来推 断入侵