（计算机应用技术专业论文）高速网络环境下入侵检测系统研究.pdf

摘要 入侵检测系统是一种软件与硬件的结合，它通过分析网络或主机上发生的事件来发 现其中的安全隐患。随着近几年网络攻击事故频频出现，影响范围越来越广泛，入侵检 测系统得到越来越多的重视，成为网络安全方案的重要组成部分。 基于网络的入侵检测系统以网络报文作为原始数据源，实时地分析网络上的通信。 与基于主机的入侵检测相比，基于网络的入侵检测系统已经成为入侵检测系统的主流。 但是随着网络带宽飞速增长，基于网络的入侵检测系统面临许多的困难。本文设计了一 种高速网络环境下的网络入侵检测系统。采用新的设计，克服了以往系统在高速网络环 境下的缺陷，提高了入侵检测的速度。 本文将分层抽样理论应用于网络入侵检测系统，系统主要分成异常检测模块和抽样 模块两个部分。异常检测模块的检测引擎部分采用基于孤立点发现和字节分布检测的异 常检测模型，通过统计网络数据包负载字段中的字节分布规律，得到数据包异常的度量， 将其作为抽样模块中的分层特征参数。抽样模块中，根据得到的分层抽样参数抽取出高 速网络海量数据包中有价值的样本。通过对样本进行检测反映总体的特征。本文在对入 侵检测系统进行概述之后，着重阐述了异常检测模块中的孤立点发现方法和字节分布检 测方法，以及抽样模块中的分层策略和层内抽样策略。在此基础上，设计并程序实现了 一个完整的入侵检测系统原型，使用m i t 林肯实验室开发的d a r p a1 9 9 9 年i d s 评测数 据集对抽样算法和异常检测算法的性能迸行验证和分析，实验表明本方法可以有效地提 高检测速度。 关键词：入侵检测；高速网络；分层抽样；孤立点发现；字节分布 h i g h - s p e e dn e t w o r ki n t r u s i o nd e t e c t i o n r e s e a r c h a b s t r a c t i n t r u s i o nd e t e c t i o ns y s t e m s ( i d s ) a r ec o m b i n a t i o n so fs o f t w a r ea n dh a r d w a r es y s t e m st h a ta u t o m a t et h e p r o c e s so fm o n i t o r i n gt h ee v e n t so c c u r r i n gi nac o m p u t e rs y s t e mo rn e t w o r k , a n a l y z i n gt h e mf o rs i g n so f s e c u r i t yp r o b l e m s a sn e t w o r ka t t a c k sh a v ei n c r e a s e di nn u m b e ra n ds e v e r i t yo v e rt h ep a s tf e wy e a r s , i n t r u s i o nd e t e c t i o ns y s t e m sh a v eb e c l 3 m ean e c e s s a r ya d d i t i o nt ot h es e c u r i t yi n f i a s t m c t u r eo fm o s t o r g a n i z a t i o n s n e t w o r k b a s e di n t r u s i o nd e t e c t i o ns y s t e m s f n i d s ) u s e sr a wn e t w o r kp a c k e t sa st h ed a t as o u r c e , a n d a n a l y s e sa l lt r a f f i ci nr e a l t i m ea si tt r a v e l sa c r o s st h en e t w o r k c u r r e n t l y i d sf o c u s e so nn e t w o r k - b a s e d i d s i n s t e a do fh o s tb a s e di d s n i d sh a sm u c hd i f f i c u l t yw i t ht h er a p i dd e v e l o p m e n to fn e t w o r k b a n d w i d t h t h i sp a p e rd e s i g n san e t w o r ki n t r u s i o nd e t e c t i o ns y s t e mf o rh i g h s p e e dn e t w o r k i ti m p l e m e n t s s o m en e wd e s i g n ss oa st oo v e r c o m ef a u l t so fp a s ss y s t e m sa n dd e t e c t s a t t a c k sm o r ea c c u r a t e l ya n e f f i c i e n t l y 1 1 i i sp a p e ru s e st h et h e o r yo fs t r a t i f i e ds a m p l i n gi n t oi d s w h i c hc a nb ed i v i d e di n t ot w op a r t s ： a n o m a l o u si n t r u s i o nd e t e c t i o nm o d u l ea n ds a m p l i n gm o d u l e a n o m a l o u si n t r u s i o nd e t e c t i o nm o d u l e a d o p t st h ed e t e c t i n gm o d e lb a s e do no u t l i e ra n a l y s i sa n dc h a r a c t e rd i s t r i b u t i o na l g o r i t h m i tf i r s t c o m p u t e st h ec h a r a c t e rd i s t r i b u t i o ni nn e t w o r kp a c k e t sp a y l o a da n dl e a d st oa l la n o m a l o u ss c a l e ，w h i c h c a nb eap a r a m e t e ri ns a m p l i n gm o d u l ef o rg u i d i n gs t r a t i f y i n g i ns a m p l i n gm o d u l e , f i l t e ro u tt h e v a l u a b l es a m p i ef r o mh i g h s p e e dn e t w o r k p a c k e t sa c c o r d i n gt ot h ea n o m a l o u ss c a l eg o tb e f o r e a n dt h e n i ni n t r u s i o nd e l e c t i o nm o d u l e ，d e t e c tt h es a m p i ef o rr e f l e c t i n gt h el o t a lf e a t u r e a f t e rt h eo v e r v i e wo f i n t r a s i o nd e t e c t i o ns y s t e m ，t h i sp a p e rm a i n l yd e s c r i b e so u t l i e ra n a l y s i sa n d c h a r a c t e rd i s t r i b u t i o n a l g o r i t h mi na n o m a l o u si n t r u s i o nd e t e c t i o nm o d u l ea n ds t r a t i f i e ds t r a t e g ya n di n s i d es a m i p l i n gm e t h o di n s a m p l i n gm o d u l e b a s e do nt h o s et h i sp a p e rd e s i g ma n di m p l e m e n t sar e a li n t r u s i o nd e t e c t i o ns y s t e m r e s u l t ss h o wt h a tt h es y s t e mc a na c c e l e r a t ed e t e c t i n gv e l o c i t ye f f e c t i v e l yt e s t i n gb yd a r p a1 9 9 9i d s e v a l u a t i o n 出t s s e t k e y w o r d s ：i n t r u s i o nd e t e c t i o n , h i g h s p e e dn e t w o r k , s t r a t i f i e ds a m p l i n g , o u t l i e r d e t e c t i o n ，c h a r a c t e rd i s t r i b u t i o n 青岛大学硕1 ：学协论文 学位论文独创性声明 本人声明，所呈交的学位论文系本人在导师指导下独立完成的研究成果。文中 依法引用他人的成果，均己做出明确标注或得到许可。论文内容未包含法律意义上 已属于他人的任何形式的研究成果，也不包含本人己用于其他学位中请的论文或成 果。 本人如违反上述声明，愿意承担由此引发的一切责任和后果。 论文作者签名： 日期： 学位论文知识产权权属声明 本人在导师指导下所完成的学位论文及相关的职务作品，知识产权归属学校。 学校享有以任何方式发表、复制、公开阅览、借阅以及申请专利等权利。本人离校 后发表或使用学位论文或与该论文直接相关的学术论文或成果时，署名单位仍然为 青岛大学。 本学位论文属于； 保密口，在年解密后适用于本声明。 不保密吖 ( 请在以上方框内打“”) 论文作者签名： 导师签名： 林宓苟 豫扣姊 日期：泖够月f ：钼 日期：砷年户月哆日 ( 本声明的版权归青岛大学所有，未经许可，任何单位及任何个人不缛擅自使用) 第一章引言 1 1 研究背景 第一章引言 在网络技术迅速发展和普及的同时，网络的安全性问题也日益突出，网络攻击和入 侵事件与日俱增。特别是近两年，政府部门、军事机构、金融机构、企业的计算机网络 频繁遭黑客袭击。攻击者可以从容地对那些没有安全保护的网络进行攻击和入侵，如进 行拒绝服务攻击、从事非授权的访问，肆意窃取和篡改重要的数据信息、安装后门监听 程序以便随时获得内部信息、传播计算机病毒、摧毁主机等。每年全球因计算机网络的 安全系统被破坏丽造成的经济损失达2 0 0 0 亿美元以上“1 。据统计：信息窃贼在过去5 年中 以2 5 0 9 6 速度增长，9 9 的大公司都发生过大的入侵事件”。世界著名的商业网站，如y a h o o ， b u y ，e b a y ，a m a z o n ，c n n 都曾被黑客入侵，造成巨大的经济损失。甚至连专门从事网络 安全的r s a 网站也受到黑客的攻击0 1 。攻击和入侵事件给这些机构和企业带来了巨大的 经济损失和形象的损害，甚至直接威胁到国家的安全。 如何建立安全而又健壮的网络系统，保证重要信息的安全性，已经成为研究的焦 点。传统的网络安全技术主要包括：加密和数字签名机制、身份认证与访问控制机制、 认证授权、安全审计、系统脆弱性检测、构筑防火墙系统等。随着攻击者经验日趋丰富， 攻击工具与手法的日趋复杂多样，传统单一的安全技术和策略已经无法满足对安全高度 敏感的部门的需要。因此，网络安全的防卫必须采用一种纵深的、多样的手段，形成一 个多层次的防护体系，不再是单一的安全技术和安全策略，而是多种技术的融合，关键 是各种安全技术能够起到相互补充的作用，这样，即使当某一种措施失去效能时，其他 的安全措施也能予以弥补。传统的安全技术虽然取得了很大的成效，但是它也存在一些 固有的缺陷，比如访问控制可以拒绝未授权用户的访问，却并不能防止已授权访问用户 获取系统中未授权信息；防火墙可以将危险挡在外面，却无法挡住内部的入侵。从网络 安全的角度看，公司的内部系统被入侵、破坏与泄密是一个严重的问题，以及由此引出 的更多有关网络安全的问题都应该引起重视。据统计，全球8 0 以上的入侵来自子内部 。因此，传统的安全技术更多的是一种基于被动的防护，而如今的攻击和入侵要求主 动地去检测、发现和排除安全隐患，正是在这样的环境下，入侵检测系统( i n t r u s i o n d e t e c t i o ns y s t e m ，i d s ) 开始成为安全市场上和研究上新的熟点，不仅愈来愈多得受到 人们的关注，而且已经开始在各种不同的环境中发挥越来越重要的作用。i d s 可以主动 地检测到对系统或网络的入侵，并对这些入侵进行记录和响应，这是防火墙、身份识别 和认证、加密解密等其他许多安全策略所不能做到的。因此，引入i d s 可以弥补其他安 青岛人学硕f ：学位论文 全策略的不足，使得整个安全防护体系更女n 完善。其次，由于网络规模不断扩大，系统 遭受的入侵和攻击越来越多，人们迫切需要一种可以有效防范和应对这些入侵的安全策 路和产品。在这种形势下，国内许多安全产品方面的，商纷纷开始开发自己的i d s 产品， 许多研究机构也开始了对i d s 的研究，i d s 成为网络与信息安全领域的一个研究热点” 【8 】 o 入侵检测系统自问世以来取得巨大的成功，成为几乎所有主干网络中的必要配置， 但是传统的入侵检测系统已经无法适应当今高速网络下的要求。随着现代网络技术的迅 猛发展，交换技术的不断提高网络技术和网络应用的发展使得网络上的数据流量进一步 加大，从最初的以kb p s 为单位的网络速度发展至u i o m 1 0 0 m 传输速度的网络。现在千兆 网络已经成为标准配置，在一些主干网络中还出现了万兆网络5 1 。尤其是电信i d c ，金融、 i s p 等企业，均采用了0 c 1 2 或千兆的骨干网络环境“。它们的共同特点是：网络数据流 量非常大，一般持续流量可以达到标准流量的7 0 到9 0 ，并发联接数极高，骨干网络中 的业务服务能力非常强，并发联接数可达百万到千万级，而且并发联接数建立过程也非 常快，通常要求在数秒内达到并发联接数的上限，要在这样一个高流量环境下进行网络 安全监控将会面l 临很多难题。海量的安全事件对入侵检测系统本身也是一个严峻的考 验。目前市场上的主流入侵检测系统都无法真正达到千兆网络环境的要求，它们很难承 受起如此沉重的网络负荷，对于诸如像2 5 gp o s 等高于千兆流量的情况。入侵检测系统 就更加望尘莫及了。如何为高速网络用户提供可靠的高背景流量下的网络入侵检测，又 顾及入侵检测系统网络负载能力，同时保证系统的可扩展性、可维护性。是耳前入侵检 测系统面临的一个主要难题m ，。 1 2 国内外研究现状 随着网络带宽的不断变大，传统的基于低速网络的入侵检测系统不但不能满足实时 的网络入侵检测，甚至还成为高速网络中的瓶颈，严重影响了网络整体的性能。在这种 情况下，开发适应高速网络的入侵检测系统变得势在必行，因此成为研究的重点。 目前国内外的研究方向主要集中在以下几个方面： 1 、采用负载分流的方法。负载分流是应对单个处理设备在超出了处理能力的高流 量环境下，将负荷分流到多个处理设备上来分摊处理，一般用于路由器、防火墙、应用 服务器等重要的网络干网设备，应用于i d s 也是一种解决方案。例如c a l i f o r n i a 大学的 c h r i s t o p h r ek r u e g e l 提出了一种稳定的基于负载分流的高速网络入侵检测系统“1 。负 载分流的优点是可以利用现有的低速i d s 设备，在技术上也比较成熟。但是它也存在不 少缺点，主要表现在： 2 第一章引言 ( i ) 一般情况，负载均衡器是按照某种规则( 如协议或者i p 地址) 来分流数据， 当来自于一个i p 地址的数据或某种应用服务流量突然增加的时候，负载均衡器如果不能 够智能地进行分流，强对口负责的i d s 不堪重负；如果负载均衡器又傲了流量均衡，混 在其中攻击信息也有可能被分流，而对应的i d s 又可能没有配置相应的攻击检测策略而 漏过检测。对于这个问题，还没有很好的解决方案。 ( 2 ) 对于判断不同攻击模式之间的行为关联性，由于要进行负载分流，所以也将无 法识别。 ( 3 ) 目前的负载分流一般是利用专用硬件设备，其主要提供商是国外厂家，价格 不菲，而且要使用多个百兆入侵检测，一方面占用更多的机架空间，管理麻烦：另一方 面，用户额外安全投资也增加了。 ( 4 ) 靠把千兆流量分流到多个百兆i d s 只是在没有真正意义上千兆i d s 出现前的一种 解决方案，千兆防火墙的发展也证明了这点。因为网络的带宽增加是很迅速的，如果不 致力于提高入侵检测的技术本身，那么等到万兆级别的网络出现，再使用百兆i d s 的负 载分流就不堪忍受了。 2 、提高模式匹配算法的效率。模式匹配就是进行字符串的比较，现有的关于这方面 的研究都提出了各自高效的算法。例如徐成等人提出了一种基于f r e t e 匹配算法的推理 机“1 等。但是在千兆的高速流量下，单纯的单条规则匹配报文的匹配效率提高也不能完 全适应其要求，特别是现在的入侵检测的规则模式在不断增加，对每一个数据包其可能 要匹配的次数也在不断增加，因此其性能也无法完全满足。真正的高效是要结合“匹配 算法”和“规贝u 结构”，做到匹配效率和规则数量的无关性，甚至规则越多，效率越高。 对这方面的研究也正在进行。 3 ，高性能硬件。软件的表现要依赖其所处的硬件平台，例如，采用多c p u 方式是可 以把多个线程分配到不同的c p u 上处理来提高性能。采用“高性能硬件”是可以进一步 提高入侵检测的能力，但绝对不是主要因素。 4 、零拷贝的报文处理方式。其技术原理如下：传统的处理网络数据包的方式由于网 卡驱动程序运行在内核空间，当网卡收到包以后，包会存放在内核空间内，由于上层应 用运行在用户空间，无法直接访问内核空间，因此要通过系统调用往上层应用系统送， 这时候会发生一次复制过程。同时这个过程常常还伴随着次从抓包库到检测引擎的复 制过程。如果对于一般应用来说，很少的操作来处理网络通信，这样的系统开销还可以 忍受，但是对于入侵检测系统这样大量读取网络数据包的应用来说，这样的开销就很难 忍受了。零拷贝”技术是指网卡驱动程序共享一段内存区域，当网卡抓到数据包以后 直接写到共享内存，这样的一个处理过程减少了至少一次复制。同时减少了一次网卡驱 动程序向用户空间复制网络数据包的系统调用。而一次系统调用的开销其实是相当大 3 青岛人学硕l ：学位论文 的，对于入侵检测系统来说由于要频繁地跟内核空间的网譬驱动程序打交道，因此按传 统方法会造成大量的系统调用，从而导致系统的性能下降。但是采用了“零拷贝”技术 后有效的避免了这一点。从上面的技术原理我们就可以很清晰的看出，“零拷贝”的应 用对高流量下的入侵检测来说确实是一个技术上的突破，表现形式是专用的网卡驱动程 序。但是本质上说来，“零拷贝”解决的是抓包带来的性能问题，而对千兆i d s 来说， 抓包是一个制约因素，但对数据包的分析又是另外一个制约因素，“零拷贝”只解决了 其中一个方面，所以仅仅只有“零拷贝”技术并不能解决高速网络下i d s 的性能瓶颈问 题。 5 、采用异常检测方法。目前国内外的研究潮流是改进异常检测的算法，包括引入 数学领域和人工智能领域的多种方法。”“3 ，主要目的是提高智能化，降低误报率。 但是异常检测算法的本质决定了误报率必定较高，特别是在当前人工智能技术无法取得 突破的情况下，基于异常的入侵检测方法的研究进展较慢。 针对入侵检测系统在高速网络下存在的问题以及目前国内外的研究现状，本文提出 将抽样算法应用于入侵检测系统的解决方案。即利用抽样算法从海量数据包中抽取出能 够反映总体特征的样本，对样本进行异常检测以反映总体的特征。使入侵检测系统在保 证一定的准确率的前提下能够适应高速网络下的要求。 1 3 章节安排 在论文结构上，本文以课题研究实现的逐步深入为主要组织依据，划分为六章。 第一章综述本论文的研究背景，引入入侵检测课题，分析国内外研究动态，并简要 描述本文的研究思路及组织结构。 第二章概括说明入侵检测技术并全面介绍其分类标准。 第三章提出本文的核心异常检测算法，全面阐述算法原理，算法适用性，以及算法 的实现等。 。 第四章提出抽样算法，论证了抽样算法应用于入侵检测系统的可行性，分析了抽样 算法的分层标准，并给出了算法的实现。 第五章构建了一个完整的入侵检测系统模型，从总体上描述了系统的各个模块功能 及相互关系。 第六章采用具体的数据集进行实验，并给出实验分析结果。 4 第_ 章入侵捡测概述 第二章入侵检测概述 2 1 入侵检测系统概述 2 1 1 入侵检测系统的定义 入侵检测( i n t r u s i o nd e t e c t i o n ) ，是指通过对计算机网络或计算机系统中的若干 关键点收集信息并对其进行分析，从中发现网络或系统中是否有违反安全策略的行为和 被攻击的迹象，并能对攻击行为做出响应( 如：报警、通信阻断) 。入侵检测系统 ( i n t r u s i o nd e t e c t i o ns y s t e m ) ，是以探测与控制为技术本质，发挥主动防御的作用， 完成入侵检测功能的软件、硬件及其组合。它试图检测、识别和隔离“入侵”企图或计 算机的不恰当未授权使用，是网络安全中极其重要的部分。一般而言，入侵检测通过网 络封包或信息的收集，检测可能的入侵行为，并且能在入侵行为造成危害前及时发出报 警通知系统管理员并进行相关的处理措施。为了达成这个目的，入侵检测系统应包含3 个必要功能的组件：信息来源、分析引擎和响应组件”1 。 ( i ) 信息来源( i n f o r m a t i o ns o u r c e ) ：为检测可能的恶意攻击，i d s 所检测的网络 或系统必须能提供足够的信息给i d s ，资料来源收集模组的任务就是要收集这些信息作 为i d s 分析引擎的资料输入。 ( 2 ) 分析弓l 擎( a n a l y s i se n g i n e ) ：和用统计或规则的方式找出可能的入侵行为并 将事件提供给响应组件。 ( 3 ) 响应组件( r e s p o n s ec o m p o n e n t ) ：能够根据分析引擎的输出来采取应有的行动。 通常具有自动化机制，如主动通知系统管理员、中断入侵者的连接和收集入侵信息等。 2 。1 2 入侵检测系统的构件 目前所说的入侵检测系统的标准构件遵从通用入侵检测框架( a d f ) 的标准。c i d f 是为了提高i d s 产品、组件及与其他安全产品之问的互操作性，由美国国防高级研究 计划署( d a r p a ) 发起制定的一系列i d s 的标准草案。c f 根据i d s 系统通用的需 求以及现有的i d s 系统的结构，将i d s 系统的构成划分为五类组件：事件组件、分析 组件、数据库组件、响应组件和目录服务组件。从功能的角度，这种划分体现了入侵检 测系统所必须具有的体系结构：数据获取、数据管理、数据分析、行为响应，因此具有 通用性。这些组件以统一入侵检测对象( g i d o ) 格式进行数据交换“”如图2 1 所示 5 青岛大学硕l ：学位论文 图2 1 入侵检测系统的标准构件 事件产生器：事件产生器的目的是从整个计算环境中获得事件，并向系统的其他部 分提供此事件，它是入侵检测的第一步。采集内容的包括系统日志，应用程序日志，系 统调用，网络数据，用户行为等信息。 事件分析器：分析得到的数据，并产生分析结果，事件分析器是构架中核心器件， 它的效率高低直接决定整个i d s 性能。 ， 事件数据库：是存放各种中间和最终数据的地方的统称，它可以是复杂的数据库， 也可以是简单的文本文件。 响应单元：是对分析结果做出反应的功能单元，功能包括告警和事件报告，终止进 程，强制用户退出，切断网络连接，修改防火墙设置，灾难评估，自动恢复，甚至查找 定位攻击者等。 2 1 3 入侵检测系统检测器的部署 入侵检测系统在网络环境中的部署，共分为以下几种方式，如图2 2 所示： 检测器放在边界防火墙之内：放置于防火墙的非军事区( d m z ) 区域，可以查看到 受保护区域主机被攻击状态，看出防火墙系统的策略是否合理同时可以观察到d l z 区域 被黑客攻击的重点。 检测器放在边界防火墙之外：放置于路由器和边界防火墙之间，可以审计所有来自 i n t e r n e t 上面对保护网络的攻击数目并且审计所有来自i n t e r n e t 上面对保护网络的攻 击类型。 检测器放在主要的网络中枢：监控大量的网络数据，可提高检测黑客攻击的可能性 可通过授权用户的权利边界来发现未授权用户的行为。 放在安全级别高的子网：用于对非常重要的系统和资源的入侵检测。 6 第二章入侵检测概述 共享媒介上检测器的部署：检测器配置于集线器( h u b ) 上 交换环境检测器的部署：检测器配置于交换机( s w i t c h ) 上。 图2 2 入侵检测系统检测器的部署 2 2 入侵检测系统分类 2 2 1 按照检测对象分类 按照检测对象可以将入侵检测系统分为基于主机型( h o s tb a s e d ) 、基于网络型 ( n e t w o r kb a s e d ) 和基于代理型( a g e n tb a s e d ) 3 种“。基于主机的检测最早开始于八十 年代早期，基于主机的入侵检测系统通常以系统日志、应用程序日志等审计记录文件作 为数据源。它是通过比较这些审计记录文件的记录与攻击签名( a t t a c ks i g n a t u r e ，指 用一种特定的方式来表示已知的攻击模式) 以发现它们是否匹配如果匹配，检测系统 就各系统管理员发出入侵报警并采取相应的行动。基于主机的i d s 可以精确地判断入侵 事件，并可对入侵事件做出立即反应。它还可针对不同操作系统的特点判断应用层的入 侵事件。 基于网络的入侵检测系统把原始的网络数据包作为数据源。它是利用网络适配器来 7 青岛大学硕，i ：学位论文 实时地监视并分析通过网络进行传输的所有通信业务。 基于代理的入侵检测系统用于监视大型网络系统。随着网络系统的复杂化和大型 化，系统弱点趋于分布式，而且攻击行为也表现为相互协作式特点，所以不同的 d s 之间需要共享信息，协同检测。整个系统可以由一个中央监视器和多个代理组成。中央 监视器负责对整个监视系统的管理，它应该处于一个相对安全的地方。代理则被安放在 被监视的主机上( 如服务器、交换机、路由器等) 。 2 2 2 按照检测的技术或方法分类 主要可分为误用检测( 按预定模式搜寻事件数据) 和异常检测( 按异常模式搜索事 件数据，并用数学术语进行标识) 组成。近年也有一些方法不属于以上两类范畴，我们 将它们归结为其他检测方案。 误用检测的关键问题：攻击签名的正确表示。误用检测是根据攻击签名来判断入侵 的，那如何有效地根据对已知的攻击方法的了解用特定的模式语言来表示这种攻击，即 攻击签名的表示，将是该方法的关键所在，尤其攻击签名必须能够准确地表示入侵行为 及其所有可能的变种，同时又不会把非入侵行为包含进来。由于很大一部分的入侵行为 是利用系统的漏洞和应用程序的缺陷，那么通过分析攻击过程的特征、条件、排列以及 事件间的关系，就可具体描述入侵行为的迹象。这些迹象不仅对分析已经发生的入侵行 为有帮助，而且对即将发生的入侵也有预警作用，因为只要部分满足这些入侵迹象就意 味着可能入侵行为的发生。误用检测是通过将收集到的信息与已知的攻击签名模式库进 行比较，从而发现违背安全策略的行为的。那么它就只需收集相关的数据，这样系统的 负担明显减少。该方法类似于病毒检测系统，其检测的准确率和效率都比较高。 异常入侵检测( a n o m m yd e t e c t i o n ) 方法假设可以通过观察与系统或用户的正常或 期望的行为的偏差来检测入侵。正常或有效行为的模型可以从收集到的参考信息中抽象 出来。入侵检测系统比较该模型与当前的活动，如果观察到一个偏差，则发出一个警告。 这样，任何与事先己知的行为不符的活动都被认为是入侵。异常入侵检测方法包括统计 方法、专家系统、神经网络、用户意图识别、数据挖掘等m 。 2 。2 3 其他检测方案 最近出现的一些入侵检铡方法既不属于误用检测也不属于异常检测的范围。这些方 法可以应用于上述两类检测。它们可以简化检测的先行活动，或以不同于传统的观点影 响检测策略方式。它们主要包括： ( 1 ) 免疫系统方法。这个方法是由f o r r e s t 和h o f m e y r 等人提出的“。，他们注意到 8 第一章入侵检测概述 生理免疫系统和系统保护机制之问有着显著的相似性。两者的关键是有决定执行“自我 非自我”的能力，即一个免疫系统能决定哪些东西是无害实体，哪些是有害因素。由 于免疫系统通过使用缩氨酸、短蛋白质片段作出判断，因此研究者们将注意力集中到与 缩氨酸相似的计算机属性上来研究异常检测。 ( 2 ) 遗传算法。另一个比较复杂的异常检测方法是使用遗传算法执行事件数据分析。 一个遗传算法是一类称为进化算法的一个实例。进化算法吸收达尔文自然选择法则( 适 者生存) 来优化问题织决”。这些算法在多维优化问题处理方面的能力已经得到认可， 并且遗传算法对异常检测的实验结果也是令人鼓舞的，在检测准确率和速度上有较大的 优势，但主要的不足就是不能在审计跟踪中精确的定位攻击，这一点和神经网络面临的 问题相似。 ( 3 ) 基于代理检测。基于代理的入侵检测方法就是在一个主机上执行某种安全监控 功能的软件实体。这些代理自动运行在主机上，并且可以和其他相似结构的代理进行交 流和协作。一个代理可以是很简单的( 例如，记录在一个特定时间间隔内特定命令触发 的次数) 也可以很复杂( 在一定环境内捕获并分析数据) 。基于代理的检测方法是非常 有力的，它允许基于代理的入侵检测系统提供异常检测和误用检测的混合能力。例如， 一个代理可以设计成能检测本地环境变化；也可以设计成在个很长时间内监控不确定 模式，如检测慢攻击。而且，一个代理能对一个检测到的问题指定非常精细的响应( 例 如，改变一个进程的优先级) 。具有代表性的基于代理的入侵检测系统原型有a a f i d “”。 2 3 入侵检测系统的发展历史、现状及前景 2 3 1 发展历史 1 9 8 0 年，j a m e sa n d e r s o n 最早提出入侵检测概念，对入侵检测系统的研究也从此 开始。 1 9 8 7 年，d 。e d o n n i n g 首次给出了一个入侵检测的抽象模型，并将入侵检测作为 一种新的安全防御措施提出。 1 9 8 8 年，m o r r i s 蠕虫事件直接刺激了i d s 的研究，i d s 作为一个重要的安全机制 受到越来越多的重视。 1 9 8 8 年，创建了基于主机的系统，有：i d e s ，h a y s t a c k 等等。基于主机的入侵检 测系统具有检测准确、全面的优点。 1 9 8 9 年，提出基于网络的i d s 系统，有：n s m ，n a d i r ，d i d s 等等，基于网络的入 侵检测系统具有对系统依赖性低、通用性好及可适应性好的优点。 9 青岛人学硕。i j 学位论文 9 0 年代，不断有新的思想提出，如将人工智能、神经网络、模糊理论、证据理论、 分布计算技术等引入i d s 系统。 2 0 0 0 年2 月，对y a h o o 、a m a z o n 、c n n 等大型网站的d d o s 攻击0 j 发了对i d s 系统 的新一轮研究热潮。 2 0 0 1 年今，r e d c o d e 、求职信等新型病毒的不断出现，进一步促进了i d s 的发展。 2 3 2 当前现状 目前，入侵检测系统也面临着若干重要的挑战。这些挑战有些来自技术方面，有些 则来自非技术方面。技术方面的主要挑战包括： 1 ) 网络规模和复杂程度的不断增长。 2 ) 如何在造成损失之前及早发现入侵活动，即预警技术。 3 ) 网络繁忙情况下的系统性能问题。为了保证发挥效能，网络入侵检测系统必须能 够分析所有的内向数据包。如果一个入侵检测系统无法应付网络吞吐量的话，就可能漏 掉不少反映入侵活动的特征数据，从而造成安全漏洞。 4 ) 入侵模式特征的准确性。 5 ) 入侵检测系统的评估。 非技术因素包括如下三个方面： 1 ) 攻击者不断研究新的攻击模式，同时随着安全技术的普及，越来越多的人进行了 越来越多的入侵攻击尝试。 2 ) 自动攻击的软件工具不断得到改进，使得普通用户也能够利用它来进行网络攻 击。 3 ) 各种机构( 包括政府、公司等) 对包括入侵检测系统在内的安全技术的认识不足或 者缺乏足够熟练的安全管理员。 -， 2 3 3 发展前景 纵观i d s 历史与现状，入侵检测在以下几个方向将会有长足的发展： 1 ) 入侵检测系统的标准化。 由于入侵检测系统的市场在近几年中飞速发展，许 多公司投入到这一领域上来。但就目前而言，入侵检测系统还缺乏相应的标准，不同 i o s 之间的数据交换和信息通信几乎不可能。目前，d a r p a 和入侵检测工作组( i d w g ) 试图对i d s 进行标准化工作，分别制定了c i d f 和入侵检测消息交换格式( i d m e f ) 标准， 从体系结构、通信机制、消息格式等各方面对i d s 规范化，但进展非常缓慢，尚没有被 广泛接受的标准出台。因此，具有标准化接口的入侵监测系统的将是下一代入侵监测系 第= 章入侵检测概述 统的特征。 2 ) 分布式入侵检测与通用入侵检测架构。传统的i i ) s 局限于单一的丰机或网络 架构，对异构系统及大规模的网络检测明显不足，不同的1 1 ) s 系统之间不能协同工作。 为解决这一问题，需要发展分布式入侵检测技术与通用入侵检测架构。 3 ) 应用层入侵检测许多入侵的语义只有在应用层才能理解，而目前的i d s 仅能 检测如w e b 之类的通用协议，而不能处理如l o t u sn o t e s 、数据库系统等其他的应用系 统。 4 ) 智能的入侵检测。入侵方法越来越多样化与综合化，尽管已经有智能体、神 经网络与遗传算法在入侵检测领域应用研究，但这只是一些尝试性的研究工作，仍需对 智能化的i d s 加以进一步的研究以解决其自学习与自适应能力。 5 ) 入侵检测系统的评测方法。面对功能越来越复杂的i d s ，用户需对众多的i d s 系统进行评价，评价指标包括i d s 检测范围、系统资源占用和i d s 系统自身的可靠性。 从而设计通用的入侵检测测试与评估方法与平台，实现对多种i d s 系统的检测已成为当 前i d s 应用的另一重要研究与发展领域。 6 ) 与其他网络安全技术相结合。在入侵检测早期发展中，它常被当作是一种独 立的技术，但现在入侵检测系统和网络管理的综合使用变得越来越必要了。单一的技术 很难构筑一道强有力的安全防线，这就需要和其他安全技术共同组成更完备的安全保障 系统，如结合防火墙、p k i x 、安全电子交易s e t 等新的网络安全与电子商务技术，提供 完整的网络安全保障。 7 ) 能够适应高速网络环境下的入侵检测系统。随着高速局域网和光纤通信等新技 术的应用对网络性能和流量带宽提出了越来越高的要求。从最初的以k 为单位的网络速 度到i o m i o o m 网络，到现在千兆网络已经成为大势所驱，这些变革对i d s 的处理性能 提出了更高的要求。 l l 青岛人学硕士学位论文 第三章高速网络环境下的入侵检测系统模型 3 1 模型介绍 3 1 1 设计思路 据研究表明，处理器性能的增长速度远远低于网络流量的增长速度“。高速网络中 单位时间内的报文数量是传统网络中的数十甚至数百倍，在目前的处理器速度下，要对 每一个包进行检测是不现实的。针对传统的入侵检测系统处理速度慢、无法适应高速网 络环境的问题，本文提出将抽样技术应用于入侵检测系统的设计思路：利用抽样算法， 抽取出数据包总体中有价值的样本，对样本进行异常入侵检测，利用样本的特性估计总 体的特性，从而减少系统必须处理的报文数量，提高检测速度。 系统的抽样部分需要能够高效地抽取对研究有价值的样本。正常情况下，网络中大 部分报文是正常的数据包，攻击数据包所占的比例很小。因此本系统中抽样部分的设计 目标是在尽可能小的样本空间中涵盖尽可能多的攻击数据包，同时最大程度的提高抽样 部分的处理速度。 系统的异常检测部分对抽样部分抽取后的样本进行异常检测。由于是对样本进行检 测，检测的数据包数量相对较少，因此对处理速度的要求不高。本系统中异常检测部分 的设计目标是保证异常检测的准确率，特别是提高对检测数据微小变化的敏感度和对未 知攻击的检测能力。 3 1 2 模型中主要模块介绍 总体上，本文构建的入侵检测系统由两个主要模块构成，分别是抽样模块和异常检 测模块。如图3 1 所示。 抽样模块主要包括数据包预处理和抽样处理两个功能体，作用是对高速网络下的海 量报文进行科学抽样，使抽样后的样本能够反映总体的特征。在此前提下减少入侵检测 系统需要处理的报文数量，提高了系统处理的速度。 异常检测模块主要包括模型训练和异常检测两个功能体，分别是两个不同的阶段。 在模型训练阶段，异常检测模块接收正常的网络数据包，建立系统正常的特征模型。这 个模型是一个“目的端口号长度”二维模型，根据系统中每一个正常数据包的长度和 目的端口号建立一个模型，模型中存储的是针对此包长度和目的端口号的正常分布：异 常检测阶段，异常检测模块接收经过抽样处理后的报文样本，与训练阶段建立起来的正 第三章高速州络环境下的入侵检测系统模型 常模型对比，如果差距超过预定值则认为发生异常。 抽样模块异常检测模块 3 2 系统框架 r 数 据抽 包 样 i 预 勺 处 处理 理 、j 氢 留 模异 型曼常 训 检 练测 -l 图3 1 系统模型主要模块 熬 l o o m 留固 系统设计框架如图3 2 所示，以下将简要介绍系统的各个部分。 训练数据集：提供系统训练所需要的数据包。训练数据集中所有的数据包都是合法 数据包，训练阶段，从训练数据集中取出特定格式的记录，经过预处理，去除掉包头， 只剩下负载字段。将负载字段经由模型分发功能体分发到相应的“目的端口号长度” 二维模型中，进行基于孤立点发现的异常检测，形成系统正常的分布模型 检测数据集：提供系统检测所需要的数据包。检测数据集中的数据包混有非法攻击 包。在检测阶段，通过重用模型分发模块快速寻址到对应的模型，取出其中的异常度的 值，用于层内抽样模块中抽样比率的确定。样本抽取完毕后同样经过预处理，去除包头， 将负载字段送入异常检测模块进行基于孤立点发现的入侵检测。 ， 预处理：预处理部分提供将原始数据包格式转化为系统研究所需要的格式。本文研 究的对象是i p 、t c p 和u d p 包，预处理过程中首先去除非i p 包，然后进一步对i p 包进 行处理，记录其协议类型和包长度；如果i p 包进一步是t c p 或u d p 包，将包头去掉， 记录包长度和目的端口号等信息。因此预处理过程也是一个协议分析的过程。预处理功 能在训练和检测阶段都要使用，必须保证处理的高速性 青岛大学硕士学位论文 掣皴蟹 上 瑟 抽样模块 瑟 异常检测模块 ，_ 淡 蝤辆丽融j 。熹罄l ji措 凌爨 渗 ? + 比辜，r 体 艟利l 。 _ _ i 谆1 面 2 系统设计框架 发功能体：经过预处理后的数据中包含数据包的负载信息、负载长度和目的 端(协议类型)。模型分发功能体的作用是根据负载长度和目的端口号(协议类型) 寻对应的模型中，并将负载信息存储到对应的模型中。模型分发部分由抽样模块和 异测模块共用，必须保证处理的高速性。 样模块：本文采用分层抽样算法进行样本抽取，层内抽样采用随机抽样算法， 分略以及确定层内抽样比率的具体实现将在第五章详述。层内抽样模块的作用是根 据的策略抽取样本，将结果送交异常检测模块。 型：经过训练后的系统正常模型形成最终模型。最终模型的每一个二维模型 中的是系统最新的正常分布。在检测阶段，系统的最新模型还会发生变化，根据检 测果以及用户反馈，随时更新最终模型，保持系统的可用性及可适应性。 面：检测结果送入用户界面，形成报警并记录日志。系统希望得到用户反馈， 将结果存储到相应模型中。反馈结果进而提交到抽样模块，用于更新指导层内抽样 的比率。1 ：瀚邈懑黪磬 第四章基于孤立点发现和宁节分布检测的异常检测算法 第四章基于孤立点发现和字节分布检测的异常检测算法 4 1 异常检测模块概述 异常检测部分中，采用孤立点发现和基于字节分布的检测相结合的方法对网络数据 包进行异常检测。从网络数据包中抽取出负载字段作为检测指标，通过判断负载字段的 字节分布是否偏离正常的训练集的分布判定当前检测对象是否属于异常对象。通过孤立 点发现方法计算训练集中的字节分布概率，以及新到对象与训练集的距离。系统架构如 图4 1 所示。 异常检测模块 厂、 二骞弓霞 模 、篓嗲 1 妙l | vi 型 分 量啊 发 新 么立 功 能 体 弓降于孤立点发现的异常检测 圈t 1 异常检测模块架构 在训练阶段，正常的网络数据包通过模块分发功能体分发到与此数据包