（计算机应用技术专业论文）多核技术在网络入侵检测中的应用研究.pdf

惝1 佻1 删7 1 6 2 5 4 at h e s i sf o rt h ed e g r e eo fm a s t e r i nc o m p u t e ra p p l i e dt e c h n o l o g y r e s e a r c ho nm u l t i c o r et e c h n o l o g yi n n e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m b yl iy o n g q i a n g s u p e r v i s o r ：p r o f e s s o rc h a n g g u i r a n n o r t h e a s t e r nu n i v e r s i t y j u n e2 0 0 9 独创性声明 本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取 的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写 的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同 作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示 ：匕 思。 学位敝储躲巷求坞 日期：；2 o0 7 7 5 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位 论文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印 件和磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文 的全部或部分内容编入有关数据库进行检索、交流。 作者和导师同意网上交流的时间为作者获得学位后： 半年彳一年口一年半口两年口 学位论文作者签名：拿勺之驻) 签字日期： 2 0 0 c 7 ，占 导师虢黜够 导师签名：锄托锡 签字日期：渺令z 移 东北大学硕士学位论文 摘要 多核技术在网络入侵检测中的应用研究 摘要 入侵检测技术能够同时检测来自系统外部和内部的攻击，并对检测到的入侵行为作 出响应。随着网络技术的发展和网络带宽的迅速增长，入侵检测系统的处理速度由于无 法与高速网络带宽相匹配而产生丢包，导致对嵌入在数据包中的入侵行为的漏检，因此 如何提高入侵检测系统处理速度成为当前研究热点。 随着多核技术的出现使处理器能够并行执行多线程，大大增强了数据的处理能力。 针对单个分析检测引擎在网络流量较大时不能及时处理数据而产生丢包的问题，设计了 基于多核的并行多线程网络入侵检测系统结构，该系统有多条并行执行数据分析线程组 成，每个线程包括规则解析、数据包解析、预处理、匹配检测等功能模块。 在系统的规则解析部分借鉴了经典的s n o r t 规则描述语言，这种描述语言简单、灵 活、易于扩展且功能强大，能够描述绝大多数的入侵行为。 数据采集模块中采用了专门为数据监听应用程序设计的开发包w i n p c a p 来实现数据 采集。该开发包中内置的内核层实现的b p f ( b e r k e l e yp a c k e tf i l t e r ) 过滤机制和许多 接口函数，不但能够提高监听部分的效率，也降低了开发的难度。同时w i n p c a p 是从u n i x 平台上的l i b p c a p 移植过来的，它们具有相同的接口，减轻了不同平台上开发网络代理 的难度。 数据分析模块中采用了协议分析技术，利用网络协议的高度规则性快速探测攻击的 存在，有效的提高了数据分析效率，同时还避免了单纯模式匹配带来的误报。作为本文 重点，在该模块中着重讨论了检测引擎中模式匹配的算法，通过对b f 、b m 、k r 等单模 式算法的分析比较与研究，最后设计了适合本系统的并行字符匹配k r 算法，使系统性 能得到了较大的提高。 本系统在多核平台下采用o p e n m p 技术实现，o p e n m p 作为一种基于共享存储系统的 并行编程工业标准，特别适宜于多核c p u 的并行程序设计。 关键词：入侵检测；多核；多线程；o p e n m p ；模式匹配 i i i 一一一一一一一 东北大学硕士学位论文 a b s t r a c t r e s e a r c ho nm u l t i c o r et e c h n o l o g yi nn e t w o r k i n t r u s i o nd e t e c t i o ns y s t e m a bs t r a c t i n t r u s i o nd e t e c t i o ns y s t e mc a l ld e t e c ta t t a c k sf r o mb o t he x t e r n a la n di n t e r n a lo ft h e p r o t e c t e dn e t w o r ka n dr e s p o n d q u i c k l yw h i l e d e t e c ti n t r u s i o n s h o w e v e r , w i t l lt h e d e v e l o p m e n to fn e t w o r kt e c h n o l o g ya n dt h er a p i dg r o w t ho f n e t w o r kb a n d w i d t h , i n t r u s i o n d e t e c t i o ns y s t e mc a nn o tm a t c ht h eh i g h - s p e e dn e t w o r kw h i c hr e s u l t si np a c k e tl o s s t h u s ， a n ya t t a c k se m b e d d e di np a c k e t sc a nn o tb ed e t e c t e db e c a u s eo fp a c k e t j o s s h o wt o e n h a n c i n gt h ep e r f o r m a n c eo fi n t r u s i o nd e t e c t i o ns y s t e mi si m p o r t a n t w i t ht h ed e v e l o p m e n to fm u l t i c o r ep r o c e s s o rt e c h n o l o g y , w h i c he n a b l em u l t i t h r e a d i n g p a r a l l e le x e c u t ea n dg r e a t l ye n h a n c e dd a t ap r o c e s s i n gc a p a b i l i t i e s d u et oas i n g l ee n g i n e a l w a y sl o s tp a c k e t sc a u s e db yl o wp e r f o r m a n c e ，a np a r a l l e l i n t r u s i o nd e t e c t i o ns y s t e m a r c h i t e c t u r eb a s e do nm u l t i - c o r ep r o c e s s o ra n dm u l t i - t h r e a d e di sp r o p o s e d ，n ea r c h i t e c t u r e i n c l u d e dan u m b e ro fp a r a l l e lt h r e a d sw h i c he x e c u t ed a t aa n a l y s i s e a c ht h r e a di n c l u d e dr u l e a n a l y z em o d u l e ，p a c k e ta n a l y s i sm o d u l e ，p r e p r o c e s s i n gm o d u l e ，m a t c h i n gd e t e c t i o nf u n c t i o n m o d u l e i nt h er e g u l a rp a r to ft h en i d s ，t h ec l a s s i c a lr e g u l a rd e s c r i b el a n g u a g eo fs n o r ti su s e d f o rr e f e r e n c e 砥sd e s c r i b el a n g u a g e ，w h i c hi ss i m p l e ，f l e x i b l e , e a s yt oe x p a n d ，a n dp o w e r f u l ， c a l ld e s c r i b em o s ti n v a s i o nb e h a v i o r s i nd a t ac a p t u r em o d u l e ，t h ew i n p c a pt h a te s p e c i a l l yd e s i g n e df o rm o n i t o rd a t ai n a p p l i c a t i o np r o g r a mi su s e df o rc a p t u r en e t w o r kd a t a t h em e c h a n i s mo fb d f f i l t e ra n dal o t o ff u n c t i o nb u i l t i nk e m e ln o to n l yc a ne n h a n c et h em o n i t o re f f i c i e n c yb u ta l s or e d u c e dt h e d i f f i c u l t yo fd e v e l o p m e n t a n db e c a u s et h ew i n p c a pw a st r a n s p l a n t e do v e rf r o ml i b p c a po n u n i xp l a t f o r m ，t h e yh a v et h es a m ei n t e r f a c e ，w h i c hr e d u c e dt h ed i f f i c u l t yo fd e v e l o p i n g n e t w o r ka g e n tp r o g r a mo nd i f f e r e n tp l a t f o r m s i nt h ed a t aa n a l y s i sm o d u l e ，t h ep r o t o c o la n a l y s i st e c h n o l o g yi sa d o p t e d i td e t e c t st h e a t t a c kf a s t ，a c c o r d i n gt ot h es u p e rr e g u l a r i z a t i o no ft h ep r o t o c 0 1 t h u s ，t h ea n a l y s i se f f i c i e n c y i si m p r o v e d ，a n dt h em i s i n f o r m a t i o nb yt h eo n l ys i m p l ep a t t e r nm a t c hi sp r e v e n t e d a st h e k e yp o i n to ft h i st h e s i s ，t h ep a t t e r nm a t c ha l g o r i t h mi nt h ed e t e c te n g i n eh a sb e e nd i s c u s s e d e m p h a t i c a u yi nt h i sm o d u l e b yc o m p a r i n gw i t hs i m p l ep a t t e r nm a t c ha l g o r i t h m ，s u c h 硒b f ， v 东北大学硕士学位论文 a b s t r a c t b m ，k r ，e t c ，a na l g o r i t h mw h i c hi m p r o v et h ep a t t e r nm a t c hk r i n t oc o l l a t e r a lp a t t e r nm a t c h k ra n ds u i t sf o rt h es y s t e mi sf i n a l l yd e s i g n e dt oi m p r o v et h ep e r f o r m a n c eo fs y s t e mg r e a t l y t h i ss y s t e mr e a l i z e d b yo p e r l m p ，o p e n m p s t a n d a r dw h i c hi sa l la p p l i c a t i o n p r o g r a m m i n gi n t e r f a c e ( a p i ) o np a r a l l e lp r o g r a m m i n gm o d e lo fs h a r e dm e m o r y i se s p e c i a l l y r i g h tt op a r a l l e lp r o g r a m m i n go nm u l t i c o r ec p u k e y w o r d s ：i n t r u s i o nd e t e c t i o n ；m u l t i - c o r e ；m u l f i - t h r e a d ；o p e n m p ；p a t t e mm a t e h i n g v i 东北大学硕士学位论文 目录 目录 独创性声明i 摘要i i i a b s t r a c t v 箦、章绪论、 1 1 研究背景1 1 2 研究意义2 1 3 本文的主要工作2 1 4 论文的组织安排3 第2 章入侵检测系统概述5 2 1 入侵检测概念5 2 2 入侵检测历史5 2 3 入侵检测系统的模型及功能6 2 3 1 入侵检测系统模型6 2 3 2 入侵检测系统功能7 2 4 检测系统的分类7 2 4 1 基于主机的入侵检测系统8 2 4 2 基于网络的入侵检测系统8 2 5 入侵检测技术8 2 5 1 误用入侵检测概述9 2 5 2 异常入侵检测概述1 0 2 6 多核技术在网络入侵检测中的应用研究状况1 l 第3 章多核处理器和并行程序设计1 3 3 1 多核处理器概述l3 3 2 并行化编程模型1 4 3 3 基于o p e n m p 的并行程序设计。1 6 3 3 1o p e n m p 概述16 3 3 2o p e n m p 的并行编程模型。1 7 3 3 3o p e n m pc c + + 编程l8 3 4 基于多核处理器多线程并行的入侵检测研究2 1 第4 章系统总体结构2 5 v i i 东北大学硕士学位论文 目录 4 1 基于多核技术的网络入侵检测系统设计思想2 5 4 2 基于多核技术的网络入侵检测系统整体结构2 5 4 3 各个模块介绍一2 6 4 3 1 数据包采集与分配模块2 6 4 3 2 数据包解码模块2 6 4 3 3 预处理模块2 7 4 3 4 规则解析模块2 7 4 3 5 数据包检测与分析模块2 8 4 3 6 响应模块2 8 第5 章基于多核技术的网络入侵检测系统设计与实现2 9 5 1 数据包捕获与分配模块的详细设计2 9 5 1 1w i n p c a p 工具包3 0 5 1 2w i n p c a p 捕获数据包流程分析3 0 5 1 3 数据包分流详细设计3 2 5 2 数据解码模块的详细设计3 3 5 3 预处理模块详细设计3 7 5 4 规则解析模块详细设计3 8 5 4 1 入侵检测规则的设计3 8 5 4 2 数据结构及处理函数4 0 5 5 检测匹配模块4 3 5 5 1b f 算法4 4 5 5 2b m 匹配算法4 4 5 5 3k a r p r a b i n 匹配算法4 6 5 5 4k - r 匹配算法的并行化改进及在多核环境中基于o p e n m p 的实现4 8 第6 章实验测试5 l 6 1 实验方案5l 6 2 测试环境5l 6 3 实验分析5 l 第7 章总结与展望5 5 7 1 总结5 5 7 2 展望5 5 参考文献5 7 致谢5 9 v i i i 拒绝未经授权的用户访问，阻止未经授权的用户存取敏感数据，同时允许合法用户访问 网络资源。但是，防火墙不能防止内部的攻击，因为它只是提供了对网络边缘的防卫。 内部人员可能滥用被给予的访问权，由此导致的事故占了全部事故的一半以上。入侵检 测系统( i d s ：i n t r u s i o nd e t e c t i o ns y s t e m ) 是一种不同于防火墙的主动保护网络资源的网络 安全系统，是防范网络攻击的最后一道防线，是其他安全措施的必要补充，在网络安全 技术中起着不可替代的作用【l 】。 近年来，随着商业化i d s 产品的不断开发，入侵检测系统也逐渐发展普及。但是， 复杂的网络环境和层出不穷的入侵攻击手段，使得当前入侵检测系统普遍存在着较高的 误报率和漏报率，实时检测速度和实际要求也有很大的差距。同时，入侵防御系统( 碑s ) 以及入侵管理系统( i m s ) 等概念的提出也成为i d s 技术新的发展趋势，其功能也进一步加 强和泛化。作为网络安全防护的重要手段，入侵检测在很多方面，特别是入侵分析技术 上有待进一步深入研究。随着网络技术的发展与网络带宽的迅速增长，入侵检测系统也 面临着与高速网络难以适应的问题，如何提高入侵检测系统的处理速度成为入侵检测领 域当前研究的热点。 为了适应高速网络安全的需求，以前的研究工作多集中在用硬件并行化来提高网络 安全的性能，例如a s i c 和f p g a 9 1 但是硬件并行化需要高度定制的程序，这种方式特别 不适宜多样化和日益复杂的分析，在文献 9 】中，作者提出现在是重新考虑用硬件来支持 1 东北大学硕士学位论文第1 章绪论 网络安全应用的时候了。 多年来单处理器性能遵循摩尔定律呈指数级增加，但从2 0 0 2 年开始，处理器的性能 变化曲线开始急速减慢，摩尔定律开始失效，其原因在于传统的提升主频的方法会增加 处理器的功耗和设计复杂度，而高频率所带来的高发热量也会导致芯片运行不稳定，同 时单处理器的设计已经达到了物理极限。为了保持处理器性能继续高速发展，业界推出 了多核处理器技术。多核体系打破了原有的单芯片单处理核心的设计，在同一芯片中融 入了多个处理核心。这种设计大大增强了处理器的处理能力，可以真正实现在单c p u 上 的并行处型6 1 。以多核芯片作为基础硬件平台已经开始成为发展趋势。鉴于这种情况， 本文探索利用多核并行多线程技术解决高速网络环境中入侵检测问题。 1 2 研究意义 随着当前高速网络技术的发展及网络规模的扩大，产生的新问题是网络入侵检测系 统( n i d s ) 计算量大、漏警率高。传统的n i d s 的检测方法是采用串行的方式将每一个网 络包与特征模式库逐条进行匹配，这种方法对于低速网络、攻击模式库小的情况来说，还 是比较有效。但在高速网络环境、攻击模式库大及特殊攻击场景下，传统n i d s 的处理速 度存在很大的瓶颈，造成网络包的处理效率大大下降和过高的漏报率。本文就是基于多核 技术的并行计算设计了一种能有效提高入侵检测效率的并行入侵检测模型，这种模型采 用了通用的处理器，容易推广，有效的维护了内网的安全。 多核处理器系统支持真正意义上的并行执行，多个线程或者进程能够在多个处理器 内核上同时执行，通过多线程并行技术大大提高了处理器的处理能力。可以满足日益增 长的网络安全的应用需求【5 1 。 随着网络数据流量的爆炸式增长，面对主干网动辄百兆，千兆，甚至更高的数据流 量，传统的入侵检测系统的处理能力就显得捉襟见肘了。于是人们开始探索各种提高入 侵检测处理能力的方法，如采用a s i c 硬件处理，多网络处理器等。由于其价格不菲，很 难在资金紧缺而又有入侵检测系统需求的地方普遍采用 9 1 。 与硬件支持的并行化相比，基于通用平台的多核并行化技术为入侵检测提供了更为 灵活更高的性能，更好的综合性和更为智能的解决方法和更为低廉的价格，更适宜推广。 1 3 本文的主要工作 针对目前网络入侵检测系统处理速度与迅速增长的网络带宽不匹配的问题，本文通 过对多核技术的深入研究设计了一个基于多核平台的网络入侵检测系统的体系结构。参 考国外先进入侵检测系统的设计思想，对实验系统模型的构成、各个组成部分的功能进 - 2 - 第四章：对系统结构进行了整体设计，提出了一种基于多核并行多线程入侵检测模 型，根据数据包应用的不同对数据进行分流，对各个模块进行了分析并详细阐述了网络 入侵检测系统的工作流程； 第五章：为系统的详细设计本章首先介绍包捕获模块( w i n p c a p ) 的原理，然后对规 则解析、检测分析模块进行了详细的阐述；在检测分析引擎中，研究了当前流行的匹配 算法b m 和k - r 算法，并对k - r 算法进行了并行化改造使之适合多核平台； 第六章：为实验测试，在测试环境下对设计的并行字符串匹配算法测试并与经典b m 算法的匹配效率进行了对比； 第七章：对全文进行总结并给出下一步工作目标及展望。 - 3 - 4 东北大学硕士学位论文 第2 章入侵检测系统概述 第2 章入侵检测系统概述 入侵检测系统是继“防火墙、“信息加密”等传统安全保护方法之后的新一代安 全保障技术。它监视计算机系统或者网络中发生的事件，并对它们进行分析，以寻找危 机机密性、完全性、可用性、或者绕过安全机制的入侵行为。本章将介绍入侵检测系统。 2 1 入侵检测概念 入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，简称i d s ) ，是用来识别针对计算机系统和 网络系统，或者更广泛意义上的信息系统的非法攻击，包括检测外界非法入侵者的恶意 攻击或试探，以及内部合法用户的超越使用权限的非法行动【2 1 。使用i d s 的目的各有不 同，有的人是对法律方面的事物感兴趣，包括对入侵者的跟踪、定位和起诉，而有些人 使用i d s 是为了保护自己重要的信息资源，还有一些使用者则对发现和纠正系统安全漏 洞更加感兴趣。“入侵 ( i n t r u s i o n ) 是个广义的概念，不仅包括被发起攻击的人( 如恶意的 黑客) 取得超出合法范围的系统控制权，也包括收集漏洞信息，造成拒绝访问等对计算 机系统造成危害的行为。入侵检测( i n t r u s i o nd e t e c t i o n ) ，顾名思义，便是对入侵行为的 发觉。它通过对计算机网络或计算机系统中的若干关键点收集信息并对其进行分析，从 中发现网络或系统中是否有违反安全策略的行为和被攻击的迹象，进行入侵检测的软件 与硬件的组合便是入侵检测系统。与其他安全产品不同的是，入侵检测系统需要更多 的智能，它必须可以将得到的数据进行分析，并得出有用的结果。一个合格的入侵检测 系统能大大的简化管理员的工作，保证网络系统的安全运行。 2 2 入侵检测历史 入侵检测从最初实验室里的研究课题到目前的商业产品，已经具近3 0 多年的发展历 史。 ( 1 ) 概念的诞生 j a m e sp a n d e r s o n 在1 9 8 0 年的4 月，为美国空军做了一份题为计算机安全威胁监控 与监视( c o m p u t e rs e c u r i t yt h r e a t sm o n i t o r i n ga n ds u r v e i l l a n c e ) 的技术报告，在报告中， 他首次提出了入侵检测的概念，将入侵尝试( i n t r u s i o na t t e r n p t ) 或威胁( t h r e a t ) 定义为： 潜在的有预谋未经授权访问信息、操作信息、致使系统不可靠或无法使用的企图【3 1 。在 报告中a n d e r s o n 还提出审计跟踪可应用于监视入侵活动的思想。此文被认为是有关i d s 的最早论述。 ( 2 ) 模型的发展 1 9 8 6 年，乔治敦大学的d o r o t h y d e n n i n g 提出了一个实时的入侵检测系统抽象模型 5 东北大学硕士学位论文 第2 章入侵检测系统概述 - - i d e s ( i n t r u s i o nd e t e c t i o ne x p e r ts y s t e m ，入侵检测专家系统) ，首次将入侵检测的概念 作为一种计算机系统安全防御问题的措施提出。与传统加密和访问控制的常用方法相 比，i d s 是全新的计算机安全措施。她提出的模型由六个部分组成：主体、对象、审计 记录、轮廓特征、异常记录、活动规则。它独立于特定的系统平台、应用环境、系统弱 点以及入侵类型，为构建入侵检测系统提供了一个通用的框架。它是第一个在一个应用 中运用了统计和基于规则两种技术的系统。 1 9 8 8 年，s r i c s l ( s r i 公司计算机科学实验室) 的t e r e s al u n t 等人改进- j d e n n i n g 的 入侵监测模型，并开发出了一个i d e s 。该系统包括一个异常监测器和一个专家系统，分 别用于异常模型的建立和基于规则的特征分析监测。 19 8 9 年，加州大学戴维斯分校学生l t h e b e r l e i n 写了一片论文n e t w o r ks e c u r i t y m o n i t o r ) ) ，该监控器用于捕获t c p i p 分组、检测异构网络中的异常行为，它可以通过在 局域网上主动地监视网络信息流量来追踪可疑的行为，从此就产生了网络入侵检测。 2 3 入侵检测系统的模型及功能 2 3 1 入侵检测系统模型 入侵检测系统的结构模型是f l - t d o r o t h ye d e n n i n g 在1 9 8 7 年最早提出的。d e n n i n g 模 型奠定了入侵检测系统模型的基础，其结构如图2 1 所示【b 1 。 图2 1d e n n i n g 入侵检测系统模型 f i g 2 1i d sm o d e lo fd e n n i n g d e n n i n g 模型由以下6 个主要部分构成： ( 1 ) 主体：在目标系统上活动的实体，如用户。 6 - 不断的提出了更好的适应目前大规模高速网络的体系结构，如使用a g e n t 机制或层次化 的体系结构来实现。 2 3 2 入侵检测系统功能 入侵检测系统作为一种积极主动的安全防护工具，提供了对内部攻击、外部攻击和 误操作的实时防护，在计算机网络和系统受到危害之前进行报警、拦截和响应。一个完 整的入侵检测系统应具有以下功能： ( 1 ) 监视、分析用户和系统的行为； ( 2 ) 检查系统配置和漏洞； ( 3 ) 识别、反映己知进攻的活动模式并向系统管理员报警； ( 4 ) 统计分析异常行为； ( 5 ) 评估系统关键资源和数据文件的完整性； ( 6 ) 操作系统的审计跟踪，并识别用户违反安全策略的行为； ( 7 ) 响应和与其他防护产品的联动。 2 4 检测系统的分类 根据进行入侵检测采用的数据来源不同，入侵检测系统分为基于主机的入侵检测系 - 7 - 东北大学硕士学位论文第2 章入侵检测系统概述 统h i d s ( h o s ti n t r u s i o nd e t e c t i o ns y s t e m ) 和基于网络的入侵检测系统n i d s ( n e t w o r k i n t r u s i o nd e t e c t i o ns y s t e m ) t 2 1 。 2 4 1 基于主机的入侵检测系统 基于主机的入侵检测系统将检测模块驻留在被保护系统上，通过提取被保护系统的 运行数据并进行入侵分析来实现入侵检测的功能。目前基于主机的入侵检测系统很多是 基于主机日志分析，基于主机日志的安全审计，通过分析主机日志来发现入侵行为。它 的主要目的是在事件发生后提供足够的分析来阻止进一步的攻击。 基于主机的入侵检测系统具有检测效率高，分析代价小，分析速度快的特点，能够 迅速并准确地定位入侵者，并可以结合操作系统和应用程序的行为特征对入侵进行进一 步分析。基于主机的入侵检测系统存在的问题是：首先它在一定程度上依赖于系统的可 靠性，它要求系统本身应该具备基本的安全功能并具有合理的设置，然后才能提取入侵 信息：即使进行了正确的设置，对操作系统熟悉的攻击者仍然有可能在入侵行为完成后 及时地将系统日志抹去，从而不被发觉；并且主机的日志能够提供的信息有限，有的入 侵手段和途径不会在日志中有所反映，日志系统对有的入侵行为不能做出正确的响应。 在数据提取的实时性、充分性、可靠性方面基于主机的入侵检测系统不如基于网络的入 侵检测系统。 2 4 2 基于网络的入侵检测系统 基于网络的入侵检测系统根据被监控网络中的数据包内容检测入侵，通过在共享网 段上对通信数据的侦听采集数据，使用原始网络包作为数据源，分析可疑基于s n o r t 的网 络入侵检测系统实现及其改进研究现象，不需要主机提供严格的审计，可以提供对网络 通用的保护而无需顾及异构主机的不同架构【3 】。网络入侵检测系统的优点在于它可以防 止数据包序列和数据包内容的攻击，不会改变服务器等主机的配置，也不会影响系统的 功能；由于网络入侵检测系统不像路由器、防火墙等设备的方式工作，所以它不会成为 系统中的关键路径，它发生故障不会影响到整个网络的运行。它的缺点在于它只检测与 它直接相连接网段的通信，不能检测不同网段的数据包；在交换以太网在环境中就会出 现检测范围的局限；n i d s 通常采用特征检测的方法，对于普通的攻击很容易就检测出 来，但是对于需要大量计算与分析时问的攻击就很难实现。 2 5 入侵检测技术 入侵检测技术虽然可以从不同的角度对其进行分类，但是从实现技术上，一般分为 误用检测技术和异常检测技术。 8 一 东北大学硕士学位论文 第2 章入侵检测系统概述 2 5 1 误用入侵检测概述 误用入侵检测技术是建立在对过去各种己知的网络入侵检测方法和系统缺陷知识 的积累之上，它首先需要建立一个包含上述己知信息的数据库，然后在收集到的网络活 动信息中寻找与数据库项目匹配的信息。当发现符合条件的活动线索后，它就会触发一 个警告，也就是说，任何不符合特定匹配条件的活动都将会被认为是合法和可以接受的， 哪怕其中包含着隐蔽的入侵行为。因此，误用入侵检测具备较高的检测准确性，容易实 现，在目前的大多数网络入侵检测系统中得到了广泛应用，但是它的完整性( 即检测全 部入侵行为的能力) 则取决于数据库的及时更新程度。 误用入侵检测技术在实现上多采用以下几类：专家系统、状态迁移分析、模式匹配 等。 ( 1 ) 模式匹配 模式匹配就是将收集到的信息与己知的网络入侵和系统误用模式数据库进行比较， 从而发现违背安全策略的行为。该过程可以很简单，如通过字符串匹配发现一个简单的 条目或指令，也可以很复杂，如利用形式化的数学表达式来表示安全状态的变化。模式 匹配方法的一大优点是只需收集与入侵相关的数据集合，可以显著减少系统负担，检测 的准确率和效率比较高。 ( 2 ) 状态迁移分析 状态迁移分析方法将攻击表示成一系列被监控的系统状态迁移。攻击模式的状态对 应于系统状态，并具有迁移到另外状态的条件断言。通过弧将连续的状态连接起来表示5 状态改变所需要的事件。允许事件类型被植入到模型，不需同审计记录一一对应。采用 这种方法的系统，有s t a t 和在u n 平台上实现的u s t a t 。攻击模式只能说明事件序列， 因此不能说明更复杂的事件。而且，除了通过植入模型的原始断言，没有通用的方法来 排除攻击模式部分匹配。 ( 3 ) 专家系统 基于专家系统误用入侵检测方法是通过将安全专家的知识表示成i f - - t h e n 规则形 成专家知识库，然后，运用推理算法进行检测入侵。在c l i p s 中，将入侵知识进行编码 表示成i f t h e n 蕴含规则以及根据相应审计跟踪事件的断言事实。编码规则说明攻击的 必需条件作为i f 的组成部分。当规则的左边的全部条件都满足时，规则的右边的动作才 会执行【1 1 。入侵检测专家系统应用的实际问题是要处理大量的数据和依赖于审计跟踪的 次序，其推理方式主要包括根据给定的数据，应用符号推理出入侵的发生情况及根据其 它的入侵证据，进行不确定性推理两种。 9 - 东北大学硕士学位论文第2 章入侵检测系统概述 2 5 2 异常入侵检测概述 异常入侵检测的主要前提条件是入侵性活动作为异常活动的子集。进行异常入侵检 测建立在如下假设基础上：任何一种入侵行为都能由于其偏离正常或者期望的系统和用 户的活动规律而被检测出来。描述j 下常或者合法活动的模型是从对过去各种渠道收集到 的大量历史活动资料的分析中得出来的。入侵检测系统将它与当前的活动情况进行对 比，如果发现当前状态偏离了正常的模型状态，则系统发出警告信号，这就是说，任何 不符合以往活动规律的行为都被视为入侵行为。 因此，异常入侵检测系统的检测完整性很高，但要保证它具备很高的正确性却很困 难。异常入侵检测系统模型如图2 2 所示。 图2 2 异常入侵检测系统模型 f i g 2 2a n o m a l y i n t r u s i o nd e t e c t i o ns y s t e mm o u l d 异常入侵检测技术在实现上多采用统计分析、数据挖掘、神经网络以及计算机免疫 等技术。 ( 1 ) 统计分析 概率统计方法是基于行为的入侵检测中应用最早也是最多的一种方法【3 1 。首先，检 测器根据用户对象的动作为每个用户建立一个用户特征表，通过比较当前特征与己存储 定型的以前特征，从而判断是否是异常行为。用户特征表需要根据审计记录情况不断地 加以更新。用于描述特征的变量类型有：操作密度、审计记录分布、范畴、尺度、数值 尺度。这种方法的优越性在于能应用成熟的概率统计理论。缺点在于统计检测对事件发 生的次序不敏感，可能漏检那些利用彼此关联事件的入侵行为。其次，定义是否入侵的 判断阈值也比较困难。阈值太低则漏检率提高，阈值太高则误检率提高。 ( 2 ) 数据挖掘 数据挖掘，又称数据库中的知识发现，是指从大型数据库或数据仓库中提取隐含的、 未知的、非平凡的及有潜在应用价值的信息或模式，它是数据库研究中一个很有应用价 - 1 0 的入侵检测系统计算量大，将影响其实时性，可以采用和其他技术相结合，来构造入侵 检测系统。 ( 4 ) 计算机免疫 计算机免疫技术f l j f o r r e s t 等人提出【5 1 。当系统的一个关键程序投入使用后，它的运 行情况一般变化不大，与系统用户行为的易变性相比，具有相对的稳定性。因而可以利 用系统进程正常执行轨迹中的系统调用短序列集，来构建系统进程正常执行活动的特征 轮廓【4 1 。由于利用这些关键程序的缺陷进行攻击时，对应的进程必然执行一些不同于正 常执行时的代码分支，因而就会出现关键程序特征轮廓中没有的系统调用短序列。当检 测到特征轮廓中不存在的系统调用序列的量达到某一条件后，就认为被监控的进程正企 图攻击系统。如果能够获得程序运行的所有情况的执行轨迹，那么所得到的程序特征轮 廓将会很好地刻画程序的特征，而基于它的检测系统将会具有低的虚警率。但采用这种 方法，检测不出那些能够利用程序合法活动获取非授权存取的攻击。 2 6 多核技术在网络入侵检测中的应用研究状况 在过去的二十多年星，处理器发展的主流是以中央处理器( c p u ) 的主频提高驱动的， 然而，功耗的问题已经开始限制处理器频率的增长速度，现在的趋势是多核处理器，即 设计具有多个处理器核的芯片，也叫做c m p 或者芯片级多处理器。越来越多的处理器生 产商，女 i i n t e l ，s u n ，i b m 等，已经发布了他们各自的4 个或更多核的芯片。i n t e l 已经开 发了速度极快的工作站专用4 核c o r e 2e x t r e m e 处理器，并宣称5 年后达n 8 0 核。i n t e l 的原 1 1 东北大学硕士学位论文第2 章入侵检测系统概述 型设计使用8 0 个浮点计算核，每个核运行在3 1 6 g h z 。因此，i n t e l 的万亿规模研究所预 想的最终目标，将能够达到在一枚芯片上每秒万亿次浮点运算。显然，多核处理器的发 展给应用程序的开发带来了新挑战。它要求应用程序通过并行的多任务来执行。虽然一 些典型应用基准测试，包括网络，数据库，密码等方面，已经证明性能在多核平台上可 以获得很大的提高，但不是所有的已有应用都能很容易的在多核平台上获得性能提高。 一些软件技术方面的研究试图简化并行应用开发，以获得在高度并行的系统结构下的性 能扩展。除了事务内存技术【3 i 】以外，还有一些关于编译技术和实时环境的研究【3 2 】。但是 这些技术，和从头用一个并行执行模型来重写代码相比效果有限。一些针对应用特点重 写代码的成功例子覆盖了从科学计算阎到多媒体应用【1 7 】的不同领域应用。 在探索提高入侵检测系统的性能方面，前人多利用硬件的并行化来来提高入侵检测 的效率，例如使用a s i c 和f p g a n ，但是a s i c 等硬件缺乏灵活性和难以实现应用层安全 功能。因此，灵活性和性能兼备的多核技术成为最适合网络安全产品的技术。 虽然从硬件的观点看多核为网络安全提供了更强的处理能力，但是为了充分利用多 核处理器的性能我们还有巨大的软件设计挑战。我们的困难不是生产出多核硬件，