（计算机科学与技术专业论文）网络入侵检测系统高速处理技术研究.pdf

国防科学技术大学研究生院学位论文 摘要 随着网络技术和网络应用的飞速发展，层出不穷的网络攻击手段给网络安全带来了严 峻的挑战。在高速网络环境下，传统入侵检测系统处理技术已经不能满足日益增长的数据 量对实时处理能力的需要。 论文重点研究网络入侵检测系统的高速处理技术。论文首先提出了一种适合高速网络 入侵检测系统的高速处理模型，然后针对该模型实现中的快速模式匹配算法、自适应动态 负载均衡以及入侵检测探针的流识别与管理等关键技术展开研究，研究成果已得到成功应 用。 论文系统分析了网络入侵检测系统的体系结构，提出了一种适合高速网络入侵检测系 统的可扩展多级并行处理模型一x m l p p 体系结构模型。该模型把实时要求高、处理相对 规则的处理任务交前端高速专用硬件系统在数据采集时完成；而把处理复杂的任务调度到 后端由多个入侵检测探针并行完成。x m l p p 体系结构模型可扩展性好、可靠性高，大大 提高了系统整体性能，能较好地适应高速网络的入侵检测的需求。 针对高速网络入侵检测中模式匹配存在的性能问题，论文提出一种基于t c a m 的快 速模式匹配算法_ t f p m 算法。该算法通过对待匹配字符串进行模式前缀h a s h 检查， 过滤掉不存在匹配可能的字符串，只使用t c a m 并行查找存在匹配前缀的字符串，有效 地降低了t c a m 查找次数。该算法使用多队列虚拟鉴别技术，并行检查多个报文，在隐 藏访问延时的同时提高了t c a m 的利用率。为支持多规则复合的复杂报文分类，论文设 计并实现了专用模式匹配指令集，与t f p m 算法相结合，可支持多规则复杂报文分类， 增强了模式匹配的报文分类能力。算法实现复杂度低，可满足高速网络基于内容的复杂报 文分类要求。 针对x m l p p 模型中的负载分配问题，论文提出了一种面向会话的自适应负载均衡方法 m s f 自适应负载均衡算法。该算法基于i p 报文头多域分类方法，使用静态流表对流 量进行划分，结合动态调整t c p 流数目最少流束( 具有相同h a s h 值的流的集合) 的方法， 能够在保持各处理节点间报文级和位流级负载均衡的同时，维持网络会话的完整性。由于 算法在保持负载均衡的同时保证了会话完整性，能够确保入侵检测探针正确解析所接收报 文的语义，适合于在高速网络入侵检测中使用。 针对入侵检测探针中流识别与管理存在的问题，论文提出了一种具有良好h a s h 性能 的c r c 2 0 算法。基于该算法，采用基于硬件实现的动态报文存储方法，论文提出了实现 高速报文流识别与管理方法。理论分析和模拟结果表明，该方法的计算复杂性低、访存性 能好，适合高速网络链路中的流管理应用。 最后，论文应用上述研究成果实现了一个基于宏流水体系结构的高速网络数据采集与 预处理系统，该系统既可应用于高速入侵检测，也可应用于高速网络安全监控和网络测量 等方面。论文主要成果已成为某高速网络入侵检测系统系列设备的重要组成部分，从2 0 0 5 第i 页 国防科学技术大学研究生院学位论文 年开始，系统得到广泛应用，在高速网络入侵检测和网络管理等领域发挥了重要作用。 关键字：高速网络、入侵检测、多级并行处理、模式匹配、自适应负载均衡 第i i 页 国防科学技术大学研究生院学位论文 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to ft h en e t w o r kt e c h n o l o g i e sa n da p p l i c a t i o n s ，m o r ea n dm o r e n e t w o r ka t t a c kt e c h n i q u e sb r i n gas e r i o u sc h a l l e n g et ot h en e t w o r ks e c u r i t y i nt h el a r g e s c a l e h i g h - t r a f f i cn e t w o r ke n v i r o n m e n t , t h et r a d i t i o n a lt e c h n o l o g i e sf o rn e t w o r k - - b a s e di n t r u s i o n d e t e c t i o ns y s t e m s ( n i d s ) c a nn o ts a t i s f yt h en e e d sf o rr e a l t i m ep r o c e s s i n go ft h eg r o w i n g n e t w o r kt r a f f i c i nt h ed i s s e r t a t i o nw ed e e p l ys t u d yt h eh a r d w a r e b a s e d a c c e l e r a t i n gt e c h n i q u e s f o r h i g h - s p e e dn e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m s w ef i r s tp r o p o s ean o v e la r c h i t e c t u r a lm o d e l f o rn i d s ，a n dt h e nc o n d u c tr e s e a r c ho nt h ek e yt e c h n i q u e so ft h i sm o d e l ，i n c l u d i n gf a s tp a a e m m a t c h i n ga l g o r i t h m s ，a d a p t i v el o a d b a l a n c i n g ，a n df l o wi d e n t i f i c a t i o na n dm a n a g e m e n tf o r n i d sp r o b e s t h em a i nc o n t r i b u t i o n so ft h ed i s s e r t a t i o na r ea sf o l l o w s ： ( 1 ) w ef i r s ts y s t e m a t i c a l l ya n a l y z et h ea r c h i t e c t u r eo fn i d s ，a n dp r o p o s ean o v e l x m l p p ( e x t e n s i b l em u l t i - l e v e lp a r a l l e lp r o c e s s i n gm o d e l ) f o rh i g h - s p e e dn i d s i nt h e x m l p pm o d e l ，t h es i m p l e ，p e r i o d i ct a s k sw h i c hr e q u i r eh i g hp r o c e s s i n gs p e e da r ep r o c e s s e di n t h es p e c i a l l yd e s i g n e dh a r d w a r ew i t hh i 曲s p e e dd u r i n gd a t aa c q u i s i t i o n , a n dt h er e l a t i v e l y c o m p l e xt a s k sa r es c h e d u l e dt ot h eh i g h - p e r f o r m a n c e ，b a c k - e n dp r o b e s t h ex m l p p m o d e lc a n h e l pi m p r o v et h es y s t e mp e r f o r m a n c ea n de n h a n c et h es y s t e mr e l i a b i l i t y , w h i c ha r ev e r y i m p o r t a n tf o rh i g h - s p e e dn i d s ( 2 ) t oi m p r o v et h ep e r f o r m a n c eo fp a a e mm a t c h i n gi nh i 曲- s p e e dn i d s ，an o v e l t c a m - b a s e df a s tp a t t e r nm a t c h i n ga l g o r i t h m , t f p mi sp r o p o s e di nt h i sp a p e r t h ea l g o r i t h m r e d u c e st h en u m b e ro ft c a mm a t c h i n go p e r a t i o n sg r e a t l yb yp r e - f i l t e r i n gt h es t r i n gu s i n g p a t t e mp r e f i xm a t c h i n g b ym e a n so fm u l t i p l ev i r t u a lq u e u e sf o ri d e n t i f i c a t i o n , t h i sa l g o r i t h m s i g n i f i c a n t l yi m p r o v e st h ep e r f o r m a n c eo fp a t t e r nm a t c h i n g t os u p p o r tc o n t e n t - b a s e d m u l t i - r u l e s p a c k e tc l a s s i f i c a t i o n , w ed e s i g na n di m p l e m e n tas p e c i a lp a r e mm a t c h i n g i n s t r u c t i o ns e t t h i si n s t r u c t i o ns e tc a nb eu s e dt o g e t h e rw i t ht f p ma l g o r i t h mt os u p p o r t c o m p l e xm u l t i - r u l e sp a c k e tc l a s s i f i c a t i o na n di m p r o v et h ep a c k e tc l a s s i f i c a t i o na b i l i t yo f p a r e mm a t c h i n g t h et f p ma l g o r i t h mi se a s yt ob ei m p l e m e n t e d 、析mh a r d w a r ea n ds a t i s f i e s t h en e e df o rc o n t e n t - b a s e dc o m p l e xp a c k e tc l a s s i f i c a t i o ni nh i 曲- s p e e dn e t w o r k s ( 3 ) a i m i n ga tt h e l o a d b a l a n c i n gp r o b l e mi nh i g hs p e e dn i d s ，w ep r o p o s em s f ( m i n i m u ms e s s i o nn u m b e rf i r s t ) ，as e s s i o n - o r i e n t e da d a p t i v el o a db a l a n c i n ga l g o r i t h m w i t h c o n s i d e r a t i o no fl o a d b a l a n c i n go fb o t hp a c k e t l e v e la n db i t l e v e l ，t h em s fa l g o r i t h m d y n a m i c a l l ys c h e d u l e st h eo b j e c t sb a s e do nt h es e s s i o nn u m b e ri nt h ef l o w b u n d l e s t h i s a l g o r i t h mm a i n t a i n st h ei n t e g r i t yo ft h es e s s i o n s ，a n de n s u r e st h a tt h en i d sc a i lc o r r e c t l y u n d e r s t a n dt h es e m a n t i c so ft h er e c e i v e dp a c k e t s 第i i i 页 国防科学技术大学研究生院学位论文 ( 4 ) a i m i n ga tt h ep r o b l e mi nt h ef l o wi d e n t i f i c a t i o na n dm a n a g e m e mo fn i d sp r o b e s ， w ep r o p o s ec r c 2 0 ，a l le f f e c t i v eh a s ha l g o r i t h m b a s e do nt h ec r c 2 0a l g o r i t h m , w e d y n a m i c a l l ys t o r et h er e c e i v e dp a c k e t sb ym e a n so fh a r d w a r e ，a n dr e a l i z et h ei d e n t i f i c a t i o na n d m a n a g e m e n to fh i g hs p e e dp a c k e tf l o w s t h e o r e t i c a la n a l y s i sa n de x t e n s i v es i m u l a t i o n sp r o v e t h a tt h ea l g o r i t h mh a sg o o dc o m p u t a t i o n a lc o m p l e x i t ya n d m e m o 巧一a c c e s sp e r f o r m a n c e ，a n di s s u i t a b l ef o rf l o wm a n a g e m e n ti nh i g hs p e e dn e t w o r k s a tl a s t ，b a s e do nt h ea b o v et e c h n i q u e sw es t u d yt h ei m p l e m e n t a t i o no far e a ls y s t e mw h i c h i sm a c r o - p i p e l i n e d - a r c h i t e c t u r e - b a s e dw i t hi n t e g r a t e dh i g hs p e e dn e t w o r kd a t ac o l l e c t i o na n d p r e - p r o c e s s i n gs y s t e m t h es y s t e mc a p t u r e sp a c k e t sf r o mh i g h s p e e dl i n k sa n dc o m p l e t e st h e p r e p r o c e s s i n gs u c ha sp a c k e tc l a s s i f i c a t i o n ，f i l t e r i n g ，c o n t e n ti n s p e c t i o n ，a n ds oo n t h es y s t e m e f f i c i e n t l ya t t e n u a t e st h en e t w o r kt r a f f i c ，r e d u c e st h ew o r k l o a do fb a c k e n dp r o c e s s i n gp r o b e s ， a n di m p r o v e st h ep e r f o r m a n c eo f n i d s a sah a r d w a r e - b a s e da c c e l e r a t i n gp r o c e s s i n gp l a t f o r m , t h i ss y s t e mc a l lb eu s e dn o to n l yi n h i g h s p e e dn i d s ，b u ta l s o i nh i g h - s p e e dn e t w o r ks e c u r i t ym o n i t o r i n g ，n e t w o r kb e h a v i o r a n a l y s i sa n dn e t w o r km e a s u r e m e n le t c c u r r e n t l yt h i ss y s t e mp l a y sa ni m p o r t a n tr o l ei nt h e f i e l do fs e c u r i t ym a n a g e m e n ta n dn e t w o r km a n a g e m e n t k e yw o r d s ：h i g h s p e e dn e t w o r k , i n t r u s i o nd e t e c t i o n ，m u l t i - l e v e lp a r a l l e lp r o c e s s i n g ， p a t t e r nm a t c h i n g ，a d a p t i v el o a db a l a n c i n g 第i v 页 国防科学技术大学研究生院学位论文 表2 1 表3 1 表3 2 表4 1 表5 1 表5 2 表5 - 3 表5 4 表5 5 表 表 表 表 表6 4 表6 5 表6 6 表6 7 表6 8 表6 9 表目录 不同算法的时空复杂度1 7 不同硬件实现方法的模式匹配性能比较2 9 不同k 值条件下的存储性能比较3 9 四种算法的实现策略和内部参数设置5 2 不同哈希算法的计算复杂性以及哈希性能5 9 测试t r a c e 的基本流量特性统计5 9 不同超时机制下最大冲突深度6 0 f c t 的表项6 4 f s t 表表项的含义“ 流处理框架的主要数据结构及其开销6 7 各功能部件计算延时与处理结果长度7 2 基于时间槽轮转的t c a m 访问带宽分配技术7 6 规则分段分解实例7 8 指令格式8 l 并行转发引擎的指令系统8 1 l o a d 指令的指令格式8 2 s e q u 指令的指令格式8 3 a n d 指令的指令格式8 3 指令系统的寄存器8 4 第v 页 国防科学技术大学研究生院学位论文 图目录 图1 1 入侵检测的执行时间变化6 图2 1入侵检测系统的c i d f 框架。1 1 图2 2基于c i d f 框架实现的n i d s 层次式处理模型12 图2 3高速n i d s 层次式处理模型1 4 图2 4 新型n i d sx m l p p 模型及实现参考1 5 图2 5高速n i d sx m l p p 模型的模块化实现2 l 图2 6 网络流量采集与预处理系统其内部结构框图2 1 图3 1 基于h a s h 优化的模式匹配算法2 4 图3 2 字节分解多有限自动机模式匹配的实现2 5 图3 3 基于b l o o mf i l t e r 的物理自动机的实现框架2 7 图3 4 基于字节比较器的模式匹配算法2 8 图3 5h a s h 鉴别器的物理实现3 0 图3 6 虚拟h a s h 鉴别器及其实现31 图3 7 基于t c a m 匹配失败的优化方法3 2 图3 8c h e c k l i s t 表的生成算法3 4 图3 9h a s h 鉴别器的增强预处理过程3 4 图3 10t f p m 算法描述3 5 图3 1 1t f p m 算法的模式匹配过程3 6 图3 1 2 不同概率下的h a s h 鉴别的移动距离3 7 图3 1 3 不同鉴别窗口长度下t c a m 访问概率3 8 图3 1 4 不同概率下的链路扫描速度3 8 图3 1 5 鉴别窗口长度及不同概率下的链路扫描速度3 9 图4 1i b m 自适应负载分配调度器框图4 2 图4 2s m 动态负载分配器逻辑框图4 2 图4 3并行处理结构下的通用负载分配模型4 3 图4 4 自适应负载分配调度器框图4 7 图4 5基于反馈控制的负载均衡方法4 8 图4 6 调度对象选定算法4 9 图4 7m s f 算法的伪代码51 图4 8 报文负载均衡度比较5 2 图4 9 位流负载均衡度比较5 2 图4 10 重映射破坏度比较图5 3 图4 1 l 会话完整性破坏度比较图。5 3 第v i i 页 国防科学技术大学研究生院学位论文 图5 1 图5 2 图5 3 图5 4 图5 5 图5 6 图5 7 图5 8 图6 1 图6 2 图6 3 图6 4 图6 5 图6 6 图6 7 图6 8 图6 9 图6 1 0 图6 1 1 图6 1 2 图6 1 3 不同流超时机制下的冲突比例比较一6 0 不同超时机制下的平均访存次数比较6 1 不同流下面的冲突比例比较一6 1 流管理方法模型。6 2 流管理的主要数据结构6 3 报文缓冲区的组织6 5 流识别算法6 6 基于c a c h e 的f f t 的空闲流i d 池实现方式6 7 高速数据采集与预处理系统结构框图6 9 数据采集与预处理系统功能分系统的报文处理过程7 0 高速功能处理分系统宏流水结构框图7 1 规则自学习反馈技术实现框图7 3 报文分类过滤引擎的实现框图7 5 内容搜索功能实现方案7 6 基于t f p m 算法的并行内容检查引擎7 7 t c a m 模式匹配扫描过程7 9 基于数据驱动的内容检查引擎指令系统8 0 多模式并行入侵检测系统指令系统的结构8 l 寄存器的生命周期8 4 负载分配引擎实现框图8 6 高速数据采集与预处理系统的应用8 7 第v i i i 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特另0 加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意 学位论文题目：圈鳖厶堡拴型丕统直逮矬堡燕苤叠究 学位论文作者签名： 霆塾二络 ： 日期：弦7 年，f 月沙日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书。) 学位论文题目：圈终堡拴趔丕统壶董矬垄挂苤盈究 学位论文作者签名：弪塾二骛 作者指导教师签名：- 7 啵 日期：扮7 年，月日 日期：。7 年月伽日 国防科学技术大学研究生院学位论文 第一章绪论 随着计算机和网络通信技术的飞速发展，计算机网络得到了日益广泛和深入的应用， 特别是互联网作为社会基础设施的功能表现得日益明显，已经深深地渗透到人类社会的政 治、经济、文化和生活等各个方面。 然而，随着i n t e r a c t 网络规模的迅速扩张和应用的不断深入，网络安全却成为越来越 严重的社会问题。由于设计和实现过程中的缺陷，操作系统、网络协议、应用软件和硬件 设备等设计中不可避免地会存在安全漏洞；同时，系统配置或使用不当也会造成一定的安 全隐患。在主要依靠用户自律的i n t e m e t 中，这些漏洞和隐患都为恶意攻击者采用非正常 手段入侵系统提供了可乘之机。随着互联网技术和应用的不断发展，各种人为网络攻击( 例 如信息泄漏、信息窃取、数据篡改、数据删添、计算机病毒等) 恶化了互联网的安全环境 【l 捌，给国家安全、社会稳定、经济发展、个人隐私及安全等带来了极大危害。各种传统 的静态网络安全措施【3 】( 如数据加密、认证与识别、漏洞扫描、访问控制和防火墙等) 具 有一些无法克服的缺陷( 如被动防御，没有实时报警以及响应能力等) ，已经不能满足维 护网络安全的需要。 入侵检测技术是近三十年来出现的一种主动保护计算机免受入侵者攻击的新型网络 安全技术。它一般在线地分析系统的审计数据或者网络中传输的报文，当发现有入侵企图 或入侵行为的时候，及时向网络管理员报告，管理员会采取一定的响应措施，如断开连接、 防止错误数据蔓延、向入侵者发出警告等来维护系统安全。入侵检测技术能够提供对内部 攻击、外部攻击和误操作的实时检测，是网络安全技术极其重要的组成部分。 随着网络技术的发展，性能的提高，高速网络入侵检测系统的功能将越来越丰富、技 术会越来越复杂。高速网络环境下入侵检测技术研究的理论和实用价值凸显，已成为了国 际上网络安全领域亟待解决的前沿课题，相关理论和技术的突破对网络入侵检测、行为分 析和内容检查等强化网络管理和控制的应用有着重大意义。 1 1 入侵检测及入侵检测系统 1 1 1 入侵检测的基本概念 入侵( i n t r u s i o n ) 是指任何企图危及资源完整性( i n t e g r i t y ) 、机密性( c o n f i d e n t i a l i t y ) 和可用性( a v a i l a b i l i t y ) 的活动嗍。j a m e sa n d e r s o n 将入侵定义为潜在、有预谋、未经授 权地访问或操作信息，导致系统不可靠或无法使用的行为吲。因此，入侵不仅包括发起攻 击的人( 如恶意的黑客) 取得超出合法范围的系统控制权，也包括收集漏洞信息，造成拒 绝访问( d e n i a lo f s e r v i c e ) 等对计算机系统造成危害的行为。而入侵者可以分为两类：外 第1 页 国防科学技术大学研究生院学位论文 部入侵者( 一般指系统中的非法用户，如常说的黑客) 和内部入侵者( 有越权使用系统资 源行为的合法用户) 。 入侵检测( i n t r u s i o nd e t e c t i o n ) 的目标是通过检查操作系统的审计数据或网络数据包 信息来检测系统中违背安全策略或危及系统安全的行为或活动，从而保护信息系统的资源 不受拒绝服务攻击、防止系统数据的泄漏、篡改和破坏。1 9 8 7 年，d o r o t h yd e n n i n g 发表 了具有里程碑意义的论文“a ni n t r u s i o n d e t e c t i o nm o d e l 6 】”，入侵检测从此正式成为一个 学科分支。关于入侵检测技术的研究，涉及到计算机、网络和信息安全等多个领域的知识， 目前，最基本的入侵检测方法主要是基于己知入侵行为模式、基于通信业务分析以及基于 系统状态( 或行为) 统计异常性的检测。 1 1 2 入侵检测系统 入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ) 就是能够通过分析系统安全相关数据来检 测入侵活动的系统。虽然不同的入侵检测系统设备有不同的设计，但一般而言，其组成在 功能上大致相同，主要由原始数据采集、数据分析和检测结果生成与响应三大功能模块组 成。 d o r o t h yd e n n i n g 在1 9 8 6 年首次提出入侵检测系统抽象模型1 6 l 一异常检测专家系 统模型，利用系统的审计记录，检测系统中的非正常活动。d e n n i n g 为构建入侵检测系统 提供了一个通用框架。基于d e n n i n g 模型实现的入侵检测系统多采用基于规则的模式匹配 算法，在系统登录、程序执行以及文件存取时通过审计与主体特征的匹配程度来检测入侵 攻击或资源滥用。这种设计模型在许多早期入侵检测系统中得到了广泛的应用，如首次提 出异常检测概念的w & s ( w i s d o m s e n s e ) 系统1 7 j ；首次采用网络流做为审计数据来源的 n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 系统【8 1 ；具有良好扩展性的分布式入侵检测系统d i d s ( d i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e m ) 9 , 1 0 】；为解决入侵检测系统的可扩展性而提出的 g r i d s ( g r a p h b a s e di n t r u s i o nd e t e c t i o ns y s t e m ) 系统l l l j 等等。这些系统在当时的网络安 全环境下对入侵检测的发展做出了重要贡献。 根据检测环境不同，i d s 一般分为基于主机的i d s ( h o s t b a s e di n t r u s i o nd e t e c t i o n s y s t e m ，h i d s ) 和基于网络的i d s ( n e t w o r k b a s e di n t r u s i o nd e t e c t i o ns y s t e m ，n i d s ) 。 基于主机的i d s 一般侧重于对主机的系统日志和审计数据等信息进行分析，由于它对操 作系统的依赖程度比较大，目前已经不是研究的重点。n i d s 则侧重于对网络流量进行分 析，即通过对网络传输的报文进行分析来检测各种网络攻击或用户异常行为。本文主要研 究n i d s ，无特殊说明外，全文所讨论的入侵检测系统均指n i d s 。 n i d s 的主要工作原理是通过对网络链路上传输的报文进行分析检测，从中获得网络 安全的相关信息，其中分析检测是n i d s 的核心，是影响n i d s 性能的最重要因素。 基于攻击特征的检测和基于异常的检测是两种基本的基于网络的入侵检测方法。基于 第2 页 国防科学技术大学研究生院学位论文 攻击特征的方法采用模式匹配技术，具有扩展性好、检测效率高、误报率低和检测实时性 好等特点，被目前多数商用入侵检测产品所采用。著名的开源网络入侵检测工具软件 s n o r t 1 2 , 1 3 就是采用这种方法。但该方法只能适用于比较简单的攻击方式，对未知攻击的 检测效果有限，而且入侵模式库必须不断更新，给系统的维护管理带来困难。 由于上述缺陷，具有抵御未知类型攻击能力的基于异常检测的网络入侵检测技术逐渐 成为研究热点。统计方法是异常检测的最早也是最主要的方法，该方法的优点是可检测到 未知的入侵和更为复杂的入侵；缺点是误报、漏报率高，且不能适应用户正常行为的突然 改变。 随着网络规模的不断扩大和入侵行为的日益复杂，各种新的分析检测方法不断涌现。 例如美国新墨西哥( n e wm e x i c o ) 大学和奥德赛研究联合公司( o d y s s e yr e s e a r c h a s s o c i a t e si n c ) 都试图采用免疫学方法进行大规模网络的安全研究【1 4 , 1 5 】。该方法在入侵检 测中借鉴生物免疫学中的反向选择机制，通过免疫学习构建有效检测器，它不会将正常数 据信息误判为危险数据；借鉴生物免疫学中的克隆选择机制，不断淘汰无用检测器，保留 可以经常检测到入侵行为的检测器。基于免疫学方法的入侵检测技术可以改善已经存在的 入侵检测系统，并设计出更好的入侵检测系统。又如美国卡内基梅隆大学、普渡大学、哥 伦比亚大学、加州大学戴维斯分校( u cd a v i s ) 和北卡罗莱那州微电子中心( m c n c ) 等 都在进行新的异常检测技术研究，这些研究采用包括数据挖掘、神经元网络、可能性图分 析、代价分析、元学习、特征发现、统计等不同的技术。然而上述研究还处于初级阶段， 特别是由于误报率较高影响了实际的推广和使用。 n i d s 的响应动作使其从单纯的检测系统提高到可对攻击做出反应的完整系统。入侵 检测的响应可以分为两大类：主动响应和被动响应。主动响应是指不通过管理员直接对被 攻击的目标系统采取有针对性的保护动作。被动响应不直接对被攻击的目标系统采取有针 对性的保护动作，而是以消息、告警等形式通知管理控制中心，由控制人员根据自己的经 验知识确定采取什么样的处理动作。 由于被动响应完全依赖人工处理，效率较低，因此人们开始对主动响应技术进行研究， 研究主要集中在新的响应方法和攻击源追踪方法。新的响应方法有将攻击者隔离到一个无 害且可观测到的受控环境 1 6 , 1 7 1 ( 如蜜罐) 或自动阻断攻击【1 8 】等。由于主动响应不仅开销 较大，而且还可能因为误判而中断用户的正常行为，因此，主动响应研究主要转向入侵追 踪技术的研究，即快速、准确地发现攻击者的真实地址和传输路径，或对其做出尽可能真 实的定位1 9 2 0 ，2 1 2 2 ，2 3 1 。 需要注意的是，响应方式的选择需根据n i d s 设计和使用方式因地制宜地进行，并根 据攻击检测的误报率、漏报率，以及入侵检测的位置等因素综合决定。特别是随着链路速 度的提高，高速n i d s 检测到的攻击事件在数量上可能非常庞大，如果选择的响应方式不 合适，会导致真正有价值的攻击信息被淹没在众多非紧迫告警信息中，从而失去入侵检测 的意义。 第3 页 国防科学技术大学研究生院学位论文 总之，经过近3 0 年的发展，入侵检测已经发展成为一种主动保护计算机免受入侵者 攻击的有效网络安全防护技术，各种商用及开源入侵检测系统在维护网络安全、打击网络 犯罪方面发挥着重要作用。 1 2 高速网络入侵检测技术发展 据不完全统计，各种基于i p 的业务每年以5 0 3 0 0 的速率增长，目前国际上互联 网主干链路带宽每6 - - 9 个月翻一番。1 9 9 9 年，美国的s u p e r n e t 实验型i n t e m e t 主干网在 波士顿和华盛顿特区之间建立了第一条超过g b p s 的主干线路( 2 5 g b p s ) 。到2 0 0 5 年，中 国各主要i s p 的i n t e m e t 主干链路速率已经从o c 3 s t m 1 ( 1 5 5 m ) 全面升级到了 o c 4 8 s t m 1 6 ( 2 5 g ) 或o c 1 9 2 s t m 6 4 ( 1 0 g ) 2 4 j ，预计2 0 0 8 年国内运营商将开始部 署o c 7 6 8 s t m 1 9 2 ( 4 0 g ) 的网络。 由此可见，网络带宽的增长速度远远高于c p u 和内存处理性能的增长速度。因此， 依靠纯软件的处理方式已经难以满足高速网络安全管理的需求。网络入侵检测必须应对执 行时间缩短和处理复杂性提高带来的双重挑战。 1 2 1 基于通用计算机系统的入侵检测系统 入侵检测系统从功能上讲，一般由采集器、分析器和管理器三大部分组成，分别完成 数据采集、事件分析处理和应急响应等功能，最初的入侵检测系统大多基于通用计算机系 统实现，数据分析处理由计算机软件完成。为了提高数据采集和处理速度，人们在实现上 采用了多种先进技术减少软件开销，提高数据处理速率。 采用零拷贝技术【2 引，基于d m a 支持，实现报文直接在应用程序用户缓冲区与网络接 口之间传输，提高了数据传输处理速度，减少了对c p u 资源的占用。 通过优化入侵检测规则表示及存储等数据结构，进一步减少软件开销，提高入侵检测 系统性能。例如：可根据网络流量的局部性和突发性特点，动态调整入侵检测规则的存储 结构，使用类似c a c h e 机制将当前活跃规则动态调整到规则队列前面，以加快匹配速度。 挖掘入侵检测数据处理的内在并行性，充分利用高性能处理器的多线程支持，基于并 行处理技术，提高系统性能，例如，可将规则按照协议分组分类，每种协议使用一个线程， 多线程并行工作，提高了入侵检测处理速度。 但是，基于通用计算机系统实现的入侵检测系统，一是性能价格比低，二是软件开销 成为性能瓶颈，处理能力越来越不能适应g b 级以上的高速网络入侵检测的需求，针对网 络入侵检测应用特点，设计专门定制的高速网络入侵检测系统成为主流 第4 页 国防科学技术大学研究生院学位论文 1 2 2 基于专门定制硬件支持的专用入侵检测系统 国外许多公司及研究机构针对网络入侵检测特点先后研发出多种专用定制高性能硬 件设备，来实现入侵检测中的高速网络流量截取、高速报文分类和大带宽高效数据存储等 功能断 2 7 , 2 8 , 2 9 1 。这些专用定制设备以较低的成本有效地提高了入侵检测处理中的捕包、报 文分类过滤和数据存储等性能。例如，e n d a c e 公司研制的n i n j a p r o b e 系列网络数据流捕 获设备2 6 1 以及n i n j a b o x 网络检测平台【2 7 ，2 引，使用专用报文分类引擎和硬件解码工具，具 有硬件全线速报文过滤和捕获能力。基于n i n j a b o x 平台实现的s n o r t 入侵检测系统，具有 2 5 g b p s 的入侵检测处理性能。又如s o l e r a 网络设备公司的旗舰捕获工具d s 4 5 0 0 系列设 备1 2 9 1 ，具有1 0 g b p s 链路接1 2 1 ，能够实时捕获并无损地存储不超过5 g b p s 的网络流量。美 国交换机公司t o p l a y e r 研制出i p 数据流侦听设备产品，以其在硬件上的优势，可以对 2 5 g b p s 以上的网络数据流实现实时侦听采集。韩国的下一代网络流量