（计算机应用技术专业论文）基于gpu的nids多模式匹配的研究.pdf

大连理工人学硕+ 学位论文 摘要 随着高速网络环境的日益普及，传统网络入侵检测系统( n e t w o r ki n t r u s i o nd e t e c t i o n s y s t e m ，n i d s ) 检测海量网络数据报文时普遍存在检测效率不高、处理能力不足及丢包 率较高等瓶颈问题。如何提高n i d s 在高速网络环境中的执行效率，已成为目前网络安 全领域的研究热点问题之一。虽然如今已有针对高速网络环境的较为优秀的网络入侵检 测系统，但大多都是通过使用专门设计的加速硬件来提高检测速度，不但成本昂贵且灵 活性不足，只适用于特殊机构而无法大规模普及和推广。由于近年来，计算机图形处理 器( g r a p h i cp r o c e s s i n gu n i t ，g p u ) 在自身硬件性能上取得了高速发展同时价格相对较 低，其非图形领域的g p u 通用计算( g e n e r a l p u r p o s ec o m p u t i n go ng r a p h i c sp r o c e s s i n g u n i t s ，g p g p u ) 伴随着其日益成熟的可编程工具，使发掘使用g p u 极其可观的并行处 理资源，早已成为国内外学者的研究重点。 该文就是在上述研究背景下，为利用g p u 强大的高性能并行处理能力，结合g p u 自身特殊的体系结构特点，将传统实现于c p u 的w m ( w u m a n b e r ) 多模式匹配算法 做了相应的并行化改造，进而提出了一种基于g p u 的多模式匹配算法，即g p uw m 算 法。经实验验证，本文g p uw m 算法较原算法能够取得较好的加速比。在研究分析了 目前较流行的开源s n o r t 入侵检测系统后，本文的后续工作主要是使用g p uw m 算法 作为s n o r t 检测引擎算法，利用g p u 的高并行处理能力来提高s n o r t 的整体检测速度。 本文先是设计了基于g p u 检测引擎的s n o r t 系统架构，之后为降低s n o r t 所捕获报文从 主机内存到g p u 显存的传输时间消耗对整个系统执行效率的影响，采用了分块分批传 入g p u 的解决方案。因s n o r t 规则库三维链表组织结构较为复杂，目前采用的临时处理 办法是对s n o r t 规则库中的待匹配模式串进行了提取以适用于g p uw m 算法。 经模拟实验测试数据表明，文本的基于g p u 检测引擎s n o r t 系统在处理性能上较原 s n o r t 有一定的提高，同时丢包率取得一定程度上的改善。 关键词：n i d s ；g p u ；多模式匹配算法；s n o r t ；并行化 大连理工人学硕十学位论文 r e s e a r c ho fm u l t i p l e p a t t e r nm a t c h i n gf o rn i d sb a s e do ng p u a b s t r a c t w i t ht h eg r o w i n gp o p u l a r i t yo fh i g h s p e e dn e t w o r ke n v i r o n m e n t ，t h et r a d i t i o n a ln e t w o r k i n t m s i o nd e t e c t i o ns y s t e m s ( n i d s ) h a v ee n c o u n t e r e ds o m eb o t t l e n e c k sw h e n d e t e c t i n gm a s s n e t w o r kd a t ap a c k e t s ，i n c l u d i n gt h el o wd e t e c t i o ne f f i c i e n c y ，l a c ko fp r o c e s s i n gc a p a c i t ya n da h i g h e rr a t eo fp a c k e tl o s sa n ds oo n h o wt oi m p r o v et h ee f f i c i e n c yo fn i d si nh i g h s p e e d n e t w o r ke n v i r o n m e n th a sb e c o m eah o tt o p i co fr e s e a r c h e si nn e t w o r ks e c u r i t y n o w a d a y st h e r e h a v ea k e a d yb e e ns o m ee x c e l l e n tn e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m sf o rh i g h s p e e dn e t w o r k e n v i r o n m e n t h o w e v e r , m o s to ft h e mm a k eu s eo fs p e c i a l l yd e s i g n e da c c e l e r a t i o nh a r d w a r et o i m p r o v et h ed e t e c t i o nr a t e ，w h i c ha r en o to n l yh i g hc o s t sa n di n f l e x i b i l i t y ，b u ta l s oo n l y a p p l i c a b l et os p e c i a li n s t i t u t i o n sa n dn o ts u i t a b l et oal a r g e - s c a l ep o p u l a r i z a t i o na n dp r o m o t i o n i nr e c e n ty e a r s ，c o m p u t e r g r a p h i cp r o c e s s i n gu n i t ( g p u ) h a sm a d e h i g h s p e e dd e v e l o p m e n ti n t h ep e r f o r m a n c eo fi t sh a r d w a r ew h i l et h ec o s ti sr e l a t i v e l yl o w i t sp r o g r a m m a b i l i t yi n n o n g r a p h i c a la r e a ，w h i c hi sc a l l e dg e n e r a l - p u r p o s ec o m p u t i n go ng r a p h i c sp r o c e s s i n gu n i t s ( g p g p u ) ，a l o n gw i t hi t si n c r e a s i n g l ys o p h i s t i c a t e dp r o g r a m m i n gt o o l s ，h a sb e e nu s e dt o e x p l o i t i n gt h ei m m e n s eg p up a r a l l e lp r o c e s s i n gr e s o u r c e s ，w h i c hh a sb e e ns i g n i f i c a n t l y i n t e r e s t e db ym a n yr e s e a r c h e r s w i t ht h i s s t u d y ，t h i sp a p e re x p l o i t st h ep o w e r f u lh i g h - p e r f o r m a n c eg p up a r a l l e l p r o c e s s i n gc a p a b i l i t y ，c o m b i n e dw i t hi t su n i q u ea r c h i t e c t u r e ，t oa c h i e v eap a r a l l e li m p r o v e m e n t o ft h et r a d i t i o n a lw m ( w u - m a n b e r ) m u l t i - p a t t e r nm a t c h i n ga l g o r i t h m ，b a s e do nw h i c h ，a g p u - b a s e dm u l t i p a t t e r nm a t c h i n ga l g o r i t h m ，w h i c hi sg p u w m a l g o r i t h m ，i sp r e s e n t e d b y t h ee x p e r i m e n t a lr e s u l t ，g p u 翼ma l g o r i t h mg a i n sab e t t e rs p e e d u pt h a nt h eo r i g i n a la l g o r i t h m w i t hs t u d ya n da n a l y s i so ft h ec u r r e n t l yp o p u l a ro p e ns o u r c ei n t r u s i o nd e t e c t i o ns y s t e ms n o r t ， t h ef o l l o w i n gw o r ki st ou s eg p unm a l g o r i t h ma ss n o r td e t e c t i o ne n g i n ea l g o r i t h m ，a i m i n g a ti m p r o v i n gt h eo v e r a l ld e t e c t i o nr a t eo fs n o r tb yt a k i n ga d v a n t a g eo fh i g h - g p up a r a l l e l p r o c e s s i n gc a p a b i l i t y t h i sp a p e rf i r s td e s i g n e dt h es n o r ts y s t e ma r c h i t e c t u r eb a s e do ng p u d e t e c t i o ne n g i n e ，a n dt h e ni no r d e rt or e d u c et h et r a n s m i s s i o nt i m eo fc a p t u r e dp a c k e t sf r o m h o s tm e m o r yt og p u ，ad a t ab l o c ki st r a n s m i t t e dt og p ua sab a t c h b e c a u s et h e t h r e e d i m e n s i o n a ll i n k e dl i s ts t r u c t u r eo fs n o r tr u l el i b r a r yi sc o m p l e x ，t h i sp a p e ru s e sa s i m p l i f i e da p p r o a c h ，w h i c h i se x t r a c t i n gt h ep a t t e r ns t r i n g st ob em a t c h e di ns n o r tr u l e sl i b r a r y t oa p p l yt og p u w ma l g o r i t h m 基丁g p u 的n d s 多模式匹配的研究 t h es i m u l a t i o ne x p e r i m e n t sd a t as h o w st h a t ，t h et e x tp r o c e s s i n gp e r f o r m a n c eo ft h eg p u d e t e c t i o ne n g i n eb a s e ds n o r th a sal i t t l eg a i nt h a nt h eo r i g i n a ls n o r t ，a n dw h a t sm o r e ，ac e r t a i n i m p r o v e m e n ti np a c k e tl o s sr a t ei sa c h i e v e d k e yw o r d s ：n i d s ；g p u ；m u l t i - p a t t e r nm a t c h i n g ；s n o r t ；p a r a l l e l m 一 大连理工大学硕士学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题目：j 基毒上砣娑匮幽丛逸奠堕邀奎里盈眨鱼堕驾互边翌一 作者签名： 扯鱼群日期：丑丑年照月j l 日 导师签名：互生立日期：4 年上月上日 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目： 蕴a 鱼它竺鱼型! 窆呈垒盈盎丝型2 鱼蛰叠 作者签名： 氢】蕴簿日期：4 年应月瞧日 大连理工人学硕十学位论文 1 绪论 1 1 研究背景 近些年来，由于网络的日益普及，人们对网络的依赖日益增加，使得网络安全问题 成为世人一直关注的焦点，国外对网络入侵检测的研究热度始终居高不下。自二十世纪 八十年代，国外学者便开始了对入侵检测的研究，最早的当属美国国防部高级研究计划 署对这个领域的资助，同时对入侵检测的研究起着引路的作用。目前，s r f c s l ( s r i 公司计算机科学实验室) 、哥伦比亚大学、加州大学戴维斯分校、普渡大学、洛斯阿拉 莫斯国家实验室、新墨西哥大学等科研机构在这一领域的研究处于前沿的地位。从国外 的研究现状来看，对入侵检测的研究方向已经非常具体，包括了从入侵手段的研究到入 侵数据预处理的研究、从n i d s 产品开发到n i d s 产品的评估，以及对网络入侵检测的 一些标准化问题的研究等等，几乎面面俱到。于此同时，传统的入侵检测模式匹配算法 也已十分成熟。但网络入侵检测的研究却仍滞后于当前网络安全的严峻态势，一直处于 一种无法打开网络安全新局面的境地。互联网登陆我国相对较晚，而且刚开始的时候人 们对它的认识也非常有限，普及面很窄。但是近几年来，由于互联网在我国的推广普及 和相关网络业务的迅速发展，互联网已成为我国重要的信息基础设施，在国民经济建设 中发挥的作用日益重要。据中国互联网信息中心( c h i n ai i l t e m e tn e t w o r ki n f o r m a t i o n c e n t e r ，c n n i c ) 提供的中国互联网发展状况【1 】统计显示，截止到2 0 0 9 年6 月份，我国 网民数量已达到3 3 8 亿人次，互联网普及率达2 5 5 ，i p v 4 地址数达2 0 5 亿，域名总 数达16 2 6 万个，于此同时网络安全也成为关系到我国国家安全和社会稳定的重要因素， 特别是随着3 g 时代的到来，网络安全问题的重要性将更加突出。 1 1 1网络安全问题的严重性 计算机病毒伴随着互联网的发展，从最早脚本语言病毒的充满错误、没有任何隐藏 措施，发展到目前的具有自我复制能力，很强的感染性，一定的潜伏性，特定的触发性 等诸多特点，病毒是越来越复杂，越来越隐蔽，破坏性也越来越大，造成的损失也是传 统的病毒所无法比拟的。同时，由于操作系统、网络协议、应用软件及硬件设备等在设 计和实现过程中的不确定缺陷，不可避免的会存在各种安全漏洞，加上系统配置或使用 上的不当也会造成一定的安全隐患，这些漏洞和隐患都会给恶意攻击者入侵系统提供了 可乘之机。各种人为网络攻击( 如：信息窃取、信息泄漏、计算机病毒、数据删除、数 据篡改等) 恶化了互联网的安全环境，各种传统的静态网络安全措施【2 l ( 如：认证与识 别、数据加密、访问控制、漏洞扫描、防火墙等) 都存在一些无法克服的缺陷( 如：没 基于g p u 的n i d s 多模式匹配的研究 有实时报警及响应能力，被动防御等) ，都已不能满足很好的维护网络安全的需要。据 统计，2 0 0 8 年被调查的单位中有6 2 7 发生过网络安全事件，感染计算机病毒、蠕虫和 木马程序的情况日益增多，同时还伴随着网络攻击、垃圾邮件、端口扫描和网页的恶意 篡改等。近些年来，众所周知的著名计算机病毒包括2 0 0 3 年的“冲击波 病毒 ( w o r m b l a s t e r ) ，其病毒类型为一种蠕虫病毒，利用w i n d o w s 系统的r p c 漏洞进行 肆意传播，对系统端口进行攻击导致系统崩溃。但是因为其隐蔽性更强，更不易察觉等 特点，当时全球至少8 0 的w i n d o w s 用户受此攻击，给当时的经济造成极大的影响。 2 0 0 4 年在互联网上肆虐的“震荡波”病毒( w o r m s a s s e r ) ，是通过w i n d o w s 平台的 l s a s s 漏洞进行传播的一种蠕虫病毒。在2 0 0 7 年，在我国爆发的“熊猫烧香病毒， 使中毒计算机的可行性文件出现“熊猫烧香 图案，并可能出现蓝屏、频繁重启以及系 统硬盘中数据文件被破坏等现象。据悉该病毒感染的范围相当广泛，中毒企业和政府机 构都已超过千家，其中不乏金融、税务、能源等关系到国计民生的重要单位。还有近两 年的“扫荡波”和“母马下载器等病毒，对社会也造成了极其严重的影响。当然，除 了上述这些知名的网络病毒外，其他的病毒及其变种更是不计其数，充斥着整个互联网 络。总体来说，计算机病毒经历了三个时期：转型期、成长期、成熟期。对于目前已进 入成熟期的计算机病毒，现阶段发展的四种主要趋势有： ( 1 ) 网络病毒技术的不断推陈出新。 ( 2 )网络上恶意程序传播方式趋于多样。 ( 3 ) 病毒变种出现快、更新快、自我保护能力强，病毒变种数量成为危害的新标 准。 ( 4 ) 混合型病毒成为了今后病毒发展的主要趋势。 根据中国互联网络信息中心在2 0 0 7 年1 月的第1 9 次中国互联网发展状况统计报告 中的统计数据显示，当时中国1 37 0 0 万网民中仅有8 4 对中国网络的状况比较满意， 也就是说明有9 1 6 的中国网民( 1 25 5 0 万人) 或多或少对网络安全并不满意。国家计 算机网络应急技术处理协调中心( c n c e r t c c ) 于2 0 0 7 中国计算机网络安全应急年会 中便指出，我国公共互联网安全状况令人堪忧，在利益的驱动下，网络安全事件更加有 组织和有目标，隐蔽性和复杂性更强，危害更大，给网络安全保障带来新的更严峻的挑 战【3 】o 1 。1 2 传统入侵检测在高速网络环境下的瓶颈 高速网络入侵检测，即在高速网络环境中的入侵检测，需要在高速网络环境下准确 及时地检测出各种网络安全事件，同时发出预警与响应。但是伴随着整个网络规模与传 人连理丁大学硕十学位论文 输速度的急速增长，如何在高速网络环境和海量的数据中检测出异常行为，成为目前网 络入侵检测领域面临的一大难题。无论在硬件设计还是在入侵检测系统的模式匹配算法 方面，传统的误用检测和异常检测技术都难以满足对如今大规模高速网络实施有效入侵 检测的要求。同时，随着互联网中网络攻击类型和攻击次数的急速增加，网络入侵检测 系统的规则库也随之不断膨胀，以此带来的是规则定义的复杂性也越来越高，这就直接 导致了网络入侵检测系统检测复杂性也迅速提高，进而对其处理能力和执行效率提出了 更高的要求。 1 2 课题研究内容 针对传统入侵检测系统在高速网络环境中的检测效率较低，丢包率严重等问题，本 文结合g p u 通用计算高效并行处理的能力，结合目前应用较为广泛的s n o r t 开源入侵检 测系统设计了一种基于g p u 检测引擎的n i d s 结构框架，以提高对规则库的检测匹配 执行效率，使之更适合在高速网络环境下的入侵检测系统。 本文的研究内容主要包括以下几个方面： ( 1 ) 研究了入侵检测相关理论及目前通用入侵检测系统的基本工作原理和检测模 式。 ( 2 ) 研究并分析了s n o r t 的体系结构、主要模块，通过分析其部分源代码掌握其 具体实现过程并发现其主要瓶颈。 ( 3 ) 研究了g p u 的硬件体系结构和g p u 通用计算的主要技术。 ( 4 ) 利用g p u 开源开发语言b r o o k ，设计和实现了一种用于检测匹配的基于g p u 的多模式匹配算法。 ( 5 ) 设计并实现了基于g p u 检测引擎的s n o r t 系统体系架构。 1 3 论文组织结构 本文共分4 章，其余章节内容组织如下： 第2 章，从入侵检测的相关概念、分类、不足及发展方向的角度进行了阐述，并研 究了目前入侵检测系统的基本工作原理和工作模式，分析了通用入侵检测框架。接着对 本论文涉及的g p u 通用计算，从g p u 的体系结构和主要技术等方向，进行了相关背景 知识的说明介绍。 第3 章，先研究分析了入侵检测中使用的模式匹配算法和g p u 通用计算开发语言 b r o o k 的特点和编程模式。根据g p u 的自身结构特点，选择w u m a n b e r 多模式匹配算 法做并行化改造并加以实现。 基于g p u 的n i d s 多模式匹配的研究 第4 章，结合一款具体的开源入侵检测系统s n o r t ，设计了一种基于g p u 检测引擎 的s n o r t 系统体系架构，并从实现过程分析说明该架构遇到的主要技术问题及解决方式。 结论部分对本文所做主要工作进行了概括，并指出了下步的研究重点。 大连理工大学硕士学位论文 2 相关技术研究介绍 2 1 入侵检测概述 入侵检测是继“防火墙 、“信息加密 等传统计算机安全保护方法之后的新一代 计算机安全保障技术之一。入侵检测系统用来实时监视计算机系统或网络中发生的事 件，通过对其进行检测与分析，以寻找危及机密性、完整性、可用性以及特意绕过安全 机制的各种入侵行为。本节首先给出了入侵及入侵检测的基本概念，并阐明了入侵检测 系统的分类、不足、未来的发展方向和在网络安全领域起到的重要作用，通过分析传统 入侵检测系统的不足表明本文研究的意义。 2 1 1 入侵与入侵检测概念 入侵( i n t r u s i o n ) 是指任何企图危及资源完整性( i n t e g r i t y ) 、机密性( c o n f i d e n t i a l i t y ) 和可用性( a v a i l a b i l i t y ) 的活动1 4 j 。j a m e sp a n d e r s o n 在1 9 8 0 年为美国空军做的有关计 算机安全威胁监控与监视技术的技术报告中，首次将入侵定义为在非授权的情况下，试 图存取信息、处理信息或者破坏系统以使系统不可靠、不可用的故意行为1 5 1 。他的理论 成为了后来研究学者对入侵检测系统设计开发的理论基础。从广义的概念上分析，入侵 不仅包括为取得超出合法权限的系统控制权而进行入侵攻击的黑客，也包括了造成对用 户计算机系统产生危害行为的拒绝服务、收集漏洞信息等恶意行为。网络入侵通常是指 利用特定的计算机程序或工具，发现并利用用户系统漏洞，进而侵入到非授权的组织内 部网络，以获得对其网络资源或内部文件的非法访问行为。 入侵检测( i n t r u s i o nd e t e c t i o n ) ，就是对各种入侵行为的检测发觉。它是通过从网 络或计算机系统中的若干关键点收集信息，并对其进行分析，从中发现网络或系统中是 否有被攻击的迹象或违反安全策略的行为。在1 9 8 7 年，d o r o t h yd e n n i n g 发表了计算机 网络安全领域具有里程碑意义的论文a ni n t r u s i o n d e t e c t i o nm o d e l ) ) 【6 】，至此入侵检测 正式成为该领域学科的一个重要分支。 进行入侵检测的软件和硬件的组合称为入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ， i d s ) 。该系统旨在发现未经授权非法使用计算机系统的个体，或合法访问系统但滥用 了其使用权限的个体 7 1 。1 9 8 8 年，s r l c s l 的t e r e s al u n t 等人改进了d e n n i n g 的入侵 检测模型，并成功开发了一个入侵检测系统。该系统包括了一个专家系统和一个异常检 测器，分别用于基于规则的特征分析检测和统计异常模型的建立，如图2 1 所示。 基t - g p u 的n i d s 多模式匹配的研究 图2 1 入侵检测专家系统( i d e s ) 模型 f i g 2 1 t h em o d e lo fi n t r u s i o nd e t e c t i o ne x p e f ls y s t e m ( i d e s ) 但是互联网络的安全问题真j 下引起学术界和企业等各界高度重视，是始于1 9 8 8 年 的莫里斯蠕虫事件发生之后。在美国空军、国家安全局等共同对空军密码支持中心、劳 伦斯利弗摩尔国家实验室、加州大学戴维斯分校及h a y s t a c k 实验室的资助下，展开了对 分布式入侵检测系统( d i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e m ，d i d s ) 的深入研究，最后， 将基于主机和基于网络的检测方法集成于一体，其总体结构如图2 2 所示。d i d s 是入 侵检测系统历史上的一个具有里程碑意义的标志性产品，其检测模型采用了分层结构， 包括数据、事件、主体、上下文、威胁、安全状态等6 层。 图2 2 分布式入侵检测系统( d i d s ) 的结构 f i g 2 2 d i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e m ( d i d s ) s t r u c t u r e 一6 一 大连理工人学硕+ 学位论文 与其它体系的安全产品不同，入侵检测系统对综合智能分析的要求更高，寻求能将 得到的各种原始网络数据进行检测，并分析反馈有价值的结果。尽管目前入侵检测系统 设备种类多样，但是从其组成功能来看，大致相同。主要由三大模块组成，即原始网络 数据采集、数据分析及检测结果生成响应。 2 1 2 入侵检测系统分类 入侵检测系统可以按不同的方法进行分类，如图2 3 所示。其中，按检测技术、数 据来源、体系结构及时效性进行分类是应用最多的分类方法。 图2 3 入侵检测系统的分类 f i g 2 3 c l a s s i f i c a t i o no fi n t r u s i o nd e t e c t i o ns y s t e m 基y - g p u 的n i d s 多模式匹配的研究 2 1 3 入侵检测系统不足 自入侵检测概念被提出以来的二十多年时间罩，入侵检测技术的发展一直很迅速， 但是从网络安全研究领域来看，伴随着互联网技术和规模的不断成熟与发展，入侵检测 系统从理论技术研究到实际应用等各个方面仍然存在着很多的问题和难点有待进一步 的研究。目前入侵检测系统的不足主要表现如下： ( 1 ) 入侵检测系统实时检测分析处理能力问题 随着不断增大的网络流量对入侵检测的实时性和数据处理性能要求的提升，入侵检 测系统如要达到实时或是准实时的得到报警响应信息的效果，也必须要求能够实时收集 数据并进行分析处理的能力，这也是目前入侵检测系统产品建议采用较好的高端硬件配 置环境的主要原因。但是对于不断增大的网络规模和网络速度，网络入侵检测系统实时 性地检测分析大流量网络数据的能力愈显不足。 ( 2 ) 入侵检测系统体系结构的可扩展性问题 面对大规模网络环境的需要，传统的集中式体系结构已不能满足相应的要求。目前 入侵检测系统体系结构以分布式体系结构作为发展的主要方向。分布式体系结构的入侵 检测系统大多是由几个中央智能代理和大量分布的本地代理组成，其中中央代理负责整 体的分析工作，而本地代理负责处理本地事件。但是如何解决好在大规模网络环境下， 众多代理的组织和协作、处理能力和分析任务的分配及相互之间的通信，都已成为急需 解决的新问题。 ( 3 ) 数据融合问题 数据融合技术之所以被提出运用于入侵检测系统，主要是为了提高目前入侵检测系 统对所负责的网络攻击的检测处理能力，同时也是为了降低误警率。主流入侵检测系统 要从多个异质分布式传感器采集得到各种网络数据流和信息，而通过数据融合技术可以 将这些数据信息做统一的处理，并对整个网络环境的安全性能进行评估。目前入侵检测 数据融合技术面临的主要问题与挑战有： 如何对从自分布在网络各处实体采集来的，具有不同格式的各种相关信息进行 集成与处理。 为描述动态网络攻击行为及网络入侵检测和网络管理的对象，急需开发一种通 用的结构化“元语言 。 面对数据融合技术从理论到实际网络入侵检测系统应用，所面临的各种复杂问 题等。 ( 4 ) 不具备检测出新网络攻击类型的能力 大连理工人学硕十学位论文 该问题也是入侵检测系统当前所面临的紧迫问题之一。从误用检测方法的本质来 看，对那些不曾包含在攻击库中的预定义模式必然无法检测，即决定了其不能检测出“未 发现 的新网络攻击类型。而对于异常检测方法，从其方法自身原理分析，虽然具备了 检测出新类型攻击方式的能力，但是根据目前使用的实际情况，结果并非如此，其原因 如下： 在区分正常活动行为的正常偏差，即j 下常活动的变种行为和异常偏差及攻击活 动上的难度很大。从而导致了即便入侵检测系统已经检查到某些新的攻击类型，但是仍 然不能从j 下常的活动行为中把攻击行为区分出来。 如何制定一个更为准确的全面的正常活动简档，即如何描述合法的活动行为， 难度很高。这就导致了当前异常检测系统会产生非常多的误报。 虽然国内外该领域的一些著名研究机构提出了各种方法途径以检测新的网络攻 击行为类型，但是这些技术仍然处在实验室试验论证阶段，与实用还有相当大的距离。 2 1 4 入侵技术发展方向 入侵检测技术未来的发展方向大致可以总结如下： ( 1 ) 分析技术的改进 入侵检测中分析技术的改进将直接关系到误报和漏报问题的最终解决。当前的入侵 检测分析办法除了有统计分析、模式匹配，还有协议分析、行为分析及数据重组等。从 目前成熟有效的n i d s 产品发展来看，最好是将多种检测技术进行综合使用，而不仅仅 依靠统计分析或模式匹配技术等某一项技术。 ( 2 )内容恢复和网络审计功能的引入 众所周知，基于行为分析是入侵检测的最理想方案。但行为分析技术目前也仅停留 在理论阶段。一些优秀的入侵检测产品将内容恢复和网络审计的功能纳入其体系结构， 取得不俗的入侵检测效果。其中，入侵检测的接入方式对这种类型的系统也十分关键。 基于这种类型的入侵检查系统决定了其网络审计功能不仅可以像防火墙一样记录整个 网络的进出相关信息，还可以同时记录整个网络内部的连接状况，这些特点意味着其体 系结构对那些因内容遗失而无法恢复的加密连接尤其有用。 ( 3 ) 集成网络分析与管理功能 入侵检测虽然主要针对网络上的攻击，但因入侵检测系统可以收到网络中所有网络 数据，这对网络故障的分析和管理具有十分重要的意义。入侵检测从其发展趋势来看， 将逐步采用主动分析方法而不只限于被动分析策略。同时，如何让管理员及时发现某台 基于g p u 的n i d s 多模式匹配的研究 主机出现问题从而能够马上对其进行管理也是其发展方向之一。所以，入侵检测产品将 向着集成网络管理、扫描、嗅探等功能方向发展。 ( 4 ) 安全性和易用性的提高 入侵检测系统既然作为一种安全产品，同时其自身的安全也极为重要。目前的绝大 多数入侵检测产品都采用了特殊的侵入式安全保护硬件，避免自身安全问题。此外，对 其可扩展性、易用性的要求也日益增多。这些特点都是一款良好的入侵检测系统产品应 该具有的功能和以后继续发展优化的趋势。 ( 5 ) 防火墙联动功能 当n i d s 发现攻击后，会自动将警报信息通知给防火墙，防火墙会根据报警信息动 态加载规则采取相应的拦截，这就是防火墙联动功能。目前为止，该功能仍然处于相关 理论的研究探索阶段，其主要的应用是检测像n i m d a 这样带自动传播的攻击，防火墙联 动功能在此情况下将起到积极作用。但是，如何建立一种高效的联动机制而不对防火墙 的稳定性和网络应用造成负面影响，也是未来的研究方向。 ( 6 ) 改进对大数据量的处理方法 随着高速网络环境的逐渐普及推广，大数据量的处理需求日益增加，同时也对入侵 检测系统的检测分析性能有了更高的要求，因而出现了千兆级入侵检测产品也成为必 然。虽然目前的入侵检测产品基本都具备了攻击分析、内容恢复及网络审计等功能，但 是在千兆网络环境下，其存储系统的瓶颈日益明显，也直接制约着入侵检测系统的整体 性能。这种情况下，网络数据分流是一个很好的解决方案，这也是国际上较通用的一种 做法。 2 2 入侵检测系统基本原理与工作模式 2 2 1基本原理 入侵检测系统的基本原理如图2 4 所示。主要分为网络原始数据采集、数据处理、 数据分析和响应处理四个阶段。 ( 1 ) 数据采集 数据采集是入侵检测的基础，目前的网络原始数据主要有网络数据包、主机同志、 应用程序数据、防火墙同志等。通过不同途径采集的数据，自然需要通过采用不同的方 法进行处理。 ( 2 ) 数据处理 大连理工人学硕士学位论文 因为数据采集过程中捕获到的原始网络数据一般数量较为巨大，而且还都存在不同 程度的冗余噪声。为更准确、更全面的分析，需要从原始数据中去除冗余、噪声，并采 取格式化、标准化的数据处理方式。 ( 3 ) 数据分析 通过统计、智能分析算法等方式来分析经过初步处理的原始网络数据，检查在这些 数据中是否存在入侵的过程。 ( 4 ) 响应处理 当数据分析过程发现存在入侵行为时，需要采取相应的措施进行防护，记录入侵证 据并及时通知网络安全管理员。通常的响应措施包括切断网络连接、发送电子邮件或电 话通知管理员等。 图2 4 入侵检测系统的基本原理 f i g 2 4 t h eb a s i cp r i n c i p l e so fi n t r u s i o nd e t e c t i o ns y s t e m 2 2 2 基本工作模式 入侵检测系统的基本工作模式为： ( 1 ) 将系统不同环节产生的信息进行收集。 ( 2 ) 分析该信息以寻找是否存在入侵行为特征。 ( 3 )自动对检测到的入侵行为做出及时响应。 ( 4 ) 记录并报告检测过程中的各种结果。 入侵检测系统的基本工作模式结构图，如图2 5 所示。从图中可以清楚的反映出异 常入侵检测与误用入侵检测其工作模式在检测原理方面的不同。 基- y g p u 的n i d s 多模式匹配的研究 原始数据 图2 5 入侵检测系统的基本：l i 作模式 f i g 2 5 t h eb a s i co p e r a t i n gm o d eo fi n t r u s i o nd e t e c t i o ns y s t e m 2 2 3 通用入侵检测框架 通用入侵检测框架( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ，c i d f ) _ j ，由d a r p a 制定于1 9 9 8 年。该框架是由d e n n i n g 模型【9 】演变而来。之所以能得到广泛的应用，是由 于其包含了已知的各种攻击类型和系统漏洞方面的知识集。通用入侵检测框架将一个入 侵检测系统定义为一系列组件，其中主要包括事件产生器( e b o x ) 、数据分析引擎 ( a b o x ) 、存储机制( d b o x ) 和对抗措施( c b o x ) 。通用入侵检测框架以及框架中 各个组件之间的关系如图2 6 所示。 c b o x 图2 6 入侵检测系统的c i d f 框架 f i g 2 6 t h ec i d ff r a m e w o r ko fi n t r u s i o nd e t e c t i o ns y s t e m 大连理t 大学硕士学位论文 2 3g p u 通用计算研究 g p u 通用计算( g p g p u ) ，随着图形硬件的发展而愈来愈受到通用计算领域研究 学者的关注i l o l 。图形处理器( g r a p h i c sp r o c e s s i n gu n i t ，g p u ) 的概念于1 9 9 9 年由n v i d i a 公司最先提出，并推出具有标志意义的图形处理器g e f o r c e 2 5 6 ，首次在计算机图形 芯片上实现了三维几何变换和光照计算( t r a n s f o r m l i g h t i n g ，t & l ) 。在2 0 0 3 年的 s i g g r a p h 大会，线性代数的数值解法在g p u 上的实现【1 1 】，被认为是g p u 通用计算 的里程碑。从g p u 如今的硬件体系结构来看，流处理以及类似于s i m d 的计算在理论 上是可以通过g p u 来实现的。那么为什么要花那么大力气把原本实现于c p u 上的计算 问题转换为在g p u 上运行? 有两个理由：价格和性能。随着大规模集成电路技术的成 熟与发展，如今只需花几百元人民币就可以买到一块每秒可进行千亿次浮点计算的图形 处理器，同时g p u 的通用计算能力也取得了极大的提高。以前的g p u 主要是针对图形 本身的应用，如光照计算、深度检测、光栅化等。随着图形处理器并行流处理的应用和 可编程性的成熟，越来越多的人开始用其做一些非图形方面的计算，这些计算所涉及的 范围除图形输出流水线的非绘制处理，还包括碰撞检测、几何计算、运动规划、代数运 算、运动规划、优化计算、偏微分方程p d e s ( p a r t i a ld i f f e r e n t i a le q u a t i o n s ) 数值求解 等。结合g p u 自身体系结构的特点，为充分利用g p u 的庞大并行计算能力和存储器带 宽资源，挖掘其非图形方面的通用计算能力，已成为当今计算机领域研究热点之一。 2 3 1g p u 体系结构 众所周知，g p u 采用流水线结构来对图形进行加速处理。而g p u 流水线由顶点着 色( v e r t e xs h a d e r ) 单元和像素着色( p i x e ls h a d e r ) 单元构成，两者皆属处理三维图像 的两个阶段。在g p u 通用计算中，像素着色单元更受开发人员重视。顶点着色单元允 许将一段程序应用于对象中的每个顶点，执行变换、顶点材质以及其它用户制定的单个 项点操作。由于顶点着色单元能够对纹理进行存取，因此顶点引擎连接到与像素着色单 元共享的纹理高速缓存中。同时，顶点高速缓存能够存储顶点处理器前后的顶点数据， 减轻了读取和计算的需求。像素着色单元和纹理共同协作，将一个绘制程序( s h a d e r p r o g r a m ) 独立应用到每一个顶点片段。与顶点处理单元相类似，纹理数据能够利用片 上高速缓存，以减少对宽带的需求并提升了性能。纹理和顶点着色单元能够同时对四个 像素( r g b a ) 进行操作，允许直接应用导数计算来计算纹理的细节等级。而且，像素 着色单元能够同时在上百个像素上应用单指令多数据模型( s i m d ) ，隐藏了片段处理 器的纹理读取延迟，其基本流水线结构，如图2 7 所示。 基丁g p u 的n i d s 多模式匹配的研究 顶点 顶点变换 变换后 的顶点 图冗装配 和光栅化 片段 片段纹理映 射和着色 着色后 的片段 图2 7 图形硬件流水线 f i g 2 7 t h ep i p e l i n eo fg r a p h i c sh a r d w a r e 光栅操作 更新 像素 2 3 2g p g p u 主要技术 针对当前图形处理器的可编程性，其主要技术特点概括起来为： ( 1 ) 在顶点级与片元级具有可编程性，同时支持浮点运算。 ( 2 ) 实现多遍的渲染操作，从而很好的避免了g p u 与c p u 之间的冗余数据交换。 ( 3 ) 可将渲染的结果直接输出为纹理，实现渲染到纹理的功能，省去了纹理的拷 贝过程，使g p u 可通过渲染与纹理进行数据交换。 ( 4 ) g p u 纹理可作内存使用，从而方便数据的索引访问。 随着统一渲染架构时代的到来，主要的g p u 生产商如a