（系统工程专业论文）基于协议分析的网络入侵检测技术研究.pdf

西安建筑科技大学硕士论文 基于协议分析的网络入侵检测技术研究 专业：系统工程 研究生：刘艳昌 导师：陈永锋教授 摘要 随着i n t e m e t 技术的迅速发展，网络入侵问题越来越严重。网络入侵检测系统( n i d s ) 作为防火墙的有效补充，近来备受人们青睐。然而，该领域还存在一系列尚未解决的问 题：攻击特征库的自动化构建，变种攻击和未知攻击的检测，针对网络入侵检测系统 自身攻击的检测，网络入侵检测系统的检测速度等。 本论文在总结前人工作的基础上，分析了解决n i d s 问题所使用的技术和方法。 在分析多模式串匹配算法( m p _ b m ) 实现原理的基础上，给出了其设计思路和实现方 法，提出进一步的改进办法，通过改进模式匹配算法来提高检测速度。利用协议分析技 术发现网络中的异常报文，标识出未知攻击，发现攻击者使用的躲避技术和变种攻击。 协议分析包括简单协议分析( s p a ) 和状态协议分析( s 1 湖) a ) ，本论文通过状态协议 分析来解决多步骤攻击这一长期被忽视的问题，解决了单纯的模式匹配算法存在的缺 陷。在分析模式匹配技术和协议分析技术的基础上，提出了模式匹配与协议分析结合的 网络入侵检测模型，给出了该模型的总体结构，及部分模块的实现原理，并且分析了该 模型的优点及其缺陷。 本论文提出的模式匹配与协议分析相结合的网络入侵检测模型，可提高检测速度、 减少系统资源消耗、降低误报率，明显改善系统性能。 关键词：网络安全；入侵检测；协议分析；模式匹配 论文类型：应用研究 l 西安建筑科技大学硕士论文 s t u d i e so nn e t w o r ki n t r u s i o nd e t e c t i o n t e c h n o l o g yb a s e d o np r o t o c o la n a l y s i s s p e c i a l t y ：s y s t e me n g i n e e r i n g n a m e ：l i u y a n c h a n g i n s t r u c t o r ：p r o f c h e uy o n g f e n g a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to f l m e r n e t , n e t w o r ki n t r u s i o ni sb e c o m i n gas e r i o u sp r o b l e m a s av a l u a b l ec o m p l e m e n t a r i t yo ft h ef i r e w a l l ，n e t w o r ki m u s i o nd e t e c t i o ns y s t e m ( n m s ) i s v e r yp o p u l a r h o w e v e r , t h e r ea r es t i l ll o t so fp r o b l e m si nt h i sf i e l d ，s u c ha sh o wt oa u t o m a t e t h ec o n s t r u c t i o no fa t t a c kr u l e s ，h o wt od e t e c ta t t a c kv a r i a t i n n so ru n k n o w t la t t a c k s 。h o wt o r e s i s tt h ea t t a c k sa g a i n s tn i d si t s e l f , a n dh o wt os a t i s f yt h ed e m a n do fh i g hs p e e dd e t e c t i o n a b i l i t yw h e ni tr u b s o uh i g hs p e e dn e t w o r k ，a n ds oo n i nt h i sp a p e r , a c c o r d i n gt oo t h e rr e s e a r c h e r s w o r k , w ee v a l u a t et h e i rw o r kt os o l v et h e s e p r o b l e m st h a ta p p c 缸i nn i d s a n da c c o r d i n gt oa n a l y z i n gp a t t c ma l g o f i t h r ao fm u l t i p l e s t r i n g s ( m pb m ) ，t h i sp a p e rd e s c r i b e sh o wt oi m p l e m e n ti ta n dh o wt om a k ei tw o r kb e t t e li n o r d e rt oi m p r o v et h ep e r f o r m a n c eo f n i d s a n da c c o r d i n gt op r o t o c o la n a l y s i sd e t e c t i o n , i t c a nf l a gt h ea n o m a l yt r a f f i c ，a n dd e t e c ts o m ea t t a c kv a r i a t i o n s 。a n dr e s i s ta t t a c k e r s o b f u s c a t i o na t t e m p t s n l cp r o t o c o l a n a l y s i st e c h n o l o g yi n c l u d e st h es i m p l ep r o t o c o l a n a l y s i s ( s p a ) d e t e c t i o nm e t h o da n ds t a t e f u lp r o t o c o la n a l y z e d ( s t a p a ) d e t e c t i o nm e t h o d a c c o r d i n gt ot h i st e c h n o l o g y , n i d sc i l nd e t e c ta t t a c kt h a ti sp e r f o r m o dt h r o u g hm a n ys t e p s , a n dt h i sp r o b l e mh a sb e e ni g n o r e df o ra l o n gt i m e , a n di ta l s oc a nn l a k eu pt h ed i s f i g u r e m e n t w i t ho n l yp a t t e r nm a t c h a tl a s t , w eg e tan i d sm o d e lc o m b i n i n gp a t t e r nm a t ha n dp r o t o c o l a n a l y s m ，a n dd e s c r i b e st h i sm o d e l st o t a ls t r u c t r r c t h e ne x p l a i n sh o wt oi m p l e m e n ts o m e m o d u l e s ，a n dt h e na n a l y z e st h es u p e r i o r i t yo fs u c ham o d e l o fo o u r s e ，w ea l s op o i n t so u t s o m ed i s f i g u r e m e n to f i t i naw o r d ，t h en i d sm o d e lc o m b i n i n gp a t t e r nm a t ha n dp r o t o c o la n a l y s i st h a tw e p r o p o s ei n t h i sp a p e rc a ni m p r o v et h ed e t e c t i o ns p e e do fn i d s ，a n dr e d u c et h ec o n s u m p t i o no ft h e s y s t e mr e s o u i v , e ，d e c r e a s et h ef r e q u e n c yo fm i s i n f o r m a t i o na n dg e to b v i o u si m p r o v e m e n ti n p e r f o r m a n c e k e yw o r d s ：n e t w o r ks e c u r i t y , i n t r u s i o nd e t e c t i o n , p r o t o c o la n a l y s i s ，p a r e mm a t c h p a p e rt y p e ：a p p l i e dr e s e a r c h n 声明 y9 7 0 5 3 7 本人郑重声明我所呈交的论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含本人或其他人在其它单位已申请 学位或为其他用途使用过的成果。与我一同工作的同志对本研究所做的所有贡献 均已在论文中做了明确的说明并表示了致谢。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 做作者硌铷拖：弓 日期：a 油6 ，6 关于论文使用授权的说明 本人完全了解两安建筑科技大学有关保留、使用学位论文的规定，即：学校 有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 内容和部分内容，可以采用影印、缩印或者其它复制手段保存论文。 ( 保密的论文在论文解密后应遵守此规定) 一一：匈蝎翩虢心爝嗍州盯 注：请将此页附在论文首页。 一 # 。，j 。 j 西安建筑科技大学硕士论文 1 1 论文的研究意义 1 绪论 计算机网络安全是一个国际化问题，全球每年因计算机网络安全原因，而造成的经 济损失达数百亿美元。进入新世纪以来，上述损失将达2 0 0 0 亿美元以上 政府、银行、大企业等机构都有自己的内网资源，从这些组织的网络办公环境可以 看出，行政结构是金字塔型，但是局域网的网络管理却是平面型的。从网络安全的角度 看，当公司的内部系统被入侵、破坏与泄密是一个严重的问题，以及由此引出的更多有 关网络安全的问题都应该引起我们的重视。据统计，全球8 0 以上的入侵来自于内部。 此外，不太自律的员工对网络资源无节制的滥用对企业可能造成巨大损失。 当商户、银行与其他商业、金融机构在电子商务热潮中纷纷进入i n t e r n e t ，以政府 上网为标志的数字政府使国家机关与i n t e r n e t 互联。通过i n t e m e t 实现包括个人、企业与 政府的全社会信息共享己逐步成为现实。随着网络应用范围的不断扩大，对网络的各类 攻击与破坏也与日俱增。无论政府、商务，还是金融、媒体的网站都在不同程度上受到 入侵与破坏。网络安全已成为国家与国防安全的重要组成部分，同时也是国家网络经济 发展的关键。据统计：信息窃贼在过去5 年中以2 5 0 速度增长，9 9 的大公司都发生 过大的入侵事件。世界著名的商业网站，如y a h o o 、b u y 、e b a y 、a m a z o n 、c n n 等都 曾被黑客入侵，造成巨大的经济损失。甚至连专门从事网络安全的r s a 网站也受到黑 客的攻击。 对入侵攻击的检测与防范，保障计算机系统、网络系统及整个信息基础设施的安全 已经成为刻不容缓的重要课题。网络安全是一个系统的概念，有效的安全策略或方案的 制定，是网络信息安全的首要目标。网络安全技术主要有，认证授权、数据加密、访问 控制、安全审计等。 入侵检测系统i d s ( i n t r u s i o nd e t e c t i o ns y s t e m ) 是用来检测对计算机系统和网络系 统，或者更广泛意义上的信息系统的非法攻击的安全措施。因为任何实际的信息系统都 不可能是完全安全的，同时，它们也不可能在其整个生命周期或者每次使用中都始终保 持在百分之百安全的状态之中。更进一步地说，如果我们加上过多特定的安全限制因素 后，这些系统甚至是不可实现的。因此，需要采用入侵检测系统来监测外界非法入侵者 的恶意攻击或试探，以及内部合法用户的超越使用权限的非法行为。研究入侵检测系统 对于网络安全的发展和应用具有重要意义 对入侵检测系统的研究，核心的部分就是对入侵检测技术的研究现在的入侵检测 技术应用最多的是数据包模式匹配检测方法，但此方法已经暴露出很多不足。现在人们 开始探讨协议分析技术在入侵检测中的应用，它是下一代入侵检测系统的关键技术之 一。它可以明显改善入侵检测系统的性能，提高入侵检测系统的应用价值。本论文将在 ， ，。一， - 一 。儿 ， 西安建筑科技大学硕士论文 讨论模式匹配算法的基础上，详细阐述这一技术，提出一个模式匹配与协议分析相结合 的入侵检测系统模型。 1 2 国内外研究状况 1 9 8 0 年，j a m e se a n d e r s o n 第一次系统阐述了入侵检测的概念1 2 0 。他将入侵行为分 为外部渗透、内部渗透和不法行为三种，还提出利用审计数据监视入侵活动的思想，从 此揭开了入侵检测的研究序幕。1 9 8 7 年，d o r o t h ye d e n n i n g 首次提出了实时异常检测 模型1 2 墨l 。1 9 8 8 年，t e r e s al u n t 等改进了d e n n i n g 的入侵检测模型，开发出实时入侵检测 专家系统i d e s ( i n t r u s i o nd e t e c t i o ne x p e r ts y s t e m ) ，并提出了与平台无关的检测思路。 后来，他们又在此基础上开发出了下一代入侵检测专家系统n i d e s ( n e x t - g e n e r a t i o n i n t r u s i o n d e t e c t i o n e x p e r t s y s t e m ) ，在异常检测特征分析方面迈出了重要一步。 1 9 9 0 年是i d s 发展史上的又一分水岭，加州大学戴维斯分校的l - t h e b e r l e i n 等开 发出了网络安全监视器n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 该系统第一次直接将网络流 作为数据来源，以前的i d s 都将主机记录文件作为审计来源，因而可以在不将审计数据 转换成统一格式的情况下监控异种主机。从此以后，i d s 形成两大阵营：基于网络的i d s 和基于主机的i d s 。 自上世纪9 0 年代以来，i d s 研发呈现出百家争鸣的繁荣局面，在智能化和分布式 两个方向取得了很大的进展。1 9 9 4 年，普渡大学的e u g e n eh s p a f f o r d 等推出了适用于 大规模网络的分布式入侵检测系统a a f i d ( a u t o n o m o u s a g e n t sf o ri n t r u s i o nd e t e c t i o n ) 。 1 9 9 6 年，加州大学戴维斯分校开发出g r i d s ( g a p - b a s e di n t r u s i o nd e t e c t i o ns y s m n ) ，将 入侵检测扩展到大型网络中。之后数据挖掘、人工免疫、信息检索、容错等技术也渗透 或融合到了i d s 中，从而将i d s 的发展推向了一个新的高度。 具有代表性的国内外入侵检测系统有以下几个： i i s 公司的r e a l s e e u r e 。r e , s e c u r e 是应用最广的商用入侵检测系统，它将基于 网络的入侵检测和基于主机的入侵检测结合起来，是集成式i d s 的典范，并具有友好的 用户管理接口、易于配置等特点。 n f r 公司的i d a 这是一个灵活、可扩展的通用系统，可同时用来处理网络管理和 安全管理方面的问题。n f r 拥有一个强大的过滤器编程语言n c o d e ，被设计用作检测 引擎。通过使用n - c o d e 语言用户可以把误警率降低到一个可以接受的程度。 c i s c o 公司的n e t r a n g 盯n e t r a n g e r 最大特点是将入侵检测技术集成到c i s c o 公司 的交换机和路由器中，达到了实时的处理速度，检测能力也比较强大，是目前性能最好 的d s 之一。 上海金诺网安入侵检测系统k i d s 它采用了智能检测技术，综合了特征匹配、协 议分析、流量异常监测等技术的特点。在保证检测到已知的最新攻击行为的前提下，通 过协议状态分析的方法，对一些未知的非法入侵行为进行分析、判断，为发现新型入侵 提供了帮助。 2 ，。p，lj m _ 7 。 o 。 j 西安建筑科技大学硕士论文 深圳市安络科技有限公司的网络入侵检测系统一网警( n c t s c n t r y ) ；北京天融信息 网络安全技术有限公司的“冰之眼”网络入侵侦测系统；n e t e y ei d s 2 0 是东软集团有 限公司开发的网络入侵检测系统。 尽管在入侵检测技术领域取得了一些进展，但还存在很多问题。特别是入侵检测技 术方面，大家都在努力寻找更有效的入侵检测手段，把协议分析技术应用到入侵检测技 术中是一个很有效的方法。 1 3 研究内容和目标 本论文的目标是对网络入侵检测技术进行分析，通过分析模式匹配算法和协议分析 技术，构建一个网络入侵检测模型。从而提高网络入侵检测系统的检测效率，减少误报 率和漏报率，并试图解决多步骤攻击l 本论文的研究工作主要包括以下几个方面： 分析模式匹配技术，对m pb m 模式匹配算法进行详细分析，用m a t l a b 进 行模拟仿真，从而得出影响该算法匹配效率的主要因素，进而提出改进办法。 对i p 分段重组、t c p 流还原、u r l 编码、解码问题进行分析，针对h t t p 协 议编码实现了一个h r r p 协议分析器，为模型的实现进行了有益的尝试。 分析协议分析技术，对s p a 检测方法和s t a p a 检测方法进行分析，试图解决 多步骤攻击，并且提高检测效率。 提出一模式匹配与协议分析结合的网络入侵检测系统，给出其总体结构。 1 4 本论文组织结构 本论文是按照下面的结构进行组织论述的： 第二章“入侵检测系统简介”对入侵检测系统的基本知识进行介绍，主要包括： 入侵检测系统的概念、模型、分类及存在的一般性问题。 第三章“模式匹配”分析m p _ b m 模式匹配算法的基本原理，并对其进行实验， 得出影响该算法的主要因素，以及该算法的适用情况，提出进一步的改善办法。 第四章“协议分析”在总结单纯的模式匹配缺陷的基础上，分析协议分析技术， 利用协议分析提高网络入侵检测系统的速度并解决多步骤攻击。介绍了数据包解析的过 程，及用到的技术( 口分段重组、t c p 流还原、u r l 编码、u r l 解码) ，并实现了一个 h r r p 协议分析器。协议分析主要包括简单协议分析( s p a ) 和状态协议分析( s t a p a ) , 分别对其进行分析。 第五章“入侵检测系统模型”该部分给出一模式匹配与协议分析相结合的网络入 侵检测系统模型，并对该模型进行分析 最后结论部分，总结了论文中的主要工作，提出了进步的研究方向。 一 、， j 、 j 。 西安建筑科技大学硕士论文 2 1 基本概念 2 入侵检测系统简介 入侵检测的定义有许多种，其中n i s t ( t h en a t i o n a li n s t i t u t eo fs t a n d a r d sa n d t e c h n o l o g y ) 将入侵检测定义为“通过监控发生在计算机系统或网络中的事件，并对这 些事件进行分析以识别出入侵的过程。入侵是指企图对计算机完整性、保密性、资源可 用性的破坏以及绕过计算机或网络的安全机制的行为”执行入侵检测的计算机系统 ( 软件和硬件的组合) 被称为入侵检测系统( i d s ) 该定义指出了入侵检测的实质是 识别入侵，即对入侵行为和正常行为进行分类。 2 2 入侵检测系统模型及功能 2 2 1 d e n n i n g 模型 d o r o t h yd e n n i n g1 9 8 7 年首先提出了一个通用的入侵检测模型，如图2 1 2 8 】所示。 d e n n i n g 模型奠定了入侵检测系统模型的基础。 图2 1 通用入侵检测系统模型 该模型由以下6 个主要部分构成： 主体：在目标系统上活动的实体，如用户。 对象：系统资源，如文件、设备、命令等的扩展和细化。 4 ； l 西安建筑科技大学硕士论文 审计记录：由 构成 的六元组。活动是主体对目标的操作，对操作系统而言，这些操作包括读、写、 登录、退出等；异常条件是指系统对主体的该活动的异常报告，如违反系统读 写权限；资源使用状况是系统的资源消耗情况，如c p u 、内存使用率等；时 间戮是活动发生时间。 活动简档：用以保存主体正常活动的有关信息，具体实现依赖于检测方法，在 统计方法中从事件数量、频度、资源消耗等方面度量，可以使用方差、马尔可 夫模型等方法实现。 异常记录：由 组成，用以表示异常事件的发生情 况。 活动规则；规则集是检查入侵是否发生的处理引擎，结合活动简档用专家系统 或统计方法等分析接收到的审计记录，调整内部规则或统计信息，在判断有入 侵发生时采取相应的措施。 d e n n i n g 模型的最大缺点在于它没有包含已知系统漏洞或攻击方法的知识，而这些 知识在许多情况下是非常有用的信息。随着网络的发展，人们在d e n n i n g 模型的基础上 不断的提出了更好的适应目前大规模高速网络的体系结构，如使用a g e n t 机制或者层次 化的体系结构来实现。 2 2 2 入侵检测系统基本功能 一个入侵检测系统的基本功能结构图如图2 2 所示，它至少包含数据提取、数据分 析、结果处理三部分功能刎。 卜 数数结 t 卜 i 黼夕 据 数据) 据 事件j 果 提 y 分 v 。 处 取析理 图2 2 基本入侵检测系统功能结构图 数据提取的作用在于为系统提供数据，数据的来源可以是主机上的日志信息、变动 信息，也可以是网络上的数据信息，甚至是流量变化等，这些都可以作为数据源。数据 提取模块在获得数据之后，需要对数据进行简单的处理，如简单的过滤、数据格式的标 准化等，然后将经过处理的数据提交给数据分析模块。数据分析的作用在于对数据进行 深入地分析，发现攻击并根据分析的结果产生事件，传递给结果处理模块数据分析的 方式多种多样，可以简单到对某种行为的计数，如一定时间内某个特定用户登录失败的 次数，或者某种特定类型报文的出现次数，也可以是一个复杂的专家系统，该模块是一 l ， j 、 j 西安建筑科技大学硕士论文 个入侵监测系统的核心。结果处理模块的作用在于告警与反应。 衡量入侵检测系统的两个基本指标是漏报率和误报率。漏报是指一个攻击事件未被 i d s 检测到或被分析人员认为是无害的，而误报是指实际无害的事件却被i d s 检测为攻 击事件。入侵检测的目标是尽可能地减少漏报率和误报率。在产品领域中，可扩展性、 可定制性、易用性等也是需要综合考虑的因素。 2 3 入侵检测系统的分类 2 3 1 主机入侵检测系统和网络入侵检测系统 为了能够准确地检测入侵，我们需要获得目标系统( 即受保护的主机) 活动的可靠 且完全的信息数据。根据获得这些信息数据的途径不同将i d s 分为两类：基于主机的 i d s 和基于网络的d s 。 基于主机的i d s 也叫做主机i d s ( h i d s ) ，通过对主机系统特征和事件日志进行监控 来发现入侵。它利用主机系统特征的途径主要有： 文件系统文件系统的改变，尤其是敏感的、很少修改的文件以及对文件的 非常规访问方式表明有入侵发生。 网络事件1 d s 在网络栈处理了通信数据后、应用层程序处理之前对通信数 据进行解释。这种方法能够非常准确地解释数据，但是对来自于终端用户的攻 击及对网络栈本身的攻击不起作用。 系统调用对主机的内核稍作修改，i d s 可以观察所有的系统调用。 h i d s 需要选择合适的系统特征进行监测。选择时，需要同时考虑数据的内容和容 量以及对操作系统的修改程度等因素。h i d s 最适合于检测那些可以信赖的内部人员的 误用以及成功避开传统的检测方法而渗透到网络内部的活动 基于网络的i d s 也叫网络i d s i d s ) ，监控网络段中的所有通信数据包，识别可疑 的异常活动和包含攻击特征的活功。在广播网络中，将网卡设置为混杂模式，监控整个 网络而不暴露自己的存在。n i d s 能够利用网络数据中的许多特征，比如单个t c p i p 头、 包的内容以及多个包的组合。相对于主机入侵检测系统，基于网络的入侵检测系统有以 下优点： 隐蔽性好通常单独配置一台机器专门用作网络入侵检测探测器，不运行其 他的应用程序，不提供网络服务，因此可以只将网卡设为混杂模式，而不设置 i p 地址，因而在网络上不被其他主机所见，不容易遭受来自网络上的攻击。 预先制止在网络边缘上布置网络i d s 的探测器，能够在攻击者还没能接入 网络时就被发现并制止。 能检测出h i d s 所不能检测到的攻击例如p i n go fd e a t h 通过发送过长c k 6 西安建筑科技大学硕士论文 于6 5 5 3 5 ) 的i p 包使得目标系统崩溃，因此驻留于该崩溃主机上的h i d s 也将 停止工作。而由于n i d s 所监控的包不是发给它所驻留的主机，因此能够检测 出这类攻击。 较少的探测器由于使用一个探测器就可以保护一个共享总线的网段，所以 不需要很多的探测器。相反地，如果基于主机，则在每个主机上都需要一个代 理，这样的话，花费昂贵，而且难于管理。 攻击者不易转移证据网络i d s 使用正在发生的网络通信数据包进行实时检 测，所以攻击者无法转移证据。而许多黑客都熟知审记记录，掌握了通过修改 这些文件来掩盖作案痕迹的方法，从而躲避主机i d s 的检测 正因为这些特点，目前大部分入侵检测系统都被实现成基于网络的方式，本论文的 讨论将针对网络入侵检测系统展开。 2 3 2 误用入侵检测系统和异常入侵检测系统 数据收集到之后，需要对它们进行分析以便确定是否发生入侵。误用检测和异常检 测是两类基本检测技术，相应地，i d s 分为基于异常的i d s 和基于误用的i d s 异常检测以用户和应用程序的正常行为建立基准( b a s e l i n e ) 模型，将与之相偏离的 行为解释成入侵。异常检测基于一个假设入侵能够从正常行为中区别出来。例如， 我们对特定用户的日常活动进行精确建模，如上午1 0 点登录系统，阅读邮件，操作数 据库，中午休息，且很少有文件访问出错等。若i d s 注意到该用户突然在凌晨3 点登 录，并启动编译和调试工具，而且有诸多文件访问错误，那么i d s 将认为是可疑行为 异常检测有许多实现模型统计模型、神经网络。异常检测的优点是可以检测出未 知入侵：通过定义正常行为，i d s 将识别出所有违反该定义的行为。然而，由于实现错 误或正常行为的定义不完全，许多正常使用会产生异常，因此异常检测会有很高的误报 率。基准模型往往在应用环境中通过训练而建成，动态环境中很难进行正常行为的训练， 因此异常检测不适合动态环境的应用。 如何选择合适的训练数据是异常检测的难点。g h o s h e t a l 用随机产生异常行为事件 来训练神经网络( i d s 分析器( a n a l y z e r ) ) 。试验表明，与未接受这种训练的系统相比， 该系统降低了漏报率。一个更理想的解决行为训练问题的方法是让异常i d s 在噪声数据 ( 同时包含正常和异常行为的数据) 中进行训练，去掉了与系统运行环境不同的假设 e l e a z a r e s k i n 用学习概率分布来实现异常i d s 在噪声数据中谢练，该技术用机器学习来 实现。自适应异常系统允许系统随着正常行为的进化而逐渐进化其正常行为模型。l a n e a n db r o d l e y 的机器学习系统就用了这种技术。该系统包含了一个正常事件序列，采用 最近最少用算法( l r u ) 实现新的正常序列替换最近最少发生的序列。白适应技术面临 一个问题，即攻击者将利用i d s 的自适应性，将入侵行为逐渐训练成在i d s 正常行为模 7 西安建筑科技大学硕士论文 型内，从而产生漏报。数据挖掘技术也被借鉴过来，利用数据挖掘中的分类算法来对正 常和异常行为分类。 误用检测基于己知入侵的知识建立攻击特征库，用专家系统来识别入侵。例如，当 有人创建u n i x 统口令文件的符号连接，并执行访问该符号连接的特权应用程序时，i d s 根据对缺乏文件访问检查的漏洞利用攻击的知识，将检测到该入侵行为误用检测准确 率高、误报率低。但是只能检测己知的入侵。 误用检测基于入侵的特征，攻击特征库决定了i d s 所能检测到的入侵范围。攻击 特征库的建立是该项技术的难点。 网络入侵检测系统大多采用误用检测技术，而主机入侵检测系统往往采用异常检测 技术。 一 2 4n i d $ 一般性问题 目前，大部分n i d s 主要采用误用检测技术，比如自由软件s n o r t 、商业软件 r e a l s e c u r e 都是基于入侵特征库的n i d s ：从网段上获得通信包，进行分析，与已经建 立的特征库进行比较来判断是否有入侵并采取相应的措施( 报警或通过) 。因此误用检 测技术所而临的问题也是当前大多数n i d s 产品需要解决的问题攻击特征库的自 动化、变种攻击的检测以及未知攻击的检测。此外，对于n i d s 自身的攻击以及高速网 络中的应用都是在设计n i d s 需要考虑的问题。 2 4 1 攻击特征库的自动化 误用检测依赖一个攻击特征库( 也称为规则集) ，攻击特征库需要人为地构建。在 s n o r t 中，采用尽量降低建立新规则的难度来解决该问题，每条攻击规则为一行，包括 需要检查的特征及其取值范围，然而用这种方法来降低难度是很有限的。人工构建攻击 特征库代价高且易出错，因此，自动构建技术非常有价值。人工免疫系统( a r n s ) 在 此方向上迈出了一步，a r t i s 通过构建一个淋巴细胞集合( 类似于攻击规则) 来检测系 统中的病态( 入侵行为) ，淋巴的特征对应于入侵的特征。a r t i s 连续产生随机特征的 淋巴细胞并分配到各个探测器，通过复制，淋巴细胞将遍布整个系统。淋巴周期性地死 亡，被新的淋巴替代。如果一个特定的淋巴已经被正确地绑定在某一特定事件序列上， 该淋巴得到巩固，被替换的概率降低。检测出攻击的淋巴将被认为是已经被正确绑定的 淋巴。通过这种方式，那些能够有效检测出攻击的淋巴将遍布在系统中。该方法消除了 过多地依赖专家知识的缺点。然而，a r t i s 依然需要人来区分正确绑定的淋巴和没有正 确绑定的淋巴，以便降低误报率。由于淋巴是随机构建的，因此若某种已知的攻击所需 要的特征没有产生的话，则该攻击就不能被检测出来。a r t i s 是牺牲误用检测的一些优 西安建筑科技大学硕士论文 点( 对已知攻击的准确检测和低误报率) 来换取异常检测的优点( 检测新的攻击，且不 依赖于专家来建立规则集) 。 另外一种方法是用异常检测来识别新的攻击，然后再将其编码成规则用于误用检测 系统中。与a r t l s 的区别在于，该方法中新的攻击规则是基于已察觉的异常而不是基 于随机产生的数据，该方法的关键是如何将攻击编码成适当特征的规则。目前，在这个 问题上的研究很少。 2 4 2 变种攻击的检测 在误用检测系统中，由于入侵被编码成专家知识库中的规则，系统通过匹配这些规 则来检测入侵，因此，对来自多个源地址的入侵、攻击方式变化的入侵以及时间跨度大 的入侵很难被误用n i d s 检测到。状态转换分析( s n 盯) 是解决该问题的一种技术。在 s t a t 系统中，攻击被表示成状态转换图：开始状态表示原来的系统状态，中间状态表 示在攻击过程中系统的改变状态，终止状态代表系统受到攻击。对于所有的规则，系统 通过内部数据来指明攻击已经到达哪一个状态由于该数据是全局的，因此独立于导致 该状态转变的实施者，独立于到达新状态的方式，也独立于该转换发生的时间。由于系 统通过监控系统状态的改变而不是监控导致状态改变的动作，所以许多攻的变种都能够 被检测出来。 另一种相似的策略是用着色p e t r i 网( c p n ) 来监控编码过的事件序列。c p n 将攻 击编码成图，这样，对攻击过程的描述将比s t a t 更灵活。用卫士( g u a r d s ) 来定义攻 击特征匹配成功的条件，而不是通过保存数据来表明系统当前和原来的状态。这样做可 以避免如同s b 盯那样易遭受状态耗尽的攻击。然而，c p n 不具有实用性，因为状态的 归一化和匹配过程很耗c p u 时间，复杂度随着状态个数的增加呈指数级增长，而偏序 匹配更是超指数级增长。因此，c p n 易受c p u 耗尽攻击。 2 4 3 未知攻击的检测 入侵特征库是对已知攻击进行建模的结果，尽管特征库可以随着攻击类型的出现而 不断更新。然而，这依然是不够的，因为无法检测到未知攻击类型生物体的免疫系统 除了具有自治性外还有异常检测的特性，能够发现以前没有遇见过的病原体因此，我 们可以利用人工免疫系统来检测未知攻击。1 9 9 4 年s f o r r e s t 等人提出了负选择算法来 发现异常行为，其思想来源于生物免疫系统中t 淋巴细胞用其表面的感受器来发现外来 抗原。生物免疫系统这一过程可以概括为：在产生t 淋巴细胞的阶段，其表面感受器的 生成是基因伪随机重组的过程。接下来对这些生成的t 淋巴细胞进行负选择，即破坏掉 那些对抗自身蛋白质的t 淋巴细胞，留下的t 细胞将遍布整个身体保护生物不受外来抗 9 西安建筑科技大学硕士论文 i l l l l i i 原的侵袭。因此，负选择算法可以抽象成随机产生探测器、去掉检测自身的探测器而保 留检测非自身( n o n s e l f ) 的探测器的过程。随机产生探测器的时间复杂度随着自身( s e l f ) 大小的增加成指数级增长，h e l m a n 和f o r r e s t 后来又提出一个线性复杂度的探测器生成 算法。负选择算法有很好的应用前景，目前在这方面的研究很多。 2 4 4 对n m s 系统自身攻击的抵抗 攻击者对n i d s 自身的攻击是为了让n i d s 不能正常工作，从而攻击者随后发起的 对目标主机的攻击不会被检测出来。 c r a s h 攻击是攻击者通过导致i d s 出错或者耗尽其资源来使得n i d s 不能正常工作， 从而攻击受保护系统。c r a s h 攻击分为两个阶段：首先攻破探测器，然后再对目标系统 发起攻击。例如，对于保存连接状态的n i d s ，攻击者故意向目标网络中发送大量的请 求连接报文导致n i d s 耗尽内存和磁盘空间而失效。假定这种攻击不能够阻止，那么i d s 需要做的就是最小化攻击者成功的机会 b r o 提供了两种机制来减小c r a s h 攻击带来的破坏。一，维护一个定时器，每隔一 段时间检查系统是否依然在分析同一个事件若是，则认为系统受阻塞，并终止这次分 析，这样系统能够继续其他事件的分析。二、脚本能够识别出n i d s 系统是否己经被攻 破。若是，则立刻启动t c p d u m p 记录下b r o 本来想分析的数据，留待事后再分析。但这 些机制都没有提供系统自恢复的功能。 o v e r l o a d 攻击指攻击者通过捏造大量假报文，使得它们进入探测器的事件流来分散 i d s 的注意力，而随后真正的攻击却不被探测器检测到。一种防御策略是当探测器过载 时，采取卸掉一些负荷的方式，例如，在网络流量大部分是h r r p 报文时，探测器可以 停止检查h t i p 报文来减少负荷。然而，攻击者若知道探测器的这一策略，将利用h t t p 包来进行攻击从而躲避检测。 欺骗攻击( s u b t e r f u g e ) 是指攻击者试图误导探测器对数据包意思的理解以躲过 n i d s 的检查而进行的攻击。例如，对于没有实现礤分片重组的n l d s ，攻击者将向目 标主机发送m 分片来躲过i d s 的检测。这类攻击的原理是利用探测器与目标主机对数 据包的不同处理从而达到插入( i n s e r t i o n ) 或逃避( e v a s i o n ) 攻击。 2 4 5 高速网络中的应用 随着网络带宽的加大，网络速度越来越快，g b 网络应用已经很普遍。网络节点越 来越快，能够处理更多的数据，产生更多的日志。这就要求n i d s 处理速度能跟上。目 前主要运用分割事件流和使用网络边界探测点两种方法来确保n i d s 依然能够实时分析 这些数据。 1 0 西安建筑科技大学硕士论文 ! ! ! 目! ! ! ! g s ! ! ! ! ! s ! ! ! ! ! 自! 自! ! ! s ! 自自目! ! ! ! ! ! ! ! ! ! ! ! - 分割事件流是指n i d s 中实现一个类似于切割机的组件，将事件流切割成许多更小 更易操作的流，使得各探测点能够分别对这些小的流进行实时分析，即利用分而治之的 思想该方法要求所有的探测点都可以访问事件流，比较适合集中式系统。然而，如果 事件流被随机切割，攻击特征可能被切割成多个部分，探测点因为得不到足够的数据而 检测不到该攻击。因此，如何对时间流进行切割以确保所有相关的入侵特征都能够被检 测到需要进一步研究。 第二种方法是在网络边界上布置许多探测点。这种方法假定在网络边界上进行数据 分析时，流量可以自然地被分派到边界上的各个探测点上，这些探测点组织成一个高度 分布式结构，如何正确部署探测点的位置以及如何控制和协同这些探测点非常困难。 2 5 小结 本章主要对入侵检测系统的基本概念，模型及其功能进行了介绍，并按数据来源和 检测方法进行了分类，最后讨论了n i d s 中存在的一般性问题。接下来两章将讲述入侵 检测系统的具体实现技术：模式匹配和协议分析。 西安建筑科技大学硕士论文 3 模式匹配 模式匹配技术是入侵检测最基本的检测技术，它是利用已知的漏洞来建立攻击特征 库。检测时，将抓获的网络报文与特征库中每一条特征进行逐字节匹配，匹配成功就认 为发现攻击。系统的检测速度由分析器所采用的检测算法决定，简单匹配算法的时间复 杂度将随着特征库中特征的增加成指数级增长。因此，当特征库很大时，有必要设计高 效的多模式串匹配算法来降低时间复杂度以便能够实时检测攻击。 在单个模式串匹配领域，b o y e r - m o o r e ( 简称b m ) 和k u u t h - m o r i s s p r a t t ( 简称k m p ) 是最著名、最常用的匹配算法。与此相应，目前多模式串匹配算法大都是在这两种著名 算法的基础上扩充而来的，如c o m m e n t z - w a l k e r 算法及s a m - w u 算法等。k m p 算法的 匹配思想决定了其相应的多模式串匹配算法的复杂度最好为o ( n ) ( n 为正文串长度) ，而 在理论上，b m 算法及多模式串匹配扩展算法可以获得小于o ( n ) 的算法复杂度。 把b m 算法思想用于多模式串匹配的困难在于模式串长度不一样，无法根据正文串 的当前字符在多模式串中的最右出现直接确定右向移动的距离，以往的算法( 如s a n - w u 算法) 不能很好地解决这个问题。本论文对模式串长度和b m 算法的原理进行了深入 研究，引入了按右对齐方式标记字符最右出现的方案，提出了多模式串匹配算法 m pb m 。该算法最大的特点能够同时处理多个模式串，且直接处理长度不等的多模式 串匹配，又能获得很高的匹配效率。 我们首先给出串匹配和多串匹配的形式化定义：模式串p 对应序列 p 【l 】p i 】v i m ，其中钢( 1 s f s 所，为特定的字符集合) ，正文串t 对应 序列t 【l 】t 【i 卜t i n ，删( 1 i s 疗，为特定的字符集合) ，串匹配就是在 正文串中找到所有位置j ，使得t d 】t j + m - 1 = p i p 【m 】；多模式串匹配是指存在多个 模式串p i 、p k ，找到所有位置一模式对( i ，q ) ，使得t d 】t i + m - l 】= p q 【1 】p 0 【m 】( m 为模式p a 的长度) 。 3 1 1b m 算法简介 b m 算法最大的特点是引入了自右向左的模式串匹配技术，并把它与哈希技术结合 起来共同提高串匹配的效率。其基本原理是：在正文串中每隔一定距离( 最大为模式串 的长度) 取出一个字符，通过哈希表确定该字符是否在模式串中出现，若出现则进一步 确定在模式串哪个位置出现，由此决定进一步的匹配或移动，否则直接跳过这一段的匹 1 2 西安建筑科技大学硕士论文 配。 移动数组s h i f t 1 s h i f t i | 是b m 算法