（电子科学与技术专业论文）基于马尔可夫链的网络异常检测系统研究与实现.pdf

国防科学技术人学研究生院i ：程硕士学位论文 a b s t r a c t i h d i t i o n a lr n i s u s em t r u s i o nd e t e c t i o nt e c l l l l i q u ei so n co fs e c u r i t ya s s u r a i l c e t e c l l i l o l o gy b u tt h en e t 、v o r ki n t m s i o nd e t e c t i o ns y s t e md o e sn o ta c c o m m o d a t et 1 1 en e w e n v j 王d 砌e n to fn e “v o r kw i 乞ht l l ei n c r e a s eo fn e m r o r kt r a 硒c ，a 1 0 n 2w i t hf h e d e v e l o p m e n to f i n t r t l s i o nt e c h n i q u ea l l dt l l ed e v e l o p m e n to f n e “v o r ki n m j s i o nt e c l r 曲u e b r i n g st h cn e wa n a c k s i no r d e rt or e s o i v et h ep r o b l e mo fl o wa c c u r a c y c o m p u t i n g o v e r h e a da n dt h eh i 曲f a l s en e g a t i v ep r o b a b i l i t yt h a tt h ec u r r e n td e t e c t i o nt e c h n o i o g y s u f f b r e d ，t h ep m t o c o lm i s l l a g ed e t e c t i o nb e c o m e so n eo ft l l er e s e a r c hf i e l d s i nt l l e d e v e l o p m e d to f n e 押o r ki n t r u s i o nd e t e c t i o n f i r s to fa l l ，t 王l i s p 印e ri n 们d u c em em a r k o vc h a i nt h e o 啦a r e ra 1 1 a l y i n gm e s p e c i f i c a t i o n so fh t _ r p ，s m t b f t p ，t e l n e ta n dt c p w ek n o wt h et c ps e s s i o ni sf i t f o rm em a r k o vp r o c e s s i nt h i sp a p e w e 锄a l y z et l l em m s i t i o n sb e t w e e ns t a t e so ft l l e a p p l i c a t i o nl a y e rw i n lt h cn o m a lt c pt 涵c ，锄db l l i l da 咖o lm i s u s a g ed e t c c t i o n m o d e lw i mt h en o 咖a lt r a 插ci i ln 气礁d a t as e t w bd or e s e a r c ho nt h et r a n s i t i o n s b e t w e e ns t a t e so f 玳船m r kp d t o c o l ，m ep i 咖o il l l i s u 强g ed e t e c 五o n 刚e lh l s e do n m a r k o vc h a i l l ，m e 丘a i i l e w o r ko fm ei d st e c l l l l o l o g ya i l dp m t o c o l 柚o n l l i t ya f l e rw e d i s c u s st l l ec u r r e n tt e c h n o l o g y t h em i nr e s e 疵hc o n t e n t so ft h j s p a p e ri n c i u d e ： r c s e a r c ho n 位m s i t i o n sb e t w e e ns t a t e so fn e t w o r kp r o t o c o l 柚ds e s s i o np r o c e s s ，p m t o c o l m i s u a g ea n dt h ea n o m a l yd e t e c t i o nm o d e lb a s e do nm a r k o vc h a i n ，t h er e s e a r c ho f i n t m s i o nd 印t i o nf r l r n e w o r k ，m o r ca c c u r a t e l ym o d e lb a s e do nt 1 1 ec h a r a c t e r i s t i co ft l l e n e t 、v o r kt r a 硒ca n ds oo n t h e n ，t h ep 印e rp r e s e n tap r o t o c 0 1m i s u s a g ei d si na p p l i c a t i o n l a y e rb a s e do nm a r k o vc h a i n ，a n do b t a i nt i l ef o l l o 埘n gr c s u l t sa f t e rt e s t ：t h es y s t e mc a i l h a v eg o o de 丘h t i o no nd e t e c t i n gt l i ep m b ep a c k e t ，d o sa ka i l dn o v e l t ya t t a c k t h e s y s t e i i lc 锄o v e r c o m ep a no f d i 鞠d v 锄t a g 鹊i i l 像i d 硒伽l a li m m s i o nd e t e c t i o n 口或咖，觚d a d 印tr e q u i 帕m c n t s 、v i md i 盛r e n tn e 撕o r k n ee x p c m e n ts h o w st h a tt h es y s t e mc a i l i m p r o v et l l ed e t c c t i o na c c u r a c yf a f e ，r c d u c et h e 脚s en e g a t i v e sp r o b 曲i l i 够 t h er e s e a r c hw o r ko ft h j sd i s s e r t a t i o ni ss l l p p o r t e db yp r e - r e s e a r c hp r o j e c t ，a n d l e r e s u l to f f b r sm e s u p p o r tf o rt 董l ed e v e i o p m to f t l l ep r o j e c t k e y w o r d s ：a 1 1 0 m a l yd c t e c t i o n ，m a r k o vc h a i n ，t m n s i t i o n sb 咖e e ns 诅t e s ，p m t o c o l a b n o m l i t y 第1 i 页 国防科学技术大学研究生院程硕十学位论文 表目录 表3 1t c p 原始标志位排列19 表3 2 调整后的t c p 标志位排列1 9 表3 3t c p 正常状态部分量化值2 0 表3 4 建模所使用的数据源、会话数和数据大小2 2 表5 1d a 砌) a 数据测试结果5 1 表5 2 模拟数据测试结果5 1 表5 3 实际网络数据测试结果5 l 表5 _ 4h t t p 和s m t p 不同阈值测试结果5 3 第1 v 页 鬯堕型主垫查盔兰业堑竺坚：! 矍婴：! 堂生堡奎 图目录 图1 11 9 8 8 2 0 0 3 年的安全事件数变化情况1 图1 2p p d r 模垂! 2 图2 1 入侵检测系统c i d f 框架7 图2 2 入侵检测工作过程1 0 图3 1t c p 状态转换图1 8 图3 2 会话过程量化值表示2 3 图3 3 模型训练过程2 3 图3 4h t t p 状态转换模型2 4 图3 5s m t p 状态转换模型2 6 图3 6f t p 状态转换模型2 7 图3 7t e l n e t 状态转换模型2 8 图3 8t c p 状态转换模型2 9 图4 1 基于网络的入侵检测系统模型3 2 图4 2 协议异常检测系统框架3 2 图4 3 捕包引擎示意图3 4 图4 4b p f 模型及其接口3 5 图4 5 捕包引擎实现框图3 6 图4 6 数据分流器结构图3 6 图4 7 协议识别实现流程3 8 图4 8 会话重组模块结构图3 9 图4 ，9 应用层会话重组过程4 l 图4 1 0 协议异常检测模块结构图4 3 图5 1 正常的h 丁r p 会话输出和含5 个攻击的 r r r p 会话输出4 8 图5 2 正常的f t p 会话、含4 个攻击酶异常f t p 会话和含3 个攻击的异常f t p 会 舌输出4 9 图5 3 正常t c p 会话和含5 个攻击的t c p 异常会话的输出5 0 第v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意j 学位论文题目：兰璺筮马去蛰壁! 虱碴盈缝拉邀蜢篮缉复查垒熟 学位论文作者签名：望堕叠日期：州，年，1 月咖日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阋；可以将学位论文的全部或部分内容编入有关数据库进行检索 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书) 学位论文题目：盔丝筮五麦垫煎国矗量盔擅 趔禾殛盈望墨窟礁 学位论文作者签名： 作者指导教师签名： 日期：x 西年，月，) 日 日期：，吐j 舜m 丹蝎 国防科学技术大学研究生院t 程硕士学位论文 第一章绪论 1 1 课题背景 从上个世纪九十年代以来，i n t e m e t 得到了迅猛的发展，各种商业机构及政府 部门纷纷接入h l t e m e t ，并提供各种各样的网络应用服务，逐步实现了全球范围的 信息共享。网络信息系统在经济、政治、国防等各个领域发挥越来越大作用的同 时也成了社会生活不可或缺的手段。由信息系统带来的网络安全已经成为国家与 国防安全的重要组成部分。互联网是一种开放的技术，但也是一把双刃剑，它在 提供信息共享并给我们带来极大便利的同时，其安全问题也日益突出。计算机紧 急情况响应小组c e r t ( c o m p u t e re m e r g e n c yr e s p o n s et e 锄) 的统计数字显示： 自从1 9 8 8 年的“莫里斯蠕虫”事件以来，随着互联网的发展，安全事件数量不断 上升，尤其是近几年，出现了成倍增长的急剧上升趋势。图1 1 “反映了这一变化。 1 8l w ，l l w ii zi ) l 孵4i 朔，i 吩6l 卵7i w sl 删硼j 【，删l2 【啦2 ( x ) 3 图1 1 1 9 8 耻2 0 0 3 年的安全事件数变化情况 针对日益严重的网络安全问题和越来越突出的安全需求，在上世纪九十年代 中期人们提出p p d r ( p o l i c yp m t e c t i o nd c t e c t i o nr e s p o n s e ) 网络安全理论模型，并 成为指导网络信息安全研究和实现的一个重要标准，如图1 2 所示。它的基本思 想是：以安全策略为核心，通过一致性检查、流量统计、异常分析、模式匹配以 及基于主机、网络的入侵检测等方法进行安全检查。检测使系统从静态防护变为 动态防护，为系统快速响应提供依据。 第l 页 勰裟勰一。 国防科学技术人学研究生院r 程硕十学位论文 图l ，ip p d r 模型 p p d r 模型包含4 个主要部分组成：安全策略( p o l i c y ) 、防护( p r a t e c t i o n ) 、 检测( d e t e c t i o n ) 和响应( r e s p o n s e ) 。p p d r 模型是在整体安全策略的控制和指 导下，在综合运用防护工具( 如防火墙、身份认证、加密等) 的同时，利用检测 工具了解和评估系统的安全状态，通过适当的响应将系统调整到“最安全”和“风 险最低”的状态。防护、检测和响应组成了一个完整、动态的安全循环。在该模 型中检测是非常重要的一个环节。入侵检测技术是p p d r 模型中核心技术之一。 它是继防火墙、数据加密等传统安全保护措施之后的一种安全保障技术。 在高速骨干网络环境下。传统的网络入侵检测技术面临着越来越多的挑战。 首先是将高速网络的数据包全部截获下来因流量的飞速增长而益发显得困难，其 次入侵检测系统在处理能力上滞后于流量的发展。耳前国内对高速网络环境下的 网络入侵检测系统研究仍处于起步阶段。通常从以下几方面来解决高速环境下的 网络入侵检测问题：一是降低分析的复杂度，如减少待匹配的攻击特征数量；二 是寻找与研究更加有效的检测分析方法，或提高己有分析方法的效率；三是改变 原有网络入侵检测系统的处理方法，如尽量采用硬件的方法等；四是改变原有单 机入侵检测的缺陷，采用机群进行多机负载均衡，协同处理等技术。如何在不丢 数据包的情况下进行实时检测、如何调整网络入侵检测的软硬件体系结构、如何 降低系统的检测开销、如何提高入侵检测的准确率等成了我们迫切需要解决的问 题。 基于模式匹配的n i d s ( n e t 、v o r ki n t m s i o nd e t e c t i o ns y s t e m ) 产品可以精确地检 测出已知的攻击。通过不断升级的特征库，n i d s 可以在比较短的时问内捡测到入 侵者的攻击行为。但事实上，至少存在以下因素使得协议异常检测技术得到人们 的日益重视：( 1 ) 厂商从提取某个攻击特征到最终用户的n i d s 产品升级需要段 时间，在这段时间内，基于特征检测的n i d s 产品无法检测到新的攻击。( 2 ) 来自 z e r o d a v 或未公开使用的隐蔽攻击即使是安全厂商往往也无法第一时间获得攻击 特征，这样n i d s 就无法检测这类具有高风险的攻击行为。( 3 ) 随着各种条件的具 备，网络蠕虫可以在短短的数十分钟内就可席卷全球，即使是最优秀的厂商也不 能够这么短的时间内完成对其的发现和检测。而建立在协议分析基础上的n i d s 产 品，能够发现任何违背协议规范后，均可视为协议异常。协议异常一个重要的用 第2 页 国防科学技术人学研究生院：【程硕士学位论文 途是检测未知的攻击、网络扫描探测和拒绝服务攻击等行为。作为一项发展中的 技术，协议异常检测具有很高的检测准确率和检测性能的优势。 1 2 主要研究内容、目的及意义 如上所述，虽然入侵检测系统取得了很大的发展，但是还没有完全到达成熟 的境界，本文选择基于网络异常检测的入侵检测技术作为研究课题，对在高速骨 干网络上进行入侵检测开展进一步的讨论、研究和实现。文章围绕有效分析应用 层的网络协议状态、如何基于马尔可夫链建立协议异常检测模型、如何实现高度 可扩展的入侵检测体系结构以适应不同的网络环境要求等几个问题，提出了通用 的基于马尔可夫链的网络协议异常检测模型和框架。在此基础上设计并实现了检 测系统，并采用各种数据进行测试，获得分析结果，使得检测系统具有实用意义。 本文首先对马尔可夫链进行了探讨分析，然后对t c p 协议的会话过程进行了 分析，得出t c p 会话过程就是一个马尔可夫过程。在对应用层 m 、s m t p 、f t p 和t e l n e t 协议进行r f c ( r e q u e s t f o r c o m m e n t s ) 规范分析后，使用n m 城训 练数据分别对它们进行建模。通过对检测模型的设计和实现，完成了一个基于马 尔可夫链的网络协议异常检测系统。并使用d a i u 狐数据、模拟数据和实际网络数 据三种数据对系统进行了测试和分析。 基于马尔可夫链的网络协议异常检测系统的目标是依据应用层协议对网络数 据包的状态进行异常检测。通过分时和分类型的细化，使得检测更加灵活和准确。 系统通过捕获网络报文对其进行协议解析后会话重组，实现了应用层协议状态的 建模和会话数据包分类，同时高度可扩展的体系结构使得检测系统可以和其它入 侵检测系统进行结合，有利于系统的扩展和升级。 研究实现基于马尔可夫链的网络异常检测系统主要意义有： 1 高速网络的发展。由于基于网络的入侵检测系统难以跟上网络速度的发展， 入侵检测系统不能很好的实时检测所有的数据包。而捕获数据包到分析、匹配其 中是否具有某种攻击的特征需要花费较多的时间和系统资源。现有的入侵检测系 统在1 0 0 m 网上检查所有数据包中的几十种攻击特征时可以较好地工作。但在千兆 以上网络，网络速度超过了数据包模式分析技术。而现今的主流入侵检测系统主 要使用模式匹配方式。 2 无法检测未知的攻击。绝大多数入侵检测系统都是采用模式匹配的分析方 法，这要求规则库的特征值应该是最新的。但现在没有一种好的技术来实现规则 库的动态实时更新。目前每天都有新漏洞发布、每天都有新的攻击方法产生，规 则库的更新不及时显然是安全很大的隐患。 3 基于特征匹配的检测方式随着规则增多性能下降。目前实际应用的入侵检 第3 页 国防科学技术大学研究生院工程硕士学位论文 测系统通常是基于特征逐条匹配的检测方式，即通过已知攻击方式预先设定入侵 规则，构建规则特征库。然而随着数据流量的增大。攻击方式的复杂多样化，不 得不增多入侵规则数目而使系统的处理负荷急剧增加，导致对一些攻击行为无法 及时识别做出响应，漏报问题显著。 4 检测分析方法单一。简单包过滤和模式匹配是对单个包的检查，由于这类 技术不能跟踪协议的状态，所以对协议层的控制存在漏洞。而状态检测方法利用 状态图跟踪每一个网络会话状态，它考虑了数据包是否符合会话所处的状态。因 此提供了更完整的对传输层的控制能力。同时由于检测能力强等一系列技术特点， 状态检测方法的性能也明显优于简单包检测方法。 5 报文检测的无关性。随着入侵手段的不断提高，大多数的网络入侵是通过 正常网络协议实现的，其中任何单独的一条报文都看似正常，但按t c p 应用层的 状态转换过程就可能构成一次攻击，这样的行为很难被传统单个报文的误用检测 模式发现，检测应用层攻击是目前入侵检测的难点。 网络协议异常检测可以通过分析报文的头部结构来获得报文状态信息，这样 可以大大的减少计算负荷；在对应用层协议状态进行相关性分析后，对应用层协 议建模可以判别协议的异常使用，这往往可以发现新型的网络攻击；协议状态模 型相对而言是比较固定的，一般建模完成后就可以进行实时检测；由于通过会话 数据包之间的相关性分析而得到的协议异常行为，可以比单个报文检测发现较隐 蔽的攻击：研究可扩展的网络协议异常检测体系结构，可以极大方便检测系统的 配置和部署。 1 3 课题研究成果 本文的主要研究成果如下： 1 本文深入研究了基于马尔可夫链的网络异常检测模型。在研究t c p 协议规范 的正常状态机后，得出了协议状态转换就是一个马尔可夫过程。 2 提出了基于应用层的协议状态分析，实现了基于马尔可夫链的典型网络协议异 常检测模型，其中包括t c p 协议以及基于t c p 协议的h t t p 、s m t p 、f t p 、t e l n e t 等应用层协议的状态建模。 3 设计了高效的会话重组算法，缓冲存储机制，使得即节省了系统资源，又提高 了系统的效率。 4 研究了网络协议异常检测系统的分布式架构，设计并实现了基于马尔可夫链的 网络协议异常检测系统， 5 使用d a r p a 参考数据、模拟数据和实际网络数据三种数据对系统进行了评测， 较为全面地分析了所建立的基于马尔可夫链的网络协议异常检测系统的实用性 第4 页 国防科学技术大学研究生院i ：程硕 ：学位论文 等。 传统的误用检测技术因检测规则多而导致检测能力下降，因此难以在骨干网 等流量较大的检测点使用。通过建立网络协议异常检测系统，可以将网络中大部 分的网络探测扫描攻击、拒绝服务攻击等规则从基于误用检测系统中分离出来， 同时误用检测再使用剩余的规则进行补充检测，这样既获得了协议异常检测的优 势，又结合了误用检测的优点。 1 4 论文的组织 本文共分为六章，各章的组织结构如下： 第一章为绪论，主要阐述了课题的选题背景、叙述了本文研究的内容、目的 和所取得的研究成果。 第二章为相关研究，介绍了入侵检测系统的体系结构，并从数据来源和检测 方法对入侵检测进行分类，论述入侵检测发展的方向，协议分析方法的基本概况 和特点。阐述了入侵检测工作流程和形式化描述。在介绍了国内外在异常检测领 域的研究现状后，提出了现有方法存在的问题以及本文研究工作背景。 第三章为基于马尔可夫链的典型网络协议建模。描述了马尔可夫链的基本原 理，在对t c p 协议进行会话分析后，得出t c p 协议会话过程为一个马尔可夫过程。 为方便模型表示对t c p 协议进行了量化处理。根据r f c 规范，分析了t c p 协议以及 基于t c p 协议的h r r p 、s m t p 、f t p 和t e l n e t 等应用层协议的正常状态转换过程， 在充分利用了d 燃丰富的数据资源后，根据提出的马尔可夫链模型训练数据对 应用层的h r r p 、s m t p 、f t p 和1 1 1 l n e t 协议进行建模。最后综合应用层协议训练 数据，从宏观的角度对传输层t c p 协议建立了统一的模型。 第四章为基于马尔可夫链的网络协议异常检测系统的设计和实现。首先根据 课题背景设立了系统设计和实现的目标，提出了系统总体结构，在此基础上对捕 包引擎、数据分流器和应用层会话重组等各个部分进行了详细的描述。 第五章为系统评测和分析。首先说明了系统测试所使用的数据源，它们分趴 来自d a ) a 数据集、模拟数据和实际网络数据；然后给出了测试的环境、测试的 步骤和内容，以及测试结果；最后综合评价了测试分析结果。 第六章为结束语。总结了本文的主要工作，对下一步的工作进行了展望。 第5 页 国防科学技术人学研究生院j i ：程硕士学位论文 第二章相关研究 入侵检测技术通过对系统或网络活动的监测，达到尽可能实时地发现非法入 侵的目的。为了实现这个目的，需要从体系结构、方法，以及检测过程等多方面 进行考虑。本章系统地描述与入侵检测系统有关的理论和技术，简要地分析了当 前的研究进展及发展趋势。提出目前研究存在的问题并说明本文的研究思路。 2 1 入侵检测技术 所谓入侵，是指任何试图危及计算机资源的完整性、机密性或可用性的行为。 而入侵检测是指在特定的网络环境中发现和识别未经授权的或恶意的攻击和入 侵，并对此做出反应的过程。入侵检测系统i d s ( i n t m s i o nd e t e c t i o ns y s t e m ) 是一 套运用入侵检测技术对计算机或网络资源进行实时检测的系统工具。l d s 一方面检 测未经授权的对象对系统的入侵，另一方面还监视授权对象对系统资源的非法操 作嘲。 2 1 1 入侵检测系统结构 目前的入侵检测系统大多由不同的研究机构和商业公司独立研究开发的，相 互之间缺乏互操作性。为了提高i d s 产品与其它安全产品之间的互操作性，美国 国防高级研究计划署( d a r p a ) 和互联网工程任务组( i e t f ) 的入侵检测工作组 i d w g ( i n t m s i o nd e t e c t i o nw b r k i n gg r o u p ) ”1 制定了一系列建议草案，从体系结构、 a p i 、通信机制、语言格式等多个方面给出了参考。 公共入侵检测框架c i d f d a 刚) a 提出的标准是通用入侵检测框架c i d f ( t h ec o m m o ni n m l s i o n d e t e c t i o n f r a m e w o r k ) “1 。c i d f 工作主要包括四部分：1 ) i d s 的体系结构；2 ) 通 信机制；3 ) 描述语言；4 ) 应用编程接口。c i d f 根据入侵检测系统的通用需求以 及现有的入侵检测系统结构，将入侵检测系统的构成划分为四个基本组件吲：事件 产生器、事件分析器、响应单元和事件数据库。结构如图2 1 所示。从功能的角 度，这种划分体现了入侵检测系统所必须具有的结构：数据获取、数据管理、数 据分析、行为响应，因而具有通用性。c i d f 将入侵检测系统需要分析的数据统 称为事件，它可以是基于网络的入侵检测系统中的数据包，也可以是从系统日志 等其他途径得到的信息。事件产生器负责从整个环境中获得事件，并向系统的其 它部分提供此事件。事 牛分析器分析得到的数据，并产生分析结果。响应单元则 是对分析结果做出反应，它可以做出切断会话连接、改变文件属性等反应，甚至 第6 页 国防科学技术大学研究生院i 程硕士学位论文 发动对攻击者的反击，也可以只是简单的报警。事件数据库是存放各种形式的中 间和最终数据的地方。 巍 图2 1 入侵检测系统c i d f 框架 入侵检测工作组i d w g 入侵检测工作组i d w g 的主要任务是定义数据格式和交换规程，用于入侵检 测与响应系统之间、或与需要交互的管理系统之间的信息共享。i d w g 提出的建 议草案包括三部分内容：入侵检测消息交换格式i d m e f ( i n t n l s i d e t e c 6 0 n m e s s a g ee x c h 孤g cf o m 砒) 、入侵检测交换协议l d ( i n t m s i o nd e t e c t i o ne x c h a n g e p r o t o c 0 1 ) 以及隧道模型( t u 尬e lp r o 喇e ) 。 目前，c l d f 和i d w g 仍在推进有关工作。从技术发展的方向和市场的需求来 看，随着分布式入侵检测系统的发展，以及入侵检测系统之间互操作和协同工作 需求的增加，各种入侵检测系统必然会遵循c i d f 及i d w g 提出的各种标准规范。 2 1 2 入侵检测系统分类 入侵检测是对入侵行为的识别，进行入侵检测的软件与硬件的组合便是入侵 检测系统。可以依据不同的角度“1 对入侵检 匦4 系统进行分类。下面分别从数据源、 检测方法对入侵检测系统加以分类： 1 基于数据来源的分类： 入侵检测系统首先需要解决的是数据源问题。从入侵检测的角度来看，按照 数据源所处的位置把检测系统分为下列两种： 主机型 基于主机的入侵检测，通过对主机系统状态、事件日志和审计记录进行监控 以发现入侵。主机入侵检测系统保护的一般是所在系统。 网络型 基于网络的入侵检测监视所在网络段中的通信数据包，识别可疑的包或含攻 击特征的活动。网络入侵检测系统担负着保护所在整个网段的任务。 2 基于检测方法的分类： 入侵检测方法主要有基于规则的入侵检测方法和基于行为的入侵检测方法， 第7 页 围防科学技术大学研究生院f ：样硕士学位论文 其中基于规则的入侵检测方法又称误用检测，基于行为的入侵检测方法又称异常 检测。 误用检测 在误用检测中，入侵过程模型及它在被观察系统中留下的踪迹是决策的基础。 所以可事先根据经验规则或者专家知识定义某些非法的特征行为，然后将观察对 象与之进行比较以做出系统是否具有此种非法行为的判别。误用检测基于己知的 系统缺陷和入侵模式，它能够准确地检测到某些特定的攻击，但往往导致过度依 赖事先定义的安全策略而无法检测未知的攻击行为，因此会产生漏报。 异常检测 异常检测又称基于行为的入侵检测。在异常检测中，观察到的不是已知入侵 行为，而是研究正常通信过程中的异常现象。异常检测主要检测系统的行为或使 用情况的变化。在建立异常检测模型之前，明确所观察对象的正常情况，然后决 定在何种程度上将一个行为标为“异常”，并给出相应的具体决策。异常检测只缒 识别出那些与正常过程有偏差的行为，而无法知道具体的入侵情况。 2 1 3 入侵检测系统发展方向 入侵检测系统的研究还处于一个不完善的阶段，还有很多问题需要解决。但 入侵检测系统发展很快，已经出现了很多的新技术，在此就一些问题以及今后的 入侵检测技术方向发展做些阐述，这也是我们构建新型入侵检测系统的出发点和 依据。 1 高速网络的实时入侵检测 大量的高速网络技术如千兆以太网、万兆以太网等在近几年中得到了广泛的 应用。如何实现高速网络下的实时入侵检测成为一个现实的难点。最迫切的就是 要进行入侵检测系统的软件结构和算法的重新设计，以适应高速网络的发展，重 点是提高运行速度和效率。设计开发相应的硬件设备，加上合理的软件设计是解 决这个问题的较好途径。 2 应用层入侵检测 许多入侵的语义只有在应用层才能理解，许多基于客户服务器结构、对象技 术的应用，需要应用层的入侵检测保护。 3 大规模分布式入侵检测 传统的入侵检测系统一般局限于单一的主机或网络架构，对大规模网络的检 测能力明显不足，而且不同的入侵检测系统之间不能协同工作，为此，需要研究 分布式入侵检测技术。 4 。智能化入侵检测 第8 页 国防科学技术火学研究生院r 程硕：f ：学位论文 使用智能化的方法与手段来进行入侵检测是一个重点突破的地方。只有这个 方向得到了突破，才会使得入侵检测水平得到质的提高。现阶段所谓智能化的方 法主要有神经网络、机器学习、遗传算法、模糊技术、免疫原理、数据挖掘等方 法。 5 协议分析和行为分析的入侵检测。 协议分析技术利用网络协议的高度规则性快速探测攻击的存在。这种技术所 需的计算量相对较少，即便在高负载的网络上，也可以完全探测出各种攻击，提 高了检测的准确性和效率。行为分析技术是在协议分析基础上将网络数据进行重 组，不是检测单一的连接请求或响应，而是将一个会话的所有流量作为一个整体 来考虑。有些网络攻击行为仅靠检测单一的连接请求或响应是检测不到的，因为 攻击行为特征包含在多个请求中，此时行为分析技术就显得十分必要。但由于算 法处理和规则制定的难度很大，目前还不是非常成熟。 2 1 4 基于协议分析的入侵检测 在入侵检测中，基于模式匹配的入侵检测技术把收集到的数据与特征库中特 征码用强力方法进行匹配，其计算量大，漏报率高，很难达到高速网络环境的检 测要求。事实上，通信协议不是一串随机变化的比特流，协议是非常有序的流， 包的数据结构大部分是已知的。正是这种协议的有序性。使得网络数据包的内部 结构、信息的先后次序、信息产生的时间都可以成为检测入侵的重要信息。 协议分析就是根据协议规范分析网络数据包，确认数据包的协议类型，以便 使用相应的解析程序来检测数据包。协议分析有效地利用了网络协议的层次性和 相关协议的知识，能快速、准确地判断攻击特征是否存在。利用协议分析可以大 大减少模式匹配的计算量，提高匹配的精确度和检测速度。协议分析的检测方法 实质上属于异常检测，它除了可以发现已知攻击外，还可以根据协议标准发现未 知攻击。 目前部分入侵检测系统已经开始涉及网络协议分析，但是它们一般都只涉及 了应用层以下的各类协议。通过协议分析来检测网络会话信息，从而了解相应行 为的具体目的。协议分析的任务就是根据t c p i p 协议族的内容，对t c p i p 协议 族中各种数据包的包头信息、数据、校验和以及网络会话的状态信息等进行分析， 并实现数据的重组和还原。在分析协议的高度有序性后，就可以将一些协议的异 常状态区分出。 协议分析因为检测快、准确，消耗资源少而成为新一代入侵检测系统探测攻 击的主要技术之一。它主要具备以下能力： 1 探测碎片攻击和协议确认 第9 页 国防科学技术大学研究生院工程硕十学位论文 在基于协议分析的入侵检测系统中，由于各种协议都被解析，如果出现i p 碎 片设置，数据包将首先被重装，然后再详细分析来了解潜在的攻击行为。 2 降低误报率 协议解析也大大降低了模式匹配检测系统中常见的误报现象。使用命令解析 器可以确保字符串的实际意义被理解，识别出数据包是不是攻击或可疑的。 3 真正高性能 新一代入侵检测系统网络传感器采用高性能数据包驱动器，使其不仅支持线 速百兆流量检测，而且千兆网络传感器也具有高达9 0 0 m 网络流量的检测能力，不 会忽略任何一个数据包。 2 。2 入侵检测问题描述 2 2 1 入侵检测系统工作流程 通常入侵检测系统为了分析、判断特定行为或者事件是否为违反安全策略的 异常行为或者攻击行为，一般要经过下列四个过程，其工作流程如图2 2 所示。 1 数据采集阶段：这是入侵检测的基础，收集的数据要尽量全面、准确。收集的 数据主要有主机日志和网络数据包等信息。 2 数据预处理阶段：所收集的数据要进行规范化、标准化等处理，这有利于提高 系统的效率和分类准确性。 3 分析和入侵检测阶段：通用的方法是建立检测模型，主要方法有统计方法、专 家系统、神经网络和数据挖掘等。 4 报警和响应阶段：可以通过日志、e m a i l 和短信等方式发出报警信息，也可以 作出具体的响应措旌和其它安全设备联动。 分 数 数析 把 据 据和 蕾 收 糟粕 娃懂 璃 羹 璃硷 应 蔫 圆2 2 入侵检测工作过程 2 2 2 入侵检测问题基本描述 根据上节入侵检测的基本步骤，将入侵检测问题描述为如下形式：设从网络 中收集到的数据表示为n 维向量( x 。，z ：，x 。) ，经过数据预处理后可以表示为 m 维向量( y ，y ：，y 。) ，m il lmi i 自ml l ii 卜一按收删的 c k 发送f i h f i ni ( 一 i i t 一1 卜一 黜 、 撸i 盘s y n j c k 发甚 c k vy 一 fe f mi h 一一 c l o s e 撸收f i n 一i i 一一一 发送f i n ， 、发送 c x 一一一 收f i x 、 l 接收f 1 的m - l l 一一一发i * m f v_v 1 - - h - - - + i f i 耵 i t 一2 ic l o s i ，b h - - 一 l 撸i 投f a 鲍“i 撸收f i n 、拙 3 2 2t c p 会话连接分析 ) i t i 旧 i t l 图3 1t c p 状态转换图 lc l o s ei 1 r r i c l o s e 发搓f v il ”日1 ) ic l o s e d1 分析t c p 连接的大概过程。首先，客户端发出一个s y n 包，如果目的主机存在 并且目的端口开放，则回应一个s y n + a c k 的包，客户端发出数据包从而进入会话 状态，最后二者中的任何一方均可发f i n + a c k 数据包结束会话连接。除此之外， 还要注意以下一些特殊情况：1 ) 当目的主机，网络不存在时，将返回i c m p 不可 到达信息：2 ) 目的主机存在，但不开时，s y n 数据包发出一段时间后客户端将接 收到一个连接超时错误并标志这一会话请求失败：3 ) 目的主机存在且处于活跃状 第1 8 页 国防科学技术大学研究生院【：程硕十学位论文 态，但目的端口不丌放时，客户端将收到r s t 包；4 ) 一个连接很长时间没有数据 包交换，超时发生后，一方将认为另一方发生了意外而断开这一连接。假设客户 端和服务器是相对的两台会话机器。我们可以定义部分状态如下： l ：客户端发出s y n 包。 3 ：服务器发出s y n + a c k 包。 x ：客户端和服务器进入数据交换状态。 3 4 ：客户端或服务器发出f i n + a c k 包以结束连接。 8 ：客户端或服务器发出r s t 包以结束连接。 i ：某一网关发出i c m p 目的不可到达数据包以结束连接。 t ：超时后，一方结束连接。 其中l 、3 、3 4 和8 是按下节中经过标志位量化过程得到的值。由于每一个数据包 状态的转移概率只与它的上一状态有关，因此这是一个典型的马尔可夫过程。之 所以区分这些状态，是因为各个状态间的转移常常有不同的含义：如果1 - 8 的概 率过高则可能是端口扫描；1 i 概率过高则可能是隐式主机扫描；1 t 概率过高 有可能是端口扫描或d o s 攻击；3 8 概率过高则有可能是端口扫描等。因为对于 正常的连接来说，客户端与连接服务器端的会话过程中各个状态转移概率是相对 固定的。基于马尔可夫链的检测模型通过大量正常数据进行统计可以获得转移概 率矩阵等各种参数，状态序列使用模型参数运算就可得出协议状态异常与否的判 断。由于本文研究并实现的检测系统仅仅是对t c p 协议及其应用层协议进行状态 分析建模，所以下面模型建立时使用的是t c p 协议，而其它协议在以后的工作中 完成。 3 2 3t c p 标志位量化过程 为了在t c p 会话过程中数据包有唯一的符号值来进行标识，可以对t c p 数据 包头的标志比特进行加权计算“”。下面对原始t c p 协议标志位进行重新排列，这 只是形式上的表达，并不会改变模型建立的任何部分，任何t c p 标志位排序都一 样进行建模，只是该种方式较适合图示表达会话过程。将表3 1 的t c p 标志位原 始排列调整为如表3 2 的标志位排列，其中表3 2 中标志位下相对应的值为该标志 位的权值。 表3 1t c p 原始标志位排列 表3 2 调整后的t c p 标志位排列 f i nu r or s tp s ha c k l s y n 3 21 68 i 42 l l i 经过重新排序后的t c p 标志位，每一个t c p 数据包状态的量化值可以通过公 式( 1 2 ) 计算得到： 第1 9 页 国防科学技术人学研究生院】：程硕十学位论文 r 量 矿= w 6 ， 呷 = 1 + 5 j ， + 2 口c 惫十4 p 5 + 8 + r s f + l6 + ”r g + 3 2 + 一 ( 1 2 ) 根据t c p 状态转换图( 图3 1 ) 和公式( 1 2 ) ，可以得到部分t c p 包头标志位 相对应的正常状态量化值。如表3 3 所示。 表3 - 3t c p 正常状态部分量化值 f i nu r gr s t p s ha c ks y n 量化值v o0000l 1 o0oo113 ooool 0 2 0o01lo6 1ooo1o3 4 1 oo 1 1 o3 8 ol011o2 2 oo1ooo8 当然，由于t c p 协议有6 个状态位，理论上状态组合应该有6 4 种，但是根据t c p 协议规范，t c p 各个状态转换遵循着一定的规律，大部分组合是无效的。因此根据 公式( 1 2 ) 计算得到的值并不一定合法，也就是说在符合协议的前提条件下经过 量化后得到的值是在一个固定集合中。而一些不在这个集合中的值，例如：t c p 标志位都置为1 ，其量化值为6 3 ：标志位均置为o ，其量化值是o 等都属于非法的t c p 报文，这种不符合t c p 协议规范的报文状态就是t c p 协议的异常使用，往往这种协 议的异常使用可以收集到很多信息，当今大多数扫描报文就是利用这种不符合协 议规范的报文来达到攻击目的。 3 3 检测模型训练数据