（计算数学专业论文）基于危险理论的入侵检测算法研究.pdf

摘要 摘要 入侵检测是信息安全领域中的一个重要课题。入侵检测系统( i n t r u s i o n d e t e c t i o ns y s t e m ，i d s ) 作为一种主动的信息安全保障技术，可以最大限度地提高 系统的安全保障能力，减少外界对系统的威胁。建立智能i d s 系统( i n t e u i g e n ti d s ， i i d s ) ，是提高i d s 系统性能关键所在。人工免疫系统模拟生物免疫系统耐受性、 鲁棒性、自适应性、多样性等优点，具有较好的智能性，能很好的解决入侵检测 系统准确率低，漏报率和误报率高的缺点，同时对未知入侵行为也有较好的检测 能力。 免疫危险理论是近十年来流行在免疫学界的新理论。它认为免疫系统不是区 分自体和非自体，而是区分危险信号的有无。尽管该理论尚未被广泛接受，作为 对生物免疫系统的一种仿真，它完全可以被扩充应用到人工免疫领域。 本文主要工作如下t 1 首先介绍了入侵检测的背景、定义和功能，对一些常用的入侵检测方法进 行了简介，同时介绍了人工免疫的相关理论及主要算法。 2 危险理论过于复杂难懂，本文根据应用领域对危险理论做了一定的简化与 修改，使之适合应用于入侵检测。 3 在s u s el i n u x l 0 系统下用c + + 语言编程实现算法，设计了对基于免疫危险 模式的i d s 模型的仿真实验，采用k d d c u p 9 9 数据集进行测试。 4 最后对本文算法应用到实际网络环境给出了实际建议。 关键词：危险理论，入侵检测系统，人工免疫系统 a b s t r a c t a b s t r a c t i n t r u s i o nd e t e c t i o ni sa ni m p o r t a n tt a s ki nt h e 丘d do fi n f o r m a t i o ns e c u r i t y a sn i l a c t i v es a f e t yt e c h n i q u eo fi n f o r m a t i o ns e c u r i t y , t h ei d s ( i n t r u s i o nd e t e c t i o ns y s t e m ) c a ni m p r o v et h es e c u r ea b i l i 锣o fs y s t e ma n dr e d u c et h ef o r e i g nm f f l l a c , ot ot h e s y s t e m b u i l d i n gt h e d s ( i n t e l l i g e n tr i g s ) i st h el i n c h p i no fe n h a n c i n gt h ec a p a b i l i t yo f i d s a i s ( a r t i f i c i a li m m u n es y s t e m ) s i m u l a t e st h es t r o n g p o i n to fb i s ( b i o l o g i c a l i m m u n es y s t e m ) s u c h 嬲t o l e r a n c e , s e l f - a d a p t i v ec a p a c i t y , d i v e r s i t y ，、析m g o o d i n t e l l i g e n c e ，c a nf e t c hu pt h ed i s a d v a n t a g eo f ss u c h 鹪l o wt r u ep o s i t i v er a t e ，h i g h f a l s ep o s i t i v er a t ea n df a l s en e g a t i v er a t e ，a n dh a sag o o da b i l i t yo f d e t e c t i n gt h e u n k n o w ni n t r u s i o nb e h a v i o r o v e rt h el a s td e c a d e ，i m m u n ed a n g e rt h e o r yh a sb e c o m ep o p u l a r a m o n g i m m u n o l o g i s t s i td o e sn o tt a k et h ev i e w p o i n to fs e l f - n o m e l f , b u tt h ea b s e n c eo r p r e s e n c eo fd a n g e rs i g n a l a l t h o u g hi td o e sn o tg e ta d m i t t e dw i d e l y , i tc a nb ee x t e n d e d t oa r t i f i c i a li i n i n l 肛 i es y s t e m 弱ak i n do fs i m u l a t i o nt o w a r d sb i o l o g i c a li m m u n e s y s t e m i nt h i sp a p e r , t h em a i nw o r ki s 勰f o l l o w s ： f i r s t l y , b a c k g r o u n d , d e f i n i t i o na n df u n c t i o n so fi n t r u s i o nd e t e c t i o na r ei n t r o d u c e d i nt h i sp a p e r s o m ei n t r u s i o nd e t e c t i o nm e t h o d s ，w h i c ha r eo f t e nu s e d , a r ei n t r o d u c e d s e c o n d l y , t h ed a n g e rt h e o r yi sv e r yc o m p l i c a t e da n do b s c i l r e , w es i m p l i f ya n d m o d i f yi ta c c o r d i n g t oi n t r u s i o nd e t e c t i o nr e a l mf o rt h es a k eo f b e t t e ra p p l i c a t i o n t h i r d l y , i m p l e m e n t st h ea l g o r i t h mb yc + + l a n g u a g eu n d e rs u s el i n u x l oo p e r a t i n g s y s t e m ，a n dd e s i g n st h es i m u l a t i v ee x p e r i m e n to fi d sm o d e lb a s e do i li r i i i i l u n ed a n g e r t h e o r y 谢mk d d d a t as e t 鹤t h ei n t r u s i o nd a t as e t f o u r t h l y , p r o p o s e ss u g g e s t i o no nh o w t oa p p l y0 1 1 1 a l g o r i t h mt ot h er e a ln e t w o r k e n v i r o n m e n t k e y w o r d s ：i n t r u s i o nd e t e c t i o ns y s t e m ，a r t i f i c i a li n l m u n es y s t e m ，d a n g e r t h e o r y 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：当堡日期：堋年s 月l 口a 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：韶强导师签名： 日期：矽7年5 - 月j 0 日 第一章绪论 1 1 研究背景 第一章绪论 在当前的信息时代，随着互联网技术的高速发展，计算模式由传统的单机为 主的模式向基于网络的分布式模式转化，而由此引发的网络入侵的风险性也随之 大大增加，网络安全与信息安全成为人们高度重视的问题。早期对于网络安全主 要采取的是保护手段，其核心思想是构建一个绝对安全的系统，但是系统的设计 与实现不可能是绝对安全的，即使是一个真正安全的系统，也无法阻止系统的合 法用户滥用授权。而且黑客是网络安全的最大威胁，其入侵手段的不断更新，使 得目前的防火墙等机制对许多攻击无能为力。因此，入侵检测系统( i n t r u s i o n d e t e c t i o ns y s t e m ，i d s ) 作为防火墙技术的合理补充，越来越受到人们的重视，逐 渐成为网络安全的第二道防线，是网络安全体系的一个重要组成部分。 由于计算机的安全问题与生物免疫系统有惊人的相似性：都要在不断变化的 环境中维持系统的稳定性；近年来，基于人工免疫原理的网络入侵检测技术逐渐 成为网络安全领域的热点。但是传统入侵检测技术都是基于s n s ( 自体非自体) 理论，对入侵活动的误报率和漏报率都很耐引。 随着通信和商业的高速发展，现代社会更依赖于计算机系统和网络，它们需 要特别的保护。入侵检测领域正是为了构建一个能够提供保护能力的系统而努力， 但是由于现代计算环境的复杂和动态性，只能提供部分解决方案。近年来计算机 科学家转向生物系统，特别是人体免疫系统( m s ) ，希望能够把免疫系统的机制 引入到数字领域，这样将会得到一个完整的解决方案。 i d s 是被设计用来识别和预防计算机网络的误用的软件系统。有不同的方法来 对i d s 分类，大体来说，分为误用检测( m i s u s ed e t e c t i o n ) 和异常检测( a n o m a l y d e t e c t i o n ) 两类。误用检测方法用已知的规则检测系统和网络，常常通过模式识别 算法。作为对比，异常检测方法基于正常网络和系统行为的轮廓作检测，常常通 过统计或机器学习技术来实现。这两种方法各有利弊。误用检测系统一般来说有 较低的错误肯定率( 误报率) ，但是难以检测出新型的攻击，导致了较高的错误否 定率( 漏报率) 。异常检测系统，能够检测出一些新型攻击，但是错误肯定率较高。 这是由于当前的异常检测技术不能应付现实世界中，正常合法的计算机网络、系 电子科技大学硕士学位论文 统使用方法不停的变化，也就是说正常行为的轮廓需要动态变化。h i s 保护身体以 避免大量称作病原体( p a t h o g e n s ) 的有害细菌和病毒的破坏，大部分情况下它并 不知道这些病原体的结构。这个属性，以及保护机制的分布性、自组织性、轻量 级，最近成为计算机科学和入侵检测团体的兴趣焦点。从这个角度看，h i s 可以看 做是一种异常检测器，有着较低的错误肯定率和错误否定率。 最近已经有大量工作来尝试解释并分析h i s 的检测和保护机制。在各种应用领 域建立了大量的a i s ( a r t i f i c i a li l l l m l l t l cs y s t e m s ) ，比如文档分类、网络和主机入侵 检测。这些a i s 在与传统的统计和机器学习技术相比获得了些成功，但是，在动 态的环境比如说复杂的计算机网络，a i s 还无法应付网络环境中的海量数据。部分 原因是我们缺少对h i s 在生物学上工作机理的理解，也有部分原因是对h i s 的各种 过程的算法模拟实现很简易。而且，我们过于相信s n s 理论，但在实际中自体与非 自体的区分不是很明显。 在过去的免疫学中，s n s 理论是主导，h i s 主要功能被认为是区分自体与非自 体。为了达到这个目的，组成h i s 的细胞经历了一个发育过程，成熟后与外界进行 交互。如何响应外界抗原取决于这些细胞，而h i s 所保护的机体细胞被认为是被动 的旁观者。危险理论却不是这么认为，它把机体细胞作为h i s 的组成部分。这并不 是说危险理论否决了s n s 理论中的细胞发育和成熟过程，它只是说明m s 如何应答 抗原取决于要保护的细胞而不是h i s 中的检测细胞【2 】。受保护细胞引导h i s 响应是 通过产生危险信号当细胞受到迫害或不正常死亡时释放的一种化学物质【3 】。通 过学习研究和从危险理论中得到启发，我们希望建立能够高效保护和适应动态变 化环境并维持低误报率的基于免疫的i d s 。但是，目前尚不清楚危险信号的实质。 总之，从入侵检测的角度看，危险理论是有希望的，因为它能解释h i s 是如何 能保护一个动态、复杂的系统( 人体) 。如果能够理解危险信号是如何影响免疫应 答，能应用于i d s ，则能建立一个高效的低误报率的监测系统。 1 2 免疫原理在入侵检测中的应用 自然免疫系统面临与入侵检测类似的问题。二者都要保护“自我 不受“非 我 的侵害。生物免疫系统中的“自我”指生物体自身的分子或细胞，“非我 指 外来的有害物质，如细菌、寄生虫和病毒等。计算机入侵检测系统中的“自我 指合法的数据和信息，也就是正常行为，“非我 指不合法的数据包、外来的攻击 代码、恶意的攻击等，即非法行为【7 】。 2 第一章绪论 讯 特征提取 入侵检测 图l 一1 入侵检测框图 如图1 1 ，其中输入i n 是被检测系统当前活动的某种表现形式，可能源于操 作系统日志、网络数据包、防火墙日志等等。输出o u t 是对当前活动的一种分类， 最简单的分类是把当前活动分成正常和异常两类。由此可见，入侵检测问题可以 看作是一种模式分类，主要需要解决两个问题：1 应该从输入模式中提取什么样的 特征；2 如何根据所选择的特征的度量进行分类。 对于分类问题，模式识别技术已经做了深入研究，但是具体到入侵检测问题， 存在下面一些特点，使得采用传统的模式识别方法具有一定的困难，这些特点是： ( 1 ) 为了判别当前活动，提取的特征往往是高维的。传统的模式识别方法应用 于高维时存在一定困难； ( 2 ) 入侵模式和正常模式并不遵从一定的分布，传统的统计分类方法无能为 力。 ( 3 ) 正常和异常的分类是非常不均匀的。 因此，直接使用传统的模式识别方法进行攻击分类比较困难。 电子科技大学硕士学位论文 1 3 危险理论与入侵检测系统 1 3 1 危险理论的免疫应答过程 ，一。 信号0 ：危险信号 信号1 ：抗原提呈信号 信号2 ：协同刺激信号 图1 2 危险模式免疫应答 图1 - 2 描述了危险理论免疫应答的基本过程： 受难细胞发出危险信号( 信号o ) ，并在周围建立一个危险区域。其中的抗原 被a p c ( 如巨噬细胞) 所捕获，接着a p c 向淋巴细胞提供共同刺激信号( 信号2 ) 。 而a p c 向淋巴细胞提呈抗原的时候，会活化增殖淋巴细胞使其产生抗原提呈信号 ( 信号1 ) 。在信号1 和信号2 同时存在的情况下，a p c 或者t h 细胞才会将b 细 胞或t i c 细胞活化从而使其能产生抗体。产生能与危险区域内的抗原相匹配的抗体 的b 细胞将会被激活并发生克隆变异，从而应答危险。产生的抗体不匹配或者离 危险区太远的b 细胞不会被激活。b 细胞或t i c 细胞在活化并发挥一定效用后会死 亡或者休眠。病原体被清除后，危险消除，免疫应答结束。在只有信号l 而没有 信号2 的情况下淋巴细胞不被活化( 产生耐受) 【引。 4 第一章绪论 1 3 2 危险理论在入侵检测中的应用现状 a i c k e l i n 小组首次对危险理论在入侵检测中的应用做了深入研究【9 】。他们致力 于构建一个危险理论计算模型，为了定义、挖掘和发现危险信号。从这些模型中 他们希望建立新的算法并迎来构建低误报率的i d s 。危险信号与i d s 警报的关联， i d s 警报与入侵细节的关联，被认为非常重要。他们的系统收集来自主机和网络的 信号，将这些信号与入侵检测警报相关联。关联被分类为好和坏。警报也被期望 与攻击细节相关联。如果预示了一个入侵攻击的可能性极高，那么它就激活其它 在空间上、时间上或者逻辑上靠近原来发出危险警报来源的探测器，正如危险理 论中的危险区域一样。 为了接受激活a i s 应答的危险信号( 正常死亡和坏死) ，b e n t l e y 弓i 入了人工组 织概念【4 3 】。他强调组织是免疫功能的一部分，当组织细胞受害死亡会释放危险信 号。他也认为组织是免疫应答和病原攻击之间的接口。作者声称传统的a i s 缺少组 织而导致了一些困难。他为a i s 设计了组织生长算法，提供了通用数据表示，因此 允许人工组织成为问题和免疫算法之间的接口。该算法接收一个输入数据流，人 工组织通过连接输入数据细胞生长成为一个特定形状。当新的数据输入到该组织， 组织结构改变。重建组织引起数据细胞死亡，从而释放危险信号。通过这种方法， 组织提供了空间和瞬时模型，使a i s 激起免疫应答。他的工作利用了自组织性、轻 量级、易用性等免疫特性，有望实现成分布式系统，与其它算法结合形成多层系 统。目前为止仅仅在u c i 机器学习数据上测试过。 g r e e n s m i t h 的工作引入树突状细胞( d c ) 以协调t 细胞免疫应答 3 2 】。d c 是组 织中的一类吸收抗原和蛋白碎片的抗原提呈细胞，同时也能在抗原环境中接受危 险信号。在抗原吸收过程，未成熟d c 经历不同类型的表征环境的信号。不同类型 的信号将d c 分为两类：成熟的和半成熟的，它们产生的一种叫做c y t o k i n e s 的化学 信号是不一样的，这些不同的信号对区分未成熟t 细胞为t h 或t k 有影响。通过这种 方法，d c 使得t 细胞适当的对抗原做出响应，这些d c 可以被认为是免疫应答背后 的大脑指挥官。g r e e n s m i t h 抽象了多个对异常检测有用的d c 属性。特别是他们把 d c 输入信号分为四类- - p a m p s ( 已知致病信号) ，安全信号( 已知正常信号) ， 危险信号( 未确定) ，煽动性c y t o k i n e ( 放大其它信号效果的信号) 。信号处理功 能的输出决定了d c 的不同状态，从而不同的t 细胞类型开始不同的免疫应答。目 前他们的工作正在进行和测试中。 5 电子科技大学硕士学位论文 1 4 论文内容安排 在前人工作的基础上，本文开展并完成的主要研究工作如下： ( 1 ) 介绍了入侵检测系统以及人工免疫与其联系，分析了国内外人工免疫系统 在网络安全领域的研究现状。 ( 2 ) 从免疫学理论和算法的角度出发，对比了基于危险模式理论的a i s 与传统 a i s ，分析目前现有a i s 的s n s ( 自体非自体) 模型的局限性，阐述了基于危险 模式理论的a i s 的优势，进而设计一种危险模式入侵检测算法。 ( 3 ) 针对传统免疫算法在网络安全技术应用中出现的诸多问题，包括计算复杂 度高、自适应差的特点，把危险模式理论引入到该领域中。将研究的算法应用于 网络安全的入侵检测领域。分析危险理论应用于异常检测的可行性，并从中抽象 出相关原理、结构，提出一个完整地基于危险模式的i d s 异常检测系统模型，以 实现具有高自适应性、低误报率和低漏报率的i d s ，最后对本章提出的模型进行了 实验仿真，并进一步对实验结果进行了分析。 ( 4 ) 最后，对危险模式免疫算法在网络安全领域的应用研究进行展望，提出了 将本文算法应用到实际的网络环境中，需要进一步开展的研究工作。 6 第二章入侵检测简介 第二章入侵检测简介 2 1 网络安全的基本概念 2 1 1 网络安全的实质 网络安全是一门涉及计算机科学、网络技术、通信技术、密码技术、信息安 全技术、应用数学、信息论等多学科的综合性学科【4 】。计算机网络安全问题是随着 网络特别是i n t e r n e t 的发展而产生的，计算机网络的连通性和开放性给资源共享和 通信带来了很大便利，标准化和开放性使许多厂商的产品可以互操作，也使入侵 者可以预知系统的行为。随着网络规模的迅速扩大、结构的复杂和应用领域的不 断扩张，出于各种目的，盗用资源、窃取机密、破坏网络的肇事者越来越多。一 般认为，网络系统的安全威胁主要来自于黑客的攻击、计算机病毒、和拒绝服务 攻击( d e n i e so f s e r v i c e ) _ 三个方面。目前，人们开始重视来自网络内部的入侵攻击， 随着i n t e m e t 的发展，现代黑客逐渐转变为以网络攻击为主。网络安全的实质是要 保障系统中的设备、设施、软件、数据以及各种供给品等要素避免各种偶然的或 人为的破坏或攻击，使它们发挥正常，保障系统能安全可靠地工作。因而网络系 统的安全应当包含一下内容： ( 1 ) 要弄清楚网络系统受到的威胁及脆弱性，以便人们能注意到网络的这些 弱点和它存在的特殊性问题。 ( 2 ) 要告诉人们怎样保护网络系统的各种资源，减少或避免破坏。 ( 3 ) 要开发和实施卓有成效的安全策略，尽可能减小网络系统所面临的各种 风险。 ( 4 ) 要准备适当的应急计划，使网络系统中的设备、设施、软件、数据在受 到破坏和攻击时，能够尽快恢复工作。 ( 5 ) 要制订完备的安全管理措施，定期检查这些安全措施的有效性。 ( 6 ) 确保信息的安全，就是要保障信息完整、可用和保密的特性。 总之，信息社会的迅速发展离不开网络技术和网络产品的发展，网络的广域 化和实用化对网络系统的安全性提出越来越高的要求。为了提高网络安全性，需 要从多个层次和环节入手，分别分析应用系统、宿主机、操作系统、网络管理系 7 电子科技大学硕士学位论文 统、子网、分布式计算机系统和全网中的弱点，采取措施加以防范。 2 1 2 网络系统的安全对策与入侵检测 近年来，尽管对计算机安全的研究取得了很大发展，但安全计算机系统的实 现和维护仍然非常困难，因为我们无法确保系统的安全性达到某一确定的安全级 别。即使我们能够设计和实现一种极为安全的系统，但由于现有系统中大量的应 用程序和数据处理对现有系统的依赖性以及配置新系统所需要的附加投资等多方 面的限制，用新系统替代现有系统需要付出极大的系统迁移代价，所以这种采用 新安全系统替代现有系统的方案很难得到实施。另一方面，通过增加新模块对现 有系统进行升级的方案却又不断地引入新的系统安全隐患。 入侵检测是最近二十年来发展起来的一种动态的监控、预防和抵御系统入侵 行为的安全机制。主要通过网络监控、系统的状态、行为以及系统资源的使用情 况，来检测用户的越权使用以及系统外部的入侵者利用系统的安全缺陷对系统进 行入侵的企图。和传统的预防性安全机制相比，入侵检测具有智能监控、实时探 测、动态响应、易于配置等特点。入侵检测技术的引入，使得网络、系统的安全 性得到进一步提高，是对传统计算机安全机制的一种补充，成为目前动态安全工 具的主要研究和开发的方向。 2 1 3 网络安全模型p p d r 与入侵检测 单纯的防护技术容易导致系统的盲目建设。由于系统的攻击日趋频繁，安全 的概念已经不仅仅局限于信息的保护，人们需要的是对整个信息和网络系统的保 护和防御，以确保它们的安全性，包括对系统的保护、检测和反应能力等。 总的来说，安全模型已经从以前的被动保护转到了现在的主动防御，强调整 个生命周期的防御和恢复。p d r 模型就是最早提出的体现这一思想的安全模型。 2 0 世纪9 0 年代末，美国国际互联网安全系统公司提出了自适应网络安全模型，并 联合其它厂商组成a n s 联盟，在此基础上建立网络安全的模型。该模型是可量化、 可由数学证明、基于时间的、以p d r 为核心的安全模型，亦称为p p d r 模型。也 就是p o l i c y ( 安全策略) 、p r o t e c t i o n ( 防护) 、d e t e c t i o n ( 检测) 和r e s p o n s e ( 响应) 。 p p d r 模型l j 是在整体的安全策略的控制和指导下，在综合运用防护工具( 如防火 墙、加密等手段) 的同时，利用检测工具( 如漏洞评估、入侵检测等系统) 评估 系统的安全状态，通过适当的响应将系统调整到一个比较安全的状态。防护、检 第二章入侵检测简介 测和响应组成了一个完整的、动态的安全循环。其各部分含义如下： 1 安全策略 根据风险分析产生的安全策略描述了系统中哪些资源要得到保护、以及如何 实现对它们的保护等。安全策略是p p d r 模型的核心，所有的防护、检测、响应 都是根据安全策略实施的。 2 防护 通过修复系统漏洞、正确设计开发和安装系统来预防安全事件发生；通过定 期检查来发现可能存在的系统脆弱性；通过访问控制、监视等手段来防止恶意威 胁。 3 检测 防护相对于攻击者来说总是滞后的，一种漏洞的发现或者攻击手段的发明与 相应的防护手段的采用之间，总会有一个时间差，检测就是弥补这个时间差的必 要手段。检测的作用包括： 异常监视：发现系统的异常情况如文件被修改、非法登录等； 模式发现：对已知的攻击模式进行发现。 4 响应 网络信息系统的安全是基于时间特性的，p p d r 安全模型的特点就在于动态性 和基于时间的特性。下面我们针对该特性定义几个时间值来进行描述。 攻击时间( p t ) ：表示从入侵开始到侵入系统的时间。p t 的衡量特性包括 两个方面：入侵能力和系统脆弱性。 检测时间( d t ) - 系统安全检测包括发现系统的安全隐患和潜在的攻击检 测，以利于系统的安全评测。改进检测算法可缩短d t 。 响应时间( r t ) ：包括检测到系统漏洞或监控到非法攻击到系统启动处理 措施的时间。 系统暴露时间( e t ) ：指系统出于不安全状况的时间，可以定义为 e t = d t + r t p t 。如果e t 0 ，则系统是安全的。 可见，从p p d r 模型能得出这样一个结论：安全的目标实际上就是尽量减少 检测时间和响应时间。检测是一个非常重要的环节，是动态响应和加强防护的依 据，同时也是强制落实安全策略的有力工具。 目前，入侵检测技术是实施检测功能的最有效技术。形象地说，入侵检测系 统( d s ) 是网络摄像机，能捕获并记录流经网络的数据，同时它也是智能摄像机， 能够分析网络数据并检测出可疑、异常的网络数据，它还是x 光摄像机，能够穿 9 电子科技大学硕士学位论文 透一些巧妙的伪装，抓住实质内容。此外，它还是保安员，能够对入侵行为自动 地进行反击，如阻断连接。可见，i d s 具有一定的响应功能。因此，从p p d r 模型 来理解，i d s 是一个具有检测功能，同时又兼备防护和响应功能的安全技术产品， 是保护网络信息系统安全的强有力工具。 2 2 入侵检测的概念 所谓入侵，是指任何试图危及计算机资源的完整性、机密性或可用性的行为。 而入侵检测，顾名思义，便是对入侵行为的发觉。它通过从计算机网络或系统中 的若干关键点收集信息，并对这些信息进行分析，从而发现网络或系统中是否有 违反安全策略的行为和遭到侵袭的迹象。进行入侵检测的软件与硬件的组合便是 入侵检测系统( 简称i d s ) 。入侵检测是防火墙的合理补充，帮助系统对付网络攻 击，扩展了系统管理员的安全管理能力( 包括安全审计、监视、进攻识别和相应) ， 提高了信息安全基础结构的完整性。入侵检测被认为是防火墙之后的第二道安全 闸门，在不影响网络性能的情况下能对网络进行监测，从而提供对内部攻击、外 部攻击和误操作的实时保护。 在网络安全体系中，i d s 是唯一一个通过数据和行为模式判断其是否有效的系 统，如图2 1 所示，防火墙就像一道大门，可以阻止一类人群的进入，但无法组织 同一类人群中的破坏分子，也不能阻止内部的破坏分子；访问控制系统可以不让 低级权限的人做越权工作，但无法保证高级权限的人不做破坏工作，也无法阻止 低级权限的人通过非法行为获得高级权限；漏洞扫描系统可以发现系统和网络存 在的漏洞，但无法对系统进行实时扫描。 1 0 第二章入侵检测简介 图2 1 入侵检测的作用 总的来说，i d s 的作用和功能如下： ( 1 ) 监控、分析用户和系统的活动； ( 2 ) 审计系统的配置和弱点； ( 3 ) 评估关键系统和数据文件的完整性： ( 4 ) 识别攻击活动的模式； ( 5 ) 对异常活动进行统计分析； ( 6 ) 对操作系统进行审计跟踪管理，识别违反规则的用户活动； 对一个成功的i d s 来讲，它不但可以使系统管理员时刻了解网络系统( 包括 程序、文件和硬件设备等) 的任何变更，还能给网络安全策略的制订提供指南。 更为重要的一点是，它应该管理、配置简单，从而使非专业人员非常容易地获得 网络安全。而且，入侵检测的规模还应根据网络威胁、系统构造和安全需求的改 变而改变。i d s 在发现入侵后，会及时做出响应，包括切断网络连接、记录事件和 报警等。 2 3 入侵检测的分类 根据进行入侵检测所依据的数据源不同，可将入侵检测系统分为基于主机的、 基于网络的两种。以主机的日志、配置文件作为主要检测源的i d s 叫做基于主机 的i d s ，在被监视网络的网络分组流中寻找这些特征时被称为是基于网络的系统。 电子科技大学硕士学位论文 两者都有各自的优点和缺陷。此外，许多其它类型的数据源，如防火墙、识别和 认证、访问控制以及其他安全设备或子系统产生的活动日志，也是入侵检测系统 可能的数据来源。 2 3 1 基于主机的入侵检测系统 基于主机的入侵检测系统具有如下的优点：较易检测主机系统的实时运行状 态和变化；不受日益增长的加密通道应用的影响；与基于网络i d s 相比，所要分 析的数据量小得多，特别是随着高速网络应用的不断发展，这一优势更加明显。 相应地带来检测效率和检测准确性较高的优点。 基于主机的入侵检测系统有以下缺陷：要审计的信息条目和要记录的数据详 细程度使得入侵检测率产生偏差。如果分析技术涉及查找审计记录中的特定模式 来作为入侵的暗示，对重要数据的审计失败将导致系统不可能检测到某些入侵。 许多现代操作系统提供了极为丰富的审计数据；但是，收集的数据越详细，收集 过程越影响系统性能，同时需要更多的空间来存储数据。如果数据收集发生在一 台监视主机上，将会极大影响主机的监视功能，离线分析也会深受收集到的大量 数据的影响。同时，收集过少的数据信息会增大漏过攻击的风险。由于缺乏分辨 入侵活动的理论基础，只有基于经验的专用技术是可行的。基于主机的入侵检测 系统的移植性差，而且要随着操作系统版本的升级而作相应更改。 2 3 2 基于网络的入侵检测系统 作为对基于主机i d s 的一种替代，基于网络的i d s 以网络数据作为入侵检测的 数据分析源，它有着如下的优点：基于主机的i d s 只能应用到一台主机，因为它是 操作系统相关的，而如果适当放置一个基于网络的i d s 监视器，可以为多个主机进 行检测，因为它独立于操作系统，且相对于操作系统来说网络协议有更统一的标 准；构造一个基于网络的数据收集系统直观容易，只需要将主机的网络设备设置 为混杂( p r o m i s c u o u s ) 模式，系统将收集流经它所连接到的网络的数据，可以根 据预定义规则过滤，以收集部分网络数据，l i b p c 印库正是用于这个目的；审计数 据往往不能及时可用，而网络数据则是实时可用于检测；审计数据是脆弱的，一 些入侵者可以终止审计守护进程或是修改审计记录，而网络数据可避免这样的厄 运；相对于收集审计数据会影响主机性能，基于网络的i d $ 独立于主机，不依赖于 系统管理员对主机的配置，不对主机性能造成影响； 1 2 第二章入侵检测简介 基于网络的入侵检测系统也有其局限性：无法检测来自系统内部控制台的攻 击和在网络数据包中无异常而只能通过主机状态的异常变化才能反映出来的攻 击；由于进行网络协议分析和模式识别，基于网络的i d s 计算复杂度较高；难以检 测加密连接，严重依赖于高层协议( 如应用层) 的解析能力( 应用程序的知识则 通常不是应该由它考虑的) ，不知道接收主机对数据包的处理过程以及由此引起的 状态变化。另外，由于处理大量的网络数据包，内存存取周期成为系统瓶颈。这 些因素对系统的检测能力有较大的影响。 2 4 入侵检测技术 根据采用的检测技术，可将入侵检测技术分为异常入侵检测技术( a n o m a l y d e t e c t i o n ) 和误用入侵检测技术( m i s u s ed e t e c t i o n ) 。 2 4 1 异常检测技术 异常检测，也称为基于行为的检测。其基本前提是：假定所有的入侵行为都 是异常的。原理：首先建立系统或用户的“正常 行为特征轮廓，通过比较当前 的系统或用户的行为是否偏离正常的行为特征轮廓来判断是否发生了入侵。而不 是依赖于具体行为是否出现来进行检测的，从这个意义上来讲，异常检测是一种 间接的方法。 假如给定入侵模式的具体描述，一个基于异常的检测器能检测出未知的入侵。 对入侵进行描述以支持检测是困难的。描述方法很多，从基于组件、系统行为的 统计模型，神经网络，到其它基于h i s 的人工智能技术等等。基于异常的检测最大 优点是能检测出未知攻击。缺点是需要对系统进行训练，建立系统和用户的“正 常”行为特征库。对入侵进行分类也是非常困难的。a x d s s o n 分类法对此进行了解 决，如表2 1 所示。基于异常的检测技术误报率高，因为自体特征轮廓不便确定和 更新，系统对正常行为和入侵行为的学习不足。 1 3 电子科技大学硕士学位论文 表2 1 基于异常的入侵检测器分类 类型 模型 方法 自学习 非时间序列规则建模 描述统计学 时间序列神经网络 基于免疫 程序化的 描述统计学简单统计学 简单基于规则 门限 默认拒绝状态序列建模 异常检测的关键问题：( 1 ) 特征量的选择。异常检测首先是要建立系统或用户 的“正常”行为特征轮廓，这就要求在建立正常模型时，选取的特征量既要能准 确地体现系统或用户的行为特征，又能使模型最优化，即以最少的特征量就能涵 盖系统或用户的行为特征。( 2 ) 参考阈值的选定。因为在实际的网络环境下，入侵 行为和异常行为往往不是一对一的等价关系，这样的情况是经常会有的：某一行 为是异常行为，而它并不是入侵行为；同样存在某一行为是入侵行为，而它却并 不是异常行为的情况。这样就会导致检测结果的误报和漏报的产生。由于异常检 测是先建立正常的特征轮廓作为判断的参考基准，这个参考基准即参考阈值的选 定是非常关键的，阈值定的过大，漏报率会很高；阈值定的过小，则误报率就会 提高。合适的参考阈值的选定是影响这一检测方法准确率的至关重要的因素。 2 4 2 误用检测技术 误用检测，也被称为基于知识的检测。是指根据已知入侵所独有的模式或特 征，依靠监视特定目标的特定行为，通过对检测数据的模式匹配来判断入侵行为 的发生与否。误用检测的关键是如何发现并表达入侵独有的模式或特征，把真正 1 4 第二章入侵检测简介 的入侵与正常行为区分开来。其基本前提是：假定所有可能的入侵行为都能被识 别和表示。 常用的具体方法有：基于条件概率误用入侵检测方法、基于专家系统误用入 侵检测方法、基于状态迁移分析误用入侵检测方法、基于模型误用入侵检测方法。 为了使基于特征的i d s 检测攻击，它必须拥有一个能与己知攻击模式匹配的攻 击描述。这也许和一个特定的模式与网络包部分匹配那样简单，也许和将多个感 受器输出映射到抽象攻击表示的状态机或神经网络描述一样复杂。如果找到了适 当的抽象表示，基于特征的系统能识别与已知模式抽象等价的先前未出现的攻击。 它们不具备检测真正的新型攻击。有多种方式建立特征，从手动转换攻击表示到 利用带标记的感受器数据进行自动训练或学习。a x e l s s o n 分类法也给出了基于特征 的i d s 分类，如表2 2 所示。 表2 - 2 基于特征的入侵检测器分类 类型 模型 方法 状态建模状态迁移 p e t r i 网 程序化的 专家系统| 串匹配| 基于简单规则i 误用检测是通过将收集到的信息与已知的特征模式库进行比较，从而发现违 背安全策略的行为的。但是它存在一些缺点：( 1 ) 对全新的入侵行为无能为力。因 为它的检测原理针对已知的入侵模式，所以难以对未知行为进行检测，漏报率较 高。( 2 ) 依赖于主机操作系统。因为各类操作系统内部实现原理不同，针对系统的 攻击往往是有针对特定的系统程序和漏洞，例如很多针对w i n d o w s 的攻击或病毒对 l i n u x 系统不构成任何威胁。所以定义一个统一的模式库是困难的。另外无法检测 内部人员的入侵行为，如合法用户的非法操作。 1 5 电子科技大学硕士学位论文 2 5 基于人工免疫的入侵检测现状 最早将人工免疫的一些思想引入入侵检测领域的是f o r e s t ，她提出可将信息安 全问题看成一个更加普遍的问题，即如何区分自我与非我，并于1 9 9 4 年提出了基 于免疫特异性的否定选择算法以用于计算机病毒的检测，为计算机安全领域的应 用提供了理论基础。 1 国外的研究进展 目前，在国外提出基于免疫机制入侵检测模型的代表主要是：新墨西哥大学的 f o r r e s t 、h o f i n e y r d x 组：伦敦大学的k i m 、b e n t l e y d x 组。 f o r r e s t d x 组致力于建立一个计算机免疫系统，提出用否定选择算法来产生成熟 检测器( 类似于达尔文进化论中的优胜劣汰的自然选择算法) ，并首次提出“计算机 免疫学”一词。f o r r e s t d x 组基于免疫机制的入侵检测模型是一个基于网络的入侵检 测模型，整个系统由分布在网络中处于监听状态( “混杂 模式) 的一组主机构 成，每台主机是一个检测检点。在每个检测给点上，用于免疫识别的抗原是由t c p s y n 请求包中的源口地址、目的口地址和服务端v 1 - - 个属性构成的定长为l 的二进 制符号串。模型中的阴性检测子是免疫系统中b 细胞、t 细胞和抗体的综合体，数 据结构与抗原相同，检测子与抗原的互补结合以定长的连续位匹配函数来模拟。 f o r r e s t d x 组还提出了采用连续位匹配函数，提高成熟检测子生成效率的方法【1 0 , 1 1 】。 k i m d x 组描述了否定选择、克隆选择和检测子基因库进化三种免疫机制的应用 1 2 1 3 】。该模型中，用于免疫识别的抗原是一种聚集结构，模型中检测子的结构与 抗原的结构相同，检测子与抗原是否匹配是通过所有各属性的匹配分值之和是否 超过某个阈值而判定的。系统由中枢i d s 和周围二级i d s 组成。在中枢i d s 上存储着 一个用于生成未成熟检测子的基因库，基因库最初是根据有关入侵的先验知识建 立的，然后再利用成功检测到入侵的有效检测子的信息来进化，周围i d s 以中枢i d s 传送的成熟检测子进行入侵检测。 在以上两个模型中，f o r r e s t d x 组的模型较为新颖，研究最为实现、完整和深入。 由于应用了免疫耐受机制( 否定选择) ，该模型采用分布式检测方式，由此带来 了系统的健壮性、多样性、轻量级和可扩展性。不过该模型也有一些不足，主要 是模型中参数较多，且各参数之间的相互关系，与具体应用环境、系统的资源、 数据特点、检测率和效率等因素的关系都不确定，对怎样确定的一组参数值才能 获得较好的检测效果有待进一步研究。k i m , j , 组提出的模型从原理和结构上看尚不 1 6 第二章入侵检测简介 存在问题，有待实验验证。 2 国内的研究进展 国内关于入侵免疫系统的研究，采用了神经网络、数据挖掘、模糊逻辑和遗 传算法、a g e n t 、对象免疫等多项技术，并己经有了相当研究成果。主要有： 赵俊忠等结合多a g e n t 和数据挖掘技术提出了一个基于免疫机制的入侵检测 系统模型，该模型在数据挖掘技术的应用上与别人有所不同，强调不同用户行为 的个体差异。挖掘不同用户个体行为的规律性和不同服务器的配置信息，因此， 获得了较高的检测率和准确性，并将检测范围扩充到了u d p 数据包的检测。 吴泽俊等提出了一个基于免疫的克隆选择算法【1 4 , 1 5 ，对入侵检测的免疫模型 做了一些改进。 国内上述模型虽应用了免疫系统的原理和机制，但有的只用了一部分，缺乏 完整性，并且还主要停留在理论研究和探索阶段，所做的工作较为零散未能形成 连续的和系统性的研究，特别是距离在工程层面上的应用还有一定差距。 2 6 入侵检测的发展未来 过去十多年，d a r p a 发起了多次入侵检测项目工程。他们的目标是开发检测 率超过9 9 ，误报率低于1 的系统。这些系统对已知攻击和未知攻击一样的有效。 但始终没能达标。 当原因还没有完全搞清楚的时候，它们反应了一个基本问题：早期入侵检测 领域的工作基于两个假设。一个是认为一定种类的入侵是显而易见的，以至于写 出它们的检测规则都是很容易的；另一个是用户或程序偏离“正常 行为都被认 为是恶意或入侵活动的征兆。林肯实验室评估实验展示了没有系统对新攻击有着 为人所接受的性能。我们怀疑当前的研究方法不能达到d a r p a 的制定目标，因此 发展有限。 有两个领域需要大量的工作研究。一个是“正常 行为的描述。普遍