（计算机应用技术专业论文）入侵检测中神经网络及ds理论的研究.pdf

摘要摘要随着互联网应用的发展，网络安全日益重要。入侵检测系统( i d s ) 作为和防火墙、加密系统并列的一种安全手段得到了很大的发展。入侵检测技术作为一种主动地安全防护技术，及时地检测各种恶意入侵并在网络系统受到危害时进行响应。入侵检测是一种新兴的网络安全技术，目前正越来越受重视，但是作为一种新兴技术在应用领域的研究还有待探索和完善。人工神经网络是模拟生物神经结构的新型智能系统，它是在生物神经网络理论的基础一h 构成的多个神经元互相连接的网络，主要研究复杂的多维非线性大系统中的信息分布、信息处理的理论和方法，并用于解决实际的工程问题。这门学科的研究使诸如生物学、认知科学、非线性科学等基础学科与计算机、电子学、人工智能、信息处理、模式识别等工程学科有机地结合起来，并且具有广泛的应用前景。在利用林肯实验室的入侵检测测试数据集的基础上，本文采用m i t 林肯实验室对d a r p a 数据集的分类，实现了应用神经网络的方法来对三组分类的异常入侵检测，并将三组分类检测结果利用d s 证据理论方法进行数据融合。并且将融合前后的检测结果进行比较和研究，入侵检测的性能评估指标都有提升，融合后结果基本达到要求。本文主要工作：在借鉴m i t 林肯实验室的入侵检测测试数据集的基础上，对试验数据进行预处理和分类。根据网络连接的不同属性将有用特征进行分组；根据不同特征组，训练神经网络进行初步分类，判断网络连接属性为正常或是恶意入侵，得到最终检测结果，并利用ds 证据理论方法进行数据融合提高检测精度。最后，总结了研究工作中的不足和进一步的工作，并对入侵检测技术的未来的研究方向和发展前景进行了分析。关键词：入侵检测神经网络d - s 证据理论数据融合a b s t r a c ta b s t r a c tw i t ht h ed e v e l o p m e n to ft h ea p p l i c a t i o no fi n t e r n e t ，n e t w o r ks e c u r i t yb e c o m e sm o r ea n dm o r ei m p o r t a n t i n t r u s i o nd e t e c t i o ns y s t e m st h a tp a r a l l e lt h ef i r e w a l l sa n de n c r y p t i o ns y s t e m sa r ep r o s p e r o u s i t sn e c e s s a r yt oe m p l o ya c t i v es e c u r i t yr e s o l u t i o nt od e t e c t i o ni n t r u s i o na n dp r o t e c tn e t w o r kr e s o u r c e si nt i m e h o w e v e ra san e wn e t w o r ks e c u r i t yt e c h n o l o g y , i n r u s i o nd e t e c t i o nt e c h n o l o g yh a sb e c o m et h em a j o rc o n c e r no f n e t w o r ks e c u r i t yr e a s e r a c h i n gf i e l d a r t i f i c i a ln e u r a ln e t w o r k ( a n n ) i san e wt y p eo fi n t e l l i g e n c es y s t e m ，w h i c hi m i t a t e st h eb i o l o g i c a ln e u r a lc o n s t r u c t u r ei ti san e r v e u n i t l i n k e dn e t w o r kb a s e do nt h et h e o r yo fb i o l o g yn e r v en e t s i tm a i n l yr e s e a r c h e st h ei n f o r m a t i o nd i s t r i b u t a t i o na n ds i g n a lp r o c e s si nt h ec o m p l i c a t e dm u l t i d i m e n s i o n a ln o n l i n e a rs y s t e m ，a l s ot h ep r i n c i p l ea n dm e t h o do fs i g n a lp r o c e s s i n g ，a tt h es a w l et i m e ，a p p l i e st h e mt os o l v i n gt h ep r a c t i c a lp r o b l e m si ne n g i n e e r i n g t h er e s e a r c ho nt h i ss u b j e c tc o m b i n e st h ep r a c t i c a lp r o b l e mi ne n g i n e e r i n g t h er e s e a r c ho nt h i ss u b j e c tc o m b i n e st h ef o u n d a r n e n t a ls u b j e c t ss u c ha sb i o l o g y , c o g n i t i v es c i e n c e ，n o n - l i n e rs c i e n c ew i t ht h e s ee n g i n e e r i n gs u b j e c t sl i k ec o m p u t e r ，e l e c t r o n i c s ，a i ，i n f o r m a t i o np r o c e s s i n g ，m o d e lr e c o g n i z i n ga n ds oo n i th a sab r i g h ta p p l y i n gp r o m i s e t h i sp a p e ri m p l e m e n tt h r e eg r o u pi n t r u s i o nd e t e c t i o nb ya p p l y i n gn e u r a ln e t w o r kb a s eo nc l a s so ft e s td a t ao fm i tl i n c o l nl a b t h e nu s e sd se v i d e n c et h e o r ym e t h o dt oe n f o r c ed a t af u s i o nu p o nd e t e c t i o nr e s u l tt og e th i g h e rd e t e c t i o np r e c i s i o n t h ep r i m a r yw o r k ：b a s eo nf e a t u r eo fi n t r u s i o nt e s td a t ao fm i tl i n c o l nl a b ，p r e t r e a t m e n to ft e s td a t aa n dc l a s s e db a s e do nt h ef e a t u r ea t t r i b u t eo fn e t w o r kc o n n e c t t r a i nn e u r a ln e t w o r ka n dg e tp r i m a r yr e s u l td a t ao fi n t r u s i o nd e t e c t i o n ，g e tt h ef i n a l l yc o n c l u s i o n sa n de n f o r c eh i g hd e t e c t i o np r e c i s i o nb yu s i n gd se v i d e n c et h e o r y a tl a s t ，m a k eas u m m a r yo fs h o r t a g eo fr e s e a r c ha n df a r t h e rw o r ka n dd i s c u s st h ew a ya n dt h ed e v e l o p m e n to f t h eu n b o r ni n t r u s i o nd e t e c t i o nt e c h n o l o g y k e y w o r d s ：i n t r u s i o nd e t e c t i o n ，n e u r a ln e t w o r k ，d se v i d e n c et h e o r y ，d a t af u s i o n i i第l 章引言第1 章引言随着计算机网络入侵变得日益普及和复杂化，入侵检测技术作为一种动态的网络安全技术成为当前网络安全研究的热点，并逐渐成为动态网络安全技术中最核一t l , 的技术之一，入侵检测是近年出现的新型网络安全技术，目的是提供实时的入侵检测及采取相应的防护措施，；之所以如此重要是因为它能够阻止黑客入侵。1 1本课题研究的目的和意义互联网络在给人们的生活带来巨大便利的同时也带来了巨大的安全隐患，由于漏洞的不可避兔导致的网络的脆弱性以及政治的、经济的、文化的利益驱动，使得网络安全问题愈演愈烈，而传统的以防火墙为代表的基于t c s e c 模型的静态防护技术无法完全解决网络安全所面临的问题。在这种情况下，被称为网络安全动态防护体系中核心环节的入侵检测系统的研究引起了越来越多研究者和产业界的热情，近几年来，入侵检测系统己经成为安全研究界和产业界所共同关注的焦点。然而，令人遗憾的是，虽然用户对入侵检测系统寄予厚望，但是在实际的应用中，入侵检测系统所起到的作用是不够充分的，离研究者和用户共同期望的目标尚有较大差距。这是因为，当前的入侵检测技术还存在很多不足，无法解决误报率( 对于本来是正常的行为判断为入侵) 和漏报率( 对于本来是入侵的行为判断为正常) 较高的问题，还存在诸如管理、检测效率、智能化程度不足等问题，在下面的章节我们会对这些不足进行详细分析和介绍。入侵检测系统存在的这些不足使得很多用户对入侵检测系统感到失望，根据一次调查结果，用户对入侵检测系统的评价并不是很积极，但是都对入侵检测系统的改进寄予厚望，因为他们能够意识到真正有效的入侵检测系统在安全防护体系中起到核心作用。在这个背景下，我们开展了对入侵检测系统的研究，试图在某些层面上尝试解决入侵检测系统存在问题的有效途径。下面我们将会看到，入侵检测系统存在的不足之处多多，作为一项研究，我们无力也没有成都理工大学硕士学位论文必要把所有问题都考虑进来，而应该把精力集中到某一点或某几点上来。我们把重点集中到克服传统的基于规则库的入侵检测系统所存在的规则库管理问题和精确统计模型的建立问题。为了解决这个问题，我们将把神经网络技术引入到网络入侵检测系统中来，利用神经网络的自学习、联想记忆和模糊运算的能力，尝试克服这些不足之处的有效途径。因此，对基于人工神经网络的入侵检测技术的研究有着重要的理论意义和工程应用价值。其重要意义体现在以下几方面：( 1 ) 利用人工神经网络对外界输入样本的识别、分类能力和联想记忆功能来进行攻击识别，是入侵检测的一个重要的研究方向；( 2 ) 计算机技术的高速发展，为人工神经网络算法的工程实现提供了应用前景，研究更适合入侵检测的改进型人工神经网络算法将推进该应用的发展；( 3 ) 基于人工神经网络的入侵检测系统可以实时监测网络及主机状态，为防范不可预知性入侵提供了可靠保证。1 2 研究与发展现状最早关于入侵检测的工作是由j a m e sp a n d e r s o n 所作的，他在19 8 0年为美国国防部所写的报告被认为是入侵检测系统研究的开创性工作，提出了入侵检测的概念，将入侵定义为“潜在的，有预谋的，未经授权的访问信息，操作信息，致使系统不可靠或无法使用的企图”。该报告的主要思想是提出了一种对计算机系统的风险和威胁的分类方法，给出了一个威胁矩阵模型，并建议把对某些用户的行为分析作为判定系统不正常使用的一个标志，这一建议为下一个入侵检测研究领域的里程碑式的i d e s 项目所采用。1 9 8 4 年，d e n n i n g 等人研究并实现了一个实时的入侵检测系统模型i d e s ，该模型基于用户行为特征轮廓，用统计学方法来描述系统主体相对于系统客体的行为，在技术实现上，该系统采用的是混合结构，包含了一个异常检测器和一个专家系统，异常检测器采用统计技术来刻划异常行为，专家系统采用基于规则的方法检测已知的危害计算机安全的行为，两者结合起来以提高效率和准确度i d e s 的模型是许多入侵检测研究项目的基础，d e n n i n g 在1 9 8 7 年发表的论文被认为是入侵检测的一篇经典之作。2第1 章引言以这些工作为基础，入侵检测系统的研究进入活跃期，一系列关于入侵检测的研究工作很快开展起来，这里不一一详述，主要的项目包括a u d i ta n a l y s i s 项月、d i s c o v e r y 项目、h a y s a t c k 项目、m i d a s 项目等等，这些项目在技术实现上都有自己的特色，其共同点在于都是基于主机的，其信息源主要是来自于操作系统审计踪迹和系统日志记录。进入9 0 年代，网络迅速发展起来，在这种情况下，入侵检测领域的又一个里程碑式的产品n s m 应运而生，网络系统监视器( n s m ) 由加利福尼亚大学d a v i s 分校于1 9 9 0 年开发成功，该系统是第一个监视网络数据流量并把网络数据流作为主要数据源的入侵检测系统，其实现的( 网卡设置为混杂模式到捕俘网络数据到分析出议提取特征) 的总体结构至今仍为许多基于网络的入侵检测系统所采用。入侵检测系统研究领域另一个不得不提的是分布式入侵检测系统d i d s ，该系统是最早的将基于主机检测和基于网络检测结合起来的尝试，9 0 年代中期由多家单位协作研究而成，解决了网络环境下跟踪网络用户和文件以及如何从发生在系统不同层次的事件中发现相关数据和事件的问题，其提出和实现的基于网络和基于主机结合进行入侵检测的思想对今天的入侵检测研究仍具有重要的现实意义。国外入侵检测系统己经进入相对成熟期，己经有很多比较成功的商业化产品，1 9 9 9 年七月，n e t w o r kc o m p u t i n g 发布了有关入侵检测系统市场主流产品的分析比较报告，该报告对入侵检测系统按照基干主机和基于网络的原则进行分类，包括i s s 公司的r e a l s e c u r e ( 基于主机和基于网络) 、a x c e n t 公司的i n t r u d e ra i e r t ( 基于主机) 、c i s c o 公司的n e t r a n g e r ( 基于网络) 、n e t w o r kf l i s h tr e c o r d e r 公司的n f ri d s( 基于网络) 等产品，按照健壮性、体系结构、可定制性、接口等一系列性能指标进行比较，i s s 公司的r e a l s e c u r e 占有压倒性优势。从这份报告中还可以看出，当前入侵检测系统研究的主流是网络型入侵检测系统，这和当前网络环境的普及是密切相关的。国内对入侵检测系统的研究起步较晚，无论理论的原创性还是理论积累都落后于国外的研究。目前处于对国外技术的跟踪研究状态。近年来有一些单位( 包括中科院、清华大学、国防科技大学、中联绿盟、余诺网安、启明星辰) 开展了入侵检测系统的理论研究和产品开发工作。从理论研究来讲，突破性的理论创新还没有出现，从近年来国内基金支持的研究项目来看( 包括基于免疫学入侵检测、攻击分类模式描述、大规模网络环境下的分布式入侵检测等) ，就研究思路而言，与3成都理工大学硕士学位论文国外差距并不是很大；产品方面，主要有清华紫光的入侵检测产品、中联绿盟的冰之眼入侵检测系统、金诺网安k i d s 等。其中，金诺网安的k i d s 是国内最早以入侵检测为方向的博士论文研究课题成果，是同类系统里边性能测试结果最好的入侵检测系统。与国外的入侵检测系统进行比较的评测报告尚未看到，差距应该是有一些，但也不至于很大。从目前国内外入侵检测系统产品的实现来看，有这样几个特点，在信息源上，大都是以网络数据流为主要信息源，8 0 以上的入侵检测系统是基于网络的入侵检测系统；在分析策略上，大都是以基于规则的方法为主：在对网络数据流的处理上，大都是基于协议分析的方法，而不是简单的模式匹配。据公安部计算机信息系统安全产品质量监督检验中心的报告，国内送检的入侵检测产品中9 5 是属于使用入侵模板进行模式匹配的特征检测产品，其他5 是采用概率统计的统计检测产品与基于日志的专家知识库系产品。而智能化异常检测的产品化还处在研究阶段。总体来说，入侵检测系统己经走过了简单进行模式匹配的第一代，进入以规则匹配和协议分析为代表的第二代。在入侵检测系统的理论研究上，神经网络、免疫学、遗传算法、数据挖掘等技术在入侵检测系统中的应用以及入侵检测系统的协作成为热点，第三代入侵检测系统将是把智能化技术和第二代的主流技术结合起来的智能型入侵检侧系统，这也是我们把课题研究定位在探讨神经网络技术在网络入侵检测系统中应用上面的出发点之一。1 3课题来源国家高技术研究发展计划( 8 6 3 计划) 课题1 4 作者主要工作入侵检测方法有很多，本文用的是异常检测的神经网络方法。首先根据网络连接特征的不同属性，对特征值进行分类，再分别训练神经网络对其进行入侵检测，获得检测的初步结果。并对结果进行分析，以提高检测精度。本文工作包括：4第1 章引言f 1 ) 在借鉴m i t 林肯实验室的入侵检测测试数据集的基础上，对试验数据进行预处理和分类。根据网络连接的不同属性将有用特征进行分组；( 2 ) 引入改进b p 算法对网络权值和闽值进行自适应修正，同时使用m a t l a b 的神经网络工具箱对改进后的算法进行性能误差评估，找到最适应的算法去克服传统算法中固有的学习收敛速度慢、容易陷入局部极小等问题，提高入侵检测系统的准确率。( 3 ) 用m a t l a b 的神经网络工具箱对最后形成的网络进行仿真和性能评估。( 4 ) 根据不同特征组，训练神经网络进行初步分类，判断网络连接属性为正常或是恶意入侵，得到检测结果。( 5 ) 利用d s 证据理论方法进行数据融合提高检测精度。1 5 论文章节安排全文共分六章。第一章是绪论，介绍本文所涉及课题的研究背景、意义、国内外研究现状、作者的主要工作以及本文的章节安排。第二章介绍了入侵检测系统所涉及的基础理论知识，介绍了入侵检测系统的技术与分类，以及入侵检测系统的模型和现有入侵检测系统存在的问题。第三章介绍了神经网络的基本原理技术。其主要内容包含以下几个方面：简要地介绍人工神经网络及其基本结构，以及人工神经网络在入侵检测上的应用。第四章其主要内容包含以下几个方面：对本文所用的b p 神经网络及b p 神经网络的学习规则做了概述，并对数据样本进行了研究同时将b p 神经网络应用于入侵行为的检测中。本章和下一章是本文的重点部分。第五章，根据不同特征组利用神经网络进行初步分类，得到最终检测结果，并利用d s 证据理论方法进行数据融合提高检测精度。第六章是全文的工作总结及进一步的工作展望，也是作者今后进一步工作的方向。智能入侵检测技术的研究。入侵检测方法越来越多样化与综合化，尽管已经有智能体、神经网络等在入侵检测领域应用研究，但限于本5成都理工大学硕士学位论文文作者水平，文中难免存在一些缺点和不足之处，敬请读者批评指正。6第2 章入侵检测第2 章入侵检测2 1入侵和入侵检测简介众所周知，几乎所有的计算机系统和网络系统都有设计上的缺陷，这些缺陷会导致安全问题。大量的与安全相关的新闻组以及邮件列表，例如c e r t 、b u g t r a g 、a i t 2 6 0 0 和p h r a c k 等指出：具有相当计算机网络技术的入侵者只要下定决心，一般都能利用系统的安全缺陷侵入系统。而修补所有这些漏洞代价昂贵且几乎不可能的。考虑到不能完全依赖防护为基础的方法，入侵检测成为最后一道安全防线。入侵主要是指任何企图破坏资源的完整性、保密性和有效性的行为。也指违背系统安全策略的任何事件。入侵行为不仅仅指来自外部的攻击，同时更大量的是内部用户的未授权行为，内部人员滥用他们特权的攻击是系统安全的最大隐患。从入侵策略的角度来看，入侵可以分为：企图进入、冒充其他合法用户、成功闯入、合法用户的泄漏、拒绝服务及恶意使用等几个方面。入侵检测是指“通过对行为、安全f = i 志或审计数据或其它网络上可以获得的信息进行操作，检测到对系统的闯入或闯入的企图”。入侵检测是检测和响应计算机误用的学科，其作用包括威慑、检测、响应、损失情况评估、攻击预测和起诉支持。入侵检测技术是为保证计算机系统的安全而设计与配置的一种能够及时发现并报告系统中未授权或异常现象的技术，是一种用于检测计算机网络中违反安全策略行为的技术。2 2 入侵检测技术及分类入侵检测是指从系统内部和各种网络资源中主动采集信息，从中分析可能的网络入侵或攻击，同时做出响应。目前入侵检测的方法一般可分为三种：异常检测、误用检测和混合检测。异常检测方法通过刻划用户行为的轮廓来定义正常用户的模型，如果相对于已有正常轮廓的偏差过大被认为是异常的。相比而言，误用检测方法定义了什么样的特殊用户行为组成误用，使用入侵检测规则来编码和检测己知的入侵检测模式。混合方法则同时使用两种方法。7成都理工大学硕士学位论文1 误用检测方法误用检测( m i s u s ed e t e c t i o n ) ，也被称为基于知识的检测其基本前提是：假定所有可能的入侵行为都能被识别和表示。原理：首先对己知的攻击方法进行攻击签名( 攻击签名是指用一种特定的方式来表示己知的攻击模式) 表示，然后根据己经定义好的攻击签名，通过判断这些攻击签名是否出现来判断入侵行为的发生与否。误用检测方法的优点在于可以准确检测己知的入侵行为，但它不能检测未知的入侵行为。误用检测的关键问题是：入侵行为的表达，即攻击模式和攻击签名的构造，检测过程中的推理模型。通常基于误用检测的系统采用以下方法：基于规则的专家系统：误用检测问题通常被称作是基于规则的传统通用专家系统。在这样的系统中，与定义域相关的决定性知识何在知识库上执行推理的引擎是分离的。其基本思想是：在规则库中每一个检测规则是一个特殊场景的编码，通过以相应的入侵签名进行模式匹配来在审计跟踪数据中检测该场景的出现。基于状态迁移的分析方法：状态迁移分析方法将攻击表示成一系列被监控的系统状态迁移。攻击模式的状态对应于系统状态，并具有迁移到另外状态的触发条件。着色p e t r i 网：使用着色p e t r i 网( c p n e t s ) 来描述和检测入侵模式。在这个模型中，以c p n e t s 来描述入侵，其中上下文是以存在与每个状态中的托肯的颜色来表示。匹配由审计跟踪数据驱动，通过从初始状态往终止一次移动托肯来进行。基于条件概率误用入侵检测方法：它将入侵方式对应于一个事件序列，然后通过观测到事件发生情况来推测入侵出现。这种方法依据是外部事件序列，根据贝叶斯定理进行推理检测入侵。基于键盘监控误用入侵检测方法：该方法假设入侵对应特定的击键序列模式，然后检测用户击键模式，并将这一模式与入侵模式匹配以此就能检测入侵。2 异常检测方法异常检测是建立基于用户和系统活动建立的正常活动轮廓和观察实际用户行为相对于己建立的正常活动轮廓之间的偏差。偏差的程度表示异常与否，如果异常则需要相应提高对相应用户的可疑度。异常检测技术的优点在于可以实现对未知入侵行为的预报能力，在假定度量集选择可靠的情况f ，统计异常检测方法不需要反复修改就8第2 章入侵检测能奏效。但它存在较高的误报率。异常检测方法的关键在于用户行为的建模，闽值的选取及其系统特征量的选择。其技术难点在于：“正常”行为特征轮廓的确定：特征量的选取：特征轮廓的更新。异常检测方法现阶段主要有以下方法实现：基于特征选择异常检测方法：该方法是通过从一组度量中挑选能检测出入侵的度量构成子集来准确地预测或分类以检测到的入侵。基于贝叶斯推理异常检测方法：该方法是通过在任意给定的时刻，测量a 1 ，a 2 ，a n 变量值推理判断系统是否有入侵发生。其中每个a i变量表示系统不同方面的特征( 如磁盘i 0 的活动数量，或者系统中页面出错的数) 。基于贝叶斯网络异常检测方法：它是通过建立起异常入侵检测贝叶斯网，然后将其用作分析异常测量结果。基于模式预测异常检测方法：该方法的假设条件是事件序列不是随机的而是遵循可辨别的模式。这种检测方法的特点是考虑了事件的序列及相互联系。基于贝叶斯聚类异常检测方法：该方法通过在数据中发现不同类别数据集合，这些反映了基本的因果机制( 同类成员比其他的更相似) ，从此就可以区分异常用户类，进而推断入侵事件发生来检测异常入侵行为。基于机器学习的异常检测方法：该方法通过机器学习实现入侵检测，其主要的方法有死记硬背式、监督学习、归纳学习( 示例学习) 、类比学习等。基于神经网络的异常检测方法：神经网络能适应性地学习正常用户和系统活动的模型，而这种学习仅仅依赖于活动数据本身。特别是，它不对所期望的数据统计分布作预言假设，它也不使用描述用户行为固定特征集。因此，基于神经网络的异常检测器克服了修正统计特征的困难，于特征子集的选择好坏无关。2 3 入侵检测系统2 31入侵检测系统的定义入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，简称i d s ) 可以被定义为对计算机和网络资源上的恶意使用行为进行识别和响应的处理系统。9成都理工大学硕士学位论文它通过对计算机系统进行监视，提供实时的入侵检测并采取相应的防护手段。入侵检测系统的目的在于检测可能存在的攻击行为。23 2 入侵检测系统的必要性虽然在网络层有防火墙，在应用层有访问控制来保证系统的安全。然而这些措施都不能替代入侵检测系统。访问控制与防火墙只是验证是否某次对系统或者网络的访问是被允许的，它们对流经系统的信息并不做检查，因此一次合法的访问可以获取超越其权限的非法信息。这个特点使得访问控制和防火墙在以下两种情况时失效：( 1 ) 合法用户获取越权信息，也即内部的入侵行为。( 2 ) 当外部入侵者通过b r u t ef o r c e 等手段获得合法帐号后。通过一定的方法也能对信息流进行控制从而获得更高的安全性。比如b e l ll a p a d u l a 模型能够保证数据私密性，b i b a 模型能够保证数据完整性。但是在系统的可用性与安全性之间存在定的矛盾，例如以上的两种模型都限制了系统的读、写操作，以保证数据私密或完整。如果系统同时采用了这两种模型，那么任何正常操作都会被认为破坏了系统的安全性。因此，一个系统无法既保证自身的绝对安全，又保证自身的可用性。鉴于以上原因，对用户的行为进行动态跟踪，对网络信息流进行动态检查，以检测、防止入侵行为发生的入侵检测系统是必要的。23 3入侵检测系统的分类根据所处理信息的不同来源，入侵检测系统可以分为以下几种类型：1 基于主机的l d s基于主机的i d s ( h o s t b a s e di d s ，简称h i d s ) ，通常是在主机上运行的一个应用程序，它利用操作系统产生的日志一记录( a l l d i tt r a i ls ) ，进程记帐信息、或用户行为信息等作为主要信息源，通过对其进行审计，检测入侵行为。基于主机i d s 不对网络数据包或扫描配置进行检查。早期的系统多为基于主机的，主要用来检测内部网络的入侵攻击。由于基于主机的i d s 依赖于审计数据或系统日志的准确性和完整性以及安全事件的定义，若入侵者设法逃避审计或进行合作入侵，则基于主机的检测系统就暴露出其弱点。特别是在现在的网络环境下，单独地依靠主机审计信息进行入侵检测难以适应网络安全的需求。这主要表现在：( 1 ) 主机的审计信启、弱点，如易受攻击、入侵者可通过使用某些系统特权或调用比审计本身更低级的操作来逃避审计。( 2 ) 不能通过1 0第2 章入侵检测分析主机的审计记录来检测网络攻击( 域名欺骗、端口扫描等) 。因此，基于网络的入侵检测系统对网络安全是必要的，这种检测系统根据网络流量、协议分析、简单网络管理协议信息等数据检测入侵。研究领域中基于主机的i d s 系统包括：i d e s ，n i d e s ，h a y s t a c k ，s t a t ，m i d a s 。通常情况下基于主机的入侵检测系统采用异常检测的办法。一个典型主机i d s 的示意图如下：图1 1 ：典型的主机入侵检测系统2 基于网络的i d s基于网络的i d s ( n e t w o r k b a s e di d s ，简称n i d s ) ，处理的对象是网络数据包，主要用于防御外部入侵攻击。它通过监控出入网络的通信数据流，依据一定规则对数据流的内容进行分析，从而发现协议攻击、运行已知黑客程序的企图和可能破坏安全策略的特征，做出入侵攻击判断。本文中主要讨论的是基于网络的i d s 。基于网络i d s 的主要优点是：首先，平台无关性。它以网络数据作为信息源，而网络传输的数据都是形式统一的i p 报文，与主机平台无关。其次，全局性。由于它通常位于网络的接入点，所有的通信都会通过这里。所以，它的信息源涵盖了整个内部网络。但是基于网络的i d s成都理工大学硕士学位论文也有其固有的缺点，比如难以分析加密数据，难以精确监控用户的行为等等。如下是一个n i d s 系统的示意图：图卜2 ：网络入侵检测系统示意3 基于应用的i d s基于应用的i d s ( a p p l ic a t i o n b a s e di d s ) 主要检查应用程序的行为。基于应用程序的i d s 在应用层收集信息，进行入侵检测。在应用层的信息包括由数据库管理软件、w e b 服务器或防火墙生成的日志文件。它的安全机制主要集中于用户和应用程序之间。由于基于应用程序的i d s 针对特定的应用程序，过于特殊，因而对它的研究较少。值得指出的是，基于应用的i d s 可以直接从具体应用程序中得到数据，因此对于在传输过程中加密处理的应用也有效。而n i d $ 对加密数据是无效的。4 混合型的i d s在实际应用中，i d s 系统往往同时检查主机信息和网络信息，以加强系统的准确率。2 3 4 入侵检测系统的模型d o r o t h yd e n n i n g 于1 9 8 7 年提出了一个通用的入侵检测模型开创了入侵检测这个安全技术的分支。目前的检测技术及其体系均是在此基础上的扩展和细化。该模型由如下六个部分组成：( 1 ) 主体( ( s u b j e c t s ) ：启动在目标系统上活动的实体，如用户；( 2 ) 对象( o b j e c t s ) ：系统资源，如文件、设备、命令等；( 3 ) 审计记录( a u d i tr e c o r d s ) ：由 构成的六元组，活动( a c t i o n ) 是主体对目标的操作，对操作系统而言，这些操作包括读、写、登录、退出等；异常条件( e x c e p t i o n c o n d i t i o n ) 是指系统对主体的该活动的异常报告，如违反系统读写权限：资源使用状况( r e s o u r c e u s a g e ) 是系统的资源消耗情况，如c p u 、内存使用率等；时标( t i m e - s t a m p ) 是活动发生时间；( 4 ) 活动简档( a c t i v i t yp r o f i l e ) ：用以保存主体正常活动的有关信息，具体实现依赖于检测方法，在统计方法中从事件数量、频度、资源消耗等方面度量，可以使用方差、马尔可夫模型等方法实现：( 5 ) 异常记录( a n o m a l yr e c o r d ) ：由组成。用以表示异常事件的发生情况；( 6 ) 活动规则：规则集是检查入侵是否发生的处理引擎，结合活动简档用专家系统或统计方法等分析接收到的审计记录，调整内部规则或统计信息，在判断有入侵发生时采取相应的措施；这六个部分如下图所示相互作用。图卜3 ：通用入侵检侧系统模型2 3 50 ld f 一通用入侵检测框架c i d f ( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ) 是为了在不同的入侵检测系统、入侵响应系统之问共享信息而制定的一套标准。这个项目最初由d a r p a ( d e f e n s ea d v a n c e dr es e a r c ha g e n c y ) 发起，后期主要由商业公司和组织参与。1 3成都理工大学硕士学位论文参与者们希望通过c i d f 标准达到如下目标：( 1 ) 使得i d s 系统各个不同部件或者不同i d s 部件之间所共享的信息尽可能的多。( 2 ) 使得i d s 系统的部件能在不同的环境中方便的重用。在c i d f 中，入侵检测系统被分为几个通过消息通讯的独立部件，包括：事件产生器( e b o x e s ) 、事件分析器( a b o x e s ) 、事件数据库( d b o x e s ) 和响应单元( r b o x e s ) 。这些部件之间通过c i d f 所定义的c i s l ( c o m m o ni n t r u s i o ns p e c i f i c a t i o nl a n g u a g e ) 来相互通信。c i s l 定义了通讯时所要遵循的语法以及消息格式。组件之间交换信息是通过通用入侵检测对象( g e n e r a l i z e di n t r u s i o nd e t e c t i o no b j e c t s ，简称g i d o s )来进行的。一个g i d o s 对象通过一定编码携带如下信息之一：在某个时间产生的某个事件、通过一系列的事件得出某种结论或者进行某种响应动作的指令。g i d o s 对象的格式由c i s l 定义。事件产生器用来产生g i d o s 对象，供其它部件使用。事件分析器对产生器所产生的g i d o s 对象进行分析，判断是否发生了某种异常、是否有特定的入侵发生等等。分析的结果也封装到g i d o s 中去，事件数据库用来存储g i d o s o 。四个部件之间的信息流可以用下图来表示：图1 4 ：c ld f 中各部件关系图需要指出的是自2 0 0 0 年，c i d f 研究组就不再活跃了。在c i d f 的基础上i e t f ( i n t e r n e te n g i n e e r i n gt a s kf o r c e ) 的i d w g ( i n t r u s i o nd e t e c t i o nw o r kg r o u p ) 重新定义了i d s 系统之间传递信息的语法和格式，并发布了两个r f c 文档草稿。第2 章入侵检测2 4 现有入侵检测系统的问题目前主流的入侵检测系统( i d s ) 大都采用误用检测技术，这种技术类似于病毒检测技术，这些i d s 只能检测己知的入侵攻击类型。对未知的入侵方式基本束手无策。误用检测是对己知的入侵方式进行匹配加以识别，之后报警或者是攻击入侵者。用之匹配的特征码是由安全专家对入侵的方式经过分析，人工编成特征码。人工分析方法虽然准确且识别效率较高，但效率非常低，显然不能应付层出不穷的入侵方法。最好的方法是利用计算机系统强大的运算和分析能力来分析产生入侵特征规则，但是现代的计算机并非智能计算机，不能作人脑类似的智力活动，好在一般入侵行为主要由入侵者操纵入侵软件或设备完成，入侵者入侵方式可以多种多样，但入侵软件的运行及产生的网络数据还是有其独特性和规律性的，正是这一点，可以使计算机系统在一定的软件算法支持下可以对入侵行为分析。入侵的方式虽然多种多样，但从入侵过程在网络上传递的数据的表现形式来讲大致分为三种形式( 因为互联网协议是t c p i p 协议，网络层传递的是i p 数据报，网络层上的传输层主要是两个协议，t c p 协议和u d p 协议，一个是面向连接的协议，另一个是数据报服务) 。第一种形式表现为网络分组数据本身。一般来说，不同协议的网络数据分组一般分协议首部和数据两部分，协议首部包含用于本网络分组在网上传输的相关管理和控制信息。数据部分负载的信息一般分两种：一种是协议控制和管理信息，一种是数据信息。协议首部和数据部分负载的协议控制和管理信息不同的协议对其有严格的规定。而数据信息则产生于各种网络应用程序，可以是普通的二进制数据序列，可以是字符串序列。在i p 网络分组层次，由于i p 网络分组封装的内容主要包括i c m p ( i n t e r n e t 控制报文协议) 、1 g m p ( i n t e r n e t 组管理协议)以及上层协议t c p ( 传输层控制协议) 和u d p ( 用户数据报协议) 。大多数的i n t e r n e t 入侵也都是通过这四种阱议形式。入侵过程网络分组从协议首部数据和内容都可能有区别于正常访问的特征。例如，有些软件存在b u g ，其中有一类被称为缓冲区溢出，我们读来的几乎所有的安全漏洞归于这一类。一个典型的例子是一个开发人员设定了一个2 5 6 字符长的缓冲区来存储用户名。开发人员想当然的认为没有人的名字比这个长。但是“黑客”想，如果我输入一个错误的很长的用户名会发生什么呢? 附加的字符会去哪里? 如果“黑客”恰巧发送3 0 0 个字符，成都理工大学硕士学位论文包括了被服务器执行的代码，并通过这种方式最终“黑客”侵入了系统。而在这种方式中网络分组的长度肯定和正常分组的长度有所区别。而长度是网络分组首部的一个字段。另外一个例子如下：s y n s c a n 是一个流行的用于扫描和探测系统的工具，由于它的代码被用于创建蠕虫r a m e n 的开始片断而在2 0 0 1 年早期大出风头。s y n s c a n 的执行行为很具典型性，它发出的信息包具有多种可分辨的特性，包括：不同的来源i p 地址信息t c p 来源端口2 1 ，目标端口2 1 服务类型0i p 鉴定号码39 4 2 6 ( i pi d e n t i f i c a t i o nn u m b e r )设置s y n 和f i n 标志位不同的序列号集合( s e q u e n e en u m b e r ss e t )不同的确认号码集合( a c k n o w l e d g m e n tn u m b e r ss e t )t c p 窗口尺寸1 0 2 8只具有s y n 和f i n 标志集的网络数据分组，这是公认的恶意行为迹象。没有设置a c k 标志，但却具有不同确认号码数值的数据包，而正常情况应该是0 。来源端口和目标端口都被设置为2 1 的数据包，经常与f t p 服务器关联。这种端口相同的情况一般被称为“反身”( r e f l e x i v e ) ，除了个别时候如进行一些特别n e t b i o s 通讯外，正常情况下不应该出现这种现象。“反身”端口本身并不违反t c p 标准，但大多数情况下它们并非预期数值。例如在一个正常的f t p 对话中，目标端口一般是2 l ，而来源端口通常都高于1 0 2 3 。t c p 窗口尺寸为1 0 2 8 ，i p 鉴定号码在所有数据包中为3 9 4 2 6 。根据i p r f c 的定义，这2 类数值应在网络数据分组间有所不同，因此，如果持续不变，就表明可疑。第二种形式表现在网络分组与分组的关系( 分组序列) 方面分析会发现：在某些入侵方式下，尽管单个数据分组是符合r f c 标准的，但连续的一串分组的序列和正常序列不同。因为在网络上传送的数据分组并非任意而是根据相应的协议发送的，分组的序列必有其规律性，例如要完成一个一个t c p 连接必然要完成必要的三次握手过程。但在某些入侵中的攻击方式下：比如拒绝服务( d e n i a l o f - s e r v i c e ) ( d o s ) 攻击，和某些扫描方式，他们不完成t c p 建立连接的三次握手过程，仅仅通过向目标计算机发送s y n 报文，达到阻塞或扫描t c p 端口的目的。在这种情况下，入侵计算机发出的每一个s y n 报文的是正常的数据分组，但其连续的系列数据分组显然和正常的访问序列有很大的差异。1 6第2 章入侵检测第三种形式则是针对网络连接的统计特征的。某些入侵或攻击从其数据分组的表现来讲，其单个分组表面上和正常分组并无二致，短时间的分组序列也符合正常的网络传输协议。但对一定时间段内或一定长度的网络连接进行各种方式的统计，则会形成独特统计特征从而可以和和正常网络访问区别开来。比如最初级的t c p 端口扫描技术，就是通过对t c p 常用端口进行短暂连接，得到反馈，再断开，之后通过对反馈进行分析来发现目标机的安全性弱点。这种扫描表现为在短时间内对同一台主机的各个t c p 端口有规律的高频率的连接断开。对其进行连接统计，比如单位时间的连接频率，单位时间内不同端口连接的比率。显然通常的网络访问不可能达到这么高的连接频率，也不可能在短时间内访问多个端口。1 7成都理工大学硕士学位论文第3 章人工神经网络的基本原理3 1 人工神经网络简介1 9 4 3 年心理学家w m c c u l l o c h 和数理逻辑学家w p i t ts 首先提出了一个简单的神经网络模型一一m p 模型。这个模型可毗实现一些逻辑关系。虽然该模型过于简单，但它为进一步的研究打下了基础。1 9 4 9 年d 0 h e b b 首先提出了一种调整神经网络连接权的规则，通常称为h e b b 学习规则。其基本思想是：当两个神经元同时兴奋或同时抑制时，则它们之间的连接强度便增加。现在仍有不少神经网络采用这样的学习规则。1 9 5 8 年f r os e n b l