（计算机应用技术专业论文）基于异常模式的入侵检测系统研究.pdf

摘要 入侵检测系统是计算机网络安全的重要组成部分，它实现对入侵信息实时 检测的功能。入侵检测系统一般采用基于网络的、误用检测技术。采用误用检 测技术的优点是精确；但它的主要弱点是速度上的限制和对新的攻击无能为力。 异常检测技术能够检测到新的攻击行为，是入侵检测系统发展的热点，是误用 检测技术的有益补充。但这种技术方法目前还不是很完备，还处于研究热点之 中。本文所研究的入侵检测系统是基于网络的，采用异常检测技术。 本论文在分析了目前常用的异常入侵检测方法和网络入侵攻击手段的基础 上，提出了一种基于异常模式的入侵检测系统，它从两个方面来实现异常检测。 一方面是对异常数据包的检测，另一方面是对异常网络流量来进行检测。 在运用数据挖掘中的关联分析算法对网络连接记录进行分析中，根据入侵 检测的具体情况，对标准的a p r i o r i 算法进行了修改，排除了一些无意义的规则。 并提出了一种运用得到的规则进行检测的方法，提高了系统检测的速度，降低 了系统资源的使用率，比较适合于目前的高带宽大流量的网络环境。 在运用数理统计的方法对数据包流量进行检测中，通过统计每台机器在各 个时间段内的数据包流量，与当前流量比较，计算异常行为的异常度，当异常 度超过指定的阀值就产生报警。该模块是从“宏观”的角度来监测网络行为， 可以有效地发现以消耗网络带宽和系统资源为手段的拒绝服务攻击，有效地弥 补了关联分析算法的不足。 关键字：入侵检测系统，异常检测，关联规则，异常流量，异常数据包 a b s t r a c t i n t r u s i o nd e t e c t i o ns y s t e m ( 1 d s ) i sa ni m p o r t a n tp a r to fc o m p u t e rs e c u r i t y , w h i c hi m p l e m e n t sr e a l - t i m ed e t e c t i o nf o ri n t r u s i o ni n f o r m a t i o n i ng e n e r a l ，i d sa r e n e t w o r k - a n d ，s i g n a t u r e b a s e dd e t e c t i o n t h ea d v a n t a g eo fs i g n a t u r e - b a s e dd e t e c t i o n i sa c c u r a c ya n dp r e c i s i o n ；b u ti t sd i s a d v a n t a g ei st h ed i s a b i l i t yt od e t e c tn o v e la a a c k s a n dc a n n o th a n d l eb i gt r a f f i c a b n o r m a l l y - b a s e dd e t e c t i o nc a nd e t e c tn o v e la t t a c k s ，i s an e wt r e n do fi d s ，a n dau s e f u ls u p p l e m e n tt os i g n a t u r e - b a s e dd e t e c t i o n b u ts of a r , a b n o r m a l l y b a s e dd e t e c t i o ni s n o ty e tp e r f e c t t h ep a p e rd i s c u s s e sn e t w o r k a n d a b n o r m a l l y - b a s e dd e t e c t i o n b a s e do nt h er e s e a r c ho nt h ei n t r u s i o nd e t e c t i o nt e c h n o l o g ya n di n t r u s i o n m e t h o di nc o m m o nu s e ，aa b n o r m a l l y - b a s e di n t r u s i o nd e t e c t i o ns y s t e mi sp r o p o s e d i nt h ep a p e r , w h i c hu s et w om e t h o d st o i m p l e m e n ta b n o r m a ld e t e c t i o n o n e i s a n a l y s i sa b n o r m a lp a c k e t s ，t h eo t h e ri sa n a l y s i sa b n o r m a ln e t w o r kf l o w i nc o n n e c t i o nr e c o r da n a l y s i s ，t h es t a n d a r da p r i o r ia l g o r i t h mi sm o d i f i e da n dt h e i n f l u e n c ec a u s e db yo u t l y i n gf a c t o r si se l i m i n a t e da c c o r d i n gt ot h ec i r c u m s t a n t i a l i t i e s i ni n t r u s i o nd e t e c t i o n a ni n t r u s i o n d e 。t e c t i o nm e c h a n i s ma d a p t e dt ot h ec u r r e n t c i r c u m s t a n c e sw i t hh i g hb a n d w i d t h 、a n dl a r g ef l o wi sp r o p o s e d ，w h i c hc a ne n h a n c e t h ei n t r u s i o nd e t e c t i o ns p e e da n dl o w e rt h es y s t e mr e s o u r c e su s a g e i nd a t ap a c k e tf l o wd e t e c t i o n ，t h ea v e r a g ed a t ap a c k e tf l o wi ne v e r yt i m e i n t e r v a l b ye v e r yc o m p u t e ri nn e t w o r ki sa c q u i r e dw i t hd y n a m i cu p d a t i n gt h r o u g hs t a t i s t i c s m e a n s ，w i t hw h i c ht h ef l o wa n o m a l yd e t e c t i o ni sc o n d u c t e db yc o n t r a s t i n gt h ec u r r e n t f l o w a n dc a l c u l a t e st h ed e g r e eo f a b n o r m i t y w h e nt h ev a l u eo f a b n o r m i t yi sb i g g e r t h a nt h e t h r e s h o l d ，a n a l y z i n gd a t am a i n l yr a i s et h ea l a r m t h ep a c k e tf l o w m o n i t o r i n gi sa b l et od e f e c t i v e l yd e t e c tt h en e t w o r kf l o wa n o m a l yc a u s e db ym o s to f d e n i a lo fs e r v i c e sa t t a c k ，w h i c ha t t a c k st h en e t w o r kt h r o u g h d e p l e t i n gt h eb a n d w i d t ha n ds y s t e mr e s o u r c ea n dm a k e su pf o rt h ed e f i c i e n c yo fa s s o c i a t i o nr u l e s a n a l y s i sa l g o r i t h m k e y w o r d s ：i n t r u s i o nd e t e c t i o ns y s t e m ，a b n o r m a l l yd e t e c t i o n ，a s s o c i a t i o nr u l e s ， a b n o r m a l l yn e t w o r kf l o w ，a b n o r m a li pp a c k e t s 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得 的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经 发表或撰写过的研究成果，也不包含为获得苤鲞盘堂或其他教育机构的学 位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己 在论文中作了明确的说明并表示了谢意。 学位论文作者签名，日皑硝+ 签字目期：岔c 形年夕月，日 学位论文版权使用授权书 本学位论文作者完全了解叁壅盘堂有关保留、使用学位论文的规定。 特授权墨盎盘茔可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学 校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：7 司佃习 签字日期：汹摔 月， 日 导师签名：吝蛹 签字日期：1 。6 年7 月日 第一章绪论 1 1 引言 第一章绪论 随着计算机网络的飞速发展，网络与信息的安全问题日益突出。由于 i n t e r n e t 本身设计的缺陷以及开放性，使得黑客入侵攻击，信息泄密以 及病毒泛滥越来越严重，所带来的危害引起了世界各国的高度重视，据 美国安全部门统计，i n t e m e t 上有9 8 的计算机曾遭受到黑客的攻击性分析，5 0 的计算机被黑客成功入侵过，而被入侵的机器中2 0 的管理员并未发现自己曾 经被入侵过。因此，网络信息的安全已成为急待解决，影响国家大局和长远利 益的关键问题，网络的安全性已经成为阻碍i n t e r n e t 发展的重要因素之一为了 保护信息系统的安全，人们提出了很多的信息安全防御机制，如可以通过访问 控制、认证、信息加密、防火墙等安全措施来保护计算机和网络不被入侵和非 法使用。但是这种策略对于来自内部的非法操作、口令或密钥的泄漏、软件的 缺陷以及拒绝服务攻击是无能为力的；近年来流行的结合包过滤、应用层网关 及虚拟网技术的防火墙防止了许多诸如地址仿冒等多种攻击手段，并提供了安 全的数据通道，但是它们不能对付层出不穷的应用层后门，应用设计缺陷和通 过加密通道的攻击；而为了解决用户对信息系统使用的方便性和严格控制之间 的平衡问题，也使得系统不可能完全安全。因此，在考虑用户使用信息的方便 性的同时，还应该重视提高系统的入侵检测能力以及系统遭到入侵破坏以后的 快速恢复能力。入侵检测( i n t r u s i o nd e t e c t i o n ) 就是在此需求下应运而生的。 入侵检测作为传统安全技术的有效辅助手段，已经成为计算机系统及网络 安全的研究热点。入侵柃测有别于传统的安全防御机制，它是用于检测任何危 害或企图危害信息系统保密性、完整性和可用性行为的一种安全技术。采用异 常检测( a n o m a l yd e t e c t i o n ) 或误用检测( m i s u s ed e t e c t i o n ) 的方式，通过对计 算机和网络资源上的恶意行为进行识别和处理，能够在网络系统受到危害之前 拦击和响应入侵。它不仅可以检测来自外部的入侵行为，也可以找出内部非授 权活动，作为一种积极主动的安全防护技术，入侵检测可以与传统的安全防御 第一章绪论 机制共同构筑成计算机信息系统安全管理模型，由于入侵检测系统可以弥补防 火墙等传统技术的不足，从某种意义上说是防火墙的补充，目前已经成为网络 安全中的一个研究热点。 1 2 网络安全防护技术 网络安全是指网络系统中的硬件、软件及系统中的数据受到保护，不受偶 然或恶意的原因而遭受破坏、更改、泄漏，系统安全连续可靠正常运行，网络 服务不中断。网络安全从本质上讲就是网络上的信息安全。 网络安全体系保证网络信息的安全，包括机密性( c o n f i d e n t i a l i t y ) ，完整性 ( i n t e g r i t y ) 、可用性( a v a i l a b i l i t y ) 、真实性( a u t h e n t i c i t y ) 。当今世界，有大量的研 究机构、社会团体、商业公司和政府部门投入到网络安全的研究，并将此纳入 到一个被称为信息安全的研究领域。网络安全防护技术主要包括基于密码学的 安全措施和非密码体制的安全措施，前者包括：数据加密技术、身份鉴别技术 等。后者则有：防火墙、路由选择、反病毒技术等。 ( 1 ) 访问控制技术 访问控制是从计算机系统的处理能力方面对信息提供保护机制，它按照事 先确定的规则决定主体对客体的访问是否合法。当一主体试图非法使用一个未 经授权的资源时，访问机制将拒绝这一企图，并将这一事件记录到系统日志中。 访问控制技术的主要任务是保证网络资源不被非法使用和访问，它是保证网络 安全的重要策略之一。 ( 2 ) 防火墙技术 防火墙就是一个或一组网络设备，其工作方式是将内联网络与因特网之间 或者与其他外联网络间互相隔离，通过加强访问控制，阻止区域外的用户对区 域内资源的非法访问。使用防火墙可以进行安全检查、记录网上安全事件，隐 藏用户地址等，在维护嘲络安全的过程中起着重要的作用。 ( 3 ) 入侵检测技术 入侵检测是近年来才被社会关注的一个重要课题。最初，网络安全的解决 方法是利用防火墙或者代理服务器等设备进行防护，但是这些方法只能将一部 分的网络攻击拒之门外。这种网络配置足静态的，不能随着时间和外界应用的 第一章绪论 变化而变化，导致有很多的漏洞不能及时补救。一旦入侵者绕过防火墙或者利 用系统的漏洞攻入网络，这种配置对入侵者而言将变得毫无意义。而且防火墙 和代理服务器无法应付来自网络内部的攻击，基于上述原因，人们提出了入侵 检测技术。 入侵检测技术是继防火墙、数据加密等传统安全保护措施后的新一代安全 保护技术。1 9 8 0 年以后人们才对入侵检测进行了大量的研究和开发。这方面的 研究已经产生了广泛的解决策略以达到入侵检测的目标。它从系统内部和网络 中收集信息，从这些信息中分析计算机系统中的安全问题，并根据用户的定义 对攻击作出相应的处理。同时，在对计算机网络犯罪行为举证的过程中，入侵 检测是不可缺少的技术基础。进一步的研究表明，在今后的网络安全应用方案 中，以入侵检测系统为中枢、控制其它策略产品、有针对性的发挥其各自最大 的作用，将成为必然的趋势。 ( 4 ) 数据加密技术 数据加密是网络安全中采用的最基本的安全技术，目的是保护数据、文件、 口令以及其它信息在网上安全传输，防止窃听。网络中的数据加密，除了选择 加密算法和密钥外，主要问题是加密的方式以及实现加密的网络协议层次和密 钥的分配和管理。按照收发双方密钥是否相同，可以将这些加密算法分为对称 密码算法和公钥密码算法两种。对称密码算法中，收发双方使用相同的密钥。 比较著名的对称密码算法有：美国的d e s 、欧洲的i d e a 等。对称密码算法有 保密强度高，加密速度快的优点，但其密钥的分发则是一个比较复杂的问题。 在公钥密码中，收发双方使用的密钥互不相同，而且几乎不可能从加密密钥推 导出解密密钥。比较著名的公钥密码算法有：e c c 、r s a 等，其中以r s a 算法 应用最为广泛。 ( 5 ) 鉴别技术 鉴别技术可以验证消息的完整性，有效的对抗冒充、非法访问等威胁。按 照鉴别对象的不同，鉴别技术可分为消息源鉴别和通信双方互相鉴别，按照鉴 别内容的不同，鉴别技术可分为用户身份鉴别和消息内容鉴别。鉴别的方法有 很多种，主要有通过用户标识和口令、报文鉴别、数字签名等方式。 ( 6 ) 反病毒技术 第一章绪论 计算机病毒是一小段具有极强破坏性的恶意代码，它可以将自身纳入其它 程序中，以此来进行隐蔽、复制和传播，从而破坏用户的文件、数据甚至硬件。 从广义上讲，它还包括逻辑炸弹、特洛伊木马和系统陷阱等。计算机病毒的主 要传播途径有：文件传输、软盘拷贝及电子邮件等。 1 3 研究的目的和意义 入侵检测系统作为网络安全问题的一种解决方案，由于它具有对网络系统 进行主动监测以发现入侵行为的特点，已成为继防火墙，数据加密等传统安全 保护措施后的新一代安全保护技术。 目前大部分的入侵检测系统主要使用基于误用的检测方法，如i s s 公司的 r e a l s e c u r e 、n f r 公司的n e t w o r kf l i g h tr e c o r d e r ，以及开放源代码的s n o r t 等入 侵检测产品。这些入侵检测系统主要是根据入侵特征库来检测入侵，检测技术 比较成熟，对于已知的入侵攻击行为能够精确地检测出来。其主要缺点是难以 发现未知的入侵行为以及已知入侵行为的变种。基于异常的入侵检测正好能弥 补这个不足，但是由于缺乏精确的判定系统是正常或异常的准则，使得目前的 异常检测技术还处在理论和研究的阶段，必需借鉴数据挖掘、人工智能等其他 学科的知识。 在我国，入侵检测尚处于起步阶段，与国外的技术水平还存在差距。本文 的研究目的即是研究基于异常模式的入侵检测相关技术，并综合数理统计、数 据挖掘等学科的知识，研究了一个基于异常模式的入侵检测系统的设计方案， 其意义表现在： l 为公司，企业，学校的内部网络提供入侵检测方案，监控和抵御来自内 部和外部的入侵行为。 2 球目前的入侵检测产品在异常检测方面还存在着不足，深化本课题的研 究有助于相关产品的研发和应用，具有一定的市场潜力。 第二章入侵检测系统概述 第二章入侵检测系统概述 2 1 入侵检测系统的定义 入侵检测的概念最早是由j a m e sa n d e r s o n 在1 9 8 0 年提出来的1 1 1 。他将入侵 尝试或威胁定义为：潜在的，有预谋的，未经授权访问和操作信息，致使系统 不可靠或无法使用的企图。1 9 8 7 年，d o r o t h yd e n n i n g 2 1 首次将入侵检测的概念 作为一种计算机系统安全防御措施提出来，与传统的加密和访问控制的方法相 比，入侵检测是全新的计算机安全措施。他同时也提出了一种通用的入侵检测 系统( i n t r u s i o nd e t e c t i o ns y s t e m ，i d s ) 的抽象模型，为以后的入侵检测产品 研制奠定了良好的基础。1 9 9 0 年，h e b e r l e i n l 3 1 等人提出了一个全新的概念：基于 网络的入侵检测，它与此前基于主机的入侵检测系统最大的不同在于它不检测 主机系统的审计记录，而是通过在局域网上主动地监测网络数据包来追踪可疑 的行为。 入侵检测( i n t r u s i o nd e t e e t i o n ) 的定义为：识别针对计算机或网络资源的恶 意企图和行为，并对此作出反应的过程。一个入侵检测系统包含3 个方面的组 件1 1 】： ( 1 ) 提供事件记录流的信息资源； ( 2 ) 发现入侵事件的分析引擎； ( 3 ) 对分析引擎的输出作出反应的响应组件； i d s 能够检测未授权对象( 人或程序) 针对系统的入侵企图或行为，同时监 控授权对象对系统资源的非法操作。入侵检测作为一种积极主动的安全防护技 术，提供了对内部攻击、外部攻击和误操作的实时保护，在主机网络系统受到 危害之前拦截和响应入侵。执行入侵检测任务的程序就是入侵检测系统。它是 通过检查特定的攻击模式、独立事件、配置问题、欺骗程序、存在缺陷的程序 版本和其他黑客可能利用的漏洞来监控和安全有关的活动。 2 2 入侵检测系统的发展方向 尽管近年来i d s 随着网络技术和相关学科的发展而日趋成熟，已经取得了 第二章入侵检测系统概述 较快的发展，出现了很多新型的检测模型和检测算法，但要开发出成熟、实用 的入侵检测系统，仍然有许多关键技术需要进一步研究、提高和改善。总的来 看，入侵检测技术的发展方向主要集中在以下几个方面旧： l 大规模分步式的入侵检测系统以及异构系统之间的协作和数据共享。网 络交换技术的发展以及通过加密信道的数据通信使通过共享网段侦听的网络数 据采集的方法难以应付自如，巨大的通信量对数据分析提出了额的要求。基于 分步式的多层次入侵检测系统可以很好的解决这个问题。结合分步式技术和网 络技术，分步式网络环境下的入侵检测系统将成为未来的一个研究热点。 2 入侵检测系统的自身保护。目前入侵检测系统面临自身安全性的挑战， 一旦系统中的入侵检测部分被入侵者控制，整个系统的安全防线将面临崩溃的 危险。如何防止入侵者对入侵检测系统功能削弱乃致破坏的研究将在很长时间 内持续下去。 3 入侵检测与其它安全技术的结合。目前，信息安全受到前所未有的挑战， 网络攻击的复杂性对入侵检测系统提出了较高的要求，单纯依靠入侵检测系统 很难检测所有的攻击，必须与传统的安全防御措施相结合，从管理、网络结构、 防火墙、病毒防护、入侵检测等多方面，对所关注的刚络作全面的评估，共同 对抗入侵行为，提供完整的网络安全保障。 2 3 入侵检测系统的分类 入侵检测系统可以从不同的角度进行分类，主要有以下几种分类方法： 根据检测的数据来源可以分为基于主机的入侵检测系统( h i d s ) 和基于网 络的入侵检测系统( n i d s ) ： 1 ) 基于主机的入侵检测系统：系统获取数据的依据是系统运行所在的主机， 保护的目标也是系统运行所在的主机。可以髓测系统、事件和w i n d o w sn t 下 的安全记录以及u n i x 环境下的系统记录。当有文什被修改时，1 d s 将新的记录 条目与已知的攻击特征相比较，看它们是否匹配。如果匹配，就会向系统管理 员报警或者作出适当的响应。一些h i d s 工具还可以对某些特定应用稃序的不正 常访问行为进行监控。例如，e e y e 的s e c u r e i i sa p p l i c a t i o nf i r e w a l l 就可以监视 微软的i i s 应用程序。 第二章入侵检测系统概述 2 ) 基于网络的入侵检测系统：系统获取的数据是网络传输的数据包，保护 的是网络的运行。它通常利用一个工作在混杂模式下的网卡来实时监视并分析 通过网络的数据流。特点是，在共享网段上对通信数据进行侦听、采集数据， 主机资源消耗少而且能提供对网络通用的保护。但也存在着问题，例如如何适 应高速网络环境和如何在非共享网络上采集数据。 3 ) 基于主机和基于网络的入侵检测系统的集成：许多机构的网络安全解决 方案都同时采用了两种入侵检测系统的集成。因为这两种系统在很大程度上是 互补的。实际上，许多客户在使用i d s 时都配置了基于网络的入侵检测。在防 火墙之外的检测器检测来自外部i n t e m c t 的攻击。d n s 、e m a i l 和w e b 服务器经 常是攻击的目标，但是它们又必须与外部网络交互，不可能对其进行全部屏蔽， 所以应当在各个服务器上安装基于主机的入侵检测系统，其检测结果也要向分 析员报告。 根据检测所使用分析方法可分为基于误用的入侵检测和基于异常的入侵检 测： 1 ) 基于误用的入侵检测是收集非正常操作的行为特征，建立相关的特征库。 当监测的用户或系统行为与库中的记录相匹配时，系统就认为这种行为是入侵。 如果没有特征能与某种新的攻击行为匹配，则系统会发生漏报。 2 ) 基于异常的入侵检测首先总结正常操作应该具有的特征( 用户轮廓) ， 当用户活动与正常行为有重大偏离时被认为是入侵。其效率取决于用户轮廓的 完备性和监控的频率。因为不需对每种入侵行为进行定义，因此能有效检测未 知的入侵。但是随着检测模型的逐步精确，异常榆测会消耗更多的系统资源。 根据i d s 的体系结构可分为集中式入侵榆测系统( c i d s ) 和分步式入侵检 测系统( d t d s ) ： 1 ) 集中式入侵检测系统是将系统的各个模块包括数据的收集分析集中在一 台主机上运行。 2 ) 分步式入侵检测系统是将系统的各个模块分步在不同的计算机和设备上。 第二章 入侵检测系统概述 2 4 典型入侵检测系统结构 入侵检测技术跟其它检测技术有同样的道理，那就是从一组数据中检测出 符合某一特点的数据。攻击者进行攻击的时候会留下痕迹，这些痕迹和系统正 常运行的时候产生的数据混在起，入侵检测系统的任务就是从这个混合数据 中找出入侵的痕迹，如果有入侵的痕迹就报警。所以，一个通常的入侵检测系 统由数据提取模块、数据分析模块和结果处理模块组成嘲，如图2 1 所示。 图2 1 通用入侵检测系统结构图 通常基于异常的入侵检测系统的检测是针对某个特定的对象，这个对象可 以是某个人也可以是某个程序。首先监视对象的行为，学习这个对象的行为特 征，以便产生这个对象的正常使用模式，并通过其后的监视，对比建立的正常 使用模式，检测出这个对象的异常行为，产生警告并做出相应的处理。其中的 监视行为就是数据提取模块需要做的工作，有效的数据提取模块在入侵检测系 统中居于基础地位，负责提取反映受保护系统运行状态的数据，并完成数据的 过滤及其预处理工作，为入侵分析模块和结果处理模块提供原始的安全审计“事 件”数据，是入侵检测系统的数据采集器。 数据分析模块首先从输入的数据中提取出当前对象行为的特征，把这个概 貌和以前建立的正常使用模式进行比较，如果超出某个既定的范围，就认为是 异常行为，产生警告信息并提交给结果处理模块。否则，则要学习这个行为， 把它和以前建立的正常使用模式综合生成新的正常使用模式，以反映用，、行为 的变化。这个进程一一直循环，不断进行学习和检测。需要注意的是，在正常使 用模式不断修正和更新中，检测器所使用的度量也需要不断完善，因为我们不 能保证使用当前所定义的度量可以反映出所有的异常行为模式。针对这一问题， 需要进行大量的研究工作，检查异常检测系统是否具有检测所有攻击行为的能 力，从而为目标系统提供强健的安全防护机制。否则一个足够细心和耐心的入 第二章入侵检测系统概述 侵者就可能会通过一系列的“教育”过程来误导系统。 结果处理模块的功能相对琐碎，主要作用于告警和反应，但也非常重要， 是整个系统必不可少的一部分。这个模块的功能与检测手段摹本上无关，即不 论是在基于异常的系统中还是在基于误用的系统中，它的基本功能都是一样的。 2 5 常用的异常入侵检测的关键技术 鉴于异常入侵检测系统。学习正常、发现异常”的特点，其核心内容主要 体现在学习过程中，可以在检测系统中大量借鉴其它领域的方法来完成用户行 为的学习和异常的检测。 1 基于统计学方法的异常检测技术 基于统计学方法的异常检测技术是使用统计学的方法来学习和检测用户的 行为。该方法用一些称为统计分析检测点的统计变量描述用户或系统的行为， 例如审计事件的数量、间隔时间、资源消耗情况等。通过检测审计数据与系统 正常时得到的统计数值的偏离程度从而判断异常。d e n n i n g 提出可用于入侵检测 的5 种统计模型【2 】。( 1 ) 操作模型：该模型假设异常可通过测量结果和指标的 比较而得到，指标可以根据经验或一段时间的统计平均得到。( 2 ) 平均值和方 差模型：计算参数的方差，设定其置信区间，当测量值超出了置信区间的范围 时表明可能存在异常。( 3 ) 多元模型：操作模型的扩展，通过同时分析多个参 数实现检测。 ( 4 ) 马尔柯夫过程模型：将每种类型事件定义为系统状态，用状 态转移矩阵来表示状态的变化，若对于发生事件的状态转移矩阵概率较小，则 该事件可能是异常事件。( 5 ) 时间序列分析：将测试按时间排序，如一新事件 在该时间发生的概率较低，则该事件可能是异常事件。s r l 公司的i d e s 和它的 后继版本n 1 d e s 中运用的异常检测机制就是基于统计分析的方法。 统计方法的最大优点是它可以自适应地学习用户的行为，从而提高检测率 与可用性。但是它的“学习”能力也给入侵者训练机会，黑客可以通过逐步改 变检测类型的值使得异常值向统计值接近，最终使得系统将异常的数据判断为 正常。使其能够透过入侵检测系统。本文在对嘲络数据包流量的检测时即采用 了统计的方法。 2 基于神经网络的异常检测技术 神经网络使用自适应学习技术来提取异常行为的特征，需要对训练数据集进 第二章入侵检测系统概述 行学习以得出正常的行为模式，训练数据标志为正常和入侵两类，训练后的神 经网络可以把事件识别为正常和入侵的。 神经网络的处理包括两个阶段。第一阶段的目的是构造入侵分析模型的检测 器，使用代表用户行为的历史数据进行训练，完成网络的构建和组装。第二阶 段则是入侵分析模型的实际运作阶段，网络接收输入的事件数据，与参考的历 史行为相比较，从而判断出入侵。目前的入侵检测研究将神经网络技术与模糊 技术、遗传算法等技术相结合，在检测的准确性和效率方面都具有很好的表现。 神经网络方法由于不使用固定的系统属性集来定义用户行为，也就是不依赖于 任何有关数据种类的统计假设，能较好地处理噪声。此外，神经网络应用于异 常检测也存在一些问题，如网络拓朴结构需要反复尝试才能确定：对判断为异 常的事件不会提供任何解释或说明信息。 3 基于数据挖掘技术的异常检测技术 数据挖掘也称为知识发现技术，是指从海量的数据中抽取出描述性模型的一 个过程。通过数据挖掘的方法，可以快速地提取有用的信息和某些已知的攻击 特征，这些特征可以精确有效地区分用户的正常行为和异常行为。在数据挖掘 中学习到的模型，对未学习过的数据有较好的预测作用，因此，通过这种方法 学习到的入侵检测模型对已知攻击的变种有着更好的适应能力。利用数据挖掘 算法，通过对正常的用户训练数据和当前用户操作数据进行挖掘，分别得出用 户的历史行为模式和当前行为模式，在模式比较过程中判断用户行为是否异常。 目前应用到入侵检测系统中的数据分析方法主要有4 种6 1 1 7 ：数据分类、关 联分析、聚类分析和序列挖掘，其中数据分类主要用于连接( 会话) 记录的误 用检测，关联分析和序列挖掘则用于用户行为模式的异常检测。这三种数据挖 掘的方法在处理离散类型的数据方面具有一定的优势，而聚类分析则主要用于 处理连续类型的数据，当然也有一些聚类分析方法可以处理离散的数据类型。 基于数据挖掘技术将入侵检测看成是一种数据分析过程，只需收集相关的数 据集合，显著减少系统负担，技术已相当成熟；这种技术的缺点在丁难于提取 有效的可以反映系统特征的特征属性来建立网络系统的安全模型，以及如何将 挖掘出的结果合珲地应用到检测过程中，降低误警率。 4 基于进程行为的方法 第二章入侵检测系统概述 基于进程行为的方法是近来入侵检测研究的一个新方法之一。它的依据是当 系统遭遇入侵攻击时，系统中的进程行为会发生异常，因此通过分析正在执行 的特权进程行为，以检测系统的异常。通常有两种方法来监视进程的行为： ( 1 ) 监视进程以得到进程的内部状态，这需要了解受监视的程序的源代码。 ( 2 ) 监视操作系统以得到进程请求的外部系统调用。 现在普遍使用通过分析外部系统调用序列来检测异常，因为它不需要了解受 监视的程序的代码。许多现代操作系统也提供了内置的机制以捕获一个具体进 程要求的系统调用，如l i n u x 和一些u n i x 系统提供了s t r a c e 程序以观察一个受 监视进程的系统调用和返回值，s o l a r i s 的b s m 为单个进程生成一个事件记录。 目前的w i n d o w s n t 还缺少这样一种监视程序行为的机制。 基于进程行为的方法通过监视系统中的进程对系统的调用来实现检测。它的 优点是能够非常敏感地发现系统中的异常情况，缺点是必需对操作系统非常了 解，系统的通用性、可移植性不强，无法适用于基于网络的入侵检测系统。 5 其它检测技术 当前研究中还有特征选择、贝叶斯推理、模式预测、机器学习等方法。这些 方法之间并不是一定有着严格区别。一个产品化的入侵检测系统也会综合运用 多种方法用于检测。 第三章基于异常模式的i d s 总体设计 第三章基于异常模式的id s 总体设计 3 1 网络入侵攻击的方法分析 黑客对网络的攻击方式是多种多样的，并没有十分规范的分类模式，方法 的运用也是非常灵活的，并且也会随着时间和技术的发展而不断变化。一般来 讲，攻击总是利用“操作系统的安全漏洞”或“通信协议的安全漏洞”来进行 的。本文从入侵的角度，研究和分析几种常用的攻击方法，目的在于从分析这 些攻击引起的异常数据着手，从而制定相应的对策来检测入侵。 3 1 1 网络扫描及其特征 一般来讲，扫描是入侵攻击的前奏，虽然并不是所有的扫描之后都将会有 入侵或者攻击情况发生，但是除非黑客事先就对要攻击的机器以及所运行的服 务、程序或系统的漏洞已有明确的了解，在通常情况下，入侵前都有扫描的情 况发生。 扫描可分为：扫描活动主机，扫描服务端口以及扫描系统漏洞三种 8 1 1 9 。 最简单的扫描活动主机的方法是对目标主机或者一个网段内的所有主机发 送p i n g 数据包，收到p i n g 请求的机器会发送p i n g 响应包，通过接收到的p i n g 响应包可以分析目的主机是否处于开机状态。当然现在大部分的主机上都装上 了防火墙可以禁止对此类数据包的响应，网络中的防火墙也可以禁止此类数据 包进入内部网络。但是大量的p i n g 包会消耗网络的带宽。通过端口扫描不但可 以发现网络中的活动主机，更能够分析知道主机上运行的服务，是一种e j 前普 遍采j j 的扫描技术。当攻击者知道要攻击主机上运行的服务之后，就可以运用 漏洞扫描技术，根据要攻击主机返回的信息，分析系统或者程序漏洞，从而针 对对方的漏洞，发动相应的攻击或入侵。下面是对几种常用的网络扫描技术以 及扫描发生时的数据包特征分析。 lt c pc o n n e c t 这是一种最直接的端l j 扫描方法，通过与目标主机建立完整的t c p 三次握 手连接，根据目标主机的反应，可以简单地判断出目标端口是否开放。对于开 第三章基于异常模式的i d s 总体设计 放的端口，目标主机会对s y n 连接请求包返回一个s y n a c k 回应包同意建立 连接。而对于未开放的端口，目标主机则会返回一个r s t a c k 包。这种连接的 优点是实现简单，缺点是会在目标主机的日志记录中留下痕迹，易被发现。因 为一般端口扫描会对目标机器所有可能提供的服务进行一次扫描，例如对 1 - 1 0 2 4 的端1 2 都要发送一个s y n 请求包，因此从网络流量的观点分析，这种扫 描会引起网络上带s y n 标志的t c p 包数量明显增多。 2t c p s y n 扫描 又称“半开放扫描”，因为其扫描过程中并没有建立完整的t c p 连接，初 始化连接时，c l i e n t 端向s e r v e r 端目标端口发送s y n 包，如果收到s e r v e r 端返 回的s y n a c k 包，则说明端i ：1 是开放的，这时c l i e n t 端不会继续返回a c k 以 建立连接，而是发送一个r s t a c k 包，以重置发起的这次t c p 连接：如果c l i e n t 端收到的是r s t a c k 包，则说明目标端口并没有开放( 监听) 。其优点是比 t c p c o n n e c t 扫描更隐蔽，s e r v e r 端可能不会留下日志记录。但是，同t c p c o n n e c t 扫描一样，这种扫描也会引起网络上带s y n 标志的t c p 包数量明显增多。 3t c p f i n 扫描 在r f c 7 9 3 中规定，目标主机收到一个指向其某个t c p 端口的f i n 包时， 如果该端口是关闭的，操作系统协议栈应该返回一个r s t 包，否则，忽略对f i n 包的回复。t c pt i n 扫描方法就是利用这一规定，对响应f i n 请求的r s t 包， 认为其是关闭的，否则，认为其端口是开放的。 实际上，并不是所有的操作系统的协议栈都遵循这一原则，大多数u n i x 系 统是可以如此判断的，但w i n d o w s 系统恰恰相反。同以上扫描的数据流特点相 似，这种扫描会引起网络上带f i n 标志的t c p 包数量明显增多。 扫描的方法还有t c px m a s 扫描、t c pn u l l 扫描、u d p 扫描等等，由于攻 击者一般是对一个网段内的所有主机扫描或者是扫描一台主机上所有町能服务 的端1 2 ，这类扫描的特点是会引起嘲段内的同一类标志的数据包明显增多。就 扫描本身而言不会对系统网络造成直接损害，但是由于它是入侵攻击的前奏， 因此安全管理人员需要对扫描行为引起注意。 3 1 2 网络攻击及其特征分析 黑客在掌握了目标系统资源的相关信息后，就会对网络系统资源实施有针 第三章基于异常模式的i d s 总体设计 对性的攻击。攻击的方法是多种多样的，并没有十分规范的分类模式，下面分 析几种典型的拒绝服务攻击及其攻击特征。 拒绝服务攻击即攻击者想办法让目标机器停止提供服务，阻止正常用户的 访问。其实对网络带宽进行消耗性的攻击只是其中的一小部分，只要能够对目 标机器造成麻烦，使某些服务被暂停甚至主机死机，都属于拒绝服务攻击。拒 绝服务攻击问题一直得不到合理的解决，究其原因是因为这是由于网络协议本 身的缺陷造成的，因而拒绝服务攻击也成为了攻击者的终极手法。攻击者进行 拒绝服务攻击，实际上让服务器实现两种效果：一是迫使服务器的缓冲区满， 不接收新的请求；二是使用i p 欺骗，迫使服务器把合法用户的连接复位，影响 合法用户的连接。 l p i n go f d e a t h 攻击 p i n go f d e a t h 是一种攻击数据包大于6 5 5 3 5 个字节。由于部分操作系统 接收到长度大于6 5 5 3 5 字节的数据包时，就会造成内存溢出、系统崩溃、重启、 内核失败等后果。按照r f c 7 9 1 的规定，一个完整的i p 数据包最大为6 5 5 3 5 b y t e 。 因此黑客不管发送什么类型的数据包时，只要能让i p 分片重组后超过i p 数据 包的最大限制，就会导致t c p i p 协议栈的崩溃。当然，现在想通过简单的p i n g 命令来制造麻烦，已经不那么现实了。可如果调用众多攻击主机同时向某个主 机发送这种需要分片的包，也是有可能导致目标系统处理能力降低直至完全拒 绝服务。对这类数据包的防范的措旋是严格监视网络中需要分片的数据包数量 和重组后的数据包长度，因为在网络中分片的数据包是比较少见的，大量数据 的传输在传输层以上就已经分成多个t c p 包或者u d p 包传输了，一般只有当某 个网络的m t u ( 最大传输单元) 比较小时才可能会发生在l p 层分片这种情况。 2 t e a r d r o p 攻击 t e a r d r o p 是基于u d p 的病态分片数据包的攻击，是利用早期某些操作系统 中t c p i p 协议栈对l p 分片包进行重组时的漏洞进行的攻击，其结果是直接导致 系统崩溃，w i n d o w s 系统则表现为典本的蓝屏症状。这一问题存存的直接原因 是：一些操作系统的t c p i p 协议栈中，对接收到的i p 分片进行重组时，没有考 虑到一种特殊的分片重叠。协议栈在处理l p 分片时，要对收到相同i d 的分片进 行重组。但对于第二个分片的位置整个包含在第一个分片之内，分片重组程序就 会出现致命的操作失误。 对此类攻击的检测情况也同死亡之p i n g 相似，除了加强对分片重组时的检验， 1 4 第三章基于异常模式的i d s 总体设计 计算数据包的分片偏移量是否有误之外，可以通过对网络中的分片数据包数量 进行检测来发现这类攻击。 3s y n f l o o d 攻击 s y nf l o o d 攻击是较为流行的d o s 攻击之一。发生在2 0 0 0 年2 月的那次轰 动全球的黑客攻击事件，众多的著名网站都遭受了大规模的拒绝服务攻击，s y n f l o o d 便是“罪魁祸首”。 s y nf l o o d 攻击是利用t c p 客户机与服务器之间三次握手过程的缺陷来进 行的。攻击者通过伪造源i p 地址向被攻击者发送大量的s y n 数据包，当被攻击 主机接收到大量的s y n 数据包时，需要使用大量的缓存来处理这些连接，并将 s y na c k 数据包发送回错误的i p 地址，并一直等待a c k 数据包的回应，如果 攻击方源源不断地发送这种数据包，每一个s y n 包的源i p 都是随机产生的虚假 地址，受害者的目标端口未完成队列就会不断壮大。最终导致被攻击方c p u 满 负荷或内存不足，不能再处理其它合法的s y n 连接，即不能对外提供正常服务。 可以看出s y nf l o o d 远程拒绝服务攻击具有以下的特点： 1 ) 对t c p i p 协议的薄弱环节进行攻击； 2 ) 发动攻击时，只要有少量的数据流量就可以产生显著的效果； 3 ) 攻击来源无法定位； 4 ) 在服务器端无法区分t c p 连接请求是否合法； 4d d o s 攻击 传统的拒绝服务d o s ( d e n i a lo fs e r v i e ) 攻击的攻击源多是单点的，在现 在商带宽的网络环境中，其攻击效果已经不明显了，再加上通信协议以及系统 防护能力的加强，以及单点攻击手段容易被追查等不足，更使得传