（计算机应用技术专业论文）基于数据库的入侵检测技术的研究.pdf

摘要 随着计算机技术和网络的飞速发展，数据库的应用十分广泛，深 入到各个领域，越来越多的企事业单位、科研机构等将自己的数据库 连接到i n t e r n e t 上，但随之而来产生了数据的安全问题。各种应用 系统的数据库中大量数据的安全问题、敏感数据的防窃取和防篡改问 题，越来越引起人们的高度重视。传统的防火墙技术已难以满足目前 的网络安全需要，针对应用及其后台数据库的应用级入侵已经变得越 来越猖獗，如s q l 注入、跨站点脚本攻击和未经授权的用户访问等。 所有这些入侵都有可能绕过前台安全系统并对数据来源发起攻击。我 们迫切需要研究针对数据库的入侵检测技术来提高数据库的安全性。 本文介绍了入侵检测、数据挖掘、数据库安全、入侵容忍等相关 知识。针对目前的网络威胁，提出了数据库应用安全技术，这种安全 技术将传统的入侵检测系统概念应用于数据库( 即应用) 。本文的核心 即数据库入侵检测系统，利用数据挖掘的知识对用户历史行为模式和 当前行为模式进行相似度的比较来判断当前行为模式的异常，并在入 侵不可避免时采用入侵容忍技术进行保护，使系统在面临攻击和破坏 的情况下，仍然可以继续提供重要的服务。并通过聚类挖掘实现了系 统的无监督自主学习。 关键词入侵检测，数据库安全，数据挖掘，入侵容忍，应用安全 a b s t r a c t w i t l lt h ef a s td e v e l o p m e n to fc o m p u t e ra n dn e t w o r k , t h ea p p l i c a t i o n o fd a t a b a s ei sf u l la b r o a d ：t h ed a t a b a s eg e td o w nt ov a r i o u sr e g i o n ，m o r e a n dm o r ee n t e r p r i s e sa n ds c i e n t i f i cr e s e a r c hi n s t i t u t e sj o i nt h e i rd a t a b a s e s t ot h ei n t e r n e t h o w e v e rt h es e c u r i t yp r o b l e mo fd a t ac a m ea l o n gw i t h t h i s t h es e c u r i t yp r o b l e mo fd a t ai nd i f f e r e n tk i n d so fa p p l i c a t i o n s y s t e m sd a t a b a s e ，t h ep r o b l e mo fa n t is t e a la n da n t id i s t o r ta r et a k e n h i 曲l y a t t e n t i o nb y p e o p l e c o n v e n t i o n a l f i r e w a l l t e c h n o l o g yc a n t s a t i s f a c t i o nt h es e c u r i t yn e e do fn e t w o r k t h ea p p l i c a t i o nl e v e li n t r u s i o n a i m e da ta p p l i c a t i o na n db a c k g r o u n dd a t a b a s ei sb e c o m i n gm o r ea n d m o r er a m p a n c y , s u c ha ss q li n j e c t s ，s c r i p ta t t a c ha c r o s ss i t ea n d u n w a r r a n t e du s e ra c c e s s a i lm i si n t m s i o nc o u l da t t a c kd a t as o u r c e b y p a s sf o r e g r o u n ds e c u r i t ys y s t e m w eb a d l yn e e do fr e s e a r c h a b o u t i n t r u s i o nd e t e c t i o nt e c h n o l o g ya i m e da td a t a b a s ei no r d e rt oi m p r o v et h e s e c u r i t yo f d a t a b a s e i nt h i sp a p e r ，s o m ek n o w l e d g eo fi n t r u s i o nd e t e c t i o n ，d a t am i n i n g ， d a t a b a s es e c u r i t y , i n t r u s i o nt o l e r a n c ea r ei n t r o d u c e d t h ed a t a b a s e a p p l i c a t i o ns e c u r i t yt e c h n o l o g yi sp o s e da i m e da tt h ep r e s e n tt h r e a to f n e t w o r k t i l i ss e c u r i t yt e c h n o l o g ya p p l yc o n v e n t i o n a li n t r u s i o nd e t e c t i o n s y s t e mn o t i o nt od a t a b a s e ( n a m e l ya p p l i c a t i o n ) 1 1 1 ec o r eo f t h i sp a p e ri s d a t a b a s ei n t r u s i o nd e t e c t i o ns y s t e m ，t h i ss y s t e mu s ek n o w l e d g eo fd a t a m i n i n gt oc o m p a r eu s e rh i s t o r yb e h a v i o r a lm o d e lw i t h u s e rp r e s e n t b e h a v i o r a lm o d e l ，u s et h es i m i l a r i t yd e g r e et od e t e c tt h ep r e s e n t b e h a v i o r a lm o d e li sa b n o r m i t yo rn o t , u s ei n t r u s i o nt o l e r a n c et e c h n o l o g y p r o c e e dp r o t e c tw h e nt h e i n t r u s i o ni s i n e v i t a b i l i t y ，m a k et h es y s t e m c o n t i n u i n gp r o v i d ei m p o r t a n ts e r v e w h e nc o n f r o n tw i t ha t t a c ha n d d e s 仃o y t h i ss y s t e mr e a l i z e sn o n s u p e r v i s i o nl e a r n i n gt h r o u g hc l u s t e r i n g m i n i n g k e yw o r d si n t r u s i o nd e t e c t i o n ， i n t r u s i o nt o l e r a n c e ， d a t a b a s es e c u r i t y ，d a t am i n i n g ， a p p l i c a t i o ns e c u r i t y 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得中南大学或其他单位的学位或证书而使用过的材料。 作者签名：盔里乏垂日期：2 丑年蜘卫日 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文，允许学位论文被查阅和借阅；学校可以公布学位 论文的全部或部分内容，可以采用复印、缩印或其它手段保存学位论 文；学校可根据国家或湖南省有关部门规定送交学位论文。 作者签名；赴i 墨导师签名：亟! ! 型銎日期：卫啪卫日 空直厶堂亟堂僮j 金窑筮二室鳖淦 第一章绪论 1 1 课题提出的背景 随着计算机技术和通信技术的迅速发展，计算机得到了日益广泛和深入的应 用。但是，计算机网络的安全问题也越来越成为人们关注的一个热点问题。入侵 检测是保障计算机及网络安全的措施之，已经成为保护计算机系统的第二道防 线。 随着网络的迅速发展和普及，越来越多的政府、商业、金融等企事业单位和 科研机构等将自己的计算机网络以及数据库系统连接至u i n t e r n e t 上。然而，近些 年对计算机及网络系统的入侵事件频繁发生，网络上数据库的数据也受到了黑客 的攻击和篡改，造成的损失越来越大，所以数据库系统的安全变得越来越重要。 目前大型数据库系统都提供了安全管理机制，但现有的数据库安全机制不能 完全解决数据库的安全问题。例如：一个数据库用户如果拥有了系统管理员账号， 就能完全控制数据库服务器，数据库访问控制安全机制对此无能为力。大多数数 据库都提供了审计技术，但是在i n t e r n e t 环境下，由于访问数据库的用户的不确 定性，审计数据库难以预知系统的入侵者，用数据库系统提供的用户级审计功能 来发现入侵是困难的，此时往往需要审计对系统资源的访问来发现可能的入侵。 审计系统资源的访问，审计数据量很大，耗费了大量的存储空间，审计员很难从 大量的审计数据中通过人工方法找出可疑入侵。使用入侵检测技术，则可以发现 非授权用户企图使用计算机系统或合法用户滥用其特权的行为。 1 2 国内外研究现状和水平 入侵检测的研究最早可追溯到j a m e sa d e r s o n “1 在1 9 8 0 年的工作，他首先提出 了入侵检测的概念，在该文中a d e r s o n 提出审计追踪可应用于监视入侵威胁，但由 于当时所有已有的系统安全程序都着重于拒绝未经认证主体对重要数据的访问， 这一设想的重要性当时并未被理解。 1 9 8 7 年d o r o t h y e d e n n i n g 提出入侵检测系统( i n t r u s i o nd e t e c t i o n s y s t e m ，i d s ) 的抽象模型“，首次将入侵检测的概念作为一种计算机系统安全防 御问题的措施提出，与传统加密和访问控制的常用方法相比，i d s 是全新的计算机 安全措施。1 9 8 8 年的m o r r i si n t e r n e t 蠕虫事件使得i n t e r n e t 近5 天无法使用。该 事件使得对计算机安全的需要追在眉睫，从而导致了许多i d s 系统的开发研制。 生直太堂甄堂焦j 金塞 筮二童绪i 盆 早期的入侵检测系统都是基于主机的系统，他们通过监视与分析主机的审计 日志来检测入侵。典型的系统有：1 9 8 8 年，美国斯坦福国际研究所( s r i ) j e r e s a l u n t 等人研究的入侵检测专家系统( i d e s ) 嘲。他改进了d e n n i n g 提出的入侵检测 模型，此系统是一个基于规则的模式匹配系统。在i d e s 出现的同期，还有一批有 影响的基于主机的入侵检测系统出现。 基于主机的入侵检测系统出现在8 0 年代，那时网络还没有今天这样普遍、复 杂，且网络之间也没有完全连通。在这一较为简单的环境里，检查可疑行为的检 验记录是很常见的操作。 2 0 世纪9 0 年代，计算机和网络技术取得了突飞猛进的发展。以大型主机为特 征的时代过去了，取而代之的是以p c 机和互联网为特征的网络时代。随着网络的 发展和攻击手段日趋多样化，基于主机的入侵检测系统已经无法胜任，在这种形 势下，面向网络的入侵检测系统发展起来了。1 9 9 0 年，h e b e r l e i n 等提出了基于 网络的入侵检测的新概念n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 哪，n s m 与此前的i d s 最大的不同在于它并不检查主机系统的审计记录，而是通过在网络上主动监视网 络流量来追踪可疑的行为。 随着检测环境的变化，一些研究机构对分布式入侵检测进行了卓有成效的研 究。典型的系统有：1 9 9 1 年n a d i r 旧( n e t w o r ka n o m a l yd e t e c t i o na n di n t r u s i o n r e p o r t e r ) 和d i d s ”1 ( d i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e m ) 系统提出了收 集和合并处理来自多个主机的审计信息以检测一系列主机的协同攻击。 1 9 9 4 年，美国p u r d u e 大学的c o a s t 实验室设计了一个自治代理分布式入侵检 测( a a f i d ) 原型。1 。这个系统原型采用自治a g e n t ( a u t o n o m o u sa g e n t ) 的实体进 行检测，这种方法提高了i d s 的可伸缩性、可维护性、效率和容错性。 2 0 0 0 年中国科学院软件研究所提出了一种基于a g e n t 分布式入侵检测系统模 型“，该模型是一个开放的系统模型，具有很好的可扩充性，易于加入新的协作 主机和入侵检测a g e n t ，也易于扩充新的入侵检测模式。 随着数据挖掘技术的发展，已经有大量的研究计划将数据挖掘技术应用于入 侵检测中。例如，中国科学院研究生院，选择层次化协作模型嘲，使用数据挖掘 算法对安全审计数据进行分析处理，帮助系统自动生成入侵检测规则以及建立异 常检测模型。清华大学，提出了一种基于数据挖掘方法的协同入侵检测系统 ( c o l d s ) 框架“”，并采用a g e n t m a n a g e r u i - - - 层实体结构，使用多种数据挖掘方 法建立检测模型。还有美国c o l u m b i a 大学的m a d a m i d s ( ad a t am i n i n gf r a m e w o r k f o rc o n s t r u c t i n gf e a t u r e sa n dm o d e l sf o ri n t r u s i o nd e t e c t i o n s y s t e m s ) 项目，用一种比人工信息工程更加系统化和自动化的方式利用数据挖掘技术来构 造一个i d s s ，m a d a m i d s 提出了用关联规则和频繁情节规则作为构造额外的、更具 2 预测性的特征的方法。美国g e o r g em a s o n 大学的审计数据分析与挖掘( a u d i td a t a a n a l y s i sa n dm i n i n g ) 1 1 1 是一个基于网络的异常检测系统。尽管基于数据挖掘 的入侵检测研究取得了许多理论成果，也有一些系统在实际中得到了一定程度的 应用，但是，这一研究领域依然存在着许多有待解决的问题，比如：入侵检测中 的数据挖掘没有重视对新知识的发现。 从广义上讲，数据库的安全首先依赖于网络系统。随着i n t e r n e t 的发展和普 及，越来越多的公司将其核心业务向互联网转移，各种基于网络的数据库应用系 统如雨后春笋般涌现出来，面向网络用户提供各种信息服务。可以说网络系统是 数据库应用的外部环境和基础，数据库系统要发挥其强大作用离不开网络系统的 支持，数据库系统的用户( 如异地用户、分布式用户) 也要通过网络才能访问数 据库的数据。网络系统的安全是数据库安全的第一道屏障，外部入侵首先就是从 入侵网络系统开始的。 目前国内关于数据库系统的入侵检测研究还很少见文献报道“4 ，而国外对于 这个问题的研究也不多见，只有美国国防部资助的项目i t d b 中涉及到数据库系统 的入侵检测问题。 1 3 主要研究内容 目前的入侵检测系统多是对主机或计算机网络进行保护，很少用于对数据库 系统的保护。现在，多数的大型数据库系统都提供了一定的安全措施，但是这些 安全措施还具有相当的局限性。目前，针对应用及其后台数据库的应用级入侵已 经变得越来越猖獗，如s q l 注入、跨站点脚本攻击和未经授权的用户访问等。所 有这些入侵都有可能绕过前台安全系统并对数据来源发起攻击。 为了对付这类威胁，新一级别的安全脱颖而出，这就是应用安全“”。这种安 全技术将传统的网络和操作系统级入侵检测系统概念应用于数据库( 即应用) 。与 通常的网络或操作系统解决方案不同的是，应用入侵检测系统提供主动的、针对 s q l 的保护和监视，可以保护数以千计的预先包装或自行开发的w e b 应用。例如， 应用入侵检测系统可以监视和防护关键的数据，使那些针对数据库的攻击，如缓 冲区溢出和w e b 应用攻击等无法对数据库造成真正的损害，而且应用入侵检测系 统还可以对这些事件进行审查。 将入侵检测技术应用于数据库的保护，则可以有效地发现对系统的异常访问， 提供对系统的进一步保护。因此，对数据库系统的入侵检测技术的研究是一个新 的国际前沿的研究领域，具有重要意义。 3 生壶太堂亟堂焦j 金塞箍= 重绪垃 1 4 论文的安排 论文共分为五章，各章的具体内容安排如下： 第一章绪论。本章主要介绍课题提出的背景，国内外研究现状，本文的主 要研究内容等。 第二章入侵检测系统。本章主要介绍入侵检测的发展过程，入侵检测系统 的功能、模型、分类，最后探讨入侵检测系统的发展方向。 第三章入侵检测相关技术。本章主要介绍数据挖掘和入侵容忍的相关知 识。首先介绍数据挖掘的常用算法和在数据库入侵检测系统中的应用，接着介绍 入侵容忍的常用技术和在数据库入侵检测系统中的应用。 第四章数据库入侵检测系统模型。本章主要构建数据库入侵检测系统的模 型。首先介绍数据库的安全的相关知识，然后阐述将入侵检测应用到数据库，最 后构造一个相关的模型。 第五章数据库入侵检测系统模型的实现。按照入侵检测的c i d f 模型，结 合入侵容忍的技术分步骤实现了该数据库入侵检测系统，并通过一些数据进行了 实验。 第六章总结与展望。对本论文的研究工作进行总结，指出进一步研究工作 的重点和方向。 4 生直太堂亟堂鱼：| 金室 箍三重厶侵捡测丕蕴 第二章入侵检测系统 2 1 入侵检测系统简介 2 1 为什么需要入侵检测系统 近年来信息革命席卷全球，网络化浪潮汹涌而至，特别是互联网的爆炸式发 展，给人类社会、经济、文化等带来了无限的机遇，但也给信息安全带来了严峻 挑战，各种不安全因素的大量涌入致使计算机网络安全问题日益突出。2 0 0 0 年美 国数家顶级互联网站一雅虎、亚马逊、电子港湾、c n n 等受到黑客攻击，陷入瘫 痪。据估算，袭击所造成的经济损失大约在1 2 亿美元以上，其中受害公司在3 天 内的损失高达l o 多亿美元的市场价值，营销和广告收入损失1 亿美元以上。可见， 保障计算机网络系统及整个信息基础设施的安全非常重要，它甚至关系到国家的 安全和社会的稳定 目前虽然使用了防火墙，但由于如下原因它仍不足以完全抵御入侵“”。 ( 1 ) 仅以防火墙是无法检测及防御最新流行的拒绝服务攻击( d o s ) 及病毒( 冲 击波) 等攻击的。 ( 2 ) 防火墙不能对数据包的内容进行分析，对规则中允许的端口和服务一直 视为正常的用户，不执行深度分析。 ( 3 ) 在遭受到黑客攻击后，因防火墙不保留数据包内容的日志，所以事后无 法进行事件回放，而入侵检测系统把数据包内容完整的作为日志保留，可用于事 后的检查资料。 ( 4 ) 据统计，当前8 0 的网络攻击是来自网络内部“”，而防火墙由于其部署的 局限性对由内部网络发起的攻击则无能为力。 过去防火墙一直是作为网络安全保障的核心产品，而现在入侵检测系统正逐 步取代其地位，为企业提供纵深层次的网络安全防御。其主要原因是：入侵检测 系统能够不依赖于网络管理员主动的响应各种黑客攻击，同时能够最低限度的减 少防御对系统造成的相关资源损失。 防火墙是一次性的防护手段，它根据系统策略( i pa d d r e s s ，p o r t ) 的设定， 只允许通过策略所允许的数据包，可是不能切断隐藏在正常数据包中的黑客攻击 试图。比如，为w e b 服务器在防火墙中允许8 0 端口的连接时，隐藏在正常的t i t t p 数据包中的黑客入侵是无法切断的。 特别是最新的一些黑客技术经常可以使防火墙面对攻击无能为力，大多数已 空窟太堂亟堂僮i 金塞箍三重厶位捡剜丕统 经部署过防火墙的机关和企业依然频繁的遭受着黑客的入侵，因此，入侵检测系 统以其及时、准确和主动的防御特性逐渐成为网络安全解决方案的核心。 2 1 2 入侵检测的概念 入侵检测的定义为：识别针对计算机或网络资源的恶意企图和行为，并对 此做出反应的过程。入侵检测系统则是完成如上功能的独立系统。入侵检测系统 能够检测未授权对象( 人或程序) 针对系统的入侵企图或行为( i n t r u s i o n ) ，同 时监控授权对象对系统资源的非法操作( m i s u s e ) 。 ( 1 ) 从系统的不同环节收集信息； ( 2 ) 分析该信息，试图寻找入侵活动的特征； ( 3 ) 自动对检测到的行为做出响应； ( 4 ) 纪录并报告检测过程结果。 、 入侵检测作为一种积极主动的安全防护技术，提供了对内部攻击、外部攻击 和误操作的实时保护，在网络系统受到危害之前拦截和响应入侵。入侵检测系统 能很好的弥补防火墙的不足，从某种意义上说是防火墙的补充。 入侵检测用来识别针对计算机系统和网络系统，或者更广泛意义上的信息系 统的非法攻击，包括检测外界非法入侵者的恶意攻击或试探，以及内部合法用户 的超越使用权限的非法行动。 2 1 3 入侵检测系统的功能 入侵检测技术是计算机安全技术中的重要部分，它从计算机系统中的若干关 键点收集信息，并分析这些信息，检测计算机系统中是否有违反安全策略的行为 和遭到袭击的迹象。入侵检测系统在几乎不影响计算机系统性能的情况下能对计 算机系统进行实时监测，并对系统提供针对内部攻击、外部攻击和误操作的实时 保护。入侵检测技术通过对入侵行为的过程与特征的研究，使安全系统对入侵事 件和入侵过程能做出实时响应。入侵检测技术扩展了系统管理远的安全管理能力 ( 包括安全审计、监视、进攻识别和响应) ，提高了信息安全基础结构的完整性。 入侵检测被认为是防火墙之后的第二道安全闸门，总体来讲，入侵检测的功 能如下所示。 ( 1 ) 监视分析用户活动。 ( 2 ) 系统构造变化和弱点的审计。 ( 3 ) 识别反映已知进攻的活动模式并向相关人士报警。 ( 4 ) 异常行为模式的统计分析；评估重要系统和数据文件的完整性。 ( 5 ) 操作系统的审计跟踪管理。 6 虫直叁堂硬堂焦i 金毫簋三重厶侵捡捌丕统 2 1 4 入侵检测系统结构 入侵检测系统的一般系统结构“”如图2 1 所示，主要由以下几大部分组成： ( 1 ) 数据收集装置，收集反映状态信息的审计数据，输入给检测器。 ( 2 ) 检测器，负责分析和检测入侵的任务，并发出警告信号。 ( 3 ) 知识库，提供必要的数据信息支持。 ( 4 ) 控制器，根据警报信号，人工或自动做出反映动作。 图2 - 1 入侵检测系统的结构示意 从一般意义来说，一个入侵检测系统可以看成一个处理来自所保护系统的各 种信息的检测器，所处理的系统信息可以分为：长期的信息，如关于攻击的知识 库、系统目前的配置信息和描述当前发生事件的审计数据。检测器的作用就是从 众多审计数据中剔除无用信息，给出个用户关心的与安全性相关的分析报告， 然后做出决策，发现属于入侵行为的活动。 2 2 入侵检测系统的分类 2 2 1 从数据源分类 入侵检测系统根据其检测数据来源分为三类：基于主机( h o s t b a s e d ) 的入侵 检测系统、基于网络( n e t w o r k - b a s e d ) 的入侵检测系统、基于分布式 ( d i s t r i b u t e d b a s e d ) 的入侵检测系统。基于主机的入侵检测系统从单个主机上 提取系统数据( 如审计记录等) 作为入侵分析的数据源，而基于网络的入侵检测系 统从网络上提取数据( 如网络链路层的数据帧) 作为入侵分析的数据源。通常来说 基于主机的入侵检测系统只能检测单个主机系统，而基于网络的入侵检测系统可 以对本网段的多个主机系统进行检测，多个分布于不同网段上的基于网络的入侵 检测系统可以协同工作以提供更强的入侵检测能力。基于分布式的入侵检测系统 是将基于主机的入侵检测系统与网络流量的监测功能结合起来，集于一身。 7 生亩太堂亟堂焦i 金塞箍三童厶懂捡锄丕蕴 1 基于主机的入侵检测系统( h i d s ) h i d s 的检测对象主要是主机系统和系统本地用户。检测原理是根据主机的审 计数据和系统的日志发现可疑事件，检测系统可运行在被检测的主机或单独的主 机上。此类系统依赖于审计数据或系统日志的准确性、完整性以及安全事件的定 义。h i d s 具有以下特征“”。 ( 1 ) 能够监视特定的系统行为。如用户登录和退出、用户进行的操作、审 计系统日志记录的策略改变等。 ( 2 ) 能判断攻击是否成功。由于基于主机的入侵检测使用了包含己发生事 件的信息，这样就可比基于网络的入侵检测更准确地判断攻击。 ( 3 ) 某些攻击行为在网络数据流中很难发现，甚至根本没有通过网络而在 本地进行，这就只能借助基于主机的i d s 。 与此同时，这类系统仍然存在着安全隐患，如入侵者设法逃避设计或进行合 作入侵，特别是在网络环境下，仅依靠主机审计信息进行入侵检测难以适应网络 安全的要求。主要表现在以下几个方面。 ( 1 ) 主机审计信息的弱点容易受攻击，入侵者可通过使用某些系统特权或 调用比审计本身更低级的操作来逃避审计。 ( 2 ) 不能通过分析主机的审计记录来检测网络攻击( 域名欺骗、端口扫描 等) 。 2 基于网络的入侵检测系统( n i d s ) “” n i d s 使用原始网络数据包作为数据源，通常使用报文的模式匹配或模式匹 配序列来定义规则，检测时将监听到的报文与模式匹配序列进行比较，根据比较 的结果来判断是否有非正常的网络行为。其攻击辩识模块通常有：模式、表达式 或字节匹配，频率或穿越阈值，低级事件的相关性，统计学意义上的非常规现象 检测等。此类系统具有以下特征。 ( 1 ) 拥有较低的安装成本。 ( 2 ) 能够检测到h i d s 无法检测的入侵行为，如能检查数据包的头部而发现非 法的攻击。 ( 3 ) 入侵对象不容易销毁证据，被截取的数据不仅包括入侵的方法，还可定 位入侵对象的信息。 ( 4 ) 能够进行实时检测和响应，一旦发现入侵行为就立即中止攻击。 ( 5 ) 可以检测到未成功的入侵。 ( 6 ) 此类系统不依赖于被保护的主机操作系统。 3 分布式的入侵检测系统( d i d s ) 近来对分布式的入侵检测逐步引起重视通过数据收集和数据分析的分布式 8 生疆太堂亟生僮论塞簋三童厶经捡测系统 处理，能够提高检测系统应对协作入侵攻击和日趋分散化的系统漏洞。其中基于 a g e n t 的入侵检测成为重要的研究内容。明。 d i d s 可以从不同的主机系统、网络部件和通过网络监听方式收集数据，这些 系统可以利用网络数据，也可收集并分析来自主机系统的高层事件，发现可疑行 为。虽然d i d s 实现的功能可以很强大，但要适应现代千兆比特的高速网络和交换 式网络方面也有许多难以克服的困难。而且基于主机的i d s 也有其独特功能，所 以未来的i d s 要想取得成功必须将基于主机和基于网络的两种i d s 无缝的结合起 来，这就是混合分布式i d s 。 2 2 2 从检测方法分类 从技术上看，入侵可分为两类：一种是有特征的攻击，它是对已知系统的系统弱 点进行常规性的攻击：另一种是异常攻击。与此对应，入侵检测也分为两类：基于 特征的( s i g n a t u r e b a s e d ，即基于滥用的m i s u s e b a s e d ) 和基于异常的 ( a n o m a l y b a s e d ，也称b e h a v i o r b a s e d 基于行为的) 。 1 基于特征的入侵检测“” 特征检钡j 对那些试图以非标准手段使用系统的安全事件进行鉴别。i d s 中存 储着已知的入侵行为描述，以此为根据比较系统行为。当某方面的系统调用与一 种已知的入侵行为描述匹配时，一次警报就会提交给i d s 分析员。 对已知入侵行为的描述称为特征。特征必须能准确描述某一种特殊入侵行为 的特点，同时要避免其他行为引起的误报。 基于特征的入侵检测系统的应用是建立在对过去各种网络入侵方法和系统 缺陷的知识的积累之上，它需要首先建立这样一个数据库，然后在各种收集到的 网络活动信息中寻找与数据库项目相关的蛛丝马迹。当符合条件的线索被发现 后，它就会触发一个警告，这就是说，任何不符合特定匹配条件的活动将会被认 为是合法和可以接受的，尽管其中也许包含着隐蔽的入侵行为。 可以看出，特征检测是检测已知攻击行为的最准确的技术。特征检测系统的 优点在于它们具有非常低的虚警率，同时检测的匹配条件可以被很清楚的描述， 有利于安全管理人员采用清晰明确的预防保护措施。然而，一个明显的缺陷在于 收集所有已知或发现的攻击行为和系统脆弱性信息的困难性以及及时更新这样 一个庞大的数据库需要消耗大量精力和时问。另一个问题是可移植性，因为关于 网络攻击的信息决大多数是与主机的操作系统、软件平台和应用类型密切相关， 带来的后果是这样的：一个入侵检测系统只能在一个特定的环境下生效。最后， 检测内部用户的滥用权限的活动将变得想当困难，因为其中并未利用任何的系统 缺陷。 9 生直盔堂亟堂焦地塞 蓥三童侵捡到丕统 虽然特征检测存在上述缺点，但是目前市场上，采用特征检测的i d s 还是性 能最突出、最可靠的。 在基于特征的入侵检测中，研究者提出基于各种类型技术的检测器，如专家 系统( e x p e r ts y s t e m ) 技术、签名分析( s i g n a t u r ea n a l y s i s ) 技术、p e t r i 网络 分析、状态转移分析( s t a t e - t r a n s i t i o na n a l y s i s ) 等等。 专家系统技术在各种研究开发模型( p r o t o t y p e s ) e e 得到广泛应用。所谓专家 系统是基于一套有专家经验事先定义的规则的推理系统，例如，在数分钟之内某 个用户连续进行登录，失败超过规定次数可以被认为是一次入侵行为。类似的规 则在统计系统中也有，同时基于规则的专家系统或推理系统也有其局限性，因为 作为这类系统的基础的推理规则一般都是根据已知的入侵手段来进行安排和策 划的，而对网络系统的最危险的威胁则主要来自未知的入侵手段。实现一个基于 规则的专家系统是一个知识工程问题，而且其功能应当能够随着经验的积累而利 用其自学习能力进行规则的扩充与修正。 2 基于异常的入侵检测 异常检测通过对标准的测量来检测滥用行为，如果一个行为的模式与标准 不同，就会产生一个警报。 基于异常的检测技术是建立在如下假设基础上，即任何一种入侵行为都能 由于其偏离正常或者所期望的系统和用户的活动规律而被检测出来。描述正常或 者合法活动的模型是从通过各种渠道收集到的对过去大量历史活动资料的分析 中得到的，入侵检测器就是将它与当前的活动情况进行对比，如果发现状态偏离 了正常的模型，则系统发出警戒信号，这就是说，任何不符合以往活动规律的行 为都将被视为入侵行为。 此类检测技术的优点在于它能够发现任何企图发掘、试探系统最新和未被 发现漏洞的尝试，同时在某种程度上，它更少依赖于特定的操作系统环境。另外， 对于合法用户超越其权限的违法行为的检测能力大大加强。其主要缺点是较高的 虚警率，因为所有的信息系统的正常活动并不一定在学习阶段就被全部了解。 此类入侵检测中比较常用的是以下几种技术。 ( 1 ) 基于统计方法的入侵检测技术 基于统计方法的入侵检测技术，就是入侵分析采用基于统计的检测规则的 方法的一种检测技术。它基于对用户历史行为的建模，以及先验的证据或模型的 基础，实时地检测用户对系统的使用情况，根据系统内部保存的用户行为的概率 统计模型进行检测，实时检测系统是否有异常的用户行为，依此来判断系统是否 遭到入侵。也就是说，系统根据用户以前的历史行为记录来决定用户当前的行为 是否合法。系统根据用户的历史行为，生成每个用户的统计行为模型( 即行为习 t o 生亩盔堂亟堂鱼i 垒塞 簋三重厶墁捡捌丕蕴 惯) 。当用户改变他的行为习惯时，这种“异常”就会被检测出来。通常记录的行 为有下面几个方面。 一般项目：例如登录的时间、地点，c p u 资源的申请及占用情况，i 0 的使 用通道和频率，常用目录的建立和删除，文件的读写等。 特定项目：例如用户习惯用的编辑器和编译器，最常用的系统调用，经常 访问的网络站点，用户口令文件的存取。 ( 2 ) 基于神经网络的入侵检测技术咖1 由于用户行为的复杂性，要想准确地把当前的用户行为和用户行为概率统计 模型进行匹配是相当困难的，因而基于统计方法的入侵检测技术存在着一些天生 的弱点。错发的警报往往来自于对统计数据的统计算法所基于的不准确的假设。 因此人们利用和发展神经网络技术来进行入侵检测。 神经网络较好地解决了传统的基于统计的分析方法所面临的以下几个难题。 难于建立确切的统计分布：统计方法基本上依赖于用户行为的主观假设， 错发警报常由这种假设所导致。 难于实现方法的普适性：适用于某类用户行为的检测措施一般无法适用于 另一类用户。 算法实现比较昂贵：由于上一条原因，即基于统计的算法对不同类型的用 户行为不具有自适应性，因此算法比较复杂而且庞大，导致算法上的昂贵。而神 经网络技术不存在这个问题，实现的代价较小。 系统臃肿难于剪裁：由于采用统计方法检测具有大量用户的计算机网络系 统，将不得不保留大量的用户行为信息，导致系统的臃肿和难于剪裁。而基于神 经网络的技术能够回避这一缺点，根据实时检测到的信息有效地加以处理做出入 侵可能性的判断。 目前，神经网络技术提出了对于基于传统统计的入侵检测技术的改进方向， 但尚不十分成熟，所以传统的统计方法仍将继续发挥作用，也仍然能为发现用户 的异常行为提供相当有参考价值的信息。 ( 3 ) 基于免疫的检测o ” 基于免疫的检测技术是运用自然免疫系统的某些特性到网络安全系统中，使 整个系统具有适应性、自我调节性、可扩展性。人的免疫系统成功地保护人体不 受各种抗原和组织的侵害，这个重要的特性吸引了许多计算机安全专家和人工智 能专家。通过学习免疫专家的研究，计算机专家提出了计算机免疫系统。在许多 传统的网络安全系统中，每个目标都将它的系统日志和收集的信息传送给相应的 服务器，由服务器分析整个日志和信息，判断是否发生了入侵。在大规模网络中， 造成网络通信量极大，且绝大多数数据与入侵无关，效率低。基于免疫的入侵检 主直盔堂亟堂焦论塞簋三童厶懂捡捌丕统 测系统运用计算免疫的多层性、分布性、多样性等特性设置动态代理，实时分层 检测和响应机制 ( 4 ) 基于数据挖掘的检测o ” 在入侵检测系统中运行数据挖掘技术可以有效地从各种数据中提取出有用 的信息，数据挖掘技术非常适用于从历史行为的大量数据中进行特征提取，所以 在i d s 中可以在建立入侵模式知识库时采用数据挖掘技术。我们在后面会重点讨 论这项技术在入侵检测上的应用 当然，上述的几种方法都有各自的优缺点，并不能彻底地解决入侵检测问题， 所以最好是综合地利用各种方法强化网络系统的安全程度以增加入侵成功的难 度，同时根据系统本身特点辅助以较适合的入侵检测技术。 2 3 入侵检测的发展方向 近年来对入侵检测技术有以下几个主要发展方向嘲 1 分布式入侵检测与通用入侵检测架构 传统的i d s 一般局限于单一主机或网络构架，对异构系统及大规模网络的检 测明显不足。同时不同的i d s 系统之间不具有协同工作能力，为解决这一问题， 需要分布式入侵检测技术与通用入侵检测架构。c 讧d f 以构建通用的i d s 体系结构 与通信系统为目标。 2 应用层入侵检测 许多入侵的语义只有在应用层刁能理解，而目前的i d s 仅能检测如w e b 之类的 通用协议，而不能处理如l o t u s n o t e s 、数据库系统等其他的应用系统。许多基于 客户、服务器结构与中间件技术及面向对象技术的大型应用，需要应用层的入 侵检测保护。s t i l l e r m a n 等人已经开始对c o r b a 的i d s 进行研究。 3 智能的入侵检测 入侵方法越来越多样化与综合化，尽管已经有智能代理、神经网络与遗传算 法在入侵检测领域的应用研究，但是这只是一些尝试性的研究工作，需要对智能 化的i d s 加以进一步的研究以解决其自学习与自适应能力。 4 入侵检测的评测方法 用户需对众多的i d s 系统进行评价，评价指标包括i d s 检测范围、系统资源占 用、i d s 系统自身的可靠性与鲁棒性。从而设计通用的入侵检测测试与评估方法 和平台，实现对多种i d s 系统的检测己成为当前i d s 的另一个研究与发展领域。 5 网络安全技术相结合 结合防火墙、v p n ，p k i x 、安全电子交易s e t 等新的网络安全与电子商务技术， 圭直太堂亟堂鱼j 金童 簋三重厶篮捡捌丕统 提供完整的网络安全保障。 6 嵌入操作系统内核 由于黑客攻击的目标主要是终端部分，因此入侵检测系统最好能与操作系统 内核结合起来，这样从根本上确定黑客攻击系统到了什么程度，如黑客现在的攻 击对系统是否造成了威胁，黑客现在拥有了系统哪个级别的权限，黑客是否控制 了一个系统等。 3 1 数据挖掘 3 1 1 数据挖掘概述 第三章入侵检测相关技术 随着数据库技术的迅速发展以及数据库管理系统的广泛应用，人们积累的数 据越来越多。激增的数据背后隐藏着许多重要的信息，人们希望能够对其进行更 高层次的分析，以便更好地利用这些数据。目前的数据库系统可以高效地实现数 据的录入、查询、统计等功能，但无法发现数据中存在的关系和规则，无法根据 现有的数据预测未来的发展趋势。缺乏挖掘数据背后隐藏的知识的手段，导致了 “数据爆炸但知识贫乏”的现象。用数据库管理系统来存储数据，用机器学习的 方法来分析数据，挖掘大量数据背后的知识，这两者的结合促成了数据库中的知 识发现( k n o w l e d g ed i s c o v e r yi nd a t a b a s e s ，k d d ) 。1 的产生。实际上，数据库 中的知识发现是- - i 7 交叉性学科，涉及到机器学习、模式识别、统计学、智能数 据库、知识获取、数据可视化、高性能计算、专家系统等多个领域。从数据库中 发现出来的知识可以用在信息管理、过程控制、科学研究、决策支持等许多方面。 1 9 8 9 年8 月在美国底特律召开的第1 1 届国际人工智能联合会议的专题讨论会上首 次出现k d d 这个术语随后在1 9 9 1 年、1 9 9 3 年和1 9 9 4 年都举行k d d 专题讨论会，汇 据挖掘和数据库中的知识发现，把两者混淆使用。一数据统计、海量数据分析算 法、知识表示、知识运用等问题。随着参与人员的不断增多，k d d 国际会议发展 成为年会。1 9 9 8 年在美国纽约举行的第四届知识发现与数据挖掘国际学术会议不 仅进行了学术讨论，并且有3 0 多家软件公司展示了他们的数据挖掘软件产品，不 少软件已在北美、欧洲等国得到应用。数据挖掘是k d d 最核心的部分，是采用机 器学习、统计等方法进行知识学习的阶段数据挖掘算法的好坏将直接影响到所 发现知识的好坏。目前大多数的研究都集中在数据挖掘算法和应用上。人们往往 不严格区分数据挖掘和数据库中的知识发现，把两者混淆使用。一般在科研领域 中称为k d d ，而在工程领域则称为数据挖掘1 。 数据挖掘是针对特定应用的数据分析处理过程。如何选择输入数据、交换数 据及对应的挖掘算法，取决于具体的数据挖掘目标，即期望从数据中发掘出何种 类型的“知识? 按照挖掘目标的不同，数据挖掘可以分为以下几种类型：关联 分析、数据分类、聚类分析、序列模式分析。相应的数据挖掘算法也可以以此分 类：关联分析算法( 如a p r i o r i ) 、数据分类算法( 如i d 3 、r i p p e r ) 、聚类分析 1 4 算法( 如c l a r a n s 、b i r c h ) 、序列分析算法( 如a p r i o r i a l l ，a p r i o r i s o m e ， d y n a m i c s o m e ) 。对于应用到入侵检测中的数据挖掘技术，目前主要集中在关联、 聚类、序列这几种类型上。 3 2 数据挖掘算法 3 2 1 关联规则挖掘 关联规则挖掘是分析数据问隐含的相互关联关系的技术对数据源关联规则 的挖掘可以得出同一条记录不同属性之间的联系。目前，挖掘关联规则的算法比 较多。 关联规则的形式描述是：设r - - - - i l ，1 2 ，1 3 ，i 。) 是一组数据项集，w 是一组事务集。w 中每个事务t 是一组数据项，且满足t c _ r 。假设有一个数据项集x ， 一个