（计算机应用技术专业论文）分布式入侵检测模型研究.pdf

分布式入侵检测模型研究 摘要 计算机网络的迅速发展为全球范围内实现高效的资源共享和信息交换提供 了方便，同时由于计算机网络的开放性和共享性，其安全性已成为人们r 益关 注的问题。在世界范围内，对计算机网络的攻击手段层出不穷，网络犯罪f 1 趋 严重，给各行各业带来了巨大的经济损失和其他方面损失。 入侵检测( i n t m s i o n d e t e 吐i o n ) 作为一种主动的信息安全保障措施，有效地 弥补了传统安全防护技术的缺陷。通过构建动态的安全方案，可以最大限度地 提高系统的安全保障能力，减少安全威胁对系统造成的危害。 随着计算机技术和网络技术的不断发展，分布式计算环境的广泛采用，海 量存储和高带宽传输技术的普及，传统的基于单机的集中式入侵检测系统已不 能满足安全需求。分布式入侵检测( d i s t r i b u t e dh 灯i l s i o nd e t e c t i o n ，d i d ) 逐渐 成为入侵检测乃至整个网络安全领域的研究重点。本文针对面向大规模网络的 分布式入侵检测的关键问题进行了研究： 本文首先分析了入侵检测的研究现状，对分布式入侵检测系统进行了深入 的研究，探讨了其相对于传统i d s 的优势及技术难点，并介绍了典型的代表系 统。 在系统的结构模型方面，本文首先根据数据源和分析引擎的工作方式，将 现有的入侵检测系统进行了树状分类，并根据入侵数据源将入侵分为外部入侵 和内部入侵，在此基础上提出了一种新型的分布式入侵检测系统架构基于 a g e n t 的分布式入侵检测模型( a g e n t b a s e dd i g m b u t e di n n 郴i o nd e t e c t i o n m o d e l ) ，该模型具有良好的分布性、智能性和可维护性，不仅能够有效地解决 系统扩展问题和单点失效问题，而且大大提高了检测效率和减少了响应时间。 随后，本文引入了信息抽象级别( i n f o m a 士i o na b s t r a 碰i o nl e v e l ) 的概念，对检 测过程中安全审计数据所经历的状态进行表述。 在系统的检测技术方面，本文采用了误用检测和异常检测( 对异常检测采 用双闽值的方法) 楣结合的方法，有效提高了检测效率和降低了漏报和误报。 并用数据挖掘和数据融合技术对确定的异常入侵进行特征抽取形成新知识。 本文通过对系统的检测模型和检测算法的详细阐述，描述了我们所构建的 分布式入侵检测系统的原理和技术，并对各种类型攻击进行了模拟检测。结果 表明，系统可以准确地检测出以上多种类型的攻击行为，并及时地采取响应措 施，阻断攻击者的网络连接。 关键词： 分布式入侵检测数据挖掘a g e m 入侵响应 as t u d yo fad i s t r i b u t e di n t r u s i o d e t e c t i o nm o d e l a b s t r a c t t h em p i dd e v e l o p m e n to fc o m p u t e rn e t w o r ko 行b r sg r e a tc o n v e n i e n c eo f r e s o u r c e ss h a r i n ga n di n f o m l a t i o ne x c h a n g e b e c a u s eo fm eo p e n n e s sa n dt h es h a r e o fc o m 口u t e rn e t w o r k ，i t ss e c u r i t yi sc o n c e m e db yt 1 1 ep e o p l em o r ea 1 1 dm o r ea tt h e s a m et i m e w i t ht 1 1 ei n c r e a s eo fa n a c km e a n st oc o m u u t e rn e t w o r ka n dc r i m ei n n e t w o r k ag r e a t l ye c o n o m i cl o s sa n do t h e r1 0 s sh a p p e n e di ne v e r yw a l ko fl i f e a sak i n do fa c t i v em e a s u r eo fi n f b m a t i o na s s u r a n c e i n t r u s i o nd e t e c t i o na c t s a st h ee f k c t i v ec o m 口l e m e n tt ot r a d i t i o n a lp r o t e c t i o nt e c h n i q u e s t h ed y n a m i c s e c u r i t yp r o j e c t ，i n c l u d i n gp o l i cy ，p r o t e c t i o n ，d e t e c t i o na 1 1 dr e s p o n s e ，c a ng r e a t l y c o n t r i b u t et oi m p r o v i n gt h ea s s u r a l l c ea b i l i t yo fi n f o 加a t i o ns y s t e m sa 1 1 dr e d u c i n g t h ee x t e n to fs e c u r i t vt 1 1 r e a t s w i t ht 1 1 ed e v e l o p m e n to fc o m p u t e ra n dn e t w o r kt e c h n o l og i e s ， t h e w i d e l v a d o p t i v ed i s t r i b u t e dc o m p u t i n ge n v i r o n m e n t ，a n d 也ep o _ p u l a r i z a t i o no f w i d e - b a l l dt r a j l s 口o r t a t i o n ，t r a d i t i o n a lc e n 把a l i z e di n t m s i o nd e t e c t i o ns v s t e m sb a s e do n s t a n d a l o n ec o m p u t e ra r eu n a b l et om e e tt 1 1 es e c u r i t yr e q u i r e m e n t s a sar e s u l t ， d i s t r i b u t e di n t m s i o nd e t e c t i o n i d ) h a sd e v e l o p e di n t om ef o c u so fi n t m s i o n d e t e c t i o na n dt h e 、v h o l er e a l mo fn e t w o r ks e c u r i 竹i nt 1 1 i st h e s i s ，w es t u d ys e v e r a l c r i t i c a id m b l e m si nd i s t r i b u t e di n t m s i o nd e t e c t i o n a r e ri n t r o d u c i n g 山es t a t u sq u oo fr c s e a r c ho ni n t m s i o nd e t e c t i o n ，w eg od e e p i n t od i s 仃i b l n e di n t r u s i o nd e t e c t i o ns v s l ：e _ m s ，i n c l u d i n 叠也e i rf h n c t i o n s ，r a “o n a l e s ， s t i - u c t u r e s ，p r o sa n dc o n sa n ds o m er e p r e s e n 埘v ep m t o t y p e s a r e rt h a lw ed i s c u s s t h ea d v a l l 诅e sa 1 1 dd i 施c u l t i e so fd i d s c o n s i d e r i n gt h ed e t e c t i o ns t m c t u r eo fo u rs y s t e m ， w ec l a s s i f y e x i s t i n g d i s t r i b u t e di n n u s i o nd e t e c t i o ns v s t e m sa sd e n d r i f 0 h na sat r e eb vd a t as o u r c e sa n d t h ew o r k i n go fa n a l y s ee n g i n e a f l e r w a r d ，w ec l a s s i f yi m m s i o na se x t e m a la 1 1 d i n t e m a li n 仃u s i o nb vd a t as o u r c e s o nt 上l eb a s i so ft h ea b o v ed i s c u s s i o n ， a n a g e n t - b a s e dd i s t r i b u t e di r 山m s i o nd e t e c t i o nm o d e li sp r o p o s e d i ti sd i s t r i b u t e d ， i n t e l l i g e n ta n dm a i n t a i l l a b l e ，a n dn o to n l yr e s o l e st h ep r o b l e m so fs c a l a b i l i t ya n da s i n g l ep o i n to ff a i l u r ee f r c c t i v e l y ，b u ta l s oe n h a l l c e sm ew h 0 1 es y s 把m sd e t e c t i o n e f f i c i e n c va n dr e d u c e sr e s p o n s et i m e 汀e a t l v a f t e rt h a t ，w ei n t r o d u c ei n f o r m a t i o n a b s t r a c t i o nl e v e lt oc h a m c t e r i z e 血e1 0g i ca b s 订a c t i o nh i e r a r c h vo fa u d “d a t ai nt h e p r o c e s so f i n t m s i o nd e t e c t i o n w ea p p l yt h ei n t r u s i o nd e t e c t i o nt e c h n 0 1 0 9 yw h i c hi o i n sm i s u s ed e t e c t i o nw i t h a b n o n n a ld e t e c t i o nt oo u rs y s t e mo r g a n i c a l l y t h i sw a yi n c r e a s e s d e t e c t i o n e f f i c i e n c ya 1 1 dd e c r e a s e st h en u m b e ro ff a l s en e g a t i v e sa n df a l s ep o s i t i v e s a r e r t h a t 。w ea p p l yt 王l et e c l l i l o l o g yo fd a t am i n i n ga n dd a t af u s i o nt oa b s t r a c t i n f o r m a t i o n 矗o mn e wi n t m s i o nt oc o m ei m ob e i n gn e wk n o w l e d g e w ed e s c r i b e 山ep r i n c i p l ea n dt e c h n o l o g yo fo u rd i s m b u t e dm t m s i o nd e t e c t i o n s v s t e mj nd e t a i l t h e n 。w ed e s c r i b es e v e r a le x d e r i m e n t sc o n d u c t e df o rt h esa ：k eo f t e s t i n 2t h ea b i l i t yo fd e t e c t i o na 1 1 dr e s p o n s eo fo l l rs y s t e m r e s u l t so fe x p e r i m e n t s s h o wu 1 a to u rs v s t e mc a nd e t e c tt h e s ea n a c k sa c c u r 可k l va n dt a _ k ei n s t a n t c o u n t e r f n e a s u r e st ob l o c ki n t r u s i v ec o n n e c t j o n s k q 州o r d s ：d i s t r i b u t e di n 廿u s i o nd e t e c t i o n ，d a 诅m i n i n g ，a g e n t ，i n 仃u s i o nr e s p o n s e v 合肥工业大学 本论文经答辩委员会全体委员审查，确认符合合肥工业大学 硕士学位论文质量要求。 主席： 委员： 导师： 答辩委员会签名：( 工作单位、职称) 寸目吖砺 廓比 v 1 一、 讯、r p ，7 1 矿乏 啼移 绠 i 彤 1 2 孑f 巧 插图清单 图1 1基于主体访问客体的安全模型2 图】一2p 2 d r 动态安全模型5 图2 。l入侵检测原理7 图2 2 入侵检测系统模块结构8 图2 3 状态转移图1 7 图3 1a a f i d 系统结构2 9 图3 2 一种基于移动a g e n t 的入侵检测系统模型3 2 图3 3g r l d s 示意图3 3 图3 4 层次化协作模型3 5 图4 1入侵检测系统分类3 7 图4 2 群组分析系统( a ) 层次模型( b ) 协作模型。3 8 图4 3基于a g e n t 的分布式入侵检测模型3 9 图4 4a d i d s 的逻辑结构4 0 图4 5 服务器a g e n t 的通讯模型4 0 图4 - 6 ( a ) 网关a o e n t 的子a g e n t 工作过程( b ) 子网a g e n t 的子a g 烈t 工作过程4l 图4 7 信息抽象级别i a l 4 3 图4 8 检测w u - f t p d 缓冲区溢出攻击的信息抽象示意4 5 图4 9 检测分布目标端口扫描的信息抽象示意4 5 图5 1网关a g e n t 模块结构4 9 图5 2 控制台a g e n t 模块结构5 5 图5 3分布式入侵检测系统试验环境。5 6 表5 1 表5 2 表5 3 表5 4 表5 5 表5 6 表格清单 子控制台a g e n t 与其它单元的交互数据 子控制台a g e n t 程序命令行参数 检测a g e n t 与子控制台a g e n t 的交互数据 子控制台a g e n t 向响应a g e n t 发送的指令类型 系统调用审计记录 控制台a g e n t 功能需求 5 0 5 l 5 2 5 3 5 4 5 5 独创性声明 本人卢明所交的学位论文是本人在导师指导f 进行的研究j i ：作及取得的研究成果。 据我所知，除了文中特捌加以标注雨l 致谢的地方外，论文中不包含其他人已经发表或撰写 过的研究成果，也不包含为获得 金鲤! ：些厶鲎 城其他教百机构的学位业证f 5 而使 h j 过的材料。与我一同i ：作的同占对本研究所做的任何贡献均已在论文中作了明确的说明 并表示谢意。 学位论文作者签名：弛笔 签字日期：蝌月乙f 日 学位论文版权使用授权书 本学位论文作者完全了解金星墨上些厶堂有关保留、使州学位论文的规定有权保留 并向国家有关部门或机构送交论文的复印r i ：雨l 磁盘，允许论文被布阅和借阅。本人授权盒 盥! ：些厶堂可以将学位论文的全部缄部分内容编入有荚数据库进行检索，可以采川影印、 缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学 i ) = 论文在解密后适川本授权1 5 ) 学位论文作者签名： 净茗 签字日期：p f 年中胤f 日 学位论文作者毕业后去向 j ：作单位： 通讯地女l ： 聊签名别龟幻) 五a 签字日期挑。f 年午月叫日 电话： 邮编： 致谢 本论文是在沈明玉副教授和侯整风副教授两位导师的悉心指导和亲切关怀 下完成的。我非常荣幸地成为他们的学生，并在他们的带领下进入了信息安全 这个充满机遇和挑战的科研领域。他们渊博的学识、敏锐的学术洞察力、忘我 的工作精神、不断创新和严谨求实的科研态度以及豁达的胸怀、执着的人生信 念、宽以待人的品质深深地影响着我，使学生叹服，且终生受盏。自进入工大 以来，沈老师和侯老师的悉心指导和谆谆教诲伴随着我度过了人生最重要的一 段时光，j 下是他们那敏捷的思维、宽广的知识和对问题的透彻理解和分析，使 我得以在学术和技术等方面不断成长。在此谨向沈老师和侯老师致以崇高的敬 意和衷心的感谢! 衷心感谢工大计算机信息学院的胡学钢教授、王浩教授、梁华国教授、郭 骏副教授和其他老师，在他们的热情帮助下使我顺利完成了学业。 工大校园和谐、活跃的学术气氛给我留下了许多美好的回忆。学子们孜孜 不倦认真学习的态度和勤勤恳恳的工作作风给我树立了学习的榜样。感谢在工 大期间曾经给予我关心和帮助的所有老师和同学。感谢工大对我的培养。 感谢阜阳师范学院计算机系的陈蕴教授、王幼川书记和其他同事，没有他 们的理解、关心、帮助和鼓励，我不可能有这次求学的机会。 感谢刘杰、王春生、陈卫兵、张永华等同学，他们和我朝夕相处，一同度 过这段美好时光。 感谢我的父母和亲人，二十多年的养育，他们付出了太多。父母给了我生 命和自由，更给了我一颗深爱他们的心，希望我能够永远带给他们丌心和欣慰， 祝福他们永远健康。 感谢我的妻子和岳父岳母。证是他们的关心、理解和大力支持才促使我完 成学业。同样希望我能够永远带给他们开心和欣慰，也祝福他们永远健康。 最后，衷心感谢评阅、评审、出席论文答辩会的各位专家在百忙中给予悉 心指导。 v 作者：张岩 2 0 0 4 年5 月 第一章引言 1 1i n t e m e t 现状 随着王n t e r n e t 的发展，加入i n t e m e t 的主机数在飞速增长，截止到2 0 0 4 年】月， 加入i n t e r n e t 的主机数已经达到2 3 3 1 0 万台，和去年同期相比增长3 5 8 。中国 互联网络信息中心( c n n i c ) 于2 0 0 4 年1 月发布了第十三次中国互联网络发展 状况统计报告1 2 】：截止到2 0 0 3 年1 2 月3 1 开，我国的上网计算机总数已达3 0 8 9 万台，和去年同期相比增长4 8 3 ；我国的上网用户总人数为7 9 5 0 万人，跃居世 界第二，和去年同期相比增长3 4 5 ；我国国际出口带宽的总容量为2 7 2 1 6 m ， 和去年同期相比增加1 9 0 1 。这些数据表明i n t e m e t 在中国已经进入了高速发展 期，并逐步进入了人们的同常生活，为人们的信息交流和资源共享提供了极大 的便利。 但是，i n t e m e t 本身所具有的丌放性和共享性对信息的安全问题提出了严峻 的挑战，严重的i n t e m e t 安全事件层出不穷，如2 0 0 0 年y a h o o 等网站遭到大规模 拒绝服务攻击、2 0 0 1 年爆发了红色代码和尼姆达等蠕虫事件、2 0 0 2 年全球的根 域名服务器遭到大规模拒绝服务攻击，2 0 0 3 年爆发了s q l 杀手、冲击波及其变 种等蠕虫事件，尤其是今年爆发的震荡波蠕虫事件，期间还频繁发生网页篡改 和黑客竞赛等多起波及全球的大规模安全事件，在世界范围内造成了相当严重 的影响和损失；此外，随着i n t e m e t 应用只益复杂、用户规模扩大，网络上存在 的安全漏洞越来越多，用来进行攻击的黑客工具也越来越多，对攻击者的技术 水平要求不断降低，使得在网络中从事各种攻击行为变得越来越容易，各种攻 击的数目大幅增长，蠕虫病毒蔓延速度越来越快，可能在十几分钟之内造成大 面积的网络灾难。 现在，我国互联网在基础设施的构建上已逐步走向成熟，加强信息安全是 目前运营和维护网络生念环境的关键所在。我们必须采取各种可能的手段保护 网络世界的信息安全。除了提高国民的安全意识，加强法律、法规、制度等管 理措施外，还应当使用现代化的信息安全技术手段提高网络信息系统的安全能 力，这是在未来信息社会中能够生存的必由之路。 1 2 信息安全模型 1 2 1 经典安全模型 安全模型是用来定义实体以及实体之间交互和参考的规则的一个抽象模 型。常见的网络上的实体有用户、用户组、文件、路由器、工作站、打印机、 磁盘驱动器、用户程序、客户、服务器和网络适配器等等。这些实体在计算网 络中以不同的方式进行着相互之间的交互和参考。访问控制规则定义实体之自j 如何交互和参考，如对某个特殊文件可读用户的限制就是一个常见的访问控制 规则。实体被进一步分为主体和客体，两者构成了安全模型的两个基本要素。 所有的计算机网络安全产品都是基于这样一个简单的概念：主体访问客体。对 于一个安全产品，首先要考虑的就是这些最基本的定义：主体是什么? 客体是 什么? 主体与客体之间使用何种访问控制? 基于主体访问客体的安全模型是经典的安全模型，出以下几部分组成：主 体、客体、描述主体如何访问客体的一个授权数据库、约束主体对客体访问尝 试的参考监视器、认证主体和客体的认证系统以及审计整个系统活动的审计系 统p 1 。它们之问的关系【4 l 直口图1 1 所示。 ( 1 ) 授权数据库 授权数据库存放系统的访问控制规则，也就是授权，通常表现为 的形式，简单来说就是规定谁可以访问什么和它如何被访问。 记录 ( l - o g g l n 馨) 垮计 ( a 娃d i t i n g ) 安令遗规 e 2 一 ( e 3 = 8 0 ，e 4 - 1 s ，e 5 = 5 ) ，即假定事件e 1 和e 2 已经发生，e 3 随后发生的概 率是8 0 ，e 4 随后发生的概率是1 5 ，e 5 随后发生的概率是5 ，若e l 、e 2 发生了，接着e 3 发生，则为正常的概率很大，若e 5 发生，则为异常的概率很 大，若e 3 、e 4 、e 5 都没有发生，而是发生了模式中没有描述到的e 6 ，则可以 认为发生了攻击。预测模式生成技术的问题在于未被这些规则描述的入侵会被 漏检。这种技术较容易发现在系统学习期问试图训练系统的用户。 3 神经网络 神经网络( n e u r a jn e t 、v o r k ) 使用自适应学习技术来提取异常行为的特征， 需要对训l 练数据集进行学习以得出正常的行为模式。这种方法要求保证用于学 习f 常模式的训练数据的纯洁性，即不包含任何入侵或异常的用户行为。 神经网络由大量的处理元件组成，这些处理元件我们称之为“单元”( u n i t s ) ， 单元之问通过带有权值的“连接”( c o 衄e c t i o n s ) 进行交互。网络所包含的知谚 体现在网络的结构( 单元之间的连接、连接的权值) 中，学习过程也就表现为 权值的改变和连接的添加或删除。 神经网络的处理包含两个阶段。第一阶段的目的是构造入侵分析模型的检 测器，使用代表用户行为的历史数据进行训练，完成网络的构建和组装：第二 阶段则是入侵分析模型的实际运作阶段，网络接收输入的事件数据，与参考的 历史行为相比较，判断出两者的相似度或偏离度。在神经网络中，使用以下方 法来标识异常的事件：改变单元的状态、改变连接的权值、添加连接或删除连 接，同时也提供对所定义的币常模式进行逐步修f 的功能。 神经网络具有很多优势：由于不使用固定的系统属性集来定义用户行为， 因此属性的选择是无关的；神经网络对所选择的系统度量也不要求满足某种统 计分布条件，因此与传统的统计分析相比，具备了非参量化统计分析的优点。 神经网络也存在一些问题。例如，在很多情况下，系统趋向于形成某种不稳 定的网络结构，不能从训练数据中学习到特定的知识，这种情况目前尚不能完 全确定产生的原因。其次，神经网络对判断为异常的事件不会提供任何解释或 说明信息，这导致了用户无法确认入侵的责任人，也无法判定究竟是系统哪方 面存在的问题导致了攻击者得以成功地入侵。另外，将神经网络应用于入侵检 测，其检测的效率问题也是需要解决的。 2 5 3 其他检测技术 在近期入侵检测系统的研究过程中，研究人员提出了一些新的入侵检测技 术，这些技术不能简单地归类为误用检测或是异常检测，而是提供了种有别 于传统入侵检测视角的技术层次，例如数据挖掘、免疫系统、软件a 熙n t 等， 它们或者提供了更具普遍意义的分析技术，或者提出了新的检测系统架构，因 此无论对于误用检测还是异常检测束说，都可以得到很好的应用。 1 数据挖掘 数据挖掘( d a t am i n i n g ，d m ) 又称数据库中的知识发现( k n o w l e d g e d i s c o v e r yi nd a t a b a s e ，k d d ) ，是指从大型数据库或数据仓库中提取隐含的、未 知的、异常的及有潜在应用价值的信息或模式。c 0 1 啪b i a u n i v e r s 时的w e n k el e e 在完成的博论文【2 i j 中，提出了将数据挖掘技术应用到入侵检测中，通过对网 络数据和主机系统调用数掘的分析挖掘，发现误用检测规则或异常检测模型。 具体的工作包括利用数掘挖掘中的关联算法和序列挖掘算法提取用户的行为模 式，利用分类算法对用户行为和特权程序的系统调用进行分类预测。实验结果 表明，这种方法在入侵检测领域有很好的应用前景。 对于应用到入侵检测系统中的数据挖掘算法，目前主要集中在关联、序列 和分类这三种类型上，下面是对这三类算法的简单介绍。 ( 1 ) 关联分析算法 考虑一些涉及许多物品( 1 t e m s ) 的事务( t r a n s a c t i o n s ) ：事务1 中出现了 物品a ，事务2 中出现了物品b ，事务3 中则同时出现了物品a 和b 。那么， 物品a 和b 在事务中的出现相互之间是否有规律可循呢? 在数据库的知识发现 中，关联规则就是描述这种在一个事务中物品之间同时出现的规律的知识模式。 更确切的况，关联规则通过量化的数字描述物品a 的出现对物品b 的出现有多 大的影响。 设r = o ，。，。 是一组数据项集，w 是一组事务集。w 中的每个事务 ( t r a n s a c t i o n ) t 是一组数据项，且满足丁r 。假设有一个数据项集( i t e m s e t ) x ，一个事务t ，如果z r ，则称事务t 支持数据项集x 。 我们所要发掘的关联规则是指如下形式的一种数据隐含规则： j y ，其中x ，y 是两组数据项，x c r ，y c7 t ，z n y = 西 一般用四个参数来描述一个关联规则的属性：置信度( c o n f i d e n c e ) 、支持度 ( s u p p o n ) 、期望置信度( e x p e c t e dc o n f i d e n c e ) 和作用度( l m ) 。置信度是对 关联规则准确度的衡量，支持度则是对关联规则重要性的衡量。支持度说明了 这条规则在所有事务中有多大的代表性，显然支持度越大，关联规则越重要。 有些关联规则置信度虽然很高，但支持度却很低，说明该关联规则实用的机会 很小，因此并不重要。期望置信度描述了在没有数据项集x 的作用下，数据项 集y 本身的支持度：作用度描述了数据项集x 对数据项集y 的影响力。作用度 越大，说明数据项集y 受数据项集x 的影响越大。 关联分析的目的是从已知的事务集w 中，产生数据项集之问的关联规则， 保证其支持度( s u p p o r t ) 和置信度( c o 娟d e n c e ) 大于用户预先指定的最小支持 度( m i n i m u ms u p p o r t ) 和最小置信度( m i n i m 哪c o 曲d e n c e ) 。 发掘关联规则通常可分为以下两个步骤进行： 第一步，从事务集w 中找出所有支持度大于m i n i m 啪s u p p o r t 的数据项集， 称之为大数据项集( 1 a 喀ei t e m s e t s ) ，其他不满足支持度要求的数据项集则称为 小数掘项集( s m a l li t e m s c t s ) 。 第二步，使用大数据项集产生期望的关联规贼。产生关联规则的基本原则 是其置信度必须大于预先指定的闽值。 比较主流的关联分析算法有a p r i o r i 算法和a p r i o r i t i d 算法吲。 ( 2 ) 序列分析算法 简单来说，关联分析是发掘数据记录中不同数据项之间的横向关联性，而序 列分析则是发现不同数据记录之问的纵向相关性。序列分析的目标是在事务数 据库中发掘出序列模式( 1 a r g es e q u e n c e s ) ，即满足用户指定的最小支持度 ( m i n i m u ms u p p o r t ) 要求的大序列，并且该序列模式必须是最高序列( m a ) 【i m a l s e a u e n c e ) 【2 3 。 挖掘序列模式通常分为以下五个步骤进行： 排序阶段( s o r tp h a s e ) ： 以事务的主体为主键，事务时问为次键，对原始数据库进行排序，将其转 换为主体序列( c u g t o m e rse c l u e n c e s ) 的数据库： 大数据项阶段( l i t e m s e tp h a s e ) ： 找出所有的大数据项集l ( 此过程也相当于找出了所有长度为l 的大序列) ， 并把大数据项集映射为一组相邻的整数，每个大数据项对应一个整数； 转换阶段( t r a l l s f o 肌a t i o np h a s e ) ： 将数据库中主体序列的每一次事务用该事务包含的大数据项集l i t c m s e t s ( 映 射的整数) 代替； 序列阶段( s e q u e n c ep h a s e ) ： 利用大数据项集发掘序列模式( 1 a r g cs e q u e n c e s ) ； 序列最高化阶段( m a ) 【i m a lp h a s e ) ： 找出所有序列模式( 1 a 曜es e q u e n c e s ) 的最高序列集。 其中序列阶段是序列分析的关键所在。按照计数方式的不同，序列挖掘算 法分为以下两个大类： c o u n t a 1 1 算法： 通过对所有的大序列( 1 a 瞎es e q u e n c e s ) 进行计数来计算支持度，包括非最 高序列( n o n m a ) ( i m a ls e q u e n c e s ) ，代表算法是a p r i o r i a l l 【2 3 j 。 c o u n t s o m e 算法： 通过避免或减少对那些被更长序列所包含的序列( 即非最高序列) 进行计 数柬提高系统性能，代表算法是a p r i o r i s o m e 和d y n 锄i c s o m e 。 2 1 ( 3 ) 分类算法 数据分类的目的是提取数据库中数据项的特征属性，生成分类模型，该模型 可以把数据库中的数据记录映射到给定类别中的一个。 数据分类的处理步骤如下： 获得训练数据集( t r a i n i n gs e t ) ，该数据集中的数据记录具有和目标数据库中 数据汜录相同的数据项。 训练数据集中每一条数据记录都有己知的类型标识与之相关联。 分析训练数据集，提取数据记录的特征属性，为每一种类型生成精确的描 述模型。 使用得到的类型描述模型对目标数据库中的数据记录进行分类或生成优化 的分类模型( 分类规则) 。 数据分类的应用非常广泛，包括医学诊断、行为判定、市场预测等等，都 可以采用数据分类进行自动处理。数据分类的具体实现也有很多，概率统计、 神经网络、专家系统等，都是目前数据挖掘分类算法研究的重要方向。常用的 分类算法有r i p p e r 、i d 3 、n e a r e s t - n e i g h b o r 、c 4 5 、n a i v e b a y e s 、神经网络( n e u m l n e t w o r k ) 等f 2 2 】【2 3 1 【2 4 1 。 基于数据挖掘的入侵检测系统具有以下几点优势： ( 1 ) 智能性好，自动化程度高：由于数据挖掘方法可以综合各学科方法自 动地从数据中提取肉眼难以发现的网络行为模式，从而减少了人的参与，减轻 了入侵检测分析员的负担，同时也提高了检测的准确性； ( 2 ) 检测效率高：数据挖掘可以自动地对数据进行预处理，抽取数据中的 有用部分，有效地减少数据处理量，因而检测效率高： ( 3 ) 自适应能力强：由于不是基于预定义的检测模型，所以自适应能力强， 可以有效地检测已知攻击的变种以及新型攻击； ( 4 ) 虚警率低：数据挖掘方法可以有效地剔除重复的攻击数据，因而具有 较低的虚警率。 2 免疫系统 u n i v o f n e w m e x i c o 的s t e p h a l l i ef o 丌e s t 提出了将生物免疫机制引入计算机 系统的安全保护框架中。免疫系统最基本也是最重要的能力是识别“自我非自 我”( s e l h o n s e l f ) ，换句话讲，它能够识别哪些组织是属于正常机体的，不属于 正常的就认为是异常，这个概念和入侵检测中异常检测的概念非常相似。研究 人员通过大量的实验发现：对一个特定的程序来说，其系统调用序列是相当稳 定的，使用系统调用序列束识别“自我”，应该可以满足系统的要求。在这个假 设的前提下，该研究小组提出了基于系统调用的短序列匹配算法，并作了大量 丌创性的工作2 5 】【2 6 1 。 3 软件a g e n t 所谓a g e n t ，实际上可以看作是在执行某项特定监视任务的软件实体。软件 a g e n t 是人工智能和网络技术相结合的产物，它一般具有以下的特性1 2 7 l 。 ( 1 ) 自治性：a g e n t 运行时不直接由人或者其他东西控制，它对自己的行 为和内部状念有一定的控制权。 ( 2 ) 反应性：能够感知所处环境( 如i n t e m e t ) 的变化并实时做出反应。 ( 3 ) 主动性：传统的应用程序是被动地由用户来运行的，而且机械地完成 用户的指令；而a g e n t 的行为应该是主动的，或者说自发的。a g e n t 感知周围环 境的变化，并做出基于目标的行为。 ( 4 ) 社会性：a g e n t 能够通过某种a g e n t 通信语言与其他a g e n t 进行信息 交换。 ( 5 ) 协作性：a g e n t 之间能够合作和协调工作，求解单个a g e n t 无法处理 的问题，提高处理问题能力。 ( 6 ) 自适应性：a g e n t 可以根据过去的经验积累知识，并且修改其行为以 适应新的环境。 a g e n t 通常以自治的方式在目标主机上运行，本身只受操作系统的控制，因 此不会受到其他进程的影响。a g e n t 的独立性和自治性为系统提供了良好的扩展 性和发展潜力。一个a g e n t 可以简单到仅仅对一段时间内某条命令被调用的次 数进行计数，也可以复杂到利用数学模型对特定应用环境中的入侵作出判断， 这完全取决于开发者的主观意愿。基于a g e n t 的入侵检测系统的灵活性保证它 可以为保障系统的安全提供混合式的架构，综合运用误用检测和异常检测，从 而弥补两者各自的缺陷。例如，可以将一个a g e n t 设置成通过模式匹配的算法 柬检测某种特定类型的攻击行为，同时可以将另一个a g e m 设黄为对某项服务 程序异常行为的监视器，甚至将入侵检测的响应模块也作为系统的一个a g e n t 运行。p u r d u e u m v e r s 时的研究人员为基于a g e n t 的入侵检测系统提出了一个基 本原型，称为入侵检测自治a g e n t ( a u t o n o m o u sa g e n t s 南ri n t m s j o nd e t e c t i o n ， a a f i d ) 【2 ”。有关a a f i d 的系统结构和基本原理将在下一章介绍。 在自治a g e n t 的基础上，人们又提出了一种移动a g e m 。移动a g e n t 是指能 够在需要时主动或被动地在异构网络节点问进行迁移完成入侵检测任务的软件 实体。移动a g e n t 除了具有自治a g e n t 的特性外，还具有以下属性： ( 1 ) 迁移性：是指移动a g e n t 在运行期间可以直接进行主机间的迁移； ( 2 ) 分布灵活性：是指移动a g e n t 运行在整个分布式系统中，它根据需要 将自己发送到主机现场，进行本地操作，从而提高了操作的灵活性，消除了a g e n t 对复杂通信协议的依赖。 还有许多国内外的研究人员对入侵检测系统所使用的检测技术进行了大量 的研究工作，提出了并实现了其他一些检测方法和原型系统，例如基于流量分 析的检测、基于入侵策略分析的检测等等，在此不再一一介绍。 目前看来，异常检测是入侵检测的发展方向，并且通常从以下两个角度柬 进行行为模式的提取和比较： 用户行为模式：针对用户执行的命令序列进行模式提取、行为分析和模型生 成工作； _ 程序行为模式：针对特定的程序行为，例如系统中的特权进程所产生的系统 调用来完成检测工作。 以上介绍的检测技术，有些针对用户的行为模式，有些针对程序的行为模 式，还有一些则将两者相结合，保证从多个层次对受保护系统进行监测。 2 6 入侵检测的评估 目| j i 市场上有许多入侵检测系统，如何去评价这些产品，尚无形成规定的 评价标准。一般可以从以下几个方面去评价一个入侵检测系统： ( 1 ) 能保证自身的安全入侵检测系统必须保证自身安全。如果其自身存 在漏洞并被攻击成功，则入侵者的入侵行为将无法被记录下来。 ( 2 ) 入侵检测系统报警准确误报和漏报的情况尽量少。 ( 3 ) 网络入侵检测系统负载能力以及可支持的网络类型在网络环境中， 负载轻不需要高速的入侵检测引擎，而对于负载重网络性能是一个非常重要 的指标。 ( 4 ) 支持入侵特征数 ( 5 ) 是否支持i p 碎片重组i p 碎片是网络攻击中常用的方法，因此， i p 碎片的重组可以检测利用i p 碎片的攻击。 ( 6 ) 是否支持t c p 流重组t c p 流重组是为了对完整的网络对话进行分 析，它是网络入侵检测系统对应用层进行分析的基础。 2 7 商业化产品 经历了十多年的发展过程，入侵检测系统目前已出现了大量的商业化产品 【2 们，典型的有： i s s 公司的r e a l s e c u r e ( 基于主机和基于网络) a x e n t 公司的i n t r l l d e r a l e n ( 基于主机) 和n 鲫- r o w l e r ( 基于网络) 2 4 c i s c o 公司的n e t r a l l g e r ( 基于网络) c y b e r s a f e 公司的c e n t r a x ( 基于主机和基于网络) n e t w o r k f l i g h tr e c o d e r 公司的n f r i d s ( 基于网络) n e t w o r k i c e 公司的b l a c k i c ed e f e n d e r 和e n t e r p r i s ei c 印a c1 o ( 基于网络) n e t w o r ks e c u r i t y w i z a r d s 公司的d r a g o n i d s 系统( 基于网络) 这些入侵