（计算机应用技术专业论文）基于机器学习和数据挖掘的入侵检测技术研究.pdf

东北大学硕士学位论文摘要 基于机器学习和数据挖掘的入侵检测技术研究 摘要 入侵检测系统( i d s ) 的主要任务是依照一定的策略， 对网络的运行状况进行监 视，尽可能发现各种攻击行为，以保证网络系统资源的机密性、完整性和可用性。 从响应机制划分，入侵检测可以分为异常检测模型和误用检测模型。前者通 过检查当前行为与已经建立的正常模式之间的偏差来检测入侵，后者则是基于当 前网络活动与已知异常模式的匹配程度来识别入侵。对于异常检测，其主要缺点 是误报率较高;对于误用检测，不足之处在于它无法识别未知的攻击类型。 入侵检测系统( 工 d s ) 在运行过程中会产生大量的报警信息( a l e r t ) ,其中有很 大部分是误报，这不仅加重了报警分析和决策制定过程的工作量，也使得对入 侵的识别变得更加困难。对于多阶段分布式网络攻击( 如 d d o s ) ，情况尤为严重， 真正的入侵将会被大量的报警信息淹没。 为了 解决上述问题，本文首先提出了一个基于最大墒模型( m a x i m u m e n t r o p y m o d e l ) 的入侵检测方法。最大墒模型是一种灵活的概率估计方法，它提供了一个 简洁、可适应的框架来包含丰富的背景信息。其特点还包括:建立一个尽可能符 合已知数据的模型，对未知数据做最少的假设。在 u c 工k d d标准数据集上所做的 大量实验显示， 我们的入侵检测方法的 检测能力与s v m 相近， 优于c 4 . 5 和简单贝 叶斯分类算法( n a i v e b a y e s c l a s s i f i e r ) 。此外，我们的入侵检测方法在各种数 据集上均取得了较好的检测结果，显示出其在入侵检测领域内的诱人前景。 此外，本文还针对分布式拒绝服务攻击( d d o s ) 提出了一个基于序列模式挖掘 ( s e q u e n t i a l p a t t e r n m i n i n g ) 方法的 报警关联模型。 通过 挖掘 报警 序列并 且 对得 到的序列报警模式根据其相似性进行关联，我们的报警关联系统极大的减少了报 警的数量，并且能够识别 d d o s入侵。实验表明，对于 d d o s报警序列识别而言， 我们的方法略优于传统的隐马尔科夫模型( h i d d e n m a r k o v m o d e l ) . 关键字机器学习，数据挖掘，报警关联 东北大学硕士学位论文 abs t r act r e s e a r c h o n i n t r u s i o n d e t e c t i o n t e c h n i q u e s b a s e d o n ma c h i n e l e a r n i n g a n d d a t a mi n i n g me t h o d s abs t ract t h e t a s k o f a n i n t r u s i o n d e t e c t i o n s y s t e m ( i d s ) i s t o m o n i t o r t h e r u n n i n g o f t h e n e t w o r k s a c c o r d i n g t o s o m e p r e - s p e c i f i e d p o l i c y a n d t r y t o f i n d t h e i n t r u s i v e a c t i v i t i e s s o a s t o p r o t e c t t h e c o n f i d e n t i a l i t y , i n t e g r i t y a n d u s a b i l i t y o f t h e n e t wo r k r e s o u r c e s . f r o m t h e p e r s p e c t i v e o f t h e t r i g g e r i n g m e c h a n i s m, i n t r u s i o n d e t e c t i o n c a n b e c a t e g o r i z e d i n t o a n o m a l y d e t e c t i o n a n d m i s u s e d e t e c t i o n d e t e c t s i n t r u s i o n s b y c h e c k i n g t h e d e v i a t i o n o f t h e c u r r e n t e s t a b l i s h e d n o r m a l p r o f i l e s , t h e l a t t e r i d e n t i f i e s a t t a c k s . wh i l e t h e f o r me r a c t i v i t i e s f r o m t h e b y me a n s o f t h e d e g r e e t o i n t r u s i o n s w h i c h c u r r e n t n e t w o r k a c t i v i t i e s m a t c h t h e s i g n a t u r e s f o r a n o m a l y d e t e c t i o n , t h e b i g g e s t s h o r t c o mi n g i s a o f k n o wn s u b s t a n t i a l f a l s e a l a r m r a t e . d e t e c t f o r mi s u s e d e t e c t i o n , i t s ma i n d r a w b a c k u n k n o wn i n t r u s i o n s i s a n i n h e r e n t i n a b i l i t y t o a n i d s t e n d t o r a i s e a h u g e v o l u m e o f a l e r t s d u r i n g i t s r u n n i n g , a l a r g e p a r t o f w h i c h a r e f a l s e a l e r t s . t h i s n o t o n l y g r e a t l y i n c r e a s e s t h e w o r k l o a d o f p o s t - d e t e c t i o n a n a l y s i s a n d d e c i s i o n - m a k i n g , b u t a l s o ma k e s t h e i d e n t i f i c a t i o n o f i n t r u s i o n s m o r e d i f f i c u l t . f o r m u l t i p l e - s t a g e d i s t r i b u t e d n e t w o r k i n t r u s i o n s ( s u c h a s d d o s ) , t h e s i t u a t i o n i s e v e n mo r e s e v e r e s i n c e t r u e i n t r u s i o n s t e n d t o b e o v e r w h e l me d b y t h e l a r g e a mo u n t o f a l e r t s t o a t t a c k t h e s e p r o b l e m s , w e f i r s t p r o p o s e a n i n t r u s i o n d e t e c t i o n m e t h o d b a s e d o n t h e ma x i m u m e n t r o p y ( me ) mo d e l . me m o d e l , a f l e x i b l e p r o b a b i l i t y e s t i m a t i o n m e t h o d , o f f e r s a c o m p a c t a n d a c c o m m o d a b l e f r a m e t o i n c o r p o r a t e d i v e r s e e v i d e n c e s . i t a l s o h a s t h e a p p e a l i n g c h a r a c t e r i s t i c s o f b e s t i n g f i t t i n g t h e a v a i l a b l e d a t a w h i l e a s s u m i n g n o t h i n g o f t h e u n k n o w n e x t e n s i v e e x p e r i m e n t s c o n d u c t e d o v e r t h e u c i k d d b e n c h m a r k d a t a s e t s h o w e d t h a t o u r i n t r u s i o n d e t e c t i o n a p p r o a c h w a s c o m p a r a b l e t o s v m, a n d b e t t e r t h a n c 4 . 5 a n d n a i v e b a y e s c l a s s i f i e r . i n a d d i t i o n , o u r a p p r o a c h a c h i e v e d h i g h d e t e c t i n g p e r f o r m a n c e o v e r a l l d a t a s e t s a n d t h u s d e m o n s t r a t e s t h e p o t e n t i a l t o b e a p r o mi s i n g d e t e c t i o n t e c h n i q u e . i i i 东北大学硕士学位论文 t a r g e t i n g d d o s a t t a c k s , w e a l s o p r o p o s e d a n abs trac 、 a l e r t c o r r e l a t i o n me t h o d b a s e d o n t h e s e q u e n t i a l p a t t e r n mi n i n g t e c h n i q u e s . b y mi n i n g t h e a l e r t s e q u e n c e s a n d i t e r a t i v e l y c o r r e l a t i n g t h e s e q u e n t i a l a l e r t p a t t e r n s a c c o r d i n g t o t h e i r s i m i l a r i t y , o u r c o r r e l a t i o n s y s t e m g r e a t l y r e d u c e d t h e n u m b e r o f r a w a l e r t s a n d a t t h e s a m e t i m e i d e n t i f i e d t h e d d o s a t t a c k t y p e s . e x p e r i m e n t i n d i c a t e d t h a t o u r m e t h o d p e r f o r me d s l i g h t l y b e t t e r t h a n t h e h i d d e n ma r k o v mo d e l i n t e r m s o f d d o s a l e r t s e q u e n c e i d e n t i f i c a t i o n ke y wo r d s ma c h i n e l e a r n i n g , d a t a mi n i n g , a l e r t c o r r e l a t i o n t v 独创性声明 本人声明所呈交的学位论文是在导师的指导下完成的。 论文中取得 的研究成果除加以标注和致谢的地方外， 不包含其他人己 经发表或撰写 过的 研究成果， 也不包括本人为获得其他学位而使用过的材料。 与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明 并表示谢意。 学 位论 文 作 者 签 名: 钩彩 日期: 泛 力 寸、 。 ， ， 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、 使用学位 论文的规定:即学校有权保留并向国家有关部门或机构送交论文的复 印件和磁盘，允许论文被查阅和借阅。本人授权东北大学可以 将学位 论文的全部或部分内容编入有关数据库进行检索、交流。 ( 如作者和导师同意网上交流，请在下方签名;否则视为不同意。 ) 学位论文作者签名: 签字日期: i , 。 . #粉 导师签名 签字日期 ,) - -ii .) ! 东北大学硕士学位论文 第一章 引言 第一章 引 言 随着网络安全技术的发展，入侵检测系统 ( 工 d s )在网络环境中的应用越来越 普遍。然而，科技的发展是一把双刃剑:在各种安全技术不断出现的同时，网络 入侵的方法也越来越高深莫测和多样化。作为网络安全的主要产品，防火墙为网 络边界提供着有效的保护。然而，防火墙也并非十全十美的安全技术，为了弥补 它在实际应用中存在的不足，入侵检测技术应运而生，成为各研究机构和厂商竞 相追逐的目标。 1 . 1研究背景 2 0 世纪9 0 年代以 来， 互联网在全球迅猛发展， 正对人类的生存与发展产生极 其重 要的影响，使人类的发展面临着六大变革:数字化，信息传播方式的变革; 超时空交往，交往方式的变革:网络教育，教育的变革;网上购物，消费方式的 变革;网络时空，体闲方式的变革;虚拟组织，社会组织方式的变革。从某种程 度上 可以说，信息时代已经悄然来到，信息已成为物质和能量以外的维持人类社 会的第三资源。然而，信息化在给人们带来种种物质和文化享受的同时，也带来 了 一些负面影响。“ 邮件炸弹， 、 “ 电脑病毒” 、 “ 网上犯罪”等非法活动日 益威胁到 网络的安全。尤其是黑客的恶意攻击，随着互联网的普及和信息技术的发展，它 己成为威胁网络安全的最大隐患。 黑客，是指利用通讯软件，通过网络非法进入他人计算机系统，截取或篡改 计算机数据，以及恶意攻击信息网络、金融网络资源和危害国家或社会公众信息 资源安全的电 脑入侵者或入侵行为。随着网络的日 益发展，黑客攻击事件也不断 出现。1 9 9 1年，美国国会总审计署宣布在海湾战争期间，几个来自 荷兰的少年黑 客侵入国防部的计算机， 修改并复制了一些非保密的与战争相关的敏感情报。 1 9 9 4 年， 格里菲斯空军基地和美国航空航天局的电脑网络受到两名黑客的攻击同年， 一名黑客用一个很容易得到的密码发现了英国女王、梅杰首相和其他几位军情五 处高官的电话号码， 并把这些号码公布在互联网上。 1 9 9 5 年， “ 世界头号电 脑黑客” 凯文 米特尼克被捕。他被指控闯 入许多电 脑网络，包括入侵北美空中防务体系、 美国国防部，偷窃了 2万个信用号卡和复制软件。同年，俄罗斯黑客列文在英国 被捕。他被指控用笔记本电 脑从纽约花旗银行非法转移至少 3 7 0万美元到世界各 地由他和他的同党控制的账户。 1 9 9 4 年， 美国一位 1 4 岁的少年通过互联网闯入中 科院网络中心和清华的主机，并向我方系统管理员提出警告。1 9 9 6年，高能所再 东北大学硕士学位论文 第一章 引言 第一章 引 言 随着网络安全技术的发展，入侵检测系统 ( 工 d s )在网络环境中的应用越来越 普遍。然而，科技的发展是一把双刃剑:在各种安全技术不断出现的同时，网络 入侵的方法也越来越高深莫测和多样化。作为网络安全的主要产品，防火墙为网 络边界提供着有效的保护。然而，防火墙也并非十全十美的安全技术，为了弥补 它在实际应用中存在的不足，入侵检测技术应运而生，成为各研究机构和厂商竞 相追逐的目标。 1 . 1研究背景 2 0 世纪9 0 年代以 来， 互联网在全球迅猛发展， 正对人类的生存与发展产生极 其重 要的影响，使人类的发展面临着六大变革:数字化，信息传播方式的变革; 超时空交往，交往方式的变革:网络教育，教育的变革;网上购物，消费方式的 变革;网络时空，体闲方式的变革;虚拟组织，社会组织方式的变革。从某种程 度上 可以说，信息时代已经悄然来到，信息已成为物质和能量以外的维持人类社 会的第三资源。然而，信息化在给人们带来种种物质和文化享受的同时，也带来 了 一些负面影响。“ 邮件炸弹， 、 “ 电脑病毒” 、 “ 网上犯罪”等非法活动日 益威胁到 网络的安全。尤其是黑客的恶意攻击，随着互联网的普及和信息技术的发展，它 己成为威胁网络安全的最大隐患。 黑客，是指利用通讯软件，通过网络非法进入他人计算机系统，截取或篡改 计算机数据，以及恶意攻击信息网络、金融网络资源和危害国家或社会公众信息 资源安全的电 脑入侵者或入侵行为。随着网络的日 益发展，黑客攻击事件也不断 出现。1 9 9 1年，美国国会总审计署宣布在海湾战争期间，几个来自 荷兰的少年黑 客侵入国防部的计算机， 修改并复制了一些非保密的与战争相关的敏感情报。 1 9 9 4 年， 格里菲斯空军基地和美国航空航天局的电脑网络受到两名黑客的攻击同年， 一名黑客用一个很容易得到的密码发现了英国女王、梅杰首相和其他几位军情五 处高官的电话号码， 并把这些号码公布在互联网上。 1 9 9 5 年， “ 世界头号电 脑黑客” 凯文 米特尼克被捕。他被指控闯 入许多电 脑网络，包括入侵北美空中防务体系、 美国国防部，偷窃了 2万个信用号卡和复制软件。同年，俄罗斯黑客列文在英国 被捕。他被指控用笔记本电 脑从纽约花旗银行非法转移至少 3 7 0万美元到世界各 地由他和他的同党控制的账户。 1 9 9 4 年， 美国一位 1 4 岁的少年通过互联网闯入中 科院网络中心和清华的主机，并向我方系统管理员提出警告。1 9 9 6年，高能所再 东北大 学硕士学 位论文第 一 章 引 百 次遭到入侵，黑客私自 在高能所主机上建立了几一 个帐户，我方人员经过追踪发 现是黑客国内某拨号上网的用户。1 9 9 7年，中科院网络中心的主页面被 “ 黑客” 用魔鬼图替换。进入1 9 9 8 年，黑客入侵活动日 益猖撅，国内各大网络儿乎都不同 程度地遭到黑客的攻。 8 月， 印尼事件激起中国黑客集体入侵印尼网点， 造成印尼 多个网站瘫痪，与此同时，中国的部分站点也遭到了印尼黑客的报复。1 0月， 福 建省图书馆主页被黑客替换。t 9 9 8年，美国防部宣称黑客向五角大楼网站发动了 “ 有史以来最大规模、最系统性的攻击行动” ，黑客打入了许多政府非保密性的敏 感网络，查询并修改了工资报表和人员数据。不久，警方抓获了两名加州少年黑 客。三星期后，美国警方宣布以色列少年黑客 “ 分析家”被抓获。同年，马萨诸 塞州伍切斯特机场导航系统因一名黑客入侵而被迫中断6 小时。1 9 9 9 年5 月，美 国参议院、 白宫和美国陆军网络以及数十个政府网站都被黑客攻陷。 2 0 0 0 年2 月， 在三天时间里，黑客使美国数家顶级互联网站 雅虎、 亚马逊、电子港湾、c n n 陷入瘫痪。同月，日 本右翼分子举行集会， 企图否认南京大屠杀暴行，引 起中国 黑客愤慨， 中国黑客连番袭击日 本网站。 2 月8日 至9日， 中国最大网站新浪网招 致黑客长达1 8 小时的袭击，其电子信箱完全瘫痪。 2 0 0 1 年4 月3 0日 开始中 美因 撞机事件爆发的互联网黑客大战。 中国官方出面证实， 被攻击的中国网站中 有1 2 % 是政府网站，一场没有硝烟的 “ 战争”在网络上展开，由中美撞机事件引发的中 美网络黑客大战的战火，愈烧愈烈，双方己有超过7 0 0 家政府及民间网站相继 被 “ 黑” 。 以上事实表明，在网络上如何保证合法用户对资源的合法访问以及如何防止 网络黑客攻击，成为网络安全的主要内容。网络安全措施应能全方位地针对各种 不同的威胁，这样才能确保网络信息的保密性、完整性和可用性。为了保护接入 互联网的网络免受攻击和破坏，通常采用防火墙技术限制网络的访问，阻止对受 保护网络的攻击。 防火墙是目 前应用范围最广的网络安全产品之一。 作为不同网段之间的逻辑隔 离设备，防火墙将内部可信区域与外部危险区域有效隔离，将网络的安全策略制 定和信息流动集中管理，为网络边界提供保护，是抵御入侵的有效手段之一。 然 而，防火墙本身也存在很多的局限。首先，防火墙难于防内，然而，据权威部门 统计结果 表明， 网络上的安全攻击事件有7 0 % 以上来自内部攻击: 第二， 防火墙难 于管理和配置，易造成安全漏洞， 根据美国财经杂志统计资料表明，3 0 % 的入侵发 生在有防火墙的情况下;第三，防火墙的安全控制主要是基于工 0 地址的， 难于为 用户在防火墙内 外提供一致的安全策略;第四，防火墙只实现了静态、 粗粒度的 厉问控制，不能与企业内部使用的其它安全机制集成使用:此外，防火墙无法自 东 北大 学 硕士学 位论文第一章 引 言 动调整策略设置，以阻断正在进行的攻击。 这样以来， 一个pt ;c 待解决的问题便是使用一种新的网络安全技术来弥补防火墙 的不足。入侵检测正是这样一种技术，它主要针 一 对可疑的活动进行分析，因此不 同于防火墙或是存取控制机制所采取的 “ 检查是否合法，然后决定是否授权”的 思考模式，入侵检测系统采取的是 “ 分析侮一个发生事件 无论是合法或是非法) 底层所显示的行为模式，并根据这些行为模式判断是否为入侵事件”的模式。 凭 借这种深入的分析方式，入侵检测系统可以判断出更多的可疑的动作，这点无疑 可以弥补防火墙的缺欠。总之，入侵检测技术可以克服防火墙的弊端，是一种新 型的网络安全模型。 1 . 2 研究内容及现实意义 入侵检测系统牡 d s ) 的主要任务是依照一定的策略，对网络的运行状况进行监 视， 尽可能发现各种攻击行为，以保证网络系统资源的机密性、完整性和可用性 从响应机制划分，入侵检测可以分为异常检测模型和误用检测模型。前者通 过检查当前网络行为与己经建立的正常模式之间的偏差来检测入侵，后者则是基 于当前网络活动与已知异常模式的匹配程度来识别入侵。对于异常检测，其主要 缺点是误报率较高;对于误用检测，不足之处在于它无法识别未知的攻击类型。 在当今大容量、高速的网络环境下，这种缺憾对于入侵检测系统来说是明显的瓶 颈，严重的影响对入侵行为的检测。 此外，入侵检测系统在运行过程中会产生大量的报警信息( a l e r t ) ，其中有很 大一部分是误报，这不仅加重了报警分析和决策制定过程的工作量，也使得对入 侵的识别变得更加困 难。对于多阶段分布式网络攻击( 如 d d o s ) ， 情况尤为严重， 真正的入侵将会被大量的报警信息淹没。 基于上述考虑，本文旨在提出一种有效的入侵检测模型和报警关联方法。该 入侵检测模型的目 标是取得较高的检测率和较低的误报率，这对于当今复杂的网 络环境是非常有现实意义的;我们所提出的报警关联方法目的是通过关联、合井 有内在联系的报警信息，从而大量地减少有待管理员处理的报警，同时识别被关 联的报警信息所代表的入侵类型( 本文只实现对d d o s 攻击的识别) 。 检测模型和关 联系统是一套完整的入侵检测系统的核心，本文通过大量试验证明，我们提出的 检测模型和关联方法是有效、 可行的。 这为当前的入侵检测技术提供了新的思路， 有着重要的理论和现实意义。 东 北大 学 硕士学 位论文第一章 引 言 动调整策略设置，以阻断正在进行的攻击。 这样以来， 一个pt ;c 待解决的问题便是使用一种新的网络安全技术来弥补防火墙 的不足。入侵检测正是这样一种技术，它主要针 一 对可疑的活动进行分析，因此不 同于防火墙或是存取控制机制所采取的 “ 检查是否合法，然后决定是否授权”的 思考模式，入侵检测系统采取的是 “ 分析侮一个发生事件 无论是合法或是非法) 底层所显示的行为模式，并根据这些行为模式判断是否为入侵事件”的模式。 凭 借这种深入的分析方式，入侵检测系统可以判断出更多的可疑的动作，这点无疑 可以弥补防火墙的缺欠。总之，入侵检测技术可以克服防火墙的弊端，是一种新 型的网络安全模型。 1 . 2 研究内容及现实意义 入侵检测系统牡 d s ) 的主要任务是依照一定的策略，对网络的运行状况进行监 视， 尽可能发现各种攻击行为，以保证网络系统资源的机密性、完整性和可用性 从响应机制划分，入侵检测可以分为异常检测模型和误用检测模型。前者通 过检查当前网络行为与己经建立的正常模式之间的偏差来检测入侵，后者则是基 于当前网络活动与已知异常模式的匹配程度来识别入侵。对于异常检测，其主要 缺点是误报率较高;对于误用检测，不足之处在于它无法识别未知的攻击类型。 在当今大容量、高速的网络环境下，这种缺憾对于入侵检测系统来说是明显的瓶 颈，严重的影响对入侵行为的检测。 此外，入侵检测系统在运行过程中会产生大量的报警信息( a l e r t ) ，其中有很 大一部分是误报，这不仅加重了报警分析和决策制定过程的工作量，也使得对入 侵的识别变得更加困 难。对于多阶段分布式网络攻击( 如 d d o s ) ， 情况尤为严重， 真正的入侵将会被大量的报警信息淹没。 基于上述考虑，本文旨在提出一种有效的入侵检测模型和报警关联方法。该 入侵检测模型的目 标是取得较高的检测率和较低的误报率，这对于当今复杂的网 络环境是非常有现实意义的;我们所提出的报警关联方法目的是通过关联、合井 有内在联系的报警信息，从而大量地减少有待管理员处理的报警，同时识别被关 联的报警信息所代表的入侵类型( 本文只实现对d d o s 攻击的识别) 。 检测模型和关 联系统是一套完整的入侵检测系统的核心，本文通过大量试验证明，我们提出的 检测模型和关联方法是有效、 可行的。 这为当前的入侵检测技术提供了新的思路， 有着重要的理论和现实意义。 东 北大学 硕士学 位论文 1 . 3本文组织结构 第一章 引言 全文一共分为六章。 第一章是引台，主要介绍了课题研究的背景和现实意义;第二章是入侵检测 系统概述，简单介绍入侵检测系统的概念、分类等，并且介绍了入侵检测和报警 关联领域内的相关工作;在第三章中，我们介绍了最大嫡统计模型，并且详细描 述了基于最大嫡模型的入侵检测系统;第四章介绍了基于序列模式挖掘技术的报 警关联方法;第五章描述了实验环境、数据、结果以及对实验结果的分析;第六 章总结全文并提出未来的研究方向。 东北大学硕士学位论文 第 二章入侵检测系 统概述 第二章 入侵检测系统概述 入侵检测技术 ( i d s ) 是一种主动保护自己免受攻击的一种网络安全技术。作 为防火墙的合理补充，入侵检测技术能够帮助系统对付网络攻击，扩展了系统管 理员的安全管理能力 ( 包括安全审计、监视、攻击识别和响应) ，提高了信息安全 基础结构的完整性。它从计算机网络系统中的若干关键点收集信息，并分析这些 信息。入侵检测被认为是防火墙之后的第二道安全闸门，在不影响网络性能的情 况下能对网络进行监测，可以防止或减轻潜在的网络威胁。 2 . 1 入侵检测系统简介 入侵检测， 顾名思义， 就是对入侵行为的发觉。 它通过在计算机网络或计算机 系统中的若干关键点收集信息并对其分析， 从中 发现网 络或系统中是否有违反安 全策略的行为和被攻击的迹象。进行入侵检测的软件与硬件的组合便是工 d s a 具体说来，入侵检测系统的主要功能有: 1 )监测并分析用户和系统的活动; 2 )核查系统配置和漏洞; 3 )评估系统关键资源和数据文件的完整性; 4 )识别己知的攻击行为; 5 )统计分析异常行为; 6 )操作系统日志管理，识别违反安全策略的用户活动; 入侵检测系统的市场在近几年中飞速发展， 许多公司投入到这一领域上来。 除 了国 外的i s s , n f r , c i s c o等公司外，国内也有数家公司 ( 如中联绿盟，中科网 威等) 推出了自己 相应的产品。 但就目 前而言 ，入侵检测系统还缺乏相应的标准。 目前，试图对 i d s进行标准化工作的有两个组织:i e t f的 i n t r u s i o n d e t e c t i o n w o r k i n g g r o u p ( i d wg ) 和c o m m o n i n t r u s i o n d e t e c t i o n f r a m e w o r k ( c i d f ) ， 但进展 缓慢，尚没有被广泛接收的标准出台。 2 . 2 c i d f 模型 c o m m o n i n t r u s i o n d e t e c t i o n f r a m e w o r k ( c i d 玛 阐 述了 一个 入侵检测系 统( i d s ) 的通用模型。它将一个入侵检测系统分为以下组件: l ， 事件产生器( e v e n t g e n e r a t o r ) ; 2 , 事件分析器( e v e n t a n a l y z e r ) ; 东北大学硕士学位论文 第 二章入侵检测系 统概述 第二章 入侵检测系统概述 入侵检测技术 ( i d s ) 是一种主动保护自己免受攻击的一种网络安全技术。作 为防火墙的合理补充，入侵检测技术能够帮助系统对付网络攻击，扩展了系统管 理员的安全管理能力 ( 包括安全审计、监视、攻击识别和响应) ，提高了信息安全 基础结构的完整性。它从计算机网络系统中的若干关键点收集信息，并分析这些 信息。入侵检测被认为是防火墙之后的第二道安全闸门，在不影响网络性能的情 况下能对网络进行监测，可以防止或减轻潜在的网络威胁。 2 . 1 入侵检测系统简介 入侵检测， 顾名思义， 就是对入侵行为的发觉。 它通过在计算机网络或计算机 系统中的若干关键点收集信息并对其分析， 从中 发现网 络或系统中是否有违反安 全策略的行为和被攻击的迹象。进行入侵检测的软件与硬件的组合便是工 d s a 具体说来，入侵检测系统的主要功能有: 1 )监测并分析用户和系统的活动; 2 )核查系统配置和漏洞; 3 )评估系统关键资源和数据文件的完整性; 4 )识别己知的攻击行为; 5 )统计分析异常行为; 6 )操作系统日志管理，识别违反安全策略的用户活动; 入侵检测系统的市场在近几年中飞速发展， 许多公司投入到这一领域上来。 除 了国 外的i s s , n f r , c i s c o等公司外，国内也有数家公司 ( 如中联绿盟，中科网 威等) 推出了自己 相应的产品。 但就目 前而言 ，入侵检测系统还缺乏相应的标准。 目前，试图对 i d s进行标准化工作的有两个组织:i e t f的 i n t r u s i o n d e t e c t i o n w o r k i n g g r o u p ( i d wg ) 和c o m m o n i n t r u s i o n d e t e c t i o n f r a m e w o r k ( c i d f ) ， 但进展 缓慢，尚没有被广泛接收的标准出台。 2 . 2 c i d f 模型 c o m m o n i n t r u s i o n d e t e c t i o n f r a m e w o r k ( c i d 玛 阐 述了 一个 入侵检测系 统( i d s ) 的通用模型。它将一个入侵检测系统分为以下组件: l ， 事件产生器( e v e n t g e n e r a t o r ) ; 2 , 事件分析器( e v e n t a n a l y z e r ) ; 东 北大学硕士学位论文第二章入侵检测系 统概述 3 ,响 应单元( r e s p o n s e u n i t ) ; 4 , 事件数据库( e v e n t d a t a b a s e ) ; c i d f 将入侵检测系统需要分析的数据统称为事件 ( e v e n t ) ， 它可以是基于网络 的入侵检测系统中的数据包，也可以是基于主机的入侵检测系统从系统日志等其 他途径得到的信息。它对各部件之间的信息传递格式、通信方法和标准 a p i 进行 了标准化。 事件产生器的目的是从整个计算环境中获得事件， 并向系统的其他部分提供此 事件。事件分析器分析得到的数据，并产生分析结果。响应单元则是对分析结果 做出反应的功能单元，它可以做出切断连接、改变文件属性等强烈反应，甚至发 动刘攻击者的反击，也可以只是简单的报警。事件数据库是存放各种中间和最终 数据的地方，它可以是复杂的数据库，也可以是简单的文本文件。 在现有的入侵检测系统中， 经常用数据采集部分、 分析部分和响应部分来分别 代替事件产生器、事件分析器和响应单元这些术语，且常用日志来简单的指代事 件数据库。 c i d f标准还没有正式确立，也没有一个入侵检测商业产品完全应用该标准， 但因为入侵检测系统的特殊性，各种入侵检测系统的模型都有很大的相似性。另 一方面，各种入侵检测系统各自为阵，系统之间的互操作性很差，因此各丁商都 在按照c i d f 进行信息交换的标准化工作。 2 . 3入侵检测系统分类 入侵检测检测系统的种类有很多， 从其获取数据源的角度可以分为两种: 一是 基于主机的入侵检钡 u 系统( h o s t i n t r u s i o n d e t e c t i o n s y s t e m ) ; 二是基于网 络的入侵检 测系统 ( n e t w o r k i n t r u s i o n d e t e c t i o n s y s t e m ) . 主机型入侵检测系统一般运行在它要保护的系统上， 通常是在网络中类似服务 器这样至关重要的主机系统上， 往往以系统日 志、应用程序日 志等作为数据源， 当然也可以 通过其他手段 ( 如监督系统调用) 从所在的主机收集信息进行分析。 网络型入侵检测系统的数据源则是网 络上的数据包。 往往将一台计算机的网卡 设于混杂模式( p r o m i s c u o u s m o d e ) ，监听所有本网段内的数据，通过特征识别或 解析包内容的方法检测入侵行为。一般网络型入侵检测系统担负着保护整个网段 的任务。 不难看出， 网络型i d s 的优点主要是检测覆盖面广且使用简便: 一个网段上只 需安装一个或几个这样的系统，便可以 监测整个网段的情况。而且，由于往往采 用单独的计算机做这种应用，不会给运行关键业务的主机带来负载上的增加。但 东 北大学硕士学位论文第二章入侵检测系 统概述 3 ,响 应单元( r e s p o n s e u n i t ) ; 4 , 事件数据库( e v e n t d a t a b a s e ) ; c i d f 将入侵检测系统需要分析的数据统称为事件 ( e v e n t ) ， 它可以是基于网络 的入侵检测系统中的数据包，也可以是基于主机的入侵检测系统从系统日志等其 他途径得到的信息。它对各部件之间的信息传递格式、通信方法和标准 a p i 进行 了标准化。 事件产生器的目的是从整个计算环境中获得事件， 并向系统的其他部分提供此 事件。事件分析器分析得到的数据，并产生分析结果。响应单元则是对分析结果 做出反应的功能单元，它可以做出切断连接、改变文件属性等强烈反应，甚至发 动刘攻击者的反击，也可以只是简单的报警。事件数据库是存放各种中间和最终 数据的地方，它可以是复杂的数据库，也可以是简单的文本文件。 在现有的入侵检测系统中， 经常用数据采集部分、 分析部分和响应部分来分别 代替事件产生器、事件分析器和响应单元这些术语，且常用日志来简单的指代事 件数据库。 c i d f标准还没有正式确立，也没有一个入侵检测商业产品完全应用该标准， 但因为入侵检测系统的特殊性，各种入侵检测系统的模型都有很大的相似性。另 一方面，各种入侵检测系统各自为阵，系统之间的互操作性很差，因此各丁商都 在按照c i d f 进行信息交换的标准化工作。 2 . 3入侵检测系统分类 入侵检测检测系统的种类有很多， 从其获取数据源的角度可以分为两种: 一是 基于主机的入侵检钡 u 系统( h o s t i n t r u s i o n d e t e c t i o n s y s t e m ) ; 二是基于网 络的入侵检 测系统 ( n e t w o r k i n t r u s i o n d e t e c t i o n s y s t e m ) . 主机型入侵检测系统一般运行在它要保护的系统上， 通常是在网络中类似服务 器这样至关重要的主机系统上， 往往以系统日 志、应用程序日 志等作为数据源， 当然也可以 通过其他手段 ( 如监督系统调用) 从所在的主机收集信息进行分析。 网络型入侵检测系统的数据源则是网 络上的数据包。 往往将一台计算机的网卡 设于混杂模式( p r o m i s c u o u s m o d e ) ，监听所有本网段内的数据，通过特征识别或 解析包内容的方法检测入侵行为。一般网络型入侵检测系统担负着保护整个网段 的任务。 不难看出， 网络型i d s 的优点主要是检测覆盖面广且使用简便: 一个网段上只 需安装一个或几个这样的系统，便可以 监测整个网段的情况。而且，由于往往采 用单独的计算机做这种应用，不会给运行关键业务的主机带来负载上的增加。但 东北大学硕士学位论文第二章入侵检测系统概述 由于网络结构日趋复杂，高速网络越来越普及，这种结构正受到越来越大的挑战。 一个典型的例子便是交换式以 太网。 此外，网络型 i d s对来自内部的攻击无能为 力，因为这种情况下没有网络包可供检测，同时还会占用过多的系统资源。 对于 主机型i d s ， 其缺点是显而易见的: 必须为不同平台开发不同的程序、 增 加系统负荷、所需安装数量众多，而且它提供的检测是被动的，很难提供实时入 侵检测。然而，主机型 工 d s的内 在结构却没有任何束缚，同时可以利用操作系统 木身提供的功能、并结合异常分析，更准确的报告攻击行为，运行时占 用很少的 系统资源，执行效率比网络型i d s 高，而且对来自内部和外部攻击同样有效。 从触发机制的角度，入侵检测可以分为异常检测( a n o m a l y d e t e c t i o n ) 和误用 检测( m i s u s e d e t e c t i o n ) 。 基于异常的检测技术是先定义一组系统 “ 正常”情况的数值，如c p u 利用率、 内存利用率、文件校验和等 ( 这类数据可以 人为定义，也可以通过观察系统、并 用统计的办法得出) ， 然后将系统运行时的数值与所定义的 “ 正常”情况比较，得 出是否有被攻击的迹象。这种检测方式的核心在于如何定义所谓的 “ t f 常” 情况。 对于误用检测技术来说， 首先要定义违背安全策略的事件的特征， 如网络数据 包的某些头信息。检测的过程主要是通过判别这类特征是否在所收集到的数据中 出 现。此方法非常类似杀毒软件。 两种检测技术的方法所得出的结论有时可能会有很大的差异。 误用检测技术的 核心是维护一个知识库。对于已知类型的攻击，它可以详细、准确的报告出攻击 类型，但是对未知攻击却效果有限，而且知识库必须不断更新;基于异常的检测 技术则无法准确判别出攻击的手法，但它可以( 至少在理论上可以) 判别更广范、 甚至未知类型的攻击。如果条件允许，两者结合会达到更好的检测效果。 2 . 4入侵检测的发展简史 入侵检测的思想早在动态网络安全模型形成之前就已 经存在了。 到现在己经有 了2 0 多年的历史，其发展经历了好几个阶段。 入侵检测的思想最早体现在安全审计当中。 审计被定义为系统中发生事件的记 录和分析处理过程。与系统日 志 ( 工o g ) 相比，审计更注重安全问题。根据美国国 防部( d o d ) “ 可信计算机系统评估标准” ( t c s e c ) 橘皮书规定， 审计机制 ( a u d it m e c h a n i s m ) 应作为c 2 或c 2 以上安全级别的计算机系统必须具备的安全机制。 其 功能包括:记 录系统被访问的过程以 及系统保护机制的运行;发现试图绕过保护 机制的行为;及时发现用户身份的变化;报告并阻碍绕过保护机制的行为并记录 相关过程;为灾难恢复提供信息。 东北大学硕士学位论文第二章入侵检测系统概述 由于网络结构日趋复杂，高速网络越来越普及，这种结构正受到越来越大的挑战。 一个典型的例子便是交换式以 太网。 此外，网络型 i d s对来自内部的攻击无能为 力，因为这种情况下没有网络包可供检测，同时还会占用过多的系统资源。 对于 主机型i d s ， 其缺点是显而易见的: 必须为不同平台开发不同的程序、 增 加系统负荷、所需安装数量众多，而且它提供的检测是被动的，很难提供实时入 侵检测。然而，主机型 工 d s的内 在结构却没有任何束缚，同时可以利用操作系统 木身提供的功能、并结合异常分析，更准确的报告攻击行为，运行时占 用很少的 系统资源，执行效率比网络型i d s 高，而且对来自内部和外部攻击同样有效。 从触发机制的角