（计算机应用技术专业论文）分布式防火墙日志的入侵检测方法研究.pdf

湖北工业大学硕士学位论文 摘要 本文对分布式防火墙中的日志系统以及基于日志的入侵检测技术进行了深入 研究，提出了综合应用误用检测和异常检测来对分布式防火墙日志进行入侵检测 的方法，同时采用了数据挖掘相关领域的理论知识和技术方法，将数据挖掘知识 应用于入侵检测技术中，对基于日志的入侵检测问题进行研究，并通过实验系统 来验证该方法的正确性和有效性。实验数据及分析结果表明，通过将两种入侵检 测方法相结合的方式对入侵行为具有较高检测率和较低的误报率，具有一定的实 际应用意义。 传统的入侵检测方法或者仅用误用检测，或者仅用异常检测来判断入侵行为， 而这两种方法均有其固有的缺陷，而且容易出现漏检( 如复杂入侵) 的问题。本 文在分析研究误用检测和异常检测两种检测方法的优、缺点之后，采用结合这两 种入侵方法对分布式防火墙日志进行入侵检测分析的方法，并把数据挖掘算法应 用其中。 在组织结构上，本文首先从总体上给出了该分布式防火墙系统的设计，讨论 了分布式防火墙日志系统设计目标及日志系统的特点。在此基础之上，给出了基 于防火墙日志的入侵检测方法设计。分别从日志，入侵检测和数据挖掘三方面给 出了设计方案。利用数据挖掘进行入侵检测是本文的重点，这一部分首先论证了 数据挖掘应用于入侵检测系统的可行性和必要性的基础上，接下来介绍具体算法 思想以及流程图，最后给出了实验。全文总结部分中对作者的工作进行了回顾， 并对下一步的工作进行了展望。 本文的主要工作一方面在于在分布式防火墙环境下，提出了一种综合应用误 用检测和异常检测来对日志进行入侵检测的方法；另一方面是将数据挖掘技术应 用于入侵检测中，通过聚类分析方法中的改进k 一均值方法生成正、异常行为库， 采用关联规则挖掘中的f p g r o w t h 算法和序列模式挖掘中p r e f i x s p a n 算法来建立正 常特征库。 关键词：分布式防火墙，日志，入侵检测，数据挖掘 湖北工业大学硕士学位论文 a b s t r a c t a m e t h o d o l o g yo fc o m b i n i n gm i s u s ed e t e c t i o na n da n o m a l yd e t e c t i o n ，w h i c hi s b a s e do nt h el o gs y s t e mo ft h ed i s t r i b u t e df i r e w a l la n di n t r u s i o n d e t e c t i o nt e c h n o l o g y , i s p r e s e n t e di nt h i sp a p e r t oa n a l y z et h ei n t r u s i o nf o r t h el o gs y s t e mi nd i s t r i b u t e df i r e w a l l b a s e do nt h ed a t am i n i n gt h e o r ya n dt e c h n o l o g y , w es t u d yo nt h ei n t r u s i o nd e t e c t i o nf o r t h ed i s t r i b u t e df i r e w a l la n du s et h ee x p e r i m e n tt ov a l i d a t et h ec o r r e c t n e s sa n dv a l i d i t y t h ee x p e r i m e n tr e s u l ta n da n a l y s i si n d i c a t et h a th i g h e rd e t e c t i o nr a t i oa n dl o w e r d i s t o r t i o nr a t i oa r ea t t a i n e dt od e t e c tt h ei n t r u s i o nb yt h ew a yp r o p o s e d ，a n di tc a nb e u s e di nr e a ld i s t r i b u t e df i r e w a l l t h et r a d i t i o n a li n t r u s i o nd e t e c t i o nm e t h o d o l o g yo fo n l yu s i n gt h em i s u s ed e t e c t i o n o ra n o m a l yd e t e c t i o nh a si t so w nl i m i t a t i o na n dw i l lc a u s et h el e a kp r o b l e m a 血e r a n a l y s i st h em e r i ta n dd e f e c to ft h em i s u s ed e t e c t i o na n da n o m a l yd e t e c t i o n ，a m e t h o d o l o g yo fc o m b i n i n g t h et w oi sp r o p o s e d ，w i t ht h ed a t am i n i n gt e c h n o l o g y t h i sp a p e ri sb a s e do nt h er e s e a r c ho fd i s t r i b u t e df i r e w a l ll o gs y s t e m f i r s t l y , t h e m a i nd e s i g no ft h ed i s t r i b u t e df i r e w a l li si n t r o d u c e d w h i c hd i s c u s s e st h eg o a la n dt h e c h a r a c t e r i s t i cf o rt h ed i s t r i b u t e df i r e w a l ll o g t h e n t h em e t h o d o l o g yf o rt h ei n t r u s i o n d e t e c t i o no ft h ed i s t r i b u t e df i r e w a l ll o gi sp r o p o s e d ，i nw h i c ht h ed e s i g no ft h el o g ， i n t r u s i o nd e t e c t i o na n dd a t am i n i n gi sp u tf o r w a r d t h i sp a p e rm a i n l yf o c u s e so nd a t a m i n i n gf o ri n t r u s i o nd e t e c t i o n t h ef e a s i b i l i t ya n dn e c e s s a r yo fd a t am i n i n gf o ri n t r u s i o n d e t e c t i o ni si n t r o d u c e df i r s t l y a 1 9 0 r i t h ma n de x p e r i m e n to fi n t r u s i o nd e t e c t i o nb a s e do n d a t am i n i n gh a sb e e ng i v e ni nt h ef o l l o w i n g i nt h el a s tp a r t ，w er e v i e wt h ef o r m e rw o r k a n dd e s c r i b et h ef u t u r ew o r k t h em a j o rw o r ki nt h i sp a p e ri si nt h ef o l l o wt w of a c t s o n ei st h a tam e t h o d o l o g y o fc o m b i n i n gm i s u s ed e t e c t i o na n da n o m a l yd e t e c t i o ni sp r o p o s e dt od e t e c tt h ei n t r u s i o n a n o t h e ri st h a tu s i n gt h ek m e a n sc l u s t e ra n a l y s i sa l g o r i t h mi nd a t am i n i n gt e c h n o l o g y t ob u i l dt h en o r m a la n da b n o r m a la c t i o nl i b r a r i e sa n du s i n gt h ef p g r o w t ha s s o c i a t i o n r u l e sa l g o r i t h ma n dt h ep r e f i x s p a ns e q u e n c ep a t t e r na l g o r i t h mt os e tu pt h en o r m a l c h a r a c t e rl i b r a r y k e y w o r d s ：d i s t r i b u t e df i r e w a l l ，l o g ，i n t r u s i o nd e t e c t i o n ，d a t am i n i n g 潮班j 堂大謦 学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作所取 得的研究成果。除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经 发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方 式标明。本声明的法律结果由本人承担。 学位论文作者签名：杨彳名易日期：文口6 9 年s 月乡d 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授 权湖北工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采 用影印、缩印或扫描等复制手段保存和汇编本学位论文。 学位论文作者签名：才勿哩多参 指导教师签名： 日期a 伊稻年j 月乡汐日日期：a 阳降s 月弓d 日 湖北工业大学硕士学位论文 1 1 论文的研究背景 第1 章绪论 近年来i n t e r n e t 的迅速发展，给人们的日常生活带来了全新的感受，人类社会 各种活动对信息网络的依赖程度已经越来越大，计算机网络己经成为信息化社会 发展的重要保证二互联网在中国的发展更是迅猛，中国互联网络信息中心 ( c n n i c ) 于2 0 0 6 年1 月1 7 日在北京发布了第十七次中国互联网络发展状况 统计报告【1 1 ，报告显示，目前我国上网计算机约4 9 5 0 万台，比去年同期增长1 9 o ， 是1 9 9 7 年1 0 月第一次调查结果2 9 9 万台的1 6 5 6 倍。网民总数已经达到了1 1 0 0 0 万，比去年同期增长1 8 1 ，同1 9 9 7 年1 0 月第一次调查结果6 2 万网民人数相比， 现在的网民人数己是当初的1 7 9 0 倍。我国网站总数达到了6 9 4 ，2 0 0 个，网络国际 出口带宽总量达到1 3 6 ，1 0 6 m ，我国大陆的i p v 4 地址数达到了7 4 ，3 9 1 ，2 9 6 个，位居 世界第三。互联网正在以超出人们想象的深度和广度迅速发展，它己经发展成为 中国影响最广、增长最快、市场潜力最大的产业之一，给人们的日常生活提供了 极大的便利。 然而，人们在享受信息化带来的众多好处的同时，也面i 临着日益突出的信息 安全问题，网络遭受的威胁也越来越受到各级用户的普遍关注。2 0 0 6 年6 月，公 安部公共信息网络安全监察局举办了2 0 0 6 年度信息网络安全状况与计算机病毒疫 情调查活动，调查内容包括我国2 0 0 5 年5 月至2 0 0 6 年5 月发生网络安全事件、 计算机病毒疫情状况和安全管理中存在的问题。调查结果显示【2 1 ，5 4 的被调查单 位发生过信息网络安全事件，比去年上升5 ；其中发生过3 次以上的占2 2 ，比 去年上升7 。在发生的安全事件中，攻击或传播源来自外部的占5 0 ，比去年下 降7 ；内外部均有的占3 4 5 ，比去年上升1 0 5 。发现安全事件的途径主要是 网络( 系统) 管理员通过技术监测发现，占5 4 ；其次是通过安全产品报警发现， 占4 6 ：事后分析发现的占3 5 。未修补或防范软件漏洞仍然是导致安全事件发 生的最主要原因( 7 3 ) 。近八成的被调查单位使用了防火墙产品，其中，7 3 的 是国内产品。 由此可见，随着网络规模不断扩大，传统防火墙的缺陷也曰益明显，已不能 适应网络安全保卫的需要，为此分布式防火墙( d i s t r i b u t e df i r e w a l l ) 应运而生。 分布式防火墙在保留传统集中式防火墙优势的同时，不断扩展新的功能，减小甚 湖北工业大学硕士学位论文 至去除了它对网络拓扑结构的依赖性，能更好的适应网络规模的扩展，更好的满 足企业信息化带来的更高的安全要求。 1 2 国内外研究现状 目前，国外很多公司和研究人员对基于日志的安全审计技术做了大量的研究 工作【1 1 。s e c u r i t yf o c u s 有专门的邮件列表供研究人员讨论日志与安全审计技术， 安全专家b r u c es c h n e i e r 也在其公司网站上列出了日志分析资源，美国安全杂志评 测出一批比较优秀的日志与安全审计工具。例如w e bt r e n d sf i r e w a l ls u i t e ，它可以 对防火墙日志进行统计分析，并能给出详细的统计报表和图表；g f i 软件公司开发 的i _ a ng u a r ds e c u r i t ye v e n tl o gm o n i t e 可完成基于所有w i n d o w s 操作系统的日志 事务的入侵检测；n f r 安全公司的s l r ( s e c u r el o gr e p o s i t o r y ) 和i s s 公司的s l m ( s e c u r el o gm a n a g e r ) 可将w i n d o w s ，u n i x ，l i n u x 等多种操作系统的日志文件 进行统一存储和管理。 与国外相比，国内对日志与安全审计的研究，主要体现在安全设备日志的集 中管理和网络入侵检测上面。上海交通大学网络中心就曾经开发过一套基于防火 墙日志的网络安全审计系统n a f l 。目前，国内很多从事信息安全的公司开发的防 火墙和入侵检测系统产品中，都提供了网络日志审计功能，并逐渐出现能够集中 收集和分析多种安全设备日志的安全审计系统，如清华得实的n e t s c 。此外，在基 于主机系统日志的安全审计方面，在西安交通大学等等高校的研究人员也进行了 一定的研究。 1 3 论文的主要研究内容 本课题来源于2 0 0 4 年湖北省科技攻关项目“分布式防火墙研究”( 项目编号： 2 0 0 4 a a l 0 1 c 6 7 ) 。 本文对分布式防火墙中的日志系统以及基于日志的入侵检测技术进行了深入 研究，提出了综合应用误用检测和异常检测来对分布式防火墙日志进行入侵检测 的方法，同时借鉴了数据挖掘相关领域的理论知识和技术方法，将数据挖掘知识 应用于入侵检测技术中，完成了基于日志的入侵检测问题的研究，并通过实验系 统来验证该方法的正确性和有效性。 本文的研究内容主要包括以下几个方面： 1 用数据挖掘的方法建立特征库 2 湖北工业大学硕士学位论文 通过聚类分析方法中的改进k 一均值方法生成正、异常行为库；采用关联规则 挖掘中的f p g r o w t h 算法和序列模式挖掘中p r e f i x s p a n 算法来建立正常特征库。 2 综合应用误用检测和异常检测来对分布式防火墙日志进行入侵检测 将采集到的当前数据首先进行误用检测，若发生了入侵则进行报警，否则， 再进行异常检测。 3 采用具有代表性的d a r p ai n t r u s i o nd e t e c t i o ne v a l u a t i o np r o g r a mb ym r r l i n c o l nl a b s 的数据集m l l 5 0 l ，通过一系列的实验验证上述方法的正确性。 1 4 论文的主要贡献 本文的贡献主要体现在以下两个方面： 1 在分布式防火墙环境下，提出了一种综合应用误用检测和异常检测来对日 志进行入侵检测的方法。 将采集到的当前数据首先进行误用检测，若数据经过分析，与误用检测特征 库中的入侵标志完全相符，则认为发生了此种特征的入侵，并进行报警，否则， 接着进行异常检测，将该日志信息与正常特征库进行比较，若有差异，说明此活 动有异常，则进行报警。如果经过误用检测和异常检测都没有发现入侵行为，则 继续采集下一条日志记录进行分析。 2 将数据挖掘技术应用于入侵检测中。 用聚类分析算法中的改进k 一均值方法将预处理后的大量原始日志数据划分 出正常行为库和异常行为库两部分：接着，对异常行为库进行特征提取形成误用 特征库，对正常行为库进行关联规则挖掘中f p g r o w t h 算法和序列模式挖掘中 p r e f i x s p a n 算法来形成正常特征库。 1 5 论文的组织 全文主要分为六章，各章内容如下： 第1 章：绪论。通过对课题背景的描述引入本课题，简述了当今日志系统的 现状、面临的问题，分析了本研究课题的现实意义，并提出课题研究内容与本论 文的主要贡献，最后简要给出了文章的组织结构。 第2 章：分布式防火墙及其日志系统。介绍了分布式防火墙的体系结构及工 作流程，讨论了分布式防火墙日志系统设计目标；介绍了日志系统的特点和格式 设计。 3 湖北工业大学硕士学位论文 第3 章：基于防火墙日志的入侵检测方法设计。在介绍入侵检测概念和分类 的基础上，利用将异常检测和误用检测二者结合实现入侵检测。 第4 章：利用数据挖掘进行入侵检测。在论证了数据挖掘应用于入侵检测系 统的可行性和必要性的基础上，将数据挖掘的算法应用于入侵检测中，核心是用 数据挖掘来构造特征库。 第5 章：实验内容及结论。介绍了实验数据集的选取，实验内容及实验前提， 详细描述了实验方法，实验内容及实验结论。 第6 章：总结与展望。对本人的工作进行小结，并对下一步的工作进行了展 望。 4 湖北工业大学硕士学位论文 2 1 引言 第2 章分布式防火墙及其日志系统 传统防火墙的存在必须依附于网络的物理拓扑结构，这也是它缺陷的根源。 为了克服以上缺陷，美国a t & t 实验室研究员s t e v e nm b e l l o v i n 于1 9 9 9 年首次提 出了分布式防火墙( d i s t r i b u t e df i r e w a l l s ，d f w ) 的概念【3 j 。给出了分布式防火墙 的原型框架。一方面，分布式防火墙打破了传统防火墙的拓扑限制f 4 叫，将内部网 与外部网的概念由物理意义变成逻辑意义，即它可以对逻辑的内部网与外部网之 间传送的所有数据包进行安全性检查。另一方面，分布式防火墙克服了传统防火 墙防外不防内的缺吲7 】【引，它既可以防范逻辑上的外部网络的攻击，又可以阻击逻 辑上内部网络的攻击。 分布式防火墙在保留传统集中式防火墙优势的同时，不断扩展新的功能，减 小甚至去除了它对网络拓扑结构的依赖性，能更好的适应网络规模的扩展，更好 的满足企业信息化带来的更高的安全要求。 2 2 分布式防火墙体系结构及工作流程 分布式防火墙是由中央策略服务器、日志服务器、主干防火墙、汇聚防火墙 和主机防火墙组成，如图2 1 所示。其正常的运转主要由策叫9 】来控制，它们是有 机组合体。 整个系统由五部分组成，分别是：中央策略服务器，日志服务器，主干防火 墙，汇聚防火墙，桌面防火墙。 5 湖北工业大学硕士学位论文 丹v 图2 1 分布式防火墙的体系结构 策略管理服务器是整个系统的核心，它负责管理企业安全策略的制定，修改 和分发，管理和维护企业网络中的汇聚防火墙，还要建立和维护网络中每个设备 的信任关系，使管理员能够对不同的用户实施不同的安全策略。 主干防火墙首先要执行安全策略，认证远程用户的合法性及安全状态，是否 安装桌面防火墙，并实现应用代理。 汇聚防火墙负责认证网络客户端的丰机安全状态，它将检查网络客户机是否 安装和运行了安全代理，桌面防火墙是否正确的执行了企业所制定的安全策略， 并根据检查结果决定是否允许客户端访问企业内部网络的资源，同进自己也要执 行安全策略。 桌面防火墙要求安装在企业网络的每一台联网主机之e ，负责收集客户端信 息、认知用户的网络行为、监控客户机或服务器的网络通讯和安全状态并将收集 到的信息发送到策略管理服务器以便管理员有针对性地制定安全策略。同时桌面 防火墙也将自动地从策略管理服务器中下载新的安全策略并在本地执行指定的安 全策略。 | - | 志管理服务器将收集分前j 式防火墙各组成部分产生的广f 志和自己产q - 的f _ 1 志，通过分析统计来进行审计，评估整个网络风险状况，发析j 预警信息。 分前i 式防火刨d z1 ：作流程如下：第一步，安全管理员制定安全策略；第二步， 分发策略，即策略服务器用系统管理i ：具把策略文件分发给各台内部主机，自推 和拉两种方式；第三步，主机执行策略；第四步，上传h 志到策略服务器。 综上所述，新型分布式防火墙的本质特征可总结为：策略集中制定分散执行， 广1 志分散产，卜集中管理，安伞山外到内全保障。 湖北工业大学硕士学位论文 2 3 分布式防火墙日志系统 2 3 1 日志和日志管理的概念 日志( 1 0 9 ) 是对计算机设备运行的一切活动的完全记录和描述【1 0 1 。日志广泛 存在于各种计算机设备中，如服务器、防火墙、防病毒系统、v p n 、路由器等， 它记录了大量有关该网络运行状况的日志信息。由于产品类型不同，生产厂家不 同，造成日志记录数据格式不同，同时，日志信息的复杂性和海量性，以及缺少 好的技术手段使得这些日志利用率很低。 本文讨论的日志特指描述计算机系统行为的记录，就是指系统所指定对象的某 些操作和其操作结果按时间有序的集合。每个日志文件由一系列的日志记录组成， 每条日志记录描述了一次单独的系统事件。通常情况下，系统日志是用户可以直 接阅读的文本文件，其中包含了一个时间戳和一个消息或者子系统所特有的其他 信息。日志文件为服务器、工作站、路由器、防火墙和应用软件等计算机信息系 统相关活动记录必要的、有价值的信息，这对系统系统维护和安全审计是十分重 要的。 日志管理就是对日志数据进行采集、汇聚、存储、归档、分析和报警、监控、 自动化的手段【1 1 】。其中分布式防火墙系统中曰志管理的对象主要是对网络正常工 作造成威胁的各种因素。当分布式防火墙中的各个设备采集日志后，就会传送到 日志服务器进行汇聚，形成日志文本文件，且信息量大，难以进行分析，因此， 需要在日志服务器上先做预处理，即过滤、存储，将无用的日志信息过滤掉，将 有用的日志信息结构化之后存入数据库表中。另外，原始的日志数据要存档，以 便作为恶性攻击者犯罪的关键检举证据，因为攻击者在攻击一台计算机后，般会 抹去其日志中相应的信息，但在分布式防火墙系统中，日志信息被集中保存到日 志服务器中，可以很好的保存犯罪的证据。日志数据存入数据库之后，是一种结 构化的信息，十分适合进行分析审计，通过一定的分析方法就可以找到网络正面 临的威胁，从而发出预警信息。这就是日志管理的整个过程。 日志主要有如下方面的应用： 用户行为的监控：记录用户对系统的使用情况，防止用户越权使用； 异常事件的诊断：通过观察日志对异常事件的相关行为进行评估、重组得出该 事件发生的时间、原因等； 问题的监控：通过日志系统来监测系统资源或者网络流量的使用情况，以检测 问题的发生。 7 湖北工业大学硕士学位论文 此外，日志系统在入侵检测中的应用显得尤为重要，实时地对主机日志进行分 析并以此检测和预防入侵是计算机安全领域中研究的热点之一。 2 3 2 分布式防火墙日志系统设计目标 分布式防火墙中日志服务器是分布式防火墙中日志系统的核心【1 3 】。它将从各 主机防火墙、主干防火墙、汇聚防火墙及策略服务器采集日志，然后进一步对这 些日志进行处理、存储、集中管理与审计，实时监测整个内部网络安全状态，并 在此基础上实现基于日志信息的审计检测功能。 日志服务器对采集的日志进行审计，应达到以下目标【1 4 1 1 5 1 ： 1 反映网络整体与各主机在一段时间内的状态情况，能发现网络的趋势及异 常情况。 2 能及时审计网络或主机当前的网络状况，有威胁时能发预警信息。 3 备份历史日志记录，以做日后检举证据或恢复历史数据。 2 3 3 分布式防火墙的日志系统结构及功能描述 传统防火墙的日志系统只能针对内部网络与外部网络的连接点进行记录和审 计，而不能从网络的所有节点去审计内部网络的状态；而分布式防火墙中日志服 务器是集中管理并审计整个内部网络上传的日志信息，包括所有受保护的主机、边 界防火墙和策略服务器等，同时实时监控内部网络状态，并在此基础上实现基于日 志信息的统计入侵检测功能。另外，现在的网络安全形势已经要求日志系统提供 更为强大和完善的审计功能，而不是只满足于以往那种单纯的日志记录。日志系 统不仅能提供对于正常业务的审计，而且需要对于负载的审计，就是说需要对于 应用层数据的审计提供更全面的解决方案；同时分布防火墙系统应该提供对于自 身系统的审计。 日志服务器是隶属于分布式防火墙日志系统的。日志系统包括分布式防火墙 各组成部分的日志产生和发送模块，日志服务器对日志的接收模块，日志的查询 审计模块，以及入侵检测分析模块。其组织结构如图2 2 所示。 8 湖北工业大学硕士学位论文 图2 2 分布式防火墙曰志系统组织结构图 分布式防火墙日志系统的工作流程为：首先，收集从各主干防火墙、汇聚防 火墙、主机防火墙及中央策略服务器上传的日志信息；接着，对这些日志进行处 理、存储、集中管理与审计，实时监测整个内部网络安全状态。并在此基础上实 现基于日志信息的入侵检测功能。当发现威胁时，及时发出预警信息。 分布式防火墙日志系统最关键的工作是日志分析【1 6 】，即如何基于日志进行入 侵检测分析，因为只有通过有效的审计，才能知道入侵者是通过什么途径来入侵 的。高级的黑客一般都会将被入侵的系统中将有关自己的入侵记录删除，一旦应 用系统的日志破坏，就很难得知黑客是如何入侵系统的，也就是说很难找到系统 存在哪些漏洞，则系统有再次被入侵的风险。 日志系统通过对日志的远程采集、集中管理，主要是用来评估网络整体风险 状况，并视情况发布预警信息。日志服务器功能主要包括3 个方面：收集系统中 各种信息：记录和显示信息：基于日志信息统计入侵检测。所以，当各个功能模 块生成日志信息时，日志服务器需将日志信息写入数据库，并通过分析引擎进行统 计分析。而当管理者要求显示统计信息时，日志服务器又需从数据库中提取出有 价值的信息，并通过审计系统提供给审计界面。另外，日志系统还要备份原始日 志数据，以作为非法入侵者的犯罪证据。其具体的功能描述如下： 1 日志接收安全代理运行状态应答。接收所有网络用户产生的日志；向中央 策略服务器发送服务器运行状态。 9 湖北5 - 业大学硕士学位论文 2 日志处理与存储。对接收的日志进行各种处理( 如格式转换) 后按一定结 构存储。 3 日志审计与检测。对处理之后的日志进行统计分析，检测异常状况。 4 预警代理。当检测出有异常之后，发出预警信息，同时向有关信息发给中 央策略服务器的策略制定与分发模块，由该模块制定新的策略对所有用户策略进 更新。 5 报告。网络运行的状况会以各种报表的形式出现。 通过对日志系统功能的行分析，对于具体的技术实现上主要有以下几点可以 注意：( 1 ) 将日志服务器设计为客户服务器模式。各个信息采集引擎作为客户端 向日志服务器发出请求，而日志服务器作为服务器端对各种请求进行具体处理。( 2 ) 采用必要的某些数据库技术避免频繁的数据库操作而引起速度瓶颈。( 3 ) 日志服 务器采用加密传输通信方式以防范来自内部网络的类似d d o s 的攻击。( 4 ) 由于 一个服务器对应多个客户s o c k e t 连接，因此服务器采用多线程方式进行处理。( 5 ) 建立入侵检测的联动过程以实现内部网络的自动响应报警。 2 3 4 日志的格式设计 一般情况下，网络系统中的各个设备都会产生日志来记录自身行为或相关的 网络事件，不同厂商的设备或系统所产生的日志在语法和语义存在很大的差异。 要构建一个集中的日志监控与安全审计平台，就必须考虑如何将这些位置各异， 格式不一的日志汇总在一起，以便进行统一的管理和安全审计。 日志数据包可以记录所有包的基本信息，包括每次经过防火墙的成功和失败的 连接、源i p 地址、目的坤地址和端口号、时间信息等【1 7 】。下面给出了一般防火墙 中所需要的最基本的日志格式，但并不一定就只能是此种格式。 u n s i g n e d l o n g t i m e ；优p 包经过防火墙开始时间 u n s i g n e d l o n g s r c _ i p ：源i p 地址 u n s i g n e d l o n g d s ti p ；目的i p 地址 s h o r t s r cp o r t ；源主机端口号 s h o r t d s tp o r t 目的主机端口号： c h a r p r o t o ；协议号 u n s i g n e d c h a r t y p e ；i p 包的类型 s h o r t l e n ：i p 包的长度 1 0 湖北工业大学硕士学位论文 ) 2 4 小结 分布式防火墙不仅保留传统集中式防火墙优势，同时不断扩展新的功能，能 更好的适应网络规模的扩展，满足企业信息化带来的更高的安全要求。 作为分布式防火墙中日志系统核心日志服务器，它将从各主机防火墙、主干 防火墙、汇聚防火墙及策略服务器采集日志，然后进一步对这些日志进行处理、 存储、集中管理与审计，实时监测整个内部网络安全状态，并在此基础上实现基 于日志信息的审计检测功能。 本章围绕着分布式防火墙日志管理系统所涉及的研究领域进行综述，主要包 括分布式防火墙体系结构及工作流程的介绍和日志系统的相关内容，日志与日志 管理的概念，分布式防火墙日志系统的设计目标，分布式防火墙日志系统的结构 及功能，最后，介绍了日志的一般格式。下一章将对基于日志信息的入侵检测进 行重点研究。 湖北工业大学硕士学位论文 第3 章基于分布式防火墙日志的入侵检测方法设计 3 1 引言 顾名思义，入侵检测【1 8 l ( i n t r u s i o nd e t e c t i o n ) 便是对入侵行为的发觉。它通过 对计算机网络或计算机系统中的若干关键点收集信息并对其进行分析，从中发现 网络或系统中是否有违反安全策略的行为和被攻击的迹象。进行入侵检测的软件 与硬件的组合便是入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m s ，简称i d s ) 。与其他 安全产品不同的是，入侵检测系统需要更多的智能，它必须可以将得到的数据进 行分析，并得出有用的结果。一个合格的入侵检测系统能大大的简化管理员的工 作，保证网络安全的运行。 入侵检测是种动态的安全防护手段，它能主动寻找入侵信号，给网络系统 提供对外部攻击、内部攻击和误操作的安全保护。因此，为网络安全提供高效的 入侵检测及相应的防护手段，能弥补防火墙的不足起着主动防御的作用，是网络 安全中极其重要的部分。 具体说来，入侵检测系统的主要功制1 9 】有： 1 监测并分析用户和系统的活动； 2 核查系统配置和漏洞； 3 评估系统关键资源和数据文件的完整性； 4 识别已知的攻击行为； 5 统计分析异常行为； 6 操作系统日志管理，并识别违反安全策略的用户活动。 3 2 入侵检测的分类 随着入侵检测技术的发展，到目前为止已出现了很多入侵检测系统，不同的 入侵检测系统具有不同的特征。根据不同的分类标准，入侵检测系统可分为不同 的类别。 按照信息源分类： 从数据来源上看，入侵检测通常可以分为两类：基于主机的入侵检测和基于 网络的入侵检测。 湖北工业大学硕士学位论文 按照体系结构分类： 按照体系结构，入侵检测可分为集中式、等级式和协作式3 种【矧。 按照检测方法分类： 从数据分析手段来看，入侵检测通常可以分为两类：误用检测( m i s u s e d e t e c t i o n ) 和异常检测( a n o m a l yd e t e c t i o n ) 。 3 2 1 误用入侵检测及常用技术手段 误用检测【2 1 j 又称为基于知识的检测( k n o w l e d g e b a s e dd e t e c t i o n ) 或特征检测 ( s i g n a t u r e b a s e dd e t e c t i o n ) 。它是利用已知的攻击特点或系统漏洞，直接对入侵 行为进行特征化描述，建立某种或某类入侵的特征行为模式库，如果发现当前行 为与某个入侵模式一致，就表示发生了这种入侵。如，i n t e m e t 蠕虫攻击( w o r m a t t a c k ) 使用了f i n g e r e d 和s e n d m a i l 的漏洞，可用误用检测的方法检测这种攻击行 为。显然，误用检测依赖于模式库，如果没有构造好模式库，则i d s 就不能检测 到入侵者。误用检测方法是入侵检测系统中应用最成功的一种方法，目前大多数 入侵检测产品采用误用检测的方法进行检测。如s y m a n t e c 的i n t r u d e ra l e r t 。其基 本原理是通过分析操作系统本身记录的日志文件，结合入侵特征库来判断是否有 入侵发生。其中特征库的建立是靠专家分析攻击特征和系统漏洞，手工编写入侵 特征库。如果入侵者攻击方式恰好匹配检测系统中的模式库，就能准确发现违背 安全策略的行为。它能直接检测不利的或不可接受的行为。其结构如图3 1 所示。 图3 1 误用检测示意图 误用检测由于依据具体模式库进行判断，所以检测准确度很高，并且因为检 测结果有明确的参照，也为系统管理员做出相应措施提供了方便，可以有针对性 的建立高效的入侵检测系统。误用检测的主要缺陷在于与具体系统依赖性太强， 不但系统移植性不好，维护工作量大，而且将具体入侵手段抽象成知识也很困难， 湖北工业大学硕士学位论文 并且检测范围受已知知识的局限，还难以检测内部人员的入侵行为，如合法用户 的泄漏。同时，检测模式的更新需要依靠安全专家来手工完成，而面对日益增加 的大量网络数据流，仅仅依靠安全专家用肉眼去发现所有的入侵模式是不现实的， 这样就不能及时更新模式库，势必会使得入侵检测的误报率和漏报率明显增加。 误用检测的技术基础是分析各种类型的攻击手段，并找出可能的“攻击特征 集合。误用检测利用这些特征集合或者对应的规则集合，对当前的数据来源进行 各种处理后，再进行特征匹配或者规则匹配工作，如果发现满足条件的匹配，则 指示发生了一次攻击行为。误用入侵检测依赖于模式库。它面临的主要问题是如 何描述一个包含所有相关攻击的可能变化的特征模型，而该模型又不能与非入侵 行为匹配。其特点是对于已知的攻击，检测准确率和效率相当高，但是，该技术 需要不断升级入侵特征库以应付不断出现的攻击手法，并且不能检测未知攻击。 常用的误用检测技术如下： 1 基于专家系统的入侵检测技术 专家系统是最早的误用检测方案之一，被许多经典的检测系统所采用，如 m i d a s ( m u l t i c si n t r u s i o nd e t e c t i o na n da l e r t i n gs y s t e m ) ，i d e s ，n i d e s ( n e x t g e n e r a t i o ni d e s ) 和c m d s 。在m i d a s ，i d e s 和n i d e s 中，所采用的专家系统是 p b e s t ( p r o d u c t i o n b a s e de x p e r ts y s t e mt 0 0 1 ) ，d i d s 和c m d s 则使用了由美国 国家航空和宇宙航行局( n a t i o n a la e r o n a u t i c sa n ds p a c ea d m i n i s t r a t i o n ，n a s a ) 开 发的c u p s 系统。 基于专家系统的入侵检测技术【2 2 1 ，就是根据网络安全专家对可疑行为的分析 经验来形成一套推理规则，并在此基础之上构建入侵检测专家系统，由此专家系 统自动进行对所涉及的入侵行为进行分析工作。专家系统的建立依赖于知识库的 完备性，入侵的特征抽取与表达，这也是实现入侵检测专家系统的关键。在系统 实现中，将安全专家的知识表示成i f t h e n 的形式形成专家知识库，然后用推理 算法进行入侵检测。当i f 条件全部满足，t h e n 动作才会执行，由专家系统自动 进行所涉及的入侵行为的分析工作。专家系统推理的方法主要有两种： 第一，依据给定的数据，应用符号推理出入侵发生的情况，重点是解决处理 序列数据和知识库的维护； 第二，依据其他的入侵证据，进行不确定推理。该系统应当能够随着经验的 积累而利用其自学习能力进行规则的扩充和修正。 专家系统的优点在于把系统的控制推理过程从问题解决的描述中分离出来， 用户不需要理解或干预专家系统内部的推理过程，而只需把专家系统看作是一个 自治的黑盒子( b l a c kb o x ) 。而且专家系统对历史数据的依赖性总的来说比基于统 1 4 湖北工业大学硕士学位论文 计模型的检测方法要少，因此系统的适应性比较强，可以较灵活地适应广泛的安 全策略和检测需求。但是专家系统应用于入侵检测时，仍存在一些实际的问题， 如：由于推理和决策模块通常使用解释型语言实现，在处理海量数据时存在效率 问题：缺乏处理序列数据的能力，即数据前后的相关性问题：规则库的维护很困 难，更改规则时必须考虑规则库中不同规则间的内部依赖性；根据己知的安全漏 洞来编写规则，因而不能检测出未知入侵。 2 基于状态迁移的入侵检测技术 状态迁移技术使用系统状态和状态转换表达式来描述和检测己知入侵，速度 快，灵活性强。实现入侵检测状态转换最主要的模型有2 种p 1 ：状态迁移分析模型 和有色p e t r in e t 状态迁移分析模型使用高层状态迁移图s t a t et r a n s i t i o nd i a g r a m s 来 表示和检测己知入侵。它将攻击表示成一系列被监控的系统状态迁移。攻击模式 对应系统状态，并具有迁移到另外状态的条件。通过连续的状态连接起来表示状 态改变所需要的事件。允许事件类型被植入到模型并且无须同审计记录一一对应。 采用这种方法的系统包括s t a t ( s t a t et r a n s i t i o na n a l y s i st e c h n i q u e ) 和u s t a t ( s t a t et r a n s i t i o na n a l y s i st o o lf o ru n d ) 。状态迁移分析模型的优点在于状态迁移 图提供了一种直观的、高层次的、与审计记录无关的渗透概要描述。同时状态迁 移图给出了保证攻击渗透的特征行为( s i g n a t u r ea c t i o n s ) 的最小子集，这使得检测 器可以适应相同入侵模式的不同表现形式。另外，基于状态的特征检测可以使攻 击行为在尚未到达侵入状态( c o m p r o m i s e ds t a t e ) 之前被检测到，从而预先采取响 应措施阻止攻击行为。但是它的攻击模式只能说明事件序列，因此不适合描述更 复杂的事件。而且，除了通过植入模型的原始断言，没有通用的方法来剪除部分 攻击匹配。 另一种采用状态迁移技术来优化误用检测系统的模型是有色p e t r i 网 ( c p n e t ) ，该模型由p u r d u eu n i v e r s i t y 的s a n d e e pk u m a r 和g e n es p a f f o r d 研制， i d i o t 系统就是该模型的具体实现，它使用了c p n e t s 的一个变种，用来表示和检 测入侵模式。 基于有色p e t r i 网状态转移的误用检测系统具有检测效率高、能自动响应、可 跨平台移植等优点，另外，事件的前后相关性和排列顺序可以直接体现出来。其 缺陷在于：尽管在定义入侵特征时可以尽可能地通用化，对于未知攻击仍然无能 为力。 3 基于模型推理的入侵检测方法 该技术根据入侵者在进行入侵时所执行的某些行为程序的特征，建立一种入 侵行为模型，根据这种行为模型所代表的入侵意图的行为特征来判断用户执行的 1 5 湖北工业大学硕士学位论文 操作是否是属于入侵行为【2 4 】。当然这种方法也是建立在对己知入侵行为程序的基 础之上，对未知入侵方法所执行的行为程序的模型识别需要进一步的学习和扩展。 误用检测比异常检测具备更好的确定解释能力，即明确指示当前发生的攻击 手段类型，因而在很多商用系统中得到了广泛应用。另一方面，误用检测具备较 高的检测率和较低的虚警率，开发规则库和特征集合相对于建立系统正