（通信与信息系统专业论文）基于数据挖掘的日志审计技术研究与实现.pdf

i t e s e a r c ha n di m p l e m e n tt h e t e c h n o l o g yo fl o ga u d i tb a s e d0 n d a i am i n i n g a bs t r a c t t h es e c u r i t yl o ga u d i ts y s t e mb a s e do nd a t am i n i n g ，g e n e r a t e su s e r n o r m a lp a t t e r n st h r o u g ha n a l y z i n gl o g so fn e t w o r ke q u i p m e n t ，d i s c o v e r s t h ea b n o r m a ll o g sb yc o m p a r i n gt h ec u r r e n tl o g sw i t ht h eu s e rn o r m a l p a t t e r n ，c r e a t e sr e p o r t st h a tr e f l e c tn e t w o r ks t a t u sa n dg i v ew a r n i n gw h e n n e c e s s a r y t h et h e s i sf o c u s e so ns o l v i n gt h ep o t e n t i a lp r o b l e m sw i t h m i n i n gt h ef r e q u e n tp a t t e r na n di n c r e m e n t a lu p d a t ei nt h ea u d i ts y s t e m ， a n di m p r o v e da l g o r i t h m sa lep u tf o r w a r d i nt h ea s p e c to fa s s o c i a t i o nr u l e s ，t h et h e s i si sb a s e do nt h ec l a s s i c a p r i o r ia l g o r i t h ma n do t h e re x i s t i n gi m p r o v e da l g o r i t h m s ，i nc o m b i n a t i o n w i t ht h el o gc h a r a c t e r i s t i c s ，p r o p o s e st h ec o n c e p to fm a i na t t r i b u t e ，a n d t h e ng e t si t i m p r o v e db yt h ew a yo fr e d u c i n gs c a n n i n gt i m e sa n dt h e n u m b e ro fc a n d i d a t ei t e m s ，w h i c hm a k e si t a p p l i c a b l et ot h el o ga u d i t s y s t e m t a k i n gt h ed a i l yu p d a t i n gf e a t u r eo fl o g si n t oa c c o u n t ，t h et h e s i s p u t sf o r w a r da ni m p r o v e da l g o r i t h mb yw h i c hl e s ss c a n n i n gt i m e sa r e u n e e d e db ym a k i n gu s eo fm i n e d f r e q u e n tp a n e m ，b a s e do nt h ec u r r e n t r e s e a r c hw i t h p a t t e r nu p d a t e f i n a l l y , a p p l yt h ea l g o r i t h m sa b o v e d e s c r i b e dt oa u d i ts y s t e m ，a n dr e l e v a n tt e s t sa r eg i v e no u t e x p e r i m e n t r e s u l t si n d i c a t et h a tt h ea l g o r i t h m sp r o p o s e di nt h et h e s i sa r ec a p a b l eo f l o g sa u d i ta n da n a l y z e ，a b n o r m a lb e h a v i o rd e t e c t i o no fu s e r s ，a n dt h e v i s u a ls t a t i s t i c a lr e p o r t sg e n e r a t i o nf o ru s e r st oc h e c kw h e n n e c e s s a r y k e y w o r d s ：s e c u r i t ya u d i t ；l o ga u d i t ；d a t am i n i n g ；a p n o d ； i n c r e m e n t a lu p d a t e i i i 目录 摘要1 a b s t r a c t 目录：一i v 1 绪论1 1 1 研究背景及意义1 1 1 1 安全审计技术简介。一1 1 1 2 安全审计的必要性2 1 1 3 数据挖掘及安全审计技术的现状及发展趋势4 1 2 论文的研究内容及贡献6 1 3 论文组织结构7 2 数据挖掘及安全日志审计技术分析8 2 1 数据挖掘的相关知识8 2 1 1 数据挖掘的过程8 2 1 2 数据挖掘的特点1 0 2 1 3 基于数据挖掘的分析方法1 l 2 2 安全审计技术1 2 2 2 1 安全审计的相关标准13 2 2 2 安全审计技术分析。1 4 2 3 数据挖掘在安全审计中的应用分析1 8 2 4 d 、结2 2 3 日志审计系统中事后审计的相关关键技术研究与分析2 3 3 1 同志分析中的数据挖掘2 3 3 2 关联规则挖掘及其相关算法的分析比较2 4 3 2 1 关联规则概述2 4 3 2 2 关联规则算法比较2 6 i v 3 2 3 a p r i o r i 算法分析2 9 3 3 一种面向日志的的关联规则挖掘改进算法31 3 3 1 改进的a p r i o r i 算法分析3l 3 4 日志分析中的一种简单的自适应关联规则的更新算法3 6 3 4 1 关联规则的增量更新算法3 6 3 4 2 自适应的规则增量更新算法3 9 3 5 小结4 3 4 安全日志审计系统的设计与实现4 4 4 1 安全口志审计系统分析4 4 4 1 1 安全日志审计系统的整体设计方案4 4 4 1 2 日志存储中心相关表的设计4 7 4 2 基于数据挖掘的事后审计模块的分析与实现4 8 4 2 1 事后审计模块的软件结构4 8 4 2 2 事后审计流程分析5 l 4 2 3 事后审计规则挖掘的实现5 2 4 3 小结：5 7 5 系统测试与分析5 8 5 1 实验平台的搭建5 8 5 2 系统测试5 9 5 3 小结6 7 、 6 总结与展望6 8 6 1 论文总结6 8 6 2 进一步工作及展望6 9 参考文献7 0 论文作者硕士期间参加的科研项目及发表的学术论文7 2 致谢7 3 独创性声明7 4 v 1 1 - 研究背景及意义 1 绪论 人们在广泛和更加频繁利用网络资源的同时，网络安全和信息安全的问题也 愈显突出，针对网络和计算机系统的各类攻击事件层出不穷。黑客的网络攻击行 为与入侵行为对于国家安全、经济、社会和个人的生活造成了极大地威胁，有关 网络安全的问题一直闲扰着大部分互联网用户。当前的入侵检测技术( i d e s ) 在面临黑客采取分布式攻击时也存在着较高的漏报率和误报率【l 】。c n n i c ( ( 报告 指出，近半年内有1 9 5 亿网民上网时遇到过病毒和木马的攻击，1 1 亿网民遇到 过账号或密码被盗的问题。网络安全隐患使网民对互联网的信任度下降，仅有 2 9 2 的网民认为网上交易是安全的，这进而制约了电子商务、网络支付等交易 类应用的发展。网络环境的复杂性、多变性，以及信息系统的脆弱性，决定了网 络安全问题的客观存在。网络技术越发展，网络安全问题也会越复杂，网络安全 就会面临更大的挑战。 分析人士指出，随着我国互联网基础建设的日趋完善，用户网龄的逐渐增长， 网络技术的创新发展，网络应用已经从生活娱乐逐步向社会经济领域渗透，网民 对网络信任和安全的要求也日渐提高。如何提高网民对互联网的信任程度，已经 成为当前迫切需要解决的问题，而在“可用”的基础之上，构建“可信”的网络 环境则是未来的必然趋势【2 1 。 1 1 1 安全审计技术简介 安全审计在实现中可以利用相关技术手段，不间断地检测和分析计算机网络 上发生的事件记录，用事后追查的方法保证系统的安全。安全审计可以实现网络 环境中终端对终端的监控和管理，在必要时通过多种途径向管理员发出告警信息 或自动采取排错措施，还可以采用数据挖掘技术，对历史数据进行分析、处理和 追踪。安伞日志审计系统应该是事f j 尽量控制人员或设备的访问行为，并能事后 通过分析获得直接证据记录，防止行为抵赖的系统。审计系统把可疑数据、入侵 信息、敏感信息等记录下来，作为取证和跟踪使用。它是网络信息安全保障系统 的重要组成部分。 日志审计作为安全审计中一种重要手段，其指根据一定的策略，通过记录、 处理、分析历史操作事件及数据，保证网络系统的正常运行，保护数据的保密性、 完整性及可用性不受损坏，防止有意或无意的人为错误，发现针对计算机网络的 犯罪活动。除采取其他安全措施外，利用审计机制可以有针对性地对网络运行的 状况进行记录、跟踪和审查，用来发现安全问题。此外审计还能为制定网上信息 过滤规则提供依据，如发现有害信息的网站后将其加入路由过滤列表，通过信息 过滤机制拒绝接收一切来自过滤列表上i p 地址的信息，将网上的某些站点产生 的信息垃圾拒之i - j # v 。 日志就是系统用户对某些对象的操作和其操作结果，比如用户登录或者其在 某一系统上的行为操作的集合。为了维护自身系统资源的运行状况，每一个主机 系统一般都会有自己一套比较完整的日志记录系统。日志由很多的事件记录组 成，每条日志记录存储着一次单独的事件。记录中包含了一个时间戳和一条消息， 内容为服务器、工作站、应用程序还有一些数据库系统等平时有关日常事件或者 操作失误警报的关键信息，这些信息对于维护系统安全很重要。它们为两个重要 功能提供数据：审计和监测。如果需要，它们还能作为呈现给权威机构的证据。 它们还能用来“实时 地监测系统状态，检测和追踪侵入者，发现b u g 以及阻止 问题发生。但是，日志中的信息也有可能被冒充或篡改，所以在采取行动之前要 试着通过独立手段来确认日志记录。虽然一个日志的存在不能提供完全的可记录 性，但同志能使系统管理员做到：发现试图攻击系统安全的重复举动，如一个攻 击者试图冒充r o o t 登录；跟踪那些想要越权的用户，如那些使用s u d o 命令作为r o o t 执行命令的用户；跟踪异常的行为模式；实时跟踪侵入者。 1 1 2 安全审计的必要性 目前，大多数企业虽然已经采用一定的网络安全手段( 如防火墙、入侵检测、 漏洞扫描等) 和管理措施，但是当如下的安伞事件发生时，却仍然无法进行及时 告警响应、准确定位事件源头，给企业带来极大的困扰和严重的信息安全隐患。 具体表现为【3 】： 2 ( 1 ) 内部系统维护人员对业务应用系统的越权访问、违规操作，损害业务 系统的运行安全； ( 2 ) 企业重要业务数据库，被员工或系统维护人员篡改牟利、。外泄，给企 业造成巨大的经济损失； ( 3 ) 员工随意通过网络共享文件夹、文件上传下载、e m a i l 等方式，发送 重要敏感信息、业务数据，导致信息外泄事件发生； ( 4 ) 员工在论坛发表敏感信息、传播非法言论，造成恶劣社会影响； ( 5 ) 等级保护要求，公安部的国家电子政务等级保护、国家保密局 b m b l 7 2 0 0 6 号文件中要求政府、涉密单位必须对与涉密敏感信息、业务系统相 关的行为操作进行安全审计。 因此，如何有效监控业务系统访问行为，准确掌握网络系统的安全状态，及 时发现违反安全策略的事件并进行告警、记录，同时进行安全事件定位分析，事 后追查取证，满足合规性审计要求，是企业最关心和迫切需要解决的问题。 据中国国家计算机网络应急协调中心c n c e r t c c 的调查结果显示大约 7 6 的网络安全威胁来自于内部人员和内部操作，其危害程度远远超过黑客攻击 及病毒造成的损失，而这些威胁绝大部分与内部各种网络访问行为有关。防火墙、 入侵检测等传统网络安全手段，可实现对网络异常行为的管理和监测，如网络连 接和访问的合法性进行控制、监测网络攻击事件等，但是不能监控网络内容和已 经授权的正常内部网络访问行为，因此对正常网络访问行为导致的信息泄密事 件、网络资源滥用行为( 即时通讯、论坛、在线视频、p 2 p 下载、网络游戏等) 也无能为力，也难以实现针对内容、行为的监控管理及安全事件的追查取证。 安全审计正是基于上述背景产生的。对于任何一个安全体系来说，审计追查 手段都是必不可少，同时，在t c s e c 和c c 等安全认证体系中，安全审计是评 判一个系统是否真正安全的重要标准。根据代表性的安全模型p 2 d r 理论，网络 信息系统在综合运用防护工具( 如防火墙、操作系统身份认证、加密等手段) 、 检测工具( 如漏洞评估、入侵检测等系统) 的同时，必须通过安全审计收集、分 析、评估安全信息、掌握安全状态，制定安全策略，确保整个安全体系的完备性、 合理性和适用性，才能将系统调整到“最安全”和“最低风险”的状态。 1 1 3 数据挖掘及安全审计技术的现状及发展趋势 海量的信息库，迫切需要新的技术与工具来帮助人们从积累的大量数据中， 搜寻有用的信息，对其进行更高层次的分析，以便更好地利用这些数据。然而目 前的数据库系统无法发现数据中存在的关系和规则，更无法根据现有的数据预测 未来的发展趋势，导致了“数据爆炸但知识贫乏”的现象。因此，如何用数据库 管理系统来存储数据，用机器学习的方法来分析数据，挖掘大量数据背后的信息 和知识，成为日益关注的问题。为实现这些目的，一项全新的技术数据挖掘 ( d a t am i n i n g ) 技术应运而生。 1 9 8 9 年8 月，在美国底特律召开的第1 1 届国际人工智能联合会议的专题讨论 会上首次出现k d d 这个术语，即数据库中的知识发现( k n o w l e d g ed i s c o v e r yi n d a t a b a s e 简称k d d ) 4 1 1 5 1 ，是指低层数据一直抽象到高层知识的整个过程。 随后在1 9 9 5 年，在美国计算机年会( a c m ) 上，首次提出了数据挖掘的概 念，据此“数据挖掘”作为一种新型的数据分析技术于1 9 9 5 年诞生了。i e e e 的 k n o w l o d g ea n dd a t ae n g i n e e r i n g 会刊率先在1 9 9 3 年出版了) d 技术专刊把数据 挖掘和知识发现列为专题和专刊讨论。 现在，许多企业都把数据看成宝贵的财富，纷纷利用商务智能发现其中隐藏 的信息，借此获得巨额的回报。国内暂时还没有官方关于数据挖掘行业本身的市 场统计分析报告，但是国内数据挖掘在各个行业都有一定的研究。据国外专家预 测，在今后的5 1 0 年内，随着数据量的日益积累以及计算机的广泛应用，数据挖 掘将在中国形成一个产业。 安全审计技术就是通过分析网络中的审计数据来判别异常行为。因此网络安 全审计的核心技术就是审计数据的分析技术。经过2 0 余年的研究，目前国内外研 究人员将多种技术应用于安全审计领域，提出了许多审计数据分析的方法，这些 方法为研制和开发性能更加完善的分析技术提供了重要依据，然而，真正成熟的 能够完全应用的网络安全审计系统还不多，德国f 拘i n s p e c t 分布式网络安全审计系 统、p u r d u e 大学的n a s h i d 系统等是这方面的试验性系统。这些系统大多是以检 测网络中的异常行为为目的。这些系统将审计数据作为输入，把审计分析后所生 成的结果作为输出。日前国际上对于将数据挖掘技术运用于嘲络安全审计数据分 析的研究很活跃，主要有： 4 ( 1 ) w e n k el e e 研究组【6 1 1 7 1 1 9 9 8 年w e n k e l e e 研究组参加了由美国国防部高级研究计划署( d a i z p a ) 资 助的i n t r u s i o nd e t e c t i o ne v a l u a t i o n 计划，首次将数据挖掘应用到网络安全数据的 分析中，通过数据分析发现入侵行为，并在这方面做了许多探索性的工作，并通 过将关联规则挖掘和频度事件序列挖掘应用到网络安全数据分析中，构建了当前 唯一的一个基于误用检测的数据挖掘入侵检测系统j a m 。 ( 2 ) s t e p h a n i ef o r r e s t 研究组 s t e p h a n i ef o r r e s t 研究组率先使用短序列匹配算法对特定的特权程序所产生 的系统调用序列进行了细致的分析，在这一领域做出了大量开创性的工作，但问 题的进行过程中出现了许多困难。第一，恶意代码隐藏在正常代码中难以区分； 第二，系统可能的状态几乎是无限的，寻找一组稳定的特征来定义正常模式并不 容易。 ( 3 ) m i s s i s s i p p is t a t eu n i v e r s i t y 的s u s a nm 研究组 s u s a nm 研究组将模糊逻辑的数据挖掘技术和基因算法应用于检测技术，针 对主机系统调用的审计数据分析处理。 ( 4 ) i n t e r s e c ta l l i a n c e 研究组【8 】 s n a r e ( s y s t e mi n t r u s i o na n dr e p o r t i n ge n v i r o n m e n t 系统入侵和报告环境) 是国外一个研究组i n t e r s e c ta l l i a n c e 的研究项目。s n a r e 审计系统将审计从内核 中分离出来，构成一个独立内核的模块。它审计了4 4 个系统调用，审计的过程和 日志一样。它重新编写了要审计的系统调用。在新的系统调用中加入了收集审计 信息和将审计记录放入缓冲池的代码。而系统调用的功能还是通过调用原来的系 统调用函数实现。加载模块后，新的带审计功能的系统调用将代替原有的系统调 用，这是通过将系统调用表中的函数指针指向新的系统调用函数实现的。 目前从国内外厂商的产品发展情况来看，基于日志来综合分析网络安全问题 的产品主要有： o o l o g l o g i c t 9 1 、杭州思福迪信息技术有限公司的l o g b a s e 1 o 】 日志管理综合审计系统、华为3 c o r n 的x l o g n 络日志审计系统、北京清华得实科 技股份有限公司的n e t s c 口志审计系统、网神的s e c f o x l a s 口志审计系统等。这 些产品通过全面获取和收集各类信息、日志，通过实时和事后的审计分析，帮助 用户预防和及时发现整个系统各组成部分( 网络、服务器、应用、安全设备、终 端) 的运行故障、敏感操作和安全事件，从而给系统管理人员提供一个统一的、 高效的管理方案，使系统管理人员从繁重的维护工作中解脱出来。 在国内人们对于日志审计分析的研究由于时问尚浅，还不够深入。虽然已经 有这么多的审计产品了，但目前的日志审计产品都是针对某一领域的应用，具有 一定的局限性。由于日志信息的多样性和大量性，日志审计分析仍是一个无止境 的研究课题。 1 2 论文的研究内容及贡献 数据挖掘及安全审计技术的研究是一个庞大而复杂的课题。论文主要研究了 数据挖掘中的关联规则算法和基于数据挖掘的安全审计技术，提出了面向日志的 改进的a p r i o r i 算法；针对日志数据的每天更新，论文基于a p r i o r i 的改进算法提 出了适用于日志审计的新的规则更新算法。 论文的主要研究内容如下： ( 1 ) 介绍了数据挖掘技术并总结了当前日志审计技术的发展状况，对日志 审计系统的整体架构尤其是事后审计模块进行研究与设计。 ( 2 ) 主要介绍和研究了多种关联规则算法，指出他们的优缺点，着重研究 和分析了a p r i o r i 算法，针对其不足，从减少扫描数据库次数和减少候选集个数 考虑，对算法进行了改进，并结合各日志属性的特点，提出主属性的概念，使之 挖掘出更有效的规则，让关联规则分析算法更适用于审计系统。 ( 3 ) 介绍了关联规则的增罱更新方法，针对日志数据的每天更新，研究了 主要的规则增量更新算法f u p ，从提高日志数据库增量更新的效率入手，对更新 算法进行了研究，以用来修正规则，以提高对u 志审计分析的准确性。 ( 4 ) 将数据挖掘技术应用到日志审计系统的事后审计模块，实现对日志数 据的分析和审计，找出异常的操作和攻击。 论文的在完成上述研究内容的基础上，主要贡献如下： ( 1 ) 研究埘象方而：基于数据挖掘的日志审计系统事后审计模块的审计规 则是基于客观的历史日志数据，不受人为的影响，能够更客观更准确的检测出潜 在的，不易被发现的危险剃异常，更能保障网络的安全。 ( 2 ) 关键技术方而：通过结合日志属性的特点埘关联规则算法a p r i o r i 和规 6 则增量更新方法的改进，从而提高了事后审计模块的效率。 ( 3 ) 对于本课题组的贡献：完成了事后审计模块的设计与实现，并将改进 的关联规则算法和规则增量更新方法应用于日志事后审计中。这些都为今后对整 个系统的改进与研究奠定了基础。 1 3 论文组织结构 论文主要探讨审计过程中数据挖掘中关联规则算法，通过对数据挖掘技术和 审计技术的结合，对日志数据进行分析和审计以达到有效而准确的检测网络的异 常。论文的正文部分共分为六章，现将其内容概述如下： 第一章是绪论。首先介绍了研究背景及意义，然后简单介绍了日志审计系统 的相关知识，着重介绍了数据挖掘技术和安全审计技术与实现的国内外研究现 状，最后阐述了论文研究内容、贡献和组织结构。 第二章首先详细介绍了数据挖掘的相关知识，然后介绍国内外安全审计技术 的相关标准，总结了国内外的主要的安全审计技术，其中重点介绍了基于数据挖 掘的安全审计技术。 第三章主要研究了基于数据挖掘的日志分析关键技术。主要研究和分析了关 联规则算法中的经典算法a p r i o r i ，针对其不足以及结合日志的属性特点对其进 行了改进；考虑到日志数据的不断增加，研究了规则增量维护算法f l i p ，并在前 文改进a p r i o r i 的基础上改进了更新算法。 第四章描述了日志审计系统的系统框架，着重介绍系统中事后审计模块的设 计并描述了各子功能模块的具体功能，将相关改进算法在事后审计中运用，实现 对日志数据的分析和审计。 第五章主要根据论文给出的实现方案，结合整个日志审计系统对事后审计模 块进行了相关的测试，并对测试结果进行了分析。 最后一章是总结和展望，对全文作了总结，并提出了下一步研究工作的设想。 7 2 数据挖掘及安全日志审计技术分析 安全日志审计是记录用户的访问过程和各种行为形成审计数据并加以分析 的过程，它是计算机安全管理的重要组成部分。通过对日志审计数据的分析可以 发现系统中的安全问题，识别系统事故责任者，跟踪某些用户和站点，为及时采 取相应处理措施提供依据。基于数据挖掘的安全同志审计系统则是通过对网络内 部的何种设备产生的日志进行分析处理，产生用户的正常行为模式库，通过对当 前的日志和用户行为模式的比较，对异常的信息执行报警措施和其他的警告措 施，或生成最终能反映网络状况的各种统计数据和报表。本章将通过对数据挖掘 和安全日志审计技术进行介绍和分析，围绕“如何将数据挖掘应用到安全日志审 计中”这一主题展开论述。 2 1 数据挖掘的相关知识 所谓数据挖掘1 ( d a t am i n i n g ，d m ) ，又被称为从数据库中发现知识 ( k n o w l e d g ed i s c o v e r yi nd a t a b a s e s ，k d d ) ，就是按照既定的目标，从大量的、 不完全的、有噪声的、模糊的、随机的数据中，提取隐含其中的、人们事先不知 道、潜在有用的信息和知识的过程。数据挖掘是“数据库知识发现”技术中的一 个关键步骤，其提 n 的背景是解决日益增长的数据量与快速分析数据要求之间的 矛盾问题，目标是采用各种特定的算法在海量数据中发现有用的可理解的数据模 式。 2 1 1 数据挖掘的过程 数据挖掘是在数据库或数据仓库中发现知识的过程，它从数据集中识别出以 数据模式模型表示的知识。这个过程是一个多步骤的处理过程，多步骤之间相瓦 影响，反复调整，形成一种螺旋式上升的过程。一个完整的数据挖掘过程主要由 以下步骤组成，如图2 1 所示： ( 1 ) 数据的预处理，数据挖掘的处理对象是犬量的数据，这些数据r 般经 8 过长期积累并存储在数据库系统中。但是这些数据不适合直接用来进行数据挖 掘，需要做数据选择( 选择与分析任务相关的数据) 、数据清理( 平滑噪声数据， 识别、删除孤立点，去掉数据中的噪声，纠正不一致) 、数据推算( 推算出空缺 值) 、数据变换( 将数据转换成适合于数据挖掘的形式，它包括：平滑数据中的 噪声、对数据进行汇总和聚集、使用概念分层对数据进行概化、将数据规范化和 特征构造等等) 、数据缩减( 减少数据量) 。数据预处理的好坏直接影响数据挖掘 的效率和准确度以及最终模式的有效性。 臣至主自一一( 二互 一j匦至亘因一一( 二互 一j t 匣堕 图2 - 1 数据挖掘的一般过程 ( 2 ) 挖掘这是数据挖掘中最关键的一步，使用智能的方法提取数据模式。 采用较多的技术有：决策树、分类、聚类、粗糙树、关联规则、神经网络、遗传 算法等。首先决定要从数据中提取什么样的模型，然后选取相应的算法参数、分 析数据，得到可能形成知识的模式模型。 ( 3 ) 模式评估上面得到的模式模型，可能是没有实际意义的或没有使用价 值的，也可能是不能准确反映数据的真实意义，甚至在某些情况下是相反的，利 用模式评估，可以确定哪些是有效、有用的模式。评估可以根据用户需要的某种 兴趣度度最( 如：支持度或置信度) ，使模型能表示知识的真正有趣模式。 ( 4 ) 牛成结果报告，巩固知识用户理解的并被认为是符合实际和有趣的模 9 姻叵 式模型形成了知识。同时要注意对知识作一致性检查，解决与以前得到的知识相 互冲突、矛盾的地方，使知识得到巩固。 ( 5 ) 解释结果报告，对结果进行解释，依据此结果采取相应的商业措施。 运用知识有两种方法：一种是只需要看知识本身所描述的关系或结果，就可以对 决策提供支持；另一种是要求对新的数据运用知识，由此可能产生新的问题，因 此需要对知识做进一步的优化。 数据挖掘的过程可能需要多次的循环反复，每一个步骤一旦与预期目标不 符，都需要回到前面的步骤，重新调整，重新执行。数据挖掘的结果是把有趣的 模式提供给用户，或作为新的知识存放在知识库中。数据挖掘系统结构如图2 2 所示： jl 1r 图形用户界面 jl 模式评估 数据清理、数据集成 过滤 多 2 1 2 数据挖掘的特点 图2 - 2 数据挖掘系统结构 ( 1 ) 规模大：处理的数据源规模十分巨大，如何从如此巨量的数据中有效 l o 地提取有用的信息，需要各方面技术的进步； ( 2 ) 历史数据：数据挖掘必须对数据进行长期趋势的分析，但数据在时间 轴上大的纵深性是数据挖掘的一个新难点； ( 3 ) 数据集成和综合性：数据挖掘可能要面对的是关系非常复杂的全局模 式的知识发现，但注意力可以更集中于数据挖掘的核心处理阶段； ( 4 ) 查询支持：一般由用户提出的及时随机查询，往往不能形成精确的查 询要求，需要依赖数据挖掘技术进行实时交互，使决策者的思维保持连续有可能 挖掘出更深入，更有价值的知识； ( 5 ) 模式的适用性：数据挖掘模式的发现主要基于大样本的统计规律，发 现的模式不必适用于所有数据，达到某阐值就可以认为有效。 2 1 3 基于数据挖掘的分析方法 应用环境的不同，数据挖掘的分析方法有一定的区别，这主要取决于数据的 类型和规模，以及求解的目标。目前数据挖掘分析方法中常用的有：分类预测分 析、关联规则分析、序列分析、聚类分析。 ( 1 ) 分类与预测算法 分类要解决的问题足为一个事件或对象归类。在使用上，既可以用此模型分 析已有的数据，也可以用它来预测未来的数据。例如，用分类来预测哪些客户最 倾向于对直接邮件推销做出回应，又有哪些客户可能会换他的手机服务提供商， 或在医疗领域当遇到一个病例时用分类来判断一下从哪些药品着手比较好。一般 来讲，分类根据系统特征进行，关键就是选择正确的系统特征，大多数时候还需 要根据经验和实验效果确定一个合理的门限值。 ( 2 ) 序列分析 序列分析技术主要用于发现一定时间间隔内接连发生的事件。这些事件构成 一个序列，发现的序列应该具有普遍意义，其依据除了统计上的概率之外，还要 加上时间的约束。序列模式分析的侧重点在丁分析数据间的前后序列关系。序列 分析描述的问题是：在给定交易序列数据库中，每个序列按照交易时问排列成一 组交易集，挖掘序列函数作用在这个交易序列数据库上，返回出现的高频序列。 例如入侵行为发生的先后关系常常有一定的规律，黑客在入侵前先进行端口扫捕 然后再进行猜测密码的攻击的过程就可以用序列模式来描述。关联分析算法中的 a p f i o f i 可以用于序列模式的挖掘。 ( 3 ) 聚类技术 聚类分析是指将数据对象的集合根据一定的规则分组成为多个有意义的由 类似对象组成的子集的描述性任务。当挖掘任务面临缺少领域知识或领域知识不 完整的数据集合时，采用聚类分析技术，可以将无标识数据对象自动划分为不同 的类，并且可以不受人的先验知识的约束和干扰，从而获取属于数据集合中原本 存在的信息。传统的统计聚类分析方法包括系统聚类法、分解法、加入法、动态 聚类法、有序样品聚类、有重叠聚类和模糊聚类等。 ( 4 ) 关联规则分析【1 2 】 关联分析就是要发现关联规则，找出给定数据集中数据项之间的联系。也就 是给定一组i t e m 和一个记录集合，通过分析记录集合，推导出i t e m 间的相关性。 关联分析的目的是从己知的事务集中产生数据项集之间的关联规则，即同一条审 计记录中不同字段之间存在的关系，同时保证规则的支持度和信任度大于用户预 先指定的最小支持度和最小信任度。数据关联是数据库中存在的一类重要的可被 发现的知识。若两个或多个变量的取值之间存在某种规律性，就称为关联。关联 可分为简单关联、因果关联。有时并不知道数据库中数据的关联函数，即使知道 也是不确定的，因此关联分析生成的规则带有可信度。 就基于日志的安全审计而言，数据挖掘可采用分类预测方法对用户的正常和 异常行为进行分类判断；采用序列分析处理用户操作的序列关系以发现用户的异 常操作；采用关联规则算法分析用户操作日志记录中各事件属性的关联关系，以 发现潜在的危险。 2 2 安全审计技术 安全审计定义为产生、记录并检查按时间顺序排列的系统事件记录的过程。 安全审计利用计算技术，将计算机信息系统中发生的与安全相关的事件记录下 来，并与安全规贝u 库进行比较，判断其是否违反了计算机系统的安伞规定，或者 可以用事后追查的方法来保证系统的安全【1 3 】。安全审计系统是事前控制人员或 设备的访问行为，并能事后获得直接电子证据，防止行为抵赖的系统。安全审计 ， 1 2 作为一种网络安全保障机制，世界上影响较大的两个安全评价标准t c s e c 和c c 都对网络安全审计提出了明确的定义和功能要求。我国的国标计算机信息系统 安全保护等级划分准则也有相应的规定标准，确定了哪些事件应被作为审计内 容及审计记录应包括的内容。 2 2 1 安全审计的相关标准 ( 1 ) t c s e s 标准 t c s e c ( t r u s t e dc o m p u t e rs y s t e me v a l u a t i o nc r i t e r i a ) ，俗称橙皮书，是美国 国防部计算机安全中心于1 9 8 8 年发布的“可信计算机系统评估准则”，它从包括 应用环境在内的各个角度出发，运用“级别确认”的方法对计算机系统进行安全 评测。在t c s e c 中定义的a c c o u n t a b i l i t y 提出了安全审计的基本要求：审计信息必 须被有选择地保留和保护，与安全有关的活动一旦需要能够被找到责任方，系统 应能够选择那些与安全有关的信息被记录，以便将审计的开销降到最小，这样可 以进行有效的分析【1 4 1 。 ， ( 2 ) t n i 标准 t n i ( t r u s t e dn e t w o r ki n t e r p r e t a t i o n ) ，俗称“红皮书”，是美国国家计算机 安全中心在1 9 9 0 年公布的“可信网络解释 准则，是将“橙皮书”中的评估原则 应用于网络系统，并作为评价计算机网络安全保密特性的依据。它将整个网络的 安全策略分解成若干策略单元，分别置于适当的、自主的网络组件中去实现，使 其成为每一网络组件安全策略的基础，这样就从总体上确保了整个网络安全策略 的有效实施。 ( 3 ) c c 标准 c c ( c o m m o nc r i t e r i af o ri n f o r m a t i o nt e c h n o l o g ys e c u r i t ye v a l l u a t i o n ) 15 】， 是围际标准化组织( i s o ) 和国际电工委员会( i e c ) 1 9 9 8 年发表的信息技术 安全性评估通用准则2 0 版( i s o i e c l 5 4 0 8 ) 。定义了作为评估信息技术产品和系 统安全性的基础准则提出了目前国际上公认的表述信息技术安全性的结构以及 如何正确有效地实施这些功能的保证要求，是目前系统安伞认证方面最具有权威 性的标准。c c 标准，作为评估信息技术产品和系统安全性的世界性通用准则， 是信息技术安全性评估结果国际互认的基础。目前已有美国、加拿大、英国、法 国、德国、荷兰等国加入了这个互认协定，日本、韩国、以色列等也正在积极准 备加入此协定。1 9 9 7 年，c c 测试版通过了国际标准化组织采纳两年后i s o 组织正 式确立c c 为国际信息安全评估通用准则i s 0 1 5 4 0 8 1 9 9 9 。 ( 4 ) 国标g b l 7 8 5 9 1 9 9 9 t 1 6 】 依据我国计算机信息系统安全保护等级划分准则国标g b l 7 8 5 9 1 9 9 9 第三级 中关于安全审计的要求，应确定如下的审计事件作为审计内容：身份鉴别机制的 使用；将客体引入用户地址空间；客体的删除；操作员、系统管理员或系统安全 管理员所实施的动作；其它的与安全相关的事件等等。而每一事件的审计记录项 应包括：事件的日期与时间、用户、事件类型、实践成功与否。对于身份鉴别事 件审计记录还应包括：请求的来源；对于客体引入用户地址空间的事件及客体删 除事件，审计记录还应该包括客体的名称和客体的安全级别等等。 安全审计系统的一般要求主要包括： 1 ) 记录与再现：能够记录系统中所有的安全相关事件，同时应该能够再现 产生某一系统状态的主要行为； 2 ) 记录异常行为：审计系统应该记录所有的异常企图，即使某次入侵己经 成功，也能保留相关行为信息，这是事后调查取证和系统恢复必不可少的； 3 ) 事件分析：审计系统应该能够对记录的事件进行适当分析，并以适当的 方式显示分析结果。 2 2 2 安全审计技术分析 一个典型的安全日志审计系统在局域网内架构中的部署如图2 3 所示【1 7 】： 应用平台区包括w e b 服务器( i i s 、a p a c h e 等) ，中间件服务器( w e b l o g i c 、 w e b s p h e r e 、t o m c m 等) ，数据库服务器( m s s q l 、o r a c l e 、m y s q l 等) 。网络 设备区包括路由器、交换机等。安全设备区包括v p n 、防火墙、网关等。内网 办公区包括普通的用户p c 。 应用平台区、中间件服务器、数据库服务器、内网办公区和审计系统通过网 络设备区相连。上述安全设备区、网络设备区的日志通过s y s l o g 发送到审计系 统：应用平台区、内部办公区的所有日志通过安装代理a g e n t 采集日志并发送全 安全审计系统【1 8 】。 1 4 安全设备区 ：国臼 一人 旷广i 固目围 路出器 、n 肪火墙同美， 帼雪囤二 _ - _ _ _ _ l _ 一j 一 噙 r 一冉胃办公区一 砰机 ：j 趴 酌国i a | | 曩，j i 、要多 | 矿矿勰灞 ! 竺! ! = 兰一， b 如i 委。娄军翰 图2 - 3 系统的部署图 安全审计技术主要是通过分析网络中的审计数据来判别入侵行为和异常行 为的。从系统安全的角度，一个完整的成熟的网络安全系统管理模型应该如图2 4 所示： 图2 4 网络安伞体系结构 其中，防御模块是从身份认证和访问控制这两个方面来保证系统的安全性； 检测模块用于发现各种违反系统安全规则的入侵行为和异常操作行为：调查模块 将检测模块所获得的数据加以分析，并确认当前所发生的有关入侵企图和入侵证 据；事后分析模块分析将来如何抵制类似的入侵行为。为了保障和为维护网络信 息安全，除了要进行信息的安全保护以外，还应该重视提高系统的入侵检测能力、 系统的事件反应能力以及当系统遭到入侵引起破坏时的快速恢复能力【1 9 1 2 0 1 。 而安全审计的工作将集巾在形成审计数据并通过对日志数据进行分析来发 现入侵或异常行为，如图2 5 所示。即安全审计所完成的是安全体系结构中的“检 测”部分而不包括或很少包括其它部分的工作。 匝蚤：建 图2 5 安全审计工作图 网络安全审计的核心技术就是审计数据的分析技术。1 9 8 0 年，j a m e s e a n d e r s o n 第一次提出了利用日志进行安全审计分析的思想。在对审计数据分析 技术2 0 余年的研究中，为了获得更好的检测效果和更快的检测速度，国