（计算机应用技术专业论文）信息安全审计模型的设计与实现.pdf

南京航空航尤人。、孙自f 产浠论文 摘要 随着信息化程魔的不断提高，信息系统安全成为人们关注的焦点， 露售毖系统藤瞧鲍藏胁可敬是内部太爨破螺积多 部的a 法入侵，懿 霉 保障信息系统的安企更加具有挑战性，信息化实践证明通过对信息系 统进行安全帑诗是粲关重鬟的。 本文以金鹰国际软件公司的项目“基于应用过程行为的信息安全审 计平鑫的研发”为鼗景，嚣先贪缌了信息安全审计的壤念和数据挖掘 技术的一些理论知识，然后提出了个信息安全审计模型，详细分析 了模擞的各个组成郯分的设计移实现，利用数提挖撼技术熊扶大璧鲍 数据中提取潜在的具有价值的知识或模式的特点，把它用于信息安全 审计模型的数据挖掇系统中。最后对整个信息安全审计模型的性能进 行了测试和评估。 关键词：信息审计，数据挖掘，关联舰则，序列模式，知识库 信息安全市计模刑的i 殳计o 实现 a b s t r a c t w i t ht h e c o n t i n u o u s l yi m p r o y e m e n to ft h e i n f o r m a t i o n a l d e g r e e ，p e o p l eb e g i nt or o u e so nt h es e c u r i t yo fi n f o r m a t i o ns y s t e m t h e t h r e a to fi n f o r m a i o n ts y s t e mc a nb e i n t e r n a lp e r s o n n e lb r e a k a g ea n dt h e i l l e g a le n t r yo ft h ee x t e r i o r s ，s oh o wt op r o t e c tt h ei n f o r m a t i o ns y s t e mi s v e r y c h a l l e n g i n g t h ei n f o r m a t i o n a lf u l f i lp r o v et h es e c u r i t y a u d i to f i n f o r m a t i o ns y s t e mi sv e r yi m p o r t a n t t h i st h e s i si sb a s e do nt h ep r o je c tb yt h en a m eo f “t h er e s e a r c h a n dd e v e l o p m e n to fa p p l i c a t i o np r o c e ssa u d i tp l a t f o r m c o m i n gf r o m g o l d e ne a g l ei n t e r n a t i o n a ls o f t w a r eij t d f i r s t l y ，t h et h e s i si n t r o d u c e d s o m ek n o w l e d g ea b o u tc o n c e p to fi n f or m a t i o ns y s t e ma u d i ta n dt h et h e o r y o fd a t a m i n i n gt e c h n o l o g y ，s e c o n d l y w ep u tf o r w a r dam o d e lo f i n f o r m a t i o ns e c u r i t ya u d i t ( m i s a ) ，t h e np a r t i c u l a r l ya n a l y s ea l lt h ep a r t s o fm o d e l s d e s i g n a n di m p l e m e n t a t i o n ，b e c a u s et h e d a t a m i n i n g t e c h n o l o g yc a nf i n do u tt h eu s e f u lp o t e n t i a lk n o w l e d g e ，s ow ec a np u ti t t oourd a t am i n i n gs y s t e ma m o n gt h em o d e lo fi n f o r m a t i o ns e c u r i t y a u d i t f i n a l l y w et e s ta n de v a l u a t et h ec a p a b i l i t yo ft h em o d e lo f i n f o r m a t i o ns e c u r i t ya u d i t k e y w o r d s ：i n f o r m a t i o na u d i t ，d a t am i n i n g ，a s s o c i a t i o nr u l e ，s e q u e n c e p a t t e r n ，r e p o s i t o r y i i 承诺书 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立 进行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容 外，本学位论文的研究成果不包含任何他人享有著作权的内容。对本 论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明 确方式标明。 本人授权南京航空航天大学可以有权保留送交论文的复印件，允 许论文被查阅和借阅，可以将学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的学位论文在解密后适用本承诺书) 作者签名：i 量圭：主堡 日期： 塑! ：i ：；：兰l 南京航空航大人学硕十学位论文 1 1 研究背景 第一章绪论 计算机是20 世纪科学技术发展的最大成果之一，其应用使各行各 业的运作模式发生了翻天覆地的变化，极大地推动了人类文明的进步。 加上i n t e r n e t 的出现，信息网络化f 在对国家和社会的各个方面产生 巨大影响、基于网络的计算机应用系统己经得到普及，人们基于 i n t e r n e t 开展了很多的电子商务等金融业务，计算机和网络正改变了 人们的生活方式。随着网络不断在世界范围内普及，信息资源得到了 最大程度的共享。 信息资源的共享随之而来的信息网络安全问题也日益突出，当前信 息网络面临的威胁主要来自：电磁泄露、雷击等环境安全构成的威胁， 软硬件故障和工作人员误操作等人为或偶然事故构成的威胁，利用计 算机实施盗窃、诈骗等违法犯罪活动的威胁，网络攻击和计算机病毒 构成的威胁，以及信息战的威胁等。如果按照威胁来源的话那就有内 部人员破坏和外部的非法访问。国内外从事信息安全的专业人士，通 过调查逐步认识到，媒体炒得火热的外部入侵事件，充其量占到所有 安全事件的2 0 - 3 0 ，而7 0 一8 0 的安全事件来自于内部。从不同渠道 来的统计数据略有差别，但就国内的情况来说，内部人员犯罪( 或于 内部人员有关的犯罪) 一般占到了计算机犯罪总量的7 0 以上。美国联 邦调查局和计算机安全学会联合发布的0 2 年度安全调查报告通过一系 列的调查和统计数据显示很多网络安全威胁并不是以网络入侵的形式 进行的，这些威胁事件多数是来自于内部合法用户的误操作或恶意操 作。通常内部人员的不合法操作很难被发现，具有威胁大，难防御， 难发现的特点。实际生活中的内部人员犯罪案例屡见不鲜，严重危害 了社会的安全稳定。 针对上述的内部人员的威胁，传统的信息安全措施，比如防火墙都 没有办法来发现问题的痕迹，靠系统自身的简单的日志功能也是不能 满足对这类网络安全事件的审计要求。由美国军方( 包括国安局、副 信息安全市计模删的殴计与实现 部长办公室等) 发起，著名的兰德公司( r a n d ) 公司( 该公司是美国 政府与军方的智囊团成员) 出面组织的内部人员威胁研究系列会议( 以 下简称兰德会议) 则取得了研究内部人员的威胁很多重要成果。 兰德会议如今已召开两次( 1 9 9 9 年8 月1 6 日至1 8 日，2 0 0 0 年8 月3 0 日至9 月1 日) ，每次会议的参加者均为4 0 人左右，分别来自军 方、研究界、工业界和政府等方面。这两次会议基本反映了当前内部 人员威胁研究的最高水准，其研究思路、研究方法和研究成果具有很 高的参考价值。 两次兰德会议上达成的共识是防范内部人员犯罪的途径之一是加 强审计和取证工具的使用，在研究界丌发出有效的内部人员犯罪数据 收集工具之前，需要借助法律和执法机关的力量，他们应对犯罪数据、 审计踪迹等信息有明确的方针和要求。 国际信息系统审计和控制协会( i s a c a ) 是一个推动信息审计的国 际化组织，它是国际上惟一的信息系统审计师专业组织。其总部设在 美国的芝加哥，在世界上1 6 0 多个国家和地区设有分会，现有会员两 万多人。会员被称为信息系统审计师，电就是我们通常所说的i t 审计 师。它一直在为i t 审计和管理提供一个通用的标准。推动了i t 审计 业务的迅速发展。 1 2 数据挖掘的发展及其应用 近年来，数据挖掘引起了信息产业界的极大关注，其主要原因是存 在大量数据，可以被广泛的使用，并且迫切需要把这些数据转化成有 用的信息和知识。数据挖掘技术是人们长期对数据库技术进行研究和 开发的结果。起初各种商业数据是存储在计算机的数据库中的，然后 发展到可对数据库进行查询和访问，进而发展到对数据库的即时遍历。 数据挖掘使数据库技术进入了一个更高级的阶段，它不仅能对过去的 数据进行查询和遍历，并且能够找出过去数据之间的潜在联系，从而 促进信息的传递。 数据挖掘其实是一个逐渐演变的过程，电子数据处理的初期，人们 就试图通过某些方法来实现自动决策支持当时机器学习成为人们关心 的焦点。机器学习的过程就是将一些已知的并已被成功解决的问题作 南京航空航天人学硕十学何论文 为范例输入计算机，机器通过学习这些范例总结并生成相应的规则，这 些规则具有通用性，使用它们可以解决某一类的问题。随后，随着神经网 络技术的形成和发展，人们的注意力转向知识工程，知识工程不同于机 器学习那样给计算机输入范例，让它生成出规则，而是直接给计算机 输入已被代码化的规则，而计算机是通过使用这些规则来解决某些问 题。专家系统就是这种方法所得到的成果，但它有投资大、效果不甚 理想等不足。8 0 年代人们又在新的神经网络理论的指导下，重新回到 机器学习的方法上，并将其成果应用于处理大型商业数据库。随着在 8 0 年代末一个新的术语，它就是数据库中的知识发现，简称k d d ( k n o w l e d g ed i s c o v e r yi nd a t a b a s e ) 。它泛指所有从源数据中发掘模式或 联系的方法，人们接受了这个术语，并用k d d 来描述整个数据发掘的 过程，包括最开始的制定业务目标到最终的结果分析而用数据挖掘 f d a t a m i n i n g ) 来描述使用挖掘算法进行数据挖掘的子过程【 。但最近人 们却逐渐开始使用数据挖掘中有许多工作可以由统计方法来完成，并 认为最好的策略是将统计方法与数据挖掘有机的结合起来。 数据仓库技术的发展与数据挖掘有着密切的关系【2 】。数据仓库的 发展是促进数据挖掘越来越热的原因之一。但是，数据仓库并不是数 据挖掘的先决条件，因为有很多数据挖掘可直接从操作数据源中挖掘 信息。 数据挖掘技术从一开始就是面向应用的。目前，在很多领域，数据 挖掘( d a t a m i n i n g ) 都应用广泛，尤其是在如银行、电信、保险、交通、 零售( 如超级市场) 等商业领域。数据挖掘所能解决的典型商业问题 包括：数据库营销、客户群体划分、背景分析、交叉销售等市场分析 行为。也有把数据挖掘技术用于网络安全监控产品中的，例如哥伦比 亚大学的w e n k el e e t 3 】 4 1p 】等人从1 9 9 5 年起提出了把数据挖掘技术应 用于入侵检测系统中，提出了入侵检测的许多方法。 1 3 课题的提出 由于任何对信息系统进行的操作都会在信息系统的各个层面留下 痕迹，因此我们通过分析追踪留下的痕迹就可以发现系统所面临的安 全威胁，信息安全审计模型f 是在这样的安全审计需求下产生的。信 息安全审计通常要求专门细致的协议分析技术完整的跟踪能力，和 数据查询过程回放功能。通过在信息系统运行过程中对信息系统运行 信息安全审计模型的蹬计与实现 有影响的各种角色的行为过程进行实时监控和审计，及时发现异常、 可疑事件，避免内部人员威胁带来的严重后果的发生。 根据上述思想我们抽象出的通用的信息安全审计模型就是信息采 集、信息处理审计、信息处理结果生成和动作等。 针对目前出现的网络信息安全问题，国内外已经有很多网络安全模 型a 在系统审计方面，如北京启明星辰的天碉网络安全审计系统，复 旦光华的网络检测和安全审计系统等：这些系统都是基于网络层的安 全监控，通常是用来防止外面的网络入侵，但是缺乏对于网络内部的 用户应用行为的监控，也就是缺乏对于应用层面的审计。 论文课题来源是南京金鹰国际软件公司的项目一“基于应用过程 行为的信息安全审计平台的研发”，它实现了对应用层面进行审计的功 能。 传统的信息安全产品的数据分析和审计处理都依赖于事先建好的 规则库，通过规则库里面的规则柬进行规则匹配，存在的问题就是规 则库需要事先手工建立和以后还得自己扩充，规则的更新速度比较慢， 而且制定的规则的合理性或者有效性受人为因素影响比较大，这样使 用起来不是很方便而且对提高信息安全产品的正确性也是有影响的。 数据挖掘技术可以从大量的数据中提取潜在的具有价值的知识或模 式。已经有很多数据挖掘技术被应用在入侵检测系统( i d s ) 3 儿4 】1 5 等一 些信息安全产品中。很多的数据挖掘算法可以被用来挖掘一些频繁模 式【3 1 - 3 5 ，由于数据挖掘技术能够发现很多潜在的联系，而往往这些 潜在联系由于数据量的庞大是得我们无法想到的，但却是很有意义的， 把数据挖掘技术应用到目前的信息安全审计平台的数据分析中，通过 挖掘我们采集到的信息数据，从中获取我们感兴趣的模式和规则以此 来自动构造和扩充规则库，也是一个创新点。 那么如何在具体的信息安全审计模型中应用数据挖掘技术呢? 主 要的过程是通过布置在用户主机上的主机数据采集器和网关上的网络 数据采集器来获取主机数据和网络数掘，其中包括用户的文件系统操 作情况，c p u 等主机资源的使用情况，用户s h e n 使用情况等等，把这 些能基本上可以反映目前的用户行为轮廓的数据，经过初步的过滤以 后按照我们定义的审计记录的格式入库，通过数据挖掘系统来使用数 据挖掘算法，我们这里主要采用关联觇则和序列模式的相结合来按照 我们自己定义的规则格式来提取频繁的规则，我们首先要构造正常用 户行为的学习知识库，然后把这些学习知识库中的规则作为我们模型 4 南京航空航大人学硕b 学何论文 以后进行数据分析和规则匹配的依据，学习知识库可以在模型运行过 程中被自动地扩充。 本文的主要工作有： 研究了信息系统审计的思想和数据挖掘的技术，设计和实现了一个 信息安全审计模型，同时把数据挖掘技术应用到该模型的数据分析和 规则挖掘中，通过将关联规则和序列模式相结合，来进行模型的审计 规则的挖掘和学习知识库的扩充。同时也提出了规则的统一定义格式， 把用户制定的规则和规则挖掘产生的规则的格式上进行统一，加强了 规则的通用性。最后对该模型在性能测试、容量测试做了一个系统的 评估。 1 4 本文的组织 全文共分五章，各章内容如下： 第一章是绪论，概述目前信息化过程中的信息安全问题和数据挖掘技 术在信息安全领域的应用，分析了目前网络安全产品的不足和课题所 做的工作，以及论文的主要组织结构。 第二章介绍了一些信息安全审计的理沦和数据挖掘技术，关联规则和 序列模式算法的基本情况。 第三章详细介绍了信息安全审计模型的分析和设计，先介绍了整个系 统的架构设计，然后介绍了数据采集系统以及数据挖掘系统的设计和 运作流程。结合关联规则和序列模式算法探讨了规则的挖掘，以及规 则的格式和规则的比较。 第四章详细介绍信息安全审计模型的实现和应用，介绍了该模型的各 组成部分的功能实现以及相互的通信机制，最后对信息安全审计模型 进行了测试评估。 第五章结束语，对全文总结和展望。 信息安全审计模型的设计与实现 第二章相关理论和技术 2 1 信息系统审计 概述和发展 信息系统审计( i sa u d l t ) 是指审计人员接受委托或授权，收集并评估 证据以判断一个计算机系统( 信息系统) 是否有效做到保护资产、维护 数据完整并最有效率地完成组织目标的活动过程。它既包括信息系统 外部审计的鉴证目标一一即对被审计单位的信息系统保护资产安全及 数据完整的鉴证，又包含内部审计的管理目标一一即不仅包括被审计 信息系统保护资产安全及数据完整而且包括信息系统的有效性目标 10 1 。 信息系统审计的最早称为计算机审计【6 l ，是随着计算机在财务会计 领域的应用而产生的。计算机审计在发展的初期，还只是传统财务审 计业务的一种辅助工具，对客户的电子化会计数据进行处理和分析， 为财务报表审计人员提供服务，主要关注对被审计单位电子数据的取 得、分析、计算等数据处理业务。 风险基础的审计模式的采用以及信息技术在被审计单位的各个领 域的广泛应用，它使得计算机审计的业务范围已经覆盖了一项审计业 务的全过程，此时计算机审计这一概念已经不能反映这一业务的全部 内涵，信息系统审计的概念随之出现。 如今的信息系统审计的业务已经超出了为财务报表审计提供服务 的范围，在很多大型会计公司内部，信息系统审计部门已经成为一个 独立的对外提供多种服务的部门。计算机审计所关注的内容也从单纯 的对电子的处理，延伸到对计算机系统的可靠性、安全性进行了解和 评价。 在我国信息系统审计业务的丌展还处于探索阶段。其实，信息系统 审计在国外已经有了一个相当长时期的发展，而且也产生了相应的专 业组织和专业资格。信息系统审计与控制协会i s a c a 9 】就是从事计算 机审计人员( i t 审计师) 组成的国际性专业组织，由该组织颁发的信 息系统审计师( c i s a ) 资格也是这一领域唯一的受国际认可的专业资 格。 美国在计算机进入实用阶段时帆丌始提出系统审计( s y s t e m 南京航空航犬人学硕十学位论文 a u d i t ) ，从成立电子数据处理审计协会( e d p a a 后更名为i s a c a ) 以 来，从事系统审计活动已有三十多年历史，成为信息系统审计的主要 推动者，在全球建有一百多个分会，推出了一系列信息系统审计准则、 职业道德准则等规范性文件，并开展了大量的理论研究，i t 控制的开 放式标准c o b i t 【7 】( c o n t r o lo b i c c t i v c sf o ri n f o r m a t i o na n dr e l a t e d t e c h n o l o g y ) 已出版了第三版。 理论基础 信息系统审计不仅仅是传统审计业务的简单扩展，信息技术不单影 响传统审计人员执行鉴证业务的能力，更重要的是公司和信息系统管 理者都认识到信息资产是组织最有价值的资产，和传统资产一样需要 控制，组织同时需要审计人员提供对信息资产控制的评价。因此信息 系统审计是一门边缘性学科，跨越多学科领域。信息系统审计是建立 在四个理论基础之上的【l0 1 ： ( 1 ) 传统审计理论。传统审计理论为信息系统审计提供了丰富的 内部控制理论与实践经验，以保证所有交易数据都被正确处理。同时 收集并评价证据的方法论也在信息系统审计中广泛应用，最为重要的 是传统审计给信息系统审计带来的控制哲学，即用谨慎的眼光审视信 息系统在保护资产安全、保证信息完整，并能有效地实现企业目标的 能力。 ( 2 ) 信息系统管理理论。信息系统管理理论是一门关于如何更好 地管理信息系统的开发与运行过程的理论，它的发展提高了系统保护 资产安全、保证信息完整，并能有效地实现企业目标的能力。 ( 3 ) 行为科学理论。人是信息系统安全最薄弱的环节，信息系统 有时会因为人的问题而失败，比如对系统不满的用户故意破坏系统及 其控制。因此审计人员必须了解哪些行为因素可能导致系统失败。这 方面行为科学特别是组织学理论解释了组织中产生的”人的问题”。 ( 4 ) 计算机科学。计算机科学本身的发展也在关注如何保护资产 安全、保证信息完整，并能有效地实现企业目标。但是技术是一把双 刃剑，计算机科学的发展可以使审计人员降低对系统组件可靠性的关 注，信息技术的进步也可能启发犯罪，例如一个重要的问题是信息技 术在会计制度中的应用是否给罪犯提供了较多缓冲时间? 如果是，那 么今天网络犯罪产生的社会威胁较以f i 2 任何时候都要大。 信息系统审计的业务组成 信息系统审计的对象是以计算机为骸，山的信息系统，今天的信息系 信息安全市计模耻的改计与实现 统是非常地复杂，一般是由多个部分组成以形成一个完整的解决方案。 要进行信息系统的审计就必须熟悉信息系统审计的业务，在信息系统 的整个生命周期，必须明确信息系统审计的各个项目和衡量标准。信 息系统审计的业务归纳主要有以下几个组成部分 8 1 ： ( 1 ) 硬件及环境审计一包括硬件安全、电源供应、空气调节等。 ( 2 ) 系统管理审计一包括对操作系统、数据库管理系统、所有系统过 程审计。 ( 3 ) 应用软件审计一包括访问控制、授权、确认等 ( 4 ) 网络安全审计一包括内部和外部的连接审计，周边安全，防火墙 审计，端口扫描等。 ( 5 ) 数据完整性审计一目的是详细检查有效数据来核实对系统弱点 的控制。 ( 6 ) 系统维护审计一包括容错和备份程序和存储，灾难恢复等。 信息系统审计的依据 信息系统审计师要了解规划、执行及完成审计工作的步骤与技术， 并尽量遵守国际信息系统审计与控制协会的一般公认信息系统审计准 则、控制目标和其他法律与规定。依据主要有以下几个 9 】： ( 1 ) 一般公认信息系统审计准则一包括职业准则、i s a c a 公告和 职业道德规范。职业准则可归类为：审计规章、独立性、职业道德及 规范、专业能力、规划、审计工作的执行、报告、期后审计。i s a c a 公告是信息系统审计与控制协会对信息系统审计一般准则所做的说 明。i s a c a 职业道德及规范提供针对协会会员或信息系统审计认证 f c i s a ) 持有者有关职业上及个人的指导规范。 ( 2 ) 信息系统的控制目标一信息系统审计与控制协会在1 9 9 6 年 公布的 c o b i t 【，1 ( c o n t r o lo b j e c t i v e s f o ri n f o r m a t i o na n dr e l a t e d t e c h n o l o g y ) 被国际上公认是最先进、最权威的安全与信息技术管理和 控制的标准，目前已经更新至第三版。它在商业风险、控制需要和技 术问题之间架起了一座桥梁，以满足管理的多方面需要。 ( 3 ) 其他法律及规定。每个组织不论规模大小或属于何种产业，都 需要遵守政府或外部对与电脑系统运作、控制，及电脑、程序、信息 的使用情况等有关的规定或要求，对于一向受严格管制的行业，尤其 要注意遵守。 南京航空航大人学硕 学位论文 2 2 数据挖掘技术 数据挖掘概述 数据挖据是指从大量的数据中提取或“挖掘”知识【1 1 。与数据挖掘 相近的同义词有数据融合、数掘分析和决策支持等。这个定义包括好 几层含义：数据必须是真实的、大量的、含噪声的；发现的是用户感 兴趣的知识；发现的知识要可接受、可理解、可运用；并不要求发现 放之四海皆准的知识，仅支持特定的发现问题。数据挖掘也是一种新 的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据 进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的 关键性数据。 数据挖掘知识的分类 数据挖掘所发现的知识最常见的有以下五类【1 1 】h2 】： 广义知识( g e n e r a l i z a t i o n ) ：指类别特征的概括性描述知识。根据 数据的微观特性发现其表征的、带有普遍性的、较高层次概念的、中 观和宏观的知识，反映同类事物共同性质，是对数据的概括、精炼和 抽象。广义知识的发现方法和实现技术有很多，如数据立方体、面向 属性的归约等。 关联知识( a s s o c i a t i o n ) ：它反映一个事件和其他事件之间依赖或 关联的知识。如果两项或多项属性之间存在关联，那么其中项的属 性值就可以依据其他属性值进行预测。最为著名的关联规则发现方法 是r a g r a w a l 【“oj 提出的a p t i o r i 算法。 分类知识( c l a s s i f i c a t i o n c l u s t e r i n g ) ：它反映同类事物共同性质的 特征型知识和不同事物之间的差异型特征知识。最为典型的分类方法 是基于决策树的分类方法。数据分类还有统计、粗糙集( r o u g h s e t ) 等方法。线性回归和线性辨别分析是典型的统计模型。为降低决策树 生成代价，人们还提出了一种区问分类器。最近也有人研究使用神经 网络方法在数据库中进行分类和规则提取。 预测型知识( p r e d i c t i o n ) ：它根据时间序列型数据，由历史的和当 前的数据去推测未来的数据，也可以认为是以时间为关键属性的关联 知识。目前，时间序列预测方法有经她的统计方法、神经网络和机器 学 - j 等。h e i k k im a n n i l a 1 引、l a i f df , t 2 “、r a g r a w a l 等作了很多研究，较 为著名的序列模式发现方法是r 、g j 1i ”j 【”1 提出的a p r i o r i a l l 、 a p r i o r is o m e 算法。 信息安全审计模喇的设计与实现 偏差型知识( d e v i a t i o n ) ：它是对差异和极端特例的描述，揭示事物 偏离常规的异常现象，如标准类外的特例，数据聚类外的离群值等。 所有这些知识都可以在不同的概念层次上被发现，并随着概念层次的 提升，从微观到中观、到宏观，以满足不同用户不同层次决策的需要。 数据挖掘的知识发现过程 数据挖掘的知识发现过程大致如图2 1 所示 。 审 提取与处 一j i y 图2 1 数据挖掘过科 该过程包括了以下的处理步骤： 数据提取：根据要求从数据库中提取相关的数据，数据挖掘主要 从这些数据中进行知识提取，在此过程中，需要利用一些数据库操作 对数据进行处理。 数据预处理：对选择的数掘进行再加工，检查数据的完整性及一 致性，对其中的噪声数据进行处理，去除冗余数据，填补丢失的数据。 数据选择：从经过预处理的数据集中筛选出与分析目标无关或关 系很小的属性，在此进行特征抽取。 数据变换：将数据变换或统一成适合挖掘的形式，如数据汇总。 数据挖掘：根据应用的要求，选择合适的数据挖掘算法及模型参 数，建立数据挖掘模型，从数据中提取所需的知识，并以一定的形式 展现出来。如决策树结构，关联规则集。 解释与评价：将挖掘的知识以用，l i 可以理解的方式呈现给用户， 并对所得的结构进行解释。包括对知识的一致性检查，模型的验证， 识别知识的真正有趣的模式。 南京航空航大人学硕十学位论文 2 3 关联规则 关联规则概述 在数据库的数据挖掘中，关联规则就是描述这种在一个事务中物品 之间同时出现的规律的知识模式。更确切的说，关联规则通过量化 的数字描述物品甲的出现对物品乙的出现有多大的影响。 关联规则的一个典型例子是购物篮分析。该过程通过发现顾客购物 的物品之间的联系，分析顾客的购物习惯。例如超级市场利用前端收 款机收集存储了大量的售货数据，这喧数据是一条条的购买事务记录， 每条记录存储了事务处理时间，顾客购买的物品、物品的数量及金额 等。这些数据中常常隐含形式如下的关联规则：在购买铁锤的顾客当 中，有7 0 的人同时购买了铁钉。这些关联规则很有价值，商场管理 人员可以根据这些关联规则更好地规划商场，如把铁锤和铁钉这样的 商品摆放在一起，能够促进销售。 关联规则的形式 设i = i l ，i ：，i 。) 是项的集合，d 是一组数据库事务的集合( 称 之为事务数据库) 。d 中的每个事务t 是项的集合，显然满足t i 。每 个事务都有一个标识符，称为t i d 。设x 是一个项集，如果x t ，则 称事务t 支持项集x 。关联规则是如r 形式的一种蕴含：x y ，其中 x 量i ，y i ，且xa y = m 。 ( 1 ) 如果d 中有s 的事务支持项集x ，称项集x 具有大小为s 的支持 度； ( 2 ) 如果项集x uy 的支持度为s ，称关联规则x y 在事务数据库d 中具有大小为s 的支持度；也就是s u p p o r t ( x y ) = p ( xuy ) 。 ( 3 ) 如果d 中支持项集x 的事务中有c 的事务同时也支持项集y ，称 规则x y 在事务数据库d 中具有大小为c 的可信度。也就是c o n f i d e n c e ( x y ) = p ( y i x ) 。 ( 4 ) 如果不考虑关联规则的支持度和可信度那么在事务数据库中存 在无穷多的关联规则。事实上，人们一般只对满足一定的支持度和可 信度的关联规则感兴趣。在文献中，一般称同时满足最小支持度阀值 ( m i ns u p ) 和最小可信度阀值( m i nc o n f ) 的规则为强规则。 项的集合称为项集( i t e m s e t ) 。包含k 个项的项集称为k 一项集。集 合f a ，b ) 是一个2 一项集。项集的出现频率是指包含项集的事务数。简称 支持计数。如果项集的出现频率大1 ：或昔等于r a i n s u p 和d 中事务总 信息安全审计馍州的殴计与实现 数的乘积，则项集满足最小支持度r a i n s u p 。该项集被称为频繁项集 ( f r e q u e n ti t e m s e t ) 。频繁k 一项集通常记作l 在实际情况下，一种更有用的关联规则是泛化关联规则。因为物品 概念间存在一种层次关系，如兴克衫、滑雪衫属于外套类，外套、衬 衣又属于衣服类。有了层次关系后，可以帮助发现一些更多的有意义 的规则。例如，“买外套，买鞋子”( 此处，外套和鞋子是较高层次上 的物品或概念。因而该规则是一种泛化的关联规则) 。由于商店或超市 中有成干上万种物品，平均来讲，每种物品( 如滑雪衫) 的支持度很低， 因此有时难以发现有用规则：但如果考虑到较高层次的物品( 如外套) ， 则其支持度就较高，从而可能发现有用的规则。 关联规则挖掘的过程可以分为两步： 第一步是找出所有的频繁项集：这些项集出现的频繁性至少和预定 义的最小支持计数一样。 第二步是由频繁项集产生强关联规则：产生的规则满足最小支持度 和最小置信度。挖掘关联规则的总体性能由第一步决定。因此关联规 则的挖掘算法的工作集中在如何高效发现频繁项集上。现已提出多种 关联规则发现算法，其中主流的有a p r i o r i 算法【4 1 ，a p r i o r it i d 5 算法。 关联规则的种类 我们将关联规则按不同的情况进行分类j ： ( 1 ) ，基于规则中处理的变量的类别，关联规则可以分为布尔型和数值 型。布尔型关联规则处理的值都是离散的、种类化的，它显示了这些 变量之间的关系；而数值型关联规则可以和多维关联或多层关联规则 结合起来，对数值型字段进行处理，将其进行动态的分割，或者直接 对原始的数据进行处理，当然数值型关联规则中也可以包含种类变量。 ( 2 ) 基于规则中数据的抽象层次，可以分为单层关联规则和多层关联 规则。在单层的关联规则中，所有的变量都没有考虑到现实的数据是 具有多个不同的层次的；而在多层的关联规则中，对数据的多层性已 经进行了充分的考虑。 ( 3 ) 基于规则中涉及到的数据的维数，关联规则可以分为单维的和多 维的。在单维的关联规则中，我们只涉及到数据的一个维，如用户购 买的物品；而在多维的关联规则中，要处理的数据将会涉及多个维。 换成另一句话，单维关联规则是处理单个属性中的一些关系；多维关 联规则是处理各个属性之间的某些关系。 南京航空航大人学颂十学位论文 2 4 序列模式 序列模式概述 序列( s e q u e n c e ) 是一列排好序的项集。序列模式挖掘是基于时间或 者其他序列的经常发生的模式l 。序列模式的一个例子就是“一个9 个月前买了一台p c 的顾客有可能在一个月内买一个新的c p u ”。很多数 据都是这种时间序列形式的，我们就可以用它来市场趋势分析，客户 保留和天气预测等等。 序列模式的形式 定义项集i = i ，i 2 ，i 。) 和序列s = s 1 ，s 2 ，s 。) ，其中i 是项；s 是表示1 个项集；n 称为序列的长度。 定理( 1 ) 如果对序列a a l ，a 2 ，a 。；，b b 1 ，b 2 ，b 。) 存在i l i 2 i 。 使得a 1 b a 2 b ，a 。b k ，则称为a a l ，a 2 ，a 包含 于序列b b ，b ，b 。) 中为b 的子序列。比如f ( 1 ) ( 2 ，3 )( 6 ) 包含于序列f ( 8 ) ( 1 ) ( 2 ，3 ，7 ) ( 6 ，g ) j 中。 定理( 2 ) 在一个序列集中，如果序列s 不包含于其他的序列中，则称序 列s 是独立最大的。 定理( 3 ) 如果序列s 包含于序列b 中，刚称b 支持序列s 的。 定理( 4 ) 序列模式的支持度是指支持序列s 的记录数和总的记录数得 比例。 序列模式分析是希望挖掘出不同的审计记录之间的相关性。序列分 析的目标是在事务中挖掘出序列模式，即满足用户指定的最小支持度 要求的频繁模式，并且该序列模式不被任何其他序列包含。代表算法 是a p r i o r i a l l ，a p r i o r i s o m e 1 7 】【19j 以及p s p ，g s p 2 1j 等。 序列模式挖掘的通常分以下五个步骤进行【1 1 】：排序阶段( s o r t p h a s e ) ，频繁项阶段( 1 a r g ei t e m s e tp h a s e ) ，转换阶段( t r a n s f o r m a t i o n p h a s e ) ，序列阶段( s e q u e n c ep h a s e ) 和最大项序列阶段( m a x i m a lp h a s e ) 。 信息安全审计模础的没计与实现 第三章信息安全审计模型的分析和设计 本章在前面几章介绍的相关理论和算法的基础上，给出信息安全审 计模型的构成，并介绍了系统的模块构成的设计思想。 3 1 系统研究背景 随着计算机技术的飞速发展，计算机系统和网络已经成为信息化社 会发展的重要通信保证，信息技术和信息产业的发展，也推动了计算 机及其网络在社会生活各个领域的广泛应用。 事物总是辩证统一的。利用i n t e r n e t 提高办事效率和市场反应能力， 提升竞争力的同时又要面对i n t e r n e t 开放带来的数据和系统安全的新 挑战和新危险，如何有效防止计算机犯罪，提高系统的安全性是需要解 决的事情。 现有的各种安全防范措施往往都是基于网络层面的，很少有针对应 用层的行为过程的痕迹信息进行监测审计，使得这些大量的有用信息 没有得到有效利用；同时，也缺乏一个灵活的能对应用系统中的关键 应用进行多层次，多角度的审计系统。这时就需要个软件系统，通 过选取关键业务应用领域里的共性的有助于审计的信息要素，组成元 数据模板，并结合一定的业务审计规则，实时或非实时的对系统内的 关键应用进行多层面( 如o s 、n e t 、d b 等) 的信息扫描和处理，以 达到对关键应用的安全审计目的。 信息安全审计模型m i s a ( m o d e lo fi n f o r m a t i o ns e c u r i t ya u d i t ) 通过 选取关键业务应用领域里的共性的有助于审计的信息要素，组成元数 据模板，并结合一定的业务审计舰则，实时或非实时的对系统内的关 键应用进行多层面( 如目志、网络数据等) 的信息扫描和处理，实时 地综合分析出网络中发生的安全事件，外部事件如外部入侵行为和内 部事件如内部人员的文件拷贝、信息获取、信息发布、资源变迁等， 并根据设置的规则，智能地判断出违规行为，并对违规行为进行记录、 报警。同时，对网络中出现的黑窖入侵行为进行实时报警和阻断，可 以有效地阻拦来自网络内部和外部，特- 3 1 j 是来自因特网的恶意破坏行 为系统功能强大，集审计、控制、跟踪、报警等多种功能为一体。 南京航空航大人学硕十学何论文 3 2 模型架构研究和设计 3 2 1 审计模型的分析和研究 信息安全审计模型是根据“信息系统审计”的思想方法，通过对信 息系统运行过程中的多层次、多角度的行为过程信息的扫描处理，以 达到实时监控，保障信息系统的安全、可靠和有效的运行。m i s a 实际 上是这样一种应用模型，即源数据的采集和过滤，数据的分析处理和 规则挖掘以及相关的系统响应和动作，具体功能模块包括：数据采集 系统，用于数据分析和规则挖掘的数据挖掘系统，以及动作响应系统。 下面对信息安全审计模型作一个简单分析和研究。 数据采集和过滤 信息系统在运行的过程中，会在信息系统内部各个层面上留下痕 迹信息，所以信息安全审计模型所关注的审计轨迹可能来自于应用系 统，数据库，操作系统或是网络层面等，并且会以日志信息，配置文 件，访问记录，资源利用记录或是网络数据包等形式存在，因此源数 据的采集也就是多层次，多角度的分布式数据采集，并且针对不同类 型的数据源必须要考虑采用不同的数据采集策略。在传统方法中，为 了实现批量的数据采集，可以考虑通过分布在各节点上的功能固定的 数据采集系统收集大量的信息，并送至服务器端集中处理的方式。但 这种集中式的方式有许多不足之处：采集数据量大，数据采集完成后不 作过滤处理，网络负载加重、响应速度慢、功能固定，不能适应网络 及其应用的多样性，包括所带来的安全策略和审计方法的多样性的需 要。为了减少数据的传输量，解决大批量数据传输效率的问题，必须 要在数据采集的同时根据相应的过滤策略进行数据的过滤，形成中介 数据。同时考虑到数据源的多样性，必须要将数据采集的处理逻辑进 行组件化封装，构建不同的数据采集器，以满足不同的数据采集工作 的需要，例如：专门进行网络数据采集的网络采集器，专门进行信息 系统资源信息采集的主机采集器等。 关于数据过滤时所选用的过滤策略，也必须要是可定制的，针对 不同类型的数据，所采用的过滤模块和过滤策略也有所不同，具体的 数据过滤模块在接受到传送过束的采集数据时，会根据不同的过滤规 则，在本地进行快速的过滤处理后，形成中介数据，发送到服务器端， 进行集中分析处理。 数据分析和规则挖掘 信息安全市计模耻的设计与实现 数据分析是指根据审计规则对数掘采集系统采集的数据进行实时 或离线的关联分析，来判断目前的数据是符合规则的应用行为信息还 是异常的应用行为信息，同时生成相关的审计报告信息。其中的数据 分析和规则挖掘是由数据挖掘系统进行的。审计规则是判断信息系统 安全与否的依据，是违规违法事件的判断依据。它主要来自于相应的 信息安全策略和领域用户的定制，同时它也可以通过数据挖掘系统的 运行过程中进行规则挖掘，把挖掘出一些能反映用户行为的规则扩充 到学习知识库中，作为系统规则匹配的依据。 审计规则的挖掘是比较重要的，通常信息系统中的行为，由信息 系统行为主体，行为动作以及相关的行为特征构成。主体合法，动作 正常，特征值符合管理要求，则为合法合规的行为。反之，则为违规 或可疑行为。基于此，可关注的痕迹信息关联要素包括：用户身份、 事件地点、时间、事件操作痕迹、事件发生频度操作动作时序信息、 关键数据项的突变信息等。审计规则的要素组成也就可以从以上几个 方面获得，比如，可能是其中的某项特征值的阀值。范围控制或是用户 登陆记录的异常行为( 时间点，权限等) 控制等或是几个关联要素的组 合，分析器在进行分析时，可以对所采用的规则进行动态配置，以适 应多种应用领域不同安全策略的需要。 与数据采集系统类似，数据挖掘系统的构建也必须要是组件化， 可复用的，所采用的规则必须是可定制的。根据不同的行为特点可以 构建多种分析器，有通用型的，也有针对某个应用领域某种业务行为 的。另外，根据数据分析的实时性，分析器可以分为实时分析型和事 后型的，同时存在这两种分析器，以满足不同应用环境的需要。在应 用安全要求较高的领域，实时数据分析是非常必要的。而事后型往往 是需要进行批量历史数据的关联分析，对前一阶段的运行数据生成相 关的审计报告等，每次分析需要消耗大量的资源，所以通常是阶段性 进行，且选择在业务系统非繁忙时间，以免影响原业务系统运行的效 率。 系统动作响应 系统响应动作是跟数据挖掘系统关联在一起的，属于事件触发型 的。当数据挖掘系统根据审计规则检查到违规事件时，会通过适当的 方式进行相关的预警或报告。比如，可以通过发送e - m a i l 、短消息等 并提交相关报告。 南京航空航犬人学硕十j i 位论文 3 2 2 模型的体系架构组成 基于上述的设计思想，信息安全审计模型的体系架构如下图3 1 所 示： 应用系统 应用系统 分布a 训用帆制 图3 1 信息安全审机模鹏的体系架构图 信息安全审计模型在体系架构上有以下几个组成： 数据采集系统：负责采集审计模型要审计的数据，包括网络数据包， 系统日志等；同时也对数据进行预先处理。 业务数据库：存放数据采集系统采集的经过格式化后的审计记录数 据： 数据挖掘系统：完成对采集的数据进行数据分析，挖掘出一些能够 反映用户行为的规则，保存到审汁规则库中，同时通过和学习知识 库里的规则进行实时规则匹配，束进