（计算机应用技术专业论文）分布式异常检测系统的研究.pdf

郑州大学硕士学位论文分布式异常检测系统的研究 摘要 随着网络的迅速发展和普及，网络安全问题越来越受到人们的重视。入侵检测技术 作为一种主动的网络安全防护措施，根据入侵的踪迹和规律发现入侵行为，可以有效地 弥补传统安全防护技术的缺陷。异常检测技术和分布式入侵检测系统是当前入侵检测技 术的研究热点。 为了解决异常检测技术误报率高和分布式入侵检测系统单点故障、协作性、扩展性 等问题，本文提出了基于混合属性的异常检测算法和基于对等网络的分布式入侵检测系 统模型，并将异常检测算法应用到该模型的实现中。本文所做的主要工作如下： ( 1 ) 针对目前异常入侵检测技术处理类别型数据能力欠缺、误报率高的问题，提 出一种新的基于混合属性处理的无监督异常检测算法。该算法首先基于k - p r o t o t y p e s 聚 类思想对包含混合属性数据进行聚类，在此基础上运用i d 3 算法进行分类，解决了 k p r o t o t y p e s 算法的局部最优问题以及对初始聚类数的选取有较强依赖性等问题。实验 表明，该算法与现有方法相比，具有较好的检测性能并能有效检测出未知入侵行为。 ( 2 ) 对现有的分布式入侵检测系统进行了分析和比较，针对目前分布式入侵检测 的缺点，建立基于p 2 p 的分布式异常检测系统模型，并对其工作原理如协作机制，负载 均衡机制等进行了详细阐述。 ( 3 ) 详细地介绍了分布式异常检测系统主要模块的实现过程，并在l i n u x 系统环 境下实现了该模型，对节点发现和协作检测进行了实验。 关键字：入侵检测，异常检测，混合属性，对等网络，负载均衡 郑州大学硕士学位论文分布式异常检测系统的研究 a b s t r a c t s t e p p i n gw i n lt h er a p i dd e v e l o p m e n ta n dp o p u l a r i z a t i o no fn e t w o r k , t h ei s s u eo f n e t w o r k s a f e t yi sb e i n gt a k e nm o r ea n dm o r es e r i o u s l y i n t r u s i o nd e t e c t i o nt e c h n o l o g y , 鹊a na c t i v e d e f e n s em e a s u r e sf o rn e t w o r ks a f e t y , c a nf i n dt h ei n t r u s i o nf r o mt h et r a c ea n do r d e r l i n e s so f t h e i ra c t i o n s ，s o 嬲t oe f f e c t i v e l yc o m p e n s a t et h ed e f e c t so ft r a d i t i o n a lp r o t e c t i o nt e c h n i q u e s a n o m a l yd e t e c t i o na n dd i d s ( d i s t r i b u t e di n t r u s i o nd e t e c t i o n ) a r et h eh o t s p o t so fi n t r u s i o n d e t e c t i o n r e c e n t l y , o n eo ft h eh o t s p o t sa n df o c u s e si nn e t w o r ki n f o r m a t i o ns a f e t yd o m a i ni st h a t h o wt or e s e a r c ha n di m p r o v et h ee x i s t i n gd e f e c t so fi n t r u s i o nd e t e c t i o nt e c h n o l o g yi nn e w n e t w o r ke n v i r o n m e n t ，i m p r o v i n gd e t e c t i o ne f f i c i e n c ya n dc h a n g i n gp a s s i v ed e t e c t i o nt oa c t i v e d e f e n s e ，t h er e s e a r c ho fd i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e mi so n eo ft h ed i r e c t i o n s i no r d e rt os o l v et h eh i g hf a l s ea l a r mr a t eo fd e t e c t i o na l g o r i t h ma n ds h a r i n gd a t a e f f i c i e n t l ya m o n gi t sm e m b e r sa n dt oa d v a n c et h ep e r f o r m a n c eo fd i d s ，t h i sp a p e rp r e s e n t s a l la n o m a l yd e t e c t i o na l g o r i t h mb a s e do nm i x e dv a l u ea n dad i s t r i b u t e di n t r u s i o nd e t e c t i o n s y s t e mb a s e do np 2 p , a n dr e a l i z i n gt h ea l g o r i t h mi nt h em o d e l t h ew o r kd o n ei s 舔 f o l l o w i n g ： ( 1 ) a i m i n ga tt h ep r o b l e m so fi n s u f f i c i e n tc a p a c i t yf o rt r e a t m e n to fc a t e g o r yt y p ed a t a a n dh i 【g hf a l s ea l a r mr a t ei nc u r r e n ta n o m a l yi n t r u s i o nd e t e c t i o nt e c h n o l o g y , t h i sp a p e r p r e s e n t san e wu n s u p e r v i s e da n o m a l y d e t e c t i o na l g o r i t h mb a s e do nm i x e da t t r i b u t et r e a t m e n t a tf i r s t , c l u s t e r i n gm i x e da t t r i b u t ed a t ab a s e do nk - p r o t o t y p e sc l u s t e r i n gt h o u g h t s ，t h e n c l a s s i f y i n gt h ed a t ab yu s i n gi d 3a l g o r i t h mt oe f f i c i e n t l yr e s o l v ep r o b l e m si nk - p r o t o t y p e s a l g o r i t h m ，s u c ha sl o c a lo p t i m u ma n dr e l a t i v e l yh i g hd e p e n d e n c yo ns e l e c t i o no f i n i t i a lc l u s t e r n u m b e r f i n a l l ye x p e r i m e n t ss h o wt h a tc o m p a r e dw i t hc u r r e n tm e t h o d ，t h i sa l g o r i t h mh a sa g o o dd e t e c t i o np e r f o r m a n c ea n dc o u l de f f i c i e n t l yd e t e c tu n k n o w n i n t r u s i o n s ( 2 ) a n a l y z i n ga n dc o m p a r i n gt h ee x i s t i n gd i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e m i nv i e w o ft h ed e f e c t so fc u r r e n ts y s t e m ，t h i sp a p e re m p l o yam o d e lo fa n o m a l yi n t r u s i o ns y s t e m b a s e do np 2 pa n dd e t a i l e dd e s c r i b e st h ef u n c t i o np r i n c i p l e s ，s u c ha sc o o r d i n a t i o nm e c h a n i s m a n dl o a db a l a n c i n gm e c h a n i s m ( 3 ) i td e t a i li n t r o d u c e st h ei m p l e m e n to fd i s t r i b u t e ds y s t e mm o d u l e ，a n da l s oc a r r i e so u t i l 郑州大学硕士学位论文分布式异常检测系统的研究 t h i sm o d e li nl i n u xo p e r a t es y s t e m e x p e r i m e n t so nf i n d i n gn o d e sa n dc o o r d i n a t i o n m e c h a n i s ma r et a k e na tt h ee n do ft h i sd i s s e r t a t i o n yw o r d s ：i n t r u s i o nd e t e c t i o n , a n o m a l yd e t e c t i o n ，m i x e da t t r i b u t e ，p 2 p , l o a d b a l a n c e l l i 郑州大学硕士学位论文分布式异常检测系统的研究 图目录 图2 1 传统入侵检测系统7 图2 2a p p d r r 模型9 图2 3 基于主机的入侵检测系统1 0 图2 4 基于网络的入侵检测系统1 1 图2 5 分布式入侵检测系统1 4 图2 - 6 集中式协同检测1 5 图2 7a a f i d 的入侵检测模型。1 6 图2 8 完全分布式分析模型17 图3 1f = 3 时测试记录z ：f 检测过程2 3 图3 2k d d c u p 9 9 的攻击类型。2 5 图3 3y 不同取值时的检测率2 9 图3 _ 4 三种算法的r o c 曲线图2 9 图禾l 传统c s 模型3 1 图4 2p 2 p 模型31 图4 3 系统的网络结构。3 3 图4 - 4 单个节点的内部结构3 3 图4 - 5 新节点加入过程3 4 图禾6 分布式协作流程。3 5 图5 1 入侵检测引擎设计3 8 图5 2 状态检测模块工作流4 0 图5 3 创建面向连接的套接字时必须调用的函数序列。4 2 图5 - 4 中心节点结构图4 4 图5 5 系统模型实验网络结构图。4 5 图5 6 首个节点加入系统。4 6 图5 7 节点b 、c 加入系统4 6 图5 8 系统负载状态。4 6 图5 - 9 分载后系统状态4 7 图5 1 0 系统工作时报警信息4 7 v i i 郑州大学硕士学位论文分布式异常检测系统的研究 表目录 表3 1a s 矩阵的实例2 5 表3 2 单个t c p 连接的基本特征2 6 表3 3 部分系统统计信息特征2 6 表3 - 4 部分网络统计信息特征2 7 v i 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究所取得 的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或 撰写过的科研成果。对本文的研究作出重要贡献的个人和集体，均已在文中以明确方式 标明。本声明的法律责任由本人承担。 学位论文作者： 日期：乃唧年歹月岁亩日 学位论文使用授权声明 本人在导师指导下完成的论文及相关的职务作品，知识产权归属郑州大学。根据郑 州大学有关保留、使用学位论文的规定，同意学校保留或向国家有关部门或机构送交论 文的复印件和电子版，允许论文被查阅和借阅；本人授权郑州大学可以将本学位论文的 全部或部分编入有关数据库进行检索，可以采用影印、缩印或者其他复制手段保存论文 和汇编本学位论文。本人离校后发表、使用学位论文或与该学位论文直接相关的学术论 文或成果时，第一署名单位仍然为郑州大学。保密论文在解密后应遵守此规定。 学位论文作者：埔j 烀 日期：丸、巧年多月乡口日 郑州大学硕士学位论文分布式异常检测系统的研究 1 1 研究背景 第一章绪论 随着互联网技术的飞速发展，网络已经成为了人们获取信息的重要来源。同时伴随 着网络的发展，也产生了各式各样的问题，其中安全问题尤为突出。 目前，中国的互联网安全实际状况不容乐观。根据国家计算机网络应急技术处理协 调中。已, ( c n c e r t c c ) 发布的c n c e r l c 2 0 0 8 年上半年网络安全工作报告【，从2 0 0 8 年1 月至6 月期间接收和处理的网络安全事件统计可以看出，各种网络安全事件与去年 同期相比都有明显增加。半年时间内，c n c e r t c c 接收的事件中，垃圾邮件事件和网 页恶意代码事件增长较快。网页恶意代码同比增长近一倍；网页篡改事件和网络仿冒事 件也有大幅增长，同比增长分别是2 3 7 和3 8 。 各种网络安全利用系统漏洞进行传播的蠕虫已经不再是安全事件中的独家主角，而 以僵尸网络、间谍软件、身份窃取为代表的各类恶意代码逐渐成为最大威胁。同时，拒 绝服务攻击、网络仿冒、垃圾邮件等安全事件仍然猖獗。根据中国互联网信息中心2 0 0 9 年1 月公布的中国互联网络发展状况统计报告【2 】显示，截至2 0 0 8 年底，我国上网用 户总数为2 9 8 亿人，网络用户和网络主机的数量仍然在持续增长。与此同时，电子政务、 电子商务、网络游戏等互联网业务正在快速扩展，新的操作系统和新应用软件正不断投 入使用，这些都会导致大量人为主观疏忽和网络系统客观漏洞。 当前网络安全形势严峻的原因主要有以下几个【i 】：一是由于近年来中国互联网持续 快速发展，我国网民数量、宽带用户数量、c n 域名数量都已经跃居全球第一位，而我 国网络安全基础设施建设、民众的网络安全意识培养还跟不上互联网发展的步伐，庞大 的用户群、信息系统群加之粗放式网络安全管理埋下了安全隐患；二是随着技术的不断 提高，攻击工具日益专业化、易用化，攻击方法也越来越复杂、隐蔽，防护难度较大； 三是互联网业务与现实社会中诸如货币、交易、信息交互等活动不断融合，为网络世界 的虚拟要素附加了实际价值，越来越多的承载这类业务的信息系统成为黑客攻击的目 标。 对入侵攻击的检测与防范、保障计算机系统、网络系统及整个信息基础设施的安全 已经成为刻不容缓的重要课题。 郑州大学硕士学位论文分布式异常检测系统的研究 1 2 导致网络不安全的因素 目前的计算机网络，面临巨大的安全风险，一方面是网络本身存在的安全缺陷；另 一方面是人为因素和自然因素。自然因素是一些意外事故。最主要的因素是人为因素， 即认为的入侵和破坏。 从技术上讲，计算机网络技术本身是不完备的，有缺陷的【3 1 。首先网络操作系统具 有脆弱性，脆弱性来源于系统的安全漏洞。例如，目前广泛使用的w i n d o w s 系列操作系 统就存在很多安全漏洞【4 】，各种以前认为非常安全的操作系统，如u n i x ，也不断发现 安全漏洞【5 1 ，这些漏洞有设计上的缺陷，有软件实现上的疏漏，系统配置的不当同样会 导致漏洞的出现。其次通讯协议也有一定的缺陷。t c p i p 协议是因特网的基础，该协议 在初始设计时目标是简单高效，却没有考虑到安全因素。t c p i p 的数据包是以明文形式 传输的，电子邮件的口令、文件传输很容易被监听和窃取，而且目前随着网络的发展， 可以实现监听和窃听行为的工具很多，并且这些工具在网络上很容易得到。另外在协议 流程设计也存在安全缺陷，缺乏安全策略。这给网络攻击提供了可能性，例如i c m p 、 i pp o o l i n g 、s y nf l o o d s 等拒绝服务攻击、探测性攻击等。数据库管理系统的脆弱性，网 络资源共享和数据通信的缺陷，也给攻击提供了可能性。 计算机网络安全风险存在的社会因素主要是人的趋利性。随着网络的发展，越来越 多的重要信息和数据存贮到网络节点上，这些网络“财富”对政治敌对者、商业对手、 好奇的黑客、贪财的网络罪犯、怀恨企业的前员工、甚至在职的员工产生吸引力，这些 人在无政府主义的互连网上跨越时空，各显身手，对互联网的发展构成巨大威胁。 1 3 传统安全防御技术 传统的安全技术主要包括数据加密技术、访问控制技术、认证识别技术、漏洞扫描 技术以及防火墙技术等。 1 3 1 数据加密技术 加密是指将信息经过加密密钥以及加密函数的转换变成无意义的密文，接收方将其 经过解密函数和解密密钥还原成明文。加密技术是保护数据的最基本的方法，是网络安 全技术的基石。常用的加密技术分为对称加密和非对称加密。加密技术只能防止第三者 获取真实数据，因此它只能解决一方面的安全问题。 2 郑州大学硕士学位论文分布式异常检测系统的研究 1 3 2 访问控制技术 访问控制是计算机安全技术的核心，是保证对所有的直接存取活动进行授权的重要 手段。它是按照预先设定控制规则确定用户资源的访问是否合法，有何种权限，可以进 行何种类型的访问操作，防止非法用户进入系统和非法使用系统资源的。当一个用户试 图非法使用未经授权使用的资源时，访问控制将拒绝这个请求，并向审计跟踪系统报告。 访问控制技术是维护系统安全的重要手段。 1 3 3 漏洞扫描技术 漏洞扫描技术是检测远程或本地系统安全脆弱性的一种安全技术。用于检查、分析 网络范围内的设备、网络服务、操作系统、数据库系统等系统的安全性，从而为提高网 络安全的等级提供决策的支持。系统管理员利用漏洞扫描技术对局域网络、w e b 站点、 主机操作系统、系统服务以及防火墙系统的安全漏洞进行扫描，可以及时发现网络漏洞 并在网络攻击者扫描和利用之前予以修补，从而提高网络的安全性。 1 3 4 防火墙技术 防火墙( f i r ew m l ) 是目前最常见的安全防护技术，它主要部署在内部网络和外部 网络之间，用于实现对被保护网络的非法访问进行控制。防火墙的实质就是过滤隔离。 它可以监视和控制网络数据流。最初的防火墙技术只能防御外部的攻击，对于内部攻击 却无能为力，而实际上大多数高级攻击都来自网络内部。目前的防火墙在过滤机制上虽 有所改变，但防火墙仍只允许符合安全策略的数据流通。 1 4 本文研究的意义 1 4 1 入侵检测的必要性 入侵检测作为一种重要安全防御技术，它可以通过监测网络数据流实现对攻击进行 防御，并且还可以监控主机的进程和误操作对系统本身进行实时保护。它的主动性和实 时性的特点，是防火墙重要的和有益的补充，它帮助系统对付网络攻击，扩展了系统管 理员的安全管理能力( 包括安全审计、监视、进攻识别和响应) ，提高了信息安全基础 结构的完整性。 功能完善的入侵检测软件的出现，极大地方便了网络的管理，实时报警为网络安全 3 郑州大学硕士学位论文分布式异常检测系统的研究 增加了又一道保障。尽管在技术上仍有许多未克服的问题，但正如攻击技术不断变化一 样，入侵的检测也在不断发展。同时，网络安全需要纵深的、多样的防护。即使拥有当 前最强大的入侵检测系统，如果不及时修补网络中的安全漏洞的话，安全也就无从谈起。 1 4 2 入侵检测研究国内外现状 入侵检测的研究开始于2 0 世纪8 0 年代。j a m e sa n d e r s o n 在1 9 8 0 年首先提出了入 侵检测的概念，将入侵尝试或威胁定义为潜在的有预谋未经授权访问信息、操作信息， 致使系统不可靠或无法使用的企图。从入侵检测概念的提出到现在，入侵检测技术已经 有了飞速发展。目前对入侵检测的研究是多方面的，如检测技术、协同检测、响应策略、 信息融合等等。 随着技术的发展，以及网络安全需求的增加，现在的入侵检测系统大多是分布式的。 最初的分布式入侵检测是集中式的，由多个节点进行数据采集，由一个节点进行数据分 析，如s n a p p 提出的d i d s 6 】和j a c k s o n 和h o c h b e r g 提出n a d i r 。q 。19 9 6 年g r i d s 8 1 的 设计和实现，使对大规模自动或协同攻击的检测更为便利，这些攻击有时甚至可能跨过 多个管理区域。美国p u r d u e 大学设计的一种采用树形分层构造的分布式入侵检测系统 a a f i d 9 1 ，在此系统中，第一次使用了自治代理概念。m a i d s t l 伽由美国i o w a 州立大学 提出了并实现，它是一种多级的入侵检测系统，并利用了移动代理技术。 近些年，对入侵检测算法的研究也是热点。传统的检测技术是基于模式匹配的误用 检测，只能检测已知的攻击。随着网络数据量的逐渐增大，简单的模式匹配已经不能满 足实际需求了。w l e e 将数据挖掘技术引入到入侵检测中去，随后f o r r e s t 等将免疫原理 运用到分布式入侵检测领域。p o r r a s 1 1 j 和i l g u n t l 2 1 提出了状态转移分析的入侵检测技术， 并实现了原型系统u s t a t ，之后发展出n s t a t 、n e t s t a t 等系统。神经网络，遗传算 法，计算机免疫学等技术也都融合到入侵检测技术中，在这些技术引入初期，大都是单 独使用。目前，检测技术多为结合多种算法。 目前，已经有一些研究产品应用到了实际当中。如n f r 公司的n i d 系统、i i s 公司 的r e a l s e c u r e 、n a i 公司的c y b e r c o pm o n i t o r 和c i s c o 公司的c i s c os e c u r ei d s 。国内入 侵检测产品较少，但是发展很快，如启明星辰的天阗入侵检测系统、绿盟科技的“冰之 眼 网络入侵检测系统和北京中科网威公司的“天眼 入侵检测系统。但是国内产品检 测方法比较单一，总体发展水平明显落后与国外。 4 郑州大学硕士学位论文分布式异常检测系统的研究 1 4 3 现有入侵检测的局限性 目前，虽然入侵检测技术已经得到迅速发展，并且有许多商业化产品得到了广泛的 应用。但是入侵检测技术依然存在不少问题，有待于进一步的研究提高。现有入侵检测 系统主要存在以下几点问题【1 3 】： ( 1 ) 特征库更新不及时 当前市场上大多数入侵检测产品都采用了模式匹配算法进行分析。网络攻击形式越 来越复杂细致并且系统及应用软件漏洞是不可避免的，检测系统的特征库要求进行实时 更新，但是绝大多数特征是在攻击出现之后才被发现，因此特征库的更新总是落后于攻 击手段的更新。 ( 2 ) 不能有效地检测出未知攻击 模式匹配虽然能够准确高效的检测出入侵行为，但是只能检测特征库中已知的攻 击，对未知的攻击模式无能为力。由此引入了异常检测技术，该技术能够较好的检测出 未知攻击，但是具有较高的漏报率和虚警率，只在研究阶段，并没有大规模运用在实际 系统当中。 ( 3 ) 对分布式攻击和加密攻击的处理能力较差 随着入侵技术的不断发展，攻击形式已经由原来的单点攻击发展到大规模分布式、 协同式攻击。现有的入侵检测系统对此类攻击的处理能力还不理想。另外，现有的入侵 检测系统往往检测数据包是明文传输的，并没有考虑加密攻击的问题，所以对此类攻击 入侵检测系统根本无能为力。 ( 4 ) 不同系统互操作性差 对入侵检测系统的评价还没有客观的标准，虽然c i d f 和i d w g 组织定制的一些草 案，但这些标准还没有得到广泛的认同。大型网络的不同部分可能使用了不同的入侵检 测系统，标准的不统一使得入侵检测系统之间不易互联，无法进行有效的信息交互，难 以整合在一起进行协同防御。 1 5 研究课题描述 本文研究了目前网络安全状况，分析了现有的入侵检测技术，着重分析了现有的异 常检测技术和分布式入侵检测系统。针对目前入侵检测系统应用异常检测时处理类别型 数据能力欠缺、误报率高的问题，提出一种新的基于混合属性处理的无监督异常检测算 5 郑州大学硕士学位论文分布式异常检测系统的研究 法。该算法结合了k - p r o t o t y p e s 聚类和i d 3 决策树。基于k - p r o t o t y p e s 聚类思想对包含混 合属性数据聚类，在此基础上运用i d 3 算法进行分类，有效地解决了k - p r o t o t y p e s 算法 的局部最优问题以及对初始聚类数的选取有较强依赖性的问题。并通过系统仿真实验表 明，该算法与现有方法相比具有较好的检测性能并能有效检测出未知入侵行为。 文章分析了传统的分布式入侵检测系统的特点与不足，提出了基于对等网分布式异 常检测模型。该模型架构为中心化的p 2 p 网络。论文详细介绍了模型的整体体系架构和 工作原理，在该模型设计中，考虑检测节点的协作机制，以及中心节点监控机制。详细 描述了各个组件的实现。 1 6 章节安排 第一章绪论。主要介绍互联网所面临的安全问题、导致网络不安全的因素及网络 安全目标。介绍了研究入侵检测的必要性和目前入侵检测技术的局限性及论文的主要内 容及组织结构。 第二章入侵检测综述。介绍了入侵检测的基本概念，常见的入侵技术和手段，以 及入侵检测系统的分类，并对当前最新的检测技术进行了描述。 第三章基于混合属性聚类的异常检测。分析了现有基于聚类的异常检测的特点， 介绍了能处理混合属性的k - p r o t o t y p e s 算法，并结合i d 3 算法k - p r o t o t y p e s 算法进行改进， 有效地解决了k - p r o t o t y p e s 算法的局部最优问题以及对初始聚类数的选取有较强依赖性 等问题。并与k - p r o t o t y p e s 、i d 3 算法进行了实验结果对比。 第四章对等的分布式入侵检测模型。分析现有的分布式入侵检测模型的特定，根 据入侵检测的发展趋势，提出基于p 2 p 的分布式入侵检测模型，对模型中设计的模块进 行了详细描述和分析。 第五章系统模型的实现。对系统模型的主要模块进行了设计和功能分析，完成基 于p 2 p 结构和异常检测系统的研究，通过实验验证了系统的节点发现机制和协同机制。 第六章结论与展望。对论文的工作进行了总结，并指出今后需要进一步研究的问 题和方向。 6 郑州大学硕士学位论文分布式异常检测系统的研究 第二章入侵检测综述 2 1 入侵检测的基本概念 入侵检澳t j ( i n t r u s i o nd e t e c t i o n ) 1 4 】是对入侵行为的发现。它主要通过对计算机网络或 计算机系统中的若干关键点收集信息并对其进行分析，从而发现网络或系统中是否有违 反安全策略的行为和被攻击的迹象。进行入侵检测的软件与硬件的组合便是入侵检测系 统( i n t r u s i o nd e t e c t i o ns y s t e m ，简称i d s ) 。入侵检测源于传统的系统审计的实现。入侵 检测拓宽了传统审计的概念，它以不间断的方式进行检测，从而形成一个连续的监测过 程。概括地说，入侵检测系统包括三个功能部件：提供事件记录流的信息源，也称为事 件发生器；发现入侵迹象的分析引擎( 包括策略规则、模式匹配器、轮廓引擎、异常检 测器四个部分) ，它接收来自数据源的信息并且检查数据有没有被攻击，有没有违反安 全策略。根据分析引擎的检查结果产生反应的响应部件，如图2 1 所示。 图2 1 传统入侵检测系统 入侵检测是一种重要的安全防护技术，提供了对内部攻击、外部攻击和误操作的实 时防御，在网络系统或主机受到危害时就进行响应。 2 2 常见入侵技术和手段 入侵是对信息系统的非授权访问及未经许可在信息系统中进行操作，威胁计算机或 网络的安全机制( 包括机密性、完整性、可用性) 的行为。入侵可能是来自互联网的攻 击者对系统的非法访问，也可能是系统的授权用户对未授权的内容进行非法访问。 入侵的技术和手段是不断发展的。从攻击者的角度说，入侵所需要的技术是复杂的， 7 郑州大学硕士学位论文分布式异常检测系统的研究 而应用的手段往往又表现得非常简单。这种特点导致攻击现象越来越普遍，对网络和计 算机的威胁也越来越突出。 入侵过程一般可以概括为五个步骤或阶段，我们通过入侵过程的五个阶段来分析其 主要的技术和手段。但是作为具体的攻击，不一定完全按此五个阶段进行。 ( 1 ) 信息探测 入侵过程的开始大多是信息探测，主要目的是收集目标的漏洞点。目前主要的探测 技术有：操作系统类型与版本探测、服务端口探测、账户信息收集、服务版本探测等等。 目前，信息探测的主要手段有用来探测防火墙的类型的t c pa c k 扫描、检测类u n i x 操作系统类型的t c p 窗口扫描、检查网络中活跃主机的i c m p 扫射等等。 ( 2 ) 尝试攻击 攻击者在完成信息探测后，获得了攻击所需的有关信息，将其能够比较容易实现的 攻击目标作为攻击对象，然后开始对目标主机的技术或管理漏洞进行深入分析和验证， 这就意味着攻击尝试的进行。目前，攻击者常用的手段主要是漏洞校验和口令猜解，如： 专用的c g i 漏洞扫描工具、登录口令破解等等。 ( 3 ) 提升权限 攻击者在完成攻击尝试以后，如果尝试成功，攻击者可能获得目标主机的访问权限， 但这个权限很可能是受限制的，攻击者为了得到更高级别的访问权限，会采取更多的措 施，最理想的就是获得系统管理员或s y s t e m 权限，拥有了这个权限，攻击者才能进一步 地深入攻击。这个过程就是权限提升。当前，权限提升的手段主要有本地溢出、利用s c r i p t s 目录的可执行权限、替换系统服务等。 ( 4 ) 深入攻击 攻击者一旦权限获得提升后，就能控制单台主机了，这样一次简单的攻击过程基本 完成。但是，一般攻击者不会停留到此步，必须考虑方便下次攻击并消除此次攻击所留 下的痕迹。因此，作为深入攻击的主要技术手段就有日志更改或替换、木马植入以及进 行跳板攻击等等。 ( 5 ) 拒绝服务 如果目标主机的防范措施比较好，前面的攻击过程可能不起效果。拒绝服务( d o s ) 攻击利用合理的服务请求来占用过多的服务资源，从而使合法用户无法得到服务的响 应。从网络攻击的各种方法和所产生的破坏情况来看，拒绝服务攻击是一种很简单但又 8 郑州大学硕士学位论文分布式异常检测系统的研究 很有效的进攻方式。目前，拒绝服务已经发展为分布式拒绝服务攻击( d d o s ) ，它是一 种分布、协作的大规模攻击方式，常见的攻击方式有s y nf l o o d 、l a n da t t a c k 、针对应 用软件层的a p p l i c a t i o nl e v e lf l o o d s 等。 2 3 入侵检测与网络安全体系 网络安全是一个动态的概念，可以用网络动态安全模型来描述，能够提供给用户更完 整、更合理的安全机制。全网动态安全体系可由下面的公式概括： 网络安全( s ) = 风险分析( 妒制定策略( p ) + 系统防护( p ) + 实时检测( d ) + 实时响 应( r ) + 灾难恢复( r ) 图2 2a p p d 煦模型 即：网络安全是一个“a p p d r r ”的动态安全模型( 如图2 2 ) 。然而，在这个安全 模型中，并非各个部分的重要程度都是等同的。在安全策略的指导下，进行必要的系统 防护有积极的意义，但是，无论网络防护得多么牢固，依旧不能说“网络是安全的 。 因为随着技术的发展，任何防护措施都不能保证网络不出现新的安全事件，不会被手段 高超的人员成功入侵。 在攻击与防御的较量中，实时检测是处在一个核心的地位。在实时检测中，入侵检 测系统( i d s ) 是目前最为主要的一个广泛应用的技术和管理手段。 入侵检测就是对正在进行的入侵或已经发生的入侵进行识别的过程。入侵检测系统 则是从多种计算机系统及网络中收集信息，再通过这些信息分析入侵特征的网络安全系 统。它能够实时监控网络传输或主机系统，自动检测可疑行为，及时发现来自网络外部 或内部的攻击从而实时响应，并提供了安全事件的详细说明及恢复、修补措施。入侵检 测系统还可以与防火墙等其它安全产品紧密结合，最大程度地为网络系统提供安全保 障。 9 郑州大学硕士学位论文分布式异常检测系统的研究 2 4 入侵检测系统分类 入侵检测系统依照信息来源收集方式的不同，可以分为基于主机型入侵检测系统 ( f l o s t b a s e di d s ) 、基于网络型入侵检测系统( n e t w o r k - b a s e di d s ) 以及混合型入侵检 测系统；按其分析方法可分为异常检测( a n o m a l yd e t e c t i o n ，a d ) 和误用检测( m i s u s e d e t e c t i o n ，m d ) ；按其系统中各模块运行的分布方式的不同，可以分为集中式入侵检测 系统和分布式入侵检测系统。 2 4 1 按照数据源分类 1 基于主机的入侵检测 基于主机的入侵检测，其数据源是主机的审计记录和日志文件，并辅之以主机上的 其他信息，例如系统运行状态信息、文件系统属性等，并在此基础上完成检测攻击行为 的任务( 如图2 3 ) 。 图2 3 基于主机的入侵检测系统 基于主机的入侵检测能够较为准确地监测到发生在主机系统高层的复杂攻击行为， 例如：操作系统记录了任何有关用户账号的增加，删除、更改的情况。只要改动一旦发 生，基于主机的i d s 就能监测到这种不适当的改动。基于主机的i d s 还可审计能影响系 统记录的校验措施的改变。但是基于主机的入侵检测也有若干显而易见的缺点。首先， 它特定的操作系统平台有严重的依赖性，因此，对不同的平台的系统来说，它是无法移 植的；其次，它必须在所保护主机上运行，这必将影响宿主主机的运行性能，特别是当 该主机是服务器时；另外，它不能对网络环境下发生的大量攻击行为，做出及时反应。 2 基于网络的入侵检测 基于网络的入侵检测系统使用数据源是网络数据包。基于网络的i d s 在共享网络中 l o 郑州大学硕士学位论文分布式异常检测系统的研究 通常利用一个运行在混杂模式下的网络适配器来实时监视，并分析通过网络的所有通信 业务，但是在目前广泛采用的交换网络中监听所有流量有相当大的困难，因此需要通过 配置交换机来把一个或多个端口( v l 埘) 的数据转发到某一个端口来实现对网络的监 听即端口镜像。交换机把某一个端口接收或发送的数据帧完全相同的复制给另一个端 口。其中被复制的端口称为镜像源端口，复制的端口称为镜像目的端口。 网 图2 4 基于网络的入侵检测系统 基于网络的1 d s 有许多基于主机的入侵检测法无法提供的优点。它能够实时监控到 网络中的数据流量，发现潜在的攻击行为并迅速的做出响应。另外，它的分析对象是网 络协议，通常而言是标准化的、独立于主机的操作系统类型，因此，一般没有移植性问 题。同时，基于网络的入侵检测系统大多采用独立主机和被动监听的工作模式，因此它 的运行不会对监测主机产生任何影响。基于网络的i d s 增加了许多有价值的数据，以判 别不良意图。即便防火墙可以正在拒绝这些攻击尝试，位于防火墙之外的基于网络的i d s 可以查出在防火墙后的攻击意图。基于主机的系统无法检测到从未攻击到防火墙内主机 的未遂攻击，而这些信息对于评估和优化安全策略是至关重要的。 3 混合型入侵检测系统 主机型和网络型入侵检测系统都有各自的优缺点，混和型入侵检测系统是基于主机 和基于网络的入侵检测系统的结合，许多机构的网络安全解决方案都同时采用了基于主 机和基于网络的两种入侵检测系统，因为这两种系统在很大程度上互补，两种技术结合 能大幅度提升网络和系统面对攻击和错误使用时的抵抗力，使安全实施更加有效。 郑州大学硕士学位论文 分布式异常检测系统的研究 2 4 2 按照分析方法分类 1 误用检测 误用检测( m i s u s ed e t e c t i o n ) 又称特征检测( s i g n a t u r e b a s e dd e t e c t i o n ) ，它的技术 基础是分析各种类型的攻击手段，并找出可能的“攻击特征”集合，作为特征库来源。 误用入侵检测利用这些特征集合或者是对应的相应的规则，对当前的数据来源进行各种 预处理，再进行特征匹配或者规则匹配，如果发现当前数据源满足某个特征，则是发生 了一次攻击行为。常见的检测技术有：专家系统，基于模型的入侵检测，模式匹配等。 2 异常检测 异常入侵检测对攻击行为的监测是通过观察当前活动与历史正常活动情况之间的 差异来进行判断的。异常入侵检测首先需要建立一个系统正常活动或网络正常数据包的 状态模型并不断进行更新，然后将用户当前的活动情况与这个正常模型进行对比，如果 发现与实现设定的阈值产生差异，则标示发现了非法攻击行为。 下面介绍几种常用的异常检测方法【1 5 】： ( 1 ) 基于统计模型的异常检测方法 统计方法是最早也是使用得最多的一种异常检测方法，这种入侵检测方法是基于对 用户历史行为建模以及在早期的证据或模型的基础上，审计系统实时地检测用户对系统 的使用情况。系统根据每个用户以前的历史行为，生成每个用户的历史行为记录集，当 用户改变他们的行为习惯时，这种异常就会被检测出来。常见的统计模型有：方差、多 元模型、马尔科夫过程模型、时间序列分析模型等。 统计方法的最大优点是它可以材学习用户的使用习惯，从而具有较高检出率与可 用性。但是它的“学习”能力也给入侵者以机会通过逐步“训练”使入侵事件符合正常 操作的统计规律，从而透过入侵检测系统。 ( 2 ) 基于神经网络的异常检测方法 作为人工智能( a r t i f i c i a li n t e l l i g e n c e ) 的一个重要分支，神经网络( n e u r a ln e t w o r k ) 在 入侵检测领域得到了很好的应用，它使用自适应学习技术来提取异常行为的特征，需要 对训练数据集进行学习以得到正常的行为模式。神经网络由大量的处理元件“单元 ( u n i t s ) 组成，单元之间通过带有权值的“连接( c o n n e c t i o n s ) 进行交互，学习过程也就表现为 权值的改变和连接的添加和删除。神经网络通过对用户行为的历史数据进行训练来构造 检测器，构建神经网络。网络接受输入的事件数据，与参考的历史行为相比较，判断出 1 2 郑州大学硕士学位论文分布式异常检测系统的研究 两者的相似度或偏离度。 ( 3 ) 基于数据挖掘的异常检测方法 数据挖掘是从大量数据中提取或“挖掘 知识，旨在从大量的数据中提取隐藏的预 测性信息，发掘数据间潜在的模式，找出某些常常被忽略的信息，用便于理解和观察的 方式反映给用户，作为决策的依据。对数据挖掘的各类算法，已经进行了大量的研究工 作，所涉及的技术领域知识包括统计学、机器学习、模式识别和数据库技术等。与入侵 检测相关的算法主要包括下列4 种类型。 分类算法 分类算法目标是将特定的数据项划分到预先定义好的某个类别。分类算法一般最终 生成某种形式的“分类器”，例如决策树或者分类规则等。针对于入侵检测，对于分类 算法的应用，首先需要有大量的反映用户或者进程的“正常”和“异常状态的审计数 据，然后