（计算机应用技术专业论文）基于改进rbf神经网络的入侵检测研究.pdf

摘要 摘要 随着网络的发展，网络与计算机越来越广泛地应用于现今社会。电子银行、电子商 务等网络服务正在悄悄地进入人们的生活。随之而来的各种网络攻击在不断地增加，人 们也渐渐地认识到了保证网络安全的重要性。 入侵检测系统正是一种积极主动的网络安全防护技术，它可以监视主机系统或网络 用户的活动，发现可能存在的入侵行为。入侵检测系统的研究和实现已经成为现在网络 安全的重要课题。为克服现有入侵检测存在的不足，本文从特征提取、改进的r b f 神 经网络入侵检测模型、算法优化等方面进行了系统研究。 本文首先对入侵检测技术的概念、入侵检测的分类和神经网络等方面作了一个简要 的介绍，并分析了r b f 神经网络在入侵检测使用中存在的问题。基于上述研究，本文 在对网络检测数据进行基于性能的特征选择后，提出了一个改进的r b f 神经网的入侵 检测模型。将基于熵的模糊聚类( e n t r o p y - b a s e df u z z yc l u s t e r i n g ：e f c ) 和r b f 神经网 络相结合，提出了基于e f c 的改进r b f 神经网络算法，该算法克服了传统聚类方法在 确定r b f 神经网络隐层中心时无法给出一个合适个数的问题，并将该方法应用于入侵 检测研究。最后对改进的r b f 神经网络入侵检测模型的核心组成部分进行了设计、分 析和实现，并最终取得了较好的实验结果。 关键词入侵检测；熵；模糊聚类；r b f 神经网络 a b s t r a c t a b s t r a c t w i t ht h ed e v e l o p m e n to ft h ei n t e m e t , t h e r ea r eh i g l ld e m a n d sf o ri n t e m e ta p p l i c a t i o n s t h en e t w o r ks e r v i c e s ，s u c h 嬲e - b a n ka n de c o m m e r c ea r eb e c o m i n gt h ep a r to fl i f e a n d n e t w o r ka t t a c k sa r ei n c r e a s i n g p e o p l eh a v er e a l i z e dt h ei m p o r t a n c eo f n e t w o r ks e c u r i t y i d si sat e c h n o l o g yw h i c hc a np r o t e c to u ri n f o r m a t i o n i tc a nm o n i t o ro u rs y s t e m so r n e t w o r k s ， a n df i n di n t r u s i o n s t h er e s e a r c h e sa n dd e v e l o p m e n t so fi d sh a v eb e c o m e i m p o r t a n ts u b j e c tt on e t w o r ks e c u r i t y t or i d eo ft h es h o r t a g eo ft h ei d s ，w es t u d yo nt h e e x t r a c t i o no ft h ef e a t u r e s ，i d sm e t h o dw h i c hb a s e do nn e u r a ln e t w o r k ，a n da l g o r i t h m o p t i m i z a t i o na n ds oo n s o ，t h et h e s i sb e g i n si t sd i s c u s s i o nb yi n t r o d u c i n gt h ec o n c e p to f1 d s ，t h ec l a s s i f i c a t i o n o ft h ei d sa n dt h en e u r a ln e t w o r k a n da n a l y z et h ep r o b l e m sw h i c hr b fn e u r a ln e t w o r k u s e di ni n t r u s i o nd e t e c t i o n i nt h i s p a p e r , d a t a o nt h en e t w o r ka r ec h o u s e db y p e r f o r m a n c e - b a s e ds e l e c t i o n , t h e np u tf o r w a r da ni m p r o v e dr b fn e u r a ln e t w o r km o d e lf o r i n t r u s i o nd e t e c t i o nw h i c hb a s e do nt h er e s e a r c h e si n t r o d u c ea b o v e b yc o m b i n i n g e n t r o p y - b a s e df u z z yc l u s t e r i n ga n dn e u r a ln e t w o r k ，t h i sp a p e rp u t sf o r w a r da ni m p r o v e dr b f a l g o r i t h mb a s e do ne n t r o p y - b a s e df u z z yc l u s t e r i n ga l g o r i t h mi sa p p l i e dt oi n t r u s i o nd e t e c t i o n a tl a s tw ed e s i g n ，a n a l y z e ，a c h i e v et h ec o m p o n e n to ft h em o d e l t h ee x p e r i m e n t a lr e s u l ti s g o o d k e yw o r d si n t r u s i o nd e t e c t i o n ；e n t r o p y ；f u z z yc l u s t e r i n g ；r b fn e u r a ln e t w o r k h 河北大学 学位论文独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写的研究成果，也不包含为获得河北大学或其他教 育机构的学位或证书所使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了致谢。 作者签名：型日期：虫月二日 学位论文使用授权声明 本人完全了解河北大学有关保留、使用学位论文的规定，即：学校有权保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。 学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存 论文。 本学位论文属于 1 、保密口，在 年月日解密后适用本授权声明。 2 、不保密o 。 ( 请在以上相应方格内打“4 ) 保护知识产权声明 本人为申请河北本学学位所提交的题目为镬争始膨产神鲡绣鼬侵盛邸孑青 的学位论文，是我个人在甲切名啼指导并与导师合作下取得的研究成果， 研究工作及取得的研究成果是在河北大学所提供的研究经费及导师的研究经费 资助下完成的。本人完全了解并严格遵守中华人民共和国为保护知识产权所制定 的各项法律、行政法规以及河北大学的相关规定。 本人声明如下：本论文的成果归河北大学所有，未经征得指导教师和河北大 学的书面同意和授权，本人保证不以任何形式公开和传播科研成果和科研工作内 容。如果违反本声明，本人愿意承担相应法律责任。 声明人： 兹缸 作者签名： 导师签名： 必磊 日期：竺，l 年二月二_ 日 日期：生年二月三日 日期：兰l 年二月兰一日 第1 章引言 第1 章引言 进入新世纪，随着科技的不断进步，计算机网络也正在以前所未有的速度迅猛发展， 并且网络中的资源也正因其内容的广泛性、更新的快速性、资源共享的方便性，对人们 生活的方方面面起着越来越重要的影响，人类社会也因此进入了网络时代。 人类在享用计算机网络带来的方便性的同时，也感受到网络给我们带来的负面影 响。网络的无主性、开放性、不设防性和相对滞后的立法约束，使网络中潜伏着许多不 可控的安全隐患。违法入侵活动的日益猖獗，黑客攻击手段的不断翻新，让越来越多的 安全系统遭受着前所未有的入侵威胁，使得网络的安全性难以得到保障。因此，研究基 于网络的计算机系统安全问题，则愈发变得具有广泛而重要的现实意义。 1 1 研究背景及意义 目前，随着计算机和互联网技术的快速发展，其应用的领域也随之不断地拓展延伸， 特别是金融电子化、公用网站、电子商务、电子政务等新兴产物的出现，使得人们传统 的工作、学习和生活方式发生了很大的变化。 当今，在网络技术迅速普及和发展的同时，网络的安全性问题也日益凸显。网络的 存在一方面方便了信息的共享，但由于网络的开放性、无主性等特点，同时也使得用户 或局域网自身的数据和信息较为容易的就暴露在外部网络用户的面前，从而使自身的系 统安全产生了安全隐患。据相关数据统计：绝大多数的大公司都曾经发生过比较大的网 络入侵事件，如a m a z o n 、c - n n 、y a h o o 、e b a y 等世界著名的商业网站都曾遭受过黑客 的入侵，以至于给公司造成了巨大的经济损失，无独有偶，连专门从事网络安全的r s a 网站也未能幸免。另据美国联邦调查局的调查，在美国，每年因为网络安全问题造成的 经济损失就高达1 7 0 亿美元之巨；四分之三的公司财政报告中披露，损失都是由于计算 机系统安全问题造成的；平均到每个组织自身就有4 0 多万美元的损失；半数以上的安 全威胁都来自于网络内部而不是外部【l 】。从这些事例中的统计数字不难看出，因网络安 全问题带来的损失是非常可怕的，网络安全问题不容小视。 严峻的现实让人们开始对计算机网络的信息安全技术广泛关注起来，安全领域的探 1 河北大学下学硕十学位论文 索和研究也正随之日益深入开展，传统的网络安全技术，如加密技术、身份验证与数 字签名技术、访问控制技术与防火墙技术等均已经无法很好地满足当前迅速发展 的网络安全需要【2 1 。具体分析如下： 1 数据加密技术虽然能够使数据在传输途中得到安全保障，但并不能保障数 据在存储位置的安全，而且数据加密也存在密钥保管和分发的困难，在大量用户 的情况下密钥管理复杂，不便于在网络开放环境中的应用。 2 访问控制技术与身份验证等技术虽然可以防止一些非授权用户操作计算 机，但仍不能保证不会遭受一些非法攻击和不被内部人员滥用。 3 传统的防火墙虽然能够对内部用户与外部用户加以隔离，从而达到保护的 作用，但它不能对内部用户彼此间进行保护和隔离。此外，它也不能对未经过防 火墙的攻击加以防范。 基于传统网络安全技术存在以上种种不足的因素，入侵检测技术( i d s ) 才作为一 种新的防御手段被提出并迅速成为研究热点的。 入侵检测作为一种积极主动的安全防护技术，对系统提供了内部、外部和误操作的 全方位保护。它从计算机网络系统中的若干关键点收集信息，并分析这些信息，查看其 中是否有违反安全策略的行为和遭到袭击的迹象，在网络系统受到危害之前及时进行拦 截并且对入侵加以响应。入侵检测作为防火墙之后的第二道安全闸门，是防火墙的合理 补充，它能够很好地帮助计算机系统对付绝大多数网络攻击，使得系统管理员的安全管 理能力得以扩充；使得信息安全基础结构的完整性得以提高。 目前已有很多方法被应用于入侵检测方面的研究，例如统计方法【3 】、神经网络方法 【4 1 和专家系鲥5 】等方法。人工神经网络a n n ( a r t i f i c i a ln e u r a ln e t w o r k ) 是模拟人脑加工、 存储和处理信息机制而提出的一种智能化信息处理技术，它所具备的概括抽象能力、学 习和自适应能力以及内在的并行计算特性，使得它在入侵检测应用中具有更加独特的优 势，而这正是本文着重研究的方面。 1 2 国内外研究现状 关于神经网络在入侵检测中应用的研究，前人已经做了大量卓有成效的工作。d e b a r 等人6 1 采用递归型感知器网络同时结合传统的审计系统，在对收集的审计记录进行分析 2 第1 章引言 的基础上，对系统各用户的行为建模，进行入侵检测；t a n 7 】在对传统的多层前馈网络 训练算法进行改进的基础上，对户的各个行为特征进行建模，从而进行入侵检测； c a n n a d y 等人【8 】将m l p ( m u l t il a y e rp e r c e p t i o n 多层感知器) 模型和s o m ( s e l f - o r g a n i z i n g m a p s 自组织特征映射) m l p 混合模型应用到基于网络流量的滥用检测模型中。实验结 果表明，该模型对i s s ( i n t e m e ts 呻s y s t e m s ) 、s a t a n 扫描和s y nf l o o d 攻击活动 的数据包有不错的检测效果，并能够较好地检测到单位时间内不同频率的口令试探性 为；b o n i f a c i o 等人【9 l 通过对b p 网络的输入特征矢量加以特殊的编码，然后再对神经网 络进行训练，训练完后的b p 网络即可进行滥用入侵检测；g h o s h 等人【1 0 】采用基于m l p 的异常检测模型，通过分析程序执行过程中系统调用的序列记录，来监视特定程序的运 行状态；l i p p m a n n 等人【l l 】明确提出采用神经网络和关键词相结合的方法进行网络入侵 检测；h o g l u n d 等人【1 2 】提出了基于一维s o m 网络的异常检测算法对用户行为特征进行 判断。 目前国内在这方面的研究也取得了较大的进展，比较具有代表性的如，廖晓峰等人 【1 3 1 提出的改进b p 算法用于入侵检测；危胜军等人【1 4 】把感知器神经网络的改进算法应用 于入侵检测；李德峰等人【1 5 】提出了一种基于改进的a r t 2 ( a d a p t i v er e s o n a n c e t h e o r y - 2 ) 神经网络的入检测系统；陈海等人【1 6 1 提出的l m b p 算法用于网络入侵检测。 他们所做的这些可行性研究工作，对我国神经网络在入侵检测领域的应用研究发展也起 到了很好的促进与发展作用。 1 3 课题研究目标 通过对当前国内外神经网络技术在入侵检测方面应用研究成果的分析，本文将人工 智能技术应用到入侵检测中。并着重研究了当前在入侵检测中具有较好表现的r b f 神 经网络，针对其本身算法所存在的问题进行了改进，将基于熵的模糊聚类方法引入r b f 神经网络；并提出多层神经网络入侵检测模型，提高了对不同攻击类型的检测效果；在 实验中，采用来自k d dc u p 的权威数据来进行网络学习和测试，并使用基于性能的特 征选择方法筛选掉一些对入侵检测影响不大的冗余特征，简化检测系统拓扑结构。最后 在以上工作基础之上进行仿真实验，证明该方法具有较好的效果。 本课题的研究目标是： 1 河北大学工学硕士学位论文 i 针对r b f 神经网络在入侵检测中其隐层数目不能很好给出一个较合适的数目， 通过引入新的方法，对其算法加以改进。 2 检测过程中网络数据特征维数较高，给出一种合理降维的方法。 3 针对单一神经网络在入侵检测过程中效率与准确度不高，引入了多层神经网络， 提高入侵检测模型对具体攻击的检查效果与检测效率。 1 4 课题研究内容及论文结构 全文共分五章，具体的章节内容安排如下。 第1 章引言，介绍本课题的研究背景及其意义，分析神经网络技术在入侵检测领 域的国内外研究现状，并提出本文的研究目标。 第2 章相关理论知识与技术的介绍，包括与本文研究领域相关的知识，入侵检测 技术、神经网络技术，并简单对r b f 神经网络做了简单的介绍，最后介绍了神经网络 在入侵检测中的应用。 第3 章介绍基于改进p , b f 神经网络的入侵检测模型。 第4 章通过仿真实验，对模型的有效性进行测试验证，并对模型的性能进行分析。 第5 章总结与展望。 第2 章相关理论知识与技术 第2 章相关理论知识与技术 由于本文研究的入侵检测方法是结合神经网络技术来实现的，所以涉及到入侵检测 领域和神经网络领域两方面的知识。为了更好的阐述本课题的研究工作，本章将分别介 绍其相关的背景知识，以及在本课题设计过程中使用的相关技术。 2 1 入侵检测技术 2 1 1 入侵检测的概念 19 8 0 年a n d e r s o n t l 7 1 在其论文“c o m p u t e rs e c u r i t y t h r e a tm o n i t o r i n ga n d s u r v e i l l a n c e ( 计算机安全威胁监控与监视) 中第一次对入侵检测的概念进行了 详细地阐述，他将入侵企图或威胁定义为未经授权的蓄意尝试访问信息、篡改信息， 从而使系统不可靠或不能使用。1 9 8 7 年，美国乔治敦大学的d o r o t h yd e n n i n g 1 8 】在论文 “a ni n t r u s i o nd e t e c t i o nm o d e l ( 一种入侵检测模型) 中，首次将入侵检测的概念作为 一种计算机系统安全防御问题的措施提出。而后s m a h a t 旧l 从分类角度指出入侵共包括六 种类型，它们分别是：伪装攻击、尝试性闯入、拒绝服务、泄漏、安全控制系统渗透及 恶意使用。 综上所述，入侵检测是：识别针对计算机或网络资源的恶意企图和行为，并对此做 出反应的过程。入侵检测系统就是完成上述独立功能的系统。入侵检测系统除了能够检 测未授权对象对系统的入侵行为，还可以将授权对象对系统资源的操作进行监控。总之， 入侵检测系统提供对内部攻击、外部攻击和误操作实时保护的功能，能在网络系统受到 危害之前拦截和响应入侵，极大的降低了系统遭受非法攻击的可能性【2 0 】。 有关研究表明一多半的网络攻击来自内部，因此，单靠防火墙防范网络入侵是远远 不够的，能否成功阻止非法入侵，尤其是来自内部的非法攻击，保证计算机和网络系统 的安全运行，已经成为网络发展的关键所在，而由此产生了对入侵检测的迫切需要。 河北大学下学硕士学伊论文 2 1 2 入侵检测研究现状 a n d e r s o n 于1 9 8 0 年提出的有关入侵检测的报告首次详细阐述了入侵检测的含义， 这同时也被公认为是入侵检测的开创性工作。 1 9 8 8 年，t e r e s al u n t 2 1 】等人建立了一个实时入侵检测系统模型一一i d e s ( i n t r u s i o n d e t e c t i o ne x p e r ts y s t e m ) 。此系统是由一个异常检测器和一个专家系统组成的。 1 9 9 0 年，由加州大学戴维斯分校的t o d dh e b e r l e i n 开发的n s m ( n e t w o r ks e c u r i t y m o n i t o r ) ，首次将监控器用于捕获t c p i p 分组，直接将网络流作为审计数据来源【2 2 1 。 其优势是可以在不将审计数据转换成统一格式的情况下监控异种主机，这也预示着网络 入侵检测的诞生。 1 9 9 7 年，h o f i n e y r t 2 3 1 等人在分布式入侵检测领域研究中引入了免疫学的原理。 1 9 9 8 年，a b i d ak h a t t a k 和r o s s a n d e r s o n 将信息检索技术引进到了入侵检测领域， 并取得了不错的效果。 此后的数十年发展中，随着入侵事件愈演愈烈，入侵检测的研究也逐渐成为安全领 域中的一个研究热点。而对入侵检测方面的研究，也从最开始对跟踪数据进行审计分析， 进而到实时入侵检测系统；再到目前应用于大型网络的分布式检测系统，现已逐渐发展 成具有一定规模和相应理论的研究领域。 目前s r i c s l ( s t a n f o r dr e s e a r c hi n s t i t u t e c o m p u t e rs c i e n c el a b o r a t o r y ) 、p u r d u e 大 学的电脑审计操作和安全技术小组及加州大学戴维斯分校的电脑安全实验室等研究机 构，在这些方面的科研成果代表了当前的最高水平。在我国，对入侵检测方面的研究也 从开始的向国外学习，逐渐转向独立创新、自主研发，甚至在一定程度上赶超国外。 2 1 3 入侵检测分类 伴随着入侵检测的提出，出现了很多迥异的入侵检测系统，分类标准不同，检测系 统模型也不尽相同。下面就简要介绍几种常见的分类方法。 从技术上划分，入侵检测有两种检测模型【2 4 】： ( 1 ) 异常检测模型其原理是将网络主体的正常活动进行存档，而后将当前主体的 活动状况与档案中的正常活动相比较，当与其统计规律相违反时，该活动会被认为可能 - 6 第2 章相关理论知识与技术 是“入侵。如何建立正常活动档案，如何设计统计算法，从而不把正常的操作作为“入 侵 或忽略真正的“入侵 行为，是目前该检测模型的一个难题。这种检测模型漏报率 低，误报率高。由于不需要对每种入侵行为加以定义，所以该模型能有效的检测未知的 入侵。它的典型代表是，概率统计方法和人工神经网络方法。 ( 2 ) 误用检测模型这一检测假设所有的入侵行为都有可被检测到的模型，并能成 功的构建攻击特征库，系统的目标是检测主体活动是否与攻击特征库中的数据相匹配。 它可以将已有的入侵方法检查出来，但对新的入侵方法却无防范的能力。如何设计出既 能够表达“入侵现象又不会将正常活动包含进来的攻击特征库是该模型的难点所在。 与异常检测相反，误用检测模型具有误报率低、漏报率高的特性。对于已知的攻击，它 可以详细、准确地报告出攻击类型，但是对未知攻击却效果却十分有限，而且必须不断 更新其特征库。其典型代表是专家系统、模型推理、状态转换分析。 按照检测对象的不同，则可以把入侵检测分为以下三种： ( 1 ) 基于主机的入侵检测系统基于主机的入侵检测系统【2 5 】的检测目标主要是本 地主机系统和网络系统中的本地用户。它主要通过监视系统事件、安全记录及系统日志， 来达到发现可疑事件的目的。基于主机的入侵检测系统的优点是：具有很高的数据分析 效率和准确性；可以针对不同的操作系统判断应用层的入侵事件。其缺点是：由于它是 一种孤立型的入侵检测系统，所以它无法检测针对网络协议的入侵行为；在其工作时会 占用主机的计算资源和网络带宽，系统的稳定性和可靠性因此会受到一定程度的影响。 ( 2 ) 基于网络的入侵检测系统该入侵检测系统通过在共享网段上侦听采集通信 数据，使用原始网络包作为数据源，以此来分析可疑行为。此系统一般由遍及网络的传 感器所组成。基于网络的入侵检测系统的优势是：由于网络协议本身所具有统一的标准， 所以其具有很好的通用性；它在不改变系统和网络的工作模式下，可以同时监控多台主 机，并且对主机和网络的性能不会有任何影响；它隐蔽性较强，检测系统本身很少遭到 蓄意攻击。其缺点是：它在交换网络环境下难以配置；只能监视经过本网段的活动；容 易出现漏警等。 ( 3 ) 混合型入侵检测系统基于主机和基于网络的入侵检测系统各自都有其不足 之处，单独使用其中某一种会造成防御体系的不全面。而混合型入侵检测系统是综合了 基于主机和基于网络的入侵检测系统，它既可以发现网络中的攻击信息，也可以从系统 河北大学t 学硕+ 学位论文 日志中发现异常情况，从而达到对系统安全较为全面的保护。 2 1 4 入侵检测面临的主要问题 针对网络入侵检测系统的研究，人们已经做了大量的工作，并也取得了一些不错的 成果，但是仍然还有一些问题难以克服，如：其没有主动防御的能力；无法修复存在的 网络协议漏洞；不能快速有效地将所有事务在网络繁忙时进行分析；不能总是对数据包 级的攻击进行分析处理：不能应付现代网络的硬件及特性；对攻击缺乏准确的定位机及 其处理机制；与此同时，未知的入侵模式难以模拟，已知的入侵模式难以重现，审计记 录格式的不规范都给入侵检测的实验与比较带来许多不便。 2 1 5 入侵检测的发展趋势 “魔高一尺，道高一丈，面对日趋复杂的攻击手法及其自身所具有的种种缺陷， 对i d s 的研发也提出了更高的要求，i d s 未来发展的趋势主要有以下四个方面： 1 改进检测方法研究表明把神经网络、免疫技术【2 6 】、遗传算法【2 他9 】等学科知识 引用到i d s 中来，可以有效增强i d s 的学习能力，使得i d s 可以智能地检测出未知攻 击，极大地提高检测的准确率。 2 实现i d s 与其他安全部件的互动网络与信息的安全是一项系统工程，要想实 现网络与信息的安全，必须使得各安全部件之间互相联动起来，只有最有效地发挥整体 功能，才能够更好地发挥它们各自的作用，从而达到保证网络与信息安全的最终目的。 随着防火墙、入侵检测等技术的不断发展，实现它们之间的联动显得越来越重要【3 0 】。 3 建立并提高i d s 的标准化工作虽然入侵检测系统已经成为网络与信息安全领 域的一个研究热点，但目前国际上对此仍未有一个相关的标准，试想，在某一个技术领 域，如果没有相应的标准，那么其发展必将是紊乱的、没有方向的。统一的标准化工作 对于一项技术的发展尤为重要。因此，建立并提高i d s 的便引起了业界的广泛关注。 4 安全性和易用性的提高为保证入侵检测自身的安全，目前的入侵检测产品大 多采用硬件结构及黑洞式接入来免除自身安全问题。而采用全中文的图形界面、自动的 数据库维护及多样的报表输出则是为了满足人们日益增长的对易用性要求的需要。 - 8 第2 章相关理论知识与技术 面对这些优秀入侵产品的特性和以后继续发展细化的趋势，如何使i d s 随着网络科 技的发展而变的日趋成熟起来，无疑将会成为一个更高的研究课题。 2 2 人工神经网络 2 2 1 什么是神经网络 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k - a n n ) 是近年发展起来的一门十分活跃的 交叉性学科，具有广泛的应用前景。它在神经生理学及神经解剖学领域内，指的是生物 神经网络；在计算机、信息科学的范畴里，指的则是向生命学习而构造的人工神经网络。 本文我们主要对后一种神经网络进行研究。 在计算机科学里，对人工神经网络的定义是：对人类大脑神经系统的结构、功能以 及若干基本特性的理论抽象、简化和模拟。其基本组成单元是神经元，通过神经元之间 按照某种规则的互联，就构成了神经网络。 人工神经网络具有存储和应用经验知识的自然特性，主要表现在两个方面：一是神 经网络将从外部获取的知识以权值这种形式存储于其中，并可以根据需要在使用时提取 出来；二是神经网络从外部获取知识的过程是其自学习的过程。神经网络的自然特性， 不仅消除了传统计算存储与计算之间的瓶颈，而且神经网络有很强的鲁棒性和容错性， 即使局部损伤也不会对整体造成很大的影响。不仅如此，神经网络还具在新环境中不断 学习丰富、完善自己的能力，从而可以更好地适应环境的变化。正因为神经网络具有如 此的特性，才使得它在其他很多研究领域都发挥着重要的作用。 把神经网络应用于网络入侵检测，能够对以往传统的入侵检测中出现的问题提出一 些新的解决思路，同时，由于神经网络本身所具有的学习和自适应能力，使他能够有效 地处理实际检测的信息并对入侵的可能性做出判断，很好地满足了当前网络日新月异的 发展需要。 2 2 2 神经网络的基本组成 如前所述，神经网络是由大量的神经元广泛互连而成，用以模拟人类的神经系统和 河北大学丁学硕士学位论文 功能的网络。人工神经元、神经网络的拓扑结构和神经元的连接权值构成了神经网络的 三个要素。而通过模拟生物神经元的人工神经元则是神经网络的基本处理单元。 图2 1 显示了一种简化的人工神经元结构。 x l 图2 1 神经元模型 它是一个多输入单输出的非线性元件，其输入为五= 啪一侥，输出为弦= 厂( 五) 。 其中x y 是从其他细胞传来的输入信号，岛为阈值，坳表示从神经元_ ，到神经元f 的连接 权值，( ) 称为传输函数，它决定了神经元的输出。 2 2 3 人工神经网络拓扑结构分类 目前人工神经网络常用的拓扑结构主要有前馈型神经网络与反馈型神经网络两种 【3 1 1 ，下面分别对其加以简单介绍： 1 前馈式神经网络 前馈式神经网络的特点是：网络中的神经元呈分层式排列，并且每个神经元只与前 一层的神经元相连。它包含一个输入层、一个输出层还有一个或多个中间层。其中，中 间层也被称为隐含层。 前馈式神经网络的优点是：结构简单、易于编程、使用方便，并且前馈网络是一静 态非线性映射，通过简单非线性处理单元的复合映射，就可以获得复杂的非线性处理能 力。但其缺点在于，它缺乏丰富的动力学行为。 2 反馈式神经网络 反馈式神经网络又称为递归网络或回归网络，若总的节点数为n ，则每个节点有n 一1 0 第2 章相关理论知识与技术 个输入和一个输出。也就是说，所有节点都是一样的，它们之间都是可以相互连接的。 反馈神经网络是一种反馈动力学系统，它需要工作一段时间才能达到稳定。此种类 型的神经网络注重的全局整体的稳定性。 在本文应用于入侵检测的r b f 神经网络属于前馈式神经网络。 2 2 4 神经元的连接 神经元作为组成神经网络的最基本单元，以一定的拓扑结构互相连接，这些神经元 之间的链接可以用作传输信息，更重要的是这些链接还能对输入信息加权。就单个神经 元来说，输入信息既可能使神经元“兴奋 ，也可能会抑制其活动。而输入信息的大小 则最终决定一个神经元是否能被激活。一个神经元的输入信息可能有很多个，而只有在 这些输入信息的加权和超过神经元的阈值时，该神经元才会被激活。 2 3r b f 神经网络 径向基函数网络( r a d i a lb a s i sf u n c t i o n ，r b f ) 作为本文研究改进的重点，是一种 典型的局部逼近神经网络。它在函数逼近能力、分类能力以及学习速度方面都要优于传 统的b p ( b a c kp r o p a g a t i o n ) 神经网络【3 2 1 。由于r b f 神经网络是本课题研究的重点，因 此下面将对r b f 神经网络加以介绍。 2 3 1r b f 神经网络拓扑结构 r b f 网络是一个三层前反馈网络，其网络结构如图2 2 。 河北大学- t 学硕+ 学位论文 x l 叫 x 2 _ _ _ _ 4 x n 。- _ _ - 2 3 2r b f 神经网络算法 图2 2r b f 神经网络结构 z l z 2 在i 氇f 神经网络中，每个输入向量z 的分量与输入层的一个神经元相对应，并且输 入层节点只传递输入信号到中间层( 也称之为隐层) 。r b f 网络的中间层由中间层神经 元的数目和它们的激励函数所确定，每一个中间层神经元对应一个训练模式，而每一个 中间层神经元矽则与一个激励函数相对应。一般选用如下的高斯函数 p - j 唧( 掣 - 1 ，2 ，棚 ( 2 - ，) 【 1 ，i = 0 在( 2 - 1 ) 式中，x 为n 维输入向量，第i 个基函数的中一t 二, d ac i 表示，或是该基函数围绕 其中心点的宽度，感知单元的个数是m 。0 x d i l 表示x 与c i 之间的欧式距离。对于给定 的输a x r ”，只有靠近x 中心的一小部分被激活。尺，( x ) 在c i 处有一个唯一的最大值， 随着忙一c fi | 的增大，r i ( x ) 迅速衰减到零。在神经网络中，输出层和中间层是全互连结 构的，每个输出神经元z t 为中间层神经元输出的线性和，其计算公式为( 2 2 ) 式所示 乃= m ，i = 1 2 ，p ( 2 - 2 ) i = o p 表示输出节点数，第f 个中间层神经元和第个输出神经元之间的权值由w y 表示，w e 第2 章相关理论知识与技术 由最小平方误差的方法来计算。输出层对应于模式类别向量空间。 2 3 3r b f 神经网络算法缺陷 通过对r b f 神经网络的分析，发现r b f 神经网络中隐层神经元中心个数是影响 r b f 网络性能的关键因素之一。传统的r b f 隐层中心选取方法多是基于传统聚类的方 法( 如k - m e a n s 聚类算法) ，其聚类个数的选取需要人为确定，而选取的结果优劣则直 接影响r b f 神经网络的最终检测性能。选取的数目过大会使r b f 神经网络复杂度增加， 从而影响检测效率；选取的数目过小，则会影响检测精度。总之，凭经验很难给出合适 的r b f 神经网络隐层中心数目。为了解决r b f 神经网络在入侵检测中存在的这个问题， 本文对原有r b f 隐层中心的选取方法加以改进，提出了采用基于熵的模糊聚类来确定 其隐层中心。有关其具体方法的内容将在下一章节进行阐述。 2 4 人工神经网络在入侵检测中的应用 现如今已有多种技术使用到了入侵检测之中，而神经网络因其独特的特性在众多方 法中脱颖而出。 近年来，神经网络技术在诸多科研领域显示出了其极大的优势。通过神经网络的不 断学习，它能从未知模式的大量复杂数据中发现其规律。并且经过大量研究发现，由于 神经网络自身做具有的一些特点，将神经网络运用于入侵检测能取得不错的效果，具体 原因如下： ( 1 ) 灵活由于神经网络具有非线性与对失真或不完整数据的分析能力，从而使得 它可以在复杂多变的网络环境中不断接受新的样本数据、新的经验，并不断地调整其模 型自身。 ( 2 ) 适应性强神经网络在学会了系统正常的工作模式后，当有偏离系统正常工作 的事件进入网络时，它能对其迅速做出反应，进而可以发现一些新的网络攻击模式使入 侵检测系统具有更强的适应性。 ( 3 ) 实时度高实时系统通常是多种因素相互影响、相互作用的复杂的非线性系统， 而互联网则是此类系统的典型代表。因为神经网络非线性的特点很适合于实时系统，所 河北大学t 学硕十学位论文 以它能为这种复杂系统提供一个实用的解决办法。 ( 4 ) 稳定神经网络的稳定性主要表现在：即使网络中少量神经元出现局部缺损， 神经网络仍然能够联想模拟存在于记忆中的事物的完整性，并不会造成整体神经网络的 瘫痪。 ( 5 ) 高度并行神经网络的拓扑结构决定了其工作方式是高度并行的。它的这种并 行能力使得在处理问题时比其他传统的处理器在速度上有成百上千倍的优势，这同时也 为实时处理提供了必要的条件。 迄今为止，应用最普遍的神经网络学习算法是b p 神经网络，但是b p 神经网络存 在训练时间长、收敛速度慢、容易陷入局部极小等问题。因此本文采用基于熵的模糊聚 类( e n t r o p y - b 嬲e df u z z yc l u s t e r i n g ：e f c ) 的r b f 神经网络来研究入侵检ni n - j 题，一定 程度上弥补了b p 神经网络的缺点，并对r b f 神经网络的不足很好的加以了改进，提高 了在入侵检测问题上的应用性能。 2 5 本章小结 本章介绍了课题研究所涉及到的相关理论知识与技术。介绍了入侵检测技术，神经 网络技术，并介绍了本文研究的r b f 神经网络，最后介绍了神经网络在入侵检测中的 应用。 第3 章基于改进r b f 神经网络的入侵检测模犁 第3 章基于改进r b f 神经网络的入侵检测模型 3 1 神经网络入侵检测模型 3 1 1 通用入侵检测框架 在介绍基于神经网络的入侵检测模型之前，有必要先简单对c i d f ( c o m m o n i n t r u s i o nd e t e c t i o nf r a m e w o r k 通用入侵检测框架) 加以说明，因为它是目前被广泛认可 的检测模型。其他i d s 模型大多是建立在它的基础之上的。 c i d f 是由加州大学d a v i s 分校的安全实验室研究并完成了一种通用的入侵检测框 架模型【3 3 1 ，其旨在某种程度上将入侵检测标准化，开发一些协议和应用程序接e l ，从而 使入侵检测组件之间能够高效的进行协作。c i d f 根据i d s 系统通用的需求以及现有 的i d s 系统的结构，将i d s 系统的构成划分为四类功能模块：事件发生器、事件分 析器、事件数据库、响应单元。c i d f 将入侵检测系统需要分析的数据统称为事件【蚓， 它可以是网络中截获的数据包，也可以是从系统日志等其它途径得到的系统信息。c i d f 入侵检测框架模型如图3 1 所示： 图3 1c i d f 入侵检测框架模型 下面分别对c i d f 入侵检测框架模型中的四个功能模块进行说明： 1 事件发生器它从整个计算系统中获得事件，向系统的其它部分提供处理后的事 件。事件发生器是所有i d s 所需要的，同时也是可重用的。 2 事件分析器分析器分析所得到的数据，并产生分析后的结果。 河北大学工学硕士学位论文 3 事件数据库事件数据库存放中间和最终数据。它可以是复杂的数据库，也可是 简单文本。 4 响应单元对得到的分析结果做出反应，如切断网络连接、改变文件属性、重置 连接、简单报警等应急响应。 从功能的角度，这种划分体现了入侵检测系统所必须具有的体系结构：数据获取、 数据管理、数据分析、行为响应，因此具有通用性。c i d f 模型因其具有很强的扩展性 已经得到了广泛认可。 3 1 2 基于神经网络的入侵检测模型 神经网络技术作为一种新的研究手段，被引入到入侵检测领域并取得了不俗的成 绩。基于神经网络的入侵检测模型在满足c i d f 模型的基础上，也具有其自己的特点。目 前常见的基于神经网络的入侵检测模型如图3 2 所示。 网 络 数 据 数据采集数据预处理 神经网络 入侵响应 模块模块 检测模块 模块 图3 2 神经网络入侵检测模型 下面对各个功能模块说明如下： 1 数据采集模块它的主要任务是负责从网络中抓取数据包并分析其中的数据。该 模块对包进行格式检查，根据数据包的不同协议类型，调用不同的分析器程序段进行语 义分析，将符合要求的数据包中的信息送往数据预处理模块进行预处理。它相当于c i d f 模型中的事件发生器。 2 数据预处理模块此模块的任务是负责将从数据采集模块接收到的数据转化为神 经网络可识别格式，并在数据中加入期望的输出值，然后将其保存成标准格式，以便输 入给神经网络检测模块。 3 神经网络检测模块此模块接收来自数据预处理模块的网络数据，并将其送入已 经训练好的神经网络分类器中进行类别检测。对于正常网络数据予以放行，对于攻击数 据则送入下一模块。它具有c i d f 模型中事件分析器与事件数据库的两重功能。 16 第3 章基于改进r b f 神经网络的入侵检测模型 4 入侵响应模块该模块对已确定的入侵行为产生报警并将报警信息自动通知网络 管理员或采取相应的措施，如切断连接、追踪攻击者等，同时将事件记录入数据库。它 与c i d f 模型中的响应单元类似。 在本课题中，研究工作的重点是数据预处理模块和神经网络检测模块。其中，数据 预处理模块通过采用基于性能的特征选择方法，对获得的网络数据进行冗余数据的筛 选，从而达到了对输入数据降维的目的；神经网络检测模块通过改进r b f 神经网络的 算法( 基于熵的模糊聚类算法) 和一个多层r b f 检测模型，达到对以往传统r b f 神经 网络检测模块的改进。下面的章节将就本文所设计的工作，重点加以介绍。 3 2 基于性能的特征选择 来自网络的每条入侵检测数据都包含了大量的特征( 4 1 维特征空间) 。对于基于 神经网络的入侵检测系统而言，如果把所有4 l 维特征都当作检测系统的输入数据则未 免显得有些太过于庞大，进而会直接影响到神经网络检测系统的运行效率。若能从4 l 维特征空间中筛选出一些对检测结果影响不大的特征，从而达到降维的目的，这样既不 会影响检测结果，反而能化简神经网络的拓扑结构，使检测效果得到提升。为了达到此 目的，可以采用特征降维的方法。 特征降维包含两种方法：特征选择和特征抽取。这两种方法有所区别：特征抽取是 采用变换的方式将原来的高维空间映射到一个低维空间；而特征选择是从原来的特征空 间里面选出一个真子集，来达到特征降维的目的。显然，特征选择的结果保留了降维结 果的直观性，从而更能保持数据原有的特征情况。在本文中，采用特征选择的方法来实 现对网络数据的降维工作。结合入侵检测的特性，本文中特征选择的目的则是，从钳 个网络特征中按一定的选择标准选择出由n ( n 4 1 ) 个特征形成的特征子集，此子集应具 有和原始网络特征集差不多，甚至更优的分类效果。 如前所述，网络中的每条数据源包含着4 1 个特征，过多的特征信息会对r b f 神经 网络造成“维数灾难 ，从而大大降低神经网络在入侵检测中的效果。对于这4 1 条特 征，不能一概视之，他们对于入侵检测结果有着不同的重要性。这些特征的重要性排序 会影响到与它们相连的神经网络分类器的检测结果。对于数据源中包含的众多特征，由 河北大学工学硕士学何论文 于数据量有限、缺乏合适的算法以及穷尽分析需要很大数量级次数的实验( 2 4 1 次实验) ， 很难确定特征的重要性。因此本文采用一种基于性能的特征选择方法来解决这个问题， 通过其后的实验，表明该方法具有不错的效果。 该方法的具体介绍如下： 考虑到网络中4 1 个特征属性存在的差异与对检测结果最终影响的不同，本文把他们 分为重要属性、一般属性和次要属性三个级别。对于这4 1 个特征，将逐一