（电路与系统专业论文）模糊入侵检测规则的自动发现算法研究[电路与系统专业优秀论文].pdf

中国科技人学硕】。学位论文 摘要 入侵检测作为迅速发展的新领域，已经成为网络安全研究中极为重要的研究方向。 其巾，提高入侵检测的效率和性能，是当前一个重要研究课题。 新兴的遗传规划( g e n e t i cp r o g r a m m i n g ，g p ) 属于进化计算( e v o l u t i o n a r y c o m p u t a t i o n ，e c ) 模型之一，同时具备全局寻优和个体表示自然的特点，在人工智能方 法研究中占重要地位，运用其解决实际问题也是目前研究的重点，并且在诸多领域已取 得很好的应用效果，为包括入侵检测规则自动提取在内的基于网络的应用，提供了全新 而可行的理论和应用基础。此外，由于模糊理论与经典理论相比，更接近于人类思维和 自然语言系统，更适合于模仿人类的思维推理，有利于形成性能好的规则。因此，将模 糊理论引入到入侵检测规则中，也是研究提高入侵检测效率和性能的一个热点。 本文根据当前网络安全的形势，分析了入侵检测技术存在的问题，研究了g p 和模 糊理论的特点，并将g p 和模糊理论同时引入到入侵检测规则自动提取中，对模糊入侵 检测规则自动发现算法( a u t o m a t i cd i s t i l l i n ga r i t h m e t i ci nf u z z y i n t r u s i o nd e t e c t i o nr u l e s a d a f i d r ) 进行了研究，具有重要的理论意义和实际应用价值。论文主要完成的工作包 括以下几点： ( 1 ) 将g p 算法引入到入侵检测规则的自动提取中来，利用g p 算法的全局搜索能 力解决规则全局最优的问题，并通过g p 算法的灵活编码能力实现规则的易于理解。 ( 2 ) 在算法实现时，根据入侵检测规则自动提取的实际情况，提出以下几个创新点： 根据所提取对象( 数据集) 的特点，通过对g p 算法中基因编码的语义定义，使提取 的规则描述简练、易于分析和理解；提出修复算子，改进了g p 算法传统剪枝操作的 不足；提出扰动算子，提高了g p 算法的搜索性能；对适应度函数进行了改进，使 得g p 算法在自动发现入侵检测规则时更加有效。 ( 3 ) 将模糊思想引入到入侵检测规则自动提取中，目的是处理网络f 常行为与入侵 行为界限本身的模糊性，提高入侵检测的检测正确率，且使得规则描述容易被人们所理 解。 关键字：网络安全入侵检测遗传规划适应度函数模糊规则 第1 页 中国辑技大学硕士学垃论文 a b s t r a c t i n t r u s i o nd e t e c t i o na san e v vf a s tg r o w i n gf i e l dh a sb e c o m eo n eo ft h em o s t i m p o r t a n tr e s e a r c hd i r e c t i o n si nn e t w o r ks e c u r i t yr e s e a r c hf i e l d s t h e r e i n t o ，t o e n h a n c ei n t r u s i o nd e t e c t i o nt e c h n o l o g yi so n eo fc u r r e n ts i g n i f i c a n tr e s e a r c h p r o b l e m s g e n e t i c p r o g r a m m i n g ( g p ) b e l o n g s t o e v o l u t i o n a r yc o m p u t a t i o n ，a n d p o s s e s s e s 弱瞧f u l l s c a l es e e k i n gb e s ta n d n a t u r a li n d i v i d u a le x p r e s s 鼓t h es a m e t i m e ，a n do c c u p i e si m p o r t a n tp l a c ei nr e s e a r c ho f a r t i f i c i a li n t e l l i g e n c e t oa p p l y g pt os o l v ep r a c t i c a lp r o b l e m si so n eo fa c t u a lr e s e a r c he m p h a s e s ，g p p r o v i d e s a n o v e la n df e a s i b l eb a s eo f t h e o r ya n da p p l i c a t i o nf o rn e t w o r k b a s e d a p p l i c a t i o n s i n c l u d ea u t o m a t i c a ld i s t i l l i n gi n t r u s i o nd e t e c t i o nr u l e s m o r e o v e r , t oc o m p a r e w i t hc l a s s i c a lt h e o r y , f u z z yt h e o r yi si nf a v o ro f m a k i n g b e t t e rr u l e s ，a n di so n eo f r e s e a r c hh o t s p o t si ne n h a n c i n gi n t r u s i o nd e t e 蕊o nt e c h n o l o g y i ti sv e r y w o r t h y a n d s i g n i f i c a n t i nb o t ha c a d e m ea n d p r a c t i c e t od or e s e a r c hw o r ki n a u t o m a t i c a l l yd i s t i l l i n gi n t r u s i o nd e t e c t i o n r u l e s t h i s p a p e ri m p r o v e g pm a d a p p l y i tt o a u t o m a t i c a l l y d i s t i l li n t r u s i o n d e t e c t i o nr u l e s t h i sp a p e rm a k eu s eo ff l e x i b l ee n c o d i n go fg pt og a i nr u l e s d e p i c t e dn a t u r a l l y , s ot h a tt h er u l e si se a s yt ob eu n d e r s t o o d ，a n dm a k eu s eo f g p sp o w e r f u ls e a r c hp e r f o r m a n c et og a i nb e t t e ri n t r u s i o nd e t e c t i o nr u l e s ，i n o r d e rt or e d u c ef aa n dd r o u rm e t h o d i m p r o v es y n t a c t i c a l r e s t r i c t i o n s a c c o r d i n g i n t r u s i o nd e t e c t i o nr u l e s c h a r a c t e r i s t i c s ，a n dp u t f o r w a r d r e p a i r o p e r a t o ra n dd i s o r d e ro p e r a t o ra n di m p r o v ef i t n e s sf u n c t i o n 。m o r e o v e r , t h i s p a p e rs t u d y s o m e p r o b l e m i n a p p l i n g i tt o a u t o m a t i c a l l y d i s t i l li n t r u s i o n d e t e c t i o nr u l e s 。t h el a s tw es h o we x p e r i m e n t a lr e s u l t s ，a n dc o m p a r et h e mw i t h o t h e rp a p e r s ，i nt h i sw a y , w e p r o v e o u rm e t h o d v a l i d i 锣a n da d v a n t a g e k e yw o r d s ：n e ts e c u r i t y ； g e n e t i cp r o g r a m m i n g ；i n t r u s i o nd e t e c t i o n ； 囊t n e s sf u n t i o n 第2 煲 中国科技大学钡卜学位论文 第一章绪论 本蕈将逐一对本课题的选题背景、研究内容、组织架构进行介绍。选题背景由当前 的网络安令形势入手，进而说明当前网络安全对入侵检测技术的迫切需要，进一步引出 了入侵检测技术的核，t s , 一一入侵分析，并分析了当前入侵检测需要改进的地方，我们的 课题就是为了提高入侵检测性能而确立的，有着直接的现实意义；在研究内容部分，给 出了我们的主要工作以及创新点的概述，其详细的内容在下面几章中有进一步的介绍； 在组织结构一一节，我们给出了本文的总体框架，其详细内容在各章皆有叙述。本章的主 要目的是期望起到抛砖引玉的作用。 1 1 选题背景 当前的社会是网络社会、信息社会，网络涉及到国民生活的各个方面，并推动着人 类文明高速前进。但是，随着i n t e m e t 覆盖范围的不断扩大、使用人数的飞速增加、计 算机与网络技术研究的不断深入、利用计算机网络犯罪显著增长以及操作系统本身固有 的诸多技术缺陷，网络安全作为一个无法回避的问题呈现在人们面前【1 】。网络安全、 信息安全形势愈来愈严峻，每年全球因计算机网络的安全系统被破坏而造成的经济损失 达数百亿美元。进入新世纪之后，上面的数字已经达到了2 0 0 0 亿美元，并且还在逐年增 长。统计表明，计算机网络攻击事件在过去5 年中以2 5 0 速度增长，9 9 的大公司都发 生过大的入侵事件。世界著名的商业网站，如y a h o o 、e b a y 、a m a z o n 、c n n 都曾被黑 客入侵，造成巨大的经济损失。甚至连专门从事网络数据安全的r s a 网站也受到黑客的 攻击【2 】【3 】。因此，如何建立安全而又健壮的网络系统，保证信息的安全性，已经成 为世界各国众多研究团体的研究焦点。 目前解决网络安全问题所采用的方法一般包括防火墙、数据加密和身份认证等【4 】。 这些措施对于维护信息安全起到了一定的防范作用，但是它对于应用层的后门，内部用 户的越权操作等导致的攻击或窃取、破坏信息却无能为力。另外，由于系统规模和复杂 性的提高而导致的系统软件本身所存在一些安全漏洞以及网络协议本身在设计上所存在 一一些安全隐患，为网络入侵者提供了许多可供选择的入侵途径。因此，为了保证网络系 统的安全，除了采用诸如防火墙之类的一般工具外，还必须研究能够及时发现并报告系 统中末授权或异常现象并做出响应的网络安全防范技术，即入侵检测技术( i d ，i n t r u s i o n d e t e c t i o n ) ，而进行入侵检测的软件系统以及软硬件结合的系统便是入侵检测系统( 简称 第3 页 中国科技大学硕 学位论文 i d s j 。 从入侵检测功能( i n t r u s i o nd e t e c t i o n ) 可见，它是防火墙的合理补充，帮助系统对 付网络玫击，扩展了系统管理员的安全管能理力( 包括安全审计、监视、进攻识别和响 应) ，提高了信息安全基础结构的完整性。入侵检测系统从计算机网络系统中的若干关键 点收集信息，并分析这些信息，看看网络中是否有违反安全策略的行为和遭到袭击的迹 象。入侵检测被认为是防火墙之后的第二道安全闸门，在不影响网络性能的情况下能对 网络进行嗌测，从而提供对内部攻击、外部攻击和误操作的实时保护【5 】。 入侵检测的核心功能是入侵分析【4 】。对于入侵检测来说，入侵分析是指针对用户 和系统活动数据进行有效的组织、整理及特征提取，以鉴别出我们所需要的行为 ( a c t i v i t y ) 。这种行为的鉴别可以实时进行( 如模式匹配、统计分析) ，也可以是事后分 析( 如完整性分析) 。 入侵分析的任务就是在提取到的庞大的数据中找到入侵的痕迹。它所要得到的目标 有四个【4 】：( 1 ) 检测入侵行为；( 2 ) 对入侵者形成巨大威慑力；( 3 ) 使系统的规划和 管理更加安全，避免存在能导致入侵的漏洞；( 4 ) 提供入侵行为详细的、可信的证据， 用于事后追究入侵者的责任。 入侵分析过程需要将提取到的事件与入侵检测规则进行比较，从而发现入侵行为。 一方面入侵检测系统需要尽可能多地提取数据以获得足够的入侵证据，而另一方面由于 入侵行为的千变万化而导致判定入侵的规则越来越复杂。为了保证入侵检测的效率和满 足实时性的要求，入侵分析必须在系统的性能和检测能力之间进行权衡，合理地设计分 析策略，并且可能要牺牲一部分检测能力来保证系统可靠、稳定地运行并具有较快的响 应速度。 入侵分析按照其检测规则可以分为两类1 6 1 ： ( 1 ) 基于特征的检测规则。这种分析规则认为入侵行为是可以用特征代码来标识的。 比如说，对于尝试帐号的入侵，虽然合法用户登录和入侵者尝试的操作过程是一样的， 但返回结果是不同的，入侵者返回的是尝试失败的报文，因此，只要提取尝试失败的报 文中的关键字段或位组作为特征代码，将它定义为检测规则，就可以用来检测该类入侵 行为。这样，分析策略就由若干条检测规则构成，每条检测规则就是一个特征代码，通 过将数据与特征代码比较的方式来发现入侵。 ( 2 ) 基于统计的检测规则。这种分析规则认为入侵行为应该符合统计规律。例如， 系统可以认为一次密码尝试失败并不算是入侵行为，因为的确可能是合法用户输入失误， 第4 页 中同科技大学坝卜学位论义 但是如果在一分钟内有8 次以上同样的操作就不可能完全是输入失误了，而可以认定是 入侵行为。因此，组成分析策略的检测规则就是表示行为频度的阀值，通过检测出行为 并统计其数量和频度就可以发现入侵。 这两种检测规则各有其适用范围，不同的入侵行为可能适应于不同的规则，但就系 统实现而苦，由于基于统讨检测规则的入侵分析需要保存更多的检测状态和上下关系而 需要消耗更多的系统处理能力和资源，实现难度相对较大。 当前入侵检测技术可以采用概率统计方法、专家系统、神经网络、模式匹配、行为 分析等来实现入侵检测的检测机制，以分析事件的审计记录、识别特定的模式、生成检 测报告和最终的分析结果【5 ，6 】、【7 1 5 】。 ( 1 ) 基于用户行为概率统计模型的入侵检测方法 这种入侵检测方法是基于对用户历史行为以及在早期的证据或模型的基础上进行 的。首先，检测器根据用户对象的动作为每个用户都建立一个用户特征表，通过比较当 日口特征与已存储定型的以前特征，当发现有可疑的行为发生时，保持跟踪并监测、记录 该用户的行为，从而判断是否是异常行为。用户特征表需要根据审计记录情况不断地加 以更新。用于描述特征的变量类型有：1 ) 操作密度：度量操作执行的速率，常用于检测 通过长时间平均觉察不到的异常行为：2 ) 审计记录分布：度量在最新纪录中所有操作类 型的分布；3 ) 范畴尺度：度量在一定动作范畴内特定操作的分布情况；4 ) 数值尺度：度 量那些产生数值结果的操作，如c p u 使用量，i o 使用量。 这些变量所记录的具体操作包括：c p u 的使用，i o 的使用，使用地点及时自j ，邮 件使用，编辑器使用，编译器使用，所创建、删除、访问或改变的目录及文件，网络上 活动等。 在s r i c s l 的入侵检测专家系统( i d e s ) d ? 给出了一个特征简表的结构： 其中的变量名、主体、客体唯一确定了每一个特征简表，特征值由系统根据审计数 据周期性地产生。这个特征值是所有有悖于用户特征的异常程度值的函数。 这种方法的优越性在于能应用成熟的概率统计理论。但也有以下不足之处： 对于非常复杂的用户行为很难建立一个准确匹配的统计模型。 统计模型没有普遍性，因此一个用户的检测措施并不适用于另一用户，使得算法 庞大且复杂。 第5 页 中国科技大学倾士学位论文 对事件发生的次序不敏感，也就是说，完全依靠统计理论可能漏检那些利用彼此 父联事件的入侵行为。 定义是否入侵的判断阈值也比较困难。阀值太低则漏检率提高，阈值太高则误检 率提高。 ( 2 ) 基于神经网络入侵检测方法 利用神经网络检测入侵的基本思想是用一系列信息单元( 命令) 训练神经单元，这样 在给定一组输入后，就可能预测出输出。与统计理论相比，神经网络更好地表达了变量 问的非线性关系，并且能自动学习并更新。用于检测的神经网络模块结构大致是这样的： 当前命令和刚过去的w 个命令组成了网络的输入，其中w 是神经网络预测下一个命令时 所包含的过去命令集的大小。根据用户的代表性命令序列训练网络后，该网络就形成了 相应用户的特征表，于是网络对下一事件的预测错误率在一定程度上反映了用户行为的 异常程度。 神经网络方法的优点在于能更好地处理原始数据的随机特性，即不需要对这些数据 作任何统计假设，并且有较好的抗干扰能力。缺点在于网络拓扑结构以及各元素的权重 很难确定，命令窗口w 的大小也难以选取。窗口太小，则网络输出不好，窗口太大，则 网络会因为大量无关数据而降低效率。 ( 3 ) 基于专家系统的入侵检测技术 号家系统是基于知识的检测中运用最多的一种方法。该技术感受安全专家对可疑行 为的分析经验来形成一套推理规则，然后在此基础上建立响应的专家系统，由此专家系 统自动进行对所涉及入侵行为建立行为的分析工作。该系统应当能够随着经验的积累而 利用其自学习能力进行规则的扩充和修正。 用专家系统对入侵进行检测，经常是针对有特征的入侵行为。专家系统将有关入侵 的知识转化成i f - t h e n 结构的规则，即将构成入侵所要求的条件转化为i f 部分，将发现入 侵后采取的相应措施转化成t h e n 部分。当其中某个或某部分条件满足时，系统就判断为 入侵行为发生。其中的i f - t h e n 结构构成了描述具体攻击的规则库，状态行为及其语义环 境可根据审计事件得到，推理机根据规则和行为完成判断工作。 专家系统的建立依赖于知识库的完备性，知识库的完备性又取决于审计记录的完备 性与实时性。在具体实现中，专家系统主要面临以下问题： 全而性问题，即难以科学地从各种入侵手段中抽象出全面的规则化知识。 效率问题，即所需处理的数据量过大，而且在大型系统上，如何获得实时连续的 第6 页 中国科技大学硕士学位论文 市训数据电是个问题。 因为这些缺陷，专家系统一般不用于商业产品中，运用较多的是特征分析。像专家 系统一样，特征分析也需要知道攻击行为的具体知识。但是，攻击方法的语义描述不是 被转化为检测规则，而是在审计纪录中能宜接找到的信息形式。这样就不像专家系统一 样需要处理大量数据，从而大大提高了检测效率。这种方法的缺陷是需要经常为新发现 的系统漏洞更新知识库。另外，由于对不同操作系统平台的具体攻击方法可能不同，以 及不同平台的审计方式也可能不同，所以对特征分析检测系统进行构造和维护的1 作量 都较大。 ( 4 ) 基于模型推理的入侵检测技术 模型推理是指结合攻击脚本推理出入侵行为是否出现。其中有关攻击者行为的知识 被描述为：攻击者目的，攻击者达到此目的的可能行为步骤，以及对系统的特殊使用等。 根据这些知识建立攻击脚本库，每一脚本都由系列攻击行为组成。检测时先将这些攻 击脚本的子集看作系统正面临的攻击。然后通过一个称为预测器的程序模块根据当前行 为模式，产生下一个需要验证的攻击脚本子集，并将它传给决策器。决策器收到信息后， 根据这些假设的攻击行为在审计记录中的可能出现方式，将它们翻译成与特定系统匹配 的审计记录格式。然后在审计记录中寻找相应信息来确认或否认这些攻击。初始攻击脚 本子集的假设应满足：易于在审计记录中识别，并且出现频率很高。随着一些脚本被确 认的次数增多，另一些脚本被确认的次数减少，攻击脚本不断地得到更新。这种方法也 是建立在对当前以知的入侵行为程序的基础之上的，对未知的入侵方法所执行的行为程 序的模型识别需要进一步的学习和扩展。 模型推理方法的优越性有：对不确定性的推理有合理的数学理论基础，同时决策器 使得攻击脚本可以与审计记录的上下文无关；另外，这种检测方法也减少了需要处理的 数据量，因为它首先按脚本类型检测相应类型是否出现，然后再检测具体的事件。但是 创建入侵检测模型的工作量比别的方法要大，并且在系统实现时决策器如何有效地翻译 攻击脚本也是个问题。 ( 5 ) 预测模式生成：预测模式生成也是一种用于异常检测的方法，它基于如下假设： 审计事件的序列不是随机的，而是符合可识别的模式的。与纯粹的统计方法相比，它增 加了对事件顺序与相互关系的分析，从而能检测出统计方法所不能检测的异常事件。这 一方法首先根据已有的事件集合按时间顺序归纳出一系列规则，在归纳过程中，随着新 事件的加入，不断改变规则集合，最终得到的规则能够准确地预测下一步要发生的事件。 第7 页 中国科技人学硕l 学位论文 ( 6 ) k e y s t r o k em o n i t o r ：k e y s t r o k em o n i t o r 是种简单的入侵检测方法，它通过 对用户击键序列的模式分析检测入侵行为，它可用于主机入侵检测。这一方法的缺点非 常明显，蓖先，批处理或s h e l l 程序可以不通过击键而直接调用一系统攻击命令序列； 其次，操作系统通常不提供统一的击键检测接口，需通过额外的钩函数( h o o k ) 来监测击 键。 ( 7 ) 状态转移分析：在状态转移分析中，入侵被表示成为目标系统的状态转换图。 当分析审计事件时，若根据对应的条件布尔表达式，系统从安全状态转移到不安全的状 态( 如图1 1 ) ，则该事件标记为入侵事件。 结柬状态 ， s u i d ( u s e r ) - - r o o t 图1 1 状态转移图示例：一种u n i x 系统入侵 状态转换分析最早由r k e m m e r e r 提出，即将状态转换图应用于入侵行为的分析。 状态转换法将入侵过程看作一个行为序列，这个行为序列导致系统从初始状态转入被入 侵状态。分析时首先针对每一种入侵方法确定系统的初始状态和被入侵状态，以及导致 状态转换的转换条件，即导致系统进入被入侵状态必须执行的操作( 特征事件) 。然后用 状态转换图来表示每一个状态和特征事件，这些事件被集成于模型中，所以检测时不需 要一个个地查找审计记录。但是，状态转换是针对事件序列分析，所以不善于分析过分 复杂的事件，而且不能检测与系统状态无关的入侵。 国内的现状是，入侵检测仅仅停留在研究和实验样品( 缺乏升级和服务) 阶段，或 者是防火墙中集成较为初级的入侵检测模块阶段。可见，入侵检测产品仍具有较大的发 展空间。从技术上讲，除了完善常规的、传统的技术( 模式识别和完整性检测) 外，应 重点加强新技术研究。目前，许多学者在研究新的检测方法，如采用基于a g e n t 检测的 方法、基于内核的检测方法、将免疫学原理、进化计算、数据挖掘、数据融合应用到入 侵检测的方法等。其中，进化计算( 主要是遗传算法和遗传规划) 在入侵检测中的应用 第8 页 印 中国科技人学碳士学位论文 研究， j 前还处于早期发展阶段，但是初步的实验结果很令人鼓舞，不过在进入到实际 的入侵检测工作阶段之前，还需要进一步的研究。 综合上述技术所取得的工作可知，入侵检测系统在检测规则提取方面还存在许多需 要改进的地方： ( 1 ) 有效性：当前大部分入侵检测的规则和模式以及统计的特征往往是根据经验编 写的，住目前复杂的网络状况下这种经验是不完整、不精确的。 ( 2 ) 自学习能力：一般着重分析的是目前已知的各种攻击手法和系统漏洞，无法检 测未知的攻击。又由于其学习方法的局限性，更新速度慢，使现有的入侵检测系统难以 适应目前层出不穷的新的攻击手法和各种系统漏洞。 ( 3 ) 全局最优化：目前的研究方法在全局最优化方面还有欠缺，得到的往往是局部 最优，这影响了检测效果。 ( 4 ) 易理解性：需要能够抽象于具体的入侵数据和特征，在较高层次上描述网络的 安全状态和入侵行为，容易为人们理解和判断。 ( 5 ) 需要进一步降低漏报率和误报率：现有的入侵检测系统( 如s n o r t ) 漏报率和 误报率都很高，严重影响了使用效果【1 6 1 。 1 2 研究内容 针对上述问题，本文研究将模糊理论、g p 算法引入到入侵检测规则的自动提取中， 并利用改进的g p 算法获得了部分入侵检测的规则。本文的研究内容包括： ( 1 ) 将g p 算法应用于入侵检测规则的自动提取中，利用g p 算法全局寻优和自学 习能力，找到最优规则，降低入侵检测的误报率和漏报率；利用g p 算法的个体表示具 有层次化、是问题的自然描述的特点，易于理解，也易于对问题进行表述，无需或少需 对输入数据的预处理和对输出结果的后处理，降低了问题处理的复杂性，进一步提高规 则的易理解性。 ( 2 ) 对g p 算法应用于入侵检测规则自动提取中存在的四个问题进行了研究： 定义个体描述的语义规则：在入侵检测规则的自动提取中，g p 算法的个体是用功 能符号集和终止符号集对问题的自然描述，个体的功能符号集有三个逻辑符号o r 、a n d 和n o t 组成，终止符号集是入侵数据各种属性名、关系符及其对应模糊值的集合。在 4 c d l ：l 语义限制时，初始种群中有些个体所描述的规则是过于繁琐，甚至出现无意义的语 义覃复定义，这既影响了高质量子代的生成又增加了分析的难度和运算时间。本文分析 第9 页 中同科技大学硕l 学位论文 了，产肆i 这“隋况的原因，并根据所提取对象( 数据集) 的特点，改进了入侵检测规则个 体描述的语义规则，使实现的规则描述的简练、易于分析和理解； 提出修复算子：在g p 中通过交叉操作，个体的深度可能超过定义的最大深度， 对于超出最大深度的个体传统的处理方法是剪除超出的部分，并选取一个终端符号代替 剪除点处的逻辑符号。这样会破坏原有的模式，使得交叉得到的个体质量低于预想的个 体质量。为了降低传统剪枝操作对模式的破坏，本文提出了修复算子以弥补传统剪枝操 作的小足； 提出扰动算子：由于实验条件的限制，不可能理想地实现g p ( 比如合适交叉概率 的确定、理想种群规模的选择以及其它参数的最佳选择等) ，这就导致了实验与理论的偏 差一一产生同一化现象，本文分析了产生同一化现象的原因，并给出了解决方案一一提 出扰动算子以提高g p 算法的搜索性能： 改进了适应度函数：适应度函数用来评估每条规则( 个体) 的质量，本文对问题 的优化就是要同时最大化灵敏性和特异性。采用灵敏性和特异性来定义的适应度函数在 很多应用中取得了较好的效果，但是也存在问题一一以前的方法多注重个体的整体特性 而忽略了局部特性。本文分析了问题存在的原因，通过在适应度函数中引入加权因子， 采用权重和的形式解决多目标优化问题，使得g p 算法在自动发现入侵检测规则时更加 有效。 ( 3 ) 将模糊理论知识引入到入侵检测规则中，首先是处理网络行为的正常与入侵的 界限本身的模糊性，避免尖锐化和极端化，从而降低误报率，提高入侵检测的检测距确 率。其次是利用模糊知识能够很容易地在较高层次上作最后的决策和报警，而且这种决 策抽象于具体的网路数据，以得到容易被人们所理解的规则描述。 1 3 本文的组织架构 本文由以下几个部分组成： 第一一章概述本课题的选题背景和本文的研究内容。 第一章对模糊理论的相关知识和目前的研究进展介绍。 第三章叙述了g p 算法的相关知识和目前的研究进展。 第四章对数据集以及数据集的处理进行说明。 第五章详细介绍模糊入侵检测规则的自动提取方法、实现及结果分析。 第六章总结全文并展望今后的工作。 中同科技大学倾士学位论文 第二章模糊理论 这一章介绍模糊理论的历史、特点、基本概念和相关运算，同时介绍了当前的应用 领域一一特别介绍了当前在入侵检测领域中的运用 2 1 模糊理论简介 模糊现象普遍存在于客观世界和人的主观思维活动中，在自然科学或社会科学研究 中，存在着许多定义不很严格或者说具有模糊性的概念。这里所谓的模糊性，主要是指 客观事物的差异在中间过渡中的不分明性，如年龄的大小可以表述为“年轻”、“比较年 轻”、“中年”、“老年”，；学生成绩的表述，“优秀”、“很好”、“较好”、“好”、“较差”、 “差”：疾病对病人的影响，“较重、严重、很严重”，等等。这些区别之间并没有明确的 界限，存在模糊性。这些模糊性反映了事件的不确定性，但这种不确定性不同于随机性。 随机性反映的是客观上自然的不确定性或事件发生的偶然性，而模糊性则反映人们主观 理解的不确定性，即人们对有关事件或概念描述在语言意义上的不确定性。早在2 0 世纪 2 0 年代，著名的哲学家和数学家b r u s s e l l 就写出了有关”含糊性”的论文【1 7 1 ，他认为所 有的自然语言均是模糊的，比如”高的”和”老的”等概念没有明确的内涵和外延，因而是不 明确的和模糊的。模糊理论与经典理论相比，更接近于人类思维和自然语言系统，因此 更适合于模仿人类的思维推理【1 8 】。 美国加州大学的l a z a d e h 教授在深入研究“巨大系统”、“计算机”、“人的思维”和“模 糊”之间的联系之后，从数学与思维的分离处着手，发现康德所创立的经典集合实质是摈 弃了模糊性而抽象出的理想数学模型，是把思维过程绝对化，从而达到严密性的要求。 析z a d e h 却反其道而行之，将模糊性和数学统一起来，同时不放弃数学的严密性，而是 让数学反璞归真地吸收人的思维对于处理模糊现象的独到优点。他的这一思想在2 0 世纪 6 0 年代前后发表的著名的 【1 9 】、 【2 0 】和 1 2 1 】等多篇论文中得到了充分体现，并且首次提出表达事 物模糊性的重要概念：隶属函数，从而突破了1 9 世纪末笛卡尔的经典集合理论，奠定模 糊珲沦的基础。自从1 9 6 5 年l a z a d e h 教授提出了模糊集合的概念以来，三十余年来， 模糊理论及其技术走过了一段漫长而又曲折的发展路程。正是一大批国内外学者顽强而 执着的研究，模糊理论及其相关技术在工业控制、家电制造、数字信号处理等许多领域 获得了广泛的应用，并且形成了模糊神经网络、模糊遗传算法、模糊数据挖掘和模糊专 第1 1 页 中国科技大学预士学位论文 家系统等大批富有活力的新兴交叉学科。所以现在这一领域的研究与应用迎来了充满 ，| 三机的春天，形成了股热潮。国内外科技界、企业界都非常关注模糊技术的发展。目 自u ，模糊技术应用成果已经遍及冶金、机械、电子、化工、军事、教育等多个领域，取 得_ r 显著的社会效益和经济效益【2 2 ，2 3 】。 模糊集是建立在自然语言的基础上，而自然语言中常采用一些模糊的概念，如“体 重偏重”、“浮力偏大”、“身材偏高”等。如何描述这些模糊的概念，并对它们进行分析、 处理，这正是模糊集合与模糊逻辑所要解决的问题【1 8 】。 模糊集打破了传统的分明集只有0 和1 的界限。在分明集中，任一元素属于某集 合的程度要么是1 ，要么是0 。例如数“3 ”属于奇数集，而不属于偶数集。但是在模糊 集的概念中，任一元素可同时部分地属于多个模糊子集，隶属关系用隶属的程度来表示。 例如，3 0 岁的人属于“年轻”的程度为0 6 ，属于“中年”的程度为0 9 ，而属于老年的 程度为o 2 。这种表示方法要比分明集自然，更接近人的表述方式。模糊集将集中0 和l 地边界平坦化，使其更自然。 模糊规则是定义在模糊集上的规则，常采用“i f - t h e n ”的形式，以表示专家的经验、 知识等。例如在控制车内的空调时，控制的经验可表示成以下形式的模糊规则： 1 ) 如果气温凉，则将马达速度放在低档上。 2 ) 如果气温适中，则将马达速度放在中档上。 这里的“凉”、“适中”和马达速度的“低档”、“中档”都是模糊子集，而不是具体 的数量。由于模糊规则的表达方式自然，因此用这种表达方式可以比较容易获取专家的 经验。同样，计算机的运算结果若表示成模糊规则的形式，则它也容易被人所理解。 由一组模糊规则构成的模糊系统可代表一种输入、输出的关系。从理论上说，在一 定条件f ，模糊系统可以近似任意的连续函数。要表示输入、输出的关系，一个最简单 的模糊系统除了模糊规则外，一般还有模糊逻辑推理和去模糊化的部分。模糊逻辑推理 是根据模糊关系合成的方法( 通常为m a x 。m i n 方法) ，从多条模糊规则中，按并行处理 的方式产生对应于输入量的输出模糊子集。去模糊化的过程则是将输出模糊子集转化为 精确的数字量。而就模糊理论的数学基础而言，模糊理论的顶层系统分析可以从四个剖 面进行。 ( i ) 模糊集剖面 模糊集合着重于一种边界不是严格确定的集合分类。事实上这是模糊数学最先开始 的着眼点，并且至今已经发展至模糊群、模糊拓扑、模糊微分方程等多个数学领域。 第1 2 页 中国科技大学碗士学位论文 ( 2 ) 逻辑剖面 模糊逻辑的核心在于模糊推理。它主要用于知识表达，以及从不确定、不完全或部 分认证的信息中进行逻辑推理。实际上，它可认为是多值逻辑的一种扩展。 ( 3 ) 关系剂面 模糊关系主要的研究集中在不确定定义的函数或关系的表示和运算，主要用于系统 分析和控制。它的三个基本概念为：语言变量、模糊i f - t h e n 规则、模糊图。这是进行基 于模糊逻辑地字汁算之基础。 ( 4 ) 认知剖面 模糊数学的认知与其逻辑紧密相关，主要体现在知识表达、信息系统、模糊数据库 以及d e m p s t e r - s h a f e r 理论、概率论等多个方面的应用。其中一个重要的用途就是信息 智能系统。实质上，模糊数学的认知着重于意义、知识和决策的处理。 此外，这四个剖面也分属于不同的层次。模糊集剖面属于最低层，是其它分支发展 的基础。模糊逻辑剖面和模糊关系剖面则是在这一层次上的拓展和应用。最顶层的是认 知剖面，直接对应于模糊信息的高层次处理。模糊集剖面、模糊逻辑剖面、模糊关系剖 面和认知剖面从不同的层次和角度完整有机地组合为一个整体。近几十年来，模糊理论 j f 是通过自身各个层次、各个剖面之间，以及同其它理论( 如人工神经网络、p e t r i 嘲理 论等) 之问的相互信息交流与反馈，不断地丰富着各自的内容而向前发展 2 2 - - 2 6 。 2 2 模糊集的概念 对于一个普通的集合a ，空间中任一元素x ，要么x c a ，要么x a ，两者必居其一。 这一特征可用一个函数表示为： f 1x a 彳( x ) = 1 0 x 茌4 a ( x ) 即为集合a 的特征函数。将特征函数推广到模糊集，在普通集合中只取0 、1 两值推广到模糊集中为 0 ，1 i n 间。 定义l 设x 为全域，若a 为x 上取值【o ，1 】的一个函数，则称a 为模糊集。 如给5 个同学的性格稳重程度打分，按百分制给分，除以1 0 0 ，这样给定了一个从 域x - x l ，x 2 ，x 3 ，x 4 ，x s n o ，1 闭区间的映射。 x 1 ：8 5 分，即a ( x 1 ) = o 8 5 x 2 ：7 5 分，即a ( x 2 ) = 0 7 5 第1 3 页 中国科投人学硕卜学位论文 x 3 ：9 8 分，即a ( x 3 ) = 0 9 8 x 4 ：3 0 分，即a ( x 4 ) = 0 3 0 x 1 ：6 0 分，即a ( x 1 ) = 0 6 0 这样确定冉一个模糊子集a = ( o 8 5 ，0 7 5 ，0 9 8 ，0 3 0 ，0 6 0 ) 。 定义2 若a 为x 上的任一模糊集，对于任意o 1 ，记a 。= 如lx ，爿( x ) ) ， 称彳，为a 的 截集。 彳。是普通集合而不是模糊集。由于模糊集的边界是模糊的，如果要把模糊概念转 化为数学语言，需要选取不同的罱信水平 ( o 1 ) 来确定其隶属关系。 截集就 是将模糊集转化为普通集的方法。模糊集a 是一个具有游移边界的集合，它随 值得变 小而增大。 定义3 模糊集运算定义。若a 、b 为x 上两个模糊集，它们的和集、交集和a 的 余集都是模糊集，其隶属函数分别定义为： ( aub ) ( x ) = r n a x ( a ( x ) ，b ( x ) ) = 4 ( x ) vb ( x ) ( anb ) ( x ) = m i n ( a ( x ) ，b ( x ) ) = a ( x ) b ( x ) 彳。( z ) = 1 一a ( x ) 关于模糊集的和、交等运算，可以推广到任意多个模糊集合中去。 定义4 若一个矩阵元素取值为 o ，l l n 间内，则称该矩阵为模糊矩阵。同普通矩阵1 样，有模糊单位阵，记为i ；模糊零矩阵，所有元素都为0 ，记为o ；元素皆为1 的矩阵 用j 表示。 定义5 若a 和b 是n m 和m l 的模糊矩阵，则它们的乘积c = a b 为n x l 阵，其 元素为： c 口2 兰( d m 6 目) ( i 2 1 ，2 ，n ；j 。1 ，2 ，叫) 符号“v ”和“ ”含意的定义为：a v b = m a x ( a ，6 ) ，o a b = m i n ( a ，b ) 。 模糊矩阵乘法性质包括：i ) ( a b ) c = a ( b c ) ；2 ) a i = i a = a ；3 ) a 0 = 0 a = 0 ；4 ) a j = j a ； 5 ) 若a 、b 为模糊矩阵且以。6 9 ( 一- ni j ) ，则a b ，又若a b ，则a c 一 b c ，c a c b 。 第】4 页 中周科技大学硕士学位论文 2 3 模糊集的表示一隶属度函数 模糊集使得某元素可以以。定程度属于某集合，某元素属于某集合的程度由0 与 “1 ”之阃的一个数值一一隶属度来刻画或描述。把一个具体的元素映射到一个合适的隶 属度足由隶属度函数来实现的。隶属度函数可以是任意形状的曲线，取什么形状取决于 是否让我们使用起来感到简单、方便、快速、有效，唯一的约束条件是隶属度函数的值 域为【0 1 】。 模糊系统中常用的隶属度函数有以下1 1 种： ( 1 ) 高斯型隶属度函数。 ( x c ) 2 f ( x ，盯，c ) = p2 0 2 高斯型隶属度函数有两个特征参数盯和c 。 ( 2 ) 双侧高斯型隶属度函数 双侧高斯型隶属度函数是两个高斯型隶属度函数的组合，有四个参数盯，c ， 仃：，c ：。c 。和c ：之间的隶属度为1 ，c 。左边的隶属度函数为高斯型隶属度函数 f ( x ，仃，c ) ，c ：右边的隶属度函数为高斯型隶属度函数，( x ，仃：，c ：) 。 ( 3 ) 钟形隶属度函数。 瓴岛6 ，c ) = l + ( 坚) 口 钟形隶属度函数的形状如钟，故名钟形隶属度函数，钟形隶属度函数有三个参数a b ，c 。 ( 4 ) s i g m o i d 函数型隶属度函数。 舷咖去 s i g m o i d 函数型隶属度函数有两个特征参数a 和c 。 ( 5 ) 差型s i g m o i d 隶属度函数。 差型s i g m o i d 隶属度函数为两个s i g m o i d 隶属度函数之差 中国科拉大学硕士学位论文 m 慨旧慨，c z 卜瓦一再 差型s i g m o i d 隶属度函数有四个特征参数a ，c ，a 2 ，c 2 。 ( 6 ) 积型s i g m o i d 隶属度函数。 积型s i g m o i d 隶属度函数为两个s i g m o i d 隶属度函数乘积： f ( x , a l , c i , a 2 , c 2 ) = 巧。再 积型s i g m o i d 隶属度函数有四个特征参数以，c ，a ：，c ：。 ( 7 ) z 形隶属度函数。 z 形隶属度函数有两个参数a , b ，分别为隶属度函数曲线中斜线部分极点的位置。 ( 8 ) 兀形隶属度函数。 兀形隶属度函数有四个参数a ，b ，c ，d ，n 形隶属度函数可以看作参数为a ，b 的s 形函数与参数为c ，d 的z 形函数叠加而成的。 ( 9 ) s 形隶属度函数。 s 形隶属度函数有两个参数a 和b ，分别为隶属度函数曲线中的斜线部分极点的位置。 ( 1 0 ) 梯形隶属度函数。 f ( x ，a ，6 ，c ，d ) = 0 x 一日 b a l d x d c 0 x d a sx 6 b 工c c x d x d 或 厂( 础，6 ，c ，c i ) ：m a x ( r a i n ( 季! ，l ，昱兰) ，o ) d a6 1 一c 梯形隶属度函数有四个参数a ，b ，c ，d 。 ( 1 1 ) 三角形隶属度函数。 第1 6 页 巾固科技大学g il ：学位论文 f ( x ，a ，b ，c ，d ) = 0 x 口 兰兰a x 0 r 3 s b d 三兰6 z c c d 0c x 三角形隶属度函数有三个参数a ，b ，c 。 如果模糊集合a 的论域为x ，x e x ，x 属于a 的程度由隶属函数映射为0 与1 之 矧的某一隶属度。( x ) ，则论域x