自动化计算机智能类毕业论文.pdf

基于多智能体和免疫算法的网络入侵检测基于多智能体和免疫算法的网络入侵检测 作作 者：曾益刚（计算机系，计算机科学与技术专业者：曾益刚（计算机系，计算机科学与技术专业 0202 班）班） 指导老师：马指导老师：马 力（计算机系，教授）力（计算机系，教授） 白白 琳（计算机系，讲师）琳（计算机系，讲师） 摘摘 要：要： 随着计算机技术和网络技术的飞速发展， 计算机和网络已经渗透到社会生活的方方 面面。随之而来的网络安全问题也越来越引起人们的关注和重视。入侵检测系统（IDS）可 以对系统或者网络资源进行实时检测， 及时发现系统或网络的入侵者， 预防合法用户对资源 的误操作。入侵检测技术扩充了安全防护的概念，弥补了传统安全策略的不足。 入侵检测技术包括误用检测和异常检测。 误用检测是建立攻击行为特征库， 采用特征匹 配的方法确定攻击。 异常检测是通过建立用户正常行为模型， 以是否偏离正常模型为依据进 行检测，是目前研究的热点。本文在对入侵检测技术的深入分析和研究中，提出一种新的异 常检测算法。 本文所做的主要工作如下： 1 研究了遗传算法和人工免疫系统的基本理论， 并分析了这两种方法应用于入侵检测 问题中存在的优势与不足； 探讨了人工免疫系统新算法， 并将免疫克隆计算应用到入侵检测 领域中。 2 根据免疫算法和多智能体（Agent）的优势，并把它们融合，从中得到一种新的入 侵检测的方法。 关键词：关键词：网络安全 入侵检测 免疫算法 多智能体 Invade the examination according to the network of many intelligence bodies and the immunity calculate ways Author：ZENG Yi-Gang(Computer Science inquiried into the new calculate way of the artificial immune system, and apply to the immunity clone calculation to invade to examine the realm in. 2. According to the immunity calculate way and many advantages of intelligence body (Agents), and blend they, get from it a kind of invade the method of the examination lately. Keywords：The network safety invade the examination the immunity calculate way many intelligence body 1 入侵检测概论入侵检测概论 1.1 入侵检测的概念入侵检测的概念 入侵检测是一种主动的安全措施， 它从系统内部和网络中收集信息， 从这些信息中分析 计算机是否有安全问题， 并采取相应的措施。 入侵检测系统在不影响网络性能的情况下能对 网络活动进行监测，从而提供对内部攻击、外部攻击和误操作的实时保护。 1.2 入侵检测常用方法入侵检测常用方法 按检测入侵的技术来分类，可以将入侵检测方法分为异常入侵检测和滥用入侵检测。 下面将对现有的入侵检测方法做一个简单的回顾。 (1)滥用检测方法 滥用检测采用模型来代表攻击，使用己知的攻击模式或系统弱点识别入侵。滥用检测 系统将己知入侵场景的“特征动作”（如改变文件的所有权）序列进行编码和匹配。它面临的 主要问题是如何描述一个包含所有相关攻击的可能变化的特征模型， 而该模型又不能与非入 侵行为匹配。 所以， 要想实现一个理论上能够百分之百正确检测所有攻击活动的违规检测系 统， 首先必须保证能够用数学语言百分之百正确的描述所有的攻击活动。 该系统的主要缺点 是己知的入侵模式必须手工编码到系统中； 它们与病毒检测系统相似， 可以检测出大部分甚 至所有已知的攻击类型，却不能检测出任何未知的入侵。 (2)异常检测方法 这种检测方法假定所有的入侵活动都必须是异常的。先建立起所保护的系统的特征轮 廓，然后检测偏离特征正常值的情况发生，如果有，则认为可能发生了入侵。异常入侵检测 可以采用基于统计、神经网络、预测模式生成法、机器学习、分类技术、模拟生物学免疫系 统和 Bayes 分类法等方法。 1.3 小结小结 综上所述，基于主机的系统一般是根据攻击对系统的影响来判断攻击事件的，比如用 户是否多次使用错误口令，文件状态是否非法改变等；时间上滞后于攻击本身。而基于网络 的系统强调通过网络行为过程进行分析，不是依靠审计攻击事件对目标系统带来的实际影 响，而通过行为特征来发现攻击事件。 由于来自网络的攻击事件逐渐成为信息系统的最大威胁，因而基于网络的入侵检测系 统具有重要的价值。 2 多智能体理论基础多智能体理论基础 2.1 智能体与多智能体系统智能体与多智能体系统 (1) 智能体概念 智能体置身于某种环境当中， 由传感器(sensors)感知外界环境， 并通过效应器 （effectors） 对外界环境实施动作。 环境的响应对于智能体来说是至关重要的。 因为智能体的动作要对环 境产生影响，同时智能体也需要通过对环境的感知，来决定自己行动。 智能体具有以下一些主要性质： 1. 代理性 （Agent） 2. 智能性 （Intelligence） 3. 自主性 （Autonomy） ： 4. 机动性 （Mobility） (2)多智能体系统 多智能体系统是一种分布式自主系统，是由多个自治智能体组成的智能体“社会”，其中 每个 Agent 是一个物理或抽象的可计算实体，具有对局部环境的感知能力，能够作用于自身 和周围环境，并且能够与其他 Agent 进行通信。 2.2 多智能体在本算法中的应用多智能体在本算法中的应用 基于免疫算法的移动代理在网络入侵检测中的应用 ATP 检测代理服务器 1 检测代理服务器 n Internet 中介 Agent 监控器 跟踪 信息收集Agent gent 运行环境 信息库 跟踪 Agent 信息收集Agent gent 运行环 监控器 信息库 功能协 调 agent 免疫 agent 训 练 数 据 抗体 未成熟的抗体 筛选 成熟的抗体 1) 监控器:用来监控网络上的数据 2) 跟踪，跟踪入侵源。因为有可能本地监测不可能准确的预报入侵的员， 所以需要它在网路节点间可以通信，移动。 3) 功能协调 agent，协调各个代理间的工作步骤。还可以职能的判断是不是要重新生 成新的判断法则（用免疫算法来生成） 4) 信息库，用来存放中介 agent 给的监测规则及监测中出现的一些典型情况。以备重 学习时的需要 5) 功能协调 agent 他来决定是不是要从学习，以及跟踪代理是不是要移动等协调性工 作 2.3 小结小结 多智能体作为一种新兴的技术本章重点阐述了 agent 的基本理论，特点以及他的发展 过程，并对 agent 进行了粗略的分类！展望了它的前景！并且提出了一个基于 agent 和免疫 算法的入侵检测系统的大体模型！ 在接下来的章节中我将逐步介绍入侵检测， 以及多智能体 和免疫算法在入侵检测重的应用。 3 免疫进化算法和试验结果免疫进化算法和试验结果 这一章我们着重讨论将讨论如何将免疫算法和多智能体应用到网络入侵检测中，并对 结果进行深入的分析，并讨论它的优缺点。仿真结果表明这种方法具有良好的性能，然而也 存在一些问题。 3.1 免疫基本概念免疫基本概念 为了便于说明，我们首先对本文中可能用到的几个概念进行解释： 染色体（Chromosome） ，表示待求问题的解的形式的一种数据结构，如数组和位串等。 基因（Gene） ，是指构成染色体的最基本的数据单位。例如，如果表示染色体的数据 结构为数组，则基因一般是指其中的元素；如果染色体的数据结构为位串，则基因一般即为 其中的位。 个体（Individual） ，具有某类染色体结构的一种特例。 抗原（Antigen） ，是指所有可能错误的基因，即非最佳个体的基因。 疫苗（Vaccine） ，是指根据进化环境或待求问题的先验知识，所得到的对最佳个体基 因的估计。 抗体（Antibody） ，是指根据疫苗修正某个个体的基因所得到的新个体。其中，根据疫 苗修正个体基因的过程即为接种疫苗（Vaccination） ，其目的是消除抗原在新个体产生时所 带来的负面影响。 3.2 免疫操作免疫操作 免疫思想在合理提取疫苗的基础上，通过接种疫苗和免疫选择两个操作步骤来实现， 前者是为了提高适应度，后者作用是防止种群退化。具体说明如下： 接种疫苗：疫苗是从待求问题的先验知识中提取出来的，它所包含的信息量及其准确 性对算法的性能起着重要的作用。设个体 x，为其接种疫苗是指按照先验知识来修改 x 的某 些基因位上的基因或其分量，使所得个体以较大的概率具有更高的适应度。 免疫选择：这一操作一般分为两个步骤：第一步是免疫检测，即对接种了疫苗的个体 进行检测，若其适应度仍不如父代，说明在交叉、变异的过程中出现了严重的退化现象，此 时该个体将被父代中所对应的个体所取代；第二步是退火选择，即在目前的子代群体 12 ( ,) kn Ex xx=L 中以概率： 0 ()/()/ 1 ()/ ikik n fxTfxT i i P xee = = （4.2-1） 选择个体 i x 进入新的父代群体，其中 )( i xf 为个体 i x 的适应度， k T 是趋近于 0 的 温度控制序列。 免疫算法的操作流程如图 4.1 所示： 图 4.1 免疫算法操作流程 3.3 实验仿真及算法分析实验仿真及算法分析 (1) 网络数据模型KDD CUP 1999 数据 本文所研究是基于网络的入侵检测， 使用的网络数据集是 KDD Cup 1999 入侵数据集， 也简称为 KDD Cup 99 数据。 它最初来源于 1998 年 DARPA 入侵检测评估项目。在 1998 年，美国的 DARPA （Department of Defense Advanced Research Projects Agency） 资助麻省理工学院的 Lincoln 实 验室建立一个统一的标准以评估入侵检测系统的性能。DARPA 的入侵检测数据是第一个用 于评估计算机入侵检测系统的标准数据。 这批数据来源于一个模拟美国空军（USAF）局域网的网络，包含了 9 个星期的基于 TCP 连接的网络流量，大约有 500 万条连接纪录用于训练算法，大约 200 万条记录用于测 试。其中有大量的正常网络流量和各种攻击，具有很强的代表性。在训练集中，共有 24 种 攻击。 (2) 实验结果及分析 a. 算法参数设置 算法的一个重要问题是确定参数和他们的取值互相影响，直接关系到算法的有效性。 显然，我们希望将通过试验能取得好的结果，这意也就是说检测的精度比较高。但是，由于 这个算法得时间复杂度过于庞大， 运行速度非常的慢， 我们不可能将太多的数据同时来计算。 所以我希望通过少量多批的方法来构造一个数据的覆盖体， 通过这种方式来达到我们得到高 适应度个体的目的。 我选择 data_size=100;即，每次使用 100 条数据，但是我试验了很多这样的组，希望从 中的到一个满意的结果。 b. 实验数据选取 由于 KDDCUP 数据集合里的数据特别的多，本算法的时间复杂度有特别的高，加之 学校提供的机器性能不是特别的好!还有就是我的编程环境不支持并行的编程模式，所以我 采用“少量多批”的数据选取方式。 我的训练数据有 201000 条，每组 1000 条，共有 20 组，包含 22 种攻击，其中正常数据 3,562 条,异常数据 6,438 条 c. 数据预处理 KDDCUP99 的数据由 41 项属性，这些属性有离散的有连续的，所以没办法直接应用 到算法中，必须加以处理。 我选用的做法是最基本的编码。即对连续的属性直接应用到算法中，而其他一些诸如 协议类型，服务类型等离散的属性列，则采用编码的方法将其应用到算法中。例如：假如网 络协议有 tcp，udp，icmp 三种则把他们分别初始化为 1，2，3，这样才可以应用到算法中。 而连续属性由于它可以作比较所以就不特别处理！ d. 实验结果及分析 在训练阶段，在多次试验的基础上我选定的参数如下，选取种群规模为 10；克隆算法 的迭代次数为 20；疫苗注射概率 0.68，变异概率 0.85，交叉概率 0.75。 图 4.4 是一次 试验的过程中所有个体的适应度在每一代中的具体变化情况， 可以由图中看出， 虽然初始的 几代大多数个体的适应度较低， 但是可以看到优秀的个体数目在不断增加。 这与先前的分析 相吻合！ 图 4.5 给出了一个较为宏观的结论。 从图中可以看出个体的平均适应度不断在提高。 图 3.4 不同代的每个个体的适应度 图 3.5 每一代的平均适应度 由于不同的参数设置会带来不同的系统性能（诸如，不同的变异概率，不同种群大小 等等） ，但是我在当时的环境下我发现以上的真个结果是比较典型的。所以只列出了它的结 果。 e. 遗传算法和免疫算法实验结果对比 表 3.3 两种算法的实验结果 数据集 训练数据集 测试数据集 算法 已知入侵 检测率 （） 未知入侵 检测率 （） 平均训 练时间 （小 时） 本文算法 98.60 84.20 3 样本总数 201000。正常样 本个数 3,562。异 常样本个数 6,438。 包含 22 种攻击类 型 test2 样本总数 101000 正常样本个数 3,233 异常样本个数 6,767 包含 37 种攻击类型 遗传算法 93.54 50.63 2.1 根据上面得到的实验结果，可以看出本文算法的确优于传统进化算法。 f. 结论分析 虽然进化算法必需建立在大量的测试数据，多次的迭代，虽然这两方面我的试验都不 具备，但我却采用的另一种方法来弥