（计算机软件与理论专业论文）基于协同进化遗传算法的入侵检测技术研究.pdf

ab s l 几 叹1 abstract wi t h the c o m p u t e r n e two r kte c hno l o gy rapiddeve1 0 p m e ntand the wides p r e a d a p p l i c at i o 几the securityp r o b 1 e mw hi chth e n e two r k in t n 巧 i o n ere姗 i s b 沈 o m ingth e 化 c a l pointd aybyday w hi chthe pe叩lep a y a tt e ntion. t b e tr a d iti 。 耐 p as si vedefe 几 记 m easure， ll kethe fi re w a 】 l te c hoo lo gy， the dataenc ry p t i o n and so。 几al re a d y coul d n ot c o m p l etely衅v e nti n t ru d er ，s fo o tst印5 ， b utthe l n t n 巧 i o n d e te c l i on tec h n o l o gy幼th the acti vedefe n sec h ar a c t e ri stic becom e gr adua1 1 y the e x t r e m e 1 y 汕卯比 切 t p artofl h e n e 。 形 。 rkse c 币tysys t 曰 . . inthe l ast fe wyears， fromearlyc e n t r a l ln t n 巧 i ond etectionsystemd e v e 1 0 p m a 吐 top r e sen t 压strib ut edln t n 巧 io n 呛 t e c ti on sys te m. the re se arch d evel 叩mentisv e ry q u i c ka bout业 i n t n ” i o nd e t e ct i on tec hoo l o gy. b u t al o n g 初t hn 妇 刀 o rkbe c o m e morec o n pl ex， the n e 、 ， m ethod ofa 加 长 k eme rg e s o nea ft e r ano t h eru n c e s 义 口 t 】 y，th e i n t n 玛 i on d etection sys te mai so 俪es m anyq 迸stions andthe insu ffi ci e n c y，in p 翻 rt i c ul ar ，th eln t n 巧 io n d e t e c t i ons y st e mm o stly exi sts hi ghfalseposi ti vc川 对 e and falseneg a t i ve r at e ， th ed e te c ti on e ffic i edc yi sl o wandso on. in v i ew o f th e s e q u e stio ns， the d o m e s l i c and fo re i gnre se ar c h eriswor king a c t i v el y toc o n u n n n at e or reco n s t ru c t the n e 、 叼 i n 仇招 io n 呛 t e c t io n syst ein byusing the newtechno 1 o gyand t h e newm e t h 。 氏曲d try toi n t r od吹 s o m e c o n c e p t s and the m e t h odofo t h e r dor n a l n to the ln l n 拐 i on d e te ction s y s t e m ， its m o str 曰 的 ar k a b l ec h ar a c te ri stici sln t n ” i o n d e t e c t i o n s y s te mi s devel opl n g w it h 阮in g tod ir e c t i 0 n o f the art1 fi c i aiin t e 】 l i g e nce . 1 万5州i c le即pl ied o n eki n do fc o -e v o lutio n 田 甲gen etical g orit h mto the 肠t n 巧 i ondete ct i ontec hoo l o gy， t h e re se a r c h 叭 ro r ks嘛l ude d the c ode ， fi tness ， g e n etic 。 p e r a t i onand soon， 胡d c o m b i n e 脉 d etectionm odu l e b as e d onthe c 。 一 vol ut io na ry geneticalg o ri t 加 m初thln t n 抬 i ond e t e c t l ons y st 。 皿 . t h e 五 n d i n 邵访 d i c a t e d th a t ， t b e c 。 一 evo l uti创 坦 口g 即etic alg o ri t 加 mh a v e the 丘 is t erconve r g encer at e and the hi g h e r sol ution q uali tyt 址 mcolnln on gen 丽cal gori th m . a pph ca t i o no f c o -e v o l utio n 田 下 g e n etic algori t 加 旧inthe l n t n 均 i ond et e c t 1 0 n t ec hnol o gy， n o t o ul y m a y st r e n gt h e n th e 砂 w aland the o p t 加咖t i o n the ru l e s dst a b ase， unc easingl y raiset h e q 回ityofrules ab s tr a c t 山 恤 b ase， 解 hi e vethe fast re s ponse 妙r e d u c ing th e t i m e ofthe m a t c h ， b utal soc an e d 坦 n c e the ac c u racy o f ln t n 巧 i o nd e t e c t i o n s y s t e m ， re d u c e falsepos it i vera 把朋d falsen e g at i v e r at e . k e y wb rds:c o- evof utio n 歇 从g e n e t l c alg o ri t h m ， in t n 巧 i on rul e s 1 1 1 学位论文独创性声明 学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已 经发表 或 撰写过的 研究 成 果， 也不 包含为 获得 南昌大李 或其他教 育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示谢意。 学 位 论 文 作 者 签 “ 手 写 咐嵘玄 签 字 日 期 :“ 介 胡 学位论文版权使用授权书 本学位论文 作者 完 全了 解 南昌大李 有关 保留、 使用学 位论文的 规定 ， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅 和 借 阅 。 本 人 授 权 鱼 遏 生里可 以 将 学 位 论 文 的 全 部 或 部 分 内 容 编 入 有 关 数 据 库 进行检索，可以采用影印、缩印或扫描等复制手段保存、 汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学 位 论 文 储签 名 (手 写 ): 1 味乞 导师签名 ( 手写) : 签 字 晚 呼 ”湘 签 字 日 期 : ”升 “汀日 学位论文作者毕业后去向: 工作单位: 通讯地址: 电话: 邮编: 第 1 章 绪论 第 1 章 绪论 1 . 1课题背景 随着玩 t e met 的发展，网络丰富的信息资 源给用户带来了极大的方便， 但同 时也给上网用户带来了安全问题，有越来越多的攻击事件发生，根据美国计算 机紧急事件响应小组协调中心 c e r r/ c c ( h tt p 刃 ， 八 叨 w c ert一。 叼s ta t s / e rt-s ta t s .h 耐) 的统计， 19 95 年安全事件为2 4 12件， 而2 003 年这一数字已 达到13 7 5 29 件( 此 项统计截至于2 0 03 年) ，在2 0 03年， 全球13台最重要的母服务器中的9 台都 遭到了黑客袭击。 就网络安全技术而言，目 前人们普遍使用防火墙技术，但随着网络技术的 发展，传统的防火墙技术实际上已经不能阻挡入侵者的脚步。防火墙能做到的 仅仅是简单地决定什么样的数据包能够或不能够进出网络，而不能期望它去分 析每个数据包中的内容111 。 其次， 防火墙完全不能阻止来自 内 部的袭击。 统计表 明， 8 0 %的组织的防御重点针对为外部威胁。 虽然绝大部分的尝试性攻击来自 外 部而不是内部，但是绝大部分的外部攻击都以失败告终，而大部分内部攻击都 能取得一定程度上的成功。而且对网络基础设施取得的攻击大部分也都是内部 攻击， 内 部攻击 破坏性强 且很 难被发 现。 因 此， 入侵检测 a d s ， i n t ru s i ond e t ec t i on s y st e m ) 作为一种主动的网络安全防御措施， 不仅可以 通过监测网 络实现对内 部 攻击、外部攻击和误操作的实时保护，有效地弥补防火墙的不足，而且还能结 合其它网络安全产品，对网络安全进行全方位的保护，具有主动性和实时性的 特点，是防火墙重要的和有益的补充.近年来，入侵检测系统已 成为网络安全 系统中极其重要的部分。 当前入侵检测系统主要采用误用检测技术和异常检测技术121 。 误用检测技术 的基础是分析各种类型的攻击手段，并找出可能的 “ 攻击特征”集合，形成入 侵特征库，通过和特征库的入侵特征进行比 较来发现入侵行为。由于入侵检测 特征库收集的 特征不完善，同时新的 入侵方法不断出 现，因而采用误用入侵检 测技术的入侵检测系统漏报比 较严重。 异常检测技术首先对系统和用户的大量 正常历史活动进行分析，之后采用统计的方法建立正常模型库。异常入侵检测 第 1 章 绪论 系统是通过检测系统的活动与正常活动的偏差来判断是否存在入侵行为，所以 异常入侵检测系统很容易产生虚报的现象。随着高速网络的发展，数据包传输 速率越来越快，这就要求入侵检测系统检测的响应速度必须相应提高，而且准 确性也要相应的提高，但由于不管是误用还是异常入侵检测技术，都是要把各 个数据与特征库中的大量模式进行比 较，所以两者的工作效率都不高。因此如 何提高入侵检测系统的准确性和快速响应已成为一个现实的问题。 1 . 2国内外的研究进展 1 . 2 . 1国外研究进展 目 前研究人员正在积极的研究并采用新技术、新方法来完善或重建新的入 侵检测系统，如基于免疫的入侵检测系统，基于神经网络的入侵检测系统，基 于代理的分布式入侵检测系统等。最显著的特点是入侵检测系统朝着人工智能 方向发展。 1 995 年， m ark c ro sb ie 和s p a fl b rd使用自 治 代理 ( a u t o n o mousa ge nts) 实 现了 一个 ids系统，并且将遗传算法应用到其中。代理被编码为染色体，在每一个 代理内部有一个评估值，并用自 动定义函数进化遗传程序实现自 动代理的生成 l3 l 19 99年， s incair，、 pi erce 和m a tz ” e r 使用不同的机器学习技术， 像有限 状态 机，决策树和遗传算法为 ids产生人工智能的规则。把一次网络连接和它相关 的行为可以被转换以表示一个规则，这个规则将用来判断一个实时连接是否是 一次入侵。这些规则可以被编码为染色体，许多这样的染色体形成种群。这个 种群通过进化达到某一个终止条件。产生的规则集合可以被当作知识使用，在 ids 中 将使用这些知识判断一个网 络连接及其相关行为是否是一个潜在的 入侵。 由l u d ovic me ， 的研究小组开发的g a s s a t a系统中， 通过分析各类攻击所 产生的审计事件，遗传算法使用一个攻击假设向量集来区分系统事件问 题，它 对异常检测的实验结果令人满意， 但是该方法也有很多不足的地方，如: 1)系 统不能 考 虑由 事件缺 席描 述的 攻击; 2) 由 于 个别事 件流 用二进制 表 达形式， 系 统不能 检测多 个同 时 攻 击: 3)如果攻击有相同的 事件或组事件，并且攻击者使用这个共性进行多个攻 第 1 章 绪论 击，系统不找到一个优化的假设向量: 4) 系统不能在审 计跟踪中精确地定位，所以 不会有临时性出 现在检测器的 结 果 中 14 。 di p ax 止 ard as g u p ta 通 过多 级 别 数 据 采 集 ( 用 户 级， 系 统 级， 进 程 级 和网 络 级 ) 使用小生境技术构造了一个基于遗传分类器的智能入侵检测系统，但其检测率 却不尽如人意，平均检测率在80%以 下15 。 综上所述，国外主要是利用具有自学能力的专家系统的思想来构建入侵检 测系统，实现知识库的不断更新和扩展，从而提高入侵检测系统的效率。通常， 入侵检测系统与具有智能检测功能的检测软件或模块的结合使用。 1 . 2 . 2国内研究进展 与国外的研究水平相比较，我国对遗传算法在 ids的应用研究起步较晚。 近年来，国内一些研究机构、重点院校正积极投入到这一领域的研究工作中。 其中哈尔滨理工大学，电子科技大学等在基于遗传算法的入侵检测系统方面的 研究相对领先。 文献伟 中提到协同 进化遗传算法在自 动入侵响应中的应用，以 便能提高检 测入侵的成功率和响应的准确度。但并未给出具体的染色体的表达和适应度值 的计算，以及基本遗传操作，种群规模等。 文献口 是基于结 合适应度与多样性的遗传算法在入侵监测系统中的应用， 文献没有给出具体的实验验证其应用的效率。 文献【 81 是基于网 络数据流的异 常检测， 使用了k d . t r e e 数据结 构 建立检 测 模型，并用遗传算法实现了该模型， 然后提出了一个入侵检测系统。 文献9 利用整数编码， 把普通遗传算法和入侵检测技术结合， 进行了调试 试验，并得到较好的效果。 1 . 3本文研究工作的主要内容 从入侵检测技术提出以来，特征库的建立与更新一直是研究的重点和难点。 无论是异常检测技术还是误用检测技术都需要高质量的特征库，有了高质量的 特征库，入侵检测系统才能够更少地产生误报率和漏报率。针对这一问题，国 第 1 章 绪论 内外研究人员正在积极的研究，采用新技术、新方法来完善或重建新的入侵检 测系统，并把其他领域的一些概念和方法引入到入侵检测系统中来，其最显著 的特点是入侵检测系统朝着人工智能方向发展。如:基于免疫的入侵检测系统、 基于神经网络的入侵检测系统、基于遗传算法的入侵检测系统以 及基于代理的 分布式入侵检测系统等。本文将协同遗传算法引入到入侵检测系统中，其主要 研究内容: 1 .查阅了大量国内 外文献的基础上， 认真深入地研究了 入侵检测技术的工 作原理，分析了现有入侵检测系统存在的不足。 2 .系统地学习了遗传算法的基本理论和方法，研究了协同遗传算法较一般 遗传算法的优势。 3 .将协同遗传算法引用入侵检测技术。重点完成了包括:编码、适应度函 数的设计、遗传操作等一系列研究工作。 4 . 在以 上工作基础上， 把智能模块结合到入侵检测系统中， 提出了 一个自 优化特征库的入侵检测系统模型，并对该模型的特点进行了详细的分析。 1 . 4本文的组织结构 本文共分六章，具体安排如下: 第1 章 介绍了 课题背景，分析了当前入侵检测系统存在的不足，综述了国 内外对基于遗传算法的入侵检测系统的研究现状， 概述了本文主要研究内容及 要解决的问题。 第2 章 介绍了和本课题相关的入侵检测技术方面的知识，包括它的概念、 发展历史、技术分类、标准化工作，以及未来的发展方向。 第3 章 遗传算法的基本理论知识，特别是遗传算法的编码方法，适应度函 数的设计要求和三种遗传操作。 第4 章 重点介绍了协同进化遗传算法相对于比 普通遗传算法的优势所在。 根据文 献16 提出 的 把协同 进化遗传算 法应用到入侵 检测响 应中设想， 重点 进行 了遗传算法的编码、基本操作和适应度函数的实现，给出了算法程序。 第5 章 结合协同进化遗传算法的应用，构造了一个自 优化的入侵检测系统 模型，并分析了 模型的特点，并通过仿真实验给出了系统的性能分析。 第6 章 对所做的 研究工作进行了总结，并对未来工作做出了展望。 第2 章 入侵检测技术的研究 第2 章 入侵检测技术的研究 2 . 1入侵检测系统的介绍 2 . 1 . 1入俊检测系统的概念 声 门 d e r so n 在其1980年的技术报告中， 建立了关于威胁的早期模型，并按照 威胁的来源， 分为如下3 类11 010 1) 外部入侵者:系统的非授权用户。 2) 内 部入侵者: 超越 合法权限的 系 统授权用户。 其中， 又 可分为“ 伪装者” 和 “ 秘密活动者o 3) 违法者: 在计算机系统上执行非法活动的合法用户。 n s tac 困atio n a 】 s ecun tytel ecommimc a t 1 0 nsa d v i so ryboard， 国 家安全通信 委员 会 ) 的i d s 侧i n t n js i ond e t e c l io n s ub-g r o u p ) 在1 997 年 给出了 如下定 义: 入 侵 ( 功 t 川 s i on ) : 对信 息 系 统的 非 授 权 访问 及 ( 或 ) 未 经 许 可 在 信息 系 统中 进行 操作。 入 侵检测 ( 加 t n 巧 i on d etec ti on) : 对( 网 络) 系统的 运行状态进 行监 视， 对企图 入侵、 正 在进行的入侵或己 经发生的入侵进行识别的过程1111。 入侵检测系统 ids是一套运用入侵检测技术对计算机或网 络资源进行实时 检测的系统工具，所有能够执行入侵检测任务和功能的系统，都可称为入侵检 测系统。 2 . 1 . 2入俊检测系统的 作用 ids能帮助系统管理员对付网 络攻击，扩展系统管理员的 安全管理能力( 包 括安 全审计、 监视、 进攻识别和响 应 ) ， 提高了网 络安 全基础结 构的 完整 性。 它 从计算机网络安全系统中关键点收集信息，并分析这些信息，看网络中是否有 违反安全策略的行为和遭遇袭击的迹象。入侵检测被认为是防火墙之后的第二 道安全闸门，在不影响网络性能的情况下能对网络进行检测，从而提供对内部 攻击、 外部攻击 和误操作的 实时 保护。 入侵检 测系统的 作用 有以 下 几种l2 : 第2 章 入侵检测技术的研究 a) 监视、分析用户以 及系统活动; b) 检测系统配置的正确性和安全漏洞，并提示管理员修补漏洞: c) 识别反映己知进攻的活动模式向 相关人士告警; d) 对用户非正常 活 动的 统计分析， 发 现行为的 规律; e) 检查 系统 程序 和数 据的 一致性 和正 确 性; 0 能 够实时 地对 检测到的 攻击行为 进行响 应: 9) 对操作系统的 审 计 跟踪管理， 并 识别用户 违反安 全策略的 行为。 2 . 1 . 3入俊检测技术的历史 入侵检测技术自20世纪80年代早期提出以来， 经过了2 0 多年的不断发展。 从最初的一种有价值的研究想法和单纯的理论模型，迅速发展出种类繁多的各 种实际原型系统，并且在近 10 年内涌 现出许多商用入侵检测系统(i n t n 巧 i on d e tect io n s y st e m ) 产 品。 1 9 8 0 年， a 刀 d e r son 在其完成的一份技术报告中提出了改进安全审计系统的 建议， 以 便用于检测计算机用户的非授权活动， 同时， 提出了基本的检测思路110 1 。 1 9 8 4 一1 9 5 6 年， 乔治 敦大学的d o ro 止 y o e nnin g 和s ri/c s l ( 5 咫公司 计 算机 科学 实 验室 ) 的pe ter n e ulnalm设 计 和 实 现了 著名的id e s( 入 侵 检测 专 家 系 统 )， 该系统是早期入侵检测系统中最有影响力的一个， 。该模型由六个部分组成: 主 体、对象、审计记录、轮廓特征、异常记录、活动规则。它独立于特定的系统 平台、 应用环境、 系统弱点以 及入侵类型， 为构建入侵检测系统提供了 一个通用 的框架1 2 1 。 1 9 5 7 年， doro thy o e 皿in g 发表的 经 典 论文“ n i n trus i o n o etec t io n m ode l ” 中提出了入侵检测的基本模型，并提出了几种可用于入侵检测的统计分析模型。 d eulu ng的论文正式启动了 入侵检测领域内 的研究工作。 19 88 年 ，s 对 c s l的tere sal u n t 等 人改 进了d o r o th y d enm ng的 入 侵检测 模型 ， 并 开 发出 了 一 个 id e sll31 . 该系 统 包 括 一 个异 常 检 测 器 和 一 个专 家 系 统 ， 分 别用于统计异常模型的建立和基于规则的特征分析检测。 1 98 今 一 19 91年， s te p h 比 s m 曲 a 设 计 开 发了h ay s tack 入 侵检 测 系 统， 该系 统用于美国空军内部网络的安全检测目的。 1900年，加州大学d avis 分校的todd h e ber l i en发表在iee e上的论文 “ a 第2 章 入侵检测技术的研究 n e two 坎s e c u ri tym o n ito r ” ， 并 开 发出 tn s m (n e 幻 刀 o rks ec u ri tymoni t o r ) 。 该 系 统 第一次将网络数据包作为实际输入的信息源，从而产生了基于网络的 i d s和基 于主机的i d so 19 91年， 在多 个部门的 支持下， 在n s m系 统和h ay s tack 系统的 基 础上， s t 印 h ens m ah a 主持 开发了d l d s( 分 布式 入 侵检 测系统 ) 。 1 9 9 2 年， 加州 大学巴巴 拉分校的p o rras 和n g u n 提出 了 状态 转移分 析的 入侵 检测技术， 并实 现了 原型系统u s i a t ， 之后发展出n s t a t 、 n e t 毛 订等系统。 1 9 9 5 年，普渡大学的s. k 叨 叮 ar在s t a r 思想基础上，提出了基于有色p e t ri 网分得模式匹配计算模型，并实现i d i o t原形系统。 1 996 年， 新墨西哥大学的foitest提出了基于计算机免疫学的入侵检测技术。 19 98年， m rr的形 c h ar d li p p m a n n 等 人为d a 只 p a 进 行了 一 次 入 侵 检 测系 统的离线评估活动使用的是人工合成的模拟数据，最后的测试结果对于后来的 入侵检测系统开发和评估工作都产生了较大影响。 1 9 99年，助s alaj m o s 的v. p axson 开发了b ro系统，用于高速网络环境下的 入侵检测大型网络环境提供一个实际的解决方案。 同年，加州大学 d a v i s 分校发布了gri d s系统，该系统试图为入侵检测技 术扩展到大型网络环境提供一个实际的解决方案. m 范 吐e l e e 提出了用于入侵检测的数据挖掘技术框架。 加00年， 普渡大学的die goz 别 m boni和e spa 月 b rd提出了 入侵检测的自 治代 理结构，并实现了原型系统a a f i d系统。 从 1 997 年开始，入侵检测开始应用到了商业用途， cisco 公司、155 公司等 都开始推出了自己的入侵检测系统产品.早期的入侵检测系统几乎都是基于主 机的，但是过去的10年里最流行的商业入侵检测系统大多却是基于网络的。现 在和未来几年内的发展趋势似乎是混合型以及分布式系统的发展。 最近， c heung 、 s te ven 等人又提出了 入侵容忍( 知 仇 巧 i ontolerance)的 概念， 在 ids中引入了容错技术。然而，入侵检测技术发展到今天，面对层出不穷、 变化多端的攻击仍然显得十分不成熟。 第2 章 入侵检测技术的研究 2 . 1 . 4入俊监测系统的标准化 1 . i d e s 模型 入 侵 检 测 模 型由d e 耐ng lzi 在1 9 86年 首 先 提出 ， 这 个 模 型 与 具 体 系 统 和 具 体 输入无关，对此后的大部分实用系统都很有借鉴价值。 入侵检测模型如下图2 . 1 所示。 图2. 1入侵检测模型 该模型包括7 个主要的部分112 .l 41 : ( 1) 主体(s u bj ec t) : 在目 标系统上活动的实体， 通常指用户. (2 ) 对象( o bj ec t)= 指资源，由 系统文件、 设备、 命令等。 ( 3 ) 审 计 记 录 (au d it r ec o rd s ) : 由 构 成 的 六 元 组。 活 动 ( a cti on ) 是 主 体 对 对 象 (o bj ec o 的操作， 对操作系统而言， 这些操作包括登录、退出、读、写、 执行等;异常 条 件 伍 xc e pt ion 一 c o nd iti on)是 指 系 统 对 主 体 的 异 常的 活 动 (a cti on ) 的 报 告， 如 违 反 系统读写权限:资源使用情况( r e so 眼e 一 u sa g e ) 指的是系统的资 源消耗情况:时 标( 肠 m e 一 s ta m p) 指活 动( a c t lon) 发生时间。 (4 ) 活动档案 ( a ctivi typrofil e) :即 系统正常 行为 模型， 保 存系 统正常活动的 相关信息。 (5)异常记 录 ( 劫。 m a 】 y reco rd):由 组成。 表示 第2 章 入侵检测技术的研究 异常事件的发生情况。 (6 ) 活动规则 (activi tyr ul es ) : 一组根据产生的异常记录来判断入侵是否发生 的规则集合。一般采用系统的正常活动模型为准则， 根据专家系统或统计方法 对审计记录进行分析和处理，如果确实发生入侵，将进行相应的处理。 2 . 公共入侵检测框架cid f 美国国防高 级研究计 划署(da r p a ) 和互联网 工程任务组( ie tf) 的 入侵检测 1作组( i o w g ) 提出的公共入侵检测框架 c l o r ( c o mm o nl n t n 始 i o nn e te ct i on f ram e werk ) ( h tt p 洲 叭 ， 抓 从 gi dos. ro g) ， 最早由 加州大 学戴 维 斯分校计算机安全实验 室主持起草工作并于 1997 年初正式提出。cidf 所做的工作主要包括4部分: c idf的体系结构、通讯机制、描述语言和应用编程接口a p i 。 c idf 是为了解决不同入侵检测系统的互操作性和共享问题，它的模型如图 2 2 所示 1 12 1 41 . 响应单元 仅e s ponse 一 b o x ) 事件分析器 ( a n al y s i s 一 b o x ) 事件数据库 口a ta b a s e 一 b o x) 事件产生器 原始数据源 图2. 2 入侵检测系统c idf 模型 ( 1)事件产生器 事件产生器的任务是从入侵检测系统之外的计算环境中收集事件，并将这 些事件转换成cid f的gid f 格式传送给其他组建。 例如， 时间产生器可以是读 取c z 级审计踪迹并将其转换为g i d o格式的过滤器， 也可以是被动地监视瓦网 络并根据网 络数据流产生事件的另一种过滤器， 还可以 使s q l 数据库中 产生描 述事务的事件的应用代码。 (2 ) 事件分析器 第2 章 入侵检测技术的研究 事件分析器分析从其他组件受到的g i d o ， 并将产生新的g i d o再传送个其 他组件。分析器可以是一个轮廓描述工具，统计性地检查现在的事件是否可能 与以前某个事件来自同一个时间序列;也可以是一个特征检测工具，用于在一 个事件序列中检查是否有己知的误用攻击特征;此外，事件分析器还可以使一 个相关器， 观察不同事件的关系，将由 联系的事件放到一起，以利于以 后的进 一步分析. (3 ) 事件数据库 用来存储g i d o ，以备系统需要的时候使用. (4 ) 响应单元 响应单元负责处理接受到的g i d o ， 并据此采取相应的措施， 如杀死相关进 程、复位网络会话连接，以及修改文件权限等。 3 . c idf 的通信机制 为了保证各个组件之间安全高效地通信， cid f 将通信机制构成一个三层模 型: g i d o层、 消息层和协商传输层。 要实现现有目的的通信，各组件就必须能正确理解相互之间传递的各种数 据的语义， g i d o层的任务就是提高组件之间的互操作性， 所以g i d o就如何表 示各种各样的事件做了详细的定义。 消息层确保被加密认证消息在防火墙或n at 等设备之间传输过程中的可靠 性。消息层只负责将数据从发送方传递到接收方，而不携带任何有语义的信息: 同样， g i d o层也只考虑所传递信息的语义，而不关心这些消息怎样被传递。 单一的传输协议无法满足cid f 各种各样的应用需求， 只有当两个特定的组 件对信道使用达成一致认识时，才能进行通信。 协商传输层规定 g ido在各个 组件之间的传输机制。 4 . c idf 语言 cid f 的总体目 标是实现软件的复用和入侵检测与响应idr组件之间的互操 作.首先idr组件基础结构必须是安全、 健壮、 可伸缩的，c idf的工作重点是 定义了一种应用层的语言公共入侵规范语言 cis l( c o iyun on l n tn 招 ion s pe ci ficati on l an gi 坦 g e ) ， 用 来 描 述id r组 件 之间 传 送的 信息 ，以 及制 定 一 套 对 这些信息进行编码的协议。cis l可以表示ad f中的各种信息、如原始事件信 息、分析结果、响应提示等。 c ls l使用了一种被称为5 表达式的通用语言构建方法，5表达式对标记和 第2 章 入侵检测技术的研究 数据进行简单的地递归编组，即对标记加上数据，然后分装在括号内完成编组， 这跟u s p 有些类似。 5 表达式的最开头是语义标识符( 简称为s id) ， 用于显示编 组列表的语义。例如下面的表达式: 归ostn田 爪 e 币r s t .ex别 m p l e. com ，) 该编组列表的s id是h 。 别 n ame ， 它说明后面的字符串” fi rst.e x 印 m p le. c om ” 将被解释为一个主机的名字。 2 . 1 . 5入俊检测技术 根据检测技术，可以 把入侵检测系统分成异常入侵检测系统和误用入侵检 测系统， 实际 上， 入侵检测技术也主要分为两类:异常检测( a 。 。 m a ly d e t e c t l on) 和 误 用 检 测 ( m i s 嫂d e te c t io n) l， ， 1 . 1 . 异常检测 异常检测也称为基于行为的检测，它从对过去大量历史活动资料中分析出 正常或者合法的活动，建立一个模型，然后与当前活动进行比较，如果有偏离 正常的模型状态，则发出 警报。异常入侵检测模型的优点在于它能够发现最新 和未知漏洞的行为，而且较少依赖特定的操作系统环境，不过有较高的虚警概 率。 缺点是: 选择恰当的系统( 用户) 特征集较难， 且随环境不同变化很大; 用 户的行为动态变化， 难以协调一致; 入侵者可以逐步训练以改变正常轮廓接受 其行为; 难以定量分析。 异常检测的模型如下图2. 3 所示。 图2. 3异常检测模型 第2 章 入侵检测技术的 研究 异常的主要方法有: ( 1) 统计异常检测方法 统计异常检测方法根据异常检测器观察主体的活动，然后产生描述这些活 动的行为的轮廓。通过比较当前的轮廓与存储的轮廓来判断异常行为，从而检 测出网络入侵。在统计模型中常用的测量参数包括:审计事件的数量、间隔时 间、 资 源消耗情况等。常用的入侵检测5 种统计模型为116 】 : 1 .基于阐值测量的检测，也称为操作模型，该模型假设异常可通过测量结 果与事先设置的一个阐值相比较得到，闭值的设置可以根据经验值或一段时间 内的统计平均得到，通常异常的阐值设置很重要，偏高会导致否定入侵，偏低 又会导致错误的判断，减低系统的效率。比如，在短时间内的多次失败的登录 很有可能认为是入侵行为; 2 .基于平均值和标准偏差模型的检测，这种模型将观察到的前n 个事件用 变量xl，xn来表示， 这些变量的平均值m e an 和标准偏差劝 d e v 分别为: mean=(x . ， xn )/n 成 d e v=sq rt ( (x :2 ， ， 澎) /( n + 1 ) -mere2 ) 设定其置信区间， 当测量值x n +l超过置信区间的范围时表明有可能是异常; 3 .多元模型的检测，他是操作模型的扩展，通过同时分析两个或多个参数 的相关性实现检测，所以比用一个参数来检测异常事件有更好的效果; 4 .马尔柯夫过程模型的检测，该模型将离散的事件看作一个状态变量，然 后用状态迁移阵刻画不同状态之间的迁移频率， 而不是个别状态或审计记录的 频率。当一个事件发生时，或状态矩阵该转移的概率较小则可能是异常事件， 该模型的优点是可以检测到不寻常的命令或事件序列而不是单一事件。 5 .时间序列分析模型，将事件计数与资源耗用根据时间排成序列，如果一 个新事件在该时间发生的概率较低，则该事件可能是入侵。 统计方法的最大优点是它可以“ 学习” 用户的使用习惯，从而具有较高检 出率与可用性。但是它的 “ 学习”能力也给入侵者以机会通过逐步 “ 训练”使 入侵事件符合正常操作的统计规律，从而透过入侵检测系统。 (2 ) 神经网 络 神经网络由许多单元组成，这些单元通过加权的连接相互作用。神经网络 方法的基本思想是利用学习算法对输入和输出向量的关系进行学习，并归纳出 第2章 入侵检测技术的研究 新的输入输出关系，由 此进行判断。神经网络方法可以方便地表达变量间的非 线性关系，并自 动学习和更新。同时，它可以在数据噪声环境中很好地工作。 但其对于事件的异常判断难以提供令人信服的解释，拓扑结构和网络单元的权 重需要用适当的数据反复训练，该方法尚停留在研究阶段。 其它检测方法还有协议认证(p r o to col 、 re r i fi c atio n)、污点检测(taini c he c king ) 、 机器学习 ( m a c hi ne此别 m z in g) 异常检测方 法等。 2 . 误用检测 误用检测也称为基于知识的检测，它是根据已 知的入侵模式来检测入侵， 通常在已知网络入侵方法和系统缺陷知识的基础上，建立一个包括已知信息的 数据库，然后对收集的活动信息进行匹配，如有符合条件的就发出警报。误用 检测的主要问题是如何确定所定义的攻击特征模式可以覆盖与实际攻击相关的 图2. 3误用检测模型 所有要素，也就是怎样降低误报率，以及如何对入侵活动的特征进行匹配。 缺 点: 己 知的入侵模式必须要手工进行编码; 不能察觉未知入侵或已 知入侵的 变种。 模型如图2. 3 所示。 常用的误用检测方法有: ( 1 ) 专 家 系 统 1 1刀 在基于专家系统的入侵检测方法中，首先将入侵特征进行抽取与表达，表 示成 i f- t h e n规则，规则就是知识， 从而形成专家知识库，专家系统的建立依赖 于知识库的完备性，知识库的完备性又取决于审计记录的完备性与实时性。用 第2 章 入侵检测技术的 研究 专家系统对入侵进行检测，经常是针对有特征的入侵行为。在系统实现中， 输 入的攻击信息转化为i f- t h e n 结构( 也可以 是复合结构) ， 条件部分为入侵特征， 将 事件和条件进行比 较，匹配就执行th en 部分的系统防范措施。运用专家系统防 范有特征入侵行为的 有效性完全取决于专家系统知识库的完备性。 (2 ) 状 态 转 移 分 析 ( s tat e tran s it io n a 刀 a ly s is ) 1，吕 1 状态转移的理论根据是网络在正常情况下和受攻击情况下的网络状态、链 路状态的变化是不同的。状态转移法将入侵过程看作一个行为序列，这个行为 序列导致系统从初始状态转入被入侵状态。分析时首先针对每一个被入侵方法 确定系统的初始状态和被入侵状态，以及导致状态转移条件，即大致系统进入 被入侵状态必须执行的 操作( 特征事件) 。 然后用状态转移图 来表示每一个状态和 特征事件，这些事件被集成于模型中，所以 检测时不需要一个个地查找审计记 录。但是，状态转移是针对序列分析，所以不善于分析过分复杂的事件，而且 不能检测与系统状态无关的入侵。 (3 ) 基于专用语言的 误用入侵检测 这种实现方法就是入侵检测系统使用专门的语言，如 sno rt ，来表示入侵特 征。一个入侵特征用一段特定的程序来表示，当一个事件输入到该程序中触发 了内部警报状况，就被视为攻击。 其他的还有模型推理、 基于p et ri网状态转换、批模式分析的误用检测技术 等。 2 . 1 . 6入俊检测系统的分类 根据不同分类方式， 入侵检测系统可分为几类， 如表2 . 1 所示， ids 从本质 上可以 分成两 类: 主 机型 入侵检 测系 统hid s( h o st ln t ru s l ond etections y st e m ) 和 网 络 型 入 侵 检 测 系 统n i d s (ne tw o rkln t n ” ion 吮 te c t ions y 雍 m ) 1 ，2 ，4 1 。 第2 章 入侵检测技术的 研究 表2 . 1 入侵检测系统分类表 分类方法类型 检测技术异常和误用检测系统 数据源基于主机和基于网络的入侵检测系统 工作方式离线和在线检测系统 系统结构集中式和分布式入侵检测系统 对入侵的反应主动式和被动式入侵检测系统 1 . 主机入侵检测系统hid s 基于主机的入侵检测是根据主机系统的系统日志和审计记录进行检测分 析，通常在要受保护的主机上有专门的检测代理，通过对系统日 志和审计纪录 不间断的监视和分析来发现攻击。 它的主要目的是在事件发生后提供足够的分析来阻止进一步的攻击。其优 点有: 1) 能够监视特定的系统行为， 基于主机的i d s 能 够监视所有的 用户登录和 退出甚至用户所做的所有操作，审计系统在日 志里记录的策略改变，监视关键 系统文件和可执行文件的改变等。 2)md s能 够确 定 供给 是 否 成 功， 由 于 使 用含 有已 发 生 事 件 信 息， 他 们 可 以比md s 更加准确地判断攻击是否成功。 3) 有些 攻击在网 络的 数据流中 很难发 现， 或者根 本没有通过网 络在本 地进 行。这时n ids 将无能为力，只能借助于md s 。 其缺点有: l)hid s安 装在需要 保护的 设备 上， 这会降 低应 用系统的效 率。 它 依赖于 服务器固有的日 志与监测能力，如果服务器没有配置日 志功能，则必须重新配 置，这将会给运行中的业务系统带来不可预见的性能影响。 2) 全面布署h i d s 代 价较大。 3) hid s 除了 监测自 身的 主 机以 外， 根本不监 测网 络上的 情况。 2 . 网络入侵监测系统nid s 基于网络的入侵监测系统实施用原始网络数据包作为数据源。其优点有: 第2 章 入侵检测技术的研究 1) 有较低的 成本。 2) 能够检测到h i d s 无法检测的入侵， 例如n i d s 能够检查数 据包的头部 而发现非法的攻击， n i d s 能够检测那些来自 网络的攻击， 它能够检测到超过授 权的非法访问。 3) 实时检测和响应。 一旦发生恶意访问 或攻击， 基于网络的ids 检测可以 随时发现它们，因此能够很快地作出反应。如，对于黑客使用tcp启动基于网 络的 拒 绝服务 攻击 ( d o s) ， ids 系 统可以 通过发 送一个t c p re set来立即 终 止 这个 攻击， 这样就可以避免目 标主机遭受破坏或崩溃.这种实时性使得系统可以根 据预先定义的参数迅速采取相应的行动，从而将入侵活动对系统的破坏减到最 低。 4) 操作系统独立。 基于网络的i d s 并不依赖主机的操作系统作为 检测资 源， 而基于主机的系统需要特定的操作系统才能发挥作用。 5) 入侵对象不容易销毁证据。 基于网 络的i d s 使用活动的网 络通信进行实 时攻击检测，因此攻击者无法转移证据，被检测系统捕获的数据不仅包括攻击 方法，而且包括对识别和指控入侵者十分有用的信息。 其缺