毕业设计（论文）-防火墙与入侵检测联动方案设计与实现.doc

摘 要在网络技术飞速发展的今天，安全问题已经成为重中之重，而防火墙和入侵检测作为最常用的两种安全防护手段在独立使用时都存在着一些明显的缺点和不足。因此，如何组建一个集两种安全防护手段于一体的网络安全系统，而且可以使二者通过综合集成来共同发挥作用，这已经成为网络安全研究的重要课题。本文首先从剖析入侵检测与防火墙技术的特点出发，通过对联动机制的研究，论述如何将二者进行综合集成，并通过相关的算法研究与在系统中的应用，论述这一组合联动机制的实施方式。论文所做的主要工作如下：（1）建立了一种以开发接口的协同联动为基础的保护机制，就是指防火墙通过利用分布式入侵检测系统及时地发现安全策略之外的入侵攻击行为，入侵检测系统通过防火墙阻断来自外部网络的攻击行为，形成有效的安全防护机制，从而提高网络的整体防护能力。其中，入侵检测系统通过利用分布式检测、分布式分析与集中管理模式，有效提高对入侵事件的检测效率和反应速度。同时，通过向入侵检测系统的主控端传输每一台主机（或服务器）入侵检测报告，有效降低网络负载，提高协同安全保护机制的时效性。（2）基于Server/Client的通信交互模式，利用通道加密技术SSL与DES加密算法和密钥验证机制，在入侵检测系统和防火墙之间实现传输信息的验证和加密功能，保证通信的安全可靠。（3）认真研究了入侵检测系统中的模式匹配技术，在分析BM算法的基础上，提出了基于最长前缀思想的新模式匹配算法EBM算法，该算法在后缀的匹配中使用shift表来确定移动值，极大地提高了算法的运行效率，并通过理论和实践证明了该算法优于BM算法。（4）从“危险”级别定义和“可转移”级别定义的出发，制订了安全的协同联动策略，提出了分布式入侵检测系统中各事件分析器的协作算法，该算法可以节约系统的开销，减轻分析器的分析任务和资源占用。由于传输的仅仅只是分析报告，用几十个字节就可描述本地的分析检测结果，因此在彼此进行协作时，网络负载不重，对检测实时性影响不大。关键字：防火墙、入侵检测、联动技术AbstractWith the development of network, it is important to protect the network via improving and innovating the network security and protection. Nowadays, there are many kinds of network technologies, in which Firewall and intrusion detection system (IDS) are applied widely, when they are used to protection the network security separately, they are not completely enough to solve the problem of security. Thus, it is a interesting issue to make these two security protection systems united to construct an integral protection mechanism. Based on their respective advantages and disadvantages, this paper is formed, in which the necessity and feasibility is discussed, and some corresponding methods or algorithms are presented in detail. Some major issues in this paper are as follows.(1) Use the open interface to design a novel interactive mechanism. In this mechanism, firewall can apply distributed IDS to find the new attack actions beyond the security policies. In the other hand, the IDS may interdict the attack actions from the external networks. Thus, the feasible and effective protection mechanism is formed to improve the performance of network security. Where, the IDS is configured with distributed detection, distributed analysis, and central management, which may improve the detection efficiency and response speed. Since the detection report with several bytes, the network load is decreased and its real-time capability is improved. (2) Based on the communication pattern of Server/Client, the capability of validation and encryption is implemented, in which the technique of channel encrypted, i.e. SSL, and the encryption algorithm, i.e. DES are used to obtain the secure and reliable communication.(3) A close study is made on the pattern matching arithmetic. The dissertation presents a new pattern matching arithmetic-EBM arithmetic. The new arithmetic uses the most long prefix to match, and uses a shift table to calculate shift value in the matching of postfix. The dissertation proves that the EBM arithmetic is superior to BM arithmetic on theory and in practice. (4) From the concepts of “risk” and “transfer”, the policies of secure interaction are established. The cooperation algorithm for all event analyzers in the distributed IDS is presented to reduce the system load and lighten the complexity of analysis. Since the local detection report may be described with some bytes of content, when they cooperate, they occupy little bandwidth. Thus, the real-time availability is good.Key Word： Firewall, intrusion detection system, linkage technology目 录摘 要IAbstractII目 录IV第一章 绪论71.1 网络安全形势分析71.2 防火墙与入侵检测联动研究现状81.3 主要研究内容91.4 论文组织安排10第二章 防火墙与入侵检测技术分析112.1 防火墙技术112.1.1 防火墙的概念与构成112.1.2 防火墙的基本类型 包过滤防火墙 状态检测包过滤防火墙 应用网关（代理）防火墙142.2 常用入侵检测技术142.2.1 入侵检测的基本概念142.2.2 入侵检测常用方法 异常检测 误用检测202.2.3 入侵检测模型 Denning抽象模型 CIDF草案模型 IDWG草案模型26第三章 防火墙与入侵检测系统联动机制研究283.1 联动方式选择283.2 网络数据获取303.2.1 数据包获取313.2.2 数据包过滤313.2.3 规则提取与构造343.2.4 网络连接状态监控383.3 防火墙与入侵检测系统之间的通信383.4 协同联动策略制订403.5 分布式入侵检测中的联动算法423.6 模式匹配算法研究433.6.1 BM算法简介443.6.2 EBM算法453.6.3 EBM算法复杂度分析493.6.4 EBM算法的改进之处493.6.5 实验结果及分析493.7 异常检测技术研究513.7.1 静态马尔可夫链模型523.7.2 异常检测方法及其算法实现5 检测策略5 统计模型的建立5 检测算法5 模型修正算法553.7.3 试验结果及分析56第四章 联动系统设计与仿真594.1 联动系统设计594.1.1 设计思想594.1.2 体系结构604.1.3 联动算法614.2 仿真结果与分析624.2.1 总体思路624.2.2 实现流程624.2.3 数据接口644.2.4 仿真结果654.2.5 主要结论67第五章 总结与展望695.1 主要工作总结695.2 有待进一步研究的问题70参考文献71致谢76图 目 录图2-1 包过滤防火墙工作原理图14图2-2 状态检测包过滤防火墙工作原理图15图2-3 应用网关（代理）防火墙工作原理图16图2-5 用户时间概率树22图2-6 STALKER数据结构和操作24图2-7 状态转换图25图2-8 petri网分析一分钟内四次登录失败25图2-9 Denning的抽象模型26图2-10 CIDF模型28图2-11 IDWG通知模型28图2-12 通知-查询模型29图3-1 WinPcap的结构35图3-2 WinPcap捕包时工作流程图36图3-3 规则结构40图3-4 防火墙与入侵检测系统的通信机制42图3-5 Winsock通信流程图44图3-6 防火墙与入侵检测系统联动过程44图3-7 防火墙与入侵检测系统联动算法示意图46图3-8 好后缀移动（x里还包含u，且该u前是一个不同于b的字符）47图3-9 好后缀移动（好后缀移动，x里只含有u的一个后缀）48图3-11 坏字符移动，x不包含a48图3-12 EBM算法流程图51图3-13 实验结果对比53图3-14 算法在不同模式串下的匹配次数54图3-15 算法在不同模式串下的扫描时间54图3-16 基于静态马尔可夫链的异常检测策略56图3-17不同滑动窗口长度下事件的平均支持概率60图3-18不同序列长度下事件的平均支持概率60图4-1联动系统体系结构63图4-2 联动算法流程图64图4-3 Linux防火墙与入侵检测系统试验环境工作流程66图4-4 FORWARD规则链7076北京大学硕士学位论文第一章 绪论1.1 网络安全形势分析随着互联网技术的迅猛发展和“地球村”时代的到来，网络将会对社会的政治、经济、文化、军事和社会生活等各方面产生深远的影响，互联网的发展为全球范围内实现高效的资源和信息共享提供了方便，同时也对网络的安全提出了新的挑战，网络安全已引起各国、各部门、各行业的高度重视，在网络中引入安全防范机制已成为人们的共识1-4。全球使用互联网的人数呈几何速度增长，此外，关于黑客攻击计算机的报道也飞速增加，黑客对网络的攻击与入，已经对国家安全、经济健康、社会生活稳定产生了极其严重的负面影响。同时，还要许多把其作为一种军事手段，已经或正在开发先进的网络攻击技术，有些恐怖分子和极端分子甚至能够获取对国防信息系统的控制，使国家对军事力量的部署和维持能力收到大大削弱。我国互联网方面的业务不断增加。但对于网络安全的维护，无论是思想认识，还是技术准备，都非常欠缺。多数网站都存在严重的安全隐患，包括一些大型门户网站与商务网站都曾遭受过黑客的攻击。我国Internet用户数已经超过1亿，而因网络被攻击而造产生重大损失的事件时有发生，维护安全防范的形势非常严峻。根据国家计算机网络应急技术处理协调中心发布的相关数据：我国网络安全事故增长明显，2008年，网络仿冒、网页恶意代码、网站篡改等增长速度接近200%，木马主机的增长率为2125%。木马、僵尸网络和其他与域名相关的安全问题是网络安全的主要威胁。面对复杂的网络安全形势，如何探索解决网络安全问题的办法，已经成为社会各界、相关学者研究的重要课题。解决这一问题的当务之急就是要建立并完善安全预警和应急保障体系。据相关数据显示，发生的网络安全事件中，由信息网络管理员通过技术监测发现的占53.5%，通过部署购买安全产品报警发现的占46.4%，事后分析发现的占35.4%。因此，除进一步完善信息安全制度和行政管理制度之外，信息安全技术及其设备的设计开发与合理使用同样十分重要。保障网络安全，不能仅仅依靠单一的安全技术或安全产品，更需要安全技术的综合利用和安全产品的互动协作，以更好地动态检测网络安全事件的变化特性，更有效地提供网络系统的安全防范能力。因为单一的技术或产品只能提供一定程度安全保护，对于形形色色的攻击行而言，将防火墙与入侵检测系统（Intrusion detection system，IDS）进行协同联动进行深度立体防护，也是其中一个重要的技术方案。1.2 防火墙与入侵检测联动研究现状从狭义的防火墙概念而言，它是两个网络之间访问控制的一个或一系列网络设备，是安装了防火墙软件的主机、路由器或多机系统；从广义的防火墙概念而言，它还包括整个网络的安全策略和防范行为，是保障网络安全的一系列手段。防火墙与目前应用的代理服务器、过滤器、加密器、口令验证器等网络安全设备一样，都采用的是静态安全技术，需要利用人工实施和维护。但人们一般认为，只要安装防火墙就足以保护处于它身后的网络不受外界的侵袭和干扰。但随着网络技术的发展，网络结构日趋复杂，传统防火墙在使用过程中也暴露出了一些不足之处4：n 入侵者或者黑客可以利用伪造相关数据的方式绕过防火墙，或者找到防火墙中存在的薄弱之处；n 一般防火墙通常被安装在网络出口处，因此，其对来自网络内部的攻击无法起到防范预警的作用；n 由于性能上的限制，一般防火墙都不具备对入侵病毒的实时监控能力；n 防止相关病毒对主机或系统的入侵是防火墙的一个薄弱之处。近年来，作为一种有效的安全防范技术，入侵检测得到了广泛的重视，它被认为是除防火墙之外的互联网的第二重保护。入侵检测的定义是：对计算机和网络资源上的恶意行为进行识别和响应的处理过程。入侵检测系统收集计算机网络系统中的若干关键点信息，并分析这些信息，从而检查网络中是否有违反安全策略的行为或遭到攻击。同时，与防火墙一样，入侵检测系统在使用过程中也存在着一些缺点和不足 1,5,6：n 有关攻击特征的数据库不能及时更新。随着网络技术的不断进步，网络攻击的新方式方法不断更新，而系统漏洞或新的攻击方法的不断被发现，而很多入侵检测系统未能提供及时更新的方法，致使网络受到威胁。n 不能将所有的数据包都进行有效的检测。随着网络的发展，网速越来越快，同时，侵检测系统对截获的每一个数据包进行分析、统计、匹配都要花费大量时间和系统资源，因此，对网络数据的检测处理存在一定困难。n 对网络数据检测分析的方法过于单一，难于应付网上越来越多的攻击。n 控制缺乏外部网络对内部网络访问的控制能力。由此可见，防火墙与入侵检测系统的协同联动是保护网络安全的一个重要方法，其目的在于从立体化、多层次角度做好网络安全防御，对防范网络恶意攻击及误操作提供了主动的实时保护，从而能够在网络系统受到危害之前拦截和响应。从目前这方面取得的成果来看，国内外众多计算机领域的专家学者、网络技术人员在防火墙与入侵检测系统联动方案的设计与开发方面取得了很好的成绩，有效联动平台也在企业、军队等得到了广泛应用。李信满等7提出了一个基于防火墙的网络入侵检测系统模型，解决了入侵检测系统不能主动控制的问题，并对其中的关键技术做了详细的描述。该模型对于具有统计特性的网络入侵具有较好的检测与控制能力。陈科等8详细分析了防火墙和网络入侵检测系统在维护网络安全中存在的问题和不足，介绍了他们研发的基于CIDF框架下的集成防火墙和入侵检测系统模型，分析了这种集成如何促进网络安全性能的提高。戴新宇等9对具体实现防火墙与入侵检测系统的联动，做了详细描述。李美贵等10提出了一个新的基于分布式防火墙和入侵检测技术相结合的系统设计方案。张兴东等11从OPSEC和TOPSEC协议出发，对防火墙与入侵检测系统之间的联动技术进行了深入的分析，给出了防火墙与入侵检测系统联动的关键技术，并对如何保障自身安全进行了探讨。谢洁锐12与庄健平13等各自设计入侵检测系统和防火墙联动的模式，利用两者的结合，有效地保护用户信息安全。冯庆煜14采用分布式开放平台安全互联的方法，实现防火墙与入侵检测系统的联动。提出联动系统对突发网络攻击进行主动防御的思想，对相应关键技术进行了探讨，目的在于增强入侵检测系统的阻断功能。此外，Verwoerd15、姚兰16、方杰17、李剑波18、张勇19等都对防火墙与入侵检测系统的协同联动的研究林如了大量心血。本问在借鉴以往防火墙和入侵检测系统协同联动机制研究成果的基础上，根据以入侵检测技术为代表的动态安全技术和以防火墙为代表的静态安全技术的区别与联系，提出了将动态技术与静态技术更好更有机结合的安全保护机制，平衡二者缺点，取其长补其短，促进网络系统安全防护水平的提高。通过各种协同联动机制把相关安全技术有机的结合起来，共同保障和维护网络安全。防火墙和入侵检测系统之间的联动，从而使防护体系从由静态防护转变为动态防护，由平面防护转变为立体防护，有效提升了防火墙的机动性和实时防护能力，强化了入侵检测系统的防御功能。1.3 主要研究内容文中要研究的是实现防火墙与入侵检测系统的协同联动，以满足网络在系统安全防范方面的需求。以对防火墙和入侵检测系统的深入研究为基础，将两个系统的各自优点及功能共同展现在新的系统中，把实时、快速的动态安全技术作为对静态技术的有效补充，把静态技术中的包过滤、信任检查、访问控制等内容作为动态技术的有力保障，双管齐下，互为补充，共同促进。事实证明，不管是在理论上还是实践中，防火墙和入侵检测系统的组合较之以原先单一的网络防范技术都有了较大的进步，促进了网络安全防御整体水平的提高。本文主要对以下内容进行分析研究：（1）建立了一种以开发接口的协同联动为基础的保护机制，就是指防火墙通过利用分布式入侵检测系统及时地发现安全策略之外的入侵攻击行为，入侵检测系统通过防火墙阻断来自外部网络的攻击行为，形成有效的安全防护机制，从而提高网络的整体防护能力。其中，入侵检测系统通过利用分布式检测、分布式分析与集中管理模式，有效提高对入侵事件的检测效率和反应速度。同时，通过向入侵检测系统的主控端传输每一台主机（或服务器）入侵检测报告，有效降低网络负载，提高协同安全保护机制的时效性。（2）基于Server/Client的通信交互模式，利用通道加密技术SSL与DES加密算法和密钥验证机制，在入侵检测系统和防火墙之间实现传输信息的验证和加密功能，保证通信的安全可靠。（3）认真研究了入侵检测系统中的模式匹配技术，在分析BM算法的基础上，提出了基于最长前缀思想的新模式匹配算法EBM算法，该算法在后缀的匹配中使用shift表来确定移动值，极大地提高了算法的运行效率，并通过理论和实践证明了该算法优于BM算法。（4）从“危险”级别定义和“可转移”级别定义的出发，制订了安全的协同联动策略，提出了分布式入侵检测系统中各事件分析器的协作算法，该算法可以节约系统的开销，减轻分析器的分析任务和资源占用。由于传输的仅仅只是分析报告，用几十个字节就可描述本地的分析检测结果，因此在彼此进行协作时，网络负载不重，对检测实时性影响不大。1.4 论文组织安排第一章 引言部分，主要介绍了网络安全防御工作的现状以及国内外对本课题研究的现状。第二章 防火墙与入侵检测技术，分析和研究了现有的防火墙及入侵检测技术。第三章 防火墙与入侵检测系统联动机制研究，在对建立联动机制涉及的关键技术进行分析的基础上，提出了一种新的防火墙与入侵检测系统间的联动机制，并对这一机制建立的关键环节进行了深入研究。第四章 联动系统设计与仿真测试，在联动机制研究的基础上，设计了一种新型联动系统，并给出了仿真测试结果。第五章节 结束语，总结全文，提出了有待开展深入研究的问题。第二章 防火墙与入侵检测技术分析2.1 防火墙技术2.1.1 防火墙的概念与构成防火墙是设置在内部网和外部网或网络安全域之间的一系列部件的组合，通过预定义的安全策略，对内外网通信实施强制性访问控制的安全应用技术。它是不同网络或网络安全域之间的惟一出口，防火墙能根据安全策略控制（允许、拒绝、监测）出入网络的信息流，且本身具有较强的抗攻击能力，是提供信息安全服务，实现网络和信息安全的基础设施20,21。防火墙本本质上它是一个分离器、限制器及分析器，它通过有效监控内部网和外部网之间一切活动，来保证内部网的安全运行。防火墙代表了一个网络的访问原则。如果某个网络设置防火墙，那么首先需要确定本网络的安全策略，即允许何种类型的信息通过防火墙，拒绝何种类型的信息通过防火墙。防火墙的职责就是根据安全策略的需要，对外部网络与内部网络交流的数据进行检查，过滤非法数据，实现安全策略。 除了安全策略以外，在设置防火墙时还要确定防火墙类型和拓扑结构。一般来说，防火墙被设置在内部网络和外部网络之间。它相当于一个控流器，用来监视或拒绝应用层的通信业务；防火墙也可以在网络层和传输层运行，在这种情况下，防火墙检查进入和离去的报文分组的IP和TCP头部，根据预先设计的报文分组过滤规则来拒绝或允许报文分组通过。2.1.2 防火墙的基本类型 包过滤防火墙包过滤防火墙是最基本的防火墙，工作在网络层，其工作原理如图2-1所示。包过滤防火墙通过检查数据包，通过查看数据包中所有可用的基本信息（源地址、目的地址、端口号、协议类型、消息类型等），将这些信息与规则相比较，从而决定是否允许该数据包通过。包过滤又称“报文过滤”，是一种简单有效的方法，通过拦截数据包，读取包头信息，把不应入站的包过滤掉。由于包过滤技术相对简单，只需对每个数据包与相应的安全规则进行比较，就可得出是否通过的结论，所以防火墙主机用来处理包过滤的时间非常短，执行效率也很高，其应用非常广泛。图2-1 包过滤防火墙工作原理图在防火墙上构造安全规则，通过分组过滤算法实现分组过滤，其中分为入网规则和出网规则。入网数据包过滤：进入内部网的数据包必须接受包过滤器过滤后才能进入内部网络。出网数据包过滤：离开内部网的数据包必须接受包过滤器的过滤流向外部网络。而包过滤防火墙可以对数据分组中如下信息进行安全过滤：n 源地址和目标地址。n 包的类型，如TCP、UDP、ICMP或any。n 源端口号和目的端口号。n ICMP报文类型。n 包中的ACK和SYN标志，这是为了防止在某个特定方向上建立新的连接。n 某块网卡的名字或者IP地址，这样可以指定在特定的网卡上进出包。每个过滤规则均结合一个策略，当防火墙从某一端口接收到数据包后，从该包中提取IP源地址、目的地址、源端口号、目的端口号和协议标志，根据提取内容查询安全规则库，并根据匹配结果来决定如何处理该数据包。通过安全规则的检查，可以阻塞或允许内部网络和外部网之间的任何一种网络服务。包过滤防火墙可根据特定的服务允许或拒绝出入的数据包，这是因为可以存储需要进行安全检查的主机地址，而服务器的端口号则代表着某种网络服务。多数的网络服务程序都与特定的TCP/UDP端口相联，如Telnet服务器在TO的23号端口上监听远端连接，而SUP服务器在TCP的25号端口上监听到来的Email的信息。为了阻塞所有进入的Telnet连接，包过滤防火墙中只需无条件地丢弃TCP端口号为23的数据包。也就是说，在包过滤系统中，通过对服务器的端口号进行检查就能处理某种网络服务。通过检查模块，防火墙拦截和检查所有进站和出站的数据，首先验证这个包是否符合过滤规则，不管是否符合过滤规则，防火墙一定要记录数据包的情况，对不符合规则的数据包要进行报警。过滤规则遵循“禁止一切未明确表示允许的包”的原则。即在进行安全检查时，防火墙将数据包解析后与安全规则进行匹配，并遵循如下三条规则：n 如果遇到一条规则允许接收该数据包，则通过了安全检查，并做后继处理。n 如果遇到一条规则阻塞数据包，则丢弃该包。n 安全规则被全部匹配后，如果数据包不满足任何规则，则该包被丢弃。包过滤系统处于网络的IP层和TCP层，而不是应用层，所以，它无法在应用层对具体的操作进行过滤。以FTP为例，FTP应用中包含许多具体的操作，如读取操作、写入操作、删除操作等。再者，包过滤系统不能识别数据包中的用户信息。 状态检测包过滤防火墙此类防火墙与前者有所不同，它对特定应用进行更细粒度检测，容易暴露底层OS；对更多应用进行粗粒度检测效率更高。其工作原理如图2-2所示。图2-2 状态检测包过滤防火墙工作原理图该防火墙检测的项目是：n IP包的源、目的地址、端口；n TCP会话的连接状态；n 上下文信息。此类防火墙对以上各项进行主动、实时的监控，并可重组会话，对应用进行细粒度检测，且数据吞吐率高。 应用网关（代理）防火墙应用网关（代理）技术是一种正在应用的安全技术，它结合了前面两类防火墙的比较安全和较高速度的优点。在应用网关（代理）型防火墙中，初始的安全仍然发生在应用层，一旦安全通道建立后，随后的数据包就可定向到网络层。其工作原理如图2-3所示。图2-3 应用网关（代理）防火墙工作原理图2.2 常用入侵检测技术2.2.1 入侵检测的基本概念入侵检测是通过从各种系统和网络资源收集信息，并分析以找到安全问题征兆的一种安全技术。入侵检测系统执行下列诸多功能22：n 对用户与系统的各种网络行为进行监视和分析n 对系统配置与脆弱性进行审计n 对关键系统和数据文件的完整性进行准备评估n 对已知攻击的行为模型进行识别并作出反映n 对发现的异常行为模型进行统计分析n 对操作系统进行审计追踪管理，从而对违反策略的用户行为进行识别反映有的系统还提供其他特性：n 自动安装销售商提供的软件补丁n 安装并运行诱骗服务程序，以记录关于入侵者的信息在有的情况下，入侵检测系统允许用户指定对侵害作出实时响应。这些特性的组合让系统管理员更易于处理对系统和网络的监视、审计和评估。2.2.2 入侵检测常用方法目前检测方法大致分为两大类型：一是异常入侵检测23-25 ，指根据异常行为和使用计算机资源情况检测入侵；二是误用入侵检测，是指利用已知系统和应用软件的弱点攻击模式来检测入侵。误用入侵检测能够直接检测到不利的或不可接受的行为，而异常入侵检测只是检查与正常行为相违背的行为。两种类型的入侵检测方法如能结合起来使用26，则能构建一种混合类型的入侵检测系统。 异常检测定义2.1 异常检测是通过观测到的一组测量值偏离度来预测用户行为的变化，然后作出决策判断的检测技术。1、 基于机器学习的异常检测这种检测方法通过机器学习实现入侵检测。其主要的方法有死记硬背式、监督学习、归纳学习(示例学习)、类比学习等。Terran和Brodley2729将异常检测问题归结为根据离散数据临时序列学习获得个体、系统和网络的行为特征，并提出一个基于相似度的实例学习方法(instance based learning简称IBL)，该方法通过对新序列相似度计算将原始数据(如离散事件流，无序的记录)转化成可度量的空间。然后，应用IBL学习技术和基于序列的分类方法，发现异常类型事件，以此检测入侵。新序列相似度定义如下：设表示长度，由序列和得：则相似度为:令表示用户的模式库即已知序列的集合。是一个新的用户序列，则计算作为对进行分类识别，检测异常序列的依据。当小于预先设定的阈值时，可以证明入侵发生。实验结果表明，这种方法检测迅速，而且误检率低。然而，此方法在用户动态行为变化以及单独异常检测方面还有待改善。复杂的相似度量和先验知识加入到检测中可能会提高系统的准确性，但需要做进一步的工作。2、基于统计分析技术的异常检测统计模型常被人们用于异常检测，在统计模型中常用的测量参数包括审计事件的数量、间隔时间、资源消耗情况等。Denning22提出了可用于入侵检测的5种统计模型：n 操作模型：该模型假设异常可通过测量结果与一些固定指标相比较得到，固定指标可以根据经验值或一段时间内的统计平均得到。举例来说，在短时间内的多次失败的登录很可能是口令尝试攻击。n 均值与方差：计算参数的方差，设定其置信区间为，当测量值超过置信区间的范围时表明有可能是异常。假设已知参数的前个观测值可以计算均值与方差如下：样本均值：样本方差：样本标准差：一个新的观察值如果落在了置信区间的外面，则证明它是异常的。由Chebyshev不等式可知落在置信区间的外面的概率至多为，如果取，则概率为0.0625。n 多元模型：这个模型和均值与方差模型类似，它是通过同时分析多个参数实现检测。当多个参数之间有更好的分离度时这种模型比均值与方差模型的效果更好。如执行程序时CPU的运行时间和I/O单元的使用分别做为参数进行同时观察，效果就要好于仅观察其中的一个参数。n 马尔可夫过程模型：将每种类型的事件定义为系统状态，用状态转移矩阵：表示状态的变化，其中为系统在某时由状态转变为状态的概率，若对应于发生事件的状态矩阵中转移概率较小，则该事件可能是异常事件。这种模式对于命令序列的观察是比较有效的。n 时间序列分析：将事件计数与资源耗用根据时间排成序列，如果一个新事件在该时间发生的概率较低，则该事件可能是入侵。统计方法的最大优点是它可以“学习”用户的使用习惯，从而具有较高检出率与可用性。但是它的“学习”能力也给入侵者以机会通过逐步“训练”使入侵事件符合正常操作的统计规律，从而骗过入侵检测系统。3、基于神经网络的异常检测基于统计的入侵检测技术需要一些前提条件，如审计数据的分布需要符合高斯分布。并且刻划用户行为特征的度量一般是凭借感觉和经验，很难评估这些度量是否能有效的刻划用户行为。神经网络技术是模拟人脑神经学习机能的成果。由于神经网络具有高度的容错能力，自适应、自学习、自组织的能力，因此，Fox30将神经网络技术引进入侵检测系统，用于攻击检测。首先用能够代表正常用户行为的数据如系统的审计数据、用户的行为模式作为样本点对神经网络进行训练。通过多次的学习使神经网络可以从中提取出正常的用户或系统活动的特征模式，从而获得预测的能力。之后神经网络根据用户正常的行为特征，对入侵行为进行检测，也即对被监视的系统用户行为进行分类和识别。这样就将模式匹配和判断的操作转换为数值计算，提高了系统的处理速率，并可以对未知的入侵行为进行检测。一个基于神经网络的检测模型如图2-4所示：图2-4 基于神经网络的检测模型其中为神经网络的输入矢量，神经网络一般选取BP网络，其传递函数一般为Sigmold函数即:输出值和表示正常行为和异常行为的概率，值在01之间，并设定和分别表示正常和异常的阈值。若：n 表示正常；n 表示异常；n 且与的值在01之间，则可认为是正常，可给出必要的提示信息；n 且与的值在01之间，则认为出现异常，进行报警。4、 基于免疫系统的异常检测人工免疫技术是受到生物免疫系统的启发而发展起来的一种新技术。生物免疫系统具有以下几个特征：多样性，这很好的改善了免疫系统的健壮性；分布性，由于免疫系统的组成元素通过局部的交互来提供全局的保护，所以不需要中央控制，也就不存在单点失效；容错性，这使得一些小的错误不会产生灾难性的后果；动态性，即组成元素并不是一成不变的，在不断有死亡的同时，又有新的产生，这一过程增加了免疫系统在时间和空间上的多样性；自我保护性，免疫机制既可以保护活体也可以保护自身；自学习，免疫系统可以学习识别及响应新的细菌。正是这些特征，使得完全可以作为一个原则来将免疫技术应用于入侵检测中。Forrest31于1996年首先将免疫技术用于基于主机的入侵检测中。她首先定义特权进程所执行的系统调用序列作为被保护计算机的“自我”，然后建立由系统程序的正常行为组成的数据库，当建立好这个数据库后就可以监视程序行为了。如果发现了不在数据库中的序列表明有异常的行为发生。类似免疫系统，一个主机可以有多个数据库来定义“自我”。后来，Forrest又将免疫技术应用于基于网络的入侵检测中，她将一次计算机间的连接按照源IP、目的IP和服务（或端口号）来进行定义，并将这个信息压缩为一个49位的字串，将“自我”定义为计算机间正常的连接，“非我”定义为不常见的连接。检测器首先是随机的产生，经过训练后用于检测。这里Forrest采用了一个简单的方法来判断“非我”是否出现就是进行两个字串的匹配。需要注意的一点是匹配长度的选择是一个关键的因素。通过以上的分析可以得出免疫技术应用于入侵检测时一般是以下几个步骤：1）定义“自我”集合；2）生成一组检测器。这里一般是采用否定选择的思想，随机生成一组串，将每个串和“自我”集进行匹配，匹配成功丢弃该串，不成功则纳入检测器集；3）监控。将输入数据与检测器进行比较，若检测器被激活，则表明有异常的行为。5、时间概率网技术基于用户的行为遵循着一定的规律的这一假设，产生了一种新的异常检测技术时间概率网络技术32。这一技术首先将检测入侵转化为三个问题：在将来会发生什么？入侵在何时发生？产生的危险有多大？为了解决这三个问题，根据信息抽象的层次该技术定义了一个层次结构。这个结构分为三层，第一层称为即时层，该层讨论的是事件（event）；第二层称为行为层，讨论的是由具有唯一起始事件的事件序列组成的行为；第三层称为活动层，讨论的是由行为组成的活动。事件是最底层，一般存储在操作系统的日志中，所以是不可分割的，它有五个属性：事件名、事件号、位置（即IP）、时间和一些附加信息。行为层中的每个行为的属性为：开始行为的事件；结束行为的事件；事件之间的关系。活动层中的活动描述事件之间的关系为relation，行为之间的关系为relation之前，之后，相遇，期间，包括，重叠，被重叠，启动，被启动，结束，被结束，相等。在进行了以上的分析后可以建立一个时间概率树。树的结点为其中是预定义的用户行为，参数和用于描述行为的时间分布。树的边连接了位于和层的结点。其中为进行轮换的号。这个转换的概率为由以上的定义可知单个结点代表了行为，被边连接的两个结点代表了活动。图2-5是一个按照以上的定义建立的用户时间概率树：图2-5 用户时间概率树入侵检测系统进行学习时，初始只有一个根结点，然后按照以下规则进行更新：n 在学习阶段系统发现一个新的行为模式，那么产生一个新的结点。n 在创建新边的时候初始化，因此初始的概率为n 当由于用户行为变化使进入这一分支的概率很小的情况下，系统删除相应的结点和边。经过学习以后这个概率树就可以用于检测入侵了。 误用检测误用入侵检测的主要假设是具有能够被精确地按某种方式编码的攻击，并可以通过捕获攻击及重新整理，确认入侵活动是基于同一弱点进行攻击的入侵方法的变种。定义2.2 误用入侵检测指的是通过按预先定义好的入侵模式（特征）以及观察到入侵发生的情况进行模式匹配来检测。入侵模式说明了那些导致安全突破或其他误用的事件中的特征、条件、排列和关系。1 基于专家系统的误用检测基于专家系统的攻击检测技术是根据安全专家对可疑行为的分析检验所形成一套推理规则，并在此基础之上构成相应的专家系统。所谓专家系统是基于一套由专家经验事先定义的规则的推理系统。所谓的规则，即是知识。不同的系统与设置具有不同的规则，且规则之间往往无通用性。专家系统的建立依赖于知识库的完备性，知识库的完备性又取决于审计记录的完备性与实时性。入侵的特征抽取与表达，是入侵检测专家系统的关键。专家系统一般将有关入侵的知识转化为if-then结构(也可以是复合结构)即：if（入侵特征）then（系统防范措施）基于规则的专家系统或推理系统也有其局限性，因为作为这类系统基础的推理规则，一般都是根据已知的安全漏洞策划的，但对系统最危险的威胁则主要来自未知的安全漏洞。实现基于规则的专家系统是一种知识工程问题，而且其功能应随着经验的积累，利用其自学习能力对规则进行不断扩充和修正。一方面，推理机制使得系统面对一些新的行为现象时可能具备一定的应对能力(即有可能会发现一些新的安全漏洞)，另一方面，攻击行为也可能不触发任何规则，而检测不出来。STALKER是一种常用的基于专家系统的入侵检测系统产品，它使用通用审计数据格式和一个用于攻击特征的基于状态的数据结构描述入侵。它通过传递审计记录到误用引擎来实现误用检测。引擎在状态转换表格中维护了一个检测特征集，特征集中的特征表达式结构和STALKER误用检测器的操作如图2-6所示。索引初始状态转移函数1转移函数2转移函数转移函数n状态1状态2状态状态n终止状态初始状态转换函数1状态1转换函数2终止状态（发生误用）状态2转换函数n图2-6 STALKER数据结构和操作2 基于状态转移的误用检测这种方法首先由Phillip Porras和Richard Kemmerer33提出，随后Koral和Kemmerer34进一步发展了这一技术。状态转移技术的前提是基于计算机的入侵有两个通用的特征。一是攻击要求攻击者拥有有关目标系统的最小的先决条件。这种先决条件包括访问某个文件、设备、线路等。二是入侵会导致获得原先没有的能力，无论是未授权访问数据、获得其它用户的特权，还是有损其它人的不正当的需要，进行入侵的主体总是表现出要获得一定的权力（something）。在状态转移技术中，入侵过程被看作是由入侵者发起的一系列行为。它们由系统的初始状态到目标危害状态变化。状态是指系统中全部的不稳定或者半稳定及稳定的现场值的瞬时记录。初始状态指系统即将被入侵前的状态。危害状态指完成入侵后产生的系统状态。在这两个状态之间存在一个或多个入侵者完成入侵所进行的中间状态转移。图2-7显示了一个状态转换图表的组成，以及它们如何被用来代表一个入侵序列。其中，节点代表状态，弧代表转换。在具体应用中，状态转换引擎保存着一套状态转换图表，其中每一个图表代表一种入侵。在给定时间内，假定一系列动作把系统变成图表中的某个特定状态。当一个新动作发生时，引擎就拿它与每一个图表对比，看该动作会把系统变到下一个什么状态，进而判断是否有入侵发生。图2-7 状态转换图还有一种与状态转换类似的分析方法即petri网法。利用petri网的有利之处在于它能一般化、图形化地表达状态，并且简洁明了。虽然很复杂的入侵特征能用petri网表达得很简单，但是对原始数据匹配时的计算量却很大。图2-8是这种方法的一个简单示例，表示在一分钟内如果登录失败的次数超过4次，系统便发出警报。其中竖线代表状态转换，如果在状态S1发生登录失败，则产生一个标志变量，并存储事件发生时间T1，同时转入状态S2。如果在状态S4时又有登录失败，而且这时的时间秒，则系统转入状态S5，即为入侵状态，系统发出警报并作相应措施。图2-8 petri网分析一分钟内四次登录失败状态转换分析方法提供了一个直接的、高级的、与审计记录无关的入侵行为描述。它可以归纳出相同的入侵，并可以真实再现入侵过程。但是它有时不能充分表达复杂的入侵，而且需要从目标系统搜集额外的信息，且不能检测许多一般的攻击。采用这种方法的系统有STAT（stat transition analysis technique）和USTAT（stat transition analysis tool for UNIX）。3 基于信息检索技术的误用检测信息检索技术是一种新提出来的误用检测技术。目前，所有入侵检测都面临的一个问题是，由于资源的局限，使得可以利用的大量数据仅有一小部分被检测。为了解决这一问题，研究者们提出了许多的方法，但是这些方法都需要编码来建立用户的行为轮廓。而信息检索技术则不存在这样的问题。这种技术利用已有的搜索引擎来完成对大量数据的检测。其基本的思想是：当系统管理员获得了某种特殊的命令组合可以获得特定主机的根权限时。他将这一组合作为关键词利用搜索引擎对