（计算机应用技术专业论文）智能入侵检测技术研究.pdf

摘要 摘要 随着信息技术的不断发展，计算机网络逐渐渗透到了国民经济的各个行业， 计算机网络系统的安全己成为经济社会发展不可忽视的一个方面。在众多的网络 安全技术中，入侵检测技术由于其具有高度的智能性、自适应性和实时性等特点 已成为目前网络安全发展的一个重点。本文结合k a l m a n 滤波、人工神经网络和数 据挖掘等技术，对智能入侵检测技术进行了详细研究，这些研究主要集中在两点， 一个是将信号处理与信号去噪的基本理论应用到入侵检测领域里，设计了基于 k a l m a n 滤波的和基于人工神经网络滤波的入侵检测算法，并对这些算法进行了数 据实验，取褥了良好的效果；另一个是对数据挖掘技术在入侵检测里的应用进行 了探索和研究，并详细研究了关联分析技术在i d s 中的应用，并对相关的a p r i o r i 算法进行了改进，提高了检测效率。 关键词：网络安全入侵检涓i 瑚m a o 滤波人工神经罔络敦据挖掘 a b s t r a c t a b s t r a c t w i t ht h er a p i d d e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g y , c o m p u t e rn e t w o r kh a s g r a d u a l l yp e n e t r a t e di n t oe v e r yc o r r l e fo fm o d e ms o c i e t y , a n di t ss e c u r i t yh a sb e c o m ea v i t a l p r o b l e m t h et e c h n o l o g yo fi m e l l i g e n ti n t r u s i o nd e t e c t i o n ，w h i c hi so fm a n y a d v a n t a g e sl i k eh i g hi n t e l l i g e n c e , a d a p t a b i l i t ya n dr e a l - t i m e , h a sb e c o m ea l lf o c u si n n e t w o r ks e c u r i t yi nt h i sp a p e r , ad e t a i l e ds t u d yo ft h et e c h n i q u eo f i n t e l l i g e n ti n t r u s i o n d e t e c t i o nc o m b i n e dw i t bt h et e c h n o l o g yo fk a l m a nf i l t e r , a r t i f i c i a ln e u r a ln e t w o r ka n d d a t am i n i n gi sm a d e t h e s es t u d i e sa r em a i n l yd i v i d e di n t ot w op a r t s o n ei st oa p p l y t h e p r i n c i p l e o fs i g n a l p r o c e s s i n ga n dn o i s ec a n c e l l a t i o n t ot h ef i e l do fi n t e l l i g e n t i n t r u s i o nd e t e c t i o n ，d e s i g nk a l m a n - f i l t e rb a s e da n da n n - f i l t e rb a s e da l g o r i t h m st h e t e s t i n go f t h e s ea l g o r i t h m si n d i c a t e st h e yh a v ea g o o dp e r f o r m a n c ei nc e r t a i nc o n d i t i o n t h eo t h e ri st oa p p l yt h et e c h n o l o g yo fd a t am i n i n gt oi n t e l l i g e n ti n t r u s i o nd e t e c t i o n ， d e t a i l e d l yd i s c u s sa s s o c i a t i o na n a l y s i s ，a n df i n a l l yt e s ti tw i t hag r o u po fd a t af r o m k d d 9 9 k e y w o r d ：n e t w o r ks e c u r i t y i n t r u s i o nd e t e c t i o nk a l m a nf i l t e r a r t i f i c i a ln e u r a ln e t w o r kd a t a m i n i n g 独创性( 或创新性) 声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果：也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：三袋略i 煎 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生 在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕业 离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。学 校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部 或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文在 解密后遵守此规定1 本学位论文属于保密在一年解密后适用本授权书。 本人签名： 导师签名： e l 期：2 堂l 芏 日期：型：兰 掣 第二章网络安全与入侵检测技术 第一章绪论 1 1 研究背景 随着社会的发展和科学技术的进步以计算机技术为代表的信息技术革命正 在不断向各行各业渗透，并且其应用在不断加深，现代社会正在变成一个高度信 息化的社会。i n t e r a c t 互联网络从最初的集中在大学和研究所等科研部门使用，已 经发展成为全世界人民信息共享和信息交流的一个平台，它已经渗透到了人们的 日常生活的方方面面极大地方便了人们的日常生产和生活。 在信息化社会中，计算机通信网络在政治、军事、金融、商业、交通、电信、 文教等方面的作用日益增大，社会对计算机网络的依赖也日益增强，尤其是计算 机技术和通信技术相结合所形成的信息基础设施建设已经成为反映信息社会特征 的最重要基础设施。入们建立了各种各样完备的信息系统，使得人类社会的一些 机密和财富高度集中于计算机中，但是这些信息系统都是依靠计算机网络接受和 处理信息，实现其相互间的联系和对目标的管理、控制。以网络方式获得信息和 交流信息已成为现代信息社会的一个重要特征。网络正在逐步改变人们的工作方 式和生活方式，成为当今社会发展的一个主题。随着网络的开放性、共享性和互 联程度扩大，特别是i n t e r n e t 的出现，网络的重要性和对社会的影响也越来越显著。 随着网络上各种新业务的兴起，比如电子商务( e l e c t r o n i cc o m m e r c e ) 、电子现金 ( e l e c t r o n i cc a s h ) 、数字货币( d i g i t a lc a s h ) 、网络银行( n e t w o r kb a n k ) 等，以及 各种专用网的建设，比如金融网等，使得安全问题显得越来越突出，成为信息应 用的关键之所在。 i n t e r n e t 最初的起源可以追溯到1 9 6 8 年的美国军方高级研究网络 a r p a n e t ( a d v a n c e d r e s e a r c h p r o j e c t a g e n c y n e t w o r k ) ，在最初的几十年里，它主 要是用于共享文件，以及在各大学的研究人员之间传送电子邮件等，由于主要在 内部使用，基本没有安全需求，网络安全问题没有引起足够的重视，网络的设计 主要以共享和开放为主要原则。但是现在计算机网络已经非常普及，它已经渗透 到政治、经济、军事、文化、科技和教育等众多的社会领域，它的安全问题已经 关系到国民经济的正常运转和人民日常生产活动的正常进行。计算机网络是一个 多种技术相结合的综合性网络体系，在我国，在社会需求和商业利益的驱动下， 这个网络架构正在不断壮大。由于我国网络的应用起步较晚，软件和硬件设施基 本上都是国外商品缺少自主知识产权和核心技术，许多网络在建设初期较少或 根本上没有考虑安全防范措施，因而留下了很多安全隐患。加上缺少专业的网络 安全技术人才和完善的防范措施，应急处理工作目前尚处于自发、无序的状态， 这种局面很难以应付各种病毒和入侵突发事件。 智能入侵检测技术研究 现在世界上每年因利用计算机网络进行犯罪所造成的直接经济损失令人吃 惊。据美国a b a ( a m e r i c a n b a r a s s o c i a t i o n ) 组织调查和专家估计，美国每年因计算 机犯罪所造成的经济损失高达1 5 0 亿美元。据报道，在i n t e r a c t 上，每天大约有4 起计算机犯罪发生。计算机犯罪作为一种更为隐蔽的犯罪手段，给社会带来了 很大的危害，因此网络安全问题已经成为世界各国研究的热门课题。 社会迫切需要能够最大程度地保护这种信息的网络安全产品的出现。在早期， 网络安全产品主要包括防火墙( f i r e w a l l ) 、漏洞扫描工具等。这些产品在定程度 上保护了网络的安全，但是这些产品的智能性都很低，不能自适应网络安全环境 和检测出新出现的漏洞或攻击。防火墙作为一种目前常用的网络安全工具，虽然 能在内外网之间提供一道安全阀门，过滤掉一些具有威胁的网络数据包，但是这 种防护茇略是很初步的，它不具有主动性，只能被动操作，而且也不能检测主机 上的攻击和来自内部网络的攻击。漏洞扫描在一定程度上也能检查出网络或主机 上存在的安全漏洞，但是，为了能检测出不断出现的新漏洞，它需要维护一个不 断更新的规则库，同时它也不能对网络安全状况提供实时的监控和保护。 入侵检测技术( i n t r u s i o nd e t e c t i o nt e c h n o l o g y ) 是近年出现的新型网络安全技 术，目的是提供多方位的实时入侵检测及防护手段，它一般是作为防火墙之后的 第二道安全阀门。理论上要求能够检测出各种形式的入侵或非法行为，是网络安 全防御体系的一个重要组成部分。这里所说的“入侵”是个比较广义的概念，它 是指系统发生了违反安全策略的事件。这些事件包括：试图获取对系统或数据进 行非授权地访问和控制；程序的威胁( 病毒、特洛伊木马、恶意的j a v a 或a e t i v e x 小程序等) ；为将来攻击做准备的探测扫描系统漏洞等。入侵检测是对入侵行为的 发觉，它通过在计算机网络或计算机系统中的若干关键点收集信息并对这些信息 进行分析，从中发现网络或系统中是否有违反安全策略的行为和被攻击的迹象。 与其它产品不同，入侵检测系统需要更多的智能性，它必须能对得到的来自多个 数据源的数据进行综合分析，同时一个合格的入侵检测系统还要能大大简化网络 管理员的工作，保证网络的正常运行。现阶段市场上也出现了一些入侵检测产品， 这些产品一般都是基于特征检测技术的，检测效果都不理想，不能够有效的对付 变种或新型的入侵，要达到这个目的。就要发展智能性更高的智能入侵检测技术。 1 2 本文的工作 本文针对现阶段入侵检测系统的一些缺点，结合入侵检测技术发展的实际， 在前人工作的基础上，主要在对入侵检测的技术方法上做了一些有益的探索和实 践。主要内容包括： 1详细介绍了网络安全的基本概念和理论方法，并对网络安全的主要关键技术进 第二章网络安全与入侵检测技术 行了分析研究。 2对入侵检测的基本概念及相关技术进行了分析研究和比较，并对入侵检测技术 在国内外的发展情况进行了介绍。 3将系统产生的安全事件看作是一种信号，结合入侵检测的特点，将信号处理的 基本理论应用到入侵检测里。入侵检测领域里所指的信号和信号处理领域里的 信号有很大的不同，不适宜在频域范围内进行研究，这里主要对时域范围内的 方法进行了研究，分别结合k a l m a n 滤波方法和人工神经网络滤波方法设计了 入侵检测检测算法，并进行了数据验证，取得了良好的效果。这里面最大的难 点在于得到干净的参考数据，这里采用m a r k o v 链方法，在提取历史数据的特 征的基础上，利用随机数来产生参考数据。 4 对数据挖掘的基本理论和方法进行了研究，并将其应用到入侵检测领域里。数 据挖掘能在大量数据中寻找有价值的数据模式，它的主要方法有四个方面：关 联分析、聚类分析、时间序列分析和分类分析，这里主要对关联分析在入侵检 测中的应用进行了研究。 5 对关联分析a p r i o r i 算法进行了改进。由于该算法并不是针对i d s 领域设计的， 使用它进行关联分析时，会产生大量的无价值模式，因此结合入侵检测的特点 在该算法里引入了关键属性，删除了一些不必要的模式，以此来提高该算法的 计算效率。 1 3 本文的结构安排 本文结合i d s 的发展和热点问题，主要在i d s 检测方法方面做了一些理论和 实验的研究工作。具体来说，主要结构安排如下： 第一章为绪论，简要介绍了当前的网络安全状况和发展智能入侵检测技术的 重要性，并介绍了本文的主要内容。 第二章为网络安全技术基础和入侵检测技术研究，对当前的网络安全技术进 行了介绍，并对入侵检测技进行了系统的研究，同时对国内外的发展情况做了介 绍。 第三章为基于信号去噪技术的入侵检测技术研究，研究信号处理与信号去噪技 术在入侵检测中的应用。 第四章为基于数据挖掘的入侵检测技术研究，重点研究了关联分析技术在入侵 检测中的应用。 第五章对本文所做工作给以总结，指出还需要解决的问题和一些尚需进一步研 究的内容。 智能入侵检测技术研究 第二章网络安全与入侵检测技术 2 1 网络安全技术基础 随着计算机技术与信息技术的发展，计算机网络的安全日益突出。一般认为， 计算机的网络安全包括网络的物理安全和信息安全两个方面，物理安全是指保护 交换机、服务器、路由器、传输信道等硬件实体免受破坏：信息安全是指保护系 统内的程序和数据等信息不受破坏或泄漏。在现实环境中，网络的信息安全显得 尤其重要和迫切，因此下面主要讨论网络安全主要是指网络的信息安全问题。 计算机网络安全的特征主要表现在机密性、完整性、可靠性、可用性、不可 抵懒性、可控性等几个方面。机密性是指网络信息不被泄露给非授权的用户、实 体或过程，也就是信息只为授权用户使用。机密性是在可靠性和可用性基础之上， 保障网络信息安全的重要手段。完整性是网络信息未经授权不能进行改变的特性。 完整性是一种面向信息的安全性，它要求保持信息的原样即信息的正确生成、 正确存储和正确传输。完整性与机密性不同，机密性要求信息不被泄露给未授权 的人，而完整性则要求信息不致受到各种原因的破坏。影响网络信息完整性的主 要因索有：设备故障、误码( 传输、处理和存储过程中产生的误码，定时的稳定度 和精度降低造成的误码。各种干扰源造成的误码) 、人为攻击、计算机病毒等。可 靠性是指系统能够在规定条件和规定时间内完成规定功能的特性。可靠性是系统 安全的最基本要求之一，是所有网络信息系统的建设和运行的基本目标。可用性 是只允许授权者在需要时使用信息，未授权者不能占有网络资源并阻碍授权者正 常使用信息。不可抵懒性是在网络信息系统的信息交互过程中，所有参与者都不 能否认曾经完成的操作和承诺。数字签名技术是解决不可抵懒性的手段之一。可 控性是对网络信息的传播具有控制能力的特性，防止非法和有害信息通过公共网 络进行传输。 网络安全是一个动态的、不断完善的过程。其动态安全过程可以用p 2 d r 模型 来说明。如图2 1 ，p 2 d r 模型有四个部分组成：p o l i c y ( 策略) 、p r o t e c t i o n ( 防护 、 d e t e c t i o n ( 检测) 和r e s p o n s e ( 响应) 。在安全策略的统一指导下，其余三个部分组 成一个完整的、动态的安全循环。在该循环里，综合运用各种防护工具( 如防火墙、 v p n 、身份认证等) 和检测工具( i d s 、漏洞检测等) ，通过适当的反应系统将系统 调整到“最安全”或“风险最低”状态。在p a d r 模型中，p 表示攻击所需的时间， d 表示检测系统安全的时间，f 表示系统对安全事件的反应时间，网路安全就是要 尽可能延长p ，尽量减少d 。和。当p 。 吐+ 时，系统是安全的，否则p ， 0 表示属性，的权重。一般来说，轮廓的特征变量不是相互独立，需要更 复杂的函数处理其相关性。在测量系统的属性时，常见的有以下两种测量类型： ( 1 ) 类型测量：描述特定的活动在各种类型的分布状况以及各个类型活动出现 的次数多少。 ( 2 ) 活动强度测量。测量活动的处理强度或速度一般用于检测突发行为，不 能用于长时间的平均行为效果。 统计检测模型比较多，常用的有以下几种： - 操作模型，该模型假设异常可通过测量结果与一些固定指标相比较检 测到，这些固定指标可以根据经验值或一段时间内的统计平均得到： 方差，计算参数的方差，设置置信区间，当测量值不在置信区间表明 可能是异常： 智能入侵检测技术研究 多元模型，操作模型的扩展，通过同时分析多个参数实现检测。 马尔可夫过程模型，将每种事件定义为系统状态，用马尔可夫过程表 示状态的变化，通过计算事件的转移概率实现检测： _ 时间序列分析，将事件计数与资源消耗根据时间排成序列如果某事 件在某时间内计数较高，但该事件在该时间的概率较低，则该事件可 能是入侵事件。 统计异常检测方法的优点是所应用的技术方法比较成熟，研究的比较充分，但 是统计入侵检测系统有以下几个缺点： _ 容易被入侵者利用逐渐训练适应入侵行为。 一异常阀值比较难于确定，偏低或偏高均会导致误报警事件。 _ 由于假设数据来源稳定和具有相似性，但是这种假设并不总是能够满 足。 2 神经网络方法 神经网络是一种模拟人脑的非线性并行分布处理网络。神经网络中各个节点 ( 或神经元) 通过可调节的权值彼此相连接，能通过实例样本的训练使网络不断地 调整权值，以便使网络能达到最佳的性能。 神经网络的基础在于神经元。神经元是以生物神经系统的神经细胞为基础的 生物模型。大量的形式相同的神经元连结在一起就组成了神经网络。神经网络是 一个高度非线性动力学系统。虽然，每个神经元的结构和功能都很简单但是神 经网络的动态行为却是十分的复杂。神经网络模型是以神经元的数学模型为基础 来拥述的。神经网络模型由网络拓扑节点特点和学习规则来表示。常用的神经网 络模型包括b p 网络、h o p f i d d 网络、a r t 网络和k o h o n e n 网络等。神经网络的 优点主要表现在以下几个方面： 并行分布处理。 高度鲁棒性和容错能力。 分布存储及学习能力。 能充分逼近复杂的非线性关系。 在入侵检测里应用神经网络方法时，首先要根据一定的算法训练网络的权值， 待网络输出稳定后便可以用来进行检测。与其它技术相比，神经网络方法用于入 侵检测有以下几个优点： ( 1 ) 统计方法依赖于一些假设，如假设用户的行为分布符合高斯分布，而实际 上，用户行为具有随机性，这样导致了较高的误报率。神经网络可以通过利用大 量实例进行训练的方法学会掌握知识，获得预测能力，无须强调对数据分布的假 设。 第二章网络安全与入侵检测技术 ( 2 ) 统计方法中用来刻划用户行为特征的测量属性一般凭直觉和经验来选择。 这些测量属性的效果很难评价。有些变量，当考虑所有用户时可能无效，但考虑 某些特殊用户时却非常有效。神经网络可作为一个工具帮助评价各种测量属性。 ( 3 ) 传统的对攻击特征的刻划是固定的序列，现实中对同一种攻击可能手段不 同，入侵模式库是无法反映出所有的这些变化。向神经网络展示新发现的入侵攻 击实例，通过再训练可以使神经网络对新型或变种的攻击模式产生反应，从而使 i d s 具有自适应能力和检测新型攻击的能力。 2 4 2 误用入侵检测技术 误用入侵检测，也称为基于知识的入侵检测，这种d s 将对网络系统和主机 的各种攻击模式编码成规则，存入到知识库里，i d s 将用户的当前操作行为与知识 库的攻击模式相匹配当发现有匹配的行为时，就认为是入侵。误用入侵检测技 术是基于特征的，它的优点是误报率低，准确性好。但是，它也有很多的缺点： ( 1 ) 知识库只存储了当前已知的攻击模式和系统脆弱性，对新的攻击和变 种攻击无能为力： ( 2 ) 知识库里的攻击模式需要不断地更新，而这些模式的更新需要很深的专业 知识，更新困难，耗时； ( 3 ) 知识库会随着系统攻击模式的增加而不断增大，造成系统的运行效率降低。 专家系统、特征匹配和状态牵移是误用入侵检测的主要技术。 1 专家系统 专家系统包含了描述攻击的i f - - t h e n 知识规则，这些规则是安全专家对入 侵行为的分析经验形成的，规则以过去的入侵、系统的已知弱点、安全政策为依 据。这些球一n 也n 规则描述了攻击知识当规则的左边的全都条件都满足时， 规则的右边的动作就会执行。入侵检测专家系统采用的推理方式主要有以下两种： 精确推理：根据数据应用符号推理出入侵的发生情况。 模糊推理：根据其它的入侵证据，进行不确定性推理。 当然专家系统技术除了有精确性高、速度快的优点外，也有很多的局限性： 攻击知识的提取困难，知识库维护困难； 处理的数据量过大时，效率不高； 由于知识规则由专家编写系统的性能与该专家的知识和技能密切相 关。 2 特征匹配 特征匹配也需要知道关于攻击的知识。在特征匹配方法中，攻击特征句法描 述被翻译成可在审计追踪中直接找到的信息形式，如：攻击场景可被翻译成审计 智能入侵检测技术研究 事件序列。因此减少了攻击特征描述的复杂度，大大提高了检测效率。这种方法 的特点是原理简单、扩展性好、检测效率高、可以实时监测，但只适用于检测比 较简单的攻击，并且误报率高。由于其实现、配置和维护都非常方便，因此得到 了广泛的应用。但是，如果要表示出攻击的所有特征，其缺点就会比较明显。 3 ，状态迁移 状态迁移法描述攻击模式的方法不同与上面两种方法，它是采用系统状态和 状态迁移表达式来描述攻击模式。现有的状态迁移法主要有状态迁移分析和着色 p e t r i 网。状态迁移分析是通过检测攻击行为所引起的系统状态的变化来发现入侵 的，而着色p e t r i 网则是通过对攻击行为本身的特征进行模式匹配来检测入侵的。 ( 1 ) 状态迁移分析 状态迁移分析是使用状态转移图来表示和检测已知攻击模式的误用检测技 术。状态迁移分析使用有限状态机模型来表示入侵过程。入侵过程是由一系列导 致系统从初始状态转移到入侵状态的行为组成。初始状态表示在入侵发生之前的 系统状态，入侵状态则表示入侵完成后系统所处的状态。系统状态通常使用系统 属性或用户权限来描述。用户的行为和动作会导致系统状态的改变，当系统状态 由正常状态改变为入侵状态时即认为发生了入侵。 ( 2 ) 着色p e t r i 网 另一种采用状态迁移技术来优化误用检测的方法是由p u r d u eu n i v e r s i t y 的 s a n d e e pk u m a r 和g e n es p a f f o r d 设计的着色p e t r i n ( c p - n e t ) ，这种方法将入侵表示 成一个着色的p e t r i 网，特征匹配过程由标记( t o k e n ) 的动作构成。标记在审计记录 的驱动下，从初始状态向最终状态( 标识入侵发生的状态) 逐步前进。处于各个状 态时，标记的颜色用来表示事件所处的系统环境( c o n t e x t ) 。当标记出现某种特定 的颜色时，预示着目前的系统环境满足了特征匹配的条件，此时就可以采取相应 的响应动作。 2 4 3 其它入侵检测技术 除了上面提到的入侵检测技术，近年了还出现了一些新的入侵检测技术，这 些技术主要有基于生物免疫的入侵检测技术、基于基因算法的入侵检测技术和基 于数据融合的入侵检测技术。 1 基于生物免疫的入侵检测技术 基于生物免疫的入侵检测的技术是通过模仿生物有机体的免疫系统工作原 理，使得系统能够将自我的合法行为与非自我的非法行为区分开来。生物免疫系 统对外部入侵病原进行抵御并对自身进行保护，但抵御了一个未知病原的攻击 后即对该病原产生抗体，获得免疫能力，当该病原再次入侵时即可迅速有效地进行 第二章网络安全与入侵检测技术 抵御。免疫系统面临的主要问题是将不属于自我的有害东西与其它东西区别开来。 基于生物免疫的入侵检测模仿生物的免疫系统，实时监控和处理主机的审计 数据，提取感兴趣的行为数据，建立系统或用户的行为特征模式，并与己知的正 常行为模式匹配，一旦发现异常便报警。这种入侵检测系统主要由入侵分析、入 侵判断和入侵响应3 个部分构成。从操作系统提取的审计数据经数据过滤及分析处 理，转换为统一的数据模式，以便执行入侵分析。行为特征数据库是入侵判断的 主要依据，通过入侵判断( 与行为特征数据库的匹配) ，将判断结果通过用户界面 通知网络管理员。 2 基于基因算法的入侵检测技术 基于基因算法的入侵检测技术是使用基因算法对审计事件记录或网络连接进 行分析。基因算法是在达尔文的进化论的基础上提出一种优化算法。该算法利用 对“染色体”的编码和相应的变异与组合，形成新的个体。该算法通常针对需要 进行优化的系统变量进行编码，作为构成个体的“染色体”，再利用相应的变异 和组合，形成新的个体。 这种算法将网络连接及其权值和审计事件记录都用二进制串进行编码，通过 不断的进化、杂交和变异，获得全局意义上的最优的网络结构和模型。 3 基于数据融合的入侵检测技术。 基于数据融合的入侵检测技术是结合多数据源数据融合技术和入侵检测技术 而发展起来的一种入侵检测技术。当前的入侵检测系统由于没有充分考虑来自多 个监测源的监测信息，造成系统信息利用率普遍不高，检测入侵困难。基于数据融 合的入侵检测技术吸收了信息融合技术的优点，采用多种检测手段获得同一对象 的多源检测信息，然后采用信息融合的进行技术手段将这些信息融合，最后利用这 些融合后的信息进行入侵检测。由于得到的信息较全面，因而系统的检测能力能得 到大幅度提高。 2 5 入侵检测技术研究的现状与发展趋势 随着计算机技术和网络技术的不断发展，入侵检测技术已经取得了极大的进 步，但是，由于这种系统的复杂性和要求的不断提高，入侵检测技术还面临着很 多的挑战。 1 误报率和漏报率都很高 误报率是指正常或合法的行为被入侵检测系统测出为不正常或非法行为的概 率；漏报率是一个非正常或非法行为没有被入侵检测系统检测出来的概率。误报 和漏报都是十分令人头疼的事情，它不但降低了i d s 的效率，同时误报率高会导 致产生大量的报警信息，漏报率高又会将受保护系统推到了一个十分危险的境地。 智能入侵检测技术研究 一个有效的入侵检测系统应保持较低误报和漏报次数，将误报率和漏报率降到最 低。但是，在实际中没有任何一个系统能无敌于误报和漏报，造成这种情况出现 主要有以下几个原因： ( 1 ) 缺乏共享数据的机制。大部分安装的入侵检测系统是独立操作的，例如， 在一个典型的i n t r a n e t 环境中，企业有可能把网络型入侵检测系统部署在网络的关 键点上，而这些关键点一般是在通往d m b s 或应用服务器的路径。同时，也部署 一些主机型的入侵检测系统在非常重要或数据非常敏感的主机上。这样的部署造 成这些入侵检测系统之间没有一个共享信息的标准机制，各个系统各自为战，之 间不能有效地共享有价值信息。 ( 2 ) 缺乏集中协调的机制。当前有很多网络都会有多个子网或存在不同种类的 主机，这些不同的网络和主机有不同的安全问题，在它上面部署的入侵检测系统 有各自不同的特别功能，这些不同的入侵检测系统被部署在网络的各个角落里， 它们之间缺乏有效的相互协调机制，需要对这些系统集中管理，来改善它们的整 体检测能力。 ( 3 ) 缺乏有效地分析在某时间段内审计数据的能力。随着部署防火墙及入侵检 测系统越来越普遍，大部分的网络及计算机系统需要更多的时间才能被黑客攻破。 这样有很多信息变得更有意义，从中会发觉这些信息在一段时间内互相串连， 这对发现黑客攻击是非常重要的。例如，如果我们发现某人在某个口地址有可疑 行为，在查找历史数据记录后，我们就可以很快发现这个p 地址在过去进行了大 量的扫描请求，这两者的吻合会令我们肯定该用户正在准备发动攻击。 ( 4 ) 缺乏有效追踪分析能力。追踪某个攻击的最终目标地址是保护计算机及网 络系统最有效、最彻底的方法。但实现这方法有很多难点，很多情况下追踪的“最 终来源”是另一台己被攻击者攻破的计算机。攻击者知道自己会被追踪，所以只 会在很短的一段时间内进行攻击，使追踪者没有足够的时间来追踪他们。追踪是 一个复杂的过程，要求有很高的时效性，相互之间的沟通会浪费宝贵的时间，减 慢追踪过程。而且行政及法律的问题还不清楚，即使找到了黑客，也很难将其绳 之以法。 2 自适应性差 目前全世界的计算机网络已连为体，每天来自网络上的攻击层出不穷，手 段和方式千变万化，不断革新，网络环境越来越复杂，而当前的i d s 主要是基于特 征检测的。这些特征是基于预先定义的攻击模式，这就意味着i d s 不可能根据网络 环境的变化自适应地更新知识库里的攻击模式，因此对于现有攻击手段的简单变 种，特征检测就无能为力了，更不用说新型的攻击手段。欲解决这些问题。就需 要借助人工智能、神经网络、机器学习等智能计算技术，开发更高智能性的i d s 系 统。 第二章网络安全与入侵检测技术 3 分析处理数据量大 人类社会已进入网络时代，网络的规模和带宽速度都在飞速增长，现实环境 对入侵检测系统的实时性和处理效率要求越来越高，而网络的速度越来越快，数 据记录越来越多，面对这些问题，如何有效地平衡加以解决己成为一个难题。 4 攻击越来越复杂，越来越有组织性 网络的应用越来越普及，来自四方八面的网络攻击也越来越多，特别是由一群 技术高超的攻击者组织策划的攻击，更是屡见不鲜。有时候，攻击者要花费长时间 准备，在全球性发动攻击。等等这些攻击，都给i d s 系统提出了严峻的考验。 入侵检测从提出到现在已经有几十年了，但是在许多问题上还很不成熟，还 需要进一步的研究探讨，当前的d s 研究主要集中在下面几个方面： ( 1 ) 检测系统的攻击反应机制 当前的入侵检测系统面对入侵行为时，要么报警通知系统管理员，要么切断 该连接，暂时终止该次攻击。这些入侵反应机制过于简单，非常被动，不能很好 地杜绝犯罪。采取非常主动的反应措施，又牵涉到法律、道德、伦理等多个方面 的问题，当前的立法在这方面还很不健全。 ( 2 ) 高度分布的协作式入侵检测系统 黑客入侵手段不断更新，入侵规模不断提高，尤其是分布式、协同式、复杂 模式攻击的出现和发展，传统的单一、缺乏协作的入侵检测技术己经不能满足需 求，需要有充分的协作机制。这里所说的协作主要包括两个方面的内容： 一事件检测、分析和响应能力的协作； 一各部分所掌握的安全相关信息的共享。 多个i d s 能够协同工作，优势互补。资源共享，组成一种全新的分布式i d s ， 从而能够利用尽可能多的信息，更精确地识别和定位攻击，要达到这些目的，i d s 应该有一个公共的标准框架，这就是公共入侵检测框架一c d f ( c o m m o ni n t r u s i o n d e t e c t i o nf r a m e w o r k ) 。c i d f 是一套规范，它定义了i d s 表达检测信息的标准语 言以及d s 组件之间的通信协议。符合c d f 规范的i d s 可以共享信息，相互通 信，协同工作，还可以与其它系统配合实施统一的安全策略。c i d f 将入侵检测系 统分为事件产生器( e v e n tg e n e r a t o r s ) 、事件分析器( e v e n ta n a l y z e r s ) 、响应单元 ( r e s p o n s eu n i t s ) 和事件数据库( e v e n td a t a b a s e s ) 四个部件。这四个部件相互协同， 通过标准通信协议和信息交换协议共同完成检测任务。 ( 3 ) 建立黑客攻击模型以及主机和网络安全状态模型 当前的i d s 对入侵的检测基本都是在已知攻击的基础上提取其特征，然后将 其与知识库里的特征模式相匹配。但是现有的攻击特征库过于简单，没有扩展性 和适应性。造成较高的误报率和漏报率，并缺乏对未知攻击和变种攻击的预警能 力。研究现有的黑客攻击方式，归纳出有扩展性和适应性的较通用的攻击模型， 智能入侵检测技术研究 在实践中能高效地排除噪音，大大提高效率，减少误报和漏报，弗且只要与该模 型匹配的攻击都能被预警，增强了对未知攻击的预警能力。建立主机和网络安全 状态监测主机和网络当前的安全状态。一旦发现异常，可采取应急措旌，如进行 全面的日志记录，启动一般处于禁止态的( 开销较大的) 入侵检测模块，在一段时 间内禁止一些危险操作等。对于存放高度机密信息的机构这种措施尤其有用。安 全状态模型应该是通用的，并有可调参数，当系统置于新环境时，可由系统自适 应或由安全管理员设定这些参数。 ( 4 ) 对已有检测方法的改进和新的检测方法的研究 目前已有的入侵检测技术包括基于知识的检测和基于行为的检测。基于知识 的检测包括专家系统、模型推理等。这种检测由于依据具体特征库进行判断，所 以准确度很高、响应速度快。但与具体系统依赖性太强，移植性不好，维护工作 量大，受已有知识的限制，难以检测出变种和新型攻击。基于行为的检测包括概 率统计方法、神经网络方法等。这种检测与系统相对无关，通用性较强可检测 出以前未出现过的攻击方法。它的主要缺陷在于误报率很高。鉴于两者存在的优 点和不足，而且已证明依靠单一的入侵检测方法不可能检测出所有入侵行为，所以 现在的研究主要集中在对已有的检测方法进行改进和对新检测法的研究上，以期 能找到效率和效果相一致的检测方法。 第三章基于信号去噪技术的入侵检测技术 1 9 第三章基于信号去噪的入侵检测技术 在日常生活中，人们会遇到各种各样的信号，同样从计算机所获取的反映计算 机正常和受攻击状态的各种事件数据( 包括主机安全事件和网络安全事件) 也是一 种离散时变信号。在这种信号里，计算机正常和非正常数据混合在一起，要对计 算机的状态进行识别必须将这种混合信号进行分离，而在时域内的滤波、去噪 等信号处理技术能有效地完成这些功能，这里正是采用这些方法来完成对计算机 入侵事件的检测。 本章首先介绍了一下信号处理与信号滤波技术然后详细讨论了k a l m a n 滤波 技术和人工神经网络滤波技术，在此基础上设计了基于k a l m a n 滤波和基于人工神 经网络滤波的入侵检测算法。在这里研究的信号不同于信号处理与信号去噪里所 研究的信号，它的正常信号和噪声在频域内严重重合，分离比较困难；同时，这 些信号也不像信号处理里研究的信号，可以很容易地将其用一组正弦函数表示， 进行分析研究，因此，这里所用的信号去噪技术都是在时域范围内。 3 1 信号滤波基础 信号滤波在实际的工程应用比较广泛。在通信系统中，常常有噪声引入，为 了尽量减少这种噪声对通信的影响，自然要采用滤波来提高通信质量。在控制系 统中，控制是由源于系统过程测量的反馈构成，通常这些测量会带有不希望的信 号，为了使控制接近于所要求的量，这也需要进行滤波。从总体上说，这些滤波 一般能完成下面三种功能： 平滑：这是输出滞后或延迟的情况，即在f 时刻滤波器输出t 一口时刻的估值。 这种延迟并不意味着失真，可以获得更高的滤波精度。这种情况下滤波器能利用 的信息较多，既包括t 时刻以前的又有以后的，如图3 1 所示。 滤波：是在t 时刻滤波器复现本时刻的值，目的主要是实时状态下消除信号噪 声，如图3 2 所示。 预测：是在t 时刻滤波器输出t + 口时刻的估值，是输出超前情况。这时滤波器 可以利用t 时刻及其以前的所有信息，如图3 3 所示。 图3 1 、图3 2 和图3 3 分别表示了基于时间序列的平滑、滤波和预测问题。 从图上可以清楚地看到，平滑是滞后估计，滤波是实时估计，预测是超前估计。 王( t a ) t 一t 图3 1 平滑 智能入侵检测技术研究 量( t ) t 图3 2 滤波 一l tt + a 图3 3 预测 信号处理里的滤波理论比较多，包括线性和非线性，静态和动态，适应和非 适应，下面简要介绍一下。 1 线性和非线性滤波 如果一个滤波器的输出是输入的线性函数，则认为该滤波器是线性滤波器， 否则为非线性滤波器。在实际中没有绝对理想的线性滤波器，所有的滤波器都是 非线性的，般都是为了研究方便。把接近线性的滤波器假设为理想线性滤波器。 2 静态和动态滤波 滤波器的输入从某种意义上说可以分为静态输入和动态输入，一般把输入信 号和训练信号有同样特征的滤波称为静态滤波，而把输入信号和训练信号有不同 特征的滤波称为动态滤波。在实际中一个系统往往是静态和动态兼而有之，信号 是静态，而噪声是动态；或刚好相反：同时一个系统的信号和噪声也有可能同为 静态或动态。和线性与非线性样，实际中不存在绝对的静态滤波，但为了研究 方便，可以简化一些动态系统为静态系统进行研究。在入侵检测中，只要选择合 适的时间段，计算机的正常事件信号可以被看成静态，而攻击事件信号由于有很 大的不确定性，不能将其看成是静态的，只能是动态的。当然，最理想的情况是 正常事件信号和攻击事件信号都被看作是动态的。这无疑将极大地增加滤波的计 算量和难度。 3 适应和非适应滤波 适应滤波本身依靠递归算法不断更新滤波参数来适应滤波环境的不断改变， 相反不能跟随环境改变自身滤波参数的滤波则称为非适应滤波。采用适应滤波使 得对一些缺少先验知识的系统的滤波成为可能，由于先验知识少，这种滤波除了 需要信号本身的信息外还需要一个参考信号。事实上，适应滤波也是非线性滤 波，它也不遵守线性叠加原理。尽管这样，我们还是把输入与输出具有一定线性 关系的适应滤波成为线性适应滤波，否则称为非线性适应滤波。维纳( w i e n 盯) 滤波 和卡尔曼( k a l m a n ) 滤波都是线性适应滤波，人工神经网络a n n ( a r d f i c 时n e u r a l 第三章基于信号去噪技术的入侵检测技术 n e t w o r k ) 滤波是非线性适应滤波。由于入侵检测系统要求有很强的适应性，这里 将重点讨论这种适应滤波。 适应滤波由于其能跟踪输入信号，并且对系统的先验知识要求少，因而它在 很多方面得到了应用。一般来说这些应用可以分为这么几个方面：系统识别、预 测和去噪。系统识别的目标是寻找一个能描述未知系统的输入与输出模型，这个 模型所描述的输出与系统的期望输出之间的误差尽可能的小。预测不同于系统识 别，寻找系统的输入输出函数。其目的主要用于信号的预测。去噪主要使用来净 化输入，它一般有两个输入：基本输入和参考输入，基本输入包括正常信号和噪 声，参考输入仅包括噪声。这几种适应滤波的工作原理如下图所示。 图3 4 系统识别 实际输出 期望输出 实际输出 期望输出 i 兰! 竺全 - 圈一糖籼 适应滤波分为线性适应滤波和非线性适应滤波，在线性适应滤波里，比较经 典的就是维纳( w i e n e r ) 滤波和卡尔曼( k a l m a n ) 滤波，由于维纳( w i e n e r ) 滤在工程 运用中必须把用到的全部数据存储起来，而且每一时刻都要通过对这些数据运算 智能入侵检测技术研究 才能得到所需要的各种量的估值，所以对计算机的存储容量和计算能力都要求极 大，很难满足入侵检测系统对实时性的要求，因此这里不作详细讨论。而卡尔曼 滤波不同，不需要保存过去的所有测量数据，每一时刻各种量的估值只需要新的 测量值和前一时刻诸量的估值，借助系统本身的状态转移方程，按照一套递推公 式计算即可。相对来说，卡尔曼( k a l m a n ) 滤波就比较实用，这里将详细介绍。 卡尔曼( k a l m a n ) 滤波由r e k a l m a n 于上世纪6 0 年代提出，它第一次引入了 状态空间的概念，完全不同于强调分析综合系统输入与输出的传统估值理论。卡 尔曼滤波研究的对象是线性离散动态系统( 如图3 7 所示) ，它的滤波过程是一个 线性优化过程。卡尔曼滤波有一个非常明显的特征就是使用状态空间来描述系统， 使用递归来解决问题，由于状态的更新仅与前一个状态和新的输入有关。这使得 卡尔曼滤波计算效率非常高。 图37 线性离散动态系统 作为个处理时序状态空间的重要工具，卡尔曼滤波提供了一种递归方法来不 断更新动态系统当前状态，每得到一个测量值，卡尔曼滤波就更新系统状态。实 际上，卡尔曼滤波没有对输入信号的特征做出限制，既能处理静态输入，也能处 理动态输入。卡尔曼滤波描述的过程可以用下面两个方程来表示： 测量方程：y ，= f x ，+ 1 ， 式( 3 - 1 ) 状态方程：+ 。= 彳+ 肋，+ w ， 式( 3 2 ) 其中，f 是测量矩阵，v ，是测量噪声，它的均值为0 ，协方差为r ，a 是系 统从f 到t + 1 时刻的状态转换矩阵，1 4 ) ，是均值为0 ，协方差为q ，的系统白噪声。 在信号去噪里没有控制变量卡尔曼滤波方程可以简化为： 测量方程：y ，= f x ，