（计算机科学与技术专业论文）智能入侵检测中的特征提取和集成学习技术研究.pdf

国防科学技术大学研究生院学位论文 摘簧 随着甄联潮的迅猛发展，黑客攻击目盏猖獗，斛络安全问题翟趋严竣，攒统计，全球 几乎每2 0 移就有一起黑容事件发生，俊美国每年蠢诧遥成静经济损失就超j 鹭1 0 0 伍美元， 因此，网络安全问题成为当今社会关注的焦点。目前，实现网络安全的主要技术有：入侵 检测技术、虢火墙技术_ 鞠安全路电器技术等，其中豹入侵检测技术由予其对愁知豹各静入 侵和部分未知的入侵具宥较好的识剽能力，成为p 2 d r ( p o t i c yp r o t e c t i o nd e t e c t i o nr e s p o n s e 帮 策略、防护、检测、响成) 安全模型的一个重要组成部分，它是动态安全技术的最核心技 寒之一。 从上l 戆纪8 0 年代a n d e r s o n 挺黥入侵检测模熬和8 0 年代中期s r i 公苟浚计并成功实 现著名的i d e s ( 入侵检测系统) 以来，尽管入侵检测技术已取得了很大的发展，但是，仍 存在很多誉怒之处，鲡捻测率不毫、溅缀率较毫、捻溅速廑不适旋蔫速网络鳇发展等超题。 为解决当前入侵检测系统存在的问题，在入侵检测中目前主要研究如何采用梳器学习方法 和数据挖掘技术实现入侵检测的智能化。本文紧密阐绕智能入侵检测中特征摄取和基于机 器学习缝数攘分类这二方瑟静关键技零嚣浸研究，劳在敦下方露淑罨初步静戏栗。 l ，在入侵检测特缎提取方面，研究中采用主成分分析( p r i n c i p l e c o m p o n e n t a n a l y s i s ) 和核主成分分析( k e r n e lp r i n c i p l ec o m p o n e n ta n a l y s i s ) 的入侵检测特征提取方法。通过对入 侵检测k d d c u p 9 9 1 4 5 j 数攒集遵行大爨越毙实验，袭鞠采矮孩圭戏分分辑嚣数爨豹缨数，只 有采用主成分分析后数锻维数的一半，入侵检测的检测率也提黼近3 个百分患。 2 研究基于机器学习的智能化入侵检测系统幽前存在的问题，并提出一种基于集成 学霹入爱撩测豹攘垒。该模墼采强遗传髯法，选耩滋部分差冥发鞍大约令傣襻经鞠终遴纾 集成。实验裘明，集成神经网络与梭测率最好的单个神经网络栩比检测率提高了1 1 个百 分点。 3 。褒戮上谤究戆蘩缓主设诗窭一令萋予集袋摊经网终疆终麓入镘捡溅系统戆蒙垄。 该原型采用集成神经网络，不仅能提商系统的检测率，而且，由予神经网络的自学习功能， 实现了入侵检测的智能化。 关键词：入侵检测，主成分分析，核主成分分析，集成学习 国防科学技术大学研究生院学位论文 a b s t l 之a c t w i t ht h er a p i dd e v e l o p m e n to f i n t e r a c t ，h a c k e r s a r a c k sa r eb e c o m i n g 翔o a n dm o r es e v e r e ， t h u si n t e r a c ts e c u r i t yd e f e n s ei sd o o m e dt ob eas e r i o u sc o n c e m i ti se s t i m a t e dt h a t 鑫s i n g l e h a c k e ri n c i d e n tt a k e sp l a c ee v e r y2 0s e c o n d s ，j u s tw i t h i nu s aa n dt h et o t a le c o n o m i cl o s s c a u s e db ys u c ha t t a c k sa m o u n t st om o r et h a no n et h o u s a n db i l l i o nu 。sd o l l a r si nay e a r i n t e r a c t s e c u r i t yh a sb e e naf o c u so fm o d e ms o c i a lc o n c e h l f o rt h et i m eb e i n g ，i n t e r a c ts e c u r i t y t e c h n o l o g yi n c l u d e si n t r u s i o nd e t e c t i o nt e c h n o l o g y , f i r ew a l l s ，s e c u r i t yr o u t e r sa n d s oo n a n d a m o n gt h e m , i n t r u s i o nd e 艳c f i o ns y s t e m s ( i d s s ) h a v er e l a t i v e l yb e t t e ri d e n t i f y i n ga b i l i t ya g a i n s t v a r i o u ss o r t so fi n t r u s i o n ss oi d st u i t i $ t ob eam a i np a r to ft h ep 2 d r ( p o l i c y , p r o t e c t i o n ， d e t e c t i o n ，r e s p o n s e ) s e c u r i t ym o d e l f r o ma n d e r s o n si n t r u s i o nd e t e c t i o nc o n c e p t i o nm o d e li n1 9 8 0 sa n ds r ic o r p o r a t i o n s d e s i g n i n ga n ds u c c e s s f u la c h i e v e m e n t so f t h ef a m o u si d e st on o w a d a y s i d sp r o d u c t s ，a l t h o u g h i n t r u s i o nd e t e c t i o nt e c h n o l o g yh a sm a d eg r e a tp r o g r e s s e s ，i t s t i l lh a ss o m ed e f e c t sa n d d i s a d v a n t a g e ss u c h a sl o wd e t e c t i o nr a t ef o rn o v e la t t a c k s ，h i g hf r e q u e n c yo ff a l s ea l a r m s ，e t c 。t o s o l v et h i sd i f f i c u l tp r o b l e m si ni n t r u s i o nd e t e c t i o n ，m a c h i n el e a r n i n ga n dd a t am i n i n gt e c h n i q u e s i ni n t e l l i g e n ti d s sh a sb e c o m eah o tt o p i ci nt h el i t e r a t u r e t h i sd i s s e r t a t i o nf o c u s e so n t h e f e a t u r ee x t r a c t i o na n da u t o m a t i cd a t ac l a s s i f i c a t i o nb a s e do i lm a c h i n el e a r n i n gi ni n t e l l i g e n ti d s s a n dm a k e ss o m ep r e l i m i n a r yp r o g r e s s e si nt h ef o l l o w i n ga s p e c t s ： 1 f e a t u r ee x t r a c t i o nm e t h o d sb a s e do np r i n c i p l ec o m p o n e n ta n a l y s i s ( p c a ) a n dk e r n e l p r i n c i p l ec o m p o n e n ta n a l y s i s ( k p c a ) a l es t u d i e d l a r g ea m o u n t s o fe x p e r i m e n t sf o ri n t r u s i o n d e t e c t i o nw i t ht h ek d d c u p 9 9d a t a s e ta r ec o n d u c t e d ，a n dt h er e s u l t sd e m o n s t r a t et h a tt h ed a t a d i m e n s i o nu s i n gk p c ai sah a l fo ft h a tu s i n gp c aa n dt h ed e t e c t i o nr a t eo fk p c a i si m p r o v e d 谚3p e r c e n t 。 2t h ee x i s t i n gp r o b l e m si ni n t e l l i g e n ti n t r u s i o nd e t e c t i o ns y s t e m sa f ed i s c u s s e da n da l l i n t r u s i o nd e t e c t i o nm o d e lb a s e do ne n s e m b l el e a r n i n gi sp r o p o s e d t h i sm o d e ls e l e c t sag r o u po f n e u r a ln e t w o r k su s i n gg e n e t i ca l g o r i t h ma n de x p e r i m e n t ss h o wt h a tu s i n g t h ee n s e m b l el e a r n i n g m e t h o d ，t h ed e t e c t i o nr a t ei sb e t t e rt h a nt h a to f u s i n g a n yi n d i v i d u a ln e t w o r k s 3 as y s t e ma r c h i t e c t u r eb a s e do ne n s e m b l el e a r n i n gi sd e s i g n e df o ri n t e l l i g e n t i n t r u s i o n d e t e c t i o n 一s y s t e m ss o t h a t h 。i g h e r d e t e c ，t i 。o n r a t e a n d ，1 e 。a ，r n 。i n g e f f i c i e n c y c ，a n b e o b t a i n e d b y u s i n g _ _ _ 。_ “。”。：= ”一 国防科学技术大学研究生院学位论文 t h es e l f - l e a m i n gf u n c t i o ni nn e u r a ln e t w o r k s k e y w o r d s ：i n t r u s i o nd e t e c t i o n ，p r i n c i p l ec o m p o n e n ta n a l y s i s ，k e r n e lp r i n c i p l e c o m p o n e n ta n a l y s i s ，e n s e m b l el e a r n i n g i i i 国防科学技术大学研究生院学位论文 图目录 图2 1c i d f 模型 图3 i1 0 测试集结果图 图3 2d o s 攻击检测结果图 图3 3p r b 攻击检测结果图 图3 4u 2 r 攻击检测结果图 图3 5r 2 l 攻击检测结果图 图3 61 0 测试集结果图 图3 7d o s 攻击检测结果图 图3 8p r b 攻击检测结果图 图3 9u 2 r 攻击检测结果图 图3 1 0r 2 l 攻击检测结果图 图4 1 集成神经网络的结构 图5 1 集成神经网络入侵检测系统体系结构 图5 2w i n d o w s 平台包捕获原理 图5 3n d i s 的结构 图5 4w i n p c a p 结构图 图5 5 使用p c a p 接口的数据包捕获流程 瑚m加舶埘烈m m 船舶舯 一 一 一 一 一 一 一 一 一 一 一 一 | = 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 ： 一 一 一 一 一 一 一 一 一 一 一 |；|；| 国防科学技术大学研究生院学位论文 表目黎 表3 1 训练中各数据类型的分布情况1 7 表3 。2 主簸分分撰戆l 令穗短毽1 8 表3 3 采用p c a 与不采用p c a 神经网络的比较2 0 表3 4 核主成分分析的4 1 个特征假2 3 表3 。5 主成分分析与援生成分分掇敬院较2 5 表4 。i 采瘸棒经露络集成学习算法纛静类型数据豹结果3 4 表4 2 采用神经网络熊成学习算法岛单个最佳神经网络结果的比较3 表4 3 备类神经网络集成学习算法梭测率的比较3 4 独创性声明 本人声明所黛交的学位论文楚我本人在静带指导下避行的研究工作及取得的研 究成粜。尽我所知，除了文中特别加以标注和数谢的地方外，论文中不包含其他人已 经发寝和撰写过的礤究成粟，毽不龟含为获褥滏耱移学蓉术大学或其它教肖梳梅斡学 位或证| j 、而使用过的列料。与我同工作的同志对本研究所做的任何贡献均已在论文 孛 擘了镑穰嫠浼翳莠表示落意。 学位论文题目：壑鱼坠= = 垒量整塑! l 主鱼簦丝摄卫匿筵菇鋈丑篮蠹毛硗 学篷论文 霉毒签名：耋曼是 理翔；2 口d 每印冀孙基 学位论文版权使用授权书 本入完全了解涵防辫学技术大学有关舔甏、使雳学霞论文斡甄走。本久援较莺 防科学技术大学可蚍保留并向图窳有关部门或机构送交论文的复印件和电子文档，允 许论文梭查瘸帮媾麓：霹强涛学位 龟支数全部竣聱分悫客缡入蠢关蠡据瘁逶 亍检素， j 以采j i i 影印、缩印或扫描等鬣制手段保存、汇编学位论文。 t 镙警学位论文茬憋密后遗嗣零援投书。) 学俺论文题尉 学位论文作者签名： 作雷指导教蜥箨乞： 日期：j f 年如其轴丑 慝势l ：z 秽移y 年fo 月z o 疆 国防科学技术大学研究生院学位论文 第一章绪论 1 1 课题研究背景 当前，随着互联网迅猛的发展，因特网已延伸到人类社会的各个角落，同时，信息安 全尤其是网络安全己成为一个日益严重的问题。据统计，目前网络攻击的手段已多达数千 种，并且随着计算机技术与通信技术的发展，网络攻击的手段也不断更新。因此，如何有 效防范各种未授权对象的入侵，尤其是采用新的攻击手段的入侵，已成为目前网络安全需 要迫切解决的问题。 网络入侵是指：试图破坏信息系统的完整性( i n t e g r i t y ) 、机密性( c o n f i d e n t i a l i t y ) 、 可用性( a v a i l a b i l i t y ) 的任何网络活动的集合【”。入侵检测是指对于面向计算资源和网络 资源恶意行为的识别与响应【2 j 。入侵检测技术就是实现p 2 d r 模型中“d e t e c t i o n ”部分的主 要技术手段p j 。入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ) 是进行入侵检测的软件与硬件的组 合。 计算机安全的3 个基本目标是：完整性、机密性和可用性。完整性要求系统防止信息 被非法篡改和破坏；机密性要求保证系统不被非授权用户访问；而可用性则要求保证系统 信息和资源等能持续有效，并按用户所需的时间、地点和方式加以访问嗍。入侵检测系统 从计算机系统或网络环境中采集数据、分析数据、发现可疑攻击行为，降低可能造成的损 失。它通过检测信息系统的非法攻击或违反安全策略的事件，实现对入侵的动态安全防御。 入侵检测是p 2 d r 安全模型的重要组成部分，是动态安全技术的最核心技术之一。 本课题以国家自然科学基金项目为研究背景，以自适应入侵检测方法为研究内容，目 标是通过研究和应用具有良好泛化性能和学习效率的机器学习算法，实现i d s 的离线自适 应性能优化设计和在线学习。 1 2 网络安全研究的现状和发展动态 从计算机诞生开始，安全威胁就一直伴随着它，无论是最初软盘带来的病毒，还是操 作系统的缓冲区溢出，以及各种软件自身的安全漏洞一直困扰着计算机。尤其是随着网络 的发展，各种网上攻击日趋严重，网络安全正面临着前所未有的威胁。据美国f b i 统计， 美国每年因网络安全造成的损失高达上百亿美元。据w a r r o nr e s e a r c h 的调查，1 9 9 7 年， 世界排名前一千位的公司几乎都曾被黑客闯入。我国的证券公司，银行等一些安全性要求 极强的单位也曾多次遭受到黑客的攻击，因此，信息安全尤其是网络安全已日益被越来越 多的人所重视。 网络安全是指网络系统的硬件、软件及其系统中的数据受到保护，不受偶然的或恶意 的原因而遭到破坏、更改、泄露，从而确保系统能连续、可靠、j 下常地运行诤】。网络安全 从本质上看是网络中的信息安全：从技术上看网络安全是一门涉及到计算机科学、网络技 术、通信技术、密码技术、信息安全技术、应用数学、数据分类技术、数据挖掘技术等多 国防科学技术大学研究生院学位论文 种学科的综合性学科。 引起网络安全问题的原因，主要有以下几种。 1 每一种安全方案都有它的薄弱环节 每一种安全机制都是重点针对某些安全威胁而设置的，它不可能全面地防范系统遭遇 的所有攻击，这些安全机制往往都有一些后门，为攻击者提供可乘之机。例如，防火墙可 以在内部网络和外部网络之间形成一道屏障，但无法对内部网络之间的通信威胁进行有效 的抵御。又如，u n i x 操作系统虽然可以通过设置口令来控制访问者的权限，但加密后的 口令保存在一个文件中，而该文件可被普通用户所读取。 2 信息使用者缺乏应有的安全意识 由于历史的原因，人们往往重视网络的建设，忽视网络的安全，对新的安全建设投入 持拒绝或观望态度，忽视对网络的安全风险评估；网络管理员不及时升级系统以堵塞系统 的漏洞；而普通用户则把网络安全当作网络管理人员的事，没有人人重视并参与防范的意 识。 3 系统的后门和程序的漏洞 当前软件设计尤其是操作系统设计往往是一项庞大的工程，需要许多程序员、系统分 析员等共同完成，程序设计很难统一协调，因此，程序的漏洞和系统的后门难以避免。更 有甚者，这些漏洞和后门甚至存在于安全工具的本身。如缓冲区溢出攻击就是利用系统的 漏洞。 4 黑客攻击手段千变万化 网络入侵与防范是矛与盾的关系，在这一对矛盾中，安全工具的更新速度总是赶不上 新的入侵手段发展速度。在网络的安全体系中对新的、未知入侵的防御能力非常有限，因 而，智能化的安全体系是目前网络安全研究的重点问题。 为维护网络的安全虽然人们采用了许多技术与方法，例如，加密、数字签名、访问控 制、路由控制等，但攻击的威胁多来源于攻击者挖掘操作系统和应用程序的弱点来实现， 虽然其它的一些技术可以从某些特征上判断有无攻击的存在，但他们没有根据网络攻击的 具体行为来判断有无攻击，缺乏完整的安全策略，同时，这些技术对未知的攻击行为无能 为力。只有入侵检测技术诞生后才真正开始做到对攻击者入侵行为的完整检测。当前，入 侵检测通过采用一系列机器学习分类方法，使它向智能化方向发展，因此，它成为网络安 全模型中最核心的部分。 l _ 3 入侵检测系统的发展历程及主要发展趋势 入侵检测技术作为计算机安全防护的一项重要技术最早是由a n d e r s o n 于1 9 8 0 年提出 的。当时他在一份题为( ( c o m p u t e rs e c u r i t yt h r e a tm o n i t o r i n ga n ds u r v e i l l a n c e ) ) 的技术报告 中第次详细阐述了入侵检测的概念，提出了一种对计算机系统风险和威胁的分类方法， 并将威胁分为外部渗透，内部渗透和不法行为三种。1 9 8 3 年，d o r o t h yd e n n i n g 博士提出 了一个实时入侵检测系统模型，一年之后她与d e n n i n g 博士一起在s r ii n t e r n a t i o n a l 公司 实现了她前一年提出的入侵检测专家系统( i d e s ) 。1 9 8 7 年，d o r o t h yd e n n i n g 发表的经典论 第2 页 国防科学技术大学研究生院学位论文 文“a ni n t r u s i o nd e t e c t i o nm o d e l ”1 6 1 中首次提出入侵检测的基本模型。1 9 8 8 年h a y s t a c k 参加 了美国空军部门开发的一个入侵检测系统的研究工作。他采用对每个会话的特征数目进行 统计和排序，检验预测会话的两种不同的统计分析技术来发现异常的用户活动。他们的工 作极大地促进了主机型入侵检测技术的发展。1 9 9 0 年加州大学u cd a v i s 的t o d dh e b e f l i e n 发表在i e e e 上的论文“a n e t w o r ks e c u r i t ym o n i t o r ”1 7 】首次提出网络入侵检测的概念，并由 此开发出了第一个网络入侵检测系统n s m 。 从入侵检测概念的提出至今，只有短短二十多年时间，入侵检测领域仍存在很多待研 究的问题，现有入侵检测存在的主要问题是： 1 高速网络环境下的检测问题 随着网络技术的飞速发展以高速带宽为代表的高速宽带网将成为目前网络发展的趋 势。对于入侵检测系统而言，高速网络环境下系统对数据包捕获与分析的能力都会显著降 低。据m i c r o c o m 进行的评测，i n t r u s i o n 的s e e u r e n e tg i g 在6 9 0 8 6 mb i t s e c 数据流量时可 以检测到9 8 的攻击，在7 8 9 6 mb i t s e e 数据流量时可以检测到8 8 的攻击，而在9 8 6 9 4 m b i t s e e 数据流量时只能检测到4 4 的攻击。 2 误报率、漏报率较高 现今，人们对入侵检测中数据分类技术的研究还不很成熟，同时，在实际中由于受各 种外界因素的影响，入侵检测的误报率较高，使得系统管理员往往要用很大的精力应付系 统的虚假警报。入侵检测中怎样识别未知的入侵行为一直是一个难题，攻击者新的入侵行 为很容易骗过入侵检测系统。因此，目前往往把入侵检测、防火墙和安全路由器等结合起 来作为网络安全的一种整体解决方案。 3 入侵检测系统的互动性能不强 在大型网络中，网络的不同部分可能使用多种入侵检测系统，甚至还有防火墙、安全 路由器等其它类别的安全设备，怎样处理好入侵检测系统之间以及入侵检测系统和其它安 全组件之间的信息交换，通过共同协作来发现攻击、做出响应，是关系到整个系统安全性 的重要因素。 纵观入侵检测的发展历程、现状及存在的问题。入侵检测将在以下几方面得到发展。 1 入侵检测的标准化 目前，绝大多数入侵检测系统所使用的控制和管理协议都是私用非开放协议，很难在 不同系统之间进行数据交换和信息通信。虽然c i d f ( 公共入侵检测框架) 和i d w g ( 入 侵检测工作组) 在入侵检测的体系结构、通信机制和消息格式等方面作了大量工作，但均 进展缓慢，没有形成一个被广泛接受的标准。因此，具有通用接口的入侵检测系统，将是 下一代入侵检测系统的特征。 2 入侵检测系统体系结构与分布式入侵检测体系结构 入侵检测体系结构的研究主要包括：多系统互操作性、重用性的通用入侵检测框架， 总架构和分部件相互关系，系统安全策略，可伸缩的一体化入侵检测系统结构。 分布式入侵检测体系结构的研究主要包括：异构系统及大规模网络入侵检测框架，不 同入侵检测系统之间的相互关系，分布式环境下系统的安全策略，a g e n t ( 代理) 在系统安全 第3 页 国防科学技术人学研究生院学位论文 中的作用，a g e n t 之间的信息交换格式和协作模型，各实体之间的分布结构和逻辑从属关 系。 3 入侵检测的智能化 异常检测和误用检测需要人工设计大量规则和参数，在软件环境和外部环境发生改变 后必须对这些参数重新设计，因此系统的灵活性和适应性羞。如何提高入侵检测系统对环 境的自适应性，实现入侵检测的智能化，降低系统的误报率和漏报率，成为当前入侵检测 研究的热点。智能化技术在入侵检测中的应用是通过把生物学、医学、数学中学习算法的 最新研究成果应用到入侵检测中，使入侵检测系统具有自学习的功能。基于机器学习方法 的入侵检测是智能化入侵检测技术研究的重点。这些方法主要包括：基于遗传算法的入侵 检测、基于神经网络的入侵检测、基于免疫的入侵检测和基于支持向量机的入侵检测等。 其中基于集成学习的入侵检测技术，把这些机器学习方法融合在一起，根据不同的入侵数 据源抽取几种不同的特征，从而，提高检测的效率和准确率。 4 入侵检测系统的评测 入侵检测系统的评测包括性能测试、功能测试和用户可用性测试。性能测试主要负责 衡量入侵检测系统在高负荷下的运行能力。功能测试负责衡量入侵检测系统自身功能特征 的强大程度。用户可用性评测是衡量用户在使用某个入侵检测系统时的系统友好性。对入 侵检测系统进行评测，需搭建入侵检测测试与评估平台，包括网络拓扑结构的确定，测试 方案的确定，测试用软硬件的安装等。当今，入侵检测系统缺乏公认的评测标准，不同入 侵检测系统之间可比性不强，因此，入侵检测系统评测的标准化工作是入侵检测研究的一 个重要领域。 5 入侵检测与其它网络安全技术的联动 入侵检测系统是网络安全的一种解决方案，除此之外，防火墙、日志记录系统、病毒 防护系统等与入侵检测系统共同组成了网络安全的整体解决方案。网络安全的整体解决方 案中各安全部件之间如何实现互相协作和通信也是入侵检测研究的一个领域。 1 4 本文的主要研究内容 如前所述，入侵检测作为一门新技术提出了很多具有挑战性的研究课题，其涉及的内 容、研究的方向广泛而丰富。本文的研究工作，围绕智能入侵检测领域的特征提取和基于 机器学习的数据自动分类两方面展开。本文的创新点主要包括以下几个方面。 1 ) 采用主成分分析( p c a ) 首次对k d d c u p 9 9 中1 0 测试集的所有数据进行测试。通过 使用p c a 使k d d c u p 9 9 中的数据从4 2 维降为7 维，降维后的数据送入神经网络后， 检测率达到9 4 2 ，与没有使用p c a 相比检测的速度提高了十倍。 2 ) 采用核主成分分析( k p c a ) 对入侵检测中数据降维进行了研究。通过使用k p c a ， k d d c u p 9 9 中的数据从4 2 维降为4 维，与使用p c a 的特征提取技术相比较，检测率 提高了3 个百分点。 3 ) 通过p c a 与k p c a 在入侵检测特征提取中的研究，表明k p c a 与p c a 相比，更能提 第4 贞 国防科学技术人学研究生院学位论文 取入侵检测中的非线性特征，从而提高检测效率。 4 ) 研究集成学习在入侵检测中的应用。采用遗传算法对集成神经网络中的个体网络进行 选取，通过对k d p c u p 9 9 测试集中数据的测试，表明集成神经网络与单个检测率最好 的网络相比，检测率提高了1 1 个百分点。 5 ) 设计出基于集成神经网络的入侵检测原型，重点研究该系统的体系结构，集成神经网 络的组建及系统实现的关键技术。 论文组织结构如下： 第一章阐述了论文的研究背景、入侵检测系统的发展历程及主要发展趋势，还简要介 绍了本文的主要研究内容。 第二章介绍了入侵检测的概念，并对入侵检测的数据源、现有入侵检测技术的分类、 入侵检测标准化工作、无监督学习特征的提取方法和入侵检测中的智能化技术进行了详细 的分析。 第三章通过p c a 和k p c a 实现对入侵特征的提取，同时，首次通过对k d d c u p 9 9 整 个1 0 数据集的测试，比较了两种方法在入侵特征提取方面的优缺点。 第四章提出一种采用遗传算法的个体网络选取方法，通过理论上和实验上的分析，得 出遗传算法能通过选取那些个体差异较大的神经网络，减小网络集成后的误差。 第五章详细介绍了基于集成神经网络的网络入侵检测系统原型。重点介绍系统的体系 结构、数据结构和实现的关键技术。 第5 贝 国防科学技术大学研究生院学位论文 第二章入侵检测概述 2 1 入侵检测的信息源 入侵检测是一种对大量数据统计和行为的检测，入侵检测的数据源是入侵检测的基 础，数据源选取的好坏与入侵检测的质量有很大的关系。 2 1 1 操作系统的审计记录 任何一种操作系统为了满足各种审计的要求，都开发了自己的审计记录，这些审计记 录记录了计算机运行过程中大量的活动。入侵检测作为对入侵者行为的检测，这些记载着 系统行为活动的审计记录可作为入侵检测的数据源。但是，操作系统的审计记录作为入侵 检测的数据源存在以下问题。首先，操作系统的审计记录不是为入侵检测的目的而专门制 订的，因此，系统审计记录的格式不满足入侵检测数据源的规范，有些审计记录与入侵检 测的关系不密切。其次，不同操作系统审计记录的属性和内容不相同，这为入侵检测的标 准化工作带来了困难。尽管操作系统的审计记录，作为入侵检测的数据源存在一定的困难， 但是，作为主机型入侵检测技术，操作系统的审计记录仍然是它的数据源的一部分。 2 1 2 系统日志 系统日志记录了系统运行过程中的一些重要信息。如记录系统连接的信息，进程的信 息等。系统日志与系统的安全性密切联系，因此，可以作为入侵检测数据源的一部分。系 统日志安全性不高，尤其是它通常以文件的形式存储，易被入侵者篡改，因此，它只能作 为入侵检测中数据源的一项补充。 2 1 3 应用程序日志 应用程序日志是记录用户级别的系统活动信息。由于目前的入侵活动主要集中在网络 提供的各种应用程序中，因此，应用程序日志可以作为入侵检测的数据源。但应用程序日 志易被各种入侵所篡改，因此，采用它作为入侵检测的数据源存在一定的风险。 2 1 4 网络入侵检测数据源 随着网络技术的不断发展，网络型入侵检测系统已成为入侵检测系统的主流。网络环 境下入侵检测数据源的选取是入侵检测中的一个重要问题。由于网络攻击者的所有攻击信 息都存在于网络数据包中，因此，网络数据包是网络入侵检测的可靠数据来源。 第6 页 国防科学技术大学研究生院学位论文 2 2 1 入侵检测分类方法 2 2 入侵检测技术的分类 入侵检测技术按照数据分析手段可以分为异常入侵检测技术和误用入侵检测技术，按 照数据源可以分为主机型入侵检测和网络型入侵检测，按检测的时间性可以分为实时入侵 检测和离线入侵检测。 2 2 2 异常入侵检测 异常入侵检测指的是通过系统过去审计数据等大量历史活动资料，建立系统正常模型 状态，然后把它与系统当前的活动情形相对比，如果发现系统当前活动偏离了正常的模型 状态，则存在入侵。异常检测的主要方法有统计分析技术、神经网络方法、数据挖掘的异 常检测以及基于免疫学的检测技术。 1 基于统计分析的异常入侵检测 统计分析是异常入侵检测中一种采用最早，应用最广泛的分析方法。系统针对用户的 当前行为，每隔一定的时间间隔进行采样，计算出一系列参数，形成系统当前的模型，并 与系统正常的行为模型相比较。当偏差超过某一阈值就说明系统正受到入侵。常用的入侵 检测统计模型分为4 种。 1 ) 操作模型 该模型对系统中发生的事件计数度量情况，并与相应的阙值进行比较。如果超过了阈 值，则系统可能遭到入侵。例如，统计发生登录失败口令的次数就属于一种操作模型。 2 ) 均值与标准偏差模型 该模型计算系统当前状态特征的均值与标准偏差，如果超出置信区间的范围，则存在 异常。 3 ) 多元模型 该模型是对多个参数之间进行相关性分析，从而判断系统是否存在异常。 4 1 马尔可夫过程模型 将每个审计记录中不同类事件的出现视为随机度量的不同取值，采用随机过程模型表 示入侵检测系统的输入事件流。 2 基于神经网络的异常入侵检测 神经网络是一种机器学习方法，它通过对已有的模型的学习，抽象出其内在的联系， 并利用这种联系检测系统和用户的当前活动。神经网络用于异常检测中存在如下问题。 1 ) 神经网络学习效率的问题 当前入侵检测数据源，尤其是网络入侵检测数据源数据量很大，导致神经网络的训练 国防科学技术大学研究生院学位论文 时间相当长。 2 ) 神经网络内在联系的理解问题 神经网络通过对样本库的学习，抽象出内在的联系，但这种联系理解起来很困难，有 待于从这些联系中挖掘出相应的符号规则。 3 ) 神经网络的泛化能力有待提高 异常检测由于采用学习的方法来完成对入侵的检测，因此，它能发现新的入侵行为， 但由于系统所有的正常活动不一定在学习阶段能全部建立起来，并且，在学习阶段系统可 能学到一些非法的入侵攻击，因此，采用异常检测技术的系统误报率较高。 2 2 3 误用入侵检测 误用入侵检测是一种基于模式或特征匹配的技术，它把入侵的特征或模式保存在特征 库中，通过输入数据的特征与特征库中对应的特征进行匹配从而判断是否存在入侵行为。 误用入侵检测中常用的技术有基于专家系统的攻击检测技术引，基于模型推理的攻击检测 技术【9 】，基于模式匹配的检测技术【1 0 1 ，特征分析技术川，状态转移分析等。 1 基于专家系统的攻击检测 专家系统建立在专家制订的一系列描述攻击行为的规则基础之上，当数据源被转换为 专家系统能理解的数据格式后。专家系统在两者间采用推理的机制，分析有无入侵的存在。 s r i 公司开发的入侵检测系统就采用了专家系统技术。 专家系统的缺陷在于，专家所制订的规则无法检测到所有的入侵模式，因此，需不断 更新规则库。另一方面，随着规则库越来越庞大，入侵检测的检测速度会越来越慢，从而 为入侵检测的及时响应带来困难。 2 基于模型推理的攻击检测 基于模型推理的攻击检测是根据攻击者在进行攻击时所执行的某些行为的特征，建立 一种攻击行为模型，根据行为模型所代表的攻击意图的行为特征，来判断系统是否受到攻 击。为了减少系统的误报和漏报，在建立了攻击模型后，系统应提供证据证实它是否受到 攻击。 由于误用检测技术基于模式的匹配，任何与入侵库中的特征相匹配的输入数据，系统 都可以明确确定它是一种入侵行为，因而，采用误用入侵检测的入侵检测系统误报率很低。 因为误用入侵检测对己知入侵特征的识别有很高的准确率，所以，它一直使用在商用入侵 检测系统中。然而，正是由于这种模式的匹配，采用误用入侵检测的系统，对特征库中不 存在的新入侵特征的检测显得无能为力。尽管研究人员不断对特征库进行更新，但更新特 征库的速度仍无法赶上新入侵行为的变化。因而，采用机器学习的智能化技术，实现对特 征库不断自动更新，己成为误用入侵检测技术研究的一个重要方向。 第8 页 国防科学技术大学研究生院学位论文 2 2 4 主机型入侵检测 主机型入侵检测是出现最早的入侵检测技术，它以系统日志，应用程序日志，系统审 计记录等作为数据源，并对这些数据源进行检测。主机型入侵检测系统保护的一般是它本 身所在的系统。 主机型入侵检测系统由于检测的数据量不大，数据序列简单，因而，系统设计较简单， 系统误报率低，但主机型入侵检测系统，由于过分依赖系统的日志和审计记录等数据源， 因此，系统的可移植性不强。 基于主机的入侵检测系统，早期的系统原型有s r i 的i d e s ( 入侵检测专家系统) 和 n i d e s ，l o s a l a m o s 的n a d i r 系统等。 2 2 5 网络型入侵检测 网络型入侵检测的数据源是网络上的数据包，系统通过特征匹配，统计分析等方法检 测整个网段是否受到攻击。 网络型入侵检测系统由于采用旁路技术，它对该网段中其它计算机的影响较低，同时， 网络入侵检测系统不依赖所检测系统的操作系统，不需改变服务器等主机的配置。随着网 络的日趋复杂和高速网络的发展。需检测的数据量越来越多，因此，人们对网络入侵检测 的误报率和实时性提出了更高的要求。随着网络的飞速发展，网络入侵检测系统正日益增 多，如i s s 公司的r e a l s e c u r e 和c i s c o 的n e t r a n g e r 。 2 3 入侵检测的c i d f 1 3 i 模型与i d w g t l 町的标准化工作 入侵检测发展的历史只有短短的二十多年时间，由于缺乏统一的标准，目前各个开发 商开发出的入侵检测系统之间无法实现通信和协作。为了实现入侵检测的标准化，1 9 9 7 年 初，加州大学戴维斯分校计算机安全实验室提出了公共入侵检测框架( c i d f ) 。它的内容主 要包含4 个部分即c i d f 的体系结构、c l d f 的通讯机制、c i d f 的语言和c i d f 的a p i 接 口( 应用程序接口) 。 2 3 1c i d f 的体系结构 c i d f 将一个入侵检测系统分为以下组件：事件产生器( e v e mg e n e r a t o r s ) 、事件分析器 ( e v e n t a n a l y z e r s ) 、响应单元( r e s p o n s eu n i t s ) 和事件数据库( e v e n td a t a b a s e s ) 。如图2 1 所示。 事件产生器通过传感器收集数据，将数据转换为g i d o ( 统一入侵检测对象) 格式。 事件分析器负责分析从其它组件接收到的g i d o ，并将分析的结果传给其它组件。事件数 据库用来存储g i d o ，以备系统需要时使用。响应单元根据接收到的g i d o 采取相应的措 施。 第9 页 国防科学技术大学研究生院学位论文 2 3 2c i d f 的通信机制 图2 1c i d f 模型 c i d f 将通信机制划分为三层模型，即g i d o 层、消息层和协商传输层。g i d o 层对各 种事件如何表示做了定义，使各组件具有互操作性。消息层负责将数据从发送方传给接收 方，而不关心信息的语义。协商传输层规定g i d o 在各个组件之间的传输机制。c i d f 的 通信机制主要讨论消息的封装和传递，它有四个方面的内容，即配对服务、路由、消息层 和消息层处理。 2 3 3c i d f 的语言 c i d f 定义了一种应用层语言c i s l ( 公共入侵规范语言) 来描述各组件之间传送的信 息，以及相关的信息编码协议。c i s l 使用对标记和数据进行简单递归编组的表达式来表示 通用语言。c i s l 使用范例对各种事件和分析结果编码，然后进行封装，从而得到g i d o 。 2 3 4c i d f 的接口 c i d f 的a p i 接口负责g i d o 的编码、解码和传递，它首先构造表示g i d o 的树形结 构，然后将此结构编码成字节码形式。c i d f 的a p i 接口为开发入侵检测系统提供了方便， 它主要分为两类，即g i d o 编码a p i 和消息层a p i 。 2 3 5i d w g 1 4 】的标准化工作 1 9 9 9 年互联网工程任务组( i e t f ) 的入侵检测工作组( i d w g ) 制订了入侵检测的一 系列标准。i d w g 开展的标准化工作主要分为三个部分，即入侵检测消息交换格式 ( i d m e f ) 、入侵检测交换协议( i d x p ) 和隧道轮廓( t u n n e lp r o f i l e ) 。 i d m e f 采用面向对象的方法表示入侵检测数据，并用x m l ( 通用模式语言) 文档类型 定义数据模型。i d x p 能实现i d m e f 消息、非结构文本和二进制数据之间的交换，它是一 个用于入侵检测实体之间交换数据的应用层协议。 与c i d f 相比，i d w g 重在创立一种数据传输格式和交换协议的标准，实现不同入侵 国防科学技术大学研究生院学位论文 检测系统的互相通信，因此，它引起了许多大公司的兴趣，因而，