（计算机应用技术专业论文）基于独立分量分析的入侵检测系统研究.pdf

摘要 摘要 随着网络技术的迅速发展，网络同益成为人们生活的重要部分，与此同时，黑客 频频入侵网络 鼹络安全闽题成为人们关注的焦点，传统安全方法是采用尽可能多 的禁止策略来进行防御。目前采用的手段有防火墙、加密、身份认证、访问控制、 安全操作系统等，这然对系统非法入侵都起到一定的作用。然而从系统安全管理 角度来髓，识有防御蹩不够的，还应采取主鞠策略。入侵裣测系统由诧而生。它 是对被动策峨的逻辑 偿熬发现外部攻击和合法用户滥用特权的一种方法。 作为稚新的数掇处理方法，独立分量分析在金融、生物医学、豳像分析等 各个领域都搿到了广泛的应用。本文将独立分艟分析模型引入列入侵检测系统中， 提蠢了将独立分量分衙模墅丽k 一均馥箨法、傍受时新估计、变撵矢鬣祝福结含的 三利，入侵检测算法。通过将样本投影到由独立分量分析所确定的子空间，这三种 算法豁补了琢有葵法的弱点，大大掇离了入馁检测系统静毪髓，薯对各算法瓣送 一步研究和发展提出了自己的看法。 本文豹礴究残果霹鞋壹接应震子入侵捡灞系统翁数蠢分褥模块牵，荠其蠢广 泛的实用价值。 关键漏：入绞检测系绫猿妻势量分耩支撵矢量辜嚣伪哭瓣簸绩计分类嚣 a b s t r a c t w i t ht h ee v o l u t i o no fn e t w o r kt e c h n o l o g y , i n t e r n e tt a k e sm o r ea n dm o r e g r e a tp a r ti no u rl i f e i nt h es a m et i m e ，t h es e c u r i t yo fn e t w o r kb e c o m et h ef o c u so f p e o p l e 。t h e t r a d i t o n a lm e t h o du s e df o rd e f e n c ei sa d o p ta ss t r a t e g yo f p r o h i b i t ，s u c ha s f i r e w a l l ，e n c r y p t ，a c c e s sc o n t r o l ，s e c u r i t ys y s t e m te t t h e s e m e t h o d sa l lh a v es o m e i m p a c t o nd e f e n c e ，b u tf r o mt h ev i e wo f s y s t e ms e c u r i t ym a n a g e m e n t ，b u tt h e ya r en o t e n o u g ho n l y f o rd e f e n c e i n t r u s i o nd e t e c t i o ns y s t e mc a nd e t e c to u t s i d ea a a c ko r m i s u s e ，i ti sa nk i n do fl o g i c a lc o m p e n s a t i o nf o rd e f e n c e a sa nn e wk i n do f s i g n a lp r o c e s sm e t h o d ，i n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) h a sb e e na p p l i e do nm a n yd o m a i n ss u c ha sf i n a n c e ，b i o m e d i c i n e ，i m a g em a n i p u l a t i o n a n ds oo n ，w ea p p l yt h em o d e lo fl c ao ni n t r u s i o nd e t e c t i o ns y s t e ma n dp r o p o s e t h r e en e w1 d sa l g o r i t h m e sw h i c hc o m b i n et h ei d e ao fk _ m e a na l g o r i t h m ，p e s e d u o b a y e s i a ne s t i m a t o ra n ds u p p o r tv e c t o rm a c h i n ew i t hi c ai n t h i sp a p e r ，i nt h es p a c e a s s u r e db y1 c a ，t h et h r e ea l g o r i t h m sc a n p r o v et h ep e r f o r m a n c eo fc l a s s f i e r t h er e a s e a r c hc a nb e d i r e c t l y u s e do nt h ed a t a a n a l y s i s m o d o lo fi n t r u s i o n d e t e c t i o ns y s t e ma n do t h e rd o m a i n s k e yw o r d ：i n t r u s i o nd e t e c t i o ns y s t e m i n d e p e n d e n tc o m p o n e n ta n a i y s i s s u p p r o tv e c t o rm a c h i n e p e s e d u o - b a y e s i a ne s t a m a t i o nc l a s s i f i e r 创新性声明 y 5 8 3 3 0 9 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：丞磊同期趔生：! ：2 关于论文使用授权的说明 本人完全了解话安f 乜子科技大学有关保艮f 和使用学位论文的规定即：研究小 在校攻读学位期f 刚论文工作的知识产权单位属西安电子科技大学。水人保证毕业 离校后，发表论文或使用论文工作成果时署名单位仍然为西安f 乜予科技大学。学 校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部 或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文在 解密后遵守此规定) 本人签名 导师签名 同期塑! 芏：2 ：2 同期兰! ! 生：! ：生 第一章绪论 第一章绪论 1 1 相关背景研究 计算机网络的起源可追溯到1 9 6 8 年的美国军方高级研究网络a r p a n e t ( a d v a n c e dr e s e a r c h p r o j e c ta g e n c y n e t w o r k ) ，在出现的最初几十年里。它 主要是用于在各个大学的研究人员之间传送电子邮件，以及共同合作的职员间共 享打印机。因此，网络的设计主要以共事和丌放为宗旨。在这种条件下，安全性 并没有引起足够的重视。但是现在，由于计算机网络的普及和广泛应用，众多的 普通市民也可以使用网络来处理银行事务、购物和纳税，同时，随着企业与政府 的上网工程的实施，网络安全逐渐成为一个潜在的巨大问题。 2 0 0 1 年初，一些不明身份的黑客连续几天对y a h o o 、亚马逊、有线电视新闻网 ( c n n ) 、网上贸易网站e t r a d e 等八家著名同站的攻击直接造成1 2 亿美元的经 济损失，掘w a r r o o nr e s e a r c h 的调查，1 9 9 7 世界排名前一千的公司几乎都曾被黑 客闯入；按照美国f b i 统计，美国每年因网络安全造成的损失高达十亿美元；计 算机紧急响应小组( c e r t ) 的年度报告中列出了1 9 9 8 年发生的将近2 5 0 0 0 个有 报道的安全事故，其影响涉及到7 2 万个i n t e r n e t 站点。企业联网、信息上网以 后，攻击者可以从网上窃取企业机密信息，由于网上信息只认数据不认人，如果 安全得不到保障，罪犯通过窃取相关数据密码获得相应的权限，进行非法操作， 甚至连安全防范严密的军事系统都多次遭受攻击。 1 1 1 网络安全的概念 随着网络安全技术的不断发展，网络安全的概念也不断得到深化，不断具有新 的特性和含义。网络的安全性问题实际上包括两方面的内容：一是网络的系统安 全，二是网络的信息安全：而保护网络的信息安全是最终目的、综合起来看，计 算机网络安全是利用网络管理控制和技术措施，保证在一个网络环境中，信息数 据的可用性、机密性和完整性受到保护”1 。 可用性( a v a i l a b i l i t y ) 指网络能及时地提供用户所需的服务，不因系统故障或误操作防碍用户对 资源的使用或使得系统资源丢失；网络应该具有在某些不正常的情况下继续运 行的能力等等。影响网络可用性的因素很多可分为人为因素和非人为因素两大 类，前者包括非法占用网络资源，切断网络或阻塞网络通讯，散播电脑病毒降 低网络性能，甚至是网络瘫痪等等，后者包括自然灾害造成的事故、系统死锁、 系统故障等。 基予独立分黛分辑豹入侵检测系统骚究 镙蜜性( c o n f i d e n t i a l l t y ) 指一些具有保密要求的倍息，如财务数据、机密数据只熊向拥有访问权限 的用户提供，褥没有访问权隈黪其蚀人员无投存取这蹙数据。对资潦僳密性瓣 破坏包括信息在网络传送时被未授权者访问成窃取，比如通信线路被窃听、非 法用户霞充合法用户访问主机数据等，此钋邋过窃瞬逶信过稷中数攒和淡自、 通讯的频率和长度推测出有用的信息锌行为也属于破坏保密憔的行为。 完整性( i n t e g r i t y ) 指能保证其信息资源的完整、准确与有效，不因人为或j # 人为的因素改变 其信息资源原有的内容、形式和流向。完整性是网络安全的一大问题。例如防 止信怒的非法泄露、非法修改、重用与拒绝服务以及键供信息的合法性监控等 方面都是属于宠整性范畴。造成信息究整性破坏的原因有非法用户对网络资源 豹篡改、合法蠲户越权处理网络内敏懑的数稻或者剩埔程序中隐藏豹错误对数 据的破坏、通信传输中的干扰成噪声造成的数据错误，系统的软、硬件差错对 鼗弦麴酸坏等。 就网络信息安全而苦。首先是信息的可用性和机密性，其次是信息的完熬 缝要运磷溺终安全这一磊标，盛绥傈涯霹络系统软件、应瑁软件系统、数话露 系统鼹有一定的安全保护功能并保证网络设备如终端、调制解调器、数据链 臻等懿功戆不变两量仗莰是那些旋授叛豹人们胃酸访淘。 1 1 。2 网络安全磺究现状 随着因特网的不断发展和广泛应用，一度发展缓慢的网络安全技术9 0 年代以 来发最逐遽，不投在学术上取褥了众多成莱，还褥蜀了工程界的积极应瘸。目前 的主要研究方向有： 关于信惑技术安全评徐灌粼麓磷究 8 0 年代，荚国国防部基于军事计黧机系统的保密霈要，在7 0 年代的基础 毽论研究磁采一诗冀辊保密谈登( b e l l & l a p a d u l a 模墅) 豹基础上，制订 了“可信计算机系统安全评价准则”( t c s e c ) ，其后又制订了关于网络系 统、数据撵等方甏鞠系鞠安全解释，帮“可信计算梳系统安全评价雍剃 的可信网络解释”，形成了安全信息系统体系结构的最早原则。9 0 年代初， 葵、法、德、美弱国镑霹t c s e c 准虽只考虑傈密往豹弱限，联会挺密了 包括保密性、完整性、可用性概念的“信息技术蜜全评价准则”。 关予鼹络安全监控蕊辑窕 由于在广泛应用的国际互联网上，黑客入侵事件不断发生，不良信息大堂 黉撵，网络安全黢测理论秘瓿裁鲍骚究受瓣重援。鬣客久经手段豹研究努 第一章绪论 摄，系绞脆弱髅检测鼓零， 受警菠本，缤惠肉褰分缀臻漩爨键，翟l 纯傣 息内容分析等研究成果已l 经成为众多安全工具软件的基础，如荚国同盟的 网络安全，产熬包括垂遥应我瑷跨火璞、c y b e r c o p 入粳检 9 l l 裘绫，i s s 入 侵检测系统，c a 的防火墙等等。尽管网络安全监测理论和机制不断得到 发展，嚼络安全麴管理理论积爨溅橇剑稷然缺乏套效结合的途径。为了攥 动这一领域的发展，i e t f 的i n t r u s i o nd e t e c t i o nw o ，k i n gg r o u p 和 c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k g r o u p ( c i d f g ) 都在从事入侵检 测系统标准的研究，目前已经掇出了相关的草案然而还没有形成广泛接 受的栝瞧。 关于信息加密的研究 作为信息安全关键技术的密码学，近年来空前活跃。美、欧、照各潮举蠢 的密码举和信息安全学术会议频繁。1 9 7 6 年美豳学者提融的公帮密钥密码 体制克服了网络信息系统密钥管理的困难，也同时解决了数字签名问题， 并可嗣予身份认证，它怒当前研究的热点。电予商务的安全性怒当前人们 普遍关淀的焦点，目前雁处于研究和发展阶段，它带动了论证理论、钥管 理等静衔究。 1 9 7 7 年美国颁布使用的国家数据加密标准由于密码分析和攻击手段的进 步，己不能满是安全需簧。美萄入在短集彳乍为2 l 毽纪的新的数据加密标 准。计算机运算速度的不断提高，各种密码算法面临着新的密码体制如星 予密码、d n a 密码、溅淹理论，氇鄱娃子探索中。蒸予密码瀵论的综含 研究成果和可倍计算机系统的研究成果，构建公开基础设施、密钥管理基 秣设蓬跑藏为当藩弱勇个热患。 关于安全传输协议的研究 安全耱议终为繁惫安全豹重要内容其澎残证方法分撰始予8 0 苹代初，霸 前有基于状态机、模糊逻辑和代数工具的三种分析方法，但仍脊局限性和 潺灞，缝子发爨撬毫除段。 目前市场流行的各种网络安众解决方案，如防火墙技术、防熙客技术、加密技 术以及对整个系统不安众因素遴嚣扫掇、整控鞠警报、貉浚熬熬套安全方案等镣 褥似复杂。其实无非属于两种安企技术：静态防护技术朔动态j l 螽测技术。防火墙、 蚋密、安全协议等铃圈僳季产设套秘系绕鲮壳都瓣予静态貉护技零范薅。势态安全 技术并不能百分酉的保证网络的安全，因为：( 1 ) 主动跟踪入侵者。比如传统的 防火墙产品，其竣汁基椽是在边界点上实现访瓣控制。然恧，旦入侵考突破7 系统，他们将不受任何黻挡。( 2 ) 静态安全技术并不能酉分百的执行自融的职能。 在实际中。瓤应用、瓤协议层出不穷，大多数糖协议鲍设诗者缺乏赌终安全的鲡 谈或经骏。或者对协议的安全性不予理睬，或者因性能方面的隳求和使用方便糨 4 基于独立分量分析的入侵检测系统研究 度方面的要求而牺牲了协议的安全性。传统防火墙不能解决这种合法的安全威胁。 ( 3 ) 静态安全技术也同样存在安全方面洞。尽管设计人员对防火墙自身的安全性 能f 过很大功夫，但安全弱点和薄弱环节仍可能出现。或早或晚，这些缺陷会被 人发现而加以利用。 1 2入侵检测系统( i d s ) 随着网络安全技术的发展，传统防火墙所暴露出来的不足和弱点引出了人们 对入侵检测系统技术的研究和丌发。入侵监测系统可以弥补防火墙的不足，为网 络安全提供实时的入侵检测及采取相应的防护手段，如记录证据、用于跟踪，采 取恢复、断开网络连接措施等。 1 2 1i d s 定义 入侵检测被定义为对计算机和网络资源上的恶意使用行为进行识别和相应的 处理过程。即采用预先主动的方式，对客户端和网络各层进行全面有效的自动检 测，以发现和避免被保护系统可能遭受的攻击和伤害。它不仅能检测来自外部的 入侵行为，同时也可以检测内部用户的未授权活动。入侵检测是建立在这样的假 设基础上的：安全破坏是有异于系统正常应用模式的行为，因此可以通过监视系 统的审计记录而检测到。入侵检测的安全机制与传统的安全技术不同：其基本思 想并不是设法建立安全、可靠的计算机系统或网络环境，而是采用对网络活动和 系统用户信息的分析技术达到对用户的非法行为进行检测、报警和预报的目的， 进而出有关系统对非法行为进行控制，它可与传统的安全技术相结合达到比较理 想的系统安全要求。 入侵检测系统模型最早由d o r o t h yd e n n i n g “3 提出，人们通过不断的研究，其模 型可以拙述如下： 入侵检测系统模型 第一章绪论 1 2 。2 入侵检测系统分裳 入侵检测系统按照其采用的方法来番，可以分为鼹炎“1 ； ( 1 ) 采用异常梭测的入侵检测系统； ( 2 ) 采用误用梭测的入侵检测系统； 下面，我们对这两种入侵稔测方法进行简单的介绍。 ( 1 】异常检测( a n o m a l yd e t e c t i o n ) 异常检测指根据使用者豹行为或资源使用状况辩乏判断怒否入侵，而不依赖 于其体行为是否出现，所以也被称为基于幸亍为的检溅。异常梭测基予统计方法， 使嗣系统或用户的活动轮廓宋检测入侵活动。活动轮廓由一组统计参数组成， 通常包括c p u 和i o 利用率、文件访问、出错率、网络连接等。这类i d s 先 产生主体蚋活动轮廊，当系镜运行甜，异常稔溺程序产生当前活动轮廓并间原 始轮廓比较，同时更新原始轮廓，当发生显落偏离时即认为是入侵。基于行为 酶梭嚣与系统穗对笼关，邋糟往较强。它甚至有可熊捡撼出以前扶米出现_ i 建的 攻击方法，不像基于知识的检测那样受已知脆弱性的限制。但因为不可能对艇 个系统内鹣掰有弼户行为滋彳亍全蟊的摇遮，丽量每个用户的行为怒经常改变 的，所以它的主要缺陷在于误检率很高。尤荩在用户数目众多，或工作目的缀 鬻浚交豹环凌中。箕次崮予统计篱表要不鼗菱掰，入侵者鲡果翔遒菜系统在捡 测器的监视之下，他们能慢慢地训练检测系统，以至于最初认为是异常的行为， 经避一段时怒铡练嚣毽试为是歪豢携了。对于采溺菇常捡溺狡型熬入侵裣溺系 统，我们需骤注意以下几个问题： l 。褥薤量翡选择 异常检测首先魁要建立系统或用户的“正常”行为特征轮廓。这就要求在 建立正露模型瓣，选取躲特堑鬃鬟要熊疆磋蠡冬藩瑗系绞或覆户懿嚣为将 征，又能使模型最优化，即以最少的特征量就能涵盖系统或用户的行为特 挺。 2 参考阀德的选定 因为在实际的蹦终环境下，入侵行为露努零行菇往 圭不怒一对一熬等徐关 系，经常会有这样的情况：某一行为是入侵行为，而它却并不题异常行为 的情况。这样就会导致检测结果的虚繁( f a l s ep o i t i v e s ) 积瀑螯( f a l s e n e g a t iv e s ) 的产嫩。由于异常检测实现逡立正常的特征轮廓作为比较的参 考基准，这个参考基准即参考阕馕的选定是非誉关键的。阕值定的过大， 漏警率会很高，闷值定褥过小，则虚警率就会掇高。合适的参考阀值的选 定是影响这检测方法凇确率的歪关重要的因豢。 扶髯常捡溺躺原理我们可以糈出，该方法的技术难点在于特征轮廓的更新。由 基于独立分最分析的入侵检测系统研究 于多种因素的制约，异常检测的虚警率很高，但对于未知的入侵行为的检测非常 有效。此外，由于需要实时的建立和更新系统或用户的特征轮廓，因此所需的计 算量很大，对系统的处理性能要求会很高。 ( 2 ) 误用检钡j j ( m i s u s ed e c t e c t i o n ) 误用入侵检测则是一种基于知识的检测，主要针对那些利用系统和应用程序漏 洞实施的攻击。误用入侵检测基于对不良行为和不可接受行为的知识，预先定义 攻击的行为模式( 攻击签名) ，从而可以直接检测这种行为。误用检测的关键问 题在于： 攻击签名的正确表示形式 误用检测是根据攻击签名来判断入侵的，那如何有效地根据对已知的攻击 方法的了解，用特定的模式语言来表示这种攻击即攻击签名的表示将是该 方法的关键所在其攻击签名必须能够准确的表示入侵行为及其所有可能 的变种，同时不会把非入侵行为包含进来。 由于很大一部分的入侵行为是利用系统的漏洞和应用程序的缺陷，那么通过 分析攻击过程的特征、条件、排列以及事件间的关系，就可具体描述入侵行为的 迹象。这些迹象不仅对分析已经发现的入侵行为有帮助，而且对即将发生的入侵 也有预警作用，因为只要部分满足这些入侵迹象就意味着可能入侵行为的发生。 误用检测是通过将收集到的信息与已知的攻击签名模式库进行比较，从而发 现违背安全策略的行为。那么它就只需收集相关的数据，这样系统的负担明显减 少。该方法类似病毒检测系统，其检测的准确率和效率都比较高。而且这种技术 比较成熟，国际上一些顶尖的入侵检测系统都采用该方法，如c i s c o 的n e t r a n g e r 、 i i s 的r e a l s e c u r e 以及a x e n t 公司的i n t r u d e r a l e r t 等。但是它也存在一些缺点： 1 不能检测未知的入侵行为 由于误用入侵检测只能建模并捕捉已知的漏洞，所以它对于未知的入侵行 为由于缺乏知识就不能进行有效的检测。从而导致漏警率比较高。 2 与系统的相关性很强 对于不同的操作系统，由于其实现机制不同，对其攻击的方法也不尽相同， 很难定义出统一的模式库。另外由于已知知识的局限，难以检测出内部人 员的入侵行为及合法用户的泄漏。 总体来看，这两种方法虽然能够在某些方面有很好的效果，但还各有不足。 孤立地去看哪种方法好、哪种方法不好都是不可取的。现在越来越多的入侵检测 系统都同时具有这两方面的部件，互相补充不足，共同完成检测任务。 入侵检测系统按照其输入数据的来源进行分类，可以分为3 类“1 ： 1 ) 基于主机的入侵检测系统 其输入数据来源于系统的审计日志，一般只能检测该主机发生的入侵：基 第一章绪论 ， 予主撬兹i d s 豹圭蜜饯势蠢： 非常适用于加密和交换环境； 近实时的梭溅亵应签； 不需要额外的硬件。 2 ) 基于瞬络的入侵检测系统“” 其输入数据来源于网络的信息流，能够检测该网段发生的网络入侵。熬于 髓络的入侵检测系统豹主要优点存 成本低： 攻击者转移证据缀豳难； 实时检测和应答。一旦发生恶意访问或攻啬，基于网络的i d s 检测可 以随时发现它们，因此能够更快地作出反殿。从两将入侵瓣动对系统 的皴坏减到最低； 能够检测采成功的攻击企图； 襟作系统独立。基于网络静i d s 并不依赖童视的操作系统作为检测资 源，而基于主机的系统需要特定的操作系统才能发挥作用。 3 ) 采用上主蘸两种数据来源的分布式豹入侵稔铡系统 需能够同时分析来自主机系统审计日志和网络数据流的入侵检测系统，一 般为分奄式维鞠，蠢多个部件组成。入经验瓣系统往往包岔事件晌斑子系统。 事件i 岣应是模型中的第三个组成部分，指网络安全系统对安全事件的自动反 应。鑫麓在使爝静事件响应方法大体上分为三类：报警、隧塞和反潦。报警是 最基本。也怒最常用的办法、当入侵行为被确认之后，响应系统可以通过声胬、 霆象、电子郏 孛、滚传、寻评凝等方式淘系统管瑾入受示警。这是手孛缝被动 和最保守的方式。阻塞是指响应系统通报防火墙修改自己的访问控制规则，切 甑入 曼着与系统戆联系。这徉徽骞定豹阪浚，特澍是入侵赣霹链欺骗入橙梭 测和响应系统去切断一个合法的连按。反击的方法是指被侵入系统采取主动平 段对“黑客”使用的系统蜜藏“反 爽寨”，在掇壤懿壤况下，甚至搿缝实藏反 攻击。但是在入侵检测系统的虚警率高居不下的今天，保守一点的响应方法 比较瑷实。 1 2 i 3 入侵检测系统的组成 一般地，个入侵检测系统由以下组件组成“： 1 ) 燃( d a t as o u r c e ) ：数据源楚i d sj | 螽筏并发溪未攫粳或髯謦行为懿漂 始网络数据包。通常数据源包括原始网络数据包、操作系统审计记录、应用程序 审诗记漾鼓及系绫校验数攘等等。 基于独立分量分析的入侵检测系统研究 2 ) 感应单元( s e n s o r ) ：感应单元从数据源收集数据。不同的i d s 其感应单元 收集数据的频率也不同。 3 ) 分析单元：分析单元分析处理感应器收集到的数据( 如未授权或异常行为 和其他有用事件等) 并产生告警。在现有i d s 系统中，感应单元和分析单元往往 是统一组件的一部分。 、 4 ) 管理单元：一般地，管理单元的功能包括分析单元配置、事例告知管理、 数据综合和报表等。 5 ) 响应单元：响应单元是对告警作出反应的功能单元。在一些系统中，管理单 元和响应单元的功能由同一个模块执行。既可称为响应单元，也可称为管理单元， 如告知模型和告知一询问模型。 6 ) 行为：行为是数据源的实例，如某个网络连接、某个用户执行的一个操作 和某个应用程序的触发的一个事件等。行为既可以是危险的恶意攻击，也可以是 无害的用户偶然异常操作。 7 ) 事件：事件是对源数据进行分析的结果。事件( 一个或多个) 可触发告警。 8 ) 告警：告警消息由分析单元产生并发送到对应的响应单元。告警消息通常 包括事件的类型、事件发生的时间、事件处理的优先级等信息。 9 ) 反应：反应是对事件发生采取的措施。反应可能由系统自动触发，也可以 由安全管理人员发动。其中通知管理员是普遍反应。其他反应还包括行为记录、 原始数据特征记录、切断网络连接、终止用户进程、改变网络或系统存取属性等。 1 0 ) 管理员：( 安全) 管理员负责整个i d s 的安全策略配置和组件配置工作。 管理员和操作员在系统中，担任不同的职责，是两个不同的系统角色，但在现实 中可以是同一个人或小组。 1 1 ) 操作员：操作员是i d s 的主要用户。操作员监视入侵检测系统的输出， 必要时采取一定的反应措施。 1 2 4 入侵检测技术 入侵分析的任务就是在提取到的庞大的数据中找到入侵的痕迹。提取到的事件 作为信息输入到检测系统之中，检测系统对其进行分析和处理；从而得到入侵的 判断。一方面入侵检测系统需要尽可能多地提取数据以获得足够的入侵证据，而 另一方面由于入侵行为的千变万化而导致判定入侵的规则越来越复杂。为了保证 入侵检测的效率和满足实时性的要求入侵分析必须在系统的性能和检测能力之 间进行权衡，合理地设计分析策略，并且可能要牺牲一部分检测能力来保证系统 可靠、稳定地运行并具有较快的响应速度 分析策略是入侵分析的核心。系统检测能力很大程度上取决于分析策略。在 第一章绪论 9 实现上，分析策略通常定义为一些完全独立的检测规则。入侵检测可分为异常检 测( a b n o r m a ld e t e c t i o n ) 和误用检测( m i s u s ed e t e c t i o n ) 。相应地，入侵分析按照 其检测规则可以分为两种类型： ( 1 ) 基于统计的检测方法 这种分析规则认为入侵行为应该符合统计规律可以通过对统计量的偏差进行 异常检查来检测出不正常行为给用户、工作站、服务器、文件、网络适配器 及其它资源等主体和对象定义一系列的变量。在假设用户操作正常情况下，通 过观察历史数据或声明期望值为每个变量建立基值。它静态分析用户当前行为 参数，并与用户历史行为( 基值) 进行比较，入侵定义为任何与基值相比较有 不可接受的偏差。例如，系统可以认为一次密码尝试失败并不算是入侵行为， 因为的确可能是合法用户输入失误，但是如果一分钟内有8 次以上同样的操作 就不可能完全是输入失误了，而可以认定是入侵行为，因此，组成分析策略的 检测规则就是表示行为频度的闽值，通过检测行为并统计其数量和频度就可以 发现入侵。 ( 2 ) 基于规则的检测方法 这种分析方法认为入侵行为是可以用特征代码来标识的。利用人工智能的方 法，定义已知攻击手段的入侵模式，将它们抽象成一条条推理规则，然后对所有 网络活动进行特征提取。观察能与模式匹配的事件数据，从而发现入侵。比如说， 对于尝试帐号的入侵，虽然合法用户登录和入侵尝试的操作过程是一样的，但返 回结果显然是不同的，入侵者返回是尝试失败的报文因此，只要提取尝试失败 的报文中有关键字段或位组作为特征的代码，将它定义为检测规则，就可以用来 检测该类入侵行为。这样，分析策略就由若干条检测规则构成，每条检测规则就 是一个特征代码，通过将数据与特征代码比较的方式来发现入侵。模式匹配引擎 可以是有限状态机模型、判定树，还有专家系统、神经网络、混沌分类系统或可 能性推理型等大量模式匹配技术。 这两种检方法则各有其适用范围，不同的入侵行为可能适应于不同的方法。 基于规则的入侵检测具有易于扩充和判断准确的优点，但它只能对已知的攻击手 段进行检测。基于统计的入侵检测技术对未知攻击的检测手段有限，此外，它的 自学习特性也使得攻击者可以使用一系列特定的训练样本来人为训练检测系统， 使其误认为进行的是正常的网络活动就系统实现而言，由于基于统计的检测方 法的入侵分析需要保存更多的检测状态和上下关系，因而需要消耗更多的系统资 源，实现难度相对较大。 基于网络的入侵检测技术在工业界和学术界的发展方向是截然不同的。工业界 侧重于利用成熟、稳定的技术，学术界倾向于基础性、前瞻性技术研究。 o蒸予独立分量分辑翁入授捡溺系线研究 1 ) 工业界：协议分析技术鞠状态协议分析技术 采用协议分析技术的i d s 能够理解不同协议是如何工作的，由此分析这些协 议的流量来寻找可疑的或不姬常的行为。对每一种协议。分析不仅仅基于协议标 准如r f c ，还基于协议的具体实现( 因为很多协议的实现偏离了协议标准) 。协议 分析技术观察并验证所有的流量，当流爨不是所期遵时就发出告警。协议分析具 荫寻找 壬何偏离标准或期望值的行为的能力，因此它能够梭测刘已知的和米知的 攻击方法。 所谓状态协议分析，就是在常规协议分析技术的基础上加入状态特性即不 仅仅检测单的连接请求或响成，而是将一个会话的所有流量作为个整体来考 虑。有的网络攻击行为议仅靠检溯革一的连接请求成响应是裣铡不到的，因为它 龟含在多个请求中，所醣袄态协议分析技术十分必要。 协议分析和袄态协议分析技术有效克服了传统模式汪醚技术的缺点，籀高了 波交能力和缒理速度溺时能够有效抵御弱溺路径模糊( p a t ho b f u s c a t i o n ) 、 + 六避制编弱( h e xe n c o d i n g ) 、黢十六遴翻编码( d o u b l e l e xe n c o d i n g ) 罩bu n i c o d e ( u t t - 8 ) 编码等来隐藏攻击的行走。 著名安全厂裔i s s 公司幻r e a l s e c u r e 掰络传感器7 0 软 譬包戳i s s2 0 0 1 年 6 胃牧购n e t w o r ki c e 公司获得豹几个缎锌菇特色，该软件毽采惩渗议分析技术， 鼠瑟能以手懿位速度楚璎信患包。 2 ) 学术界：智能他捡溅弱相关技本 智熊佬捡测静糕关技术包描摊经网络”“”、数摄挖撼”1 、免疫爨理等等。嚣 魏对这些技术兹磺突是学术爨中豹热点，毽实骣应阕豹产品足乎没窍。这并不是 谠这些磷究没窍馀蕊，毕竟从长远来番，絮糍他是大势舞趋，现在篱要基端牲谤 究，只是望# 还缺乏关键性突破。 出于海燕数据的存在及题终巧境积慰终攻击豹复杂蛙，传统款基予手王编鹃 建立摸型的方式缺乏精确性、实时性，所以数擐挖掘应运两出。数握挖掘方法是 提供个通用的检测模型，与特定的攻忐神类无关，所以冀冬釉攻遗的阉值是渤 态调整的，要根据所采用的训练数撼面定，也就是说训练数据歪关重要。诸如分 类、关联、序列、聚类等分析方法融碍到验证，能够有效地提嬲了入侵检测的精 确性，特别是在选择统计特征聪尤其有用。该方向已成为研究的一个热点，属于 网络安全和人工智能的交叉学科。 至于神经网络方法，它是利用神经网络技术来进行入侵检测的，它对用户行 为具有学习和自遁应性，能够根据实际捡测副的信息有效地加以处理并做出判断， 这样就有效地避免了基于统计模型的检测方法的缺点。目前，这种攻击检测方法 述不太成熟。 第一章绪论 1 2 5 入侵检测技术的发展趋势 可以看到在入侵检测技术发展的同时，入侵技术也在不断更新。一些地下组织 已经将如何绕过i d s 或攻击i d s 系统作为研究重点】。高速网络，尤其是交换 技术的发展以及通过加密信道的数据通信使得通过共享网段侦听的网络数据采集 方法显得不足。而大量的通信量对数据分析也提出了新的要求。随着信息系统对 个国家的社会生产与国民经济的影响越来越重要信息战已逐步被各个国家重视 。信息战中的重要攻击武器”之一就是网络的入侵技术【1 3 】，信息战的防御工要 包括“保护”、检测”与“响应”，入侵检测则是其中“检测”与“响应”【1 4 1 环节不可缺少 的部分。近几年来，入侵检测技术有几个主要的发展方向： ( 1 ) 分稚式入侵检测与通用入侵检测架构。传统的i d s 一般局限于单一的主机 或网络架构对异构系统及大规模的网络的监测明显不足、同时不同的i d s 系统之 间不能协同工作能力。为解决这一问题需要分布式入侵检测技术与通用入侵检测 架构。c i d f 【l5 】以构建通用的i d s 体系结构与通信系统为目标，g r i d s m 】罡艮踪与分 析分布系统入侵，e m e r a l d m 】实现在大规模的网络与复杂环境中的入侵检测。 ( 2 ) 应用层的入侵检测技术。许多入侵的语义只有在应用层才能理解，而目前 的i d s 仅能检测如w e b 之类的通用协议，而不能处理如l o t u sn o t e s 、数据库系 统等其他的应用系统。许多基于客户、服务器结构与中间件技术及对象技术【1 8 1 的 大型应用需要应用层的入侵检测保护。s t i l l e r m a n 悖1 等人已经开始对c o r b a 的i d s 研究。 ( 3 ) a 侵检测的评测方法。用户需对众多的i d s 系统进行评价，评价指标包括 i d s 检测范围、统资源占用、i d s 系统自身的可靠险与鲁棒性。从而设计通用的入 侵检测测试与评估方法与平台，实现对多种i d s 系统【2 4 】的检测已成为当前i d s 的另一重要研究与发展领域。 ( 4 ) 与其他网络安全技术相结合。结合防火墙、p k i x 、安全电子交易s e t 等 新的网络安全和电子商务技术，提供完整的网络安全保障。 ( 5 ) 智能的入侵检测。入侵方法越来越多样化与综合化，针对异常入侵行为检测 的策略与方法也不是固定的，智能计算技术在入侵检测中的应用将大大提高检测 的效率与准确性。近年来已有关于运用神经网络进行入侵检测的报道。通过对神 经网络进行一定数量的已知命令序列的训练后，能够预报出下时刻的命令。但 神经网络的连接权系数难以确定，其输出准确性往往依赖于己知入侵命令集合的 大小。 近年来还有运用遗传算法、遗传编程及免疫原理进行入侵检测的方法。此外， 将模糊技术同神经网络相结合，将大大加快神经网络的训练时间，提高神经网络 的容错与外拓能力。应用软计算方法进行入侵检测仍是一个大有作为的领域。 基于独立分量分析的入侵检测系统研究 1 3 本章小结 随着计算机技术和通讯技术的迅速发展，网络正逐步改变着人们的工作方式和 生活方式成为当今社会发展的一个主题。网络的开放性、互联性、共享性程度 的扩大，特别是i n t e r n e t 的出现，使网络的重要性和对社会的影响也越来越大， 网络安全问题也变得越来越重要。公司一般通过安装防火墙来保护网络安全，利 用防火墙技术经过仔细、正确的配置，通常能够在公司内、外部网络之间通过 安全的网络保护，降低网络安全风险。但是，仅使用防火墙来保证网络安全还远 远不够满足网络安全的要求。 入侵检测技术是近年来出现的新型网络安全技术目的是提供实时的入侵检测 及采取相应的防护手段，如记录曰志、断开网络连接等。它以探测与控制技术为 本质，起着主动防御的作用，是网络安全中极其重要的部分。 本章对当前入侵检测系统的体系结构、研究现状和发展趋势作了全面的介绍。 在入侵检测系统的模型中，其核心是数据分析模块。常用的数据分析模块是基于误 用检测和异常检测，从模式识别的角度来况，这两种检测方法共同点在于它们都 是用于区分入侵行为和难常行为的分类器。在以下的几章中，我们将模式识别同 独立分量分析结合起来，设计出几种入侵检测系统的数据分析模块。 第二章主分量分析与白化 第二章主分量分析与白化 主分量分析( p c a ) 是一种应用于统计数据分析、特征提取、数据压缩等领域中 的经典方法。对于一个多变量的数据集，主分量分析通过去相关来消除变量之间 的冗余信息，同时还要求能够尽可能好的描述原有数据集。在这一点上，主分量 分析同独立分量分析的目的是相同的。然而主分量分析消除冗余性的方法是通 过消除变量之删的相关性，而独立分量分析的要求则更为严格，它要求变量之间 是统计独立的。虽然，主分量分析只利用了数据的二阶统计量对数据进行分析， 但对于独立分量分析，主分量分析还是一个很有用的数据预处理方法。 2 1 主分量分析( p c a ) 主分析的目的是从原始的多变量取若干线性组合，将尽可能多的保留原始变 量中的信息。从原始变量到新变量是一个原始变换( 坐标变换) 。由于随机向量中 的分量存在相关性，因此利用主分量分析可以去掉那些冗余信息。主分量分析方 法并不需要对随机向量的概率分布做什么假设，它所用到只是样本的1 阶或2 阶 统计信息而这些信息可以比较容易的利用统计方法从样本集合中得到。在利用 这些统计信息搜索到的予空间中，可以提取出称之为主分量的关键信息，这样就 便于进行进一步的处理。从空问角度来看，p c a 可以有效地将原先混杂在起的样 本分离7 i ：来a n d r e a sw e i n g e s s e l 1 验证了这一点，其仿真结果如下图所示： 基于独立分量分析的入侵检测系统研究 图1 ：p c a 处理后的结果 2 1 1 基于最大方差的主分量估计 设有一个p 维随机变量x = ( x 。，x ，) ，有两阶矩，其均值和方差分别记为 i t = e ( x ) ，= v a r ( x ) 。考虑它的线性变换： k = l i x = l l l x l + + ， ( 2 1 1 = l p x = 厶，j x i + + l e e x ， 易见： v a r ( y , ) = 厶弘 c 0 v ( r ，) = 。 其中i ，j = 1 ，p 如果要用y 。尽可能多的保留原始的x 的信息，经典的方法是使y 的方差尽可 能大，这需要对线性变换的系数l 加以限制，一般要求它是单位向量，即l l = l 。 其他的各y - 也希望尽可能多的保留x 的信息，但前面的yb 一，y 。已保留的信息 就不再保留即要求c o y ( y t ，y ，) = o ，j = z ，。i - 1 。同时对l j 也有l 。l 严1 要求，在 这样的条件下使v a r ( y t ) 最大设协方差阵的特征值为 以0 相应的单 位特征向量分别为q ，口。( 当特征根有重根时单位特征向量不唯一) 这时x 的第i 个主成分为r = q x ，i = 1 ，p 且v a r ( y i ) = 2 , ，记 a = ( 口i 口，) ，y = ( x ，昂) a = 则a 为正交阵y = a x ，v a r ( y ) = ，且y q p = 一屈，其中尼，为的主对角元 素。 主分量y - 与原始分量x t 的相关系数p ( v 。x 。) 成为因子负荷量。可以证明 m 篇二章主分量分析与自化 1 5 p ( y k ，x i ) = 再h 厮，k ，i = 1 ，p ( 2 3 ) 2 n , p 2 ( 毪，五) = 毛 ( 2 4 ) 。pp 2 ( ，一) = 2 ，屁= 1 ( 2 5 ) 为减少变量躲令数，幕餐蘩几个￥，裁霹激代表x 静丈部分信怠，定义 矗 ( 2 。6 ) 为主分量y 。的贡献率，称 蠢乏 ( 2 ，7 ) 为主分量y 1 1 ”y 的累积贡献率。一般取m 使得贡献率达到7 0 - - 8 0 以上n 累积 贡献率表示m 个主分艟从x - x p 中提取了多少信息但没有表达用它来恢复 簿一个x 能恢复多少，为此定义m 个主分量y 一，y 。对原始变缀x i 的贡献率v ； = z 五锻2 z , ， ( 2 8 ) v i 为v “，y 。的复提关系数平方，霹以爆其计算藏m 令主努攫y = ( y ；，； 在x 的m 个线性缀合中能对x 最好的线性逼近。 在1 - f i r f 的主分量计算方法申，方差越大的变霪越被伐先缧鐾信惠，实隧孛梵 了消除这种影响经常把变量标准化，即： 耻勰t ，p p 池9 ) = 7 0 = = 一，i o i ， 、6 ， 、 矿d r 哨| 、 这黠，x 。的换方差阵就是x 熬提关阵r 。主分蓬静决方差阵楚 a = d i a g ( & ，五。) ( 2 1 0 ) 其中： + ，一为r 的特征根- ! = ； = p x ，与主分量v ? 的拥关系数为 尹 嚣，置+ ) = 五+ + ( 2 t1 ) 对于x 的观测样本，设第t 次观测为x m = ( x x 。) ，t = 1 2 ，n 数据可以写 残矩阵形式为： ， 基丁独立分量分析的八侵检测系统研究 kx i2 爿= | !i l h 2 氆x 鹣掺方差簿豹菇谤帮耀关终鲍接计， 箅特征值和单能特征向奄仍记为 蚓 泣蚴 五五h 2 乃猢 ( 2 1 3 ) 掰i ，口l ，。挫 羽y i = a 。x 佟为x 静第i 令主分量，蕊y ( t - x 1 ) a 成为第t 个戏测豹主分量瓣分。 ! j ! | j 拇到的土分壤矩阵为： y = x a( 2 + 1 4 ) 2 。l 。2 基于缀犬均