（计算机应用技术专业论文）基于xml的多源日志安全信息集成分析研究.pdf

哈尔滨工程大学硕士学位论文 摘要 网络安全态势感知是近年网络安全领域的一个新兴研究课题，它能全面 地反映当前网络安全状况。网络中各种安全设备( 防火墙、i d s 、病毒检测) 、 操作系统( 包括w i n d o w s 和u n i x ) 、应用服务等都产生大量的日志数据。这 些日志数据详实地记录了系统和网络中的运行事件，通过它可以了解系统运 行状况、审核安全事件等，是网络安全态势中的重要数据源之一。通过分析 日志，不但可以及时发现系统中有事件发生，并能通过对日志的进一步分析 及追溯，可以找出当前的系统漏洞，确定网络安全中的薄弱环节，分析和定 位可能出现的攻击，从而采取相应的措施加强网络控制。 首先，依据项目需要设计与实现了日志传感器，并分析与设计了日志态 势信息模型。在实现日志传感器的过程中，根据日志文件的来源和存在形式 对日志的采集进行了分类，实现了w i n d o w s 系统日志数据、交换机日志数据、 l i n u x 系统日志数据和防火墙以及s n o r t 等日志数据的采集。 其次，研究了基于蚂蚁堆尸原理的聚类算法，提出了基于聚类算法的多 源异构日志信息融合方法的研究，针对蚁群聚类算法的不足，从性能和适应 性上加以考虑，对原始蚁群聚类进行了改进。通过设定可变感知范围的大小 以及单个蚂蚁的负载能力，减少了蚂蚁不合理的行为以及增加算法的高度并 行能力，提高了算法的性能。通过引入动态可变的阈值参数，增加了算法的 适应性。实验证明，改进的算法比原始的算法聚类效果更佳，优化了日志数 据分析方法。 再次，依据对多源日志的分析，研究基于x m l 的多源信息格式化方法， 采用x m l 和s c h e m a 技术来构造全局数据模型，采用q u e r y 组织全局查询， 采用x m l b e a n s 和j a v a 对x m l 进行访问和处理，通过基于x m l 的模式集 成方法来生成事件。 最后，研究基于x m l 的集成方案实验，搭建了集成实验环境，进行了 基于聚类算法的多源安全信息融合和基于x m l 的多源异构日志数据安全信 哈尔滨t 稗大学硕十学位论文 息事件生成，取得了不错的实验结果。论文最后总结工作，并提出了下一步 的研究重点。 关键词：态势感知；日志；聚类算法：数据集成：x m l 哈尔滨工程大学硕士学位论文 a bs t r a c t n e t w o r ks e c u r i t ys i t u a t i o n a la w a r e n e s s( n s s a ) i sah o tt o p i ci nn e t w o r k s e c u r i t yr e s e a r c hf i e l d s t h es e c u r i t yd e v i c e s ( f i r e w a l l ，i d s ，v i r u sd e t e c t i o n ) ， o p e r a t i n gs y s t e m sa n da p p l i c a t i o ns e r v i c e sc a l lp r o d u c ea l o to fs e c u r i t yl o g s a sa i m p o r t a n td a t ar e s o u r c e ，t h e s el o g sc a nr e c o r dr u n n i n ge v e n t si ns y s t e m sa n d n e t w o r k sa n dc a nr e v e a lt h es y s t e ms t a t e ，s e c u r i t ye v e n t s b ya n a l y z i n gs e c u r i t y l o g s ，a d m i n i s t r a t o r sc a np r e d i c ts e c u r i t ye v e n t sa n df i n dt h er o o tc a u s e o fs e c u r i t y e v e n t sa n ds y s t e mb u g s t h e nt h ec o r r e s p o n d i n gm e a s u r e sc a nb ea p p l i e dt o r e i n f o r c et h en e t w o r kc o n t r o la n di d e n t i f yt h es y s t e mw e a k n e s s f i r s t l y , t h ea r c h i t e c t u r eo ft h el o g b a s e dn s s as e n s o ri sd i s c u s s e d ，a n dt h e p l a no fs e n s o r s d e p l o y m e n ta n dt h ep l a no fs e n s o r s i n f o r m a t i o nm o d e l a r e s u g g e s t e d t h ef u n c t i o no fe a c hm o d u l ei n as e n s o ri sh i g h l i g h t e di nd e t a i l s a c c o r d i n gt h ed a t as o u r c ea n dt h ef o r m a to fl o gf i l e ，t h r e em e a n s f o rl o g s c o l l e c t i o ni n c l u d i n gt h e s n o r t l o g ，t h ew i n d o w so s h o s tl o g ，t h el i n u x h o s t l o ga n dt h ef i r e w a l l sl o ga r e r e a l i z e d s e c o n d l y , t h e a n t c o l o n yo p t i m i z a t i o na l g o r i t h m i sd i s c u s s e da n da m u l t i s o u r c eh e t e r o g e n e o u si n f o r m a t i o nf u s i o nm e t h o df o rn s s al o g sb a s e do n a n tc o l o n yc l u s t e r i n go p t i m i z a t i o na l g o r i t h mi sp r o p o s e d a sp e r f o r m a n c ea n d a d a p t a t i o na r ec o n s i d e r e d ，t h eo r i g i nc l u s t e r i n ga l g o r i t h mi so p t i m i z e d b ys e t t i n g t h es e n s i n gr e g i o na n dt h el o a d i n ga b i l i t yo fs i n g l ea n t ，t h ei n c o r r e c ta c t i o n so f a n t sa r er e d u c e da n dt h ea l g o r i t h mp a r a l l e l i s mi sr e i n f o r c e d t h u s ，t h ea l g o r i t h m p e r f o r m sb e t t e rt h a nb e f o r e e x p e r i m e n t a lr e s u l t s s h o w e dt h a tt h ei m p r o v e d a l g o r i t h mp e r f o r m sb e t t e rt h a no r i g i na l g o r i t h ma n dt h el o g d a t am e t h o di s o p t i m i z e d f u r t h e r m o r e ，a c c o r d i n gt ot h ea n a l y s i so fm u l t i s o u r c el o gf i l e ，t h ef o r m a t m e t h o db a s e do nx m li sd i s c u s s e d x m la n ds c h e m at e c h n o l o g ya r eu s e df o r 哈尔滨工稃大学硕士学位论文 c o n s t r u c t i n gg l o b a ld a t am o d e la n dt h eq u e r yi su s e df o ro r g a n i z i n gt h eg l o b a l q u e r y m o r e o v e r , t h ex m l b a s e dp a t t e r ni n c o r p o r a t i o nm e t h o di su s e df o re v e n t g e n e r a t i o nw i t hx m l b e a n sa n dj a v a b a s e da c c e s s i n ga n dm a n a g e m e n t f i n a l l y , t h ef o l l o w i n gp a r tt e s t st h ee f f e c t i v e n e s so ft h em e t h o dc o m p a r e d w i t hx m lb a s e dt e c h n i q u e s ，a n dt h e nt h ed a t af o r ml o gs e n s o ra r ea n a l y z e da n d i n t e g r a t e d f o rt h ec o n v e m e n c eo fi n f o r m a t i o nf u s i o no fn s s as e n s o r s ，t h ed a t a a r et r a n s ；f o r m e di n t oau n i f o r mf o r m a tx m lf i l e a t1 a s t ，t h ec o n c l u s i o ni sd r a w n a n dt h ef u r t h e rr e s e a r c h e so nt h i si s s u ea r ep u tf o r w a r d k e y w o r d s ：n s s a ；l o g ；c l u s t e r i n ga l g o r i t h m ；d a t ai n t e g r a t i o n ；x m l 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下，由 作者本人独立完成的。有关观点、方法、数据和文献的引用己在 文中指出，并与参考文献相对应。除文中已注明引用的内容外， 本论文不包含任何其他个人或集体己经公开发表的作品成果。对 本文的研究做出重要贡献的个人和集体，均己在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。 作者( 签字) ：力秽锰、 日期：年6 月oe 哈尔滨工程大学 学位论文授权使用声明 本人完全了解学校保护知识产权的有关规定，即研究生在校 攻读学位期间论文工作的知识产权属于哈尔滨工程大学。哈尔滨 工程大学有权保留并向国家有关部门或机构送交论文的复印件。 本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据 库进行检索，可采用影印、缩印或扫描等复制手段保存和汇编本 学位论文，可以公布论文的全部内容。同时本人保证毕业后结合 学位论文研究课题再撰写的论文一律注明作者第一署名单位为哈 尔滨工程大学。涉密学位论文待解密后适用本声明。 本论文( 口在授予学位后即可口在授予学位1 2 哈尔滨t 程大学硕士学位论文 第l 章绪论 1 1 研究背景 1 1 1 网络安全现状 随着信息化进程的深入和互联网的迅速发展，人们的工作、学习和生活 方式正在发生巨大变化，效率大为提高，信息资源得到最大程度的共享。2 0 0 9 年3 月2 5 日，中国互联网络信息中心( c n n i c ) 发布了( 2 0 0 8 年中国网民 信息网络安全状况研究报告。报告显示，超过七成的网民愿意使用免费的安 全软件，而近八成的网民对于在网上提供个人信息安全有着不同程度的担忧， 网络信息安全已经成为影响网民上网行为的重要因素。同时，调查显示，近 半数网民从未听说或关注过第三方机构颁发的网站诚信标示，我国互联网亟 需建立完善的诚信体系，信息安全成为一个社会问题。 据c n n i c 报道，中国网民规模继续呈现持续快速发展的趋势。截至2 0 0 8 年6 月底，中国网民数量达到2 5 3 亿人，2 0 0 7 年底美国网民数为2 1 8 亿人， 按照美国近年来的的网民增长速度估算，美国网民人数在2 0 0 8 年6 月底不会 超过2 3 亿人，因此中国网民规模已跃居世界第一位。比去年同期增长了9 1 0 0 万人，在2 0 0 8 年上半年，中国网民数量净增量为4 3 0 0 万人。如图1 1 所示。 同时在2 0 0 9 年2 月的调查中，n e t c r a r 在侦测时收到了2 1 5 , 6 7 5 ，9 0 3 个站点的 反馈信息，相比上个月增加了3 0 1 7 9 万个站点【2 】，如图1 2 所示。互联网在 中国的应用正逐步广泛化，越来越多的人接触到互联网，并从互联网世界获 益。根据c n n i c 统计，接触过互联网的人中，9 9 都会继续上网。这些数据 充分显示了互联网在世界和中国的蓬勃发展状况。 哈承滨 程人学硕 一学位论文 3 0 亿人 2 5 3 25 2o 15 10 05 00 2 0 0 50 62 0 0 51 22 0 0 60 62 0 0 61 22 0 0 70 62 0 0 71 22 0 0 80 6 图1 1 中国网民人数增长情况 l l l l l i l l i i i l l l l i l 装 i | i | i | i s i | i | i | i | i | 童| i | i | i | 墓 图12 全球网站数( 1 9 9 5 8 2 0 0 9 2 ) 近年安全漏洞数量不断增加，仍是信息系统的主要安全隐患。据美国 c e r t c c 统计，该组织2 0 0 8 年全年收到信息系统安全漏洞报告6 0 5 8 个。自 1 9 9 5 年以来，漏洞报告总数己达4 4 0 7 4 个【2 嘲，具体统计结果如图l3 所示。 2 n 出强他同廿懈困协冈龃一诅 罴黧熙罴黧。 拍舛轧嚣帱棒“帖n 啃尔滨j 程大学硕十学位论文 图13 安全漏洞数量年度统计 2 0 0 8 年上半年国家互联网应急中心( c n c e r t ) 共接收3 2 9 1 件非扫描类 网络安全事件报告，根据报告的事件类型统计如图1 4 所示，总体情况看束， 2 0 0 8 年上半年所接收的网络安全事件总数与去年同期相比大量增加，而垃圾 邮件事件、网页恶意代码事件、网络仿冒事件尤为突出，呈现大幅增长【”。 2 0 0 8 年上半年度隔络安全事件类型分布 拒绝服务攻击 o2 7 _ 网页恶意代码_ 阿络仿冒- 拒绝服务攻击 _ 垃圾邮件# 漏洞- 病毒、蠕虫或本马 翻】42 0 0 8 年上半年网络安全事件类型分布 3 哈尔滨下稃大学硕士学位论文 综上所述，随着i n t e m e t 规模的不断扩大、应用不断增多，网络已经深 入到生活的每个领域，给日常生活带来极大的方便。与此同时，由于各种网 络的应用层出不穷，导致网络上充斥着各种漏洞和病毒，攻击者利用这些漏 洞和病毒进行攻击；因为各种利益的驱使，计算机犯罪也越来越猖獗，计算 机的安全、取证工作也变得越来越重要。网络环境的复杂性、多变性，以及 信息系统的脆弱性，决定了网络安全威胁的客观存在。 网络安全的概念早己扩展到由计算机网络连接的整个世界范围内。目前 的网络安全是以经济成本和访问速度的降低为代价的，随着网络技术的不断 发展，网络安全也不断发展和完善，但至今仍然存在着许多的问题。许多机 构为了保护自身系统的安全，采用了架设防火墙、入侵检测系统和病毒保护 系统等安全措施，但这仍然不能保证网络系统的绝对安全。 1 1 。2 网络安全态势感知的概念 “态势感知( s i t u a t i o n s i t u a t i o na la w a r e n e s s ，s a ) 这一概念最初源于 航天飞行的人因( h u m a nf a c t o r s ) 研究【4 】，此后在军事战场【5 1 、核反应控制【6 1 、 空中交通监管明( a i rt r a f f i cc o n t r o l ，a t c ) 以及医疗应急调度【8 1 等领域得到 了广泛的应用。态势感知之所以越来越成为一项热门研究课题，是因为在动 态复杂的环境中，决策者越来越依赖于态势感知工具，来显示环境态势的连 续变化状况。1 9 8 8 年，e n d s l e y 在文【9 】中把态势感知定义为“在一定的时空条 件下，对环境因素的获取、理解以及对未来状态的预测”，整个过程可由图1 5 所示的三级模型直观地表示出来。 图1 5 态势感知的三级层次模型 1 9 9 9 年美国著名网络安全专家t i mb a s s 在文献1o 】中首次提出了网络态 4 哈尔滨1 = 程大学硕十学位论文 势感知( c y b e r s p a c es a ) 的概念，也即网络安全态势感知，并对n s s a 与 a t c 态势感知进行了类比，旨在把a t c 态势感知的成熟理论和技术借鉴到网 络态势感知中去。 然而，目前对网络安全态势感知还未有一个统一的、全面的定义。文献 u i j 给出了一个描述性定义，所谓网络态势是指由各种网络设备运行状况、网 络行为以及用户行为等因素所构成的整个网络当前状态和变化趋势。值得注 意的是，态势是一种状态，一种趋势，是一个整体和全局的概念。网络安全 态势感知是指在大规模网络环境中，对能够引起网络安全态势发生变化的安 全要素获取、理解、评估以及预测的过程。 1 2 日志分析的国内外研究状况 1 2 1 国外研究现状 1 9 8 0 年，a n d e r s o n t l 2 首次提出了利用系统自身的日志信息进行安全审计 的思想。这方面的研究经历了2 0 余年的发展后，已经形成了较为完备的理论 和实际应用系统。但正如z a m b o n i ”3 所指出的，大部分安全工具只有日志数 据的中心处理，而不管日志数据源的分布式收集。这种情况直接限制了这些 工具的监测范围、配置的难度和容错能力。密苏里大学的s t e v em e y e r t l 4 】对事 件日志在当今网络环境中的研究意义做了分析，他认为目志是分析网络安全 必不可少的数据源，但日志分析工具的研发远跟不上网络安全的发展。n c s a 的k i r a nl a k k a r a j u 和x i a o x i ny i n 1 5 】等人研究了在面对不同的网络安全攻击 时，如何选择与之相关联的日志数据源来形成入侵证据的问题，最后还给出 了日志收集和可视化的初步试验结果。还有德州农机大学的e r i ca f i s c h 等 人设计了个基于s u n 操作系统的日志分析工具 1 6 1 ，该工具能自动地从危害 主机中的入侵者活动日志中剔除安全敏感信息，这是保护主机安全的一个手 段，这对分析广义的日志也是有借鉴意义的。 目前国外研究开发的日志工具主要集中在日志统计分析、实时监控和安 全集中管理方面。比如g f i 软件公司开发的l a n g u a r ds e c u r i t ye v e n tl o g 5 哈尔滨t 程大学硕士学位论文 m o n i t o r 可完成基于所有w i n d o w s 操作系统的日志事务的日志分析；有n e t l q 公司w e b t r e n d s 日志分析工具系列，主要对w e b 日志和防火墙日志进行统计 分析，并能给出详细的统计报表和图解；n f r 安全公司的s l r ( s e c u r el o g r e p o s i t o r y ) 和i s s 公司的s l m ( s e c u r el o gm a n a g e r ) 是一个安全的、用于 储存和管理系统日志的系统。这个系统可以接收来自任何来源的系统日志数 据，把它们汇总到一个可防止篡改的设备中。这个设备带有全面的工具，用 来监测、分析和报告。 1 2 2 国内研究现状 国内对日志在网络安全分析中的应用研究也相对成熟。2 0 0 1 年上海交通 大学网络中心汪为农【”】等人研究开发了n a f l ( n e t w o r ks e c u r i t ya u d i ts y s t e m b a s e do nf i r e w a l ll o g ) ，他们提出了一个用于安全审计的防火墙日志信息的标 准化方案，该系统强调t c p i p 协议栈底层行为的安全审计，弥补了传统安全 审计系统的不足。国防科大的石彪、胡华平等设计了网络环境下的日志监控 与安全审计系统【l8 1 ，他们分析了日志监控与安全审计平台应当具备的功能， 在此基础上提出了网络环境下日志监控与安全审计系统的结构模型，并给出 了一种基于w 曲管理的实现方案。浙江大学黄艺海【l9 】等人提出了日志审计系 统的设计，从总体上描述了系统的框架技术以及一些关键技术的实现细节， 预见了日志审计系统在网络发展中的潜力。北京理工大学的牛建强等人提出 了基于数据挖掘的i d s 日志的分析处理方法 2 0 1 ，给出了入侵模式的提取与检 测分类器的建立过程，使日志分析更加智能化，这正是日志分析发展的趋势 所在。以上这些文献资料对实现从采集日志到依赖这些数据分析网络状态的 过程，都有着很大的指导和借鉴意义。 在日志信息的处理方面，已有针对网络系统中的大量日志审计信息采用 数据挖掘技术提取安全模式规则的研究。北方交通大学的蒋嶷川等提出综合 关联分析、序列模式分析、分类分析和聚类分析的4 种挖掘方法【2 1 】，从预处 理后的日志数据中提取安全规则，但对于如何根据日志信息的具体情况采用 6 哈尔滨工程大学硕士学位论文 合适的挖掘算法还有待于研究。除此之外，南京大学陈黎明等提出了一种日 志完整性检测方法 2 2 】，随着研究的深入，这也是研究日志数据源过程中必须 要考虑的技术。 通过国内外研究现状的分析，我们总结归纳如下： ( 1 ) 日志数据源定义没有一个统一、明确的日志数据源定义： ( 2 ) 网络安全状态的日志分析比较单一化，只是针对特定的，单一的日 志数据源进行分析，缺少一种能够集成各种相关网络安全的日志文件的联合 分析产品以形成联动分析来提取事件规律； ( 3 ) 缺少统一的分析模型，不能提供完备并已统一格式的数据来源。 ( 4 ) 日志数据源的存储管理有待提高。 1 3 选题的目的和意义 信息安全领域中的一个新的研究热点是网络安全态势感知系统研究。为 了满足网络安全态势感知系统的信息获取需求，开展研究安全传感器是非常 必要的。同时日志类数据源是判断网络安全状态的重要数据来源之一，它包 含了发生在系统上的不寻常和不期望活动的记录，这些记录对准确把握感知 结果起到决定性的作用。分析日志数据已成为系统管理员评估系统安全态势 和及时发现入侵者入侵行为的重要依据。 日志分析就是通过分析系统、i d s 、防毒软件及其他应用软件所生成的 日志向网络安全的管理者提供关于当前网络的安全态势，以便做出改进网络 使用方案的措施。它要力求做到实时、准确的提供当前网络的态势信息；同 时也要存有以往信息，方便用户进行比较分析和向有关部门提交入侵者的入 侵证据。 网络系统的安全是一个综合的解决方案，单靠任何一种安全产品，都不 可能做到安全。而且随着计算机技术的发展，入侵攻击手段日趋高明，再好 的安全措施也不能确保整个网络系统的安全。只有将各种安全工具结合起来， 才能构筑起一道网络安全的立体防御体系，最大程度地确保网络系统的安全。 7 哈尔滨工程大学硕十学位论文 i i 因此，应具备在系统的安全态势受到威胁时能够方便而快速地感知并采取措 施的响应能力。而完成这一工作最好的切入点就是利用各种系统记录它们所 发生的事件的日志综合分析并集成处理。 1 4 论文的研究内容和组织结构 文中在提出网络安全态势感知的概念后，结合日志分析的国内外现状， 首先了解日志的一些相关技术以及设计和实现日志类传感器，论文研究的工 作是设计实现网络安全态势感知日志传感器，对多源异构日志的采集、分析 处理，在对日志数据分析的过程中，对聚类算法加以改进，应用到传感器采 集到的日志数据分析中，最后以统一的安全事件格式提交给上册用户，满足 网络安全态势感知系统的需求。 1 4 1 研究内容 ( 1 ) 设计并实现基于网络安全态势感知日志传感器。 ( 2 ) 研究多源异构日志数据采集的方法，结合x m l 的知识，根据论文 的实际项目将传感器采集的数据转换为标准格式。 ( 3 ) 研究基于蚂蚁堆尸原理的聚类算法，提出了论文的观点：基于聚类 算法的多源异构日志信息融合方法的研究，优化了日志数据分析方法。 ( 4 ) 制订出态势信息的标谁模型，确立数据源和标准模型之间的匹配关 系，通过x m lb e a n s 和i a v a 编程实现多源异构日志数据的转换，采用x m l s c h e m a 技术进行设计态势信息模型，利用x p a t h 、x q u e r y 等技术对转换后的 目志数据进行集成。 1 4 2 组织结构 论文共分四章，其余章节的内容安排如下： 第2 章基于日志的网络安全态势感知传感器设计与实现。通过对日志的 定义等特点以及日志格式的分析，全面了解各种日志特性，同时设计并实现 了日志的网络安全态势传感器，并介绍和实现了采集的方法，为后续章节奠 8 哈尔滨t 稃大学硕十学位论文 定了基础。 第3 章基于日志的网络安全态势传感器的设计与实现，详细介绍了聚类 算法的基本情况，通过基于蚁群堆尸原理提出论文改进的算法，并加以实现。 最后得出了实验的结果并分析了实验结果和发现的问题，便于今后工作的开 展。 第4 章基于x m l 的多源安全信息集成，介绍了x m l 与j 越厂a 技术的相关内 容有技术，根据数据集成要解决的问题来探讨x m l 作为首选技术的理由，通 过基于x m l 的模式集成方法来生成事件，并根据实验结果分析实验过程中出 现的问题。 9 哈尔滨工程大学硕十学何论文 第2 章基于日志的网络安全态势传感器的设计与实现 日志是重要的网络安全数据源之一，用来描述操作系统、应用程序和用 户的行为，记录网路及系统中的各种事件。通过分析日志，不但可以及时发 现系统中事件发生，找出当前的系统漏洞，还能分析和定位可能出现的攻击， 从而采取相应的措施加强网络控制。随着计算机网络规模与复杂性的增长， 日志的种类和数量繁多，产生的海量数据很难让i t 管理员及时发现安全问 题。日志安全传感器的实现即是解决大规模网络日志获取与动态分析的有效 途径。 2 1 日志概述 2 1 1 日志传感器的重要性 首先，日志文件是一些文件系统集合，依靠建立起的各种数据的目志文 件而存在。在任何系统发生崩溃或需要重新启动时，数据就遵从日志文件中 的信息记录原封不动进行恢复。日志记录对于系统安全的作用是显而易见的， 一个有经验的管理员往往能够迅速通过日志了解到系统的安全性能，而一个 聪明的黑客会在入侵成功后迅速清除掉对自己不利的曰志。无论是攻还是防， 日志的重要性由此可见。 其次，日志为网络服务器、i d s 、防火墙和应用软件等i t 资源相关活动 记录必要的、有价值的信息，这对系统监控、报警、响应和系统恢复都是十 分重要的。日志文件中的记录可提供以下用途：监控系统资源；审计用户行 为和网络事件；确定入侵行为的范围；为恢复系统提供帮助；生成调查报告。 它们可以使系统管理员了解系统所经历的状态改变、系统运行的服务和安全 攻击的细节。 日志传感器的数据采集与分析结果将会直接影响到态势系统分析结果的 正确性。因此，在分析网络安全态势时，考虑系统应能最大程度上的准确反 映出网络的当前状态，尽可能的减少客户端误报、漏报等来源，日志判断是 1 0 哈尔滨t 程大学硕士学位论文 否具备完整性，是否遭到恶意篡改等也是关键的一步。所以对传感器采集到 的日志进行完整性检测也是必不可少的步骤。 2 1 2 日志特点 日志是系统状态变化的反映，是对系统的状态和活动的动态记录。为了 满足不同用户的需求而设计出不同的系统、网络设备和服务日志，它们的功 能因此各不相同，日志记录的格式和表述方法也存在着很大的差异。因此在 处理日志数据前，首先要进行日志的定义及分类，以便后续设计日志传感器 时掌握其应用范围。 日志( l o g ) 是指系统或设备所指定对象的某些操作和其操作结果按时 间有序的集合2 3 1 。日志文件通常由日志记录组成，每条日志记录描述了一次 单独的事件。与一般的原始数据相比，日志通常属于一种半结构化的数据， 它包含了一个时间戳和一个消息。 传统的日志一般是各系统自身运行情况的记录，当系统的某一组成部分 发生状态改变时，就会发出反映此变化的信息；或者是对系统检测出的攻击， 如端口扫描，口令破解，溢出攻击，恶意程序等的记录。除传统日志以外， 另一部分重要的日志是经过现有安全产品已经分析过后产生的事件日志，将 各种安全产品的日志联合起来分析网络的安全状态能够略去大量的冗余工 作。日志记录着系统中特定事件的相关活动信息，从网络安全和日志分析的 角度看，日志文件有以下特点【2 3 】【2 4 】： ( 1 ) 数据量较大：一个日志文件( 比如防火墙日志、w e b 服务日志、i d s 统日志和数据库日志等) 一天产生的容量少则几十兆，多则有几十g ，这使 得获取和分析日志变得很困难。 ( 2 ) 分析和获取困难：虽然大部分日志都以文本的形式记录，但由于各 系统日志格式不一致，如果不熟悉各类日志格式就很难获取有用的信息。同 时还有部分日志系统并不采用文本格式记录着日志，必须借助专用的工具分 析这些日志，否则很难读懂其中的日志：目前国际上还没有形成标准、统一 的日志格式，使得不同网络安全系统的日志格式和存储方式有所差别。因此 1 1 哈尔滨工程大学硕士学何论文 如何获取各类不同系统产生的日志文件作为维护网络安全和检测入侵的数据 来源变得尤为困难 2 5 1 。 ( 3 ) 不同日志间的时空关联性：一个用户在网络活动的过程中会在很多 的系统日志中留下痕迹，如防火墙日志、i d s 日志、操作系统日志等，这些 不同的日志之间存在某种必然的联系来反映该用户的活动情况。只有将多个 系统的日志结合起来分析，才能准确反映用户的活动情况。 ( 4 ) 易于修改、破坏甚至伪造：系统日志通常存储在系统未经保护的目 录中，并以文本方式存储，未经加密和校验处理，没有提供防止恶意篡改的 有效保护机制。因此，日志文件并不一定是可靠的，入侵者可能会篡改日志 文件，所产生的日志记录容易遭到恶意的破坏或修改，从而不能被视为有效 的日志分析数据源。 对于日志数据源的分类，从不同的角度区分有不同的分类方式，常见的 是按日志系统类型分为3 类： ( 1 ) 应用系统日志：应用系统日志主要包括各种应用程序服务器( 例如 f t p 、w e b 等服务器) 的日志系统和应用程序自身的日志系统，不同的应用 系统都具有根据其自身要求设计的日志系统。 ( 2 ) 安全系统日志：安全系统日志从狭义上指信息安全方面设备或软件 如防火墙系统的日志【2 6 1 、i d s 系统的日志，甚至是系统日志的s e c u r i t y 部分。 从更广泛的意义上来说，所有以安全为目的所产生的日志都可归入此类。 ( 3 ) 操作系统日志：每种操作系统都有其自身特有的日志系统，例如 l i n u x 这样的各种c l a s su n i x 系统通常都使用兼容s y s l o g 规范的日志系统， 而w i n d o w s 系统的日志通常按照其惯有的应用程序、安全和系统这样的分类 方式进行存储。很多硬件设备的操作系统也具有独立的日志功能，以c i s c o 路由器为代表的网络设备通常都具有输出s y s l o g 兼容日志的能力。 2 1 3 日志格式 目前主要的日志格式有3 种：t r a f f i cl o g ，w e l f 和s y s l o g ，下面简单分 析这三种日志格式。 12 哈尔滨工程大学硕士学位论文 t r a f f i cl o g 是设备保存的基于流量的日志，它不但弥补了在s y s l o g 中没有 流量信息的缺点，而且在每一次通过网络设备的访问结束后产生信息，配合 s y s l o g 格式的日志可以实现对设备流量的监视，其日志格式如下图2 1 所示【2 7 1 ： l m o nd dh h ：m m ：s sh o s t n a m es r c = ” ”d s t = ” ” m s g = ”t r a f f i cl o g ”n o t e = ”t r a 娟c1 0 9 ”d e v l d = ” ” c a f - i i t r a f f i c l o g ”d u r a t i o n = s e c o n d ss e n t = s e n t b y t er c v d = r e c e i v e b y t e sd i r = “p a c k e t d i r e c t i o n ”p r o t o l d = i p p r o t o c o l l dp r o t o = ”s e r v i c e d e s tp o r tn u m b e r ”仃 l p s = ”i p s e c n o r r n a l ” 图2 1t r a f f i cl o g 格式 w e l f ( w e b t r e n d se n h a n c e dl o gf o r m a t ) 是w e b t r e n d s 专有的格式，它 是由w e b t r e n d s 公司开发的，是很多防火墙都支持的日志格式 2 6 1 ，比如c h e c k p o i n t ，c i s c op i x ，n e t s c r e e nj u n i p e r ，f o r t i n e t 等。w e l f 格式可以直接以文 件存放或通过s y s l o g 等日志服务器系统传输到日志服务器上，该格式可以通 过w e b t r e n d s 等日志分析软件分析，也可以通过这种日志格式实现对设备的 监视，除时间字段以外，所有的字段都以空格为结束标志，下面图2 2 是该 日志格式的一个例子： i d = f i r e w a l lt i m e = ”2 0 0 6 0 8 3 00 9 ：0 0 ：0 0 ”f w = - 2 0 2 118 17 6 2 研= 6r u l e = 3 p r o t o = h t t p s r c = 2 0 2 118017 6 3 5d s t = 2 2 2 2 7 2 5 4 18 6d e s t n a m e = 2 2 2 2 7 2 5 4 18 6 a r g = i n d e x h i m l 0 p = g e tr e s u l t = 2 0 0r c v d = 1 4 2 6l 图2 2w e l f 日志格式 s y s l o g 是在u n i x 平台下提出的，其格式比较简单，主要由时间戳、日志 来源和日志描述三个部分组成。其中：时间戳包括日期和时间；日志来源包 括i p 地址、产生该日志的进程名以及优先级；描述字段并没有一个标准的定 义，格式比较自由。其格式如下图2 3 所示【2 4 】： i m o nd d1 1 l l ：m m ：s sh o s t n a m es r c = ”s r c i p ：s r c p 0 r t ”d s t = ”d s t l p ：d s t p o i m s g = ”m e s s a g e ”n o t e = ”n o t e ”d e v l d = m a c a d d r ”d e v t y p e - ”z w 7 0 ”c a f ”c a t e g o r y ” 图2 3s y s l o g 日志格式 1 3 哈尔滨工程大学硕十学位论文 以下是日志中字段的说明： p r i ：优先级( p r i o r i t y ) ； m o nd d h h ：m m ：s s ：设备产生该日志的时间； h o s m a m e ：设备名； s c r ：该日志对应的网络事件的源口地址和源端口号； d s t ：该日志对应的网络事件的目的d 地址和目的端口号； m s g ，n o t e ：日志的具体内容，对应着日志的第二层，第三层分析，是系 统日志分析的主体，对于每种类型的日志，其m s g 和n o t e 字段有着非常多的 值，而且该字段的值同设备是相关的； d e v l d ：设备m a c 地址的后六位，前六位都相等，所以日志中只保留 m a c 地址的后六位； c a t ：曰志的类别，是系统第一层分析的关键字段； 2 2 网络安全态势感知日志传感器的设计与实现 2 2 1 功能需求分析 日志是反映系统运行状态最直接的渠道，用来描述操作系统、应用程序 和用户的行为，监控用户对系统的使用情况，记录网络及系统中的各种事件， 包括入侵行为引发的事件。通过分析日志，不但可以及时发现系统中有事件 发生，并能通过对日志的进一步分析及追溯，可以找出当前的系统漏洞，确 定网络安全中的薄弱环节，分析和定位可能出现的攻击，从而采取相应的措 施加强网络防护。因此，获取并分析日志文件信息，并进行集中管理和分析 对于维护系统安全状况和监视系统活动至关重要。然而，由于每天产生的日 志信息种类繁多，不便于网络安全管理人员监控整个系统的安全状况，使得 无法从海量信息中发现有价值的信息。日志类安全传感器的实现即是尝试解 决该问题。 日志类安全传感器所完成的任务主要是收集网络中关键设备及关键主机 的日志信息，并能对收集到的信息做初步地预处理，通过处理后的数据再经 1 4 哈尔滨t 程大学硕士学位论文 过传感器中的分析模块进一步分析，分析后的结果以x m l 格式呈现给上层 各种应用。 2 2 2 日志传感器设计 在设计网络安全态势感知日志传感器体系结构时，需要遵循以下原则： ( 1 ) 安全性。网络安全态势感知日志传感器作为网络安全态势感知系统 的重要信息获取部件，对整个态势感知系统具有基础性支撑作用。日志传感 器自身的安全是保证其准确有效地提供态势信息的前提。 ( 2 ) 良好扩展性。日志数据种类繁多、格式各异，而且随着时间的推移， 会有新的曰志种类。针对不同种类不同结构的日志，日志传感器需要采用不 同的获取和解析方法。采用组件化设计思想，使得日志传感器具有良好的可 扩展性，才能满足态势感知系统采集不同日志的需求。 ( 3 ) 高效性。日志数据量庞大，日志传感器需具备高效采集和处理日志 的能力，才能保证日志的时效性。 ( 4 ) 跨平台性。网络中存在多种类型的操作系统，日志传感器应能采集 比较常用的操作系统( 如l i n u x 、w i n d o w s 、u n i x ) 的日志及运行在这些操作 基础之上的重要应用程序的日志。 ( 5 ) 易部署性。日志传感器是态势感知系统的前端基础部件，需要具备 良好的易部署性，才能根据需要部署在想要监控的关键结点上。 根据上述设计原则，并且结合项目的实际需求，设计专门的日志类传感 器【2 8 1 。在设计日志类传感器时，需要综合考虑两个问题，一是实时日志信息 的获取问题，二是日志信息离线分析和在线分析的取舍问题。如图2 1 所示， 设计出了日志类传感器的结构。 1 5 哈尔滨工稗大学硕七学位论文 图2 4 日志传感器结构 2 2 3b 志传感器的实现 日志采集器通过日志采集代理、专用日志访问协议、安全设备的日志输 出接口等方式对关键主机、安全设备以及其他日志系统日志进行采集。采集 器具有可定时自启动并完成采集任务的功能，并且能够自动从控制模块的配 置数据中获取采集参数，包括采集的时间间隔、采集的日志文件存储的路径， 数据库配置及传感器编号等信息。由于日志文件具有易损性，很容易被修改 1 6 哈尔滨t 程大学硕十学位论文 或破坏，比较典型的是通常入侵者在成功入侵一个系统后，会试图消除其在 系统中留下的痕迹，通过删除或修改与其入侵行为相关的日志记录，使其入 侵行为不被发现。入侵者也可能在日志文件中恶意插入伪造的日志记录，干 扰系统的正常工作。因此在采集器中加入了日志完整性检测模块，在设备日 志系统中嵌入日志完整性检测算法，对日志完整性进行检测。 采集器收集到的日志不一定全部都用于数据分析，可依据安全规则库对 收集到的日志指定过滤条件，丢弃无价值的数据，将注意力集中到所关心的 日志上。过滤条件可以从宏观的角度指定日志类型，也可以从微观的角度通 过正则表达式进行更精细的过滤。预处理器还会依据安全规则库对指定时间 片内的重复日志进行合并，删除大量存在的冗余事