（计算机应用技术专业论文）基于多源日志的安全事件提取方法研究.pdf

哈尔滨1 = 程大学硕十学位论文 摘要 随着信息技术的迅速普及，计算机网络逐渐成为人们完成相关 工作的不可或缺的手段，同时也带来了许多严重的安全问题。日志作 为计算机网络系统运行轨迹的真实写照，对于维护系统状况、监视 系统活动及维护系统安全至关重要，是反映网络安全状况的重要数 据源之一，也是现在网络安全系统的重要数据来源。多源日志数据 的结合更能真实的反应网络和系统运行的状况。本文对多源日志采 集并具体对系统日志进行分析，最后对提取的安全事件以统一格式 提交。 本文首先讨论了网络安全的现状，阐述了选题的目的和意义。 完成了对日志的定性描述和划分，并详细分析了日志的特点、格式、 分类。其次，给出了系统的体系结构，系统的部署方案、结构设计 方案及各模块的功能，并对预处理模块和目志关联分析模块的算法 进行说明。最后，实现了系统模块，并对各个模块的功能进行了详细 地描述。 通过攻击实验提取以x m l 格式提交的安全事件，通过提交的安 全事件判断攻击类型。提出x m l 树结构相似度算法，为后面的工作 更多日志融合做准备。论文最后总结工作，并提出了下一步的研究 重点。 关键词：网络安全；安全事件；日志；关联分析 哈尔滨t 程大学硕士学位论文 a b s t r a c t r e c e n t l y ，w i t ht h er a p i dd e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g y ， n e t w o r kh a sg r a d u a l l yb e c o m en e c e s s a r ym e a n sf o rp e o p l et oc o m p l e t e s o m er e l a t e dw o r k s a tt h es a m et i m e ，t h ei n t e r n e ta l s ob r i n g su ss o m e s e v e r i t yo fs e c u r i t yp r o b l e m s a st h et r a c eo fac o m p u t e rr u n t i m es t a t u s ， l o gf i l ei su s e f u lf o rt h em a i n t e n a n c eo fs y s t e ms t a t u s ，t h es u r v e i l l a n c e o fs y s t e ma c t i o n sa n dt h em a n a g e m e n ts y s t e ms e c u r i t ys i t u a t i o n a sa n i m p o r t a n td a t as o u r c er e f l e c t i n gt h en e t w o r ks e c u r i t ys i t u a t i o n ，l o gf i l e i sa l s ot h eb a s i cd a t as o u r c et or e a l i z et h en e t w o r ks e c u r i t ys y s t e m t h i s t h e s i sc a nc o l l e c ta n d a n a l y z et h el o gd a t af r o mm u l t i p l es o u r c e s ， p r o c e s st h el o gi n f o r m a t i o na n dp r o v i d et h es e c u r i t ye v e n t sw i t hu n i f i e d f o r m a t f i r s t l y ，t h es t a t u sq u oo fn e t w o r ks e c u r i t yi si n t r o d u c e d ，a n dt h e p u r p o s ea n ds i g n i f i c a n c eo ft h i st h e s i si se x p a t i a t e d t h ed e s c r i p t i o n a n dc l a s s i f i c a t i o no fl o gd a t as o u r c e sa r ep r o v i d e d ，i nw h i c ht h ef e a t u r e a n df o r m a tf o re a c hk i n do fl o gd a t as o u r c ei sa n a l y z e di nd e t a i l s a t t h es a m et i m e ，c l a s s i f yo fl o gd a t es o u r c e sa r ei n t r o d u c e d s e c o n d l y ，t h e a r c h i t e c t u r eo ft h es y s t e mi sd i s c u s s e d ，a n dt h ep l a no fs y s t e m s t r u c t u r ea r e s u g g e s t e d t h ef u n c t i o no fe a c hm o d u l ei nas e n s o ri sh i g h l i g h t e di nd e t a i l s i n t h ee n d ，t h em o d u l eo ft h ep r e t r e a t m e n ta n dt h el o ga n a l y s i s sa l g o r i t h ma r e d e s c r i b e d f i n a l l y ，a u t h o rd e s c r i b e sa l lm o d u l e s f u n c t i o ni nd e t a i la n d c o m p l ya l lm o d u l e s f u n c t i o n a u t h o re x t r a c t i o ns e c u r i t yi n c i d e n ta n d p r e l i m i n a r yt oj u d g et h ea t t a c kt y p eb ys i m u l a t i o na t t a c ke x p e r i m e n t e x t r a c t i o nt h e s e c u r i t y i n c i d e n to fx m lf o r m a t b y a t t a c k e x p e r i m e n ta n dj u d g ea t t a c kt y p e p u tf o r w a r dt h ex m l t r e es t r u c t u r e s i m i l a r i t ya l g o r i t h ma n dp r e p a r a t i o nf o rf u s i o no fl o g a tl a s t ，t h e c o n c l u s i o ni sd r a w na n dt h e f u r t h e rr e s e a r c h e so nt h i si s s u ea r ep u t f o r w a r d 哈尔滨工程大学硕七学位论文 k e y w o r d s ：n e t w o r ks e c u r i t y ；s e c u r i t yi n c i d e n t ；l o g ；a s s o c i a t i o na n a l y s i s 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下，由作 者本人独立完成的。有关观点、方法、数据和文献的引用已在文中 指出，并与参考文献相对应。除文中已注明引用的内容外，本论文 不包含任何其他个人或集体已经公开发表的作品成果。对本文的研 究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人 完全意识到本声明的法律结果由本人承担。 作者( 签字) ：划新 日期：为叩年弓月年日 哈尔滨工程大学 学位论文授权使用声明 本人完全了解学校保护知识产权的有关规定，即研究生在校 攻读学位期间论文工作的知识产权属于哈尔滨工程大学。哈尔滨 工程大学有权保留并向国家有关部门或机构送交论文的复印件。 本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据 库进行检索，可采用影印、缩印或扫描等复制手段保存和汇编本 学位论文，可以公布论文的全部内容。同时本人保证毕业后结合 学位论文研究课题再撰写的论文一律注明作者第一署名单位为哈 尔滨工程大学。涉密学位论文待解密后适用本声明。 本论文( 口在授予学位后即可口在授予学位1 2 个月后 口 解密后) 由哈尔滨工程大学送交有关部门进行保存、汇 作者( 签字) ：刹鲫 日期：砷年弓月午日 l 导师( 签字) ： 邓年弓月尹 乙 哈尔滨t 程火学硕+ 学位论文 1 1 引言 第1 章绪论 随着计算机的迅速发展，人们已经进入了一个全新的网络时代。 电子商务、电子邮件、网络购物、远程教育等使人们充分体验到了 网络所带来的乐趣。根据c n n i c 最新统计报告显示1 1 1 截至2 0 0 7 年6 月， 中国网民总人数达到1 6 2 亿，仅次于美国2 11 亿的网民规模，位居世 界第二。与2 0 0 6 年末相比，新增网民2 5 0 0 万。比2 0 0 6 年年末新增了 2 5 0 0 万网民，与2 0 0 6 年同期相比，网民数一年内增加了3 9 0 0 万人。 中国网民年增长率达到3 1 7 。如图1 1 所示： 万人中国网民规模和年增长率 2 0 0 2 0 62 0 0 2 1 2 2 0 0 3 0 6 2 0 0 3 1 22 0 0 4 0 62 0 0 4 1 22 0 0 5 0 6 2 0 0 5 1 22 0 0 6 0 62 0 0 6 1 2 2 0 0 7 0 6 ( 卜蝴( w w w , c n n i c 舢，2 0 0 7 0 6 图1 1 中国网民规模和年增长率 目前中国的互联网普及率已经达到1 2 3 ，比2 0 0 6 年同期9 4 的 互联网普及率提高了接近3 个百分点。( 如图1 2 所示) 互联网在中国 的应用正逐步广泛化，越来越多的人接触到互联网，并从互联网世 界获益。根据c n n i c 统计，接触过互联网的人中，9 9 都会继续上网。 但是与此同时随着电子商务、网络游戏等业务迅速扩展，新的软件 和操作系统的不断出现和使用，这些都导致大量人为主观因素的疏 忽和网络系统客观因素漏洞的存在。 0耄喜矾泓蓍；撕泓耄肼 一 姗裟淼姗嚣舢。 里尘玺；：堡查兰蝥圭茎堡篁兰 ：* 2 ：i 3c ：l i * ：0 e ：2 ：0 0 = 0 e ：0 0 ；1 2 ：蛳：e ：2 0 0 ：0 6 ( n 敝c c c n ，2 0 0 70 6 圈1 2 中国互联网普及率 由于网络的脆弱性以及黑客的攻击手段的多样化，网络在给人 们带来方便的同时，也带来了许多令人头痛的问题。例如黑客的入 侵，各种木马、病毒的威胁，内部人员不受限制的访问网络，有意 或无意地泄漏单位的重要信息等，给单位造成无法估量的损失。根 据c n c e r t c c2 0 0 7 年上半年给出的网络安全报告中指出：目前中 国的互联网安全实际状况仍不容乐观。各种网络安全事件与去年同 期相比都有明显增加。半年时间内，c n c e r t c c 接收的网络仿冒事 件和网页恶意代码事件，已分别超出去年全年总数的1 46 和1 25 。 我国大陆地区被植入木马的主机i p 远远超过去年全年，增幅达2 1 倍。我国大陆被篡改网站数量比去年同期增加了4 倍，比去年全年 增加了近1 69 。2 0 0 7 年上半年c n c e r t c c 接收1 8 1 3 件非扫描类网 络安全事件报告，其类型分布如图1 3 所示 口 一a 图132 0 0 7 年上 年网络安全事件类型分布 由此可见，随着网络的不断扩大，虽然给人们的日常生活带来 很多的方便与快乐。但是与此同时，由于网络的应用越来越广泛， 哈尔滨工程大学硕十学位论文 导致网络上的病毒和漏洞的种类越来越多，攻击者利用这些漏洞进 行攻击，盗取有用的资料和信息，造成个人或单位的财产损失。网 络安全已经深入到计算机的各个领域，随着网络技术的发展，网络 安全也在不断的进步和完善。很多机构和个人安装杀毒软件和防火 墙，一些机构还安装了入侵检测系统等安全保护措施，但是这些仍 然不能保证网络系统的绝对安全。 1 2 研究意义 在网络机制中，日志被用来监控用户对系统使用情况和网络安 全，能够记录系统中的正常和异常行为。操作系统和网络安全设备 日志，是重要的的安全资源。日志中包含了发生在系统和网络中的 正常和不寻常活动的证据，这些证据可以指出有人正在入侵或已成 功入侵系统。当系统被攻击时，通过分析日志可以找出当前的系统 漏洞，确定网络中的不安全环节，分析出现的攻击，采取相应的措 施。黑客经常在系统日志文件中留下他们的踪迹，通过查看日志文 件，能够发现成功的入侵或入侵企图，并很快地启动相应的应急响 应程序。但另一方面，日志也往往是最容易被忽略的资源。日志数 量巨大，无用信息比例高( 据统计，有意义的信息只占总日志信息 的1 ) ，重要的信息往往会被一些不是很重要的信息所掩盖，使得 管理员懒于或没有精力去检查日志；疏于防范，导致它们往往成为 黑客进入系统后最先破坏的文件。因此从大量的日志信息中提取出 安全事件至关重要。 本文旨在采集和分析系统、i d s 、防火墙及其他安全和应用软件 所生成的日志，能够根据需要提取出相关的安全事件，使网络管理 人员能够对当前网络安全状况做出相应的措施。 3 哈尔滨： = 程大学硕士学位论文 1 3 日志分析国内外现状 1 3 1 国外研究现状 早在1 9 8 0 年，a n d e r s o n 就在文献1 3 l 中第一次提出了利用日志进 行安全审计的思想。这方面的研究经历了2 0 余年的发展后，已经形 成了较为完备的理论和实际应用系统。目前主流的操作系统和应用 软件，均有自己较为完善的安全审计机制，其中包括u n i x l i n u x 的 s y s l o g 机制，w i n d o w sn t 2 0 0 0 符合c 2 安全等级的s c e ( s e c u r i t y c o n f i g u r a t i o ne d i t o r ) 机制等。在国外，很多公司和研究人员对日志 做了大量的研究工作，s e c u r i t yf o c u s 有专门的邮件列表供研究人员 讨论日志技术，安全专家b u r c es c h n e i e r 也在其公司网站上列出了日 志分析资源。目前国外研究开发的日志工具很多，主要体现在日志 统计分析和实时监控以及安全集中管理方面。密苏里大学的s t e v e m e y e r 对事件日志在当今网络环境中的研究意义做了分析，他认为 日志是分析网络安全必不可少的数据源，但日志分析工具的研发远 跟不上网络安全的发展。n c s a 的x i a o x i ny i n 等人研究了在面对不 同的网络安全攻击时f 5 j ，如何选择与之相关联的日志数据源来形成入 侵证据的问题，最后还给出了日志收集和可视化的初步试验结果。 德州农机大学的e r i ca f i s c h 等人设计了一个基于s u n 操作系统的 日志分析工具1 6 l ，该工具能自动地从危害主机中的入侵者活动日志中 剔除安全敏感信息，这是保护主机安全的一个手段。目前国外研究 开发的日志工具主要集中在日志统计分析、实时监控和安全集中管 理方面。2 0 0 2 年7 月，美国安全杂志评选了一些比较优秀的日志工 具1 7 l ，有n e t i q 公司w e b t r e n d s 日志分析工具系列，主要对w e b 日 志和防火墙日志进行统计分析，并能给出详细的统计报表和图解； g f i 软件公司开发的l a n g u a r ds e c u r i t ye v e n tl o gm o n i t o r 可完成基 于所有w i n d o w s 操作系统的日志事务的日志分析。n f r 安全公司的 s l r ( s e c u r el o gr e p o s i t o r y ) 和i s s 公司的s l m ( s e c u r el o gm a n a g e r ) 可将w i n d o w s 和u n i x l i n u x 等多种操作系统的日志文件进行统一存 4 哈尔滨丁程大学硕十学位论文 储和管理。 1 3 2 国内研究现状 国内主要体现在安全设备日志的集中管理和网络入侵检测方 面。上海交大网络中心李承等人研发的n a f l i sj 强调t c p i p 协议栈底 层行为的安全审计，弥补了传统安全审计系统的不足；该校信息安 全学院的罗自立等人提出了基于l i n u x 环境的主机日志自动审计技 术1 9 j ，该技术的特点是运用日志的关联分析来提取事件日志规律，提 高了日志分析工具的智能化程度。上海交通大学的黄锦、李家滨l l o l 通过对包过滤型防火墙的日志信息进行分析，建立了一个基于防火 墙日志信息的准实时的网络入侵检测系统。浙江大学黄艺海等人提 出了日志审计系统的设计l ，从总体上描述了系统的框架以及相关 关键技术的实现，预见了日志审计系统在网络发展中的潜力。北京 理工大学的牛建强等人提出了基于数据挖掘的i d s 日志的分析处理 方法1 1 2 1 ，给出了入侵模式的提取与检测分类器的建立过程，使日志 分析更加智能化，这正是日志分析发展的趋势所在。国内很多从事 信息安全的公司开发的防火墙和入侵检测系统产品中，都提供了功 能比较强大的网络日志审计功能，并逐渐出现能够集中收集和分析 多种安全设备日志的安全审计系统，如清华得实的n e t s c o s l 。该系统 通过近乎实时的安全设备( 防火墙、入侵检测系统等) 日志收集与分 析，达到实时监测网络上和用户系统中发生的与安全相关事件的目 的，并将这些情况真实、详尽的进行记录，在必要时能提供宝贵的 数据，并具有防销毁和篡改的功能。审计员可以从不同的角度对该 系统收集的安全设备日志进行查询与统计。审计员可以随时查看被 该系统记录和被禁止的访问控制信息，分析其中的问题，与安全管 理员一起细化网络的访问控制策略，更好的保护系统。 5 哈尔滨t 程大学硕+ 学位论文 1 4 论文研究内容和结构安排 1 4 1 研究内容 本文在分析国内外日志分析的现状基础上，可以看出现在网络 安全状态的日志分析单一化，只对单一的日志数据源进行分析，缺 少多源日志的综合分析。结合这个现状，本文拟实现对多源异构日 志的采集和分析处理，最后提取出安全事件，以满足对网络安全分 析的需要。 本文具体的研究内容如下： ( 1 ) 探讨研究日志的意义以及国内外研究现状； ( 2 ) 给出日志的定义、特点、分类以及格式和常见安全事件； ( 3 ) 介绍系统结构总体设计，并简要介绍各个模块的设计，对关 键模块的算法进行了说明； ( 4 ) 对系统的各个模块的实现进行流程分析和说明，以x m l 格 式提交最后结果，最后实验验证提取安全事件。 1 4 2 论文的组织结构 。 论文其余章节的内容安排如下： 第2 章通过对日志的定义和特点的描述及对日志分类和格式的 分析，全面了解各种日志数据源的特征，为下文对日志的具体分析 奠定基础。 第3 章给出系统的功能描述，对其体系结构和各模块的设计进 行了描述，对关键模块的算法进行了说明。 第4 章实现系统各个模块，对各模块的实现流程进行说明。介 绍了实验的环境、实验的过程和结果，通过实验验证系统的可行性。 6 哈尔滨工程大学硕士学位论文 第2 章日志与常见网络安全事件 2 1 日志的概念 在计算机或设备运行过程中，系统或设备一般都会有相应的日 志记录有关的日常事件或者警报误操作等事件，我们可以根据这些 日志记录查找系统或设备运行情况和故障。 所谓日志( l o g ) 是指系统或设备所指定对象的某些操作和其操 作结果按时间有序的集合1 1 4 1 。每个日志文件由日志记录组成，每条 日志记录描述了一次单独的事件。通常情况下，与一般的原始数据 相比，日志通常是一种半结构化的数据。它包含了一个时间戳和一 个消息或者系统所特有的其他信息。系统日志是用户可以直接阅读 的文本文件。 大多数的多用户操作系统、正规的大型软件，多数安全设备都 有日志的功能。它为服务器、工作站、防火墙和应用软件等资源相 关活动记录有价值的信息，对系统的监控和安全审计非常重要。传 统的日志记录内容一般是各系统自身运行情况的记录，或者是对系 统检测出的攻击，如端口扫描，口令破解，溢出攻击，恶意程序等 的记录。 2 2 日志的特点 日志记录着系统和软件以及相关产品的活动信息，从网络安全 和日志分析的角度看，日志有以下主要特点1 1 5 1 1 6 1 ： ( 1 ) 不易读懂虽然大部分日志都以文本的形式记录，但由于各 系统日志格式不一致，不熟悉各类日志格式就很难获取有用的信息。 同时还有部分日志系统并不采用文本格式记录着日志，必须借助专 用的工具分析这些同志，否则很难读懂其中的日志。 ( 2 ) 数据量大通常对外服务产生的日志文件如w e b 服务日志、 7 哈尔滨工程大学硕十学位论文 防火墙日志、i d s 统日志和数据库日志以及各类服务器日志等都很 大，一个日志文件一天产生的容量少则几十兆，多则有几十g ，这 使得获取和分析日志变得很困难。 ( 3 ) 不易获取由于网络中不同的操作系统、应用软件、网络设 备和服务产生不同的日志文件，即使相同的服务也可采用不同格式 的日志文件记录日志。目前国际上还没有形成标准的日志格式，各 系统开发商和网络设备生产商往往根据各自的需要制定自己的日志 格式，使得不同系统的日志格式和存储方式有所差别。如何获取各 类不同系统产生的不同日志文件作为维护网络安全，检测入侵的数 据来源变得尤为困难。 ( 4 ) 不同日志之间存在某种必然的联系一个系统的日志是对本 系统涉及的运行状况的信息按时间顺序作一个简单的记录，仅反映 本系统的某些特定事件的操作情况，并不完全反映某一用户的整个 活动情况。一个用户在网络活动的过程中会在很多的系统日志中留 下痕迹，如防火墙日志、i d s 日志、操作系统日志等，这些不同的 日志之间存在某种必然的联系来反映该用户的活动情况。只有将多 个系统的日志结合起来分析，才能准确反映用户的活动情况。 ( 5 ) 容易被修改、破坏甚至伪造产生日志的软件通常作为应用 系统而不是作为操作系统的子系统运行，所产生的日志记录容易遭 到恶意的破坏或修改。系统日志通常存储在系统未经保护的目录中， 并以文本方式存储，未经加密和校验处理，没有提供防止恶意篡改 的有效保护机制。因此，日志文件并不一定是可靠的，入侵者可能 会篡改日志文件，从而不能被视为有效的日志分析数据源。日志在 计算机取证中扮演着重要的角色，直接反映入侵者的痕迹，所以入 侵者获取系统权限窃取机密信息或者破坏重要数据后往往修改或删 除相关的日志，甚至伪造日志迷惑管理员。 2 。3 日志的格式 操作系统、防火墙、i d s 等同志记录着所发生的安全事件，正 8 哈尔滨工程大学硕士学位论文 确理解其日志格式，判别其信息来源，能够帮助我们有效地分析日 志。目前主要的日志格式有三种：s y s l o g ，t r a f f i cl o g 和w e l f ，下 面就每种格式的日志进行分析1 1 7 1 。 2 3 1 s y s io g 格式 s y s l o g 格式是由r f c 3 1 6 4 定义的，该协议最初由c a l i f o r n i a b e r k e l e y 大学t c p i p 组定义及实现，是设备产生基于事件的日志。 它用于通过网络传输设备的事件以及消息。其格式如下| i s l ： m o nd dh h ：m m ：s sh o s t n a m es r c = ”s r c l p ：s r c p o r t ” d s t = ”d s t i p ：d s t p o r t ”m s g = ”m e s s a g e ”n o t e = ”n o t e ”d e v l d - - ”m a c a d d r ” d e v t y p e = ”z w 7 0 ”c a t = ”c a t e g o r y 下面就日志中的每个字段进行分析： p r i ：优先级( p r i o r i t y ) p r i 由两个十进制数f a c i l i t y 和s e v e r i t y 构成。p r i o r i t y 、f a c i l i t y 及s e v e r i t y 的关系如式( 2 1 ) 所示： p r i o r i t y = f a c i l i t y 奎8 + s e v e r i t y( 2 - 1 ) m o nd dh h ：m m ：s s ：设备产生该日志的时间； h o s t n a m e ：设备名； s r c ：该日志对应的网络事件的源l p 地址和源端口号； d s t ：该日志对应的网络事件的目的i p 地址和目的端口号； d e v l d ：设备m a c 地址的后六位，前六位都相等，所以日志 中只保留m a c 地址的后六位； d e v t y p e ：设备类型，如z y w a l l 7 0 ，p r e s t i g e 3 2 4 ，z w 7 0 ， p 3 2 4 等； c a t ：日志的类别，是系统第一层分析的关键字段； m s g ，n o t e ：日志的具体内容，对应着日志的第二层，第三层 分析，是系统日志分析的主体，对于每种类型的日志，其m s g 和n o t e 字段有着非常多的值，而且该字段的值同设备是相关 的。 9 哈尔滨工程大学硕十学位论文 2 3 2tra f ficl o g 格式 t r a f f i cl o g 是设备保存的基于流量的日志，弥补了在s y s l o g 中 没有流量信息的缺点，在每一次通过网络设备的访问结束后产生信 息，配合s y s l o g 格式的日志可以实现对设备流量的监视，其日志格 式如下所示1 1 9 1 ： m o nd dh h ：m m ：s sh o s t n a m es r c = ” ”d s t = ” m s g = ”t r a f f i cl o g ”n o t e = ”t r a f f i cl o g ”d e v i d = ” ”c a t = ”t r a f f i c l o g ”d u r a t i o n = s e c o n d ss e n t = s e n t b y t e r c v d = r e c e i v e b y t e sd i r = ”p a c k e t d i r e c t i o n ” p r o t o i d = i p p r o t o c o l i d p r o t o = ”s e r v i c e d e s tp o r tn u m b e r ”t r a p s = ”i p s e c n o r m a l ” 日志中的p r i ，m o nd dh h ：m m ：s s ，h o s t n a m e ，s r c ，d s t ，m s g ， n o t e ，d e v l d ，c a t 字段的内容和意义同s y s l o g 中对应的字段相同， 以下是日志中其他字段的说明： d u r a t i o n ：该网络事件从开始到结束所经历的时间； s e n t ：发送的字节数； r c v d ：接收的字节数； d i r ：网络流量的方向； p r o t o i d ：流量对应的协议代码； p r o t o ：流量对应的协议、服务名称或服务端口号； t r a n s ：流量的类型，如果为n o r m a l 表示正常的网络流量， 如果为i p s e c 表示通过v p n 进行访问的流量。 2 3 3w e l f 格式 w e l f ( w e b t r e n d se n h a n c e dl o gf o r m a t ) 是由w e b t r e n d s 公司 开发的，是很多防火墙都支持的日志格式。w e l f 格式可以直接以 文件存放或通过s y s l o g 等日志服务器系统传输到日志服务器上，该 格式可以通过w e b t r e n d s 等日志分析软件分析，也可以通过这种日 志格式实现对设备的监视1 2 0 1 。 1 0 哈尔滨工程大学硕十学位论文 i d = f i r e w a l lt i m e = ”2 0 0 6 一0 8 3 00 9 ：0 0 ：0 0 ” s r c = 2 0 2 1l8 17 6 3 5d s t = 2 2 2 2 7 2 5 4 18 6 o p = g e tr e s u l t = 2 0 0r c v d = 14 2 6 f w = 2 0 2 118 17 6 2 p r i ：6r u l e = 3p r o t o = h t t p d e s t n a m e = 2 2 2 2 7 2 5 4 18 6 a r g = i n d e x h t m l 图2 1 一个w e l f 格式日志图 图2 1 是一个w e l f 格式日志，除时间字段以外，所有的字段 都以空格为结束标志，下面是每个字段的意义： i d ：该字段定义了日志的类型，目前该字段的值只能是 f i r e w a l l ； t i m e ：时间，日志产生的时间格式为y y y y m m d dh h ：m m ：s s ； f w ：产生该日志的防火墙所在的设备的i p 地址或名称； p r i ：日志的安全级别，同s y s l o g 格式的日志中的s e v e r t i y 相 同，值为o 7 ，意义和s y s o l g 中对应的值相同； 可选字段： r u l e ：该条日志产生的防火墙规则号或名称；p o r t o ：日志对应的 协议或服务的名称；d u r a t i o n ：日志对应的事件经历的时间；s e n t ： 事件源发送的字节数；r c v d ：事件目的地接收的字节数；s r c ：事件 源地址；s r c n a m e ：事件源地址名称；d s t ：事件目的地址；d s t n a m e ： 事件目的地址名称；c a ts i t e ：用户访问的网站在防火墙中的分类； c a tp a g e ：用户访问的页面地址；c a ta c t i o n ：对用户操作采取的动作， 如b l o c k 等；u s e r ：用户名；o p ：操作代码，如h t t p 中的g e t ，p o s t 等；a r g ：h t t p 或f t p 访问中带的参数；r e s u l t ：访问结果，如h t t p 中 的返回代码2 0 0 ，4 0 4 ，4 0 3 等；v p n ：v p n 通道的代码；m s g ：日志 的描述信息，是日志分析的主体。 2 4 日志的分类 在日志的采集和分析中，有多种日志种类。不同的角度来看有 不同的分类。本文从日志的产生来源上来分，主要将其分为四种类 型：操作系统日志、网络设备日志、安全设备日志、应用系统日志。 哈尔滨工程大学硕十学位论文 2 4 1 操作系统日志 操作系统日志又叫主机日志，由操作系统生成。它记录了系统 发生的各种事件，此类日志文件一般是纯文本文件。每一行就是一 个消息，一般有固定格式即：时间标签、主机名、生成消息的子系 统名字和消息组成。 操作系统按系统又分为w i n d o w s 操作系统日志与l i n u x u n i x 操 作系统日志。 w i n d o w s 系统日志( n t 2 0 0 0 x p ) w i n d o w s 系统日志文件有应用程序日志、安全日志、系统日志等。 ( 1 ) 应用程序日志：记录由应用程序产生的事件。 ( 2 ) 系统日志：记录由w i n d o w s n t 2 0 0 0 操作系统组件产生的事 件，主要包括驱动程序、系统组件和应用软件的崩溃以及数据丢失 错误等。 ( 3 ) 安全日志：记录与安全相关的事件，包括成功和不成功的登 录或退出、系统资源使用事件( 系统文件的创建、删除、更改) 等。与 系统日志和应用程序日志不同，安全日志只有系统管理员才可以访 问。 l i n u x u n i x 操作系统日志 l i n u x 三个主要的日志子系统1 2 t | ： ( 1 ) 连接时间日志一一由多个程序执行，把记录写入到 v a r l o g w t m p 和v a r r u n u t m p ，l o g i n 等程序更新w t m p 和u t m p 文件。 根据w t m p 和u t m p 文件，系统管理员能够跟踪谁在何时登录到系统。 ( 2 ) 进程统计日志一一由系统内核执行当一个进程终止时，为每 个进程往进程统计文件( p a c c t 或a c c t ) 中写一个记录。 ( 3 ) 错误日志一一由s y s l o g d 执行。各种系统守护进程、用户程序 和内核通过s y s l o g 机制向文件v a r l o g m e s s a g e 报告值得注意的事 件。 u n i x 系统下各类日志文件的格式和l i n u x 系统的文件类似，都 是按照p o s i x 标准定义和设计。 1 2 哈尔滨工程大学硕士学位论文 2 4 2 安全设备日志 安全设备日志主要是指防火墙、入侵检测系统等网络安全设备 产生的日志。目前，防火墙和入侵检测系统等安全设备的日志格式 尚没有统一标准，各生产厂商在开发自己的防火墙系统或入侵检测 系统时，都会提供日志记录和审计功能，但在具体定义日志时，都 会结合自己产品特性，定义一些特殊的日志类型和日志域，使得各 类安全产品的日志在种类和格式上存在一定的差别。 防火墙日志属于安全设备日志的一种，它记录着防火墙的数据 包或者会话通信的详细数据，是防火墙的重要组成部分之一，也是 我们研究日志分析的一个重要数据来源。因为防火墙日志不但记录 防火墙本身设备的运行情况，还会保存系统收到的各种不安全信息 的时间、类型、事件等。通过分析这些，可以使我们更清除的发现 和了解曾经发生或者正在进行的系统入侵行为。每种防火墙日志各 不相同，但是记录方式上相差不多。主要包括：时间、允许或拦截、 通讯类型、源i p 地址、源端口、目标地址和目标端口等。 2 4 3 网络设备日志 网络设备指的是网络中的交换机、路由器等设备。这些设备产 生的日志。通常这些设备都会以系统日志的形式记录设备运行状态 和异常情况，可以通过s y s l o g 协议实现日志的转发。比如交换机日 志信息将以以下格式显示1 2 2 ) ： s e qn ot i m e s t a m p s ： s e v e r i t y m n e m o n i c ：d e s c r i p t i o n 表2 1 日志信息要素 要素描述 s e qn o 日志信息序号 t i m e s t a m p s该日志信息的产生时间 s e v e r i t y 该日志信息的级别 m n e m o n i c日志信息类型的描述 d e s c r i p t i o n 该日志信息的详细描述 1 3 哈尔滨工程大学硕+ 学位论文 表2 2 日志信息等级 关键字等级描述 e m e r g e n c i e s 0 紧急情况 a l e r t sl应该被立即改正的问题 c r i t i c a l2 重要情况 e r r o r s3 错误 w a r n i n g s 4 警告 n 0 t i f i c a t i o n s5不是错误情况，可能需要处理 l n f o r m a t i o n s 6普通信息 d e b u g g i n g 7 调试信息 下面是一个系统日志信息的例子： 0 0 0 12 0 0 7 - 1 0 - 1 10 9 ：2 3 ：1 6 5 - c o l d s t a r t ：s y s t e mc o l d s t a r t 日志信息序列号为0 0 0 1 ，时间是2 0 0 7 1 0 1 10 9 ：2 3 ：1 6 系统冷启 动，等级为5 等级。 2 4 4 应用系统日志 这类日志包含由应用程序或系统程序纪录的日志事件。例如， m y s q l 数据库在启动时需加一l o g 选项才会有操作日志，启动日志 选项后在d a t a 目录下生成一个以主机名命名的文本日志文件，记录 一般的查询、删除、更新、连接等内容。 入侵行为的第一步，是最常见的网络安全事件，是网络安全的 重要威胁。端口扫描本身虽不会给网络造成破坏，但它为后续网络 攻击的开展收集信息；此外，端口扫描还是蠕虫病毒发现易感染主 机的重要手段，是蠕虫传播过程中的重要步骤。 2 5 常见网络安全事件 安全事件指危害网络安全的异常事件1 2 3 1 ，是网络安全的主要危 害因素，极大地影响网络安全，能够反映网络运行的安全状况。本 文主要通过对多源日志分析能够提取出这些安全事件，供操作员分 1 4 哈尔滨_ 程大学硕十学位论文 析，下面介绍几种常见的安全事件。 2 5 1 端口扫描 入侵者通常利用端口扫描m ，来获取目标主机的操作系统类型、 系统服务漏洞、端口是否开放等信息。端口扫描往往是入侵者实施 入侵行为的第一步，是最常见的网络安全事件，是网络安全的重要 威胁。端口扫描本身虽不会给网络造成破坏，但它为后续网络攻击 的开展收集信息；此外，端口扫描还是蠕虫病毒发现易感染主机的 重要手段，是蠕虫传播过程中的重要步骤。 2 5 2 蠕虫病毒 蠕虫病毒1 2 4 是自包含的程序( 或是一套程序) ，它能传播它自 身功能的拷贝或它( 蠕虫病毒) 的某些部分到其他的计算机系统 中( 通常是经过网络连接) 。它与一般病毒不同，蠕虫不需要将其 自身附着到宿主程序，它是一种独立智能程序。有两种类型的蠕 虫：主机蠕虫与网络蠕虫。主计算机蠕虫完全包含( 侵占) 在它 们运行的计算机中，并且使用网络的连接仅将自身拷贝到其他的 计算机中，主计算机蠕虫在将其自身的拷贝加入到另外的主机 后，就会终止它自身( 因此在任意给定的时刻，只有一个蠕虫的 拷贝运行) ，这种蠕虫有时也叫“野兔 ，蠕虫病毒一般是通过1 4 3 4 端口漏洞传播。它具有病毒的一些共性，如传播性、隐蔽性、破坏 性等，同时具有自己的一些特征，如不利用文件寄生( 有的只存在 于内存中) ，从而对网络造成拒绝服务。 2 5 3d o s 、d d o s d o s 即d e n i a lo fs e r v i c e r 2 5 1 ，拒绝服务的缩写。d o s 是指故意的 攻击网络协议实现的缺陷或直接通过野蛮手段残忍地耗尽被攻击对 象的资源，目的是让目标计算机或网络无法提供正常的服务或资源 访问，使目标系统服务系统停止响应甚至崩溃，而在此攻击中并不 包括侵入目标服务器或目标网络设备。这些服务资源包括网络带宽， 文件系统空间容量，开放的进程或者允许的连接。这种攻击会导致 哈尔滨t 程大学硕十学位论文 资源的匮乏，无论计算机的处理速度多快、内存容量多大、网络带 宽的速度多快都无法避免这种攻击带来的后果。 d d o s ( d i s t r i b u t e dd e n i a lo fs e r v i c e ) 分布式拒绝服务攻击 2 6 1 。 指借助于客户i l l 务器技术，将多个计算机联合起来作为攻击平台， 对一个或多个目标发动d o s 攻击，从而成倍地提高拒绝服务攻击的 威力，它是在传统的d o s 攻击基础之上产生的一类攻击方式。通常， 攻击者使用一个偷窃帐号将d d o s 主控程序安装在一个计算机上， 在一个设定的时间主控程序将与大量代理程序通讯，代理程序已经 被安装在i n t e r n e t 上的许多计算机上。代理程序收到指令时就发动攻 击。利用客户服务器技术，主控程序能在几秒钟内激活成百上千次 代理程序的运行。 2 6 本章小结 对于及时发现系统或网络中潜在的危险，提高反入侵和自我保 护的能力，深入了解日志有重要的作用。本章介绍了日志的定义， 详细说明了日志有哪些特点和日志的格式、分类。简单介绍了几种 常见计算机安全事件，为下一章系统体系结构的设计打下了基础。 1 6 哈尔滨t 程大学硕十学位论文 第3 章系统体系结构设计 3 1 系统体系结构设计 日志种类繁多，结构多样，每天都有上百兆的日志文件，管理 人员很难分析。分析日志不但可以及时发现系统中的安全事件，而 且也可以找出系统中薄弱环节，分析出可能出现的攻击，从而对系 统和网络采取相应的加强措施。本文旨在实现对关键主机、网络安 全设备等日志进行分析处理，及时发现提取安全事件。 3 1 1 系统设计的原则 考虑到日志的特点，本文从以下几个方面来考虑系统的设计：心 ( 1 ) 实时高效型在处理实时性日志时尽可能保证它的实时性， 因此系统需要具备实时、高效的处理能力； ( 2 ) 离线增强型可以考虑对于数据量大，但能充分反映网络状 态