（计算机应用技术专业论文）基于日志的安全态势传感器设计与实现研究.pdf

哈尔滨工程大学硕士学位论文 摘要 网络安全态势感知是近年来一个新兴的网络安全研究课题，是对网络安 全状况的一个整体反映。数据源的选择将直接影响到网络安全态势分析的准 确性。日志作为反映网络安全状况的重要数据源之一，对网络安全态势感知 的实现有着关键的影响，如何做到对日志类数据的充分利用是非常关键的。 根据网络安全态势感知系统的需求，设计与实现一种能够对多源日志数据进 行采集并集成分析，实现对日志信息的专门处理，且能向上层应用提供统一 访问接口的安全态势传感器是十分必要的。 本文首先给出了网络安全态势感知的概念，阐述了日志数据源在网络安 全态势感知中的重要作用及意义，实现了对日志数据源的定性描述和划分， 并详细分析了各类日志数据源的特征，接着介绍了几种目前比较典型的日志 分析工具，并分析了关于日志数据源的一个典型系统。 其次，分析了设计与实现日志类安全传感器所需解决的关键技术，并给 出了初步解决方案。 最后，提出了在特定应用环境下，日志类安全传感器的设计思想及实现 框架，对传感器中数据采集器、数据预处理器以及事件生成与表示模块做了 详细地描述，其中包括了每个模块要完成的功能及其子模块介绍。 关键词：网络安全；态势感知；传感器；日志 哈尔滨工程大学硕+ 学位论文 a b s t r a c t r e c e n t l y , n e t w o r ks e c u r i t ys i t u a t i o n a la w a r e n e s s 州s s a ) i sb e c o m i n ga l l e m e r g i n gt o p i ci nn e t w o r ks e c u r i t yd o m a i n , w h i c hg e n e r a l l yr e f l e c t st h es t a t u so f n e t w o r ks e c u r i t y t h ec h o i c eo fd a t as o u r c e si sd i r e c t l yr e l a t e dt ot h ea c c u r a c yo f n e t w o r ks e c u r i t ys i t u a t i o na n a l y s i s a sa l li m p o r t a n td a t as o u r c er e f l e c t i n gt h e n e t w o r ks e c u r i t ys i t u a t i o n , l o g sa f f e c tt h ei m p l e m e n t a t i o no f n s s as i g n i f i c a n t l y , i nt h e 剐m s et h a ti ti si m p o r t a n tt om a j ( eu s eo fl o g - r e l a t e dd a t a a c c o r d i n gt ot h e r e q u i r e m e n t so f n s s as y s t e m , i ti sn e c e s s a r yt od e s i g na n di m p l e m e n ta k i n do f s e c u r i t ys e n s o r , w h i c hc a l lc o l l e c ta n da n a l y z et h el o gd a t af r o mm u l t i p l es o u r c e s ， p r o c e s st h el o gi n f o r m a t i o na n dp r o v i d et h eu n i f i e da c c e s si n t e r f a c e st oh i g h e r l a y e r s f i r s t l y , t h ec o n c e p to fn s s ai si n t r o d u c e d , a n dt h ei m p o r t a n c eo fl o gi n n s s ai sh i g h l i g h t e da sak i n do f d a t as o u r c e t h ed e s c r i p t i o na n dc l a s s i f i c a t i o no f l o gd a t as o u r c e sa r ep r o v i d e d ，i nw h i c ht h ef e a t u r e f o re a c hk i n do fl o gd a t a s o u r c ei sa 舳l y z e di nd e t a i l s a tt h eg a m et i m e ，s o m ep o p u l a rl o ga n a l y s i st o o l s a r ei n t r o d u c e d , a n dak i n do f t y p i c a ls y s t e mo nl o g si sa n a l y s e d s e c o n d l y , t h ek e yt e c h n i q u e sr e g a r d i n gt od e s i g na n di m p l e m e n t a t i o no f l o g - o r i e n t e ds e c u r i t ys e n s o r ( l o s s ) a l ed i s c u s s e d ，a n dt h eg e n e r a ls o l u t i o n sa r e s u g g e s t e d f i n a l l y , f o rs p e c i f i ca p p l i c a t i o ne n v i r o n m e n t , t h ed e s i g nc o n s i d e r a t i o na n d i m p l e m e n t a t i o nf r a m e w o r ka r ep r o p o s e d ，i nw h i c hd a t ac o l l e c t i o nm o d u l e ，d a t a p r e - p r o c e s s o r , a n de v e n tg e n e r a t i o na n dd e m o n s t r a t i o nm o d u l ea r ed e s c r i b e di n d e t a i l s ，i n c l u d i n gt h ef u n c t i o na n ds u bm o d u l e so fe a c hm o d u l e k e y w o r d s ：n e t w o r ks e c u r i t y ；s i t u a t i o n a la w a r e n e s s ；s e n s o r ；, l o g 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的 指导下，由作者本人独立完成的。有关观点、方法、 数据和文献的引用已在文中指出，并与参考文献相对 应。除文中已注明引用的内容外，本论文不包含任何 其他个人或集体已经公开发表的作品成果。对本文的 研究做出重要贡献的个人和集体，均已在文中以明确 方式标明。本人完全意识到本声明的法律结果由本人 承担。 作者( 签字) ：垫豳墅 日期：鲫年王月 哈尔滨工程大学硕七学位论文 第1 章绪论 1 1 网络安全态势感知的概念 随着i n t e r n e t 规模的不断扩大、应用不断增多，网络已经深入到生活的 每个领域，给日常生活带来极大的方便。但同时，由于各种网络的应用层出 不穷，导致网络上充斥着各种漏洞，攻击者利用这些漏洞进行攻击，并且各 种病毒也在网络上传播。又由于各种原因，计算机犯罪也越来越猖獗，计算 机的安全、取证工作也变得越来越重要。许多机构为了保护系统的安全性， 采用了防火墙、入侵检测系统和病毒保护系统等行之有效的安全措施，但这 仍然不能保证网络系统的绝对安全。网络的安全问题仍然在日益扩大，越来 越多的计算机系统遭到了严重的威胁。网络安全的概念早己扩展到由计算机 网络连接的整个世界范围内u ，。目前的网络安全是以成本和访问速度的降低 为代价的，随着两络技术的不断发展，网络安全也不断发展和完善，但至今 仍然存在着许多的问题。从整体上看，i n t e r n e t 上的网络安全问题可以划分 为以下五个层次n ，：操作系统层的安全、用户层的安全、应用层的安全、网 络层的安全、数据链路层的安全。信息安全的主要威胁有信息窃取、拒绝服 务攻击、入侵、网络欺骗和特洛伊木马程序等。 在这种情况下，提出了网络安全态势感知( n e t w o r ks e c u r i t y s i t u a t i o n a la w a r e n e s s ，n s s a ) 的概念。文献 3 中给出了网络态势、网络 态势感知以及网络安全态势感知系统的概念。网络态势是指由各种网络设备 运行状况、网络行为以及用户行为等因素所构成的整个网络当前状态和变化 趋势，也就是从上述关乎网络安全的几个层次来反应网络的当前安全状况。 这里所指的态势是一种状态，一种趋势，是一个整体和全局的概念，任何单 一的情况或状态都不能称之为态势。网络态势感知则是指在大规模网络环境 中，对能够引起网络态势发生变化的安全要素进行获取、理解、显示以及预 测未来的发展趋势。一般的网络安全设备或者关键主机系统是通过预先安装 在网络中的a g e n t 获取分析数据，进而进行融合分析，发现网络中的攻击行 哈尔滨工程大学硕七学位论文 为。而网络安全态势感知系统则采用了集成化的思想，融合现有的i d s 、v d s 、 f i r e w a l l 、n e t f l o w 等工具提供的数据信息，进行态势分析与显示。显而易 见，各种网络安全设备和关键主机的日志则是在获取众多信息时最为重要的 数据来源之一。 1 2 日志数据源在网络安全态势感知中的重要地位 日志文件是一些文件系统集合，依靠建立起的各种数据的日志文件而存 在。一方面，在任何系统发生崩溃或需要重新启动时，数据就遵从日志文件 中的信息记录原封不动进行恢复。日志对于系统安全的作用是显而易见的， 无论是网络管理员还是黑客都非常重视日志，一个有经验的管理员往往能够 迅速通过日志了解到系统的安全性能，而一个聪明的黑客会在入侵成功后迅 速清除掉对自己不利的日志。无论是攻还是防，日志的重要性由此可见。另 一方面，由于日志是用来描述操作系统、应用程序和用户的行为，监控用户 对系统的使用情况，记录网络及系统中的各种事件，包括入侵行为引发的事 件。通过分析日志，不但可以及时发现系统中有事件发生，并能通过对日志 的进一步分析及追溯，可以找出当前的系统漏洞，确定网络安全中的薄弱环 节，分析和定位可能出现的攻击，从而采取相应的措施加强网络控制。例如， 基于主机的入侵检测系统就是根据主机的审计数据和系统日志发现可疑事件 的。因此，获取并分析日志文件信息，并进行集中管理和分析对于维护系统 状况、监视系统活动及维护系统安全至关重要。 基于日志的重要性，日志的准确性将会直接影响到态势系统分析结果的 正确性。因此，在分析网络安全态势时，考虑系统应能最大程度上的准确反 映出网络的当前状态，尽可能的减少用户端误报、漏报等，来源日志判断是 否具备完整性，是否遭到恶意篡改等也是关键的一步。所以对采集到的日志 进行完整性检测也是必不可少的。 1 3 日志数据源在网络安全分析中的国内外动态 1 9 8 0 年，a n d e r s o n “，首次提出了利用系统自身的日志信息进行安全审计 的思想。这方面的研究经历了2 0 余年的发展后，已经形成了较为完备的理论 2 哈尔滨工程大学硕士学位论文 和实际应用系统。但正如z a m b o n i “所指出的，大部分安全工具只有日志数据 的中心处理，而不管日志数据源的分布式收集。这种情况直接限制了这些工 具的监测范围、配置的难度和容错能力。s t e v em e y e r t ”对事件日志在当今网 络环境中的研究意义做了分析，他认为日志分析工具的研发跟不上网络安全 的发展，并且认为日志是分析网络安全必不可少的数据源。n c s a 的k i r a n l a k k a r a j u t ”等人研究了在面对不同的网络安全攻击时，如何选择与之相关联 的日志数据源来形成入侵证据的问题，最后还给出了日志收集和可视化的初 步试验结果。c r i s t i n aa b a d ，j e dt a y l o r m ，等人讨论了不同的攻击行为是如 何在不同的日志文件中留下痕迹的，并通过数据挖掘工具r i p p e r 和关联不同 的日志数据有效的改进了一个入侵检测系统的误检率。m a l i k am a h o u i 和 s a l l yj oc u n n i n g h a m m 通过对两个不同数字图书馆的事务日志的比较分析， 得出了不同的便利性、不同内容的信息资源是如何影响用户的搜索行为的， 这对分析广义的日志也是有借鉴意义的。以上工作说明了日志数据源已经得 到了一些研究人员的重视，相继也出现了一些日志的应用系统。e r i ca p i s c h ，g r e g o r yb w h i t e 和u d ow p o o c h ”，设计了一个基于s u n 操作系统 的日志分析工具，该工具能自动地从入侵者活动日志中剔除危害主机中的安 全敏感信息，这也是保护主机安全的一个手段。s c h n e i e r 和k e l s e y 1 提出 了在计算机取证系统中审计日志的重要作用及应用，并设计了安全审计日志 系统。 国内方面，日志在网络安全分析中的应用研究也相对成熟。2 0 0 1 年上海 交通大学网络中心李承“1 等人研究开发了n a f l ( n e t w o r ks e c u r i t ya u d i t s y s t e mb a s e do r lf i r e w a l ll o g ) ，他们提出了一个用于安全审计的防火墙日 志信息的标准化方案，该系统强调t c p i p 协议栈底层行为的安全审计，弥补 了传统安全审计系统的不足。同年，华中理工大学的陈科“m 等人分析了防火 墙和网络入侵检测系统在网络安全体系中存在的不足，构建了一个在 c i d f ( 公共入侵检测框架) 下集成防火墙和入侵检测系统的模型，这种集成模 型对分析不同平台的日志源有参考价值。上海交通大学的黄锦、李家滨“”通 过对包过滤型防火墙的日志信息进行分析，建立了一个基于防火墙日志信息 的准实时的网络入侵检测系统。北京工业大学的王全民m j 把传统的日志分析 技术和移动a g e n t 技术相结合，实现了l i n u x 环境下的主机日志分析系统 哈尔滨工程大学硕士学位论文 l a s l ，该系统具有智能、自动化和分布式的特点，但存在日志安全分析系统 本身的安全性和决策支持问题。接着上海交通大学信息安全学院的罗自立o m 等人提出了基于l i n u x 环境的主机日志自动审计技术，该技术的特点是运用 日志的关联分析来提取事件日志规律，提高了日志分析工具的智能化程度。 国防科大的石彪、胡华平等设计了网络环境下的日志监控与安全审计系统“”， 他分析了日志监控与安全审计平台应当具备的功能，在此基础上提出了网络 环境下日志监控与安全审计系统的结构模型，并给出了一种基于w e b 管理的 实现方案。浙江大学黄艺海u m 等人提出了日志审计系统的设计，从总体上描 述了系统的框架技术以及一些关键技术的实现细节，预见了日志审计系统在 网络发展中的潜力。电子科技大学的舒朗和王蔚然n ”提出了分布式防火墙中 日志系统的设计与实现技术，鉴于日志分析系统的分布式特征，并在此基础 上给出了其功能模块与设计要点。以上这些文献资料对实现从采集日志到依 赖这些数据分析网络状态的过程，都有着很大的指导和借鉴意义。 在日志信息的处理方面，已有针对网络系统中的大量日志审计信息采用 数据挖掘技术提取安全模式规则的研究。北方交通大学的蒋嶷川m ，等提出综 合关联分析、序列模式分析、分类分析和聚类分析的4 种挖掘方法，从预处 理后的日志数据中提取安全规则，但对于如何根据日志信息的具体情况采用 合适的挖掘算法还有待于研究。北京理工大学的牛建强m - 等人提出了基于数 据挖掘的i d s 日志的分析处理方法，给出了入侵模式的提取与检测分类器的 建立过程，使日志分析更加智能化，这也是i d s 日志分析发展的趋势所在。 除此之外，南京大学陈黎明m ，等提出了一种日志完整性检测方法，随着研究 的深入，这也是研究日志数据源过程中必须要考虑的技术。 纵观国内外的研究，不难得出如下几点看法： 1 日志数据源定义模糊 网络安全状态包括系统的各个方面，只要某一方面遭到攻击，它就谈不 上是安全的。丽当前研究的日恚源大多只艰于主机日志、网络日志等，还有 很多日志源在日志分析中没有得到综合考虑，比如防火墙日志、i d s 日志、 v p n 日志、工作组日志、邮件服务器日志以及a r p 和d n s 缓存日志等。下面 就是归纳出来的n c s a 的日志数据源，如表1 1 所示。 4 哈尔滨 - 程大学硕 ：学位论文 2 网络安全状态的日志分析单一化 每一种系统或者产品只有日志系统，对产品本身发生的事件进行记录。 然而，大多管理员研究时只是针对特定的日志文件，通过分析单一系统的日 志来感知系统的安全态势，却缺少一种能够集成各种相关网络安全的日志文 件的联合分析产品以形成联动分析来提取事件规律。对不同系统、不同类型 产品，不同型号产品的日志的集成研究少见报端。也就是说，并没有对日志 信息或其他形式的网络安全数据集成或者综合分析。表1 2 给出了各种攻击 所能留下的日志纪录，它揭示了日志信息间的相互关联性。网络安全是一个 综合的解决方案，单靠任何一种安全产品，都不可能做到安全。而在一个拥 有防火墙、入侵检测、审计日志、权限控制等安全设施的立体防护网络中， 一次入侵不仅仅会在一个检测系统中留下踪迹，在其他安全设备的记录中同 样也可以找到相关的入侵痕迹。如果可以在评估一个攻击的威胁性时，能够 同时参考这些信息，就可以有效的降低检测系统的误报率和漏报率。 表1 1n c s a 的日志源 s o u r c en a m e t y p i c a le v e n t s m e t f l o wt c p u d pc o n n e c t i o n sb e t w e e ni pa n dp o r t s d n s r e q u e s ta n s w e r i n g ，m a p p i n gm o d i f i e d ，e t c 眦pl e a s em a d e ，l e a s er e l e a s e d ，a d d r e s sp o o l h 1 v r p h t t pc o m m a n d s ：g e t ，p o s t ，h e a d f t p f t pc o m m a n d s ：r e t r ，l i s t ，p a s v s m t p s u c c e s s ，w r o n gp a s s w o r d ，e t c p o p 3 l o g i n ，r e t r i e v em a i l s ，e t c s s h l o g i n ，l o g o u t ，s e n dm e s s a g e ，e t c t e l n e tt e l n e tc o m m a n d s k e r b e r o s l o g i n 1 0 9 0 u ti nk e r b e r o ss y s t e m i d s ( b r o )s i g n a t u r e sf o ra n ys p e c i f i e de v e n t s 3 缺少统一的接口 为方便广大管理员对网络的态势察觉，将各种日志综合分析，给出统一 的事件库，不但管理员可以通过事件库查询各种日志信息，还可以为其他部 5 哈尔滨工程大学硕士学位论文 分( 如融合系统) 提供完备并已统一格式的数据来源，即为日志分析阶段制 定一个黑盒模型。 因此面对网络安全态势系统，我们现在需求这样一个日志传感器；面对 网络安全分析，我们仍需要一个中闻件形式的日志集成器。 表1 2 日志的相关性 l o g a t t a c k s y s l o gf i r e w a l ln e t f l o wt c pd n sr u t hw e bm a i l f t p d i c t i o n a r y f t p w r i t e i m a p x n a m e dx p h fx s e n d m a il x s n o o p a p a c h e 2 b a c k m a i l b o m b x s y nf l o o dx p i n go fd e a t h p r o c e s s t a b l e s m u r f u d p s t o r m x 1 4 本文研究的目的和意义 网络安全态势感知系统研究是信息安全领域的一个新的研究热点。为了 满足网络安全态势感知系统的信息获取需求，开展安全传感器研究是非常必 要的。同时日志类数据源又是判断网络安全状态的重要数据来源之一，它包 含了发生在系统上的不寻常和不期望活动的证据，这些证据对准确把握感知 结果起到决定性的作用。分析日志数据己成为系统管理员评估系统安全态势 和及时发现入侵者入侵行为的重要手段。日志分析就是通过分析系统、i d s 、 防毒软件及其他应用软件所生成的日志向网络安全的管理者提供关于当前网 6 哈尔滨工程大学硕士学位论文 络的安全态势，以便做出改进网络使用方案的措施。日志分析要力求做到实 时、准确的提供当前网络的态势信息；同时也要存有以往信息，方便用户进 行比较分析和向有关部门提交入侵者的入侵证据。 但我们都知道，网络系统的安全是一个综合的解决方案，单靠任何一种 安全产品，都不可能做到安全。而且随着计算机技术的发展，入侵攻击手段 日趋高明，再好的安全措施也不能确保整个网络系统的安全。只有将各种安 全工具结合起来，才能构筑起一道网络安全的立体防御体系，最大程度地确 保网络系统的安全。因此，应具备在系统的安全态势受到威胁时能够方便丽 快速地感知并采取措旌的响应能力。而完成这一工作最好的切入点就是利用 各种系统记录它们所发生的事件的日志综合分析并集成处理。 本文即是在提出网络安全态势感知的概念后，结合系统需求，设计日志 类安全传感器。通过设计和实现日志类安全传感器，为感知系统提供全面、 完整、相对准确，并已经过统一处理后的日志数据，由统一的接口供系统调 用。从安全传感器内部设计上来讲，日志类安全传感器( l o g - o r i e n t e d s e c u r i t ys e n s o r ，简称为l o s s ) 集成了各种网络安全设备、关键主机、重 要节点网络日志等各种不同来源，从不同角度、地理位置反应网络状态的来 源数据。 1 5 课题主要工作安排 针对现有的日志分析工具发展滞后，以及日志集成化分析较少，并结合 两络安全态势感知系统中对日志统分析的需求特征，提出面向网络安全态 势感知的曰志类安全传感器。本文研究的工作是对多源日志信息的收集分析 以及集成处理，最后以统一形式提交给上层用户，也就是完成对日志类安全 传感器的设计与实现，满足特定网络的专项需求。 本文在对日志数据源的特征及处理研究分析基础上，给出日志类安全传 感器的框架模型设计方案及部分实现。 传感器的主要功能包括： 1 。对各种日志信息进行采集，并将采集后的数据进行解析处理； 2 对解析后的日志信息进行预处理工作，降低日志信息数据量及冗余 7 哈尔滨工程大学硕士学位论文 度； 3 对处理后的日志信息执行关联分析； 4 对关联分析的数据生成事件及统一表示； 5 为用户提供统一管理界面，由于该系统采用c s 结构，用户可以直接 通过传感器界面管理配置系统，并支持查询处理结果功能。 1 6 论文的组织结构 论文共分五章，余下内容安排如下： 第2 章日志数据源研究。通过对日志从概念、分类到现有应用工具的描 述，全面了解各种日志特征，同时还分析了典型的应用系统工作原理或结构 模型，以助于对后续日志类安全传感器的设计提供准确定位和设计思路。 第3 章日志数据源处理方法分析。详细介绍了处理日志需要的各种基本 技术，从而有助于选择出适合本文中实现日志类安全传感器的关键技术来实 现日志类安全传感器。 第4 章日志类安全传感器的设计。给出日志类安全传感器的定义，设计 思路以及框架结构，以及各功能模块的业务流程。 第5 章日志类安全传感器的实现。给出本论文中日志类安全传感器的实 现中部分实现方案及详解，并给出试验过程及试验结果。 8 哈尔滨工程大学硕七学位论文 第2 章日志数据源研究 2 1 日志的定义及分类 在处理日志数据源前，首先要清楚日志的定义及分类，以便于后续设计 系统时掌握日志的应用范围。传统的日志记录内容一般是各系统自身运行情 况的记录，或者是对系统检测出的攻击，如端口扫描，口令破解，溢出攻击， 恶意程序等的记录。还有一些日志是经过现有安全产品已经分析过后产生的 日志事件，将多个这样产品的日志统一起来分析网络的安全状态能够略去大 量的冗余工作。它们大多是以文件形式存在于各自的日志系统中，或者将日 志输出到指定的数据库中。以尽可能实现数据源的全面性为目标。 对于日志数据源的分类，从不同的角度区分，则有不同的分类方式。从 日志内容上可分为：状态日志、统计曰志、告警目志、事件及行为日志；从 日志产生来源上可分为：服务器操作系统日志、网络设备日志、数据库系统 日志、网络应用服务日志、应用业务系统日志；从日志产生方式上可分为： 各类系统及设备自身产生的日志。 本文重点分析以下几种典型的日志，以下从它们定义的格式、记录的内 容以及存在的形式分别描述。 2 1 1 系统日志 系统日志又称为主机日志，由操作系统自动生成，与操作系统行为密切 相关。它记录了系统发生的各种事件。此类日志文件一般是纯文本的文件， 通常存放在“v a r l o g ”目录下。每一行就是一个消息，一般由四个域的固 定格式即：时间标签、主机名、生成消息的子系统的名字和消息组成。 系统日志按照操作系统来分析，一般分为以下几类： 1 w i n d o w s 系统日志 w i n d o w s 系统日志较为丰富，并可通过事件查看器来查看。例如，使用 微软提供的工具( 如d u m p e l e x e ) 或手动脚本编程来远程定期备份和格式化 9 哈尔滨工程人学硕十学位论文 h o n e y p o t 主机上的系统日志。标准的转储格式为： 日期时间类别类型事件标示符来源用户主机名( 非i p 地址) 描述 下面就对每一种w i n d o w s 操作系统的日志系统进行描述并分析。 w i n d o w sn t 下的日志系统 w i n d o w sn t 中的日志文件几乎对系统中的每一项事务都要做一定程度 上的审计。该系统中日志文件分为系统日志、应用程序日志和安全日志三类， 功能分别为：跟踪各种各样的系统事件，记录由w i n d o w sn t 系统组件产生的 事件；记录由应用程序或系统程序产生的事件。这些日志通常存放在： c ：w i n n t s y s t e m 3 2 c o n f i g s y s e v e n t e v t ：c ：w i n n t s y s t e m 3 2 c o n f i g s e c e v e n t e v t ：c ：w i h i n t s y s t e m 3 2 c o n f i g a p p e v e n t e v t 。 w i n d o w s2 0 0 0 下的日志系统 在w i n d o w s2 0 0 0 中，日志文件的类型相对比较多，除了有和w i n d o w sn t 相同的三大日志外，还有d n s 日志、f t p 日志、w w w 日志等等。 关于w i n d o w s2 0 0 0 的系统中日志文件默认位置，安全日志文件： s y s t e m r o o t s y s t e m 3 2 c o n f i g s e c e v e n t e v t i ：系统日志文件： s y s t e m r o o t s y s t e m 3 2 c o n f i g s y s e v e n t e v t ；应用程序日志文件： s y s t e m r o o t s y s t e m 3 2 c o n f i g a p p e v e n t e v t ：i n t e r n e t 信息服务f t p 日志： c ：w i n n t s y s t e m 3 2 l o g f i l e s m s f t p s v c l ：i n t e r n e t 信息服务例日志： c ：w i n n t s y s t e m 3 2 l o g f i l e s w 3 s v c l ：s c h e d u l e r服务器日志： c ：w i n n t s c h e d l g u t x t 。 w i n d o w sx p 下的日志文件 w i n d o w sx p 中也有系统日志，安全日志和应用日志三种常见的日志文件。 另外，w i n d o w sx p 还有一个i n t e r n e t 连接防火墙( i c f ) 日志，文件名是 p f i r e w a l l 1 0 9 。i c f 的日志分为两类：一类是i c f 审核通过的i p 数据包， 而另一类是i c f 抛弃的i p 数据包。此文件格式分为文件头和文件主体两部分， 文件头主要是关于p f i r e w a l l 1 0 9 这个文件的说明，文件主体部分记录每一 个成功通过i c f 审核或者被i c f 所抛弃的i p 数据包的信息，包括源地址、目 的地址、端口、时间、协议以及其他一些信息。 2 u n i x 系统日志 在u n i x 系统中，主要有三个日志子系统： 哈尔滨丁程大学硕士学位论文 连接时自j 日志：由多个程序执行，记录被写入到w t m p 和u t m p 文件中， 由l o g i n 程序更新，由此管理员可以知道谁在何时登录到系统； 进程统计日志：此文件由系统内核执行，一个进程终止时为每个进程 向统计文件中写一个记录，进程统计的目的是为系统服务提供命令使 用统计； 错误日志：由s y s l o g 执行，各种系统守护进程、用户进程和内核通 过s y s l o g 象文件m e s s a g e s 报告值得注意的事件。 不同于w i n d o w s 系统，u n i x 系统除了使用w t m p 和u t m p 等文件来记录用户登 录、注销情况之外( 这些容易被攻击者更改或删除) 、大多通过s y s l o g 服务 来进行系统日志记录。重要的是，它也可被配置成主动将日志记录转储至远 程主机，只要在它的配置文 ：e t c s y s l o g c o n f 中加入类似于以下一些条目 即可： 木i n f o ：m a i l n o n e ：s u t h p r i v n o n e ：c r o n n o n eo a u t h p r i v 爿c 下面所示的是从s s h 端口登录失败时的s y s l o g 记录： d e c1 6 - 2 0 ：5 9 ：0 5e r i es s h d ( p a mu n i x ) 1 9 1 0 ：a u t h e n t i c a t i o n f a il u r e ：i o g n a m e = u i d = oe u i d = ot t y = s s hr u s h e r = r h o s t = 1 9 2 1 6 8 3 3 11 6 u s e r = r o o t 2 1 2 操作系统审计记录 操作系统审计记录是最先被确认为具有重要安全意义的基于主机的数据 源，它是由包含在操作系统软件内部的专门的审计子系统产生。这些审计记 录是用于反映系统活动的信息集合，按照时间顺序组织成一个或多个审计文 件。每个审计文件由审计记录组成，每条审计记录描述了一次单独的系统事 件。当系统中的用户采取动作或调用进程时，引起相应的系统调用或者命令 执行，此时审计系统就会产生对应的审计记录。每一条审计记录又包含了若 干审计标记，分别用于描述审计记录的不同域。 审计事件可以分为成功事件和失败事件两类。成功事件表示一个用户成 功获得了访问一种资源的权限，而失败事件则表明用户尝试过但失败了。下 面就以w i n d o w s 2 0 0 0 操作系统为例说明操作系统审计记录的结构和内容。它 哈尔滨工程大学硕士学位论文 是以事件日志的形式提供数据源的。此项机制融合了从操作系统和其他系统 数据源处收集到的事件信息。 w i n d o w s 2 0 0 0 事件日志机制从3 各方面收集系统事件，分别是：操作系 统事件、安全事件和应用事件。每种类型的事件记录在单独的日志中，分别 为：系统日志、应用日志、安全日志中。， w i n d o w 2 0 0 0 事件日志由事件记录组成。每个事件记录分别为3 个功能区 块：记录头区、事件描述区和附加数据区。图2 1 描述了事件记录的结构。 日期时间主体标识 计算机名 事件标识事件来源事件等级 事件类型 事件描述区的内容取决于具体的事件，可b是事件的名称、 详细说明、产生该事件的原因、建议的艄! 决方案等信息 可选数据区，通常包含可以以1 6 进制方式显示的二进制 数据。具体内容由产生事件记录的应用程序决定。 图2 1 事件记录结构图 2 1 3 应用服务日志 这里以w i n d o w s 操作系统下i i s 平台的网络日志作为范例，日志的格式 为w 3 c 的扩展格式。其数据字段包括d a t e ，c i p ，a s u s e r n a m e ，c s - m e t h o d ， c s u r l q u e r y ，s c - s t a t u s ，c s b y t e s ，t i m e t a k e n 等等。其含义为：日期客 户i p 地址用户名服务类型u r l 查询协议状态客户字节数等待时间 一般情况下，默认记录格式为： 日期时间客户i p 地址用户名服务器i p 地址服务器端口方法u r l 资源u r l 查询协议状态用户代理 对以上两种日志分析，将能够对入侵行为的判断具有更高的效率。比如， 它除了可以检测到入侵者试图或者已经执行了哪些“危险命令”，还能分辨 出入侵者都运行了什么程序、打开了哪些文件、执行了那些系统调用。 2 1 4 防火墙日志 防火墙一般是设置在内部局域网和外部互联网之间，用来保护内部局域 1 2 圈园回 哈尔滨t 程大学硕士学位论文 网的安全。它对两个或者多个网络之自j 传输的数据包和连接方式按照一定的 安全策略进行检查，来决定网络之间的通信是否被允许，能有效地控制内部 网络和外部网络之间的访问及数据传送，从而达到保护内部网络的目的。目 前防火墙系统类型很多，但无论是哪种防火墙系统，每天都要产生大量的日 志文件，管理员针对这些未经过任何处理和分析的庞大的日志进行管理是很 困难的。因此，对防火墙的日志统一化分析是十分有意义的。 防火墙日志属于设备日志的一种，记录着通过防火墙的数据包或会话通 信的详细数据，是防火墙的重要组成部分之一，也是网络态势感知系统的重 要数据来源。防火墙日志不但会记录防火墙作为安全设备本身的运行情况， 还会保存系统收到的各种不安全信息的时间、类型、事件等。通过分析这些 日志，可以发现曾经发生过或正在进行的系统入侵行为。如果能够将这些日 志信息采集过来与其他日志联动分析，还会略却很多日志数据处理步骤，最 大程度上利用了防火墙系统对网络系统的贡献。 尽管每种防火墙日志系统各不相同，但在记录方式上大同小异，主要包 括：时间、允许或拦截、通讯类型、源i p 地址、源端口、目标地址和目标端 口等。目前通用的防火墙设备日志格式主要有三种：s y s l o g ，t r a f f i cl o g 和w e l f ，下面就对这三种日志格式一一描述。 1 s y s i o g 格式 s y s l o g 格式是由r f c 3 1 6 4 定义的，该协议最初由c a l i f o r n i ab e r k e l e y 大学t c p i p 组定义及实现，用于通过网络传输设备的事件以及消息。在其内 容中没有相应的流量信息，其格式如下： m o r t d dh h ：舢：s sh o s t n a m es r c = ”s r c i p ：s r c p o r t 。 d s t = ”d s t l p ：d s t p o r t m s g = ”m e s s a g e n o t e = n o t e d e v l d = ”l i l a ca d d r 。 d e v t y p e = “z w 7 0 c a t = “c a t e g o r y 2 t r a f f i ci o g 格式 t r a f f i cl o g 是设备保存的基于流量的日志，它弥补了s y s t o g 格式的日 志中没有流量信息的缺点，在每一次通过网络设备的访问结束后产生信息， 配合s y s l o g 格式的日志可以实现对设备流量的监视，其日志格式如下： m o nd dh h ：m ：s sh o s t n a m es r c = d s t = “m s g = t r a f f i cl 0 9 6n o t e = t r a f f i cl o g “d e v i l ) = - 4c a t 一”t r a f f i c l 0 9 4 d u r a t i o n = s e c o n d s s e n t = s e n t b y t er c v d = r e c e i v e b y t e sd i r = p a c k e td i r e c t i o n ”p r o t o i d = i p p r o t o c o l i d p r o t o =”s e r v i c e d e s tp o r tn u m b e r t r a p s = 。i p s e c n o r m a l 3 w e l f 格式 w e l f ( w e b t r e n d se n h a n c e dl o gf o r m a t ) 是由w e h t r e n d s 公司开发的， 它能提供给用户简单快捷、行之有效的解决问题办法，并且使大型企业用户 可以使用专业的第三方防火墙日志分析软件。目前，它是很多防火墙都支持 的日志格式，如国外许多厂商n e t s c r e e n 、c h e c k p o i n t 等都宣布对这个格式 支持，国内有些厂商也已经实现对这个格式的支持，如龙马卫士防火墙的日 志就是完全采用w e l f 格式实现的。该格式的可以直接存放到文件上或通过 s y s l o g 等日志服务器系统传输到日志服务器上，该格式可以通过w e b t r e n d s 等日志分析软件分析，也可以通过这种日志格式实现对设各的监视，下面是 该日志格式的一个例子： i d = f i r e w a l lt i m e = 。2 0 0 6 0 8 3 00 9 ：0 0 ：0 0 4f w = l o 2 0 1 0 0 1p r i = 6 r u l e = 3p r o t o = h t t ps r c = t 0 2 0 1 2 8d s t = 6 0 1 9 0 2 0 2 d e s t n a m e = 6 0 1 9 0 2 0 2a r g = i n d e x h t m lo i 】：g e tr e s u l t = 2 0 0r c v d = 1 4 2 6 目前，对防火墙系统记录的日志文件的分析大多还集中在流量统计阶段。 实际上，防火墙的日志文件中记录了大量有用信息。特别是包过滤型防火墙 系统，记录了流过的i p 包的基本信息，是审计分析的依据。通过对日志文件 的分析，可以检测出隐藏其中的入侵行为。通过对常用防火墙的日志进行分 析，一般包括两种类型的日志：一种日志记录得比较简单，只包含时间、源 目的地址、源目的端口以及协议号和某些重要标志位，这样的日志格式非常 简单，因此存储空间要求较小，适合长期储存。但它提供的信息少，有许多 攻击和入侵行为无法被发现，因此误报率高；另一种则将整个数据包或者数 据包的开头一部分记录下来，提供十分详细的信息，给分析带来的极大方便， 但是由于存储空间问题，无法实现较为长期的日志分析。 虽然目前所有厂商的防火墙都提供日志功能，但各厂商对于防火墙日志 的记录和管理策略却各不同。有的厂商采用防火墙内