（通信与信息系统专业论文）日志数据采集和实时审计关键技术研究与实现.pdf

浙江工商大学硕士研究生学位论文 日志数据采集和实时审计关键技术研究与实现 摘要1 目前网络规模日益膨胀、网络应用日益频繁、网络威胁日益严重， 主流的安全技术力不从心，日志审计技术作为安全审计的重要手段其 研究价值倍受关注! 本文重点研究了其中的日志数据采集技术和实时 审计技术，并对这两模块间通信问题进行了研究。 本文在l i n u x 平台上使用c 语言进行开发并实现了日志实时审计 系统。首先对日志采集技术进行分析和比较，采取了以s y s l o g n g 获 取日志数据的方式和以文件形式的缓存。然后对实时审计算法和数据 库接口技术进行研究，提出了利用正则匹配算法实现实时审计和通过 o d b c 实现数据库接口。接着针对模块间通信的要求，开发一套配合 s s h 的辅助协议。在此过程中，本文针对实时审计提出了日志审计最 优轨迹图( b e s tt r a c km a p ) 算法，提高规则匹配速度；针对日志数 据采集和实时审计模块间通信提出了辅助通信协议实现彼此身份验 证，并使用s s h 加密协议单独传输日志文件，在一定程度上增强了 系统的高效性和安全性。最后通过一系列的测试对系统功能和性能进 行验证，结果表明该系统能有效地对日志数据实现实时审计。 关键字：日志采集；实时审计；b t m 算法；正则匹配：辅助协议 1 资助项目：国家自然科学摹金n o 6 0 5 7 3 1 1 6 、6 0 6 0 3 0 7 2 “松散耦合型分布式路由器的若干关键技术研究”， 国家高技术研究发展计划( 8 6 3 计划) 项目n o 2 0 0 7 a a 0 1 2 2 0 1 “f o r c e s 体系结构与关键技术研究和国际标 准制定”，浙江省科技计划n o 2 0 0 6 c 1 1 2 1 5 2 0 0 8 c 2 1 0 9 3 “面向中小企事业单位应用的网络综合管理服务平 台”资助 浙江工商大学硕士研究生学位论文 r e a s e a i ha n di n 口l e m e n t a t i o ni nl o gd a t a a c q u i s i t i o n a n dr e a l t i m ea u d i tt e c h n o l o g y a b s t r a c t a tp r e s e n t ，f a c et ot h ec o n d i t i o n st h a tr a p i d l ye x p a n d i n gt h es i z eo ft h en e t w o r k ， f r e q u e n t l yi n c r e a s i n ga p p l i c a t i o n so ft h en e t w o r k ，a sw e l l 弱i n c r e a s i n g l ys e r i o u s t h r e a tt ot h en e t w o r k ，t h em a i n s t r e a ms e c u r i t yt e c h n o l o g yf e e lp o w e r l e s sa n d i n c a p a b l e ，a sa ni m p o r t a n tm e a n sf o rt h es e c u r i t ya u d i t ，t h el o g - a u d i tt e c h n o l o g ya n d i t sr e s e a r c hv a l u eh a sd r a w ng r e a t e ra t t e n t i o n ! i nt h i st h e s i s ，w ea t t a c hm o r e i m p o r t a n c et ot e c h n o l o g yo fl o gr e a l - t i m ed a t aa c q u i s i t i o na n d r e a l t i m ea u d i t a l s o r e s e a r c ht h et e c h n o l o g yf o ri n t e r - m o d u l ec o m m u n i c a t i o np r o b l e m s i nt h i st h e s i s ，b yu s i n gcl a n g u a g ed e v e l o p m e n ti nt h el i n u xp l a t f o r mw ea c h i e v e am o r es t a b l el o g - a u d i ts y s t e m f i r s to fa l l ，b a s e do nl o ga n a l y s i sa n dc o m p a r i s o no f t h ea c q u i s i t i o na p p r o a c h e s ，w ea d o p t e ds y s l o g n gt oo b t a i nl o gd a t aa n dt e m p o r a r y c a c h i n gi nt h ef o r mo fd o c u m e n t s t h e n ，b ya n a l y z i n gt h et e c h n o l o g yo fr e a l t i m e a u d i ta l g o r i t h m sa sw e l la st h ei n t e r f a c eo fd a t a b a s e s ，w ea d o p tt h er e g u l a rm a t c h e x p r e s s i o n sa n do d b ct o f u l f i l lt h er e a l t i m ea u d i te n g i n ea n dd a t a b a s ei n t e r f a c e r e s p e c t i v e l y t h e n b a s e do nt h er e q u i r e m e n t so fs e c u r i t ya n di n t e r - m o d u l e c o m m u n i c a t i o n ，w ef o c u s e do nt h ed e v e l o p m e n to fa u x i l i a r yp r o t o c o lc o o p e r a t i o n w i t hs s h i nt h ep r o c e s s ，t o w a r d st ot h er e a l - t i m ee n g i n e ，w ep r o p o s e da u d i tl o gb e s t t r a c km a p ( b t m ) a l g o r i t h m ，i m p r o v et h es p e e do fa u d i t a n dt o w a r d st ot h e i n t e r - m o d u l ec o m m u n i c a t i o n ，w ep u tf o r w a r da u x i l i a r yp r o t o c o lt oa c h i e v em u t u a l a u t h e n t i c a t i o n ，a n db yc o o p e r a t i n gw i t hs s hp r o t o c o lt ot r a n s f e rl o g - f i l e s ot os o m e e x t e n tt h e ye n h a n c et h ee f f i c i e n c ya n ds e c u r i t yo fs y s t e m f i n a l l y , b yi m p l e m e n t i n ga s e r i e so ft e s t so ff u n c t i o na n dp e r f o r m a n c e ，w ev e r i 母t h eb a s i cf u n c t i o n sa n d i i 浙江t 商大学硕上研究生学位论文 k e y w o r d s ：l o 哥d a t ac o l l e c t i o n ；r e a l - t i m ea u d i t ；r e g u l a ra l g o r i t h m ；b t m a l g o r i t h m ；a u x i l i a r yp r o t o c o l i i i 浙江工商大学硕十研究生学位论文 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 本人为获得浙江工商大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示谢意。 签名：塑堑丝 日期：年月日 关于论文使用授权的说明 本学位论文作者完全了解浙江工商大学有关保留、使用学位论文 的规定：浙江工商大学有权保留并向国家有关部门或机构送交论文的 复印件和磁盘，允许论文被查阅和借阅，可以将学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存、汇编学位论文，并且本人电子文档的内容和纸质论文的内 容相一致。 保密的学位论文在解密后也遵守此规定 签名： 整翌笸 导师签名 日日 浙江工商大学硕士研究生学位论文 1 绪论 夫日志审计技术应网络安全大势而生。唯其立意新颖，下攫取丝缕之迹，上 求索恶意之源，故其有明察秋毫之能，吞吐网络大局之志! 因其安防之能，可敌 外侮，防内贼；凭其管理之资，可纳八方资源于彀中；籍其聪睿之才，乃索阴匿 于显形! 遂能痛改传统安全技术之大弊，开新型安全技术之华章! 本章首先对其 追本溯源，然后究其技术大要，接着盖其历史之大成，最后品评今朝之意义1 1 1 日志审计技术背景 “海纳百川，有容乃大”，互联网的确是以空前能力兼容并包现实中一切可 以实现的网络技术和信息。据中国互联网络发展状况统计报告【i 】，截至2 0 0 8 年6 月底：中国网民数量达到2 5 3 亿，网民规模跃居世界第一位。中国网民规模继 续呈现持续快速发展的趋势。比去年同期增长了9 1 0 0 万人，同比增长5 6 2 ； 网络规模日益扩大! 然而，“林子大了，什么鸟都有 ，其中之物难免鱼龙混杂， 良莠不齐! 据公安部公共信息网络安全监察局、国家计算机病毒应急与处理中心 报告【2 1 ，截至2 0 0 8 年上半年我国信息网络安全事件发生比例为6 2 7 ，多次发 生网络安全事件的比例为5 0 ，多次感染病毒的比例为6 6 8 。同时，安全威胁 呈现出集团化、产业化趋势。黑客不仅逐渐变为犯罪职业，而且作案手段日趋高 明，包含更多的钓鱼元素；传统的网页挂马手段也日渐猖獗，老病毒死灰复燃； 第三方应用软件漏洞攻击更是层出不穷；社会工程学手段灵活运用也让人眼花缭 乱，防不胜防! 网络威胁日益严重【3 】【4 】【5 】! 传统的信息安全技术，诸如身份认证技术、加解密技术、边界防护技术、访 问控制技术、主机加固技术、检测监控技术等【6 】，尽管在一定程度上满足信息安 全的需要，但是面对网络中复杂的安全问题时，就顾此失彼，力不从心! 比如， 作为公认最为成熟的防火墙技术，虽然可以在检测粗粒度数据包和内外部隔离上 起着巨大作用，但是其在对规则配置的复杂要求和应用支持速度方面存在缺陷。 同样，作为防火墙技术补充的入侵检测技术在面临黑客采取分布式攻击时也存在 着较高的漏报率和误报率【7 1 。另外，由于当前传统的静态安全防护体系技术缺乏 浙江工商人学硕上研究生学位论文 系统观念而导致：安全资源无法整合，安全设备众多，缺少集中管理，设备之间 形成信息孤岛，安全建设投资回报率低；海量信息，很难抓住重点，巨大的工作 量也不能带来决策信息；安全威胁透明，无法可视化，缺乏全网的信息管理平台， 对攻击定位排查速度慢，对内部安全事件监控不足等问题【8 】。 此情此境，网络呼唤一种技术、一种手段、一个系统或一个平台，对其不仅 能够提供系统的安全保护，诸如抵抗外来入侵，监控内网泄密；而且还能克服静 态安全防护体系的安全管理缺陷，整合信息源。网络安全审计系统则应运而生! 作为安全防护系统，它不仅能够解决某些特殊入侵检测系统无法检测的入侵行为 ( 比如长时间大跨度的攻击特征) ，并且能够对入侵行为进行记录以便在任何时 候再现，甚至是提取出未曾发现的攻击模式。作为系统管理平台，它能够集中管 理网络众多日志设备的日志信息，极大提供决策的效率。 安全审计系统技术包含日志审计和行为审计，本文主要研究日志审计技术。 所谓日志审计技术就是把日志作为客体，通过审查统计手段对其内容进行过滤和 评估，以期检验用户行为及其应用操作是否违反安全程序，是否符合当前的网络 行为规范。日志审计技术包括：日志数据采集、日志归一化处理、实时审计技术、 日志数据存储、事后审计技术、以及模块间加密通信技术等。其中，最重要的技 术就是日志数据采集和审计技术。下面将按照日志审计系统的工作流程来介绍各 种技术： _ 日志数据采集：根据网络中日志数据的分布特点、类型种类、存在形式、 支持格式等，采取一定的手段以便能够全面、稳定、安全、高效、准确 地获取原始日志数据。 _日志归一化处理：搜集的原始日志包含不同的类型，其格式各不相同。 这必然会导致日志存储困难、审计速度慢、管理混乱、存储错误、检索 效率低等问题。必须通过技术手段对日志进行格式一致化处理。 _ 实时审计技术：根据规则库里的规则，对日志数据文件以快速匹配算法 进行扫描，以期监测是否存在入侵日志、危险日志等。鉴于审计的实时 行要求，匹配算法速度是关键。 _ 日志数据存储：根据日志数据特点，通过一定的方法将日志数据备份到 数据库以便管理员事后查看。另外，数据库的可移植性、跨平台性将是 2 浙江工商大学硕士研究生学位论文 系统灵活的一个重要指标。 事后审计技术：针对隐含的、不明显的威胁，通过精心设计的审计分析 手段对数据进行关联、匹配和深度挖掘，追溯其攻击的蛛丝马迹，剔除 存在的潜在危险。 _模块间加密通信：针对黑客对第三方软件攻的击行为，尤其是对分布式 系统问通信信息的截取和篡改行为。采取模块间信息加密技术、或者其 它带外认证机制等。 1 2 日志审计技术和产品国内外研究现状 纵观国内外日志审计系统市场，目前呈现以下特点：各种产品可谓层出不穷， 技术却鲜有让人耳目一新之感；整个市场产品同质化非常严重，除了少数拥有自 主知识产权的企业钋，多数产品的差异性主要体现在基本技术的实现水平级别， 以及产品对市场需求的细分上。下面将对市场上主流产品及其技术特点进行介 绍。 1 2 1 国内产品技术研究现状 1 ) e t r u s ta u d i t 日志审计系统 该系统通过跨平台的集中管理，先集中收集来自不同操作系统服务器、e t r u s t 安全系统、以及第三方网络和安全设备的日志和事件信息，从海量数据库中精确 识别出关键的安全事件数据；再将审计数据集中存储在中心数据库中，以便方 便地进行访问和编写报表。其产品特点有：跨平台事件管理、支持定制模式识别、 强大的过滤功能、开放且可扩展的设计、接近实时的报警管理、集中式的策略管 理、中央审计日志数据仓库、强大的报表功能、集成其它的e t r u s t 解决方案和 u n i c e n t e r 等【1 0 1 。 2 ) 联想网御安全审计系统 联想网御安全审计系统作为集中的日志审计分析平台，遵循c s c 关联安全 标准，负责收集各类安全设备、网络设备和主机系统的安全日志和安全事件信息， 并进行统一的存储、备份、管理与统计分析，能够协助用户实时监测网络中的安 全攻击，调整安全策略，防范安全风险，从而实现用户网络的整体。其产品优势 3 浙江工商大学硕士研究生学位论文 包括：种类丰富的事件审计、海量可信的日志管理、定义在线分析规则实时告警、 分布式安全审计管理等【l i 】。 3 ) x l o g 网络日志审计系统 华为3 c o m 公司推出了的x 1 , o g 是一种低成本、可扩展的网络日志信息审计 与分析系统，能够与路由器、以太网交换机、b a s 设备等共同组网，完成对n a t 、 f l o w 、d i g 等多种网络日志的采集、并通过聚合、分析与统计，为网络管理员 提供用户行为审计、流量异常监控和网络部署优化的数据基础和决策依据。其产 品特点包括：全面的日志采集、基于x m l 模板的数据分析引擎、灵活的统计分 析、按需定制的报表与审计、可扩展的体系结构【1 2 1 。 4 ) 易恒信日志审计系统 针对企业应用提供审计服务平台，该产品可以广泛的应用于企业应用系统的 审计，为应用系统提供系统管理、数据采集、报表、统计分析和查询等功能。主 要为应用系统提供一个统一的高效管理方案，使系统管理人员从繁重的维护工作 中解脱出来。其技术特点有：采用基于c p k 技术实现数字签名、跨平台，多开 发接口等【1 3 】。 5 ) 安网络卫士日志审计系统t a l 天融信的该日志审计系统主要由日志代理、安全审计中心、日志数据库、审 计系统管理器四个部分组成。其产品特点有：最全面的日志信息采集和管理、全 面丰富的分析报表、多样的相应方式、全面强大的监视功能等，并且技术上采取 多极架构设计、高柔韧性及可靠性的类微内核系统模式、基于s s l 技术安全通 讯、采用x m l 技术实现信息交换等特点【1 4 】。 另外，还有思福迪的l o g s a f t y 系统，以及蓝盾安全审计系统等。 1 2 2 国外产品技术研究现状 1 ) l o g l o g i e 日志管理平台 l o g l o g i e 的解决方案是行业上第一个标准的日志分析管理平台，这种平台化 方式超越了技术本身，它呈现给用户的是理念、技术和服务的完美结合。其产品 特点：即插即用；内部系统、数据和数据库可以自动维护，无需专业人员管理； 快速定位网络故障根源；内置1 , 8 0 0 0 个报表；集成服务器认证【1 5 】【1 6 1 。 4 浙江工商大学硕士研究生学位论文 2 ) r s ae n v i s i o n 管理平台 r s ae n v i s i o n3 合1 日志管理解决方案则完美地解决了海量日志存储保留问 题，并提供了创新性的3 合1 功能：简化合规性；加强安全和消除风险；优化it 和网络运营。其技术特点：采取i p d b 、事件管理器、及预设报表、模板等技术。 其中i p d b 是r s a e n v i s i o n 核心功能。它是是r s a 拥有专利权的新一代智能数 据库，传统的关系型数据库数据在收集效率方面与之相比黯然失色。且在海量和 高效存储的基础上，i p d b 还可确保1 0 0 日志收集不丢失数据【1 7 】。 3 ) a r c s i 妒l o g g e r a r c s i g h tl o g g e r 提供交钥匙式硬件化日志管理解决方案，它可以捕获和分析 所有企业日志数据，同时提供压缩的、低耗高效和自管理的日志存储库。其技 术特点：综合高性能的日志聚合，每台硬件日志采集速度高达每秒7 5 ，0 0 0 ( e p s ) 多条事件；广泛的设备支持，a r c s i g h tl o g g e r 支持从任何原始s y s l o g 或日志文 件源收集数据，其巨大的a r c s i g h ts m a r t c o n n e c t o r s 库，能够从3 5 类1 7 0 多 种不同源中进行优化收集等【1 8 】。 4 ) s e c u r i t ya u d i tl o g 工具 s a pa g 公司的的b cs y s t e ms e r v i c e s 包含提供安全审计日志工具，该工具可 以通过一个设计好的过滤器可以记录s a p 系统中与安全审计有关的行为。尤其 是它能够记录成功或者不成功的r f c 登录信息、r f c 对功能模块的调用、交换 信息、主机和审计配置信息【1 9 1 。 综上所述，作为一种具有先进理念安全防护系统，在市场的强烈需求之下， 国内外市场日志审计系统产品已经非常多，针对不同的精细需求，其具体实现各 有侧重点，往往带有鲜明的针对性。 1 3 本文研究内容及意义 本文主要对日志审计系统中的日志数据采集模块和实时审计中心模块进行 研究。其中研究的主要内容包括日志数据采集技术、同志格式归一化处理技术、 实时审计算法、数据库接口技术和这两个模块间通信安全技术。 本文主要工作如下： _ 针对传统的静态安全防护体系的弊端，秉承系统观思想对日志审计系统 5 浙江工商大学硕士研究生学位论文 的安全环节进行分析，科学的对日志审计系统的整体架构进行规划与设 计、研究。 重点对日志数据采集技术进行研究与实现。针对复杂的日志数据分布和 类型，采用s y s l o g - n g 对协议型进行采集，格式归一化技术处理等手段对 其进行实现。 _重点对日志采集模块与实时审计模块问通信协议和安全问题进行研究。 开发了一套配合s s h 加密的辅助通信协议。 _重点对实时审计分析引擎技术进行研究与实现。通过对b f 算法、b m 算 法、k m p 算法的有机组合，寻求针对日志数据审计的最优轨迹图( b t m ) ， 实现了日志快速匹配。最后，通过正则匹配算法实现了实时审计。 利用o d b c 实现日志数据对m y s q l 数据库的访问，增强了系统的可移 植性。以及对整个日志审计系统进行功能测试和性能测试 本文的主要贡献有两点： 针对分布式系统模块间通信，提出一套通信协议。配合s s h 加密协议时， 通过日志数据文件与协议消息分离的方式，一定程度解决了模块间通信 安全问题。 一针对日志数据实时审计的要求，在现有模式匹配算法的基础上提出针对 日志数据审计最优轨迹图算法。 本文研究的意义如下： _ 从研究本身而言，日志审计系统本身不仅可以为不同的网络设备提供了 统一的事件管理分析平台，还可以提供强大的监控能力，从网络到设备 直至应用系统的监控。在对事件的监控信息的集中及关联分析的基础上， 有效的实现了全网的安全预警和入侵事件事后审计功能。 一 从设计理念而言，秉承系统工程思想，从宏观结构到微观细节，从模块 规划到细节实现，进行全方位、立体化的安全策略考虑，实现系统的一 体化防护能力。提出配合s s h 加密协议使用的模块间通信协议技术。 _ 从关键技术而言，通过模式匹配算法的有机组合，寻求最优轨迹图法对 实时审计引擎进行设计与实现，从而有效的提高了对日志数据审计的快 速匹配算法。 6 浙江工商大学硕士研究生学位论文 一 从本课题组而言，完成了整体系统中数据库以下部分的设计与实现。安 全提供了协议型日志数据；灵活的实现了规则库操作；比较高效的实现 了实时审计。这一切都为进一步研究奠定了基础。 1 4 本文组织结构 本文从同志审计技术来源入手，分析了日志审计系统相关技术，对日志审计 关键技术进行研究，完成了整个事前审计部分研究设计，即日志数据采集模块和 实时审计模块的研究和设计。 本文的正文部分共分为七章，内容安排如下： 第一章介绍了日志审计技术背景。首先对当前网络发展规模、网络威胁程度、 传统技术缺陷及其影响进行介绍。然后详细介绍日志审计技术和产品的国内外研 究现状。最后在此基础上，提出本文的研究意义和组织结构。 第二章介绍了日志审计技术的设计思想和系统模型，然后在此基础上重点介 绍了日志审计系统及其实现需求，最后对其软硬件架构及相关技术进行了综述。 第三章主要研究了日志数据采集的一些相关技术并对其进行实现。首先对日 志数据采集模式、日志数据类型和日志归一化管理技术进行了分析、比较和研究。 然后根据研究的结果对日志数据采集模块的具体实现。 第四章主要研究和实现了实时审计中心的关键技术。首先重点研究了日志匹 配规则算法，并基于主流算法提出最优轨迹图算法。然后，对数据库接口技术进 行研究。最后对实时审计模块进行具体实现。 第五章主要对日志数据采集模块和实时审计模块之间通信进行研究。提出一 套配合s s h 加密解决模块间通信的辅助协议。通过数据通道s s h 加密和协议通 道分离在一定程度保障了安全通信。 第六章主要日志数据采集模块和实时审计模块进行了功能和性能方面的测 试。 最后一章是总结和展望，对全文作了总结，并提出了下一步研究工作的设想 7 浙江工商大学硕士研究生学位论文 2 日志审计系统整体框架设计 夫“不谋全局者不足以谋一域，不谋万世者不足以谋一时”，欲穷日志审计 采集技术和实时审计技术之机理，必先论日志审计系统之大局! 唯其如此，斯可 高屋建瓴，有事半功倍之效! 本章首先品其神之精髓，然后宏论其筋骨架构，最 后述其功能块机理。 2 1 日志审计系统设计思想 日志审计系统设计思想是其框架设计精髓。日志审计系统定位于能够对网络 进行动态实时监控，可通过日志寻找入侵和违规行为，记录网络上发生的一切， 为用户提供取证手段。并且不但能够监视和控制来自外部的入侵，还能够监视来 自内部人员的违规和破坏行动。即不仅要能够对外来入侵具有免疫能力，而且还 要对内具有自省能力! 最后还要对管理员提供一个高效、灵活的管理平台，来整 合网络设备资源，及时定位问题。 若要实现这样一个定位，我们就必须要重新审视日志审计系统所处网络环境 和系统内部环境。当前网络处在一个内忧外患的环境之下，外有“毒魔 侵袭， 病毒肆虐：内有先天发育不足，网络异常脆弱。若要健康成长，必须要自强不息， 勤修“内功”，打造一个安全健康的内环境，构建全面“免疫系统”；方可降“外 魔”，安“内神 ! 然而，网络毕竟不是一个有机的生命体，它是有许多小块的 组合体，若要构建一个健康的内环境，实现安全免疫，单纯地求诸于每一小块的 健康是绝然不会成功! 唯有通过系统的观点，从整体把握，摒弃物理设备的差异 性，从“神”上统一。即任何操作都会在机器上留下日志记录! 这就是我们构建 安全免疫系统一同志审计系统的基础! 同样，在具体的日志审计系统设计时，本文也以系统观为指导，从整体把握， 宏观规划。即把整个日志审计系统视为一个“有机生命体 ，认为它不仅是日志 采集、实时审计、日志存储、事后审计等功能块的简单叠加，而是以这些功能模 块为一个个“生命器官 、以信息通道和模块接口为“血管”、以信息流作为“血 液 的有机生命! 若要保持整个系统的健康安全，作为“有机生命体 的日志审 计系统仅仅单纯的维护“生命器官”的健康是远远不够的! 还应当重视其“血管 8 浙江工商大学硕士研究生学位论立 是否畅通，“血液”是否纯净，“血压”是否过高! 另外，本文还结合了模块化和 层次化管理的思想。即根据系统要实现的功能，把系统按照相对功能独立的原则 进行细分，化整为零，各个击破! 不仅突出了关键模块的重要性，也提高了系统 的通用性和伸缩性。具体而言为了彰显重要“生命器官”，诸如日志采集、实时 审计模块、模块闻通信协议的功能，本文进行了重点研究和改进，通过测试显著 提高了系统性能，增强了日志审计系统作为安全免疫系统的能力l 总之，本文通过系统观，高屋建瓴，从宏观上把握了日志审计系统的定位， 通过系统观和模块化思想具体设计了日志审计系统。 2 2 日志审计系统架构 根据系统思想的指导，本节将对日志审计系统进行整体研究。该部分涉及 日志审计系统部署和日志审计系统的软、硬件架构。并基于此对系统的子模块进 行功能描述。 2 2 1 日志审计系统部署 rr m i 秭一 浙江工商大学硕士研究生学位论文 图2 - 1 日志审计系统典型部署 由于目前网络的复杂性，日志审计系统必须是分布式，跨平台的，通过对网 络设备、服务器、数据库、应用服务等通用计算机软硬件系统以及各种特定业务 系统在运行过程中产生的数据、消息、状态等信息的采集、存储、备份，在实时 分析的基础上，监测并发现各种异常事件，准确发出实时告警。同时，提供对存 储的历史审计数据进行数据挖掘和关联分析，通过可视化的b s 界面和报表向管 理人员提供准确、详尽的统计分析数据和异常分析报告，协助管理人员及时发现 安全漏洞，采取有效措施，提高整个计算机应用系统的安全等级。 如图2 1 所示的日志审计系统典型部署。在该部署中，安全设备区、网络设 备区日志信息通过s y s l o g 方式采集，然后发送到审计系统；应用平台区、内部 办公区的所有日志通过安装代理a g e n t 采集日志并发送审计系统。这样系统不仅 能最大限度地解决i t 管理员阅读海量审计数据的困难，自动统一集中地显示、 分析和备份数据，而且能避免由于管理员疏忽而没有查看关键信息所导致的安全 隐患，甚至可以代替i t 管理员做这项工作，以便可以及时有效的发现预防安全 漏洞，采取有效措施补救，提高安全成效。为了达到整个网络的安全，该部署必 须能够满足以下需求：审计面广，即审计的网络对象资源足够多；审计有效性强， 即定义的规则库和实时审计引擎高效；查询显示方便简单，即报表和显示功能要 非常直观、界面友好。 2 2 2 日志审计系统整体架构 2 2 2 1 日志审计系统硬件结构图 根据日志审计系统的典型体系部署，本小节对其硬件结构进行了如下研究， 如图2 2 所示系统采用三台普通p c 分别构成存储备份中心、分析中心和日志采 集中心。 存储备份中心可对重要的日志数据进行存储备份，并可通过s a n 、f t p 等进行分级备份。 _ 分析中心负责对日志数据进行分析处理，存储数据并对异常数据进行实 时告警等，将分析结果及对用户提交的检索等要求做出反馈，由分析中 心专门处理。 l o 浙江工商大学硕士研究生学位论文 日志采集中心可采集指定服务器的日志数据，保证日志数据的安全可靠。 图2 2e l 志审计系统硬件 2 2 2 2 日志审计系统软件整体结构 日志审计系统软件主要开发内容包括以下6 个模块：数据采集代理、数据采 集中心、实时审计、数据存储中心、统计分析中心、管理中心。系统的工作流程 为：数据采集主机负责数据的采集工作，每个数据采集主机上可以部署一个或者 多个数据采集模块。比如，文件型数据采集模块和协议型数据采集模块，具体取 决于数据采集主机的处理能力。数据采集模块实际上是一个软件实体，所有的数 据采集模块共同组成系统中所谓的数据采集中心。数据采集中心对采集到的各种 数据，需要进行简单的处理，然后通过自定义的辅助通信协议将最新的原始数据 浙江工商大学颂士研究生学位论文 文件交付实时审计系统主机进行审计。数据采集主机交付的最新原始数据文件将 在实时审计系统主机中通过匹配规则进行安全审计，其系统结构如图2 - 3 所示。 这鼍s y s l o gn 川g 吲f 岳文什 l 警 j ；j s l 浙江工商大学硕上研究生学位论文 2 3 日志审计系统子模块概述 日志审计系统的子模块功能是实现整个系统功能的基础，下面本文将对其六 大模块的具体功能进行描述。其中有些模块或者功能在本文中没有研究，但是随 着系统日趋完善，也在研究之列。 1 ) 数据采集代理 数据采集代理负责读取p c 、各种服务应用( w e b 、f t p 等) 、数据库等所 产生的各类数据，然后读取到的数据进行初步的过滤后发送给数据采集中心。为 了全面地对网络状况进行分析，数据采集代理应支持的三种采集方式：文件型的 数据采集方式、基于网络协议的数据采集方式和a p i 型的数据采集方式。 2 ) 数据采集中心 数据采集中心的主要作用是通过自定义的数据采集协议接收、缓存由数据采 集代理提交的各类数据，然后将各类数据转换成统一的数据格式并交付给实时审 计模块进行实时审计。 3 ) 实时审计中心 实时审计中心负责对数据采集中心获取的一些敏感数据信息( 主机性能、网 络流量、应用服务负载) 进行在线分析，发现异常后及时告警通知用户，包括三 个方面的审计： 一 对于常用的统计数据进行实时统计，以减轻审计分析中心的统计分析负 载，提高用户查询分析请求的响应速度。本类数据将发送到数据存储中 心： 一 用户通过管理查询中心设置告警条件，当告警条件被满足时，将产生告 警数据，告警数据一方面要发送到数据存储中心，另一方面告警信息必 须及时通知到相关管理人员； - 实时审计中心运行管理员通过管理查询中心在线设置告警条件，同时告 警条件还将写入实时审计中心的配置文件。 4 ) 数据存储中心 数据采集中心和实时审计中心提交的统一格式的同志数据和告警信息交由 数据存储中心进行统一存储，从而方便管理员的查询和审计分析中心的分析。数 据存储中心应支持文件格式存储和关系数据库存储两种模式。数据存储中心应具 浙江工商大学硕十研究生学位论文 备数据检索及查询，向审计分析中心提供查询服务。 5 ) 审计分析中心 审计分析中心负责对数据的各种事后统计分析服务，生成各类统计分析报 表。 6 ) 管理及查询中心 管理及查询中心的操作对象是来自管理及查询中心负责处理来自管理员的 操作命令如查询、设置过滤条件、修改规则、导入等，并将操作结果反馈给管理 员。最佳的系统设计是将系统划分为三层，分别为：表示层( 用户界面) 、应用 层( 业务层) 、数据层。用户界面的作用主要是捕获用户操作和显示数据，它只 负责用户界面任务。表示层将所有的任务请求交付于业务层。与业务过程相关的 逻辑全部被容纳在业务层内部。 2 4 本章小结 本章主要对日志审计系统整体框架进行设计。首先对日志审计系统的系统 安全思想和模块化思想进行了简单介绍；然后基于这思想提出日志审计系统模型 框架。在本模型框架设计中，我们不仅对其进行了系统部署研究，而且还对系统 的软件架构和硬件结构描述。最后，本章对系统个子模块功能进行介绍，并给出 本文研究的重点模块。 1 4 浙江工商大学硕十研究生学位论文 3 日志数据采集关键技术研究与实现 夫“一年之际在于春，一日之际在于晨 ! 观日志审计系统运作之机理，其 发端始于日志数据采集，其枢纽嵌于实时审计中心，其泱泱大功成于管理平台。 循此理，曰志数据采集模块乃日志审计系统新春之时。其要不言而喻! 本章首先 论日志奇异之态势，然后于技术丛中辨采集方式之优劣，接着齐日志格式于统一， 最后着手构建一个春天的故事日志数据采集技术的实现1 3 1 日志数据分析 作为日志数据的采集前期准备，日志数据分析工作至关重要。在此，本节将 基于日志审计的观点来分析日志、归类日志，从而为日志数据采集方式确定打下 坚实基础。 3 1 1 日志数据特点 日志是指系统所指定对象的某些操作和其操作结果按时间的有序集合。每个 日志文件由日志记录组成，每条日志记录描述了一次单独的系统件。通常情 况下，系统日志是用户可以直接阅读的文本文件，其中包含了一个时间戳和一个 消息或者子系统所特有的其它信，g t 2 0 1 。日志文件为服务器、工作站、防火墙和 应用软件等n 资源相关活动记录必要的、有价值的信息，这对系统监控、查询、 报表和安全审计是十分重要的。 从日志审计角度看，若要进行采集日志，目前主要存在以下问题：存在形式 多样，不容易读懂，由于各系统同志格式不一致，即使大部分系统的日志都以文 本的形式记录，如果不熟悉各类日志格式就很难获取有用的信息；数据量巨大， 通常对外服务产生的日志文件如w e b 服务日志、防火墙日志、入侵检测系统日 志和数据库日志以及各类服务器日志等都很大，一个日志文件一天产生的容量可 多达几十吉比特；格式不一致，不容易获取，由于网络中不同的操作系统、应用 软件、网络设备和服务产生不同的同志文件，即使相同的服务如i t s 也可采用不 同格式的日志文件记录r 志信息。目前国际上还没有形成标准的日志格式，各系 1 5 浙江工商大学硕士研究生学位论文 统开发商和网络设备生产商往往根据各自的m 要制定自己的日志格式，使得不 同系统的日志格式和存储方式有所差别【2 l 】。 3 1 2 日志数据类型 当前网络中的日志可以分为四类：操作系统日志、安全设备日志、网络设备 臼志、应用系统日志。其中操作系统日志包括w i n d o w s 系统日志和l i n u x u n i x 系 统日志；安全设备日志涉及安防设备日志；网络设备日志有交换机和路由器等设 备日志；应用系统日志中主要有w e b 日志中的a p a c h e 日志和i i s 日志【勿。 w i n d o w sn t 2 k x p 的系统日志文件有应用程序日志、安全日志和系统日志 等，日志默认位置在s y s t i e r 如o t 沁y s t e i i l 3 2 c o 瓶g 目录下。w i n d o w s 是使用一 种特殊的格式存放它的日志文件，这种格式的文件通常只可以通过事件查看器 e v e n tv i e w e r 读取。在l i n u x u n i x 系统中，有三个主要的日志子系统：连接 时间日志、进程统计同志和错误日志。错误日志由s y s l o g d ( 8 ) 执行。各种系统守 护进程、用户程序和内核通过s y s l o g 向文件v a r l o g m e s s a g e s 报告值得注意的事 件。 安全设备日志主要是指防火墙，入侵检测系统等网络安全设备产生的日志。 这部分日志格式没有统一标准。目前，国内多数防火墙支持w e l f ( w e bt r e n d s e n h a n c e dl o gf o r m a t ) 的日志格式，而多数入侵检测系统的日志兼容s n o r t 产生日 志格式【2 3 】。 网络设备日志是指网络中交换机、路由器等网络设备产生的日志，这些设备 日志通常遵循r f c 3 1 6 4 ( t h e b s ds y s l o gp r o t o c 0 1 ) 规定的日志格式，可以通过 s y s l o g d 实现方便的转发和处理。一个典型的s y s l o g 记录包括生成该记录的进程 名字、文本信息、设备和优先级范围等。 应用系统日志包含由各种应用程序记录的事件。它们由应用系统的程序开发 员决定记录哪一些事件。通常w e b 应用程序日志是系统管理员最关心的应用系 统日志之一。它主要包括a p a c e 日志和i i s 日志。其中a p a c h e 日志记录a p a c e 服务器处理的所有请求和出错信息，它支持普通记录格式( c o m m o n l o gf o r m a t ) 和组合记录格式( c o m b i n e dl o gf o r m a t ) 。i i s 日志文件记录了所有访问i i s 服务 程序的信息，i i s 日志文件一般位于如下路径：s y s t e r m o o t k s y s t e m 3 2 l o g - f i l e s 。 1 6 浙江工商大学硕上研究生学位论文 i i s 支持“w 3 c 扩充日志文件格式”、“n c s a 通用同志格式 和“o d b c 数据 库日志格式【2 3 1 。 3 2 日志数据采集方式 针对日志采集数据量大，种类多以及不易获取及日志审计系统部署具有分布 式的特点，本文采用由各个代理独立采集，再由系统平台统一管理的模式。这样 不仅可以增加系统中各个代理采集的灵活性，而且有利于系统的可扩展性以及集 成能力提高。如图3 1 所示： 图3 - 1 日志采集模式图 它一个典型的c l i e n t s e r v e r 模式，包括一个日志采集中心和多个日志采集代 理，每一个日志采集代理作为一个客户存在。在采集授权之前，日志采集代理就 已经存在被采集日志的设备里，当与日志自采集中心认证完毕后就开始工作；同 时，日志采集中心开辟一个单独的线程来维持与认证的代理通信。由于两者存在 于不同的客体，彼此之间的通信安全将是系统安全的重大隐患，在本文里，我们 采用私有辅助通信协议以及s s h 加密技术实现通信安全。 下面我们在日志采集模式的基础上，对每个采集代理上具体的日志数据采集 方式进行研究。由于日志采集代理要实现全面的日志数据采集，它必须支持安全 设备( 如防火墙，i d s 、a v 等) 、网络设备( 如r o u t e r 、s w i t c h ) 、应用系统( 如 w e b 、m a i l 、邱、d a t a b a s e ) 、操作系统( 如w i n d o w s 、l i n u x 、u n i x ) 等多种 产品及系统的日志数据的采集和分析。然而，结合前文分析当前各类设备的日志 格式不一致的客观现实，我们有必要对日志进行分类采集，通过不同的采集技术 获取不同类型的日志。 1 7 浙江工商大学硕士研究生学位论文 当前网络管理中常用的采集日志数据的方式包括文本方式采集、s n m pt r a p 方式采集和s y s l o g 方式采集，以及其它采集方式，如t e l n e t 采集( 远程控制命 令采集) 、串口采集等。下面对当前主要的日志数据采集技术进行分析比较。 3 2 1 文件型日志采集 文件型日志采集是指，在以文本方式采集日志数据。它主要包括两种方式： 邮件和f t p 。邮件方式是一种被动采集日志数据方式，它是通过在安全设备内设 定报警或通知条件，若有符合条件的事件发生时，相关情况被一一记录下来，然 后在某一时间由安全设备或系统主动地将这些日志信息以邮件形式发给邮件接 受者。在这个过程中，日志信息通常是以文本方式传送，传送的信息量相对少且 需专业人员才能看懂。而f t p 方式则恰恰相反，它是一种主动采集日志数据方 式，必须事先开发特定的采集程序进行日志数据采集，每次连接都是完整下载整 个日志文本文件，并且网络传输数据量可能非常大。比如，网络中的一些应用程 序日志包含丰富的记录事件，在收集这一类日志时通常采取文件型采集方式。常 见的a p a c h e 的w e b 访问同志、f t p 的访问日志等，都是以文件形式存在。对于 这种日志，日志采集代理应通过本机的文件访问或者h t t p