（通信与信息系统专业论文）新型分布式防火墙——日志与审计系统的设计与实现.pdf

电子科技大学硕士研究生毕业论文 学科专业；通信与信息系统 论文题目： 硕士生：舒朗 摘要 颠型分布式防火墙 日志与审计系统的设计与实现 导师：王蔚然教授 随着i n t e m e t 的急剧发展，网络安全问题格外突出，信产部基金课题“新型 分布式防火墙”拟针对这一实际问题，提出了一整套完整解决方案。其目标是建 立一套集防火墙、入侵检测、策略中心、日志服务器为一体的安全防护体系。 作为分布式防火墙中主要模块之一的日志服务器，它有别于传统意义边界防 火墙的日志系统，其主要作用有：接收、处理、存储来自内网受保护主机与边界 主机上传的日志信息：审计与监测异常行为，防止用户越权使用；基于日志分析 的统计入侵检测并发现来自外部或内部的入侵行为以便通过策略中心加以阻击 等。它的设计与实现关系着分布式防火墙地整体架构与性能。 本论文的课题是对分布式防火墙系统中的日志服务器进行研究、设计并实现 其功能，并研究其与策略服务器、主机防火墙、边界防火墙等模块一起构造完整 的分布式防火墙安全防御体系。 首先本文陈述了防火墙、数据库、入侵检测、s s l 加密通讯、多线程、安全 联动等相关技术基础。接着叙述分布式防火墙系统的整体框架、本质特征以及工 作流程等。 然后讨论日志服务器模块的总体设计方案与结构。并从其划分的几个关键模 块：日志程序初始化、数据采集、审计系统、基于日志分析的统计入侵检测与日 志模块安装等分别论述了设计过程，给出了具体实现方案、数据处理流程、函数 原型及相关说明等。 论文最后详细描叙了测试结果和性能分析，并在现有基础上对今后的扩展与 开发进行了展望。 【关键词】：网络安全、分布式防火墙、日志系统、统计入侵检测 第1 页 电子科技大学硕士研究生毕业论文 a b s t r a c t m a j o rs u b j e c t ：c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m s u b j e c t ： r e s m r e ho nan e w t y p e o f d i s t r i b u t e df i r e w a b t e c h n o l o g yd e s i g na n d i m p l e m e n to f t h el o ga n d a u d i t s y s t e m m a s t e rc a n d i d a t e ：s h nl a n g t u t o r ：p r o f w a n gw e i r , m w i t ht h er a p i dd e v e l o p m e n to ft h ei n t e r n e t t h ep r o b l e mo fn e t w o r ks e c u r i t yi s o u t s t a n d i n gi n c r e a s i n g l y t h en e wt y p eo f t h ed i s t r i b u t e df i r e w a l lw h i c h i st h ep r o j e c t o f m i n i s t r yo fi n f o r m a t i o ni n d u s t r y , g i v e sas o l u t i o nt ot h ep r o b l e m s t h ep u r p o s eo f t h ep r o j e c ti st of o u n das y s t e mt h a ti sb a s e do nt h ed i s t r i b u t e df i m w a u ，i n c l u d i n g f i m w a l l ，i n t r u s i o nd e t e 吐p o l i c y c e n t e ra n d l o gs e w e r , a sam a i nm o d u l eo ft h ed i s t r i b u t e df i r c w a l l ，t h el o gs e r v e r ，w h i c hi sd i f f e r e n t f r o m l o gs y s t e mo f t r a d i t i o np e r i m e t e rf n - e w a l l ，h a st h ef o l l o w i n gf u n c t i o n s ：r e c e i v i n g ， d i s p o s i n ga n ds a v i n gl o gi n f o r m a t i o nw h i c hu p l o a d e db yi n n e rh o s ta n db o u n d a r y f i r e w a l l ；a u d i t i n ga n di n s p e c t i n ga b n o r m a la c t i o n s ；p r e v e n t i n g u s e r sf r o mg o i n g b e y o n dt h e i r c o m m i s s i o nu s e s ；s t a t i s t i c a li d sb a s e do nl o ga n a l y s i s ；f i n d i n go u t i n v a s i o nb e h a v i o r st h a tc o m e sf r o mi n s i d eo ro u t s i d ea n db l o c kt h e mt h _ r n u g ht a c t i c s c e n t e r i t sd e s i g na n dr e a l i z a t i o na r er e l a t e dt ot h ew h o l ef r a m e w o r ka n dp e r f o r m a n c e o f d i s t r i b u t e df i r e w a l l t h e p u r p o s eo f t h i sp a p e ri st os t u d ya n dd e s i g nt h el o gs e r v e ri nt h es y s t e mo f d i s t r i b u t e df i r ew a l l ，a n dr e a l i z ei t sf u n c t i o n ，t oc a r r yo nt h er e s e a r c hi n t oh o w p o l i c y c e n t e r , h o s tf i r c w a l l ，p e r i m e t e rf i r e w a l la n ds o m eo t h e rm o d u l e sf o r mc o m p l e t e d d i s t r i b u t e ds a f ed e f e n s es y s t e mw i t hi t f i r s t l y , t h i sp a p e rs t a t e st h et h e o r e t i c a lf o u n d m i o no f t h et e c h n o l o g yo ff i r e w a l l ， d a t a b a s e ，i d st e c h n o l o g y , t h ee n c r y p tc o m m u n i c a t i o nt e c h n o l o g yo fs s l a n ds o m e r e l e v a n tt e c h n o l o g i e s a n dt h e ni t d e e p l ya n a l y z e st h ew h o l ef r a m e w o r k ，e s s e n t i a l c h a r a c t e r i s t i ca n d p r o c e d u r e o f t h ed i s t r i b u t e df i r e w a l ls y s t e m t h i st h e s i sm a i n l ys t u d i e st h eo v e r a l ld e s i g np l a na n ds y s t e ms t r u c t u r eo fl o g s e r v e r m o d u l e , s e p a r a t e l y d i s c u s s e st h es e v e r a lk e ym o d u l e sw h i c hd i v i d e db ys y s t e m s t r u c t u r e ：i n i t i a l i z i n go fl o gp r o g r a m ，d a t aa c q u i r e ，a u d i ts y s t e m ，s t a t i s t i c a li d s b a s e d o nl o ga n a l y s i sa n dt h es e t u po f l o gm o d u l e ，e t e ，a n dp r o v i d e st h ec o n c r e t es c h e m e ， d a t ap r o c e s s i n g p r o c e d u r e ，f u n c t i o np r o t o t y p e a n dr e l e v a n td e s c r i p t i o n 第1 t 页 电子科技大学硕士研究生毕业论文 f i n a l l y , i l l u s t r a t i n g t h et e s tr e s u l ta n d p e r f o r m a n c ea n a l y s i s o ft h i s1 e w t e c h n o l o g yi nd e t a i l s ，t h ep a p e r l o o k sf o r w a r dt ot h ee x p a n s i o na n dd e v e l o p m e n to fi t i nt h ef u t u r eo nt h ee x i s t i n gf o u n d a t i o n 【k e yw o r d s l ：n e t w o r ks e c u r i t y , d i s t r i b u t e df i r e w a h ，l o gs y s t e m ， 第1 l i 页 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名： 丝! 盟日期：州年j 1 月叫日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：丛! 艇导师签名： 2 兹缈 日期：w 哆年r 月t j 日 电子科技大学硕士研究生毕业论文 第一章绪论 1 1 分布式防火墙国内外研究情况 分布式防火墙的理论虽然才提出不久，但由于它相对于传统防火墙的优点、 面向企业用户的特点以及客户对安全的更高的需求，现在国内外的厂商都有少量 不太成熟的软硬件产品问世。目前总的来说国外的一些著名网络设备开发商在分 布式防火墙技术方面更加先进，所提供的产品性能也比较高，采用”软件+ 硬件” 形式。主机防火墙集成了分布式防火墙技术的硬件产品，而防火墙服务器则采用 软件形式，以适应更加灵活和高智能的要求，如3 c o m 、c i s c o 、美国网络安全 系统公司的嵌入式防火墙产品。3 c o m 最新发布的嵌入式防火墙是一种基于硬件 的分布式防火墙解决方案，它们被嵌入到网卡中，通过嵌入式防火墙策略服务器 来实现集中管理。这种嵌入式防火墙技术把硬件解决方案的强健性和集中管理式 软件解决方案的灵活性结合在一起，从而提供了分布式防火墙技术，并创建了一 种更完善的安全基础架构。不过也有许多是以纯软件形式提供的，如中洲的网警 ( n c t c o p ) 分布式防火墙等。 在国内市场中，占有优势的仍旧为国外的防火墙产品，c h e c k p o i n t f i r e w a l l1 防火墙、c i s c op i x 防火墙、n e t s c r e e n 防火墙等在产品功能和质量方面的优势 使得许多大型客户纷纷采用。国内较有名的品牌有安软的e v e r l i n k 分布式防火墙 系统、东大阿尔派的网眼等。 目前分布式防火墙的研究虽然已经有了少量商业产品，但总体上说还属于起 步阶段，无论从体系结构，运行布置方式，管理手段，以及与其他安全设备的关 联上离技术成熟还有很大的差距。随着黑客技术和黑客攻击手段的不断更新，传 统意义上的有着异常重要作用的防火墙的安全能力却显得相对不足。从市场提供 的商业防火墙品牌来看，国夕 一些著名厂家往往是采用专用的操作系统，自行 设计防火墙。而国内所有厂家所采用的操作系统系统都是基于通用的l i n u x 。各 厂家的区别仅仅在于对l i n u x 系统本身和防火墙部分( 2 2 内核为i p c h a i n s ，2 4 以后内核为网络底层开发结构n e t f jj t e r ) 所作的改动量有多大。所以当前防火 墙产品多有各自的缺陷，只有进行深入的防火墙结构、技术的研究，才能从根本 上解决这一问题。从技术的理论上来讲，防火墙属于最底层的网络安全技术，而 且随着网络安全技术的发展，现在的防火墙已经成为一种更为先进和复杂的基于 应用层的网关。然而，仅仅使用网关级防火墙保障网络安全是远远不够的。 分布式防火墙与传统的边界防火墙相比有以下优点：1 内外兼顾，可以提 第l 页 电子科技大学硕士研究生毕业论文 供更高的安全性；2 配置灵活，适用性强；3 便于集中管理；4 提供多层次的纵 深形的防护体系。 1 2 课题来源及意义 课题的来源为信息产业部电子发展基金资助的项目，项目的目标是在新型分 布式防火墙的结构与技术的研究领域中做一些有益的探索和开发工作。我们希望 能在课题组已有前期防火墙开发( 深圳桑达s e d 2 0 0 0 防火墙) 的基础上，实现 一些新型分布式防火墙的实现技术，融合状态包过滤技术、入侵检测技术、入侵 防御技术、开放式网络管理平台等技术形成全方位多层次的新型网络防御体系， 并将这一新兴的技术转化为产品。本课题旨在开发完成一个独立的网络安全软件 产品，可以为国内众多的网络用户提供功能强大的网络安全防护，其在整个新 型分布式防火墙项目中，作为一个核心模块，实现日志服务器的功能。分布式 防火墙系统是未来防火墙系统的发展方向，将为用户提供全面的安全防护。本课 题的开展和实施为确保分布式防火墙的开发成功奠定了坚实的基础。 1 3 课题的目标和任务 本课题的目标是完成信产部项目新型分布式防火墙系统中的日志服务器模 块，与其它模块( 策略服务器模块、主机防火墙模块和边界防火墙模块) 协同工 作，最后能达到商业化产品的标准。 课题要求的基本功能如下： 一、设计分布式防火墙日志服务器的总体结构； 二、 实现对整个网络日志信息的采集与加工等功能； 三、实现对数据库的相关管理功能； 四、实现对整个网络日志信息的审计功能： 五、基于日志分析的统计入侵检测( i d s ) 的实现： 六、日志模块与其它各模块之间的加密传输； 七、入侵检测和策略中心、边界防火墙、主机防火墙之间的联动过程； 八、用户身份鉴别； 九、日志模块安装： 十、联调和测试。 第2 页 电子科技大学硕士研究生毕业论文 因此，本课题主要任务是对现有的一般防火墙目志系统进行研究，掌握分布 式防火墙日志服务器的特点，在此基础上实现分布式防火墙日志服务器的设计， 使其具有一般防火墙的日志审计功能，同时具有基于日志分析的统计入侵检测、 报警联动、日志接收等功能，在报警联动和日志接收时，要求使用加密通讯的方 式避免引入新的攻击源；并且要注意软件性髓，确保安装本软件之后不对主机系 统整体性能有大的影响。并为以后分布式防火墙系统提供良好的接1 3 ；力求最终 使整体性能指标达到国内领先水平。 本课题由笔者独立承担，完成对应的全部工作。 第3 页 电子科技大学硕士研究生毕业论文 第二章相关技术基础 2 1 防火墙的概念和原理 防火墙【2 】是通过提供访问控制服务来实现对网络和受保护主机的网络安全 肪护的，防火墙技术应该结合入侵检测功能和防木马等技术，提供给用户更高的 网络安全性。防火墙是一种网络安全软件，作为一个应用程序或者服务，运行在 受保护的主机上，为主机提供网络安全保护。其主要手段是分析主机操作系统网 络协议架构，在适当的位置插入拦截点，所有的网络数据包通讯都要经过这些拦 截点。再按照根据从策略服务器传来的安全策略制定的过滤规则( 访问控制规则) 对经过拦截点的网络信息流进行监控和审查，过滤掉任何不符合安全规则的信 息，以保护生机不受外界的非法访问和攻击。 对于主机防火墙来讲，主机以外的网络都是不可信的，而不像传统边界防火 墙那样信任内两、防御外网。在制定安全策略的时候可以针对内部网络和外部网 络确定不同的过滤规刚，但本质上，内部网络和外部网络是平等的，都要进行防 御。 2 2 分布式防火墙中日志分析原理 随着i n t e r n e t 的飞速发展和电子商务的目益普及，网络安全和信息安全问 题日益突出，各类黑客攻击事件更是层出不穷，而相应发展起来的安全防护措施 也日益增多，特别是防火墙技术与入侵检测技术更是成为大家关注的焦点。但这 两者都有自己的局限性，在这种情况下，基于网络日志的安全审计系统孕育而生。 防火墙日志审计服务器田是辅助网络安全管理人员全面掌握网络安全状况并衡 量防火墙性能和作用的重要手段。 网络上的安全审计系统刚刚起步，尚处在探索阶段，其审计重点也在网络的 访问行为和网络中的各种数据上尽管传统豹安全审计理论已发展得较为完备， 包括对各种安全策略的确定、安全审计标准、安全审计等级划分、安全相关事件 的确定等方面，且目前主流的操作系统，均有自己较为完善的安全审计机制。而 利用系统日志进行安全审计分析的思想，早在1 9 8 0 年a n d e r s o n 的论文中就已提 出。 由于日志服务器日志记录了数据接收请求以及运行状态的各种原始信息，因 此可以利用日志服务器的日志来进行安全审计分析通过对日志服务器日志记录 燕4 页 电于科技大学硕士研究生毕业论文 信息的统计、分析、与综合，就能有效地掌握整个网络的运行状况，诊断差错事 故、了解访问分布等，加强系统的维护和管理目前常用的服务器常用的有h t t p 、 t c p 等对于不同的应用程序，日志件的记录格式大致类似，但也不尽相同同 时，日志文件的格式也可以自己定义，但要遵循定规则下面是一个日志文件 的一部分： s r c i p ：1 9 2 1 6 8 0 i 2 0 ：s r cp o r t ：8 0 id e t i p ：1 9 2 1 6 8 0 2 0 ：d s t - p o r t ：8 0 ： t i m e ：2 0 0 4 2 3 1 0 ：1 0 ：2 0 ：p r o t o c o l ：h t t p ： 从上面的日志文件可看出这个文件记录了访问的i p 地址、访问发生的时 间、应用层协议等信息从臼志文件提供的信息中对访问时间段、访问请求i p 、 状态、等信息进行统计和分析，就可以对整个网络有一个数字化、精确的认识。 2 3 数据库概述 日志服务器的核心是对历史数据的保存。对数据的储存可以通过写本地文本 方式或者是直接选择专业数据库进行规范的保存两种方式，写本地文本方式适用 于少量的数据情况，而对于大量数据的情况就必须选择专业的数据库来进行处 理。数据库处理往往是应用程序中最耗时的步骤之一，如何有效的去对数据库进 行合理的设计，减少数据库的处理时间就显得尤为必要。 2 3 1 数据库应用结构模型 数据库的应用【6 】由用户接口元素、代表数据库信息( 数据集) 的组件、连接 多个用户接口元素的组件以及将用户接口元素连接至数据源的组件组成。如何组 织这些部件，就构成了用户数据库应用程序的结构。在一个应用中，用户可以视 情况组合两种或者更多中可用的结构，从而使应用程序的功能更为强大。 在数据库应用中，有许多组件组织方式，大部分如( 图2 - 1 ) ： 蓁5 页 电子科技大学硕士研究生毕业论文 图2 - 1 教据厍应用结构 把用户接口与数据库应用程序的其他部分分离开来，可以赋予应用设计更大 的灵活性，例如可以改变管理数据库信息的方式而不需要重写用户接口，或者可 以改变用户接口而不需要改变应用中与数据库交互的部分，以及开发可供多个应 用程序共享的统一用户接口等。已设计好的用户接口窗体可以存储在对象库中， 以备其他应用程序共享与重用。 在将用户接口分离出来之后，用户就可以使用一个数据模块，把代表数据库 信息( 数据集) 的组件以及将这些数据集与应用程序其他部分连接起来的组件包 容起来。与用户接口窗体一样，数据模块也可蛆存储在对象库中供其他应用程序 共享与重用。如图所示，数据模块包容了数据源、数据表以及数据连接。数据源 充当沟通用户接口与数据集的桥梁，用户接口窗体中的若干数据感知控制组件可 以共享一个单独的数据源，这种情况下每个控制组件的数据显示是同步的。因此 当用户滚动记录时，当前记录各个字段的值就会在每个控制组件中显示出来。数 据集是数据库应用的核心，该组件代表了正在使用数据库中的一个记录集合，这 些记录可以来自一个单独的数据库表，也可以来自多个表连接而成的单个视图。 不同类型的数据集使用不同的机制与正在使用的数据库信息相连接，正是这些不 同的机制构成了数据库应用的结构的主要区别。 k y l i x 提供了对客户端数据集( c l i e n t d a t a s e t s ) 与单向数据集( u n i d e r e c t i o n a l d a t a s e t s ) 两种类型数据集的支持。 客户端数据集将数据缓冲于内存，因此用户可以更加容易地导航记录以及对 第6 页 电子科技太学硕士研究生毕业论文 数据执行各种操作( 如筛选记录等) 。客户端数据集支持将高速缓存中的修改信 息写回正在使用的数据库。客户端数据集有一般客户端数据集与s q l 客户端数 据集两种，一般客户端数据集可以通过直接操作本地磁盘的文件，连接至同一数 据模块中的另一个数据集或者连接至位于另一台机器的应用服务器等方式来访 问数据。s q l 客户端数据集则可以通过直接操作存储在本地磁盘的文件或者连 接至数据库服务器的方式来访闯数据。 单向数据集可以读取由s q l 查询或者是存储过程返回的数据。单向数据集 不缓冲数据，因此它们不如客户数据端数据集灵活。单向数据集中，导航记录的 唯一方法就是按照s q l 查询查询中的o r d e r b y 子句指定的序重复，并且用户 无法使用单向数据集来更新数据。但是单向数据集提供了对数据库服务器信息的 快速访问，并能表示客户端数据集更大的数据集合。单向数据集通常使用s q l 连接组件来获取数据。 2 3 2 数据库溪接池基本原理 传统的数攒库连接方式( 搔邋过d r l v e r m a n a g e r 和基本实现d a t a s o u r c e 进行连接) 中，一个数掇库连接对象均对应一个物理数据库连接，数据库连接的 建立驻殿关闭对系统而富是耗费系统资源的操伟，在多艨结构酶应用程膨环境中 这种耗费资源的动作对累统的性能影响龙为明显。 在多层结构的应用糕序中通过连接池( c o n n e c t i o np o o l i n g ) 技术可以使 系统的燃能明显得到提剡，连接激意味整当应用程序嚣娶调用一个数据霹连接的 时，数据库相关的接日通过返回一个通道重用数据库连接来代替麓新创建一个数 据库连接。通过这种方式，应用程序可以减少对数据库递接操作，尤其在多层环 辘中多个客户端w 良逶避共享少蠢豹街壤数据席连接来满足系统需求。遴过连接 池技术1 a v a 应用程序不仅可以提高系统性能同时也为系统提高了可测纛性。 数舔库连接池是运彳子在后台的而且成用程序静编礴没有任何的影响。此中状 况存在的前提鼹应用程序必须通过d a t a s o u r c e 对象的方式代替原有通过 d r i v e r m a n a g e r 类来获得数据痒连接的方式。一个实现s q l d a t a s o u r c e 接口 的类可以支持也可以不支持数据库连接溅，但是两者获得数据库连接的代码基本 建相丽静。代礴如下； 一个d a t a s o u r c e 对象通常注册农命名服务上，应蠲程序w 以通道标准的 方式获褥至注翡在服务上的d a t a s o u r c e 对象。 c o n t e x tc t x = n e w i n l t i a c o n t e x ( ) ； 第7 熨 电子科技丈学硕士研究生毕业论文 d a t a s o u r c ed s = ( d a t a s o u r c e ) c t x 。l o o k u p ( ”o p e n b a s e ”) ； 如果当前d a t a s o u r c e 不支持数据库连接池，应用程序将获得一个和物理 数据库连接对应的c o n n e c t i o n 对象。而如果当前的d a t a s o u r c e 对象支持数 据库连接池，应用程序自动获得重用的数据库连接而不用创建新的数据库连接。 重用的数据库连接和新建立连接的数据库连接使用上没有任何不同。应用程序可 以通过重用的连接正常的访问数据库，进行访问数据的操作，完成操作后应显式 的调用c l o s e 关闭数据库连接。 当关闭数据连接后，当前使用的数据库连接将不会被物理关闭，而是放回到 数据库连接池中进行重用。 2 3 3 数据库d b e x p r e s s 技术原理 b o r l a n d 公霹在攫出k y l 投3 射便附带了数据黪萼| 擎b d e 。下鬟我 | 3 毙撼萃了 解一下d b e x p r e s s 。 b o r l a n d 公司黪发d b e x 艄s 瓣重要骥由之一疆是实璃跨孚螽。在w m d o w s 下，数据库访问裔b d e ，a d o ，o d b c 等，在l i n u x 下，没有相应的标准数据 瘁孳l 擎露 ：乏使舞，程枣曼必须妻羧裁a p i 季交道。b o r l a n d 公司予是在f i r e h o s e 技术基础上，开发出一套跨平台的标准数据库访问引擎，程序员程w i n d o w s 和 l i n 馘下郝可班健用月样黢方式采访阉数据库。d b e x p r e s s 是一缎轻便的数据库 驱动，这赡数据库驱动掇供了对s q l 数据库服务器的快速访问。具体的说， d b e x p r e s s 定义了访趣备释s q l 激务器鞠公共接嚣，它为所支持黔每耱鼹务器 都提供一个对应的驱动( 实现公熬d b e x p r e s s 接唰的独立岸，在l i n u x 平台以共 享对象文传形式存在，在w i n d o w s 平台上则以动i 基连接摩形式存在) ，基予特定 数据库服务器的成用软件研通过改驱动提供的统一d b e x p r e s s 接口实现对数据 库服务器的访问。 d b e x p r e s s 被设计成快速、轻使和易予使用，它很少参与数据处理，丽是主 要作为数撼痒服务器客户端软件的个封装层。它具有公袋豹a p i 的优点，同时 又没有一个数据库引擎所带来的歼销，比如d b e x p r e s s 驱动仅返回单向指针并且 不缓冲数探或者元数据等。通过保持小蔼蕊单豹核心数据谵阀层，d b e x p r e s s 提 供了能够轻易适_ 敝新数据源的高性能数据霹连接。d b e x p r e s s 提供了高效的数据 存敷模式，它只提供单向浆游标，没有任何缓冲机铡，这样一次只艇提供笔数 据，并且不能向届存取数据，也就怒数据访问后，数据库弓f 擎不保存诧访问的任 何状态。这样当然是最快的方式。 第8 燕 电子科技丈学硕士研究生毕业论文 2 4 多线程技术基础 多线程i s 是相对于单线程而产生的，多线程的含义是将程序任务分成几个并 行的子任务。在c s ( 客户端与服务器端) 模式下服务器端如何去降低内存开销， 减少相互操作的时间等待，避免程序死锁，增加处理能力，就有必要引入多线程 的处理方法，每个客户端连接都可以是一个线程，具有独立运作的能力，各线程 之间互不影响。日志服务器在c s 模式中作为服务器端需要通过和每个上传客 户端主机建立t c p 连接来完成日志信息的接收，由以上可知采用多线程的方式进 行数据处理能够对应用程序进行优化。执行多线程技术有以下优越性： ( 1 ) 快速的关联切换。由于操作系统级的进程独占自己的虚地址空间，调度 进程时，系统必须交换地址空间，因而进程切换时间长。在同一程序内的多个线 程共享同一地址空间，因而能使线程快速切换。例如，1 0 个进程，每个进程1 0 个线程的系统与1 0 0 个进程，每个进程1 个线程的系统相比，前者的运行速度要 快于后者。 ( 2 ) 系统额外开销小。对多个进程的管理( 创建、调度等) 有比较大的系统开 销。在需要动态创建新进程的应用中，比如响应于每个客户的请求而建立一个新 的服务进程的服务器应用程序中，这种开销比较显著。而对线程的管理虽然也会 有系统开销，但比进程的小得多。 ( 3 ) 通信很容易实现。为了实现协作，进程或线程之间需要进行数据交换。 对于自动共享同一地址空间的各线程来说，所有的全局数据都可以访问，因而不 需要什么特殊手段就能自动实现数据共享。而进程之间的通信则要复杂得多。 ( 4 ) 线程个数比进程个数多得多。许多多任务操作系统限制用户进程总数， 如不少u n i x 版本的典型值为4 0 1 0 0 ，这对许多并发应用来说远远不够。在多 线程系统中，虽存在线程总数限额，但个数多得多( 0 s 2 支持4 0 9 6 个线程) 。 2 5 入侵检测技术基础 2 5 。入覆捡溅技零撅述 入侵检测技术1 7 1 是农8 0 年代提出米的。入侵捡测技术的提毖被认为是一秽 解决网络安全行之有效的方法。计算机网络中不可能存在绝对安全的系统，而鼠 网络安全的提黼，必然袋求昂爨的代价。但引入入侵检测技术，可实现在不花费 很大代价的前提下，实时检测网络入侵行为。入侵检溅技术基予入侵者的攻击杼 薰9 蔓 电子科技大学硕士研究生毕业论文 为与仓法用户的正常行为有着明显的不同，实现对入侵行为的检测和告警，以及 对1 看的跟踪定位和行为取证。入侵检测系统的确起到了对入侵者的震慑作 用。入侵检测不仅可以检测外部入侵，而且对内部的滥用行为也有很好的检测能 力。它主要识别非授权非法用户和授权滥用的合法用户，可检测非授权对系统文 件的修改、非授权对用户文件和信息的修改、非授权对网络组件中的表信息和其 它资源的修改、非授权对计算机资源的使用等。 从入侵检测概念的出现到现在，入侵检测系统经历了三代。早期的入侵检测 系统就是集成在操作系统中，通过事后处理审计日志来发现攻击行为。第二代入 侵检测系统在1 9 8 7 年d e n n i n g 的论文 a n i n t r u s i o n d e t e c t i o n m o d e l 。”中提出的， 它是基于主机的系统，实现方法的灵活性使检测的质量有较大的提高，典型代表 有t r i p w i r e 、s e l f - n o n s e l f n i d e s 、p a t t e r nm a t c h i n g 、m i d a s 和s t a t 等。第三 代系统采用了第二代的基本概念，在网络上扩展，基于多主机的系统，包括d i d s 、 n a d i r 、n s l ：f 盯、g r i d s 、e m e r a l d 等。 现已形成系列产品，如s k i 的i d e s 、n i d e s ，i s s 的r e a l s e c u r e ，a b i m e l 静s e s s i o i l 濑l l ，i b m 鹣i e r s ，c i s c o 公司懿n e t r a n g e r ，n e t w o r ka s s o c i a t e s 公 司的c y b e r c o p ，i n t r u s i o nd e t e c t i o n 公司的k a t i es e c u r i t ym o n i t o r ，a n z e n 的n f r 等。总起来说，虽蒸入侵检溺技术基发震了2 0 多年，缀由于麓滚度较犬，褒蠢 的入侵检测系统仍然不谚成熟，入侵检测系统的快速性和准确蚀仍然存在问题。 涟着黑密入侵警羧蠡奄褥蹇，龙箕楚巧氆绝大之手实藏联合攻壹瓣方法爨现，传统 单一的、缺乏协作的入侵检测技术已经不能满足需求，分布协同的入侵检测技术 残蔻当今入授稔溅鼓零矮竣静醪究熬煮。 依据c o m m o ni n f u s i o nd e t e c t i o nf r a m e w o r k ( c i d f ) 给出的入侵检测系统的 般攘鍪，溪麓瓣i d s 胃爨划分隽嚣今凌能模块，它钓是事襻产生器( e v e n t g e n e r a t o r s ) ，事件分析器( e v e n ta n a l y z e r s ) ，事件数据库( e v e n td a t a b a s e ) 和响应单 元( r e s p o n s eu n i t s ) 。各缀锌之鞫逶过游惫黄递逡孬逶蘩。翔疆l2 - 2 ) 溪承。 事件源( e - b o x ) 收集入侵检测事件，并向i d s 其他部件掇供事件，是i d s 懿信惠滚。事箨包含麓麓嚣禳广泛，螽霹双是赢层鼹络溪动，还霹鞋是系统调藤 等系统信息，从中可分析出入侵的迹象。事件的质量与数量对i d s 性能的影响 粳大，决定这两令参数戆是事移产生嚣鹪穗瘟速发专事 串采集蠢或。 分析器( 鼢b o x ) 对输入的搴件进行分析以检测是番构成入侵。许多i d s 的 研究都集中子翔侮箍高入侵检灞的能力，包括撬嵩已熊入侵谖甏静准确馁戳及撬 高发现米知入侵的概率。 事佟数据库( d b o x ) e - b o x e s 和a 由o x e s 产生大麓的数撵，这些数据登须 第l # 嚣 电子科技大学硕士研究生毕业论文 被妥善地存储，以备将来的使用。d b o x 的功能就是存储和管理这些数据，用于 i d s 的训练和保存证据。 响应器( c b o x ) 对入侵发出响应，包括向管理员发出警告，切断入侵连接， 根除入侵者留下的后门以及数据恢复等。 2 5 2 入侵检测的分类 图2 - 2 入侵检测的c i d f 模型 根据着暇点不同，对入侵检测分类方法材很多。根据数攒分析方法( 也就是 检灞方法) 斡举蓠，裔汉将入投梭巍系统努为褥类：萋子异常捡溅穰鼙( a n o m a l y d e t e c t i o nm o d a l ) 和误用检测模型( m i s u s ed e t e c t i o nm o d a l ) 。而在簇于异常检 溺穰鬻中鬏攒检测方法又毒势为基予统计学、萋予毒枣疑翔终、藿予数箨挖箍投零 等。 2 5 2 1 基予异常的入侵检测 凝于异常的入侵检测方法主要来源于这样的思想：任何人的正常杼为都鼹有 一定的靓律的，并且可以通过分析这拨行为产生的日瘩信息( 假定日恣信息足够 安全) 总结磁这些规律，而入侵和滥用行为强目通常和砸常的行为存在严重差辩， 通过检查出遨些差异就可：以梭测，这样，我们就能够梭测出 # 法的入侵行为甚至 是通过来知攻击方法进行的入侵行为，此外不属于入侵的异常用户行为( 滥用自 己的权艰) 也能够被检测到。要完成上述的捻测，需桨考虑这样几个闽题： 厢户的行为有一定l 约规律性，但选择哪些数据来淡现用户的这些脊规律的行 为? 这些数掇必须能够反映用户的行必，面且能够容易她获取和处理。 通过上戚的数据，如何有澈地表承用户新的正常行为? 使用什么方法( 数据) 反驶残月户委常孬为嬲概魏，怎样疑髓学习用户毅的蟹为，又能有效她判断爨鹅 户行为的异常。而且，这种入侵检测系统通常运行在用户的机器上对用户行为进 蔫l l 鬟 电子科技大学硕士研究生毕业论文 行实时监控，因此所使用的方法必须具有一定的时效性。一般来说，基于异常的 入侵检测系统的主要区别就在于学习和检测方法的不同。 另外，也要考虑学习过程的时间长短，用户行为的时效性等问题。 通常基于异常的入侵检测系统的检测是针对某个特定的对象，这个对象可以 是某个人也可以是某个程序。首先监视对象的行为，学习这个对象的行为特征， 以便产生这个对象的行为概貌，并通过其后的监视对比学习到的行为概貌检测出 这个对象的异常行为，产生警告并作出相应的反应。其中的监视行为就是数据提 取模块需要做的工作，此外，根据其后的检测过程，本模块还把原始数据格式转 化为特定格式的数据，以便分析模块处理。数据提取模块根据需要读取对象行为 所产生的日志信息，如系统日志，应用程序所产生的日恚。 有效的数据提取模块是整个入侵检测系统的基础。数据的分析行为可以分为 两个部分：对象行为的学习和异常行为的检测。通常分析功能的过程是，首先从 输入的数据中提取出当前对象行为的特征概貌，把这个概貌和以前学习的对象行 为概貌进行比较，如果超出某个既定阀值，就认定为异常行为，产生警告信息并 提交给结果处理模块；如果没有超出，则要学习这个行为，把他和以前的行为概 貌综合生成新的对象行为概貌，以反映用户行为的变化。这个过程进行循环，不 断地进行学习和检测。需要主意地是，这个循环地学习过程必须有一定地基本准 则和修订过程，否则一个足够细心和耐心地入侵者就可能会通过一系列地“教育” 过程来误导系统。 结果处理功能也是整个系统必不可少的一部分。 2 5 。3 t 2 基于统计擘方法的异常糗测 通过将一个用户( 主体) 的历史行为或长期行为和他的短期行为进行比较， 掇攥数璎统计理论定量懿检测入嫂磐隽黪方法为线诗异攀硷测法。这里圭要关心 以下两个方面的问题： a ) 在麓袈孬势孛浚存穗嚣长期学为( 没舂避黪援黉操作) 。 ( 2 ) 非熊型长期行为的短期行为( 有异常寻常的行为) 。 一般来说，鬣麓行为奄长麓稃秀肯定建有差辩静，因为前者繁孛于菜个特定 的彳亍为，而后者包含了多个行为，在进彳予削断的时候必须考虑这羊率差异的存在。 程就记录这些差筹，当差菇素餐至l 一定程淡，哥戳谈茺短麓行为和长赣行凳有非 常大的差剃时，才会产生警告。 1 庭麓( m e a s u r e ) 第1 2 嚣 电子科技大学硕士研究生毕业论文 主体行为的特性使用度量( 如文件访问，c p u 利用率，使用时间等) 来表 示。在n i d s 系统中为每一个度量构造了一个长期行为和短期行为的概率分布。 引入了主体概貌的概念，概貌包括度量的集合以及与度量相关的长期概率分布。 在n i d s 中度量被分为四类： ( 1 ) 行为强度( a c t i v i t yi n t e n s i t y ) 度量； ( 2 ) 审计记录分布( a u d i t r e c o r dd i s t r i b u t i o n ) 度量： ( 3 ) 绝对的( c a t e g o r i c a l ) 度量： ( 4 ) 持续的( c o n t i n u o u s ) 度量； 不同的度量有不同的使用目的，行为强度确定产生的活动量是否正常；审计 分布度量确定最近产生的审计记录所记录的行为是否正常；绝对的和持续的度量 则确定在一类行为中( 如：访问一个文件) 产生的操作类型是否正常。 2 半生删f - l i f e ) 在n i d e s 系统中，构成短期行为和长期行为的审计记录的数量或进行审计 记录的天数可以通过指定“半生”的方法来进行设置。对于长期概率分布而言， 通常n i d e s 将半生设为3 0 天，这意味着在长期概率分布中，半生也就是最近 3 0 天的审计记录所占权重为最新记录的一半，而下个半生( 6 0 天) 的审计记 录的权重则是一半的一半，也就是四分之一，以下依此类推。采用这种方法，越 新的活动所占的权重越大，那么在长期概貌里面很早期的活动会趋向于不起作 用，也就是说被“遗忘”了，这体现了近期行为对整个长期行为有着更大地影响， 使n i d e s 系统具有了更简单地学习能力。 为了更好地使用半生，n i d e s 引入了老化因子c a g i n gf a c t o r ) 地概念以作 为审计记录权重地计算依据。假设半生h l = k 个审计记录，则老化因子a f - - ( 1 2 ) “。， 每一个记录的权重是它地下一个记录地权重地a f 倍，显然经过k 步后，也就是 半生地权重为a p 毫l 尼，以下依此类推。在n i d e s 系统中定义了短期老化因子和长 期老化因子，前者作用于每一个审计记录，后者则作用于每一天地记录汇总。 老化因子，半生以及概貌长度这三者之间有着紧密的关系，其中老化