（计算机系统结构专业论文）流异常自动检测网络监控系统的设计与分析.pdf

华中科技大学硕士学位论文 摘要 f 网络管理员的一个重要的任务是监控局域网内的流异常行为，如储运 损耗、配置改变、瞬间的网络拥塞和滥用。各种商业的或公开的资源工具 被开发出来在网络管理的过程中起辅助的作用，但这些工具需要用户事先 定义策略以触发报警。这要求网络管理员不仅要有扎实的网络知识，还要 有从事网络管理的丰富经验。y 针对目前网络监控系统的不足，f a a d 流异常自动检测网络监控系统 在目前流行的网络监控软件的基础上增加了f a a d 专家系统，管理员不用 事先定义网络管理策略，这种网络监控软件就能够自动检测流异常行为。 遵循紧内聚，松耦合的模块化设计思想，f a a d 网络监控系统被设计 为网络探测器和网络监控器两层结构。网络探测器在系统底层采集数据信 息，网络监控器用于和网络管理员交互，通过对数据进行分析将网络流异 常状况报告给管理员，并为网络的管理提供专家性指导意见。 为了实现流异常的皂垫捡测，在网络监控器中内置f a a d 专家系统。 在f a a d 原型系统中，f a a d 专家系统针对流异常模糊特征定义了一系列 模糊规则。专家系统读取共享事实库中的事实，按模糊规则进行前向模糊 推理，当某规则被激活则输出报警信息。f a a d 知识库采用模糊集合描述 流异常的分类。 针对f a a d 网络监控系统自身可能存在的安全隐患，分析网络中信息 传输和系统使用的安全性，设计身份认证和加密传输机制，提高了系统自 身的安全水平。 。 v 关键词：流，流异常。知识库，专家系统 华中科技大学硕士学位论文 a b s t r a c t o n eo ft h ep r i m a r yt a s k so fn e t w o r ka d m i n i s t r a t o r si sm o n i t o r i n gf l o w a n o m a l i e ss u c ha so u t a g e s ，c o n f i g u r a t i o nc h a n g e s ，f l a s hc r o w d sa n da b u s e a v a r i e t yo fc o m m e r c i a la n do p e ns o u r c et o o l sh a v eb e e nd e v e l o p e dt oa s s i s ti n t h i sp r o c e s s ，h o w e v e rt h e s er e q u i r ep o l i c i e sa n d o ro rt h r e s h o l d st ob ed e f i n e d b yt h eu s e ri no r d e r t ot r i g g e ra l e r t s s on e t w o r ka d m i n i s t r a t o r sm u s tn o to n l y h a v ew e l l - k n i tk n o w l e d g eo fn e t w o r k ，b u te x p e r i e n c ei na d m i n i s t r a t i o no f n e t w o r k s i na l l u s i o nt ot h es h o r t a g e so fc u r r e n tn e t w o r km o n i t o rs o f t w a r e ，b a s e d o nt h ec u r r e n tn e t w o r km o n i t o rs o f t w a r e 。f a a dn e t w o r km o n i t o rs y s t e ma d d s af a a d e x p e r t i s es y s t e m f a a dn e t w o r km o n i t o rs y s t e mi s a b l et od e t e c t f l o wa n o m a l i e s a u t o m a t i c a l l y w i t h o u t p o l i c i e s d e f i n e d b y n e t w o r k a d m i n i s t r a t o r s ， f o l l o w i n gt h et h i n k i n go ft i g h t l yc o h e s i o na n dl o o s ec o u p l i n g ，f a a d n e t w o r km o n i t o rs y s t e mi s d e s i g n e d t ot w ol a y e r s ，n e t w o r kd e t e c t o ra n d n e t w o r km o n i t o r n e t w o r kd e t e c t o rc o l l e c t sf l o wd a t u mo nt h eb o t t o mo f s y s t e m n e t w o r km o n i t o ri n t e r a c t sw i t ha d m i n i s t r a t o r s i ta l s o c a n g e tt h e i n f o r m a t i o no fa n o m a l o u sb e h a v i o ri nt h el a n b ya n a l y z i n gt h ed a t u ma n d r e p o r ti tt oa d m i n i s t r a t o r sa n dg i v ep r o f e s s i o n a lm a n a g e m e n ts u g g e s t i o n s i no r d e rt oi m p l e m e n tf l o wa n o m a l i e sa u t o m a t i cd e t e c t i o n ，f a a de x p e r t s y s t e mi se m b e d d e d i nf a a dn e t w o r km o n i t o rs y s t e m i nt h ef a a d a r c h e t y p e s y s t e m ，f a a de x p e r ts y s t e md e f i n e s as e to ff u z z yr u l e sa c c o r d i n gt ot h e f u z z y f e a t u r e so ff l o wa n o m a l i e s e x p e r t s y s t e m r e a d st h ef a c t si nt h e d a t a b a s ea n dg e t st h ei l l a t i o na c c o r d i n gt ot h ef u z z yr u l e s w h e no n eo ft h e r u l e si sa c t i v a t e d a l e r ti s t r i g g e r e d 。f a a dk n o w l e d g ed a t a b a s eu s e sf u z z y r u l e ss e td e s c r i b i n gt h ec a t e g o r i e so ff l o wa n o m a l i e s f o rt h e p o t e n t i a ls e c u r i t y t r o u b l e so ff a a dn e t w o r km o n i t o rs y s t e m 毡 华中科技大学硕士学位论文 i t s e l f , t h e s e c u r i t y o ft h ei n f o r m a t i o nt r a n s m i s s i o na n d s y s t e mu s i n g i s a n a l y z e d t h ei d e n t i t ya u t h e n t i c a t i o na n dc i p h e rt r a n s m i s s i o nm e c h a n i s mi s p r o p o s e dt oi m p r o v et h es e c u r i t yf o rs y s t e mi t s e l f k e y w o r d s ：f l o w ，f l o wa n o m a l i e s ，k n o w l e d g eb a s e ，e x p e r ts y s t e m i ! i 华中科技大学硕士学位论文 1 概述 随着政府上网、海关上网、电子商务、网上娱乐等一系列网络应用的 蓬勃发展，i n t e r n e t 正在越来越多地离开原来单纯的学术环境，融入到社会 的各个方面。一方面，网络用户成分越来越多样化，导致出于各种目的的 网络入侵和攻击越来越频繁 1 - 2 1 ；另一方面，网络应用越来越深地渗透到金 融、商务、国防等等安全敏感领域。换言之，i n t c r n e t 的安全，包括其上的 信息数据安全和网络设备服务的运行安全，日益成为与国家、政府、企业 和个人的利益休戚相关的“大事情”。安全保障能力是新世纪一个国家综合 国力、经济竞争实力和生存能力的重要组成部分。不夸张地说，它在下个 世纪里完全可以与核武器对一个国家的重要性相提并论这个问题解决不 好将全方位地危及国家的政治、军事、经济、文化、社会生活的各个方面， 使国家处于信息战和高度经济金融风险的威胁之中 3 1 。 计算机网络所面临的安全威胁有来自于网络外部的，也有来自于网络 内部的。黑客大战让大家亲身体会了来自外部网络的安全威胁i 孙，但是更 多的数据表明，局域网内部可能是信息安全最大的威胁局域网中信息的 传输采用广播技术，信息在局域网中很容易受到监听或者截获，这就为入 侵者提供了大量有用的信息，即使这些信息不是入侵者的直接目标，入侵 者也可以利用这些信息达到自己的目的 9 - 1 0 1 。面对严重的网络安全威胁， 越来越多的企业用户开始意识到网络安全的重要性，他们开始使用一些网 络安全设备来保证自己信息的安全一们。网络监控软件就是局域网内的一 种用于监控网络运行状况的网络安全工具i l ，它能够收集和分析局域网内 的流数据，为管理员判断网络状况提供重要的依据网络管理员利用网络 监控系统监控路由器和交换机的流异常行为，从而掌握网络的运行状况， 采取相应的安全策略，保护局域网的安全 由于目前没有精确刻画网络流异常行为的指标参数，管理员检测网络 华中科技大学硕士学位论文 一= = = = # = ；= ；= ；= ；= = = j = = = = = = ；= = = = ； 异常行为通常是以多年的网络管理经验为基础的。各种商业的网络监控软 件在网络管理的过程中起辅助的作用，但这些工具需要管理员事先定义策 略以触发报警。这就要求网络管理员不仅要有扎实的网络知识，还要有从 事网络管理的丰富经验。网络管理员的经验越丰富，网络安全策略就越全 面，这些工具就会越有效。而对于一个从事网络管理的新手，必然会有一 个较长的学习和经验积累的过程。 针对目前网络监控软件的不足，论文提出了一种流异常自动检测( f l o w a n o m a l i e sa u t o m a t i cd e t e c t i o n ，以下简称f a a d ) 网络监控系统它在现有 流行的网络监控软件的基础上增加了流异常自动检测专家系统，利用专家 系统对网络状况的分析与判断，使管理员不用事先定义网络管理策略，网 络监控软件就能够自动检测流异常行为，并给出指导性专家管理建议。它 大大的减轻了管理员的工作负担，缩短了管理员的学习过程。即使是完全 没有经验的管理员也一样能够利用这种网络监控系统轻松的进行网络管 理。 1 1 网络监控系统的一般原理 一个网络监控系统的核心是s n i f f e r ，它是利用计算机的网络接口截获 数据报文的一种工具 t s 2 0 。s n i f f e r 既可以是硬件，也可以是软件，它用来 接收在网络上传输的信息网络可以是运行在各种协议之下的，包括 e t h e r n e t 、t c p i p 、i p x 等等( 也可以是其中几种协议的联合) 放置s n i f f e r 的目的是使网络接口( 以太网适配器) 处于杂收模式( p r o m i s c u o u s m o d e ) ， 从而可截获网络上的报文。在网管中，s n i f f e r 的存在对系统管理员是至关 重要的，系统管理员通过s n i f f e r 可以诊断出大量的不可见模糊问题，这些 问题涉及两台乃至多台计算机之间的异常通讯，有些甚至牵涉到各种协议。 错助于s n i f f e r ，系统管理员可以方便的确定出多少通讯量属于哪个网络协 议、占主要通讯协议的主机是哪一台、大多数通讯目的地是哪台主机、报 文发送占用多少时间、或相互问报文传送时间等等，这些信息为管理员判 2 华中科技大学硕士学位论文 断网络问题、管理网络区域提供了非常宝贵的信息。但是，如果有心之人 ( 非系统管理员) 使用s n i f f e r ，他同样也可以获得和管理员一样多的信息， 同样也可以对整个网络做出判断。 那么s n i f f e r 是如何在网络上实施的昵 2 1 - 2 2 】? 谈这个问题之前还应该 先说一下e t h e r n e t 的通讯。e t h e r n e t 是由x e r o x 的p a l oa i t o 研究中心( 有 时也称为p a r c ) 发明的。数据在网络上是以很小的称为帧( f r a m e ) 的单位 传输的。帧由好几部分组成，不同的部分执行不同的功能。( 例如，以太网 的前1 2 个字节存放的是源和目的地址，这些位告诉网络：数据的来源和去 处。以太网帧的其他部分存放实际的用户数据、t c p i p 的报文头或i p x 报 文头等等) 。帧通过特定的称为网络驱动程序的软件进行成型，然后通过网 卡发送到网线上。通过网线到达它们的目的机器，在目的机器的一端执行 相反的过程。接收端机器的以太网卡捕获到这些帧，并告诉操作系统帧的 到达，然后对其进行存储。 通常在同一个网段的所有网络接口都有访问在同一物理媒体上传输的 所有数据的能力，而每个网络接口都还应该有一个硬件地址，该硬件地址 不同于网络中存在的其他网络接口的硬件地址。同时，每个网络至少还要 一个广播地址( 代表所有的接口地址) 。在正常情况下，一个合法的网络接 口应该只响应这样的两种数据帧： 1 帧的目标区域具有和本地网络接口相匹配的硬件地址： 2 帧的目标区域具有“广播地址”。 在接收到上面两种情况的数据包时，网卡通过c p u 产生一个硬件中 断，该中断能引起操作系统注意，然后将帧中所包含的数据传送给系统进 一步处理。而s n i f f e r 就是一种能将本地n i c 状态设成“混杂”状态的软件， 当网卡处于这种“混杂”方式时，该网卡具备“广播地址”，它对所有遭遇 到的每一个帧都产生一个硬件中断以便提醒操作系统处理流经该物理媒体 上的每一个报文包。可见，s n i f f e r 工作在网络环境中的底层，它会拦截所 有的正在网络上传送的数据，并且通过相应的软件处理，可以实时分析这 些数据的内容，进而分析所处的网络状态和整体布局。 华中科技大学硕士学位论文 s n i f f e r 就是这样的硬件或软件，能够“听”到( 而不是忽略) 在网上 传输的所有的信息。在这种意义上，每一个机器，每一个路由器都是个 s n i f f e r ( 或者至少可以说它们可以成为一个s n i f f e r ) 。这些信息就被储存在 介质上，以备日后检查时用。s n i f f e r 可以是( 而且通常是) 软件和硬件的 联合体，软件可以是普通的网络分析器带有比较强的d e b u g 功能，或者就 是一个真正的s n i f f e r 。s n i f f e r 必须是位于准备进行s n i f f e r 工作的网络上 的，它可以放在网络段中的任何地方。 1 2 目前流行的网络监控系统 目前国内外有许多的网络监控软件，通过将网卡设置为混杂模式，在 数据链路层捕获所有的数据流，并对捕获的数据流进行分析，从而帮助管 理员掌握网络运行状况。目前较为流行的监控软件包括n e t x r a y ， w i n d o w s 2 0 0 0 网络监视器，s n i f f e rp r o ，i r i s 等等。网络运行中，为了达 到有效管理的目的，管理人员必须能够及时知道并确定当前网络中某些( 或 某个) 部件的性能正在下降或者已经下降：必须能够确定网络的哪些部分 超负荷了，或哪些部分还未满负荷监控的目的是：1 全局监视：及早发 现故障苗头，在影响服务器之前就及时将其排除；2 故障出现后的搜索监 测：在用户发现故障并报告后去查找故障的发生位置；3 数据分析：对过 去的性能数据进行分析以获得资源利用情况及预测发展趋势。网络中所有 部件( 包括通信设备和设篪) ，都有可能成为网络通信的瓶颈，对网络性能 的监测须与已知的经验值进行比较，才能判断出网络的运行状况，并及时 解决网络问题。这些网络监控软件通过对数据流的考察可以分析网络问题， 为网络的管理提供了数据依据。 为了有效的利用有限的网络资源，网络管理员需要从网络中获得准确 而可靠的信息，目前的网络监控系统能够提供的网络信息包括t 2 3 1 ： 1 网络流量有多大： 2 什么类型的流： 3 网络中哪个系统产生了多少流量； 华中科技大学硕士学位论文 4 当前网络的利用率： 5 网络协议的使用情况； 6 哪个系统或应用成为了网络的瓶颈； 7 流量的峰值是多少，何时达到峰值等等。 网络管理正在发生变化。传统的网络管理主要集中在由国际标准组织 ( i s o ) 所定义的三种网络管理功能领域：性能管理、容错管理及配置管理。 虽然这些管理已经减轻了网络管理员的很大负担，但在过去的几年里企业 网络的快速发展出现了种种新的需求，使现有的网络管理应用无法胜任。 以前的网络管理基本上是一种集中式的、单序的、反应式方法，它注重的 是具体设备的找错，而且对于昂贵的广域网连接没有反应。 今天的企业网络在重大的企业及机构中至关重要。这些网络本身也在 不断地变化，以满足他们所服务的机构的种种需求。在客户机服务器计算 模式已经取代了传统的集中式主机终端模式之后，新兴的i n t r a n e t w e b 网 络计算模式又开始在企业网络环境中立足【2 4 1 ，它极大地冲击着信息在整个 企业里的流向方式。呈爆炸性增长的远距离办公室、流动作业以及i n t c r n c t 连接对广域网连接产生了巨大的需求，结果导致企业网变得越来越复杂。 它们支持多种技术、2 4 小时运行、要对不断的变化进行管理、并且延伸到 多个建筑、多个区域甚至多个国家。不幸的是，网络管理应用的发展却滞 后了，失去了它管理企业战略资产所应具备的意义深远的重大作用。为此， 本文提出了一种新型的基于传统网络监控系统之上的流异常自动检测网络 监控系统。 1 3 流异常自动检测网络监控系统概述 目前流行的网络监控工具为网络管理员提供了网络状况的最新数据， 网络管理员将其中能反映网络运行状况的数据与经验数据进行比较分析， 最终得到关于网络运行状况的结论。但是这些网络监控系统只是提交原始 数据，而把分析判断的任务交给了网络管理员。网络运行状况结论的得出 依赖于网络管理员的专业知识和从业经验，不同的管理员可能得出不同的 华中科技大学硕士学位论文 结论。而对于出现流异常的网络，网络出现的是何种异常，出现异常的地 方在哪里以及如何解决就更是对网络管理员管理能力的考验。为了达到简 化网络管理的目的，本文提出流异常自动监测网络监控系统的设计方案。 它在目前流行的网络监控系统的基础上，增加了流异常自动监测的新功能， 使管理员不用事先定义网络安全策略，网络监控软件就能够自动检测流异 常行为。它可大大的减轻管理员的工作负担，缩短管理员的学习过程。即 使是完全没有经验的管理员也一样能够利用这种网络监控系统进行网络管 理。 这种流异常自动检测网络监控系统设计主要由网络探测器和网络监控 器两大部分组成。网络探测器用于捕获网络中的数据报文，提取其中的有 用数据传送到网络监控器中进行进一步的分析和研究网络监控器用于和 用户的交互，用户可以在网络监控器上设置报文捕获的过滤规则，同时也 可以查看捕获的报文数据信息。其基本体系结构如图1 1 所示。 图1 1f a a d 体系结构 在下一章中，本文将对f a a d 网络监控系统的体系结构作详细的论述。 6 华中科技大学硕士学位论文 2f a a d 网络监控系统的功能和结构设计 2 1f a a d 网络监控系统的功能设计 在第一章中本文简要的介绍了目前流行的网络监控系统，本节来看看 目前流行的网络监控系统的主要功能，以及在此基础上本文对流异常自动 检测网络监控系统的功能设计。目前流行的网络监控系统的主要功能包括 【i7 】： 1 监控网络活动 能够实现近于实时的网络监控功能。基于信息流的分析技术可以用来 形象化地表示单个路由器和全网范围内的流量模式，并提供预先故障检测 保证高效排除故障和快速解决问题。 2 解码捕获数据 帮助重构数据和显示捕获数据的所有内容。在解码模式中，捕获的数 据被重组，数据的头部信息被完全的解析出来，网络管理员可以像真正的 会话者一样查看每个会话。解码后的网络流数据能够充分显示数据在网络 中的流动情况，如：数据的源地址，数据的目的地址，数据长度，数据使 用的协议等等。 3 重组会话 使网络管理员不仅能够看到创建会话的包，而且能够实时的看到这个 会话中传送数据的实际内容。 4 探测非授权连接 允许设置监视从任何一台主机发出或发向任何一台主机的连接，如果 监测到指定的连接是不合法的，系统能够发出警报，提示管理员有一个未 授权连接企图。网络管理者还可以获得用户利用网络和应用资源的详细情 况，进而高效地规划和分配资源，并保障网络的安全运营。 5 过滤捕获会话 7 华中科技大学硕士学位论文 网络管理员可以通过设置过滤规则，使系统只捕获管理员感兴趣的数 据包。通过对流数据的过滤，管理员可以只关注有用的流数据，同时可以 减轻系统的工作负担。可以设置的过滤条件有：i p 地址，m a c 地址，协议 类型，源目的端口号，定制的数据模式和帧大小等等。 6 显示网络统计数据 动态图形显示网络的统计数据，可以获得详细的网络应用信息。例如， 网络管理员可以查看h t t p 、f t p 、t e l n e t 和其它t c p i p 应用所占通信量的百 分比以及统计前n 名的会话对，统计网络流量的分布状况，统计帧的大小， 网络利用率以及协议的使用分布情况等等这些统计数据是判定网络一段 时间内的运行状况的基础和依据。利用曲线图、饼图、柱状图等图形化方 式，使得统计数据能够简单明了的表现出网络在一段时间内的运行情况， 管理员能够及时发现网络中的问题所在，调整网络管理策略，规划和分配 网络和应用资源。 7 生成网络流 有时管理员为了主动测量反映网络的运行状况的流数据，需要产生特 定的网络流。网络监控系统能够按照管理员的需要，生成特定的网络流在 局域网内传送。 8 设置触发器 使用捕获触发器可指定触发事件以及由该事件所产生的动作指定产 生触发的条件，如系统检测到捕获缓冲区的大小达到1 0 0 时，触发停止捕 获或者执行用户设定的命令行命令在传统的网络监控系统中，触发器是 由网络管理员根据经验设置的，触发器设置得是否适当很大程度上依赖于 网络管理员的基础知识和专业水平 网络管理员利用这些功能对网络的运行状况进行实时跟踪，随时监测， 根据多年的网络管理经验来维护和优化自己的网络 f a a d 网络监控系统除了具有以上提到的目前流行的网络监控系统的 所有常用功能以外，它还具有网络流异常的自动检测功能。当网络中出现 了流异常状况时，它能自动检测流异常并报告给网络管理员，以便管理员 l 华中科技大学硕士学位论文 ：= 一：= = = = = = = = = = = = = = = 2 = = = = = = 2 2 ；= 2 2 = 一 根据专家系统的建议及时采取相应的安全策略。整个网络监控过程完全不 需要管理员的干预，能够及时准确的报告网络运行状况，真正减轻了管理 员的工作负担。 2 2f a a d 网络监测系统的结构设计 2 2 1f a a d 网络监测系统的框架模型 本文提出的f a a d 网络监测系统在现有的网络监测系统的基础上增加 了流异常指标数据库，流数据处理模块及f a a d 专家系统和知识库。f a a d 网络监测系统通过网络探测器中的流原始数据采集模块捕获网络流的原始 数据根据过滤规则选取管理员感兴趣的流数据。利用流数据处理模块对 流数据进行处理，得到用于判断网络流异常的指标参数，保存在流异常指 标数据库中；f a a d 专家系统用知识库中的规则对流异常指标数据库中的 数据进行有效的审查和评测，得出合理的关于网络流异常状况的推论，从 而为网络管理与优化提供重要依据。 基 1人机交互模块i 垂 毒： t - i 队a d 专家系统 蠢i 过滤规则管理模块i i 流数据处理模块 | 1 。 。 i 流原始数ii 流异常指标| i 口* * # mii自 口庶l l 据数据库ii 数据库 i l 取搬阡ll h 下 j l 一一 r 过滤规则发送模块i菠数据读取模块 霎 i 流原始数据过滤模块 l 篓 千 器 l 流流原始羲据采集模块l i 图2 1流异常自动检测网络监控系统结构图 9 华中科技大学硕士学位论文 图2 1 显示了f a a d 网络监测系统的结构框图，以功能划分各个模块 图中主要模块的含义和相互关系在下面两节中将详细描述。 2 2 2 网络监控器 网络监控器是系统与管理员交互的窗口，管理员不仅能通过网络监控 器实时监控网络运行状况，还能在网络监控器的界面上设置和调整捕获过 滤规则，对网络探测器的流捕获活动进行控制。网络监控器还能完成流数 据的管理与流异常数据的分析，同时必须能够在发现异常的情况下自动的 报告管理员，并记录下异常状况的审计日志，以达到确保掌握整个网络运 行状况的目的。 网络监控器的设计重点是：日志信息查询、探测器管理、流数据处理、 专家系统管理、过滤规则管理及用户管理。 1 日志信息查询：对于任何安全产品，系统日志都是必不可少的一个 重要组成部分网络管理员可以使用单一条件或复合条件进行日志查询， 当日志信息数量庞大、来源广泛的时候，系统需要对日志信息按照重要等 级进行分类，从而突出显示网络管理员需要的最重要信息。 2 探测器管理：控制台可以直接指挥和监控探测器的动作和处理( 包 括启动、停止、规则加载、查看运行状态等) ，实时监视多个网段的安全状 况，针对不同情况制订相应的安全规则。 3 流数据处理：自动处理由网络探测器采集并过滤发送过来的流原始 数据，对这些数据进行数学分析处理，包括各种数据计算，简单统计，时 间序列分析，小波分析等等，处理后的数据等待专家系统的审查和评测。 4 专家系统功能：专家系统读取并分析处理过的流数据信息，根据知 识库中的规则进行匹配当遇到异常状况时，自动报告管理员，并提供专 家级的网络管理意见。此功能是实现f a a d 的关键技术。 5 过滤规则管理：为用户提供一个根据具体情况灵活配置流数据捕获 过滤规则的工具，如定制i p 协议过滤规则、默认过滤规则等，还包括过滤 规则的读写，删除和修改等操作 华中科技大学硕士学位论文 6 用户管理：对用户权限进行严格的定义，提供口令修改、添加用户、 删除用户、用户权限配置等功能，有效保护系统使用的安全性。对于用户 的登陆，退出规则加载，查看重要安全信息等活动要严格的身份认证和访 问控制，并对于用户在系统中所进行的任何与系统安全有关的活动都必须 记系统日志，供系统管理员查询。 基于以上考虑f a a d 网络监控器设计成由以下几个模块组成： 1 流数据读取模块 流数据读取模块位于网络监控系统的应用层，它的主要功能是接收由 网络探测器发送过来的匹配过滤规则的流数据，并把他们传送到流原始数 据数据库中保存，等待流数据处理模块的进一步处理。 2 过滤规则发送模块 过滤规则发送模块主要负责将管理员设置的过滤规则发送到网络探测 器中的流原始数据过滤模块，作为流原始数据过滤的依据。对于网络探测 器的控制管理( 开始捕获，停止捕获) 也是通过加载过滤规则来实现的， 当加载一条空规则的时候网络探测器理解为丢弃所有的网络报文，也即停 止捕获。管理员在人机交互模块中设置过滤规则，并交给过滤规则发送模 块发送到网络探测器。 3 过滤规则管理模块 实现过滤规则的管理功能，包括对过滤规则的保存、删除、修改和加 载。在网络监控器中可以存放一条至多条过滤规则，至少有缺省的过滤规 则( 即捕获局域网中所有的报文) 。该模块为用户提供一个根据具体情况灵 活配置流数据过滤规则的有力工具 4 流异常指标数据库 流异常指标数据库中保存了经过原始数据处理模块处理后的流异常测 度，如流速率，网络利用率，传输延迟( j i t t e r ) ，出错率等等，它们是判定 流异常的特征参数。这些数据可以从人机交互界面上供管理员查看，它们 是专家系统判定网络状况的依据 5 流原始数据数据库 华中科技大学硕士学位论文 流原始数据库中保存了没有经过任何处理的从网络探测器传送过来的 流原始数据，它是原始数据处理模块加工处理的对象。经过对流原始数据 的处理就能得到对f a a d 专家系统判断流异常状况有用的流异常测度值。 已经被流原始数据处理模块处理过的数据将会自动被删除。 6 原始数据处理模块 原始数据处理模块主要对流原始数据库中的数据进行处理，得到用于 判定流量异常的测度值。其中的处理包括简单的数学计算，统计，时间序 列分析以及小波分析等等。 7 人机交互模块 管理员可以通过人机交互界面设置过滤条件，启停网络探测器，查看 数据流捕获的结果，查询日志信息和进行用户权限配置等等。当出现网络 异常时，网络监控系统可以通过该模块通知管理员。 8 知识库 知识库保存了f a a d 规则，这就使网络监控系统具有f a a d 功能。 f a a d 专家系统将流异常指标数据库中的数据和知识库中的规则进行匹配 就能发现流异常状况。 9 f a a d 专家系统 f a a d 专家系统是根据专家对流行为的分析经验来形成的一套推理规 则，然后在此基础上建立相应的专家系统。它相当于f a a d 网络监控系统 的大脑，必须具备高度的“智慧”和“判断能力”。所以，在设计此模块之 前，开发者需要对各种网络协议、系统漏洞、攻击手法、可疑行为等有一 个很清晰、深入的研究，然后制订相应的安全规则库和安全策略，让机器 模拟自己的分析过程，识别异常行为，最后将分析结果形成日志或报警消 息，发送给管理员。本文将在第四章中详细讨论f a a d 专家系统。 1 0 审计数据库 审计数据库用于记录网络中流异常日志和报警信息，充分利用系统和 网络日志文件信息是检测流异常的必要条件日志中包含发生在系统和网 络上的不寻常和不期望活动的证据，这些证据可以指出网络在何时何处出 华中科技大学硕士学位论文 现了流异常状况。 2 2 3 网络探测器 网络探测器是整个系统的核心部分，它负责捕获局域网内的流数据， 并根据网络管理员的意图将这些数据进行过滤处理，送到网络监控器中分 析处理。它主要有两个模块组成： 1 原始数据采集模块 该模块在系统的最底层，用于实现s n i f f e r 的功能。它将网卡设置成混 杂模式，采集局域网内所有的数据流，并把这些数据流传输到流原始数据 过淖模块。这是所有网络监控系统所共有的核心部分，是系统进行网络管 理的基础。 2 原始数据过滤模块 流原始数据过滤模块也位于系统的底层，它根据管理员设置的网络监 控器传输过来的捕获过滤规则对流原始数据采集模块采集的数据进行过 滤，只保留管理员感兴趣的流原始数据。 在下一章中本文还会对网络探测器的设计与实现有进一步的讨论。 2 2 4 系统动态结构 基于前面几个小节的讨论，本文来看看流异常网络监控系统的动态结 构。图2 2 为流异常自动检测网络监控系统的动态结构图。 整个系统由两部分组成：网络探测器和网络监控器网络探测器从网 络底层捕获报文，经过数据过滤，提取有用的数据信息，并且把它保存在 原始流数据库中网络监控器从原始流数据库中读取数据，通过数据分析 模块对原始流数据库中的数据进行分析，这里的分析包括对原始流数据进 行数学计算和数学分析，得到流异常的测度值，保存于分析结果数据库中。 网络监控器的f a a d 专家系统基于知识库中的规则执行网络查看和监控的 任务，对于网络中的异常情况按照专家系统的指示进行处理。随后，管理 员还可以通过人机交互界面，查看数据和审计日志，并获得报警信息。整 华中科技大学硕士学位论文 网 络 监 控 器 图2 2f a a d 动态结构图 个系统的动态执行过程完全不需要管理员的操作和干预。f a a d 网络监控 系统的知识库中保存了关于流异常的大量规则，管理员根本不必了解任何 有关流异常的知识，也不必做任何事先的设置就可以实现网络流异常检测 的功能。 2 3 本章小结 本章针对目前流行的网络监控系统管理和使用复杂的问题，提出了 f a a d 网络监控系统。在介绍了当前流行的网络监控系统的主要功能的基 础上，提出了对于f a a d 网络监控系统的功能设计方案随后讨论了为实 现这些功能而设计f a a d 网络监控系统的结构。基于模块化的设计思想， 将整个系统分为网络监控器和网络探测器两个层次，详细讨论了这两个部 分的模块组成，以及各个模块的功能实现，最后对于系统的动态结构进行 了详细的分析和讨论。 1 4 华中科技大学硕士学位论文 3 流数据的采集与测量 流数据的采集与测量是监视网络运行状态的前提和基础。流数据是 f a a d 网络监控系统检测和分析的对象，下面本文分别讨论流数据的采集 和测量方法。 3 1 流数据的采集 流数据采集机割是实现网络监控的基础，否则，巧妇难为无米之炊， 网络监控就无从谈起。数据采集子系统( 亦即网络探测器) 位于f a a d 的最 底层，其主要目的是从网络环境中获取流数据，并向流数据测量分析子系 统( 也即网络监控器) 提供数据。目前比较流行的做法是：使用l i b p c a p 和t c p d u m p ”】，将网卡置于“混杂”模式，捕获某个网段上所有的数据流。 l i b p c a p 2 6 j 是u n i x 或l i n u x 从内核捕获网络数据包的必备工具，它是独立 于系统的a p i 接口，为底层网络监控提供了一个可移植的框架，可用于网 络统计收集、安全监控、网络调试等应用。t c p d u m p 是用于网络监控的工 具，可能是u n i x 上最著名的s n i f f e r 了，它的实现基于l i b p e a p 接1 2 ，通过 应用布尔表达式打印数据包首部，具体执行过滤转换、包获取和包显示等 功能。t c p d u m p 可以帮助描述系统的正常行为，并最终识别出那些不正常 的行为。当然，它只是有益于收集关于某网段上的数据流( 网络流类型、 连接等) 信息，至于分析网络活动是否正常。那是程序员和管理员所要做 的工作。 网络流的采集方法通常都是通过一定的捕获机制，捕获所有通过路由 器的数据包，通过拆包分析包头的内容，获得包头的一些主要参数。其中 最常用的就是源i p 地址、目的i p 地址、数据包总长度以及协议等等。 众所周知，以太网是广播型的网络，网上的站点共享信道。一个站点 发出数据，其他站点都能收到。而目前大多数的网络主机都使用以太网卡， 在默认设置下，以太网卡只接收到达本地的数据包，而过滤掉其他数据包。 但以太网卡有个混杂模式选项，可以关掉过滤功能，从而检查途径网卡的 华中科技大学硕士学位论文 所有数据包。通过这种捕获机制，就可以将途经路由器的数据包全部抓获。 关于s n i f f e r 的原理本文在第一章中已经详细介绍过了，下面来具体讨论一 下数据采集的方法。 从网络上抓获数据主要有两种方法：一是采用专用的硬件，另一种是 使用连接到网络上的p c 或工作站。在第二种方法中，计算机的网卡用来 获得网络中的帧，而软件完成了大量的捕获过程。想要从网络上截取数据 包，必须和网卡打交道，所以操作系统必须提供一套捕获原语来从网卡发 送和接收数据，这些原语的目的主要是从网络上截获数据，屏蔽与网卡的 交互，并且把他们传递给调用函数。这种方法对操作系统的依赖性很强， 因此不同的操作系统实现起来也大相径庭。内核中的数据包捕获部分必须 迅速和有效，因为它必须能够工作在流量负荷较大的高速链路上，同时把 丢包率控制在一定的范围内，并且使用较少的系统资源本文可以通过一 个捕获栈来直观了解捕获的整个实现过程，下面是一个捕获栈的结构，如 图3 1 所示。 用户应用程序 l i b p c a p t p a c k e t d l l 千 l 数据包捕获其他协议找 驱动程序( 如t c p ，i p ) l l 数据包i 用户层面 动态链接库 内棱层面 两卡 图3 i 捕获栈的结构图 最底层的是网卡，用来抓获网络中传输的数据包。在捕获过程中，网 卡通常工作在混杂模式，强行接收所有的数据包。数据包捕获驱动( p a c k e t 1 6 华中科技大学硕士学位论文 c a p t u r ed r i v e r ) 是捕获栈最底层的软件模块，它工作在内核态，通过与网 卡进行交互来获得数据包。它向应用层提供了一套访问数据链路层的函数， 以便应用程序能够从网络中发送和读取。p a c k e t d l l 工作在用户态，但它与 捕获程序是分离的。它是从驱动程序中分离出来的，向应用程序提供与系 统独立的捕获接口。p c a p 或叫l i b p c a p 是应用程序的数据包捕获部分的一 个静态库，它使用由p a c k e t d l l 提供的服务，向应用程序提供一个高层的 有力的数据包捕获接口。用户接口是捕获程序的最高层，它负责与用户的 交互并显示捕获结果。 上面的这个捕获结构从宏观上展示了整个数据包捕获的过程，但是在 实际的捕获过程中还需要做一些改善，主要有以下三个方面： 1 把丢包率限制在一定的范围内。数据包捕获驱动程序应当建立一个 缓冲区，当应用程序还未做好准备来处理所接受到的数据包的时候可以将 其存储在该缓冲区内，从而控制了丢包。应用程序一旦准备好，被存储在 缓冲区内的数据包应当能够立刻传送给应用程序。 2 为了使应用程序和驱动程序之间内容交换的次数最少，它们应该分 别工作在用户态和内核态，并且使用单一的读调用来传送数据包。 3 应用程序应当只接收自己感兴趣的数据包。这就要求数据包捕获驱 动程序只传送对应用程序有用的包。因此应用程序必须设置过滤器对所接 收到的数据包进行过滤，以接收满足过滤条件的包。 本文先介绍一种普遍的数据包捕获模型的层次结构，如图3 2 所示。 网卡设置称混杂模式后，强行接收所有网络中流经该工作站的数据包， 这是由网卡驱动程序( n i cd r i v e r ) 完成的。接收到了数据报后，由n e t w o r k t a p 来处理，n e t w o r k t a p 是u n i x 环境下享誉盛名的b p f ( b e r k e l yp a c k e tf i l t e r ) 代码中的回调函数，当数据包到来时，网卡驱动程序唤醒它，n e t w o r kt a p 接收到数据包拷贝后，向上传送至过滤器，在过滤器中进行过滤，如果使 用户感兴趣的就被过滤器接收，否则丢弃。当数据包被过滤器所接收时， 如果应用程序已经准备好了接收数据包，数据包会立即被拷贝到应用程序 的缓冲区去；如果应用程序没有准备好接收，为了避免丢包，必须将数据 1 7 华中科技大学硕士学位论文 ：= = = = = = = ；= = = ；= = = = = = = = = = ；= = = 日= = = = 一 应用程序 l j 用户缓冲区l l i b p 。a p jk p a c k e t d l l a 内棱缓冲区 l r - l t 。 l蓑据包捕获驱 上千 n i c 驱动 数据包 图3 2 数据包捕获层次结构图 用户层面 内核层面 同络 包传送到内核缓冲区( k e r n e lb u f f e r ) 中存储起来，一旦应用程序准备好， 就把它拷贝到应用程序的缓冲区中去。 过滤器有个特点，就是不仅可以返回是否接收这个数据包，还可以返 回要拷贝的数据包的长度，这样就极大地优化了捕获过程，因为只有应用 程序需要的部分才被拷贝过来，很大的节省了c p u 和缓冲区的资源。 当新的数据包到达内核缓冲区的时候，如果缓冲区已满，则数据包会 被丢弃。内核缓冲区的大小对于整个捕获过程的效率会有很大的影响。事 实上，一个捕获应用程序，对每个数据包进行处理的时候，还要和其他的 应用程序分享c p u 资源，这是无法与流量负荷较大时的网络速度相比的， 尤其是在速度较幔的机器上这个问题更加明显而驱动程序是运行在内核 级别上的，所以处理速度非常快，通常是不会丢包的，因此在应用程序忙 的时候，开辟一段缓冲区来存放那些数据包可以避免应用程序较慢的处理 速度和网络流量大的时候所引起的丢包。 华中科技大学硕士学位论文 应用程序在接收到拷贝之后，通过p a c k e t d l l 这个动态链接库提供的 捕获接口，并调用l i b p c a p 库中的函数完成对数据包的分析和处理1 2 7 1 。 上面分