（计算机应用技术专业论文）基于agent的网络信息内容监测技术的研究.pdf

华北电力人学硕十学位论文摘要 摘要 本文在研究了当前网络信息监测系统的结构、功能和特点的基础上，针对当前 集中式监测系统存在的问题，引入了a g e n t 技术，设计了基于a g e n t 的网络信息内 容监测体系结构。引入守护线程架构模式，提高了数据获取和协议还原的处理性能 和可靠性。在信息内容分析方面，介绍了文本内容数据挖掘、文本分类等相关知识。 对文本分类内容，文本分类过程，文本预处理、文本表示模型和分类算法等关键技 术进行了详细的研究。设计并实现了基于模糊向量空间模型的文本主题分类的信息 系统。针对文本主题分类和文本倾向性分类进行了相应的程序编写和功能实现，对 实验和分类结果进行了比较，实验表明具有较高的j 下确率和召回率，最后给出了 系列的结果分析和改进方案。 关键词：a g e n t ，信息安全，内容监控，文本分类 a b s t r a c t t h ep a p e rs t u d i e st h es t r u c t u r e ，f u n c t i o n sa n dc h a r a c t e r i s t i c so fn e t w o r kj n f o r m a t i o n s y s t e mf o rm o n i t o r i n gi nt h ec u r r e n t i tp u t sf o r w a r dt h es t r u c t u r eo fn e t w o r ki n f o r m a t i o n c o n t e n ts u p e r v i s i n gb a s e do na g e n t t h ep a p e re l a b o r a t e do nt h ep r i n c i p l e sa n dt e c h n i q u e s t h a ti sa b o u tt h et e c h n o l o g yo fn e t w o r ki n f o r m a t i o nm o n i t o r i n gf o rc o n t e n tg e t t i n ga n d c o n t e n tr e s t o r e a tt h es a m et i m e ，t h ep a p e ri n t r o d u c e dt h et e x td a t am i n i n g ，t e x tc l a s s i f i c a t i o n a n dr e l a t e dk n o w l e d g e t h e ni ta n a l y s e st h er e l a t e dt h e o r yo fi n f o r m a t i o nf i l t e r t e x t c l a s s i f i c a t i o ni si m p o r t a n tb a s i sf o ri n f o r m a t i o nc o n t e n ta n a l y s i s t h ep a p e rd e s c r i b e st h e c o n t e n ta n dp r o c e d u r eo ft e x tc l a s s i f i c a t i o n ，t e x tp r e t r e a t m e n t ，t e x te x p r e s s i o nm o d e la n d c l a s s i f i c a t i o na l g o r i t h m sa n do t h e rk e yt e c h n o l o g i e s a n dt h e nw ed e s i g n e da n di m p l e m e n t e d a l li n f o r m a t i o ns y s t e m e x p e r i m e n t a lr e s u l t sa p p l i e dt ot e x tc a t e g o r i z a t i o np r o b l e ms h o wt h a t o u rt h em e t h o dh a sh i g ha c c u r a c yr a t ea n dr e c a l lr a t e a tl a s t ，t h ep a p e rg i v e sas e r i e so f a n a l y s i sa n di m p r o v e m e n tp r o p o s a l h ew e i ( c o m p u t e ra p p l i e dt e c h n o l o g y ) d i r e c t e db yp r o f c h e n gx i a o r o n g k e y w o r d s ：a g e n t ，i n f o r m a t i o ns e c u r i t y , c o n t e n tm o n i t o r i n g ，d o c u m e n t se l a s s i f i e a t i o n 华北电力入学硕十学位论文摘要 摘要 本文在研究了当前网络信息监测系统的结构、功能和特点的基础上，针对当前 集中式监测系统存在的问题，引入了a g e n t 技术，设计了基于a g e n t 的网络信息内 容监测体系结构。引入守护线程架构模式，提高了数据获取和协议还原的处理性能 和可靠性。在信息内容分析方面，介绍了文本内容数据挖掘、文本分类等相关知识。 对文本分类内容，文本分类过程，文本预处理、文本表示模型和分类算法等关键技 术进行了详细的研究。设计并实现了基于模糊向量空间模型的文本主题分类的信息 系统。针对文本主题分类和文本倾向性分类进行了相应的程序编写和功能实现，对 实验和分类结果进行了比较，实验表明具有较高的j 下确率和召回率，最后给出了一 系列的结果分析和改进方案。 关键词：a g e n t ，信息安全，内容监控，文本分类 a b s t r a c t t h ep a p e rs t u d i e st h es t r u c t u r e ，f u n c t i o n sa n dc h a r a c t e r i s t i c so fn e t w o r ki n f o r m a t i o n s y s t e mf o rm o n i t o r i n gi nt h ec u r r e n t i tp u t sf o r w a r dt h es t r u c t u r eo fn e t w o r ki n f o r m a t i o n c o n t e n ts u p e r v i s i n gb a s e do na g e n t t h ep a p e re l a b o r a t e do nt h ep r i n c i p l e sa n dt e c h n i q u e s t h a ti sa b o u tt h et e c h n o l o g yo fn e t w o r ki n f o r m a t i o nm o n i t o r i n gf o rc o n t e n tg e t t i n ga n d c o n t e n tr e s t o r e a tt h es a m et i m e ，t h ep a p e ri n t r o d u c e dt h et e x td a t am i n i n g ，t e x tc l a s s i f i c a t i o n a n dr e l a t e dk n o w l e d g e t h e ni t a n a l y s e s t h er e l a t e dt h e o r yo fi n f o r m a t i o nf i l t e r t e x t c l a s s i f i c a t i o ni si m p o r t a n tb a s i sf o ri n f o r m a t i o nc o n t e n ta n a l y s i s t h ep a p e rd e s c r i b e st h e c o n t e n ta n dp r o c e d u r eo ft e x tc l a s s i f i c a t i o n ，t e x tp r e t r e a t m e n t ，t e x te x p r e s s i o nm o d e la n d c l a s s i f i c a t i o na l g o r i t h m sa n do t h e rk e yt e c h n o l o g i e s a n dt h e nw ed e s i g n e da n di m p l e m e n t e d a l li n f o r m a t i o ns y s t e m e x p e r i m e n t a lr e s u l t sa p p l i e dt ot e x tc a t e g o r i z a t i o np r o b l e ms h o wt h a t o u rt h em e t h o dh a sh i g ha c c u r a c yr a t ea n dr e c a l lr a t e a tl a s t ，t h ep a p e rg i v e sas e r i e so f a n a l y s i sa n di m p r o v e m e n tp r o p o s a l h ew e i ( c o m p u t e ra p p l i e dt e c h n o l o g y ) d i r e c t e db yp r o f c h e n gx i a o r o n g k e y w o r d s ：a g e n t ，i n f o r m a t i o ns e c u r i t y , c o n t e n tm o n i t o r i n g ，d o c u m e n t sc l a s s i f i c a t i o n 声明尸州 本人郑重声明：此处所提交的硕士学位论文基于a g e n t 的网络信息内容监 测技术的研究，是本人在华北电力大学攻读硕士学位期间，在导师指导下进行 的研究工作和取得的研究成果。据本人所知，除了文中特别加以标注和致谢之处 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得华北电 力大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本 研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 学位论文作者签名：二遥n 往日 期： 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文的规定，即：学校有 权保管、并向有关部门送交学位论文的原件与复印件；学校可以采用影印、缩 印或其它复制手段复制并保存学位论文；学校可允许学位论文被查阅或借阅； 学校可以学术交流为目的，复制赠送和交换学位论文；同意学校可以用不同 方式在不同媒体上发表、传播学位论文的全部或部分内容。 ( 涉密的学位论文在解密后遵守此规定) 作者签名：缅雏 日 期：掣u 拉 导师签名： 华北电力大学硕士学位论文 1 1 选题背景和研究意义 第一章引言 随着互联网技术的发展，网络本身以及网络内容进一步呈现出动态化、分散化、 可扩展、高容错、隐私性强等特点。基于网络信息内容的安全管理与有效监测是建 立和谐社会、保障国家安全的重要而又富于挑战性的任务。网络作为媒体，己成为 信息交流的重要工具。人们使用它进行工作、生活、娱乐等。与传统的信息传播方 式相同，政府、组织、个人使用网络宣传、发布、传播为达到各自目地的信息。一 些组织和个人利用网络发表违背于国家宪法规定的言论信息、传播扰乱社会稳定的 信息、消息，利用网络从事犯罪活动和盗取或者泄露国家政治、经济、军事涉密信 息以及企业的商业秘密信息。因此，网络信息内容的监督管理已成为人们关注的焦 点，基于网络中的信息内容的安全管理技术研究，已成为信息安全的一个重要研究 分支，它的重要性也越来越被人们所认识。政府需要对网络上的言论信息加以限制、 单位和企业要对上网的行为和传输的信息加以管理。对于网上信息内容的安全管理 工作是以管理规定和技术监督相结合的方式才能有效地达到目的。目前网络上最活 跃的数据源一般都采用了动态网页技术，如论坛、博客、播客等。这类信息动态实 时变化、交互性广、私密性强同时传播速度迅速，这对传统的集中式的信息获取、 信息分析与过滤响应都造成了相当大的困难。 并且，由于多媒体技术的发展，网络上存在图像、音频、视频等多种形式的多 媒体信息，一些不法分子将一些有害信息隐藏在图像、语音、视频等载体轻易地通 过现有的内容过滤系统，如何识别和过滤这种携带秘密信息的载体成为内容过滤需 要解决的问题。不过有关图像、视频和音频等多媒体形式的识别和过滤技术在国内 外还处于研究实验阶段，成品比较少【5 l 。对于大规模互联网信息内容安全监测的研 究，主要存在两个方面的突出挑战： 随着互联网骨干网带宽的急速增长，安全监测的规模和性能急迫需要取得突 破； 境内信息内容安全监测缺乏有效的获取、分析与危机处置。 运用网络信息安全技术，建立实时的网络内容监测系统可以维护网络信息的安 全传输，保证网络的安全运行。 1 2 国内外发展现状 ( 1 ) 国内外研究动态 l 华北电力大学硕士学位论文 在网络不断发展的今天，各种网络安全问题不断出现，使得网络监测成为保障 网络正常运行的防护墙。基于网络监控、监测的安全系统发展比较快，当前的网络 传输信息监控技术和产品主要以i d s 、i p s 、信息内容网关( 如邮件审查) 和安全审 计系统为主【6 1 。 在发达国家的许多重要机构的网络都安装了网络监控系统，用于对付愈演愈烈 的各种网络黑客的攻击和计算机犯罪，如美国著名的“梯队 ( e c h e l o n ) 监听系统 中就包括网路监听，该系统在世界许多地方设有监听基地，能自动监听因特网的信 息，可以对其中的内容进行过滤，并可以从中筛选出对其有用的信息。在产品方面， 由于市场需求，许多公司例如i s s 、a x e n t 、n f r 、c i s c o 等有了自己相应的产品， 其中最有名的应该算是i s s 公司的r e a l s e c u r e 了。就国内来说，网络监控的研究 相对于发达国家发展迟缓很多，对话跟踪，阻断等关键技术的应用还不是很好。 ( 2 ) 课题研究现状 当今的网络监测模式大致可以分为两种：集中式监测和分布式监测。集中式监 测是目前网络监测系统的主流，大多数的网络监测和管理系统都是采用集中式监 测，并且已经得到广泛应用。这种方式的网络监控系统主要分为基于n d i s ( n e t w o r kd r i v e ri n t e r f a c es p e c i f i c a t i o n ) 驱动层进行网络数据拦截的软件方式和硬件卡 进行网络数据拦截。特点是在网络出口处进行网络数据的分析和拦截。然而随着网 络的不断变化和发展，对大流量的数据进行拦截和分析势必会造成丢包现象，系统 可扩展性差，带宽要求高，因此分布式网络监控便随之发展起来。这种模式具有对 网速的影响较小，监控面积广等优势。 针对现代分布式网络的特点，将a g e n t 技术应用于网络监测系统当中。基于 a g e n t 技术的网络监测系统目前国内外已有一些研究，但大多数侧重于网络入侵检 测，网络管理和监控主机行为的研究。本文采用基于a g e n t 技术的网络监测系统， 来侧重于网络信息内容的监测和分析的研究。 在信息内容的获取方面，首先是数据捕获技术，对于w i n d o w s 平台和u n i x 平 台分别有不同的数据包捕获工具。主要有基于d l p i 的数据捕获技术、基于 s o c k p a c k e t 的数据捕获、基于b p f 的数据捕获和基于“零拷贝 的数据捕获等。 在内容分析方面，主要涉及到应用各种匹配算法对各种文本数据进行的分析。 大多数实际应用的基于内容文本分析主要是通过网页中文本信息的截取和分 析，常用算法有：关键词匹配法、潜在语义索引法、神经网络法。基于关键词匹配 的方法建立在关键词的基础上，通过加权、相关性判断等控制手段来体现概念因素。 它将文本内容转化成向量模式，易于数学处理，可操作性强，执行速度快，易于理 解。但这种方法受关键词准确度的限制，并且，它基于词间关系独立的基本假设( 正 交假设) ，这在实际环境中是很难满足的。在自然语言中，词之问存在着同义性和 2 华北电力大学硕士学位论文 异义性，同义性使同一个概念在文本中用两个不同的词来表达，导致过滤时不能和 相关主题匹配；异义词又会使不同概念用同一词来表达，导致文本和不相关的主题 匹配。潜在语义索引法引入概念空间来解决这个问题，其基本思想是文本中的词与 词之间存在某种联系，即存在某种潜在的与语义结构，用这种语义结构来表示词和 文本，可消除词之间的相关性，达到化简文本向量的目的。采用潜在语义索引法过 滤，过滤精度要高于按关键词匹配方法进行的过滤，可获得更好的过滤效果。但这 种方法采用潜在的语义结构，缺乏直观意义，不便理解，而且潜在语义索引法算法 比较复杂，过滤操作执行速度慢，随着大量新词语的加入，会使概念空间上的查询、 过滤性能下降，因而它要求初始的训练集足够大，也可当新词语太多时重新进行s v d 计算。神经网络法依照人们的长期实践经验，模仿了人脑对信息进行过滤的原理， 并结合各种数学算法来实现它的功能。该方法的最大优点是具有很强的自学习功能 和自适应能力，并有一定的容错性和柔韧性，使之在减少人为干预的情况下，可以 实现系统的自我更新和完善。 1 3 论文主要内容和结构安排 网络信息内容安全侧重于网络信息的获取和分析，并做出相应的响应和处理。 利用a g e n t 本身具有分布式的特征来获取和分析网络数据的安全，可以有效地解决 集中式监测的数据存储和传输的瓶颈问题。基于a g e n t 技术的网络信息内容监测系 统是集数据采集，数据通信，协议分析和内容分析于一体的网络管理系统的一个重 要组成部分。 因此本课题的主要研究有： a g e n t 技术的相关知识的研究。 对现有的网络监控软件进行研究和分析，针对分布式网络特点提取其可利用 部分并进行改进。 信息内容的安全分析是整个系统的关键部分。通过信息内容的捕获，获得了 大量的信息内容，但是这些内容是否是我们所需要的，所以要进行信息内容识别。 主要为文本主题分析分类和文本信息内容的倾向性分析和分类。在分类过程中，主 要从特征词的表示、特征选取、向量空间模型等方面进行介绍和分析，在现有的文 本主题分类算法中，针对向量空间模型进行修改和改进：对于文本倾向性分析，主 要分析现有的词性分析和语义分析，在对比现有的文本倾向性分析的算法的基础 上，进行改进和创新。 3 毕北电力人学硕士学位论文 第二章信息监测系统总体设计 21 分布式网络监测系统的架构 在集中式网络监测系统中，被监测电脑在通过交换机直接上网的情况下，多台 电脑和i n t c r n e t 之间没有形成唯出口，此时，如果想要监测局域网内的电脑必 须在局域网与i n t e m e t 接口之州加上一个h u b 。改变现有的网络结构因为 t u b 是广 播发包，监测系统能得到数据包的副本，通过对数据包副本的分析，得到监控所需 要的数据m l 。不过，如若出现网络流量极大的情况时，监铡系统会时常发生丢包情 况，造成监测系统功能失效，其缺点为容易造成丢包的现象，系统的可扩展性差， 对网络宽带的要求高、中心管理部分容易成为系统瓶颤并且受网络拓扑结构的影 响，优点为安装方便。 为了解决集中式网络监测系统存在的问题，分唧式体系结构逐渐成为研究的热 点。在分布式体系结构中，分布式网络监测系统把相当大的一部分工作交给安装在 客，o 机器的客户端软件来完成，如图21 所小。 2 2a g e n t 简介 * j i 目21 分布式州络监洲州绺捕扑幽 a g e n t 也称为自动代理，智能代理，软件代p 1 1 等，它起源f 人 智能，现广泛应用 华北电力大学硕士学位论文 于计算机的各个领域，a g e n t 被定义为一个自治的实体，它能够感知环境，并且对外界 的信息做出判断和推理，来控制自己的决策和行为，以便完成一定的任务。具有自治性， 智能性，主动性和协作性等特点。根据环境的改变，a g e n t 还具有适应性和移动性的特 点。针对现代网络的特征和发展，将a g e n t 技术应用于网络信息内容监测系统当中，特 别是分布式网络当中，是网络安全发展的必然结果。 2 3 分布式网络监测系统的工作原理及功能模块划分 本网络监测系统的工作模型如图2 - 2 所示，主要包括：控制端子系统( 简称控 制端) ，配置端子系统( 简称配置端) 和a g e n t 端子系统( 简称a g e n t 端) 。控制端负 责信息的交互，维持与a g e n t 端的通讯连接，响应配置端的操作；配置端负责提供 用户界面给网络管理员进行操作；a g e n t 端安装在被监测机器上，主要是根据收到的 监测策略在被监测机器上自动执行，以及对策略信息的实时更新，并能产生以及自 动上传实时报警和记录信息。 团日 图2 - 2 分布式网络监测系统原理图 管理员在配置端上配置策略，通过与控制端通讯模块传输给控制端。控制端再 通过与a g e n t 端通讯模块传输实时策略，a g e n t 端的通讯a g e n t ( c a ) 负责接收实 时策略并传输到本地策略库中，作为a g e n t 端中监测a g e n t ( m a ) 的工作依据。监 测a g e n t ( m a ) 通过本地策略库中获得的实时策略在本地自动执行。本系统的通讯 协议是采用t c p i p 标准协议。 通过上述对分布式网络监测系统工作原理的分析，我们知道在分布式网络监测 系统中控制端和配置端在该系统中起到信息交互和人机交互的作用。所有的监测策 略的实施都是由a g e n t 端完成，在分布式网络监测系统中充当非常重要的角色。 5 华北电力大学硕士学位论文 软件a g e n t 是一种处于不断变化、不确定的环境中，具有自组织能力( 表示a g e n t 能对外界的变化做出相应的变化) 、自适应性( 表示a g e n t 能够自己完成一定的工作 而不需要外界的干预) 的软件实体：另一方面，a g e n t 技术本身是为了解决分布式人 工智能问题而提出的，具有先天的分布特性。利用a g e n t 的这些特性，使得我们所 设计的a g e n t 端系统是一种能够主动地观察所处的环境，并在这些观察的基础上自 治地实施其行为的系统。与传统的集中式网络监测系统相比较，本系统是在本地根 据策略实施对客户机监测和管理的功能，从而大大减轻了控制端的工作负荷，不容 易出现中心管理部分的瓶颈问题。 2 4a g e n t 端功能模块设计 a g e n t 端具有自适应性、自组织的能力，a g e n t 端设计的主要功能是收到控制 端策略，并能把采集到的原始数据和记录自动上传到控制端以及a g e n t 端自动更新 等。 a g e n t 端系统工作原理，如下图2 - 3 所示，主要包括通讯a g e n t ( 以下简称： c a ) 、监测a g e n t ( 以下简称：m a ) 和策略库。c a ：系统和监测主机之间通信的桥梁， 主要负责接收和转发来自控制段、配置端和m a 的数据。并能更新被监测机器策略 库中的子策略。策略库：策略库中的子策略是以文件的形式存在，它是m a 工作的 依据。m a ：是系统的核心部件，主要功能是根据子策略所定义的规则来分析数据包， 截获数据包并生成记录和报警信息。 图2 - 3a g e n t 端j f 作原理图 由此可见，我们可以了解a g e n t 端的工作原理主要是通过c a 模块来完成的与 控制端的通讯，获得实时控制策略，并保存到本地策略库中。 6 华北电力人学硕士学位论文 2 5 软件a g e n t 端整体设计 2 5 1 软件a g e n t 端设计 2 5 1 1 功能模块设计 在a g e n t 端中，主要由通讯a g e n t ( 以下简称：c a ) 、监测a g e n t ( 以下简称：m a ) 和策略库三个模块组成。其中c a 是系统和被监测主机间通信的桥梁，主要负责接 收和转发来自控制端、配置端和m a 的数据，并能更新被监测机器策略库中的子策 略。策略库：策略库中的子策略是m a 工作的依据。m a 是a g e n t 端系统中的核心部件， 其主要功能是根据子策略所定义的规则来分析数据包、截获数据包并生成纪录和报 警信息。如图2 - 4 所示。 c a 】【一 t 自动更新模iji录信曩读模 j 报警信曩读取模j 1 一。， 卜眦端：护模块 | ，l 。l l 控制模块 策略库、 一 策略操作模块卜， 策略实施模块 i ， 网络监控模块 m a 图2 - 4m a 的功能模块实现原理图 从功能上讲，a g e n t 端系统中的核心部件m a 主要完成五个方面的任务： 自动更新任务：负责在检测到有更新版本时，自动进行a g e n t 端版本的下载、 更新并重启该a g e n t 端进程； a g e n t 端进程自保护任务：负责a g e n t 端本地进程的保护。在实现时采用了远 程线程实时监测的技术，即当本地a g e n t 端进程被强行关闭时，远程监测进程自动 重新启动a g e n t 端进程，达到自保护效果； 策略实施任务：a g e n t 端通过c a 中下载策略文件( 该策略是文本文件的格式) ， 保存到本地策略库，作为对被监测机器的工作依据。通过策略操作模块自动读取和 7 华北电力大学硕士学位论文 识别文件信息获得需要的数据后通知策略实施模块，然后策略实施模块对策略信息 进行分析并做出相对应的调用处理，即调用d l l 来执行策略； 控制功能任务：a g e n t 端中设计和使用了一个动态链接库，即网络监测d l l ， 在w i n d o w s 操作系统中，凡是与网络进行交互的进程都会调用w i n d o w s 默认的d l l 。 a g e n t 端d l l 程序会嵌入到被监测机器的操作系统内核，并插入到w i n d o w s 默认的 s p i 传输服务提供者之前，采用基于s p i 的包过滤来实现对被监测机器网络行为的 控制。当进程与网络进行交互时，会首先调用网络监测d l l 程序( 所有的具体控制 功能指令都封装在这个d l l 中) ，分析是否违反子策略并做出相应的处理。d l l 控制 模块对网络监测d l l 进行控制和数据交互。网络监测d l l 对网络程序进行网络连接 的监视和控制； 信息获取任务：负责获得被监测机器网络交互活动的信息( 报警信息和记录信 息) ，并通过配置端通讯模块在配置端界面显示信息，方便网络管理员实时管理。 凡是与网络进行交互的进程都会调用w i n d o w s 默认的d l l ，此时利用a g e n t 端d l l 程序插入到w i n d o w s 默认的s p i 传输服务提供者之前并嵌入到被监测机器的操作系 统内核中。那么，当进程与网络进行交互时先调用a g e n t 端d l l 程序，a g e n t 端d l l 实例会把这次交互信息写入内存映射文件中。例如：进程a 开启了一个聊天软件进 程，该进程调用的a g e n t 端d l l 实例就会把这次交互信息写入内存映射文件，a g e n t 端e x e 读出后，生成网络交互活动的信息并将该信息通过配置端通讯模块在配置端 界面显示。 2 5 1 2a g e n t 端的流程设计 当被安装在客户机上的a g e n t 端系统启动后，软件a g e n t 端系统的流程如图2 5 所示： 第一步：当a g e n t 端版本更新后，分布式系统下每台终端机都需要被更新，如 果是人工一台一台去操作则工作量大，那么系统主进程里设置了自动更新线程，当 终端机开启电脑以后自动检查是否有新版本的a g e n t 端，需要更新时，a g e n t 端自 动连接f t p ，下载最新版本，并结束远程监视线程的保护自动重新启动； 第二步：与控制端的连接。首先，主进程丌始运行后，立即调用功能函数初始 化s o c k e t 。与控制端建立连接； 第三步：为了防止有人蓄意破坏a g e n t ，创建保护线程远程监测主进程，当主 进程意外关闭时，保护线程自动重启主进程； 第四步：策略是a g e n t 端的工作依据。当管理员配置了新策略，a g e n t 端设定 3 分钟通过f t p 在控制端下载一次策略。主进程创建了下载f t p 文件线程，在线程 中创建事件。通过事件的超时返回来实现定时下载功能； 8 华北电力大学硕士学位论文 一主 创建策略更新线程 。一一。1 _ 。： ，一一一一l 一， 创建记录e 传线程 图2 - 5 软件a g e n t 端的流程图 第五步：当被监测机器与网络进行了交互，管理员需要实时了解该机器网络行 为。为此，需要a g e n t 端专门设置记录信息模块。当进程与网络交互时，a g e n t 端 d l l 实时将该次访问信息写入由a g e n t 端e x e 创建的内存映射文件，由e x e 程序读 取后发送至管理员处，帮助管理员即使调整决策。 2 5 2a g e n t 端中d l l 程序设计 分布式网络监测系统对网络数据包的拦截是a g e n t 端在本地完成的。这也是分 布式网络和集中式监测系统的不同之处。在a g e n t 端的监测a g e n t ( m a ) 模块中把 我们自己设计的网络监测d l l 嵌入到被监测客户端的系统中，并插入到s p i 传输服 务提供之前，通过截获s o c k e t 函数并利用h o o k 技术完成对w i n d o w s 默认s o c k e t 函数的替换，实现数据包在被监测机器本地的拦截与放行。 网络监测d l l 是a g e n t 端完成对被监测机器网络行为的主要角色。 9 华北电力入学硕士学位论文 2 6 动态链接库编程原理 w i n d o w s 系统平台上提供了一种有效的编程和运行环境，可以将独立的程序模 块创建为较小的d l l ( d y n a m i cl i n k a b l el i b r a r y ) 文件，并可对它们单独编译和测 试。在运行时，只有当e x e 程序确实要调用这些d l l 模块的情况下，系统才会将它 们装载到内存空间。这种方式减少了e x e 文件的大小和内存空间的需求，而且使这 些d l l 模块可以同时被多个应用程序使用。m i c r o s o f tw i n d o w s 自己就将一些主要 的系统功能以d l l 模块的形式实现。例如i e 中的一些基本功能就是由d l l 文件实 现的。它可以被其它应用程序调用和集成。 一般来说，d l l 是一种磁盘文件( 通常带有d l l 扩展名) ，它由全局数据、服务 函数和资源组成，在运行时被系统加载到进程的虚拟空间中，成为调用进程的一部 分。如果与其它d l l 之间没有冲突，该文件通常映射到进程虚拟空间的同一地址上。 d l l 模块中包含各种导出函数，用于向外界提供服务。w i n d o w s 在加载d l l 模块时 将进程函数调用d l l 文件的导出函数相匹配。 2 7 小结 本章阐述了分布式网络监测系统的系统架构。根据分布式网络监测系统的系统 结构与工作原理设计三个子系统。同时，阐述了控制端、配置端和a g e n t 端模块的 设计方案以及每个模块的功能。 1 0 华北电力大学硕士学位论文 第三章信息内容监测关键技术 3 1 网络数据内容还原 网络数据的内容还原与分析是网络信息内容监测系统的核心模块之一。网络数 据经分流，存储后，在存储系统中仍以二进制比特流的形式存在，需要通过应用协 议还原进行下部一步分析，把这些比特流信息还原成文本，多媒体等信息，从而对 数据的内容进行下一步的分析。 网络数据的内容还原与解析涉及到t c p i p 数据包的重组、应用协议还原等【3 】。 其还原流程如图3 一l 所示。 图3 - 1 网络数据还原流程图 捕获的网络数据首先需要由t c p i p 协议还原模块，进行u d p 数据包的数据集 及t c p 数据包的重组，这是一个模拟t c p i p 协议栈的过程，得到重组后的u d p 数 据报或t c p 数据流后，通过u d p 或t c p 协议栈特定域的信息进行应用协议判断，然 后分别调用相应的应用协议还原解析模块进行信息内容还原，最后各应用协议还原 解析模块把还原生成的信息交由内容分析模块进行分析，生成最终的结果。下面举 例说明h t t p 协议和s m t p 协议的还原。 华北电力大学硕士学位论文 3 2t c p ip 协议还原 在t c p i p 协议中，应用协议数据包采用u d p 协议或t c p 协议，对于u d p 协议， 由于其乱序的特点，需要在数据包重组模块中为其每一个应用会话建立链表对到来 的数据包进行排序，然后才能交由应用协议还原模块处理。但由于u d p 协议的无连 接性，它的数据包重组相对比较简单。 对于t c p 协议，由于其面向连接，因此在数据包重组模块中需要如图3 - 2 的t c p 连接状态图建立t c p 协议有限状态机对数据包进行重组。 2 m s l 留| 1 l 1 z 由父f ，f + 波嘲鬈一的d 常砭迁 说刚姒锌嚣f f , j i i ：错食辽 j 西蚪l 避& ：辽嘲4 一h i 执钆w 种攘f 。时发t - 的状卷蹙辽 i 孜：澄i j 峻刊t c p ) i i 量汲扶怠的变迁 踅：议i 归为j 远j j 辘个状念蹙征餐艇远的i ，( 嘲史段 图3 2t c p 连接状态图 1 2 华北电力大学硕士学位论文 在l i b n i d s 中，定义了n i d sj u s te s t , n i d sd a t a ，n i d sc l o s e ， n i d sr e s e t , n i d st i m e do u t 五个状态分别表示t c p 连接中的连接建立，数据 传输，连接关闭，连接复位，连接超时等状态。由于内容监测系统监测的是已经存 在的数据流，因此对t c p 连接中的关闭等待等状态下不需要进行检测，从而一定程 度上简化了数据包重组的过程。 3 3 应用协议还原 3 3 1 整体框架 在网络数据经过l i b n i d s 重组后，得到u d p 数据报或重组后的t c p 数据包，然后 对重组后的u d p 数据报或t c p 数据包进行应用协议分析。下面以t c p 数高速网络数 据的存储及内容监测据连接为例，说明应用协议还原的框架。捕获的网络数据中包 含着各种各样的应用协议，并且在一段时间内存在多个t c p 连接，这意味着进行协 议还原时，必须同时处理多个应用协议，在某类应用协议中必须同时处理多个t c p 连接。由图3 - 4 可知，在t c p i p 数据包重组中，由于数据流的特点，不能采用并 行或并发处的方式对网络数据进行处理。在处理某种协议时，其他协议的处理不能 并发执行，因此，各种应用协议的处理模块的效率将影响到其他协议还原。 根据“木桶原理”，各种协议还原模块中，效率最低的模块将成为整理效率的 瓶颈。假设各类应用协议还原的效率p t ，i 是协议的种类编号，应用协议还原模块 的整理效率为p ，则有 p = m i n ( p l ，p 2 ，p 3 ，p 。) ) ，n 为应用协议的种类 因此，协议还原模块需要提高各类应用协议还原的效率，从而提高整体的效率。 本文通过引入“守护线程”，来实现各类协议还原的多线程并发执行及资源回 收，提高了系统的整体性能。其框架流程如图3 3 所示。 “守护线程”的概念借鉴至l i n u x 操作系统中的守护进程概念，守护进程是指 生存期长的一种进程。它们独立于控制终端并且周期性的执行某种任务或等待处理 某些发生的事件，它们一般随着操作系统的启动而启动，在操作系统停机时才终止。 本文中的守护线程j 下如守护进程，它随着协议还原分析模块的启动而启动，在所有 应用协议还原关闭后才终止，其生存期为协议还原模块的生存期。 守护线程主要有如下三个功能： 管理应用协议子线程：通过线程通知模块与协议子线程通信； 回收资源：通过资源回收模块实现； 1 3 华北电力大学硕士学位论文 进入某协议处理模块 图3 3 应用协议处理 控制线程个数，通过线程注册实现线程个数的控制，防止线程数太多导致系 统性能下降。守护线程的引入，使得同一个应用协议连接中的每一个t c p 数据连接 都有机会在线程中处理，从而避免了由于该应用协议的处理效率成为系统的瓶颈。 当数据连接无法在子线程中处理时，应用协议模块把其放在主线程中处理，从而保 证了数据分析的顺利进行，提高了系统的可靠性。 采用守护线程的应用协议内容还原模块以“子线程为主体，主线程为后备 为 原则进行数据处理，其数据处理流程为：重组后的t c p 数据流经过协议判断模块进 入相应的应用协议还原模块，具体应用协议还原模块根据具体的应用协议对数据包 1 4 华北电力大学硕士学位论文 进行预处理后，根据内部维护的连接信息判断该连接是否为新连接，如果不是新连 接，接着判断是否存在处理该连接的线程存在，若处理该连接的线程存在，则把预 处理后的数据写入数据共享区中，以便应用协议子线程进行处理；若该连接为新连 接，或不存在处理该连接的子线程，则首先向守护线程申请线程注册，若注册不成 功，则该数据包放在该协议还原模块的主线程中处理，否则创建子线程，若子线程 创建不成功，则在主线程中处理该数据包，否则把数据包写入与子线程通信的数据 共享区中。应用协议子线程在被创建后，以阻塞模式等待数据的到来，然后读取并 进行处理，当子线程收到数据处理完毕或连接断开、连接超时信息时，它以注册的 i d 通知守护线程，并退出自身的执行。守护线程在收到子线程的终止通知后，负责 回收子线程的资源及线程注册i d 等资源，以供新的子线程使用。 在守护线程中，为了提供子线程注册，注册i d 回收及线程通知功能，在其内 部维护了四个链表：v a l i dl i s t ，r e g i s t e rl i s t ，n o t i f yl i s t ，其中v a l i dl i s t 保存可用的注册 i d 号，在某数据连接申请注册子线程时，若v a l i dl i s t 链表为空，则注册申请失败， 否则从该链表中分配并返回一个i d 号，同时把该i d 号放入r e g i s t e rl i s t 链表中保存 了已注册并且正在运行的子线程的注册信息，守护县城通过该链表维护协议还原数 据处理的完整性；n o t i f y中保存已经停止并还未回收资源的注册id，守护线程1ist 通过检查该链表实现对已停止子线程的资源回收，并把该链表中的注册i d 回收至 v a l i dl i s t 中，以供新子线程注册时使用。 本节下面以h t t p 协议还原来说明应用协议还原的具体过程。 3 3 2 h t t p 协议还原 3 3 2 1 h t t p 协议的工作原理 h t t p 协议是从w w w 服务器传输超文本到本地浏览器的传送，它采用b s 模式， 是基于请求响应模式的。一个客户机与服务器建立连接后，发送一个请求给服务 器，请求方式的格式为，统一资源标志符、协议、版本号，后边是m i m e 信息包括 请求修饰符、客户机信息和可能的内容。服务器连接到请求后，给予相应的响应信 息，其格式为一个状态行包括信息的协议、版本号、一个成功或错误的代码，后面 是m i m e 信息包括服务器信息、实体信息和可能内容。其工作模型如图3 - 4 所示1 2 5 】。 客户程序向服务器发送的请求可以有不同的类型，这样服务器可以根据不同的 请求类型进行不同的处理。在h t t p l 0 中，定义了三种最基本的请求类型，g e t 、 p o s t 、和h e a d ，客户程序用大写指令将请求发送给服务器，后面跟随具体的数据。 1 5 4 此l b 力人学硕f 学位论文 客p 机 w e b 服务器 图34h t t p il f l 模式 g e t 请求最为常见，它后面跟随一个网页的位置服务器接受请求并返回其请 求的页面。除了页面位置作参数之外请求还町以跟随怫议的版本和h t t p 10 等 作为参数，以发送给服务器更多的信息。p o s t 请求要求服务器接受大量的信息，除 了p o s t 后面跟随的参数之外，浏览器还会在后面持续发送数据，让服务器进行处 理。通常，p o s t 方法是和c 61 程序分不开的，服务器应该启动一个c g i 程序来处理 p o s t 发送来的数据。h e a d 请求在客户程序和服务器之问进行交流，而不会返回具 体的文档。当使用g e t 和p o s t 方法时，服务器晟后都将结果文档返回给客户程序， 浏览器将刷新显示。而h e a d 请求则不同，它仅仅交流一些内部数据，这些数据不 会影响浏览的过程。因此 l e a d 方法