（通信与信息系统专业论文）基于网络信息内容的分析还原系统研究与实现.pdf

中文摘要 中文摘要 摘要： 随着互联网技术的飞速发展以及互联网络的广泛使用，人们通过网络进行信 息交互的方式日益增多，交互的信息内容也日趋复杂，网络信息内容的安全问题 面临着严峻的挑战。在这种情况下基于网络信息内容的监管成为一个研究的热点。 目前基于网络信息内容的监管主要针对发布的各种网络资源，随着各种应用服务 的f 1 益丰富，对基于网络应用服务的信息内容进行监管也势在必行。网络信息内 容的监管主要依靠数据捕获、协议分析、内容分析还原等网络安全技术对网络中 传输的数据进行获取、分析并还原，从而及时有效的对非法信息进行阻断。 本文根据网络信息内容监管的实际需求，在对各种相关技术进行深入研究的 基础上提出了一种基于网络信息内容的分析还原系统，该系统从功能上划分为信 息过滤与捕获、协议分析、会话分类整理以及内容分析还原等四个模块，能够实 现网络数据的实时捕获，并以文件形式进行保存；能够对捕获文件中所有的数据 完成协议分析工作，并根据协议分析结果将数据归入相应的会话和连接中；能够 对各会话和连接进行内容分析，重点针对s m t p 邮件发送服务、p o p 3 邮件接收服 务以及m s n 即时通讯服务进行交互信息的还原，并对还原结果进行存储，从而及 时发现非法信息的传播，为信息监管提供依据。 本文在对基于网络信息内容的分析还原系统进行设计并实现的基础上，对系 统进行了相应的测试工作，并对后续的工作进行了展望。 关键词：信息捕获；协议分析；内容分析还原；s m t p ；p o p 3 ：m s n 分类号：t p 3 9 3 0 8 北京交通大学硕士学位论文 a bs t r a c t a b s t r a c t ： w i t ht h er a p i dd e v e l o p m e n to fi n t e r n e tt e c h n o l o g ya n dw i d e l yu s e do fi n t e m e t ， m o r ea n dm o r en e t w o r kt e c h n o l o g yc a nb eu s e df o r p e o p l et oc o m m u n i c a t ew i t he a c h o t h e ra n dm e a n w h i l et h ei n t e r a c t i o ni n f o r m a t i o nb e t w e e np e o p l eb e c o m e sm o r ea n d m o r ec o m p l i c a t e d t h u s ，t h es e c u r i t yo fn e t w o r ki n f o r m a t i o nc o n t e n ti sc o n f r o n t e dw i t h c h a l l e n g e s i nt h i ss i t u a t i o ni n f o r m a t i o nc o n t e n ts e c u r i t yp r o b l e mb e c o m e sah o ts p o ti n n e t w o r ks e c u r i t yr e s e a r c h n o wt h es u p e r v i s i o no nn e t w o r ki n f o r m a t i o nc o n t e n t m a i n l y f o c u s e so nt h el e g a l i t yo fn e t w o r kr e s o u r c e s w i t ht h et h eg r o w i n gn u m b e ro ft h e v a r i o u sa p p l i c a t i o ns e r v i c e s ，m o n i t o r i n gt h ei n f o r m a t i o nc o n t e n to f a p p l i c a t i o ns e r v i c e s i sat r e n d d a t ac a p t u r et e c h n o l o g y , p r o t o c o la n a l y s i st e c h n o l o g ya n di n f o r m a t i o n r e c o v e r yt e c h n o l o g ya r eu s e dt om o n i t o rt h en e t w o r ki n f o r m a t i o nc o n t e n t t h r o u g h u s i n gt h et e c h n o l o g ya b o v e ，w ec a nc a p t u r e ，a n a l y z ea n dr e c o v e rt h ed a t at r a n s p o r t e di n t h en e t w o r kt od e t e c ta n d i n t e r c e p tt h ei n v a l i di n f o r m a t i o n t h i sp a p e rd o e ss o m er e s e a r c ho nt h er e l a t e dt e c h n o l o g yo fn e t w o r ki n f o r m a t i o n c o n t e n ts u p e r v i s i o no nt h eb a s i so ft h ea c t u a ln e e d so ft h en e t w o r ke n v i r o n m e n t ，a n d d e s i g n e san e t w o r ki n f o r m a t i o nc o n t e n ta n a l y s i sa n dr e c o v e r ys y s t e m t h i ss y s t e mi s d i v i d e di n t of o u rm o d u l e sa c c o r d i n gt ot h ef u n c t i o n ，w h i c hi n c l u d e si n f o r m a t i o nf i l t e r a n dc a p t u r em o d u l e ，p r o t o c o la n a l y s i sm o d u l e ，c o n v e r s a t i o ns o r tm o d u l ea n dc o n t e n t a n a l y s i sa n dr e c o v e r ym o d u l e t h i ss y s t e mc a l lc a p t u r et h er e a l t i m ep a c k e t si nt h e n e t w o r ka n dr e c o r dt h e mt ot h ec a p t u r ef i l e i tc a na l s oi m p l e m e n tp r o t o c o la n a l y s i sa n d c o n v e r s a t i o ns o r ta c c o r d i n gt ot h ea n a l y s i sr e s u l tf o re a c hp a c k e t m e a n w h i l et h es y s t e m c a nr e c o v e ri n t e r a c t i o ni n f o r m a t i o no fs m t ps e n d i n gm a i ls e r v i c e s ，p o p 3r e c e i v i n g m a i ls e r v i c e sa n dm s nc o m m u n i c a t i o ns e r v i c e s a f t e rr e c o v e r y , t h es y s t e mw i l ls t o r e t h er e s u l to ft h ec o n t e n tr e c o v e r yt od e t e c tt h ei n v a l i di n f o r m a t i o na ss o o na sp o s s i b l e , w h i c hp r o v i d e se v i d e n c e st ot h en e t w o r ks u p e r v i s o r o nt l l eb a s i so fd e s i g na n di m p l e m e n t a t i o no fn e t w o r ki n f o r m a t i o nc o n t e n ta n a l y s i s a n dr e c o v e r ys y s t e m ，t h ep a p e rc o m p l e t e st h es y s t e mt e s ta n dt h ep r o s p e c ti sg i v e nf o r t h ef u r t h e ri m p r o v e m e n to ft h es y s t e m k e y w o r d s ：i n f o r m a t i o n c a p t u r e ；p r o t o c o la n a l y s i s ；c o n t e n ta n a l y s i sa n dr e c o v e r y ； s m t p ；p o p 3 ；m s n c i a s s n o ：t p 3 9 3 0 8 北京交通大学硕士学位论文 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研 究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得北京交通大学或其他教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 学位论文作者签名：签字日期： 沙雷7 年b 月硼日 学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国 家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 导师签名房卜 签字日期：叼年b 月沙日签字日期：p 尸年6 月泸日 致谢 本论文的工作是在我的导师秦雅娟副教授、苏伟老师以及刘颖老师的悉心指 导下完成的。秦雅娟副教授严谨的治学态度和科学的工作方法给了我极大的帮助 和影响。在平时的学习生活中秦老师时时关心着我，在治学和做人方面时时影响 着我，让我受益匪浅。在此衷心感谢两年来秦雅娟老师对我的关心和指导。 苏伟老师和刘颖老师悉心指导我完成实验室的科研工作，在学习上和生活上 都给予了我很大的关心和帮助。当我在科研过程中遇到任何问题时，他们都会耐 心的跟我讨论，教会我很多思考问题的方法，培养了我解决问题的能力，在此向 苏伟老师和刘颖老师表示衷心的谢意。 同时还要感谢实验室的张宏科教授、张思东教授、周华春老师、高德云老师、 郜帅老师，他们在方方面面都给了我很大的帮助，在学习和生活中给予了我很大 的关心，在这里要衷心感谢他们。 在实验室工作及撰写论文期间，万明、郑海涛、姚姜源、焦延杰、刘牧寅等 同学对我的学习和科研工作提供了很大的帮助，在此向他们表达我的感激之情， 大家共同形成的学习和科研氛围对我有很大的推动作用。 另外也感谢我的家人和朋友，他们的每一点关心和支持都是我进步的动力。 最后感谢所有帮助我的人，祝愿我的老师、同学、家人以及朋友们身体健康、 工作顺利、事事如意! 引言 1 引言 本文在对数据捕获机制、信息内容分析还原技术以及计算机网络应用层协议 进行分析说明的基础上，设计并实现了一个基于网络信息内容的分析还原系统， 从而能够对网络中传输的数据进行监管，及时发现并阻止非法信息的传播，并对 数据源进行进一步的跟踪，最终达到维护互联网络健康发展的目的。 1 1 选题背景及意义 随着网络技术的飞速发展和应用的不断深入，互联网已成为人们日常生活中 不可或缺的一部分，时至今日，互联网已经从一个学术和军事的专用网络演变为 全球最为重要的信息基础设施，它的发展不仅为人们的日常生活带来日新月异的 变化，也对政治、经济、文化、教育等诸多领域产生深远影响。然而随着网络规 模的扩大、带宽的增长、用户数量的急剧暴涨以及网络技术的逐步发展，互联网 所面临的安全问题也日益严峻。网络安全问题越来越成为关注的焦点。 目前对网络安全问题的关注普遍来自于外部的攻击和威胁，如病毒传播、非 授权访问、拒绝服务攻击、数据完整性破坏等。然而随着互联网海量信息的广泛 传播，网络信息内容的安全问题也日益成为研究的热点。现如今，基于网络信息 内容的安全问题严重威胁着互联网的健康发展，如利用网页、电子公告栏等传播 有害信息，泄露国家机密；利用电子邮件发送有害信息、发送垃圾邮件；利用即 时通讯工具进行有害信息的交互等。这些安全问题的出现严重阻碍了互联网的文 明建设，甚至对国家的安全和社会的稳定产生巨大的威胁。 在这种情况下，对网络信息内容的监管迫在眉睫。目前各国都纷纷采用各种 方法不断加大对网络信息内容的监管力度，力图通过立法、自律及技术等手段来 加强对网络信息内容的管制，因此对基于网络信息内容的分析还原技术也越来越 成为研究的热点。通过对网络中传输的信息进行监测并进一步对信息内容进行分 析和还原，可以实时发现网站及论坛中不良信息的传播，发现利用电子邮件及即 时通讯工具等方式进行的有害信息交互等，进而对网络中的有害及敏感信息进行 全面清理，对发送有害信息的源进行追踪，阻断进一步的有害行为，从而实现对 互联网传播内容的有效管理及规范。 随着网络技术的发展和不断成熟，网络信息内容的安全问题也呈现出多样化 的特点，基于网络信息内容的安全技术也必须更加完善，才能有效应对各种安全 威胁，从而发挥网络内容监管的强大作用，对互联网上的信息内容进行自动审查、 北京交通大学硕士学位论文 过滤，防止不良信息的随意传播，达到规范网络、推进网络健康文明发展的目的。 1 2 国内外研究现状 随着互联网海量信息的广泛传播，基于网络信息内容的安全问题愈发突出。 由于网络信息内容所涉及的范围极为广泛，包括政治、经济、文化、教育等社会 的方方面面，因此信息内容安全问题的出现必然对社会及国家造成巨大的危害。 目前，世界各国都不断加大网络信息内容的监管力度，一方面通过立法、自律教 育等方式从思想道德层面入手，另一方面也依靠网络检测、内容分析还原等网络 技术手段对网络传输的数据进行监管。 国外各国家都积极采取各种技术手段和措施来应对基于网络信息内容的安全 问题。2 0 0 1 年1 0 月2 2 日，美国三大互联网公司美国在线、微软m s n 和雅虎表示 他们将采用自动网络内容评估系统对各种来源的内容进行评估，使网站内容符合 用户浏览和访问的要求。自1 9 9 6 年以来，万维网联盟w 3 c ( w o r l dw i d ew e b c o n s o r t i u m ) 组织就一直致力于开发互联网内容选择平台p i c s ( p l a t f o r mf o ri n t e m e t c o n t e n ts e l e c t i o n ) 规范及其相关标准，目前国际通用的分级标准主要有两个，分别 是r s a c i ( r e c r e a t i o n a ls o f t w a r ea d v i s o r yc o u n c i l ) 和安全浏览系统s a f e s u r f , 它们均 符合p i c s 规范【i 】。另外在反垃圾邮件方面，世界各国都加强了立法，美国的限 制垃圾邮件法、日本的反垃圾邮件法等都对垃圾邮件的发送者制订了严厉 的惩罚措施，各国政府和相关组织机构在反垃圾邮件方面合作日益密切。 中国在网络信息内容的安全问题上也十分重视，基于网络信息内容的安全技 术越来越成为一个研究热点。我国每年都要召开网络信息内容安全研讨会，针对 信息内容的安全问题进行广泛讨论和交流。 国内在网络信息内容安全技术方面的研究也是非常积极的。例如陈训逊、方 滨兴、胡铭曾等在一个网络信息内容安全的新领域网络信息渗透检测技术 【2 】中提出了网络信息渗透检测技术的概念，并构建了完整的研究模型和总体框架， 从而有效检测网络信息渗透现象，更好的对网络信息进行管理。 华南理工大学的刘娇蛟、贺前华在基于内容标记的网络信息内容监管方法 及实现【3 】中提出内容标记法，通过对发布的信息内容用元数据进行主动标记，信 息网关即可进行后续的审查、判断和过滤。 李方敏、周祖德、刘泉等在基于l i n u x 的网络信息内容分析与监管技术【4 1 中提出了对文本、话音及图像等内容的识别技术，重点针对非法v p n 的发现和拦 截进行研究，并对相应的算法进行了设计和实现。 李建华在信息内容安全分级监管的体系架构及实施探讨【5 】中提出了主动监 2 引言 管和被动监管的概念，从信息源和信息流量两方面入手，实现主动监管与被动监 管的共同作用。 在对垃圾邮件的处理方面，中国互联网协会“反垃圾邮件协调小组 推出了 中国互联网协会反垃圾邮件规范，建立“反垃圾邮件举报处理平台，各种 与反垃圾邮件相关的立法也相继推出。与此同时，各个网络安全公司也相继推出 基于网络信息内容检测与分析的安全产品，并不断针对相关技术进行研究。 由上可以看出国内外在网络信息内容的安全方面都给予了很大的关注，也做 了很多相关的工作，但可以看到对于网络信息内容的研究还处于起步阶段，研究 内容主要集中在对于w e b 信息的监控方面，而对于各种互联网应用服务的分析还原 与监管则很少涉及，各网络安全公司在此类安全产品方面的开发也比较缺乏。本 文在对信息内容检测与分析技术进行深入研究的基础上设计并实现了一种基于网 络信息内容的分析还原系统，该系统不仅针对w e b 信息，更针对网络中频繁使用的 各种上层应用服务进行分析和还原，从而拓宽了网络信息内容监测的研究范围， 更有效的应对基于网络信息内容的安全问题，不断推动互联网的健康发展。 1 3 论文主要工作 本文在深入理解网络信息内容安全的基础上，理论联系实际，设计并实现了 基于网络信息内容的分析还原系统。论文的主要工作是对基于网络信息内容的分 析还原技术进行全面的研究，在此基础上设计并实现该系统，并完成系统测试的 工作。本文共分为六章，各章的主要内容如下： 第一章引言，阐述了选题背景及意义，对网络信息内容的安全技术进行概述， 并具体说明了国内外在该领域的研究现状。 第二章概述了网络信息内容的定义，对相关的安全技术进行具体说明并阐述 其工作原理，为系统总体设计的提出奠定基础。 第三章按照功能需求对基于网络信息内容的分析还原系统进行设计，包括系 统总体框架的设计以及各个模块的设计。 第四章详细阐述了基于网络信息内容的分析还原系统的实现方法，对各个模 块的实现流程予以详细说明。 第五章阐述了基于网络信息内容的分析还原系统的测试过程，对测试环境和 各模块的测试方法进行了说明，并给出了测试结果。 第六章对论文工作进行了总结，并对技术进行了展望。 北京交通大学硕士学位论文 2 网络信息内容分析还原系统基本原理 在上一章中对基于网络信息内容的安全问题以及相应的研究成果进行了阐 述，随着互联网信息传输的日益广泛，基于网络信息内容的安全问题需要得到更 多的关注。 本章对网络信息内容安全的定义以及相应的技术原理进行介绍，重点针对信 息捕获与过滤技术、协议分析技术以及信息内容还原技术等进行原理上的说明， 对相应的实现机制进行阐述。 2 1 网络信息内容安全的定义 随着互联网规模的不断扩大以及使用人数的急剧增加，网络所传输的信息内 容也越来越丰富，除了传统的文本信息外，还包括图像、声音、多媒体流等内容， 这些信息为人们之间的交互提供了更为生动直观的方式，但就信息内容的安全问 题而言，却为有害信息的过滤增加了很大的难度。 与此同时，人们使用互联网进行信息交互的方式也呈现多样化的趋势，从传 统的通过网页发布与接收信息形式到现在的可以通过邮件、即时通讯软件等方式 进行信息的交互，这种形式的多样化也为网络信息内容的安全防护带来了困难。 综上所述，基于网络信息内容的安全需要针对网络中多种类型多种形式的信 息进行分析并审计，通过对信息内容的审查来判断信息的合法性，从而能及时有 效的对网络中传输的有害信息进行发现，并进一步采取相应的措施对信息源进行 拦截，达到净化网络信息内容的目的【6 1 。 2 2 网络信息内容安全的基本原理 根据上述定义，为了及时有效的对网络中传输的有害信息进行发现并拦截， 必须在网络中设置网络信息内容的监管系统。由于在网络通信的过程中，通常采 用客户端服务器的通信模式，即客户端通过连接服务器向服务器发出资源或服务 请求，服务器对该请求进行应答，若服务器接受请求，则开始双方的信息交互， 最后完成一次网络通信过程。 因此，对网络信息内容的监管可以从客户端入手，对用户的信息访问和信息 发送进行监察和限制，阻止用户访问非法有害信息，并阻止用户对有害信息进行 发送、上传等行为。内容监管也可以从服务器端入手，对服务器发布的信息内容 4 网络信息内容分析还原系统基本原理 及对外提供的服务进行审查，从而切断有害信息源的传播。此外，内容监管还可 以从客户端到服务器的通信过程入手，对通信过程中传输的交互信息进行审查， 对包含有害内容的信息进行分析，对信息源进行追踪，并进一步完成拦截的工作。 在上述监管模式中，无论是从服务器入手还是从客户端入手，都存在着局限 性。因为在这两种方式中，监管系统需要对每一台客户端或服务器进行审查，而 网络中的客户端和服务器数量非常庞大，故在实现上是不可行的。同时，要对某 个网络中的客户端或服务器进行检测则必须获取该网络的访问管理权限，这也为 监管的实施增加了难度。因此，无论从可行性还是实施性方面来说，针对客户端 到服务器的通信过程进行监管都是网络信息内容监管的最佳模式。本文所设计的 基于网络信息内容的分析还原系统就采用此监管模式。 从网络信息内容安全的实施方法上来说，目前主要有两大类，一类是分析还 原法，通过捕获传输信息并进一步对信息进行协议分析和内容上的还原，从而发 现包含非法内容的信息，并对此进行进一步的处理；另一类是内容标记法p j ，由互 联网内容提供商i c p ( i n t e r n e tc o n t e n tp r o v i d e r ) 对信息内容进行归类分析，采用标签 技术对信息内容进行主动标识，从而为后续的监管提供依据。 2 3 网络信息内容分析还原的关键技术原理 要完成对网络信息内容的安全分析与监管，就离不开信息捕获、协议分析、 信息内容还原等技术。下面针对这些技术分别进行原理上的论述。 2 3 1信息捕获与过滤技术 在对网络信息内容进行分析之前首先要获得传输的每一个数据包，这就需要 用到信息捕获技术，该技术通过网卡对网络中传输的信息进行捕获，经系统内核 提交至上层程序进行进一步处理。因此，信息捕获的过程也是网络信息从网卡经 过系统内核递交给上层应用程序处理的过程，数据包将经过网卡和内核处理最终 到达用户空间，并接受应用程序的一系列分析和处理。信息捕获的原理图如图2 1 所示。 北京交通大学硕士学位论文 对数据包进行进一步 处理和存储 l i b p c a p 访问分组捕获机制 实现数据包捕获 仆 操作系统提供的分组捕获机制 i 7 提交给内核窄间 网卡捕获数据包 数据包到达网卡 用 户 空 间 内 核 空 间 网 卡 图2 1 信息捕获原理图 。 f i g u r e 2 1i n f o r m a t i o nc a p t u r ei l l u s t r a t i v ed i a g r a m ( 一) 信息捕获机制 以太网数据传输通过广播实现。在正常情况下应用程序只接收以本机为目标 主机的数据包，要捕获到不属于自己主机的数据，需要将网卡的工作模式置于混 杂模式，使其可以对网络上所有的数据包进行监听和捕获。 网卡在捕获到数据包之后会对数据包进行一系列处理，最后提交给内核进行 后续处理。网卡对数据包具体的处理过程7 】如图2 2 所示。 数据包到达网卡 d m a 方式 传输到网卡驱 动程序缓冲环 硬件中断 中断处理程序 封装数据 存入等待队列 置软中断标志位 软中断 软中断处理程序 处理数据包 放入s o c k e t 队列 提交给l i n u x 内核 图2 2 网卡工作原理图 f i g u r e 2 2n e t w o r ki n t e r f a c ec a r di l l u s t r a t i v ed i a g r a m 6 网络信息内容分析还原系统基本原理 数据包到达网卡后以d m a ( d i r e c tm e m o r ya c c e s s ) 方式传送到网卡驱动程序 的缓冲环中，同时产生一个硬件中断，从而进入到中断处理程序中。中断处理程 序对接收到的数据包进行封装及相关处理并放到等候队列中，同时置软中断标志 位，完成上述操作后就从中断处理程序中返回，继续等待下一个数据包的到来。 软中断处理程序对等待队列中的数据依次进行分析，根据不同数据包的类型调用 不同的函数对数据包进行处理，最后将经过处理的数据包放到s o c k e t 等待队列中， 并通知上层有数据包到达。 ( 二) 内核过滤机制 数据包过滤机制是指通过设置一系列的过滤条件，只对满足过滤条件的数据 包进行捕获，其他数据包则做丢弃处理。数据包过滤机制是数据捕获技术中必不 可少的一环，通过数据过滤，不仅可以提高数据捕获的性能，避免大流量的非目 标数据导致的丢包现象，同时也为针对重点怀疑对象的进一步追踪提供了可能和 方便。 数据包过滤可以在用户空间执行，也可以在内核空间执行，但由于数据包从 内核空间到用户空间需要经过系统调用，从而造成很大的开销，所以在内核空间 进行数据包过滤会极大的提高捕获的效率。 b s d 分组过滤器b p f ( b e r k e l e yp a c k e tf i l t e r ) 8 】【9 】是一种常见的数据链路层访问 方法，用于在链路层过滤数据流，其设计目的主要是解决过滤机制效率低下的问 题，许多版本的u n i x 和l i n u x 平台上的数据捕获都是基于b p f 开发的。 b p f 具备强大的过滤功能，能预先对数据包进行过滤，仅将需要的数据包传 递给上层，从而大大提高运行性能。同时它具备缓存机制，每个b p f 都有一个缓 存，如果过滤器判断接收某个包，b p f 就将它复制到相应的缓存中暂存起来，等 到有足够的数据后再一起提交给用户进程，从而提高效率【l o 】。 b p f 的工作步骤如下：当一个数据包到达网络接口时，数据链路层的驱动程 序会将该包传送至系统的协议栈。但如果b p f 监听接口，则驱动程序首先调用 b p f ，将数据包传送至过滤器中进行规则匹配和过滤。在b p f 过滤完成之后设备 驱动再次获得控制权，将数据包传送至上层协议。b p f 的实现机制如图2 3 所示【。 7 北京交通大学硕士学位论文 l 割2 - 3b p f 实现秽【带9 f i g u r e 2 3b p fi m p l e m e n t a t i o nm e c h a n i s m b p f 机制由两部分组成【8 】：网络分接头( n e t w o r kt a p ) 和数据过滤器r ( p a c k e t f i l t e r ) ，网络分接头用于从网络设备驱动程序中收集数据的拷贝，而过滤器则用于 将数据包与过滤规则匹配。b p f 过滤器收到网络分接头发来的数据包后，根据用户 定义好的过滤规则对数据包进行逐一的匹配，将符合过滤规则的数据包放入内核 缓冲器，并传递给用户层缓冲器，等待应用程序对其进行处理，不符合过滤规则 的数据包就被丢弃。如果没有设定过滤规则，所有的数据包都将被放入内核缓冲 器中并交由上层进行处理。完成上述工作之后链路层驱动将重新获得控制权，判 断该数据包是否是发给本机的。如果是，则驱动程序会再将它提交给系统的协议 栈，否则网卡驱动程序从中断返回，继续接收下一个数据。 上述b p f 过滤机制是基于b s d 系统的。在早期的l i n u x 系统中要读取数据链 路层分组需要创建s o c kp a c k e t 类型的套接口，但是s o c kp a c k e t 方式的 l i n u x 不支持内核过滤机制，因此过滤只能在用户空间执行，从而降低了捕获的效 率。l i n u x 在2 2 及以后的内核版本中提供了一种新的协议簇p fp a c k e t 来实 现捕获机制，从而使l i n u x 在p fp a c k e t 类型的s o c k e t 上支持内核过滤机制。 l i n u x 内核将l p f ( l i n u xp a c k e tf i l t e r ) 过滤器放到p fp a c k e t 类型s o c k e t 的处 理过程中，过滤器在网卡接收中断执行后立即执行。l p f 是基于b p f 机制的，使 用l p f 过滤器的内核过滤机制【1 l 】【1 2 】如图2 _ 4 所示。 网络信息内容分析还原系统基本原理 图2 - 4 l p f 内核过滤机制 f i g u r e 2 - 4l p f k e r n e lf i l t e rm e c h a n i s m 包过滤机制实际上是针对数据包的布尔值操作，如果最终返回t r u e ，则通过 过滤，反之则被丢弃。包过滤由一个或多个与操作和或操作构成，每一个操作对 应了数据包的协议类型或某个特定值。包过滤机制的目的是使用最少的判断操作、 最少的时间完成过滤处理，从而提高过滤效率。 ( 三) l i b p c a p 实现原理 l i b p c a p 是一个与实现无关的访问操作系统所提供的分组捕获机僚, j0 0 分组捕获 函数库【1 0 】。l i b p c a p 为不同的系统平台提供了一致的编程接口，实现了对数据捕获 细节的封装。l i b p c a p 主要包括3 个部分：最底层针对硬件设备接口的数据包捕获机 制，中间层针对系统内核级的包过滤机制以及最高层针对用户程序的接口【1 3 】，由 此可见，l i b p c a p i 函数库为整个数据捕获的过程提供了与用户空间的接口。 在最底层，l i b p c a p 函数库提供了查询可用网络设备、打开网络设备、设置数 据捕获的参数状态等功能；在中间层，l i b p c a p 提供了对过滤字符串的编译、设置 内核过滤器、将b p f 代码载入过滤器、设置内核缓冲器等功能。l i b p c a p 在内核中 使用两个缓冲器【1 3 】：存储缓冲器和保持缓冲器。存储缓冲器用来保存通过过滤器 的数据包，保持缓冲器则用来向用户提供数据。当数据包通过过滤器后，被不断 的放入存储缓冲器，同时用户程序调用函数不断从保持缓存器中取数据。当存储 缓冲器满并且保持缓冲器为空时，l i b p c a p 将它们进行交换，继续重复上面的动作。 在最高层，l i b p c a p 设置了用户缓冲区来接收从内核传递到用户空间的数据。 9 北京交通大学硕士学位论文 2 3 2 协议解析与存储技术 协议【1 4 】是控制两个对等实体进行通信的规则的集合。t c p i p 体系结构简化了 开放系统互连参考模型( o s i r m ) 的七层结构，将网络体系划分为四层，由上至 下分别为应用层、传输层、网际层和网络接口层。分层结构保持了各层内部的高 内聚以及各层之间的低耦合，同时也为实现提供了方便。应用层的数据在发送到 网络上之前需要进行层层封装，每到达一个新的协议层，则要用该层的协议头对 数据进行封装。数据帧一般采用图2 5 的格式进行封装： l l 数据链路层头部 网络层头部传输层头部应用层头部 数据 i i 图2 - 5 数据帧封装格式 f i g u r e 2 - 5f r a m ee n c a p s u l a t i n gf o r m a t 协议分析的过程实际上是数据封装的逆过程。在信息捕获的基础上，对捕获 到的数据由底层至上层依次进行解析，底层的解析结果是上层解析的基础。协议 分析的原理如图2 - 6 所示。 图2 - 6 协议分析原理图 f i g u r e 2 - 6p r o t o c o la n a l y s i si l l u s t r a t i v ed i a g r a m 如图2 - 6 中所示，在接收到原始数据后，由于该数据是经过层层封装的，首先 读取数据链路层头部，针对该头部依照格式进行分析，提取相关信息以及网络层 协议类型，并进入到网络层头部的解析，根据刚才所判断的协议类型依照相应格 式进行解析。完成该层协议解析之后，进入到上一层，直至解析至应用层，从而 完成协议解析的过程。 通过协议解析，可以提取出各层协议的控制信息部分，从而了解正在通信的 1 0 网络信息内容分析还原系统基本原理 协议实体的地址和身份，以了解所传输数据的性质，掌握整个通信过程的具体情 况。在协议解析完成后，需要对解析的结果进行存储，由于采用层层解析的形式， 其解析的结果也是层层嵌套的，因此在存储时可采用树形结构对协议层次进行存 储，从而使整体协议层次清晰分明。 2 3 3 信息内容还原技术 信息内容的还原是指在协议分析的基础上，对应用层协议进行更为深入的分 析，并对应用层数据进行还原。应用层是网络体系结构的最高层，它作为计算机 网络与终端用户间的接口，为网络用户或应用程序提供完成特定网络服务功能所 需的各种应用层协议。常用的网络服务包括文件服务、电子邮件服务、打印服务、 域名解析服务、即时通讯服务、网络管理等，这些服务都是通过位于不同主机的 多个应用进程之间利用协议进行通信和协同工作，进而得以实现的。 大多数的应用层协议都是基于客户端月艮务器( c l i e n t s e r v e r ) 模式，客户端和 服务器实质上指的是通信过程中所涉及的两个应用进程，客户端作为服务的请求 方，服务器作为服务的提供方，二者通过信息交互过程来完成服务的实现。客户 端和服务器的交互过程如图2 7 所利1 5 】。 ， j 客户端1 、 w e b 客户歹 、r 请求l 响应 ：传输层 ： ；网际层j 咧络接口屠 ： 客户端3 j ；即时通讯； 、客户 r 。 请求i 响应 乎输层? 司 网络接口层 ：繁i 第i 祭 i 、r 一， 一 传输层： 网际层- i 呷络接口蓐 图2 - 7 客户端和服务器交互示意图 f i g u r e 2 - 7i n t e r a c t i o nb e t w e e nc l i e n ta n d $ e r y e _ l d i a g r a m 在进行信息内容的还原时，需要对客户端与服务器之间的交互信息进行分析， 根据各应用层协议的特定格式，对与传输内容相关的重点信息进行提取并进行内 北京交通大学硕士学位论文 容还原。还原的第一步需要进行会话和连接的整合。会话是指一个应用从开始对 话到结束对话的整个过程，连接是指从通信建立之后p 地址和端口号相同的一组 交互信息，同一个会话中可以包含多个连接。由于应用协议中所规范的交互标准 也是在实际应用中一个会话或一个连接的完成所遵循的交互标准，因此需要将属 于同一个会话或连接的数据整合在一起，根据协议规范对一个完整的会话或连接 进行分析。 在客户端服务器模式中，客户端通过向服务器发送消息来告诉服务器它所请 求的服务，这些消息一般是由命令组成的，同样的，服务器通过识别客户端发来 的消息来决定做出哪一类的回应。因此在进行内容分析时，需要通过对客户端命 令的识别来确定服务器返回内容的性质，同时也需要对服务器返回的信息进行还 原，从而得到信息所包含的具体内容。 2 3 4 数据库技术 数据库【l6 】是存储在一起的相关数据的集合，它可以按照数据结构对数据进行 组织、存储和管理。m y s q l 是一种开放源代码的关系型数据库管理系统，开发者 为瑞典m y s q l a b 公司，由于是开源的，用户可根据个性化的需要对其进行修改， 十分灵活。由于体积小、速度快、总体拥有成本低，目前m y s q l 被广泛地应用于 中小型网站中。 m y s q l 数据库系统是一个关系型数据库系统，使用最常用的结构化查询语言 s q l ( s t r u c t u r eq u e r yl a n g u a g e ) 对数据库进行管理。关系数据库将数据保存在不同 的表中，从而增加了处理的速度，同时提高了灵活性。与此同时，m y s q l 还具备 很好的可伸缩性，它可容纳多达6 0 0 0 0 个表，每个表可支持高达6 4 条索引。 2 4 本章小结 本章主要对基于网络信息内容分析还原的一些基本原理进行介绍。2 1 节和2 2 节主要对网络信息内容安全的定义以及对网络信息内容安全问题采取的解决方法 进行了介绍，2 3 节对网络信息内容分析还原技术的实现机制和原理进行阐述，重 点针对信息捕获与过滤技术、协议解析与存储技术、信息内容还原技术以及数据 库技术进行详细的说明，为系统设计和实现作铺垫。 下一章将对基于网络信息内容的分析还原系统的总体设计和各模块的详细设 计进行阐述。 1 2 基丁二网络信息内容的分析还原系统设计 3 基于网络信息内容的分析还原系统设计 基于网络信息内容的分析还原系统的设计【1 1 7 】【1 9 】是基于具体应用的需求，按照 软件开发设计的流程规范，制定详细的需求列表，并在此基础上对系统进行具体 的设计和实现。该系统在设计时采用了模块化的设计思想，保持了模块的高内聚 和模块之间的低耦合特性，同时对模块之间的接口进行了设计，保持模块之间联 系的紧密型。本章提出了系统的功能需求，并给出了系统的总体设计思想以及各 个模块的设计思想和设计流程，重点针对s m t p 邮件发送、p o p 3 邮件接收以及m s n 即时通讯等功能子模块进行设计。 3 1 系统需求概述 基于网络信息内容的分析还原系统作为第三方的监听系统接入到网络中，能 够对网络中传输的数据进行监测，并对数据的内容进行分析和还原，对分析还原 的结果进行存储，从而发现非法数据流并追踪可疑对象。针对上述目标，对该系 统提出如下需求： ( 1 )对网络中传输的数据进行实时捕获，并存储到捕获文件中，以捕获的 起止时间对文件进行命名； ( 2 )对捕获文件中的每个数据包进行协议分析，包括各层协议类型及相关 的信息，以树形结构对协议分析的结果进行存储； ( 3 )根据协议分析的结果对数据包进行应用层的协议分类，包括s m t p 发送 邮件协议类型、p o p 3 接收邮件协议类型以及m s n 协议类型等，按照不同应用层协 议类型分别建立相应的会话和连接，并完成会话整理的工作； ( 4 )依次对每个会话和连接按照其所属的协议类型进行相应的内容分析与 还原，包括发送邮件和接收邮件的内容及相关信息、m s n 聊天内容及相关信息等， 将还原结果存入数据库中。 3 2 系统总体设计 3 2 1 设计思想 根据对系统需求功能的总结，可将系统总体分为两大部分，第一部分为信息 北京交通大学硕士学位论文 ，- ，。， ， 、 、j ， ， 、。 ?、。 ： j： ， !： ，信黼瓣分基i 信息镭舞部分j i篡塞丝惹e 会祟棼萎集理 ； 数据存储广一莴筹棼磊蓬蒹 、 ， ， ，。，- - - ， 、， ， 3 2 2 系统总体设计方案 由上所述，基于模块化的设计思想，将系统划分为四大功能模块，系统的总 体设计图如图3 2 所示。 由图3 2 可看出，基于网络信息内容的分析还原系统由信息过滤与捕获模块、 协议分析模块、会话分类整理模块以及内容分析还原模块四大模块组成，各模块 间分别设置了相应的接口以互相连接，紧密合作。 信息过滤与捕获模块主要完成数据捕获的功能，其能根据既定的过滤规则对 网络中传输的信息依据协议、口地址、端口等条件进行过滤，只针对满足过滤条件 的数据包进行捕获，并将捕获的数据存入文件中，为后续的分析处理工作提供数 据源。 1 4 基于网络信息内容的分析还原系统设计 图3 - 2 系统总体设计图 f i g u r e 3 - 2s y s t e ma r c h i t e c t u r ed e s i g n 协议分析模块读取信息过滤与捕获模块提供的捕获文件，依次读取每个数据 包，按照由数据链路层至应用层依次向上的顺序对数据包的协议进行层层解析， 将解析结果以树形方式存入数据结构中，为接下来的会话创建工作做好准备。 会话分类整理模块利用数据包协议分析的结果根据数据应用层协议类型对数 据包进行归类，并根据数据包的i p 地址、端口等信息将数据包归入某一会话的连接 中，从而针对所有数据包按照协议类别、会话类别、连接类别的顺序完成分类工 作，最后进行会话的整理。 内容分析还原模块针对不同协议类别的数据提供不同的分析还原方法，对每 个协议类别中的会话、连接依次进行内容上的还原，并将分析和还原的结果存储 至数据库中。同时，分析还原的结果成为后续追踪对象和重点怀疑对象确立的依 据，通过该结果制定过滤条件返回给信息过滤与捕获模块，则能够及时的针对重 点怀疑对象通信的数据进行监管