（信息与通信工程专业论文）网络信息审计的关键技术研究与实现.pdf

( 作者姓名) 指导教师姓名秦志光教授 ( 职务、职称、学位、单位名称及地址) 申请专业学位级别硕士专业名称信息与通信工程 论文提交日期2 9 1 0 4论文答辩日期2 0 1 0 5 学位授予单位和日期电壬科撞太堂 答辩委员会主席 评阅人 2 0 1 0 年月日 注l ；注明国际十进分类法u d c 的类号。 爹!一 s 工0i ， 0 独创性声明 川| l i | i | | | i i f i i j l l | | l l i | | | i | l i i l 删 y 18 0 2 8 2 8 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名： 日期：年月日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：导师签 日期： t 扣 ，_；一 摘要 摘要 从计算机网络出现到今天，人们无时无刻不在谈论网络安全这个话题。如今， 网络安全正面临着巨大的挑战，到处可见规模不等的安全威胁、攻击和破坏。传 统的安全解决方案都是把目标重点集中到网络边界上，往往忽略了内部网络安全。 从调查情况看，在所有的安全事件中，有超过7 0 是发生在内网上的，随着网络 的庞大化和复杂化，这一比例仍有增长趋势，内网安全面临着前所未有的挑战。 企业内网所面临的安全威胁主要表现在内网资源的误用、滥用和恶用，而导致机 密信息泄露。如何加强内部网络管理，保护企业的信息，是我们需要解决的现实 问题。 本论文的研究目标就是提供一套完整的解决方案，通过技术手段强化对企业内 部人员的网络行为审计，从而达到强化网络安全风险防范能力，提高员工工作效 率的目标。 本文对网络监视和审计的核心开发技术数据包捕获和预处理技术，应用层 协议分析还原技术，和内容审计技术进行了分析研究，在此基础上，提出了基于 嵌入式平台的原型系统的设计与实现，对系统结构、网络拓扑和数据库结构进行 了设计，着重对网络监视和审计系统的主要功能模块的开发实现进行了详细阐述。 网络监视与审计系统是基于静态的安全策略，对企业员工的网络行为进行有针 对性的细粒度的监视，并智能判断该行为是否违背安全策略，同时将有关信息记 录到数据库，事后通过重新构建事件，提取事件的相关信息证明员工的失职行为。 从而为企业构建信息防泄露体系，监督员工的工作，使内网安全达到可管理、可 控制和可信任的效果。 关键词：内网，安全，监视，审计，数据包捕获，数据还原 f !m；， ， 厶 - a b s t r a c t a r e rt 1 1 ec o m p u t e rn e 铆o r ka p p e 撕n g ，p e o p l et a l ka b o u tn e 脚o r ks e c l i n t ya l l t | 1 e t i i l l e t o d a y ，n e 呐o r ks e c u l 姆i sf a c i n gah u g ec h a l l e n g e ，w h i c hi s m a ta l l1 ( i n d so f s e c 血t yt h r e a t s ，a t t a c k sa n dd e s 仰c t i o n sc a i lb e f o u l l de v e 哪h e r e - 1 r a d i t i o n a ls e c u r i 锣s 0 1 丽o n sa l w a y s f o c u s e do nt 1 1 en e t w o r kb o u n d a o v e d o o h n gi n t e m a ln e “釉r ks e c l l r i 够t h ei n v e s t i g a t i o ns h o w st l l a tm o r em 吼7 0 o f s e r i t ! i ri n c i d e n t st 0 0 kp l a c ei 1 1 诚锄a 1n e 似o r k ，a 1 1 dw i 也m en e 咖o r kb e c o m m g h u g e r a n dm o r ec o m p l e x ，也i sp r o p o r t i o ns t i l lh a s 锄i n c r e a s i l l g 仃e n d 妣e m a ln 咖o r k s e c u r i t yi sf a c i n gu n p r e c e d e n t e dc h a l l e n g e s s e c 嘶t y 血e a t sf a c e db ye n t e 唧s e i n t e n l a l n e t 、) l ，o r km a i n l ya r et h em i s u s eo f i n 仃a n e tr e s o u r c e s ，a b u s eo fi m r 锄e tr e s o u r c e s 趾de v l l u s eo fi m a l l e tr e s o u r c e s ，w l l i c hl e dt od i s c l o s u r eo fc o n 丘d e n t i a l i n f b 姗a t i o n h o w t o s t r e n 础e nt h em a l l a g 锄e n to fi n t e m a ln e 似o r ka 1 1 dp r o t e c tc o 叩o r a t e1 n 士t 0 n n a t l o n 1 sa r e a l i s t i cp r o b l e mw en e e dt 0s o l v e t h e r e b y ，仕l et ec _ t l n o l o g yo fs t m n ga u d i t i n gc o m e s i 1 1 t 0b e i n g t h es o c a l l e ds 仃o n ga u d i t i n gi s t ou s et h e1 0 9t om o m t o rt h en 咖o r k b e h a v i o ro rt r a c e ，孤dc a i lo b t a i ne v i d e n c e1 a t e r t h er c s e a r c ho b j e c to ft 1 ：l i sm e s i si s t op r o v i d eac o m p l e t es o l u t l o nt | 1 r o u g n t e c ：h 证c a lm e 觚st os t r e n g m e 芏l 咖r i s es t a 肾sn e 栅o r kb e h a v i o ra u d i t i n g ，s o a st o e i l h a n c en e t 、7 i r o r ks e c 嘶够r i s kp r e v e i l t i o nc a p a c i 劬a n di m 】p r o v ew o r ke m c l e n c y i nt h i sm e s i s ，w e 觚a l y z ea n dr e s e 鲫c h et h o s ec o r ed e v e l o p m e n tt e c h n o l o 昏e so t n e t 、) l ，o r km o n i t o d n ga n da u d i 【i n g p a c k e tc a p n l r e a l l dp r e 。p r o c e s s i n gt e c h n o l o g y ， a p p l i c a t i o nl a y e rp r o t o c 0 1d a t a 觚a l y s i sa n dr e d u c t i o nt e c h n 0 1 0 戥a n dc o n t e n ta u m t i n g t e d m o l o 醪0 1 1t 1 1 i sb a s i s ，w ea l s op r o p o s ead e s i 弘p 1 趾砌娜l e i i l 铋t a t i o no t 也e p r o t o t y p es y s t e i l lb a s e do ne l l l b e d d e ds y s t c i i l ，d e s 谫t h es y s t e ms 仃u c 啪，t h en i 栅o r k t o p 0 1 0 9 ya i l dt l l ed a t a b a s es 仃u c t u r e ，a n df o c u s0 ne l a b o r a t i n gm e d e v e l o p m e n to 士m a l n f b n c t i o nm o d u l e s o fn 或w o r km o i l i t o r i n ga n da u d i t i n gs y s t e m 1 1 1 en 咖o r km o l l i t o 咖g 趾da u d i 缸gs y s t e mi sb a s e do na s t a t i cs e c u n 够p o n c y ， 孤i dp r 0 啊d e ss m a l l 舯n u l 碰秒m o l l i t o rf o r 伽p l o y c e s n 咖o r kb e h 撕o r ，m e 跏m l e d e t e r m i n e sw h e m e rt l l ea c ti sc o n t r a qt 0s e c u r i t ) rp 0 1 i c yi n t e l l i g 饥t l y ，m e nr e c o r d sn l e v i 0 1 a t i o n si i ld a t a b a s e a 船刑a r d s ，w ec a i lr c b u i l d se v e i l _ t s ，c x 仃a c tr e l e v a n tm f o 衄a t l o n ，j f 一；j一 目录 目录 第一章绪论1 1 1 背景1 1 2研究的目的与意义1 1 3国内外研究现状和发展态势2 1 4作者的主要工作及论文结构4 1 4 1主要工作4 1 4 2论文结构4 1 5本章小结5 第二章相关技术基础6 2 1t c p i p 网络层次结构6 2 2常见的应用层协议8 2 3数据包捕获技术9 2 3 1 几种分组捕获机制介绍9 2 3 2 使用1 i b p c a p 函数库1 0 2 4数据包还原技术。1 2 2 4 1i p 分片与重装1 2 2 4 2协议分析方法1 2 2 4 3 报文还原技术13 2 5快速字符串匹配技术1 4 2 5 1单字符串匹配1 4 2 5 2多字符串匹配1 7 2 6嵌入式系统简介18 2 7 小结18 第三章系统总体设计。1 9 3 1系统目标1 9 3 2系统功能2 0 目录 3 3 3 3 1 3 3 2 3 3 3 3 3 4 3 4 系统总体结构2 1 数据采集模块2 1 数据还原模块2 3 内容审计模块2 3 用户交互模块2 3 系统部署。2 4 3 4 1 基于端口映像( s p a n ) 的网络拓扑2 4 3 4 2基于t a p 网络拓扑2 4 3 5 小结。2 5 第四章系统的详细设计与实现2 6 4 1系统平台的设计和实现2 6 4 1 1 4 1 2 4 1 3 4 1 4 4 2 4 2 1 4 2 2 4 2 3 4 2 4 4 2 5 系统硬件平台2 6 系统软件平台2 6 系统开发环境3 1 开发环境搭建3 2 系统软件的详细设计与实现3 3 数据采集模块的设计3 4 数据还原模块的设计：3 6 内容审计模块的设计4 8 用户交互模块的设计5 4 系统数据库的设计5 6 4 3 小结5 9 第五章系统测试6 0 5 1测试环境6 0 5 1 1 5 1 2 5 2 5 3 5 3 1 5 3 2 硬件环境6 0 软件环境6 0 测试方案6 0 测试结果6 1 系统功能测试6 1 内容审计算法性能的测试6 3 v 目录 5 4 小结一6 3 第六章总结与展望“ 致谢6 6 参考文献6 7 攻硕期间取得的成果7 0 v i 一 第一章绪论 1 1 背景 第一章绪论帚一早三百了匕 本论文基于广东省产学研项目“内部网络安全管理关键技术和系统研发”，提 出一种基于嵌入式的网络信息监视与审计系统的设计方案。该系统主要通过网络 抓包、协议分析、数据包还原等技术，对网络行为进行有效的监视，并在出现违 规等异常情况下，记录下当前的违规行为以便事后进行审计。 1 。2 研究的目的与意义 随着网络技术的蓬勃发展，计算机网络已经深入到人类社会的各个领域，它 在人们社会生产和生活中发挥越来越重要的作用。但是，计算机网络在给人们带 来巨大便利的同时，网络安全问题也越来越突出。顺应这一趋势，涌现出了很多 的网络安全技术，如防火墙、病毒检测、密码技术、入侵检测等。但是，既使如 此，由于网络内部用户的误操作、资源滥用和恶意行为，再完善的防火墙也无法 抵御来自网络内部的攻击，也无法对网络内部的滥用做出反应【l 】。中国信息安全产 品测评认证中心的调查结果显示，信息安全问题主要来自泄露和内部人员犯罪， 而非病毒和外来黑客引起。在当今的信息化社会中，网络系统应用于各行各业中， 其中存储和处理着大量有价值的机密信息。这些信息被窃所造成的损失在各种信 息安全威胁所造成的损失中排在第一位。为了防止内部机密信息外流，对工作造 成不良影响，确保日常工作得以顺利进行，企事业单位已越来越多的将关注焦点 放在内部网络行为的监视与审计上。 本课题就是针对这种现状，研究开发出一种加强内部网络安全管理以及审计员 工网络行为的重要工具。该系统通过监视员工网络行为，记录下当前的违规异常 行为以便事后进行审计。最终达能够提高内部网络安全等级，有效降低因内部安 全事件，如通过网络外传内部机密资料而造成的直接或间接经济损失。因此该系 统的研发和应用将具有良好的经济效益和社会效益。 与此同时，随着后p c 时代的到来，嵌入式技术不断升温，我们有理由相信未 来的电子技术是嵌入式技术的天下。因此，本课题将该系统设计在嵌入式设备上， 电子科技大学硕士学位论文 对于日益发展的网络通信在嵌入式设备中的应用有很好的借鉴意义。 1 3 国内外研究现状和发展态势 根据i d c 的报告，从2 0 0 1 年起到2 0 0 5 年，世界网络安全市场加速发展，营 销额年增长率高达2 4 ，到2 0 0 5 年，收入超过1 4 0 亿美元。从2 0 0 3 年中国的网 络安全市场来看，整个市场规模达到5 0 多亿元，呈高速增长状态。随着网络安全 事件的增加，特别是重大攻击事件的频发，网络安全问题已经引起各行业企业及 其它事业单位的普遍重视，网络安全产品也受到前所未有的青睐。尤其是各级政 府部门和那些缺乏网络安全技术人员的中小型企业。其中，中小型企业占中国企 业总数9 6 。他们是国内网络安全产品市场的主要推动力量。一项针对企业有关 网络安全开支准备的调查中，8 0 受访者表示，他们将在防火墙硬件和网关级内容 监控产品上进行投资。 现在国内外已经有很多研究机构已经开始着手研制网络监视相关产品。2 0 0 7 年，美国俄亥俄州的空军工程学院研发出一种网络监视系统软件“老大哥”【2 】。该 软件开发负责人吉尔伯特- 彼得森说：“很多巨大的经济损失都是由企业内部人士 造成的，他们或是窃取计算机信息，或是干脆让整个电脑系统瘫痪 。美国军方开 发“老大哥”软件的初衷是打击网络犯罪，随着该软件的应用普及，普通公司也能免 费下载和使用。这种软件能自动扫描电子邮件，从而监控员工日常网络行为。通 过这一软件，公司不仅可以防止员工利用网络泄露机密，而且还能作为考查员工 一种手自段，一举两得。 由美国联邦调查局( f b i ) 开发的c a n l i v o r e 【3 】能够监视犯罪嫌疑人的网络电子 邮件活动。f b i 在i s p 处安装一台c a n l i v o r e 计算机来监视疑犯的活动。f b i 使用 疑犯的i p 地址配置c a n l i v o r e 软件，以便c 锄i v o r e 只会捕获来自这个特定地址的 数据包。而忽略掉所有其他数据包。c 删v o r e 会复制来自疑犯系统的所有数据包， 并且不会对网络流量造成妨碍。在获得副本之后，这些副本会通过一个过滤器以 便只保存电子邮件数据包。程序根据数据包的协议来确定数据包的内容。然后， 使用p a c k e t c e r 和c 0 0 1 1 n i l l e r 对获得的数据进行处理。如果处理结果提供了足够的 证据，f b i 可以在案件处理过程中对疑犯使用这些证据。 其他机构例如微软也开发出n e t 、) l ，o r km o l l i t o 一4 】这样的网络分析仪，利用该工 具截取分析网络中的数据，基于协议对数据帧进行汇总分析。 在国内也有许多厂家致力于类似产品。方正行为管理系统【5 】就是方正宽带网络 2 卜 第一章绪论 有限公司于2 0 0 6 年自主研发的网络行为管理软件系统。是通过对网络信息进行七 层分析，将网络流量进行完全还原的软件系统，是防止信息泄露的有效防护措施， 并同时进行数据的统计分析，和取得证据的有效手段。该系统是以桥接、路由或 端口镜像模式接入网络，目的是通过网络的所有数据包都能经过监视系统，通过 对网络数据包进行协议分析，还原整个网络行为，并能进行行为的统计，方便取 证。 e d 【6 】，是一套入侵监测系统。其最大的优势为该系统拥有一个巨大的超过 4 0 0 0 0 个分类站点清单的u r l 和w 曲站点的分类库，利于指定对某类站点的阻塞 或监控功能。另外，它还可以对电子邮件使用情况进行监控，可以定义规则以便 记录或阻塞与特定站之间发送的电子邮件消息以及包含某些文本串( 例如敏感信息) 的消息，保证企业内部信息安全。 i n e t g u 6 汰d 【1 7 】是统先科技发展有限公司的网络安全产品。它可以对网络数据 流进行跟踪、截获与还原和记录。监视记录所有上网机器所访问的w e b 站点、截 获与还原受控主机所发出的电子邮件、截获并保b b s 、聊天、新闻组、f t p 、t e l n e t 等信息，同时可以根据关键词中断相应连接并向管理员发出报警。 深圳德尔软件公司研发的网路岗、网络追踪等软件都是立足于监视网络、协 议分析的网络安全产品，可广泛用于企业政府机关军事机构涉密单位校园网吧。 通过对各种网络监视类产品的分析和研究，我们根据此类产品对客户机的控 制方式，粗略地将其分为两大类： ( 1 ) 连接控制类，这类产品主要实现的功能是：根据预先设定的控制策略， 在口地址或m a c 地址( 网卡物理地址) 级别上控制某台机器和局域网络或外网的连 接。此类软件的部署比较简单，无论是集线器或交换机连接的网络，只要在本网 内任一台计算机上安装该类产品，即可实现监视功能。 ( 2 ) 内容控制类，这类产品主要实现的功能是：记录受控机器网络通讯的具 体内容，如能记录a 机器所有外发邮件的内容( 邮件正文、邮件附件) 等。此类软件 的部署较为复杂，针对不同的网络结构，部署方式不尽相同。由于需要对网内机 器的网络通讯具体内容进行分类控制，所以此类软件的工作方式一般为：捕获 网络内所有受控机器的通讯数据包；分析数据包的具体内容；应用控制策略， 记录通讯内容。 3 电子科技大学硕士学位论文 1 4 作者的主要工作及论文结构 1 4 1 主要工作 本论文主要研究了网络信息监视与审计的关键技术。根据项目需要，主要是对 局域网内上行数据进行基于文本内容的分析和监视技术的研究。本人主要研究内 容包括以下几个方面： ( 1 ) 结合各种网络协议对捕获的网络数据包进行分析。 ( 2 ) 对现有的数据包捕获技术进行了分类和总结。如网卡工作原理、包过滤 机制和数据捕获的实现方式，选择适合本项目的数据包捕获技术。 ( 3 ) 研究了协议分析技术和数据还原算法，并实现了对多种应用层协议的还 原。 ( 4 ) 研究了对特定内容的快速识别方法，实现了对中文进行快速匹配的多模 式匹配算法。 ( 5 ) 了解并运用了嵌入式开发的相关知识。如开发环境的搭建、交叉编译等。 ( 6 ) 原型系统的设计与实现。本论文在a n l l 1 i n u x 下设计和实现了一个原型系 统。 1 4 2 论文结构 本论文的结构如下： 第1 章介绍了课题的相关背景与研究的目的和意义。接着详细介绍了国内外 研究现状和发展态势。最后列举了作者的主要工作和本论文的组织结构。 第2 章首先介绍了t c p p 协议族，这是网络监视的基础知识。接着讨论了所 涉及到的各种关键技术。包括数据包捕获技术、报文还原技术、字符串匹配技术。 最后简单分绍了什么是嵌入式系统。 第3 章从基于嵌入式的网络信息监视与审计系统的系统目标、系统功能、系 统总体结构和系统网络拓扑方面进行了介绍。 第4 章首先介绍了系统的硬件、软件平台的选择与搭建，接着详细阐述了系 统软件的详细设计与实现。 第5 章描述了系统的测试结果。 4 第一章绪论 1 5 本章小结 本章首先介绍了论课题来源以及论文研究的目的和意义。其次，对国内外研 究现状和发展态势做出了初步分析。最后，对作者所做工作进行了总结，并描述 了本论文的组织结构。 5 电子科技大学硕士学位论文 第二章相关技术基础 2 1t c p i p 网络层次结构 t c p i p 协议是美国国防部为高可靠性和容错通信基础开发的一个协议包，也 是当今所有网络的基础。它并不完全符合o s i ( o p e ns y s t e mn e r c o l l i l e t i o n ) 的7 层参考模型8 1 。传统的开放互连参考模型是一种通信协议的7 层抽象的参考模型， 其中每一层负责提供一套核心任务和功能，并要与上下层进行接口。该模型的目 的是使各种硬件在相同的层次上互相通信。这7 层是：物理层( p h y s i c a ll a y 盯) 、 数据链路层( d a t al i n kl a y e r ) 、网络层( n e 俩o r kl a y e r ) 、传输层( t r a n s p o r tl a y e r ) 、 会话层( s e s s i o nl a y e r ) 、表示层( p r e s e n t a t i o nl a y e r ) 、和应用层( 郇p l i c a t i o n l a ，臌) 。而t c p i p 设计为4 层的体系结构模型，这4 层分别为： 应用层：可以映射为o s i 模型的最高3 层，是提供给网络上应用程序、服务 和过程使用的，如简单电子邮件传输( s m t p ) 、文件传输协议( f t p ) 、网络远程 访问协议( t e k e t ) 等。 传输层：在此层中，它提供了节点间的数据传输服务，如传输控制协议( t c p ) 、 用户数据报协议( u d p ) 等。它的主要功能是负责处理网络上的端到端的数据投 递。为了解决不同应用程序的识别问题，传输层在每个数据报中增加识别信源和 信宿应用程序的信息。 网络层：是基于t c p 口协议组的任意网络的核心。主要负责提供逻辑寻址和 基本的数据封包传送功能，让每一块数据报能都够达到目的主机( 但不检查是否 被正确接收) ，如网际协议( 口) 。 物理链路层：又称网络接口层，对实际的网络媒体的管理，定义如何使用实 际网络( 如e t h e m e t 、s 甜a l “n e 等) 来传送数据。它负责接受网络层数据报并通 过传输线发送，或者从传输线上接受数据帧，从中取出数据报，交给网络层。 t c p p 是由很多协议共同组成的【9 1 。图2 1 是t c p 佃协议族分层结构示意图。 6 第二章相关技术基础 l 阙层i 应竺ii 应竺l 旧型i 应罂l l 传输层 t c pu d p 陷层 i - c = l - 广芦h g m 链路层 i 脚 - i 硬件接口h l 图2 1t c p i p 协议分层结构不意图 当需要发送数据的时候，就要进行自上而下的封装的过程，如图2 2 所示。 封装的过程就是把用户数据用协议来进行封装，首先由应用层协议进行封装，如 h t t p 协议。而h t t p 协议是基于t c p 协议的。接着，它就被t c p 协议封装，h t t p 包作为t c p 数据段的数据部分，从而转换成分段：而t c p 协议是基于p 协议的， 所以t c p 段就作为口协议的数据部分，和i p 协议头一起就构成了i p 分组，分组 再向下传递给数据链路层，被继续添加上数据链路头部及尾部信息并转换成帧， 最终帧转换成比特，就可以通过物理介质发送了。 当接受网络数据的时候，就要进行数据报的分解过程，如图2 2 所示。分解 的过程与封装的过程恰恰相反，这个时候需要重新构造帧，并且去掉以数据链路 头部和尾部信息，再把余下的部分传递给网络层进行分解，去掉口头，然后把余 下的传递给传输层，此时就去掉t c p 头，剩下应用层协议部分数据包了，例如h t ，r p 协议，此时h t t p 协议软件模块就会进一步分解，把用户数据分解出来，例如是 h t m l 代码。这样应用软件就可以操作用户数据了，如用浏览器来浏览h t m l 页 面。 用户数据 h t t p 协议头用户数据 t c p 协议头h t t p 协议头用户数据 i p 协议头t c p 协议头h 1 v r p 协议头用户数据 i 以太网头i p 协议头t c p 协议头h t t p 协议头用户数据 以太网尾 图2 2 数据报封装与分解 7 电子科技大学硕士学位论文 2 2 常见的应用层协议 目前使用最广泛的互联网应用层协议包括提供w e b 服务的h t t p 协议、提供 文件传输服务的f t p 协议、发送和转发电子邮件的s m r p 协议、接收电子邮件的 p o p 3 协议、电子邮件的格式规范r f c 8 2 2 协议及在此基础之上的m i m e 协议，以 及各种即时通讯的自定义协议，如q q 、m s n 。下面将分别对这些协议作出简单介 绍。 ( 1 ) h t t p 协议：h t t p ( h ) ，p e ，r e x t t i r a l l s f e r p r o t o c 0 1 ) 是超文本传输协议的缩 写，它用于传送w w w 方式的数据，关于h t t p 协议的详细内容请参考 r f c 2 6 1 6 【1 0 】。h 1 _ 曙协议采用了请求响应模型。客户端发送请求到服务器，请求 头包含了请求的方法、u 融、协议版本、以及请求修饰符、客户信息和内容等类似 于m m e 的消息结构。服务器以一个状态行作为响应，响应的内容包括消息协议 的版本，成功或者错误编码加上包含服务器信息、实体元信息以及可能的实体内 容。 ( 2 ) s m t p 协议：s m t p ( s i m p l em a j lt r a n s 蠡玎p r o t o c 0 1 ) 即简单邮件传输协议， 是一种提供可靠且有效电子邮件传输的协议【l l 】。s m t p 是建立在f t p 文件传输服 务上的一种邮件服务，主要用于传输系统之间的邮件信息并提供与来信有关的通 知。 ( 3 ) m i m e 协议：m i m e ，英文全称为“m u l t i p u 印o s ei n t e n l e tm a i le x t e l l s i o n s ， 即多用途互联网邮件扩展，是目前互联网电子邮件普遍遵循的邮件技术规范【1 2 1 。 m 肼e 电子邮件的基本信息、格式信息、编码方式等重要内容都记录在邮件内的 各种域中，域的基本格式为： 域名 ： 内容) 。域的信息内容中还可以包含属性， 属性之间以“； 分隔，属性的格式如下： 属性名称) = “ 属性值) ”。 ( 4 ) f t p 协议：f t p ( f i l et r 觚s 矗言rp r o t o c 0 1 ) ，是文件传输协议的简称【”】。用于 i n t e m e t 上的控制文件的双向传输。与其他大多数应用协议不同，f t p 需要两个t c p 连接，一个控制连接，一个数据连接。f t p 还有两种模式，s t a l l d a r d 模式和p a s s i v e 模式。 ( 5 ) m s n 文件传输协议：m s n 是主流的即时通讯协议。根据本论文的研究 方向，在此只介绍其文件传输协议【1 4 】。m s n 文件传输协议( m s n s l p ) 是一种基 于s p 的协议。它使用i n v i t em s n m s g r 和b y em s n m s g r 命令来发起和结束 文件传输过程。 ( 6 ) q q 传输文件协议：q q 是一款基于i n t 锄e t 的即时通讯协议。支持在线 8 第二章相关技术基础 聊天、视频电话、点对点断点续传文件、共享文件、网络硬盘、自定义面板、q q 邮箱等多种功能。本文只讨论它的文件传输协议。当c 1 i e l l t l 向c l i t 2 传输文件时， 将会传输3 种类型的数据包，我们将其命名为：r r 包，这种数据包包含所传文件 的文件名，t t 包，这种数据包包含所传文件的文件内容，若文件较小，则没有此 类数据包，w 包，这种数据包是文件传输的结束包，包含文件的最后一部分文本 内容。 2 3 数据包捕获技术 2 3 1 几种分组捕获机制介绍 操作系统所提供的分组捕获机制主要有一下三种【1 5 】。 ( 1 ) 数据链路提供者接口d l p i ( d a t al i i l l 【p r 0 v i d e ri n t e r f a c e ) 数据链路提供者接口d l p i 定义了数据链路层向网络层提供的服务，是数据链 路服务d l s ( d a t al i l l l ( s e r v i c e ) 的提供者和使用者之间的一种标准接口，在实现 上基于u n i x 的流s t r e a m 机制。d l s 使用者既可以是用户的应用程序，也可以 是访问数据链路服务的高层协议如t c p i p 和i p x 等。i e e e 8 0 2 标准数据链路层划 分为两个子层：逻辑链路控制l l c 子层和介质访问控制m a c 子层，d l p i 正是 l l c 子层服务的一种基于流的实现。d l p i 实现了i e e e 8 0 2 标准定义的l l c 子层 类型1 、类型2 和类型3 的操作，即支持有线连接、无线连接和有确认无连接3 种 通信服务。和使用其他高层协议相比，用d l p i 开发网络通信程序具有协议复杂度 低、简单易用、传输速度快、实时性较强等诸多优点。 ( 2 ) l n 汛下的s o c kp a c 玎类型套接字 l i n u x 中套接字类型有很多种，其中s o c kp a c 玎类型的套接字可以接受 网络上所有数据包。捕获数据包的过程如下： 建立套接字 i f - f 扣s o c k e t ( a f _ i n e t ，s o c k j i a c k 研，h t o n s ( e t h _ p l l ) ) 其中a f 玳e t 表示i n t e n l e t 协议族，s o c kp a c 强表示了套接字类型，h t o n s ( e t hpa l l ) 表示该套接字将接受所有类型的以太网报文，包含口和a r p 。 设置混杂模式 s t r u c ti f c o n fi 丘： i o c t l ( i ff d ，s i o c g i f f l a g s ，& i 行) ； 9 电子科技大学硕士学位论文 若建立套接字成功，则对其标志进行操作，首先将标志取出。 i 色i 】置j l a g s | = ( i f f p r o m i s cii f f pl 口? fr in 叮n i n g ) ； 设置成i f fp r o m i s cii f fu pli f fr i 烈n i n g ，即启动该接口，并将其设成 混杂模式。 i o t c t l ( i f d ，s i o c s i f f l a g s ，i 丘) ； 再将标志写会接口，这样套接字以混杂方式运行，可听到连接在该网络接口上 的以太网的所有报文。 ( 3 ) 伯克利数据包过滤器b p f 基于b s d 的系统使用b p f ，基于s m 的系统一般使用d l p i 。b p f 比d l p i 性能好很多，而s o c kp a c k e t 更弱。 b p f 有两个主要部件：n e 咐o r kt a p 和p a c k e tf i l t e r 。n e 帆o r kt a p 从网络设备驱 动程序中搜集数据拷贝并转发到监听程序。p a c k e tf i l t e r 决定是否接受该数据包和 复制数据包的哪些部分。b p f 在内核设置了过滤器，可预先对数据包进行过滤， 以此把从b p f 到应用进程的数据拷贝量减到最小。并且只将用户需要的数据提交 给用户进程。每个b p f 都有一个缓冲区，如果过滤器判断接受某个包，b p f 就将 它复制到相应的缓冲区中暂存起来，只有当缓冲区已满或读超时( r e a dt i m e o u t ) 期满时，该缓冲区中的数据才拷贝到应用进程，提高了效率。它的缓存机制使用 循环双缓存，若其中一缓存满时则将两缓存调换。这种缓存机制在提高效率方面 发挥了重要作用。其模型框架图如图2 3 所示。 2 3 2 使用l i b p c a p 函数库 l i b p c a p 【1 6 】( p a c k a tc a p t l l r el i b r a 巧) 是一个与实现无关的访问操作系统所提供 的分组捕获机制的分组捕获函数库，用于访问数据链路层。其捕获机制就是b p f 机制。l i b p c a p 是由b e r k e l e y 大学l a w r e l l c eb e r k e l e yn a t i o n a ll a b o r a t 0 巧研究院的 、j a c o b s o n 、c r a i gl e r e s 和s t e v e l lm c c a l l l l e 编写的。 这个库为不同的平台提供统一的编程接口，在安装了1 i b p c a p 的平台上，以 1 i b p c a p 为接口写的程序、应用，能够自由的跨平台使用。图2 - 4 是一个标准的基 于l i b p c a p 库的应用程序流程。 1 0 用户 缓冲区缓冲区 协议栈 tt 过滤器过滤器 n 八 么 链路级驱动 链路级驱动 内核 网络 图2 3b p f 模型框架 p c a p j o o k u p d e v ：获取设备 上 p c a p - 0 p e n - l i v e ：打开设备 上 p c a p j o o k u p d e v ：获取设备 上 p c a p - c o n l p i l e ：对规则进行编译 上 p c a p j e t 矗1 t e r ：设置过滤规则 上 p c 叩j o o p ：开始循环捕获数据 包，调用相应的回调函数 上 p c 孵j 1 e ：关闭句柄 图2 4 基于l i b p c a p 库的应用程序流程 电子科技大学硕士学位论文 2 4 数据包还原技术 2 4 1i p 分片与重装 网络层口协议会检查每个从上层协议下来的数据包的大小，并根据m t u 和 数据报的长度，决定是否对数据报进行分片。经过分片的数据在传输过程中，根 据所选的网络，可能会进行多次的分片。分片后的数据包到达目的地后由i p 层完 成重组。发送端，一个数据包被提交到i p 层后为数据包加上i p 首部形成一个口 数据报，数据链路层在这个分组前后分别加上以太网首部和以太网尾部，并发送 出去。目的机上，接收端通过查3 位标志位中的两位d f 和m f ，判断这个分组在 传输到本机前是否经分片，若经过分片，则对分片进行重组以恢复数据。 对于u d p 协议而言，这个协议本身是无连接的协议，对数据包的到达顺序以 及是否正确到达并不十分关心，所以一般u d p 应用对分片没有特殊要求。 对于t c p 协议而言就不一样了，这个协议是面向连接的协议，对于t c p 协议 而言它非常在意数据包的到达顺序以及是否在传输中发生了错误。所以有些t c p 应用要求不能分片。 2 4 2 协议分析方法 对于从数据链路层接收数据包，没有经过操作系统的协议栈，因此需要模拟 操作系统协议栈的工作，将数据包按照协议的数据结构和属性对数据包进行分析， 解析成协议数据的格式。这个过程就是协议解码，它是协议分析【1 7 】的基础。但是 协议分析并不就是协议解码，它还包括其他一些复杂的分析。如进一步分析出报 头中的各个字段，为检测引擎提供输入数据。下面简单介绍协议分析技术的工作 原理。协议规范指出：以太网数据包中第1 3 字节处包含了2 个用作第三层协议标 识的字节。其具体工作步骤如下： 跳过前面1 2 个字节，读取1 3 字节处的2 个字节( 协议标识) ，如果值为0 8 0 0 ， 根据协议规范可以确定这个网络数据包是口v 4 包，值为8 6 d d 就是i p v 6 数据包。 i p 协议规定：口包的第2 4 字节有一个用作第四层协议规范标识的字节。根据这一 规定，系统跳到2 4 字节直接读取第四层协议标识，如果该值为0 6 ，则这个数据包 是t c p 协议数据包。 t c p 协议规定：