（通信与信息系统专业论文）网络信息内容监测系统研究与实现.pdf

中文摘要 中文摘要 摘要 随着信息时代的到来 互联网已经进入了每一个人的日常生活 然而 互 联网建立在自由开放的基础之上 随着人们在互联网上进行的活动日益增多 网 络上传递的信息也开始鱼龙混杂 于是如何对互联网上的信息内容进行监测管理 成为了人们研究的热点问题 另外 随着8 0 2 1 1 无线局域网协议的提出 计算机 网络环境正在发生转变 如何在无线8 0 2 1 1 网络环境下实现对信息内容的监测 急需得到研究和解决 网络信息内容监测是网络监测中的一个重要分支 它主要监测网络上传递的 信息的具体内容 网络信息内容监测一般采用从网络通信中间过程进行捕获 分 析和还原的方案 而数据捕获 协议分析 应用数据还原 内容分析与过滤是网 络信息内容监测的关键技术 8 0 2 11 无线局域网环境下的网络信息内容监测具有 很多新问题 包括大量的管理帧和控制帧对数据捕获的影响 新的帧格式对协议 分析的影响 无线认证加密对数据还原的影响 等等 本文对网络信息内容监测的原理与关键技术做了研究 对无线8 0 2 1 1 网络环 境下的新问题做了研究与讨论 之后提出了一种基于l i n u x 系统的网络信息内容监 测系统 该系统采用数据捕获 协议分析 会话重聚 应用数据还原 内容分析 与过滤五层结构 实现的功能包括网络通信数据包的捕获 捕获数据包的详细协 议分析 对t e l n c t 远程登录命令交互过程 f i p 传输的目录和数据文件 h t t p 上网浏 览的网页等几种应用层会话内容的还原 根据用户关注的敏感特征词进行的关键 词分析过滤 该系统支持无线8 0 2 1 1 环境 并具有很好的扩展性 在详细的设计了系统的结构和每一层结构之后 本文对系统进行了实现 并 详细地给出了其中关键的会话重聚层 应用数据还原层 内容分析与过滤层的实 现流程 在本文最后部分 对系统进行了以太网环境和无线8 0 2 1 l 网络环境下的 功能测试 给出了测试结果 并对本文做了总结 对下一步工作提出展望 关键词 网络信息内容监测 数据捕获 协议分析 应用数据还原 内容分析过 滤 分类号 t p 3 9 3 0 8 北京交通大学硕十学位论文 a bs t r a c t a b s t r a c t w i t ht h ea d v e n to ft h ei n f o r m a t i o na g e t h ei n t e r n e th a se n t e r e dt h ed a i l y l i f eo fe v e r yp e r s o n h o w e v e r b e c a u s et h ei n t e m e tw a se s t a b l i s h e da saf r e ea n do p e n n e t w o r k a st h ei n c r e a s i n g l yu s eo ft h ei n t e m e t m o r ea n dm o r ep o r n o g r a p h yo rv i o l e n t c o n t e n t sa r em i x e di nt h ei n f o r m a t i o nt r a n s f e r r e do nt h en e t w o r k w h i c hi sh a r m f u lt o p e o p l e sm e n t a lh e a l t h s oh o wt om o n i t o ra n dm a n a g et h ei n f o r m a t i o nc o n t e n to nt h e i n t e r n e tb e c o m e sah o ti s s u eo fc o n c e r n o nt h eo t h e rh a n d t h ep r o p o s i t i o no fi e e e 8 0 2 11w i r e l e s sl a np r o t o c o lp r o v i d e sp e o p l ean e wn e t w o r ke n v i r o n m e n t h o wt o m o n i t o rt h ei n f o r m a t i o ni nt h en e ww i r e l e s sn e t w o r ke n v i r o n m e n ti sa nu r g e n tp r o b l e m t os t u d ya n ds o l v e n e t w o r ki n f o r m a t i o nc o n t e n tm o n i t o r i n gi sa ni m p o r t a n tb r a n c ho fn e t w o r k m o n i t o r i n g w h i c hm a i n l ym o n i t o r st h es p e c i f i cc o n t e n to ft h ei n f o r m a t i o nt r a n s f e r r e d o nt h en e t w o r k t h ec o m m o nm e t h o du s e di nn e t w o r ki n f o r m a t i o nc o n t e n tm o n i t o r i n g i s c a p t u r i n ga n da n a l y z i n gt h en e t w o r kd a t a a n dr e p r e s e n t i n gt h ec o n t e n to ft h e a p p l i c a t i o nl a y e rp r o t o c o ld a t a t h e r e f o r e n e t w o r kd a t ac a p t u r e p r o t o c o la n a l y s i sa n d a p p l i c a t i o nd a t ar e p r e s e n t a t i o n c o n t e n ta n a l y s i sa n df i l t e r i n ga r et h ek e yt e c h n i q u e s t h e r ea r eal o tn e wc h a l l e n g e si nt h en e t w o r ki n f o r m a t i o nc o n t e n tm o n i t o r i n gi n8 0 2 11 w i r e l e s sl a ne n v i r o n m e n t i n c l u d i n gt h ei m p a c tu p o nd a t ac a p t u r ec a u s e db yal a r g e m o u n to fc o n t r o lf r a m e sa n dm a n a g e m e n tf l a m e s t h ei m p a c tu p o np r o t o c o la n a l y s i s c a u s e db yn e wm a cl a y e rp r o t o c o lf o r m a t t h ei m p a c tu p o nd a t ar e p r e s e n t a t i o nc a u s eb y e n c r y p t i o ni nw i r e l e s sa c c e s sa u t h e n t i c a t i o n e t c t h i st h e s i ss t u d i e st h ep r i n c i p l ea n dk e yt e c h n i q u e so fn e t w o r ki n f o r m a t i o nc o n t e n t m o n i t o r i n ga n dd o e sm u c hc o n s i d e r a t i o no ft h ec h a l l e n g e si nt h en e t w o r ki n f o r m a t i o n c o n t e n tm o n i t o r i n gi n8 0 2 11w i r e l e s sl a ne n v i r o n m e n t s t h e nd e s i g n san e wn e t w o r k i n f o r m a t i o nc o n t e n tm o n i t o r i n gs y s t e m t h i ss y s t e mc o n s i s t so ff i v em o d u l e s n e t w o r k p a c k e tc a p t u r e p r o t o c o la n a l y s i s c o n v e r s a t i o nr e a s s e m b l y a p p l i c a t i o nl a y e rd a t a r e p r e s e n t a t i o n c o n t e n ta n a l y s i sa n df i l t e r i n g t h i ss y s t e mc a p t u r e st h en e t w o r kp a c k e t s a n ds a v e st h e mi n t oaf i l e t h e nd op r o t o c o la n a l y s i so fe v e r yc a p t u r e dp a c k e t a n dt h e n r e p r e s e n t t h ec o n t e n to ft h ec o n v e r s a t i o n sc o n t a i n e di nt h e c a p t u r ef i l e t h e c o n v e r s a t i o nc o n t e n t st ob er e p r e s e n tc o u l db et e l n e tc o m m a n de x c h a i l 百n gp r o c e s s e s o r f i l e sd o w n l o a d e do ru p l o a d e du s i n g 邱p r o t o c o l o rw e bp a g e sb r o w s e db ya n yc l i e n t u s i n gh t t pp r o t o c 0 1 a f t e rt h er e p r e s e n t a t i o no ft h ec o n v e r s a t i o nc o n t e n t t h i ss y s t e m a b s t r a c t c o u l df i l t e rt h er e p r e s e n t a t i o nr e s u l tf i l e a n df i n dt h ef i l e st h a tc o n t a i ns e n s i t i v e i n f o r m a t i o nw h i c hc o u l db ed e f i n e db yt h eu s e r t h es y s t e ms u p p o r t s8 0 2 11w i r e l e s s u 蝌e n v i r o n m e n t s a n dh a sa9 0 0 ds e a l a b i l i t y a f t e rt h a t t h i st h e s i ss h o w st h ed e t a i li m p l e m e n t a t i o no ft h ek e ym o d u l e so ft h i s s y s t e m w h i c hi n c l u d e s c o n v e r s a t i o n r e a s s e m b l ym o d u l e a p p l i c a t i o nl a y e rd a t a r e p r e s e n t a t i o nm o d u l e c o n t e n ta n a l y s i sa n df i l t e r i n gm o d u l e a tt h el a s tp a r to ft h i s t h e s i s t h ed e t a i l e dt e s tr e s u l t sa r es h o w n a n ds o m ei m p r o v i n gm e a s u r e so ft h i ss y s t e m a r ep o i n t e do u t k e y w o r d s n e t w o r ki n f o r m a t i o nc o m e n tm o n i t o r n e t w o r kp a c k e t c a p t u r e p r o t o c o la n a l y s i s a p p l i c a t i o nd a t ar e p r e s e n t a t i o n c o n t e n ta n a l y s i sa n df i l t e r c i a s s n 0 t p 3 9 3 0 8 v 学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留 使用学位论文的规定 特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索 并采用影印 缩印或扫描等复制手段保存 汇编以供查阅和借阅 同意学校向国 家有关部门或机构送交论文的复印件和磁盘 保密的学位论文在解密后适用本授权说明 学位论文作者签名 钏专曝 签字日期 砂寸g 年6 月f 2 日 导师签名 签字日期 北京交通大学硕士学位论文 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研 究成果 除了文中特别加以标注和致谢之处外 论文中不包含其他人已经发表或 撰写过的研究成果 也不包含为获得北京交通大学或其他教育机构的学位或证书 而使用过的材料 与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意 学位论文作者签名 矗诗醣 签字日期 如谚 年莎月 日 致谢 两年时间很快就过去了 作为一个即将走向工作岗位的毕业生 在此谨向我 攻读硕士期间关心 指导 帮助过我的各位老师和同学表示真诚的感谢 本论文的工作是在我的导师周华春副教授和刘颖老师的悉心指导下完成的 周华春副教授有着严谨的治学态度 渊博的技术知识 每当我在科研中遇到 技术难题的时候 总是可以向周教授请教 使我受益匪浅 在平时的学习生活中 周教授也时时关心着我 激励着我 教我要勤奋做事 踏实做人 他以自身作楷 模 为我指明了今后的奋斗方向 能够做周教授的学生是我一生的宝贵的财富 刘颖老师有着科学的工作方法 精益求精的工作作风 在我在实验室做项目 的过程中 她教我要合理的安排时间 勇于面对挑战 勤奋学习 细致思考 多 做交流 她以丰富的知识面和创新的精神 在项目中的很多细节问题上给我启发 帮我理清思路 拓宽视野 使一个又一个难题迎刃而解 在此我要对刘颖老师给 我的指导和无私关怀致以衷心的感谢 还要感谢实验室的张宏科教授 张思东教授 秦雅娟副教授 郜帅老师 高 德云老师 他们在实验室的工作生活中给予了我很多关心和帮助 感谢段倩师姐 万明博士 陶莎同学 谷雷同学 梁璐师妹 刘牧寅师妹 张少伟师弟 姚姜源师弟 魏海涛师弟 以及实验室所有其他同学 感谢他们在 项目和论文撰写过程中给予我的帮助和支持 在实验室工作和生活中 我们一起 探讨 一起钻研 共同进步 共同营造了一个团结向上的集体 为我的学习和科 研提供了很大帮助 与大家在一起让我感觉到了集体和团队精神的强大力量 另外还要感谢我的家人和朋友 他们对我的关心和支持是我学习进步的强大 动力和保证 在此 衷心的祝愿我的老师 同学 亲人朋友们 祝你们在今后的生活中身 体健康 工作顺利 万事如意 引言 1 引言 本章综述了网络信息内容监测的研究背景 意义及国内外现状 并概括了论 文的主要工作 1 i 研究背景 进入2 1 世纪 以数字化 网络化 信息化为重要特征的当今世界正进入一个 以网络为核心的信息时代 网络包括三类 电信网络 有线电视网络 计算机网 络 其中发展最快的 起核心用的是计算机网络f i 它具有高带宽 低时延等众多 优点 正因为如此 计算机网络成为了人们日常生活中使用最多的网络 自从1 9 6 9 年美国国防部创建第一个分组交换网a p r a n e t a d v a n c e dr e s e a r c h p r o j e c t sa g e n c yn e t w o r k 以来 计算机网络的发展突飞猛进 1 9 8 4 年以a p r a n e t 为前身的因特网开始形成 我国从1 9 8 9 年开始着手研究分组交换网 1 9 9 4 年正式 接入因特网 进入2 1 世纪 计算机网络开始进入中国人的生活 现今 网络的各 种应用 浏览网页 网上银行 博客 电子邮件 f t p b t 等等 都是人们日常 生活中经常遇到的 可以说互联网正在影响着人们的生活 影响着社会和经济的 各个方面 由于互联网建立在自由开放的基础之上 各种应用的开放性成为因特网的根 本特性 这给全球信息的交换和获取提供了便捷的手段 但是与此同时 黑客 病毒 各种软件和系统漏洞等安全问题也随着互联网的产生而开始兴起 网络安 全成为全球信息网络化必须解决的首要问题 在以前的网络安全研究中 如何阻止黑客入侵 如何预防病毒 如何抵抗各 种攻击 一直是人们关注的热点 然而 随着互联网的普及 人们在网上进行的 活动的日益增多 网络上传递的信息也变得越来越复杂 泛滥成灾的暴力 色情 和赌博网站 无异于一个又一个的黑洞 玷污了我们下一代的心灵 境内外敌对 势力和其他犯罪分子也在利用互联网进行危害国家安全的违法活动 另外 由于数据在网络上以比特的特殊形式传输 使得网络犯罪不仅危害大 而且罪犯更容易钻空子 逃避法律的监督和制裁 许多社会学家和教育学者都呼 吁控制网络不健康信息的泛滥 对互联网内容进行全面监管 国家管理部门也在 研究专用工具对互联网进行必要的监测 北京交通大学硕 学位论文 1 2 研究现状 关于网络安全监测 近些年来一直是国内外网络安全工作者的研究热点 在较早的网络安全监测中 主要考虑的是网络具体设备和设施的安全 这类 监测可以称为网络状态监测 b a r t o nb d u n n i n g j o h ns w i t l i k 在文章 ar e a l t i m ee x p e r ts y s t e mf o rc o m p u t e r n e t w o r km o n i t o ra n dc o n t r 0 1 中描述了一种网络监控系统 该系统主要作用是搜集 网络中各主机的软件和硬件问题 并给出网络管理员一些改进的建议 2 还有 b r a d l e y c h e u n g p u k e t z a m u k h e r j e e o l s s o n 在文章 d e t e c t i n gd i s r u p t i v e r o u t e r s ad i s t r i b u t e dn e t w o r km o n i t o r i n ga p p r o a c h 中描述了一种用于发现被入侵路 由器的网络监测方法 3 该方法对于及时发现被入侵路由器 防止网络通信中断具 有很大的价值 后来的网络监测偏向于宏观的网络流量和协议分析统计 这类监测可以称为 网络流量监测 例如 j o l l i lc m c e a c h e n j o h nm z a c h a r y 在文章 r e a l t i m er e p r e s e n t a t i o no f n e t w o r kt r a f f i cb e h a v i o rf o re n h a n c e ds e c u r i t y 中提出了一种网络监测系统模型 该 模型能够实时显示网络流量交换信息以增强网络的安全性 4 s y u k u r p a s h a r a m a d a s s b u d i a r t o 在文章 a d i s t r i b u t e da p p r o a c ho fi n t e l l i g e n t n e t w o r kt r a f f i cm o n i t o r i n ga n da n o m a l yd e t e c t i o na p p l i c a t i o n 中描述了一种智能网络 流量监测和异常检测系统 该系统采用分布式的智能客户端来进行网络流量的监 测和异常检测 对大规模网络环境中的流量监测提出了一种较好的解决方案 5 j 随着互联网中非法行为日益严重 不良信息的日益增多 近期对网络中的通 信内容进行监测则日益受到网络安全研究者和政府安全机构的重视 z a c h a r y m c e a c h e n e t t l i c h 在文章 c o n v e r s a t i o ne x c h a n g ed y n a m i c sf o r r e a l t i m en e t w o r km o n i t o r i n ga n da n o m a l yd e t e c t i o n 中描述了一种基于会话交换信 息来动态地实时地进行网络监测和入侵检测的模型 该模型分析会话交换的信息 并以一种可视化的方式进行分析和显示 文章对模型给出了实现 并在实验室环 境下进行了测试 6 y a n g p i n gz h a o j i z h u a n gz h a o r o n g s h e n gx u 在文章 n e t w o r ki n f o r m a t i o n c o n t e n ts e c u r i t y af r a m e w o r kf o ri n t e l l i g e n ta n a l y s i sa n dm o n i t o r i n g 中给出了一种智 能的监测网络信息内容的方案框架 该文章的研究对于在高速网络中进行信息内 容的智能监测具有指导意义 7 1 国内的相关研究也有很多 史永丰 赵燕平 许榕生等人在文章 高速网络 内容监控系统的设计与实现 中提出了一个基于会话连接的并能预测分析机处理 2 引言 能力的负载均衡算法 并结合w u m a n b e r 快速关键字匹配算法实现了一种高速网 络环境下的网络内容实时监控系统 8 j 电子科技大学的万国根在论文 面向内容的网络安全监控模型及其关键技术 研究 中提出了一种面向内容的网络监控模型 该模型主要针对网络中传递的数 据包的内容进行协议分析和还原 并提出了一种字符串匹配算法 能够对应用层 数据进行关键字的匹配检索 9 l 昆明理工大学的李笠在论文 高速网络实时信息流监控系统 中给出了一种 实时的信息流监控系统模型 该系统模型分布式地采集网络数据包信息 并针对 网络流量给出统计信息 针对每个数据包进行p 层 t c p 层协议分析 并支持对 t e l n e t 和p o p 3 邮件进行协议还原f l 川 王科 刘渊 罗万伯 高长波等人在文章 基于中文文本主题跟踪的网络信 息分析 中讨论了信息截获和分析的模型 将主题跟踪技术引入网络环境下中文 文本的分析中 讨论了基于中文文本主题跟踪的主题论点倾向跟踪的算法思想 并具体实现了简单论点倾向跟踪的算法 j 在软件实现方面 包括著名的e t h e r e a l 协议分析软件 它能够对捕获的网络数 据进行协议分析 能够从它的界面上进行每个数据包的详细协议树显示 它支持 了绝大多数的网络协议的分析 其他的协议分析软件 包括t c p d u m p w i n p c a p 等等 这些协议分析软件可以帮助网络管理者分析网络使用者现在的活动情况 但是它们的分析结果需要有网络协议知识的人才能够看懂 并且它对于涉及多个 数据包多个连接的应用协议内容的整体还原能力不强 国内网络监测软件的发展比较滞后 且技术手段集中在防火墙和网络入侵检 测方面 信息内容监控只有简单的进行网址方面的封堵 针对企业级基于互联网 信息内容原文的监测几乎是空白 另外 随着8 0 2 1 1 1 2 15 无线局域网协议的提出 计算机网络环境正在发生转 变 现有研究中针对8 0 2 1 l 新网络环境的考虑较少 如何在无线8 0 2 1 1 网络环境 下实现对信息内容的监测 急需得到研究和解决 1 3 选题意义 对国内外研究调查之后发现 对网络信息内容监测系统的研究主要集中在理 论模型阶段 具体的设计实现较少 为了便于网络管理者更加全面的对网络内容 进行监督 更加有效的对网络行为进行有效的管理 让网络信息内容监测系统从 理论走向实际必然是大势所趋 而且现阶段移动笔记本电脑日益普及 很多人的工作环境也需要适时移动 3 北京交通大学硕士学位论文 8 0 2 1 1 无线局域网协议的提出 使无线环境下的网络通信变得更加简单容易 而 且随着8 0 2 1 1 协议的不断改进 现在无线环境下的网络带宽和通信速度也变得越 来越理想 因此 越来越多的8 0 2 1 1 接入路由器出现在各种营业场所 商业机构 中 越来越多的人选择通过无线8 0 2 1 1 局域网上网进行通信 8 0 2 1 1 无线网络已 经逐渐走进了人们的日常生活 针对无线8 0 2 1 1 网络使用的增多 如何对无线环 境下的网络通信进行信息内容监测 是一个急需解决的新问题 本文在深入的研究网络信息内容监测关键技术 并充分考虑无线8 0 2 1 1 网络 环境信息内容监测新问题的基础上 在l i n u x 平台上设计并实现了一种网络信息内 容监测系统 该系统包含了网络信息采集 协议分析 应用层数据还原 内容分 析过滤等功能 并且具有较好的稳定性和扩展性 能够适应新时期网络安全监测 的需求 1 4 主要工作 本文在分析总结了前人的研究的基础上 提出并实现了一种网络信息内容监 测系统 并对该系统中的关键部分给出了详细的实现流程 该系统能够对有线以 太网环境和无线8 0 2 1 1 环境下的网络通信内容做出分析还原与过滤 文中除了特 殊标注和致谢中所述之处 均为本人所做工作 本文主要工作如下 1 对网络信息内容监测的原理 以及网络信息内容监测中的关键技术 数 据捕获 协议分析 应用数据还原 内容分析与过滤技术进行了研究 2 对无线8 0 2 1 1 网络环境下的网络信息内容监测进行了研究与讨论 3 设计提出了一种网络信息内容监测系统 该系统集成了网络数据捕获 协议分析 应用数据还原 内容分析与过滤等功能 4 在l i n u x 平台上 对设计的网络信息内容监测系统进行了实现 并对其 中的会话重聚 应用数据还原 主要包括t e l n e t f t p h t t p 等几种应用 层协议 内容分析与过滤几个关键部分给出了详细的实现流程 该系 统能够支持无线8 0 2 1 1 环境网络环境 并且具有很好的可扩展性 5 对实现的网络信息内容监测系统进行了功能测试 并在文中详细给出了 测试环境和其中关键的应用数据还原和内容分析过滤功能的测试结果 1 5 论文结构 全文共分为6 章 4 引言 第一章引言 包括本文课题研究背景 研究现状 选题的意义 本文做的主 要工作以及论文的结构 第二章网络信息内容监测原理与关键技术研究 从网络信息内容监测的原理 涉及的关键技术 以及8 0 2 11 无线环境下信息内容监测的新问题几个角度 进行 了相关理论研究 第三章网络信息内容监测系统设计 采用总分式结构 首先给出了系统的总 体结构功能 用户接口和外围设备 并概括性的给出了系统设计中涉及8 0 2 1 l 的 部分 然后针对系统每一层给出了详细的设计 包括该层的总体设计和接口设计 以及该层中的关键模块 第四章网络信息内容监测系统实现 本章对第三章设计的网络信息内容监测 系统进行了实现 并给出了其中会话重聚层 应用数据还原层 内容分析过滤等 层中关键函数的详细实现流程 第五章网络信息内容监测系统功能测试 首先给出了有线以太网和无线8 0 2 1 1 网络测试环境 然后对系统的主要功能进行了测试 并给出了详细测试结果 第六章结论与展望j 是对本文的总结 以及对未来工作的展望 5 北京交通大学硕士学位论文 2 网络信息内容监测原理与关键技术研究 在第l 章研究现状分析中已经指出 网络监测分为网络状态监测 网络流量 监测 网络信息内容监测三种类型 而网络信息内容监测是近些年才开始发展起 来的 是一种针对每一个数据流中传递的具体内容进行分析 还原和内容分析过 滤 发现网络中传递的非法内容的监测方式 它比网络流量监测更深入 是新时 期对网络传递的数据内容进行监管的主要手段 在本章中 对网络信息内容监测的原理及其关键技术进行了研究 并对无线 8 0 2 1 1 网络环境下的网络信息监测新问题做了讨论 2 1 网络信息内容监测原理 计算机网络通信是建立在计算机网络上的主机到主机或者主机到服务器的一 种全双工通信 通信的主体通过与对端主机或者服务器的交互 可以达到浏览信 息 发送和下载数据 交互命令和数据等目的 当前网络中的各种应用大部分都采用了客户 服务器模式 在该模式下 发起 通信的主机一般为客户 它主动发出到服务器的请求 服务器收到后分析和处理 客户的请求 如果客户的请求是浏览或下载某个资源 服务器首先搜索相应的资 源 若找到该资源的具体位置 则传送该资源到客户主机 如果资源在不同的服 务器上 则服务器需要首先从其他服务器获得该资源 客户主机通知客户资源已 经得到并就绪 客户可以进行浏览 如果客户的请求是上传数据 则服务器接受 客户的数据 并找到客户请求上传的位置 将客户数据存储到相应的位置 如果 客户的请求是交互命令 则服务器分析客户的命令 然后执行客户的命令 完成 相应的操作 然后将执行结果返回给客户 在这种模式下 如果想要监测通信过程中的行为和传输的内容 可以从三个 方面入手得到三种方案 1 从客户端入手的方案 这种方案的主要思想是限制客户的访问权限 在客户端加以控制 使得客户 端不能访问非法的信息 或者上传非法的内容 这种方案下采用的技术手段可以 有以下几种 资源分级与权限鉴定 它的主要思想是由资源提供者和用户共同控制 防止 不够权限的用户非法访问信息 l6 1 首先 由统一的权威机构负责对资源提供者的 资源进行分级评定 然后资源提供者在提供资源时连同自己的级别一同发布 然 6 网络信息内容监测原理与关键技术研究 后 网络的管理者在网络内加入客户权限数据库服务器 将该网络中所有主机上 的所有用户 同一主机可能有不同用户 的权限加以分别和评定 然后网络管理 者在客户端加入相应的权限鉴定机制 客户在访问某一个资源之前 首先要经过 客户端上的权限鉴别系统的认可 才能继续访问 如果权限鉴别系统判定该用户 不够访问某一资源的权限 则禁止进一步访问 上传信息审查 这种技术的主要思想是对客户向服务器上传的信息进行内容 过滤 防止客户端将不合法或者非健康的信息上传到网络上 首先在客户端上安 装内容过滤数据库 在内容过滤数据库中存储用于审查的特征关键字 然后客户 端在向网络中上传信息时首先要经过上传信息审查程序的审查 上传审查程序根 据过滤数据库中的特征关键字进行检查 如果上传信息中包含特征关键字 则停 止上传 这种方案主要应用在网吧等公共场所 可以有效防止污秽语言等不健康 因素进入互联网 但是 对图片 视频等的审查比较困难 2 从服务器端入手的方案 该方案的主要思想是在服务器公布某个资源之前对其进行资源合法性审查 或者在某个网络中加入接入资源审查 当某一个网络检测到服务器公布了非法资 源之后 将本网络与其隔离 从源头上控制网络中的资源 该方案中的主要技术 手段有以下几种 服务器资源合法性检查 该技术与上面所说的资源分级技术很类似 同样需 要权威机构的参与 首先需要建立一个权威机构 该机构负责管理网络中的资源 发布 每一个资源在发布之前都要在该机构中申请注册 而该机构针对其资源的 合法性以及健康性程度给予评价 如果资源不合法 则直接拒绝其发布 这样就 从源头上阻止了非法资源流入网络 网络接入资源审查 该技术主要用在某个统一管理的网络中 在该网络中设 置一个阻断路由器 放置在该网络的出口路由器之前 如果某一个外网服务器被 发现包含了非法资源 或者不健康的内容 则可以在阻断路由器上采用i p 过滤 或者u r l 过滤等技术 阻止访问该服务器或者该服务器发来的数据包进出本地网 络 该技术并没有真正防止非法资源进入互联网 但是阻止了本地网络中该非法 资源的进入 从而保护了本地网络中传递的资源合法性和健康性 3 从网络通信中间过程入手的方案 该方案是网络信息内容监测的主要手段 方案从主机和服务器之间的通信过 程入手 在通信双方的中间加入网络监测设备 该设备需要有数据捕获和协议分 析功能 能对双方通信的数据包进行采集 会话整理 协议分析和还原 并能够 进行内容分析和过滤 根据分析过滤的结果能够给出相应的报警 这种监测方式 采用的主要技术有数据捕获 协议分析与还原 内容分析与过滤等几种 本文在 7 北京交通大学硕士学位论文 2 2 节中针对每种技术进行了分析和研究 在该方案中 客户的向服务器发送的请求以及服务器给客户的响应都可以被 监测系统截获 在截获了一定量的客户服务器数据包之后 首先对感兴趣的数据 包进行过滤提取 例如 如果想要分析某i p 地址的主机上网的信息 那么可以设 置过滤条件 将符合条件的数据包提取出来 然后重新聚合整理 整理完成之后 可以进行应用层的还原 上网一般采用h t t p 协议 根据h t t p 协议的规范 可以提 取出其中的数据部分 然后针对数据部分进行整理保存 之后需要对保存的文件 进行一些特殊处理 以便保存的文件具有更好的可读性 最后 可以根据一定的 过滤规则 对分析还原出的文件进行内容分析过滤 如果其中包含有非法内容 则可以进行报警 该方案的示意图如图2 1 所示 图2 l 从网络通信中间过程入手的方案示意图 f i g u r e 2 1t h ea p p r o a c ht om o n i t o rf r o mt h em i d d l eo f n e t w o r kc o m m u n i c a t i o n 综合比较几种方案 从客户端入手和从服务器入手的网络信息内容监测 需 要资源提供者 资源访问客户与权威机构的配合 需要网络管理者能够控制入网 的每个主机 对于整个互联网来说 是比较困难做到的 因为互联网一个开放互 联的网络 在开放的网络中 无法建立一个每个用户都遵从的能够进行高效管理 的权威机构 但是这种方案在一些管理比较容易的小范围网络中可以实施 例如 小型军方网络 或者企业内部网络 而从网络通信过程入手的方案比较符合互联 网的特点 不需要对网络每一台主机进行严格控制 不需要建立人人遵从的权威 机构 只是在中间截获网络中的通信数据 进行内容分析 在具体实施上容易做 到 经过该方案的信息内容监测 可以找出不法的资源所在 可以找出非法的用 户所在 通知网络管理者 而网络管理者收到通知之后可以采取进一步的措施 包括技术上的阻断该资源进入本地网络 以及法律上的取缔该网络资源等等 因此在实际中应用价值比较大的是第三种方案 本文中设计并实现的网络信 息内容监测系统即采用了该方案 网络信息内容监测原理与关键技术研究 2 2 网络信息内容监测关键技术 2 2 1数据捕获技术 简单的讲 数据捕获就是将流经某个网络的数据包进行第三方截获 以便进 行进一步分析还原处理的一种技术 不同的操作系统实现的数据捕获机制可能是不一样的 但从形式上看大同小 异 数据包常规的传输路径依次为网卡 设备驱动层 数据链路层 i p 层 传输 层 最后到达应用程序 而包捕获机制是在数据链路层增加一个旁路处理 对发 送和接收到的数据包做过滤 缓冲等相关处理 最后直接传递到应用程序 对用 户程序而言 包捕获机制提供了一个统一的接口 使用户程序只需要简单的调用 若干函数就能获得所期望的数据包 这样一来 针对特定操作系统的捕获机制对 用户透明 使用户程序有比较好的可移植性 而包过滤机制可以对所捕获到的数 据包根据用户的要求进行筛选 最终只把满足过滤条件的数据包传递给用户程序 进行数据捕获的网卡一般都利用了网卡的混杂模式 在8 0 2 3 以太网中 其实 每个数据包都会经过以太网中的每一个网卡 但是由于网卡的工作模式 它只能 接收广播数据包和目的地址是自己的数据包 而把其他的数据包丢弃 但是在混 杂模式下 网卡会保留所有的数据包 然后交给驱动进行处理 驱动会进一步将 这些数据包交给内核 之后转交给数据捕获程序 l i b p c a p 是u n i x l i n u x 平台下的网络数据包捕获的函数库 目前很多优秀的 网络数据包捕获软件都是以l i b p c a p 为基础 如著名的t c p d u m p e t h e r e a l 等 它 是一个独立于系统的用户层数据包捕获a p i 接口 为底层网络监听提供了一个可 移植的框架 并且支持b p f 过滤机制 l7 1 它的工作原理如下图2 2 所示 图2 2l i b p c a p 工作原理 f i g u r e 2 2l i b p c a pw o r k i n gp r i n c i p l e 总体上看 l i b p c a p 主要包含三个部分 最底层是针对硬件设备接口的数据包 捕获机制 中间是内核级的包过滤机制 第三层是针对用户程序的接口 当一个 数据包到达网络接口时 l i b p c a p 首先从链路层驱动程序获得该数据包的拷贝 再 9 北京交通大学硕士学位论文 通过t a p 函数将数据包发送给b p f 过滤器 b p f 过滤器收到数据包后 根据用户 已经定义好的过滤规则对数据包进行逐一的匹配 符合过滤规则的数据包就是所 需要的 将它放入内核缓冲器 并传递给用户层缓冲器 等待应用程序对其进行 处理 不符合过滤规则的数据包就被丢弃 如果没有定义过滤规则 所有的数据 包都将被放入内核缓冲器 f l 硼 对于采用l i b p c a p 函数库的数据捕获程序 一般情况下它们会将捕获的数据包 保存成一种特定的文件格式 即l i b p c a p 文件格式 如果希望从数据捕获得到的文 件入手去分析和还原网络信息内容 就必须了解这种文件格式 l i b p c a p 的文件格式如下图2 3 所示 全局头数据包头 原始数据 数据包头 原始数据 数据包头 原始数据 g l o b a l p a c k e t包 p a c k e t p a c k e t包 p a c k e t p a c k e t包 p a c k e t h e a d e r h e a d e r d a t a h e a d e r d a t a h e a d e r d a t a 图2 3l i b p c a p 文件格式 f i g u r e 2 3l i b p e a pf i l ef o r m a t l i b p c a p 的文件中首先是全局头 包含整个文件的一些全局的信息 包括幻数 m a g i cn u m b e r l i b p c a p 库的主次版本号 时区 时间戳精度 数据包最大捕 获长度 链路层类型 其后的每个数据包头 p a c k e th e a d e r 和原始数据包 p a c k e t d a t a 叫做一个记录 r e c o r d 数据包头包含每个数据包的一些信息 包括该数 据包捕获时的时间 数据包包含的原始数据长度 该数据包捕获的长度 该数据 包可能被在捕获过程中截短了 原始数据包是网卡捕获到的该数据包的原始内 容 由于l i b p c a p 也在不断的更新 每个版本的文件格式也有所不同 总体来看 现有的几种版本大同小异 它们的全局头都是一样的 只是数据包头做了一些改 动 如果不是标准版 则可以从全局头中的m a g i cn u m b e r 判断出来 然后通过在 开始读文件之前预读2 个数据包头来尝试判断文件的具体版本 2 2 2协议分析技术 所谓协议分析 就是利用互联网上的协议的高度规范性 将捕获到的网络数 据包进行逐层协议解析和分析 并将分析结果保存及显示的技术 最初它只用在 入侵检测系统中 用于检测某种协议是否发生了异常 如果发生了 则i d s 可以 进行进一步的报警处理 1 9 2 们 但是在网络信息监测中 可以利用这种技术对网络 中的传递的会话的大概信息得到一个整体的了解 并且能够为下面的应用数据还 原打下基础 为了利于不同系统不同硬件的主机在互联网上互联 在互联网上传送的数据 l o 网络信息内容监测原理与关键技术研究 包必须符合同一种标准 而目前在互联网上广泛应用的一种标准是t c p i p 协议标 准 t c p i p 是一族协议的统称 该族协议整体上分为五层 从上到下依次是应用 层 传输层 网络层 数据链路层和物理层 数据链路层和物理层也可以统称为 网络接口层 每个应用协议在给对端发送应用数据的时候 都要从上到下依次经过每层的 协议处理 首先是应用协议数据到传输层 例如t c p 层 t c p 层负责通信双方端 到端的可靠性 它会在应用数据前面加上t c p 头部 头部中含有的源端口 目的 端口信息对于操作系统和应用程序之间的交互很有帮助 另外如果应用层传递下 来的数据太大 在网络中一次传送不了 则进行分段 并加入发送序列号和应答 序列号以便对端的t c p 层进行重组 一个分段传递到网络层 网络层负责处理数