基于Linux透明网桥的反垃圾邮件系统设计与实现.pdf

摘要 摘要 随着i n t e r n e t 的发展，电子邮件得到了普及，它的广泛使用给人们的生活带 来了极大方便。可是，一些人出于个人私利，利用电子邮件的便利滥发垃圾邮件， 不仅消耗了大量的网络资源，还使大量的不良信息通过垃圾邮件得到传播，给社 会带来很大危害。垃圾邮件的问题，已上升到一个世界范围的问题。对反垃圾邮 件的研究，在世界范围内迅速得到了广泛的开展。一些国外的垃圾邮件发送者利 用我国作为世界垃圾邮件的中转，严重影响了我国互联网的通信以及国家尊严， 我国的垃圾邮件问题，显得尤为重要。因此，对反垃圾邮件的研究，对我国乃至 全世界具有非常重要的意义。 本文分析了传统的反垃圾邮件系统的优缺点，根据当今反垃圾邮件的发展趋 势，提出了架设于l i n u x 透明网桥的反垃圾邮件系统。 本文首先概述了电子邮件及其过滤技术；然后对l i n u x 防火墙及网桥技术做 了介绍。在此基础上，提出了在网桥上架设垃圾邮件防火墙系统的思路。介绍了 系统和各主要功能模块，并详细分析了系统的技术要点。最后，本文介绍了系统 的测试环境、测试方式以及测试结果，并对本文的工作做了总结和展望。 课题的最终研究成果是：设计并实现一个基于l i n u x 网桥的反垃圾邮件系统。 该系统能高效地对传输中的邮件进行分析，即时过滤垃圾邮件。该系统已经得到 了华为北京研究院的验收，性能合格。 关键词：垃圾邮件，n c t f i l t c r ，网桥，邮件过滤 a b s t r a c t a b s t r a c t w i t l lt h ed e v e l o p m e n ta n dp o p u l a r i z a t i o no fi n t e r n e t e - m a i lh a sb e e nw i d e l y u s e da n db r o u g h tg r e a tc o n v e n i e n c et o p e o p l e b u ts o m ep e o p l ea b u s et h i s c o n v e n i e n c et os e n dj u n k sm a i l s t h e s es p a r e sn o to m yc o n s u m eag r e a ta m o u n to f n e t w o r kr e s o u i c e 8 ，b u ta l s os p r e a db a di n f o r m a t i o nw h i c hd oal o to fh a r mt ot h e s o c i e t y t h ep r o b l e mo fj u n km a i l sh a sb e e naw o r l d w i d ep r o b l e m t h es t u d yo f a n t i - s p a mi sh e a t i n gi nt h ew o r l dn o w s o m ef o r e i g ns p a ms e n d e r sm a k eu s eo fc h i n a a sas w i t c h e rt os e n ds p a r e s i tm a k e st h ep r o b l e mo fs p a m si nc h i n ar e l a t i v e l y i m p o r t a n t t h e r e f o r e ，t h es t u d yo f h o wt os p a m sh a sb e e na ni m p o r t a n ts i g n i f i c a n c e t h i st h e s i sa n a l y z e st h ea d v a n t a g e sa n dd i s a d v a n t a g eo ft h et r a d i t i o n a la n t i s p a m s y s t e m ，a n dp r o p o s e san e wa n t i s p a ms y s t e n ab a s e do nl i n u xt r a n s p a r e n tb r i d g e a c c o r d i n g t ot h ed e v e l o p m e n t o f a n t i s p a r es y s t e m a tf i r s t ，t h i st h e s i sb r i e f l yi n t r o d u c e st h ep r i n c i p l eo fe m a i la n df i l t r a t i o n t e c h n o l o g y a f t e rt h a t , t h er e l a t e dt e c h n o l o g yo fl i n u xf i r e w a l la n db r i d g et e c h n o l o g y a r ei n t r o d u c e da n da n a l y z e d o nt h e s eb a s e s ，t h i st h e s i sp r o p o s e sa na n t i s p a r ef i r e w a u s y s t e mb a s e do nl i n u xb r i d g e ，i n t r o d u c e st h ea r c h i t e c t u r eo fs y s t e ma n dm a i nm o d u l e s ， a n dt h ek e yt e c h n o l o g i e so ft h es y s t e mi nd e t a i l a tl a s t ，i ti n t r o d u c e ss y s t e m st e s t e n v i r o n m e n t s ，t e s tm e t h o d sa n dt e s tr e s u l t s ，a n dg i v e sac o n c l u s i o no f w o r ka n df 1 l t h e r t h ef u t u r ep r o s p e c t t h ef i n a lp r o d u c t i o no ft h es t u d yi st h ed e s i g na n di m p l e m e n t a t i o no fa ne - m a i l f i l t r a t i o ns y s t e mw h i c hb a s e do nl i n u xb r i d g e t h i ss y s t e mc a na n a l y z et h ee m a i l s q u i c k l yw h i c ha r et r a n s f e r r e do v e rn e t w o r k , a n df i l t e rt h e j u n km a i l si m m e d i a t e l y t h i s s y s t e mh a sb e e np r o v e dq u a l i f i e db yh u a w e ib e i j i n gr e s e a r c hc e n t e r k e y w o r d s ：s p a m ，n e t f i l t e r ，n e t w o r kb r i d g e ，m a i l sf i l t r a t i o n 姓名：苏哲 学号：2 0 0 4 2 0 6 0 1 0 0 3 硕士论文修改提纲 硕士论文基于l i n u x 透明网桥的反垃圾邮件系统设计与实现的修改如下： 1 扩充了英文参考文献； 2 增加了参考文献的标注； 3 更正了图表的编号； 4 在p 3 9 中增加了系统模块图。 导师： 答辩委员会主席 2 0 0 7 年1 月1 9 日 溉考浠 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的 说明并表示谢意。 签名：日期：旬年fz 月f 口日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：荔奄 导师签名：事乏虱 日期：砷年猬，o 日 第一章引言 1 1 课题研究背景 第一章引言 本课题直接来源于华为资金项目“基于p 2 p 模式的垃圾邮件过滤系统”。目前 本课题的研究成果已经通过验收。 互联网在中国得到了普及，网络已经成为人们获取交换信息的重要方式，给 人们带来了极大的便利。在各种网络服务中，电子邮件的应用最广泛，电子邮件 译自英文e - m a i l ，其意思是利用电子通讯系统进行邮件的书写、发送、接收和存 储。通过电子邮件人们可以以十分低廉的价格，以非常快的速度同世界上其他互 联网用户联络。 电子邮件主要是用简单邮件传输协议( s i m p l em a i lt r a n s f e rp r o t o c o l ，s m t p ) u 】 进行传输，s m t p 基于t c p 协议 2 1 ，是t c p i p 协议族【3 】【4 】的一部分。s m t p 协 议没有任何认证手段，所以缺省的邮件服务器都是o p c n r e l a y ( 开放转发器) p 】， 无论邮件来自何方，无论邮件想发往哪里，邮件服务器都会发送它。后来出现了 e s m t p 协议，它在s m t p 协议中加了层认证功能，对于某个邮件服务器必须 是其合法用户才能通过该邮件服务器发送邮件。然而得到一个邮件账户极其容易， 同样要获得个邮件服务器上的用户列表也不是困难的事情，这些先天安全性不 足给垃圾邮件的泛滥创造了技术条件。 垃圾邮件是指用户未主动请求或同意接收的电子刊物、电子广告和各种形式 的电子宣传品等电子邮件；没有明确发信人、发信地址、退信方式的电子邮件； 含有虚假信息源、发信地址、路由信息或收信人不存在的电子邮件。据有关方面 统计，中国互联网用户每天发送的电子邮件超过4 6 0 0 万封，每天接收的电子邮 件超过6 7 0 0 万封，电子邮件的收发累计超过一亿封，但是每天在网上来来回回 的1 亿多封电子邮件中竞有大约一半是垃圾邮件。电子邮件用户和邮件运营商对 这种情况也往往束手无策。邮件过滤技术在这种情况下就有很大的需求空间和发 展空间。 电子科技大学硕士学位论文 1 2 相关文献综述 随着电子邮件的普及，由于使用电子邮件带来的安全性问题也成为迫切需要 解决的问题。一类安全性问题是指针对服务器本身漏洞的攻击，比如缓冲溢出漏 洞等，这需要改进邮件服务器的设计。另一类安全性问题是邮件本身引起的，比 如垃圾邮件、邮件病毒和含有不良内容的邮件等，这就需要进行邮件过滤。 目前的邮件过滤系统通常是嵌入式的，即在现有邮件服务器中附加一个模块， 来负责邮件的过滤。可以有两种实现方式，一种是利用邮件服务器本身提供的功 能，另一种是修改邮件服务器的源代码。因此对特定的邮件服务器依赖性太强， 实现起来不灵活、不通用。通常的邮件过滤是在邮件完全传输到邮件服务器后进 行的，这种方式虽然能对邮件内容进行彻底分析，但垃圾邮件已经占用了大量的 网络资源。 目前主要的反垃圾邮件技术包括：实时黑名单技术( r b l ) 、邮件过滤技术、 o p e n - r e l a y 、o p e n p r o x y 、反垃圾邮件资源。垃圾邮件是全球性的问题，且已经 成为一种社会现象，单靠反垃圾邮件技术的发展或是纯粹的技术手段是无法解决 的，还是应当采用管理与技术相结合的方式，以先进的技术手段为基础，以完善 的管理制度和法律法规为依托，对社会各主体的邮件活动进行规范，通过建立国 家级的反垃圾邮件公共服务体系，完善国内的垃圾邮件举报平台，促进各运营商 和邮件服务商的协调合作，再次推动反垃圾邮件技术的更新和快速发展。 实时黑名单技术( r e a l t i m eb l a c k h o l el i s t ) 是一个网站提供的、借助d n s 解 析技术实现的黑名单查询技术，当邮件系统需要确认某个口地址是否被列入黑 名单时，就向r b l 服务器发出一个d n s 解析请求，r b l 服务器返回结果，邮件 服务器就知道该m 地址是否被列入黑名单。 实时黑名单技术对拥有合法域名的服务器、进行垃圾邮件转发或开放 o p e n r e l a y 功能的邮件服务器非常有效。某个邮件服务器如果开放o p e n r e l a y 或 它的合法用户发送垃圾邮件而不被控制，该服务器将可能被投诉，通过r b l 机 构确认其大量发送或转发垃圾邮件后，将被列入黑名单。邮件服务器在收到邮件 时，可以向r b l 查询这台发送邮件的服务器是否被列入黑名单，以决定是否拒 收该邮件。这种技术也存在局限性，它无法防止动态1 p 地址的用户发出的垃圾 邮件，这样经常会导致将某个口区域被列入黑名单，中国互联网协会就曾因国 外将中国大片m 区域列入黑名单而提出抗议。 2 第一章引言 如果要对邮件内容进行检查，邮件过滤是一种重要的技术。邮件过滤可在三 个模块实现，即m t a ( 邮件传送代理) 、m d a ( 邮件投递代理) 和m u a ( 邮件 用户代理) 。通常一个邮件服务器同时包括m t a 和m d a ，而一个邮件客户端程 序实现邮件用户代理的功能。为了保护用户不受垃圾邮件的骚扰，同时禁止用户 使用电子邮件骚扰别人，需要在邮件服务器端实现邮件过滤，即在m t a 模块或 m d a 模块过滤。邮件过滤技术作为一个有效的对抗垃圾邮件的手段，就如同杀 毒软件和防火墙一样，也需要不断更新邮件过滤规则。 1 3 作者主要工作和创新点 作者是本课题的主要研究人员，在教研室老师的指导下以及与项目组同事的 共同努力下，本课题最终按质按量完成，并通过了严格的验收测试。作为主要研 发人员，作者参与了该系统的可行性研究、需求分析、设计文档、软件编码、软 件测试和用户手册编写等整个开发流程。 在此期间，作者查阅了大量中外文资料，和相关的专家和研究人员进行了多 次讨论，并针对疑难问题进行了多次实验和论证，最终得出了本系统的技术路线。 作者阅读了大量有关l i n u x 内核的书籍和资料，并重点分析了l i n u x 网络协议 栈1 6 j 和防火墙相关部分的代码和机制。作者提出了将垃圾邮件分析系统架设于 l i n u x 透明网桥上的框架，提出了创新的垃圾邮件过滤算法。 1 4 论文的章节安排 论文共分七章。主要内容分别阐述如下： 第一章：引言。介绍本课题的背景和来源以及作者所做的工作和论文结构。 第二章：电子邮件及其过滤技术概述。介绍了电子邮件的基本原理、电子邮 件的相关协议和电子邮件的编码方式，并介绍了垃圾邮件和邮件过滤的基本技术。 第三章：l i n u x 防火墙及网桥技术分析。对邮件过滤系统将会用到的和l i n u x 内核相关的技术作了分析和介绍，这其中包括网络数据包截获技术、l i n u x 网络 数据包的相关技术、内核空间和用户空间的概念及其内核编程的基本方法。 第四章：邮件过滤模型的系统结构。介绍了邮件过滤系统应用的主要环境。 对邮件过滤模型的体系结构作了详细的说明，介绍了各个模块的功能以及相互的 电子科技大学硕士学位论文 关系。 第五章：邮件过滤系统的设计与实现。详细介绍了邮件过滤系统的设计与实 现，介绍了透明网桥的设计与实现，介绍了i p 包重定向技术，说明了协议分析方 法，最后详细说明了邮件评判和过滤机制。 第六章：系统测试与分析。介绍了邮件过滤系统的测试环境、测试方法和步 骤以及具体的测试结果，并对测试结果进行了分析。 第七章：总结。对全文和本人的工作做了总结，提出了未来的研究方向。 1 5 小结 本章主要介绍了本文所涉及项目的来源及其应用背景，并介绍了现有邮件过 滤的相关技术，最后介绍了本人在该课题中完成的工作和本文章节的安排。 4 第二章电子邮件及其过滤技术概述 第二章电子邮件及其过滤技术概述 本章首先介绍电子邮件的工作原理、相关协议以及编码方式；然后介绍了垃 圾邮件的种类和危害；最后分析了现有的垃圾邮件过滤技术，并阐述了未来垃圾 邮件过滤技术的发展趋势。 2 1 电子邮件概述 2 1 1 电子邮件的工作原理 电子邮件与普通邮件有类似的地方，发信者注明收件人的姓名与地址( 即邮 件地址) ，发送方服务器把邮件传到收件方服务器，收件方服务器再把邮件发到收 件人的邮箱中。如图2 - 1 所示。 忤接收万 图2 1 因特网电子邮件示意图 邮件用户代理( m u a ) 帮助用户读写邮件。 邮件传输代理( m t a ) 负责把邮件由一个服务器传到另个服务器或邮件投递代理。 邮件传递代理( m d a ) 把邮件放到用户的邮箱里。 电子科技大学硕士学位论文 邮件队列 如果下游的服务器暂时不可用，m t a 就暂时在队列中保存信件，并在以后尝 试发送。 2 1 2 电子邮件的格式及协议介绍 简单邮件传输协议( s m t p ，即s i m p l em a i lt r a n s f e rp r o t o c 0 1 ) s m t p 是用来接收和发送电子邮件的t c p i p 协议，通常用于把电子邮件从 客户机传输到服务器，或者从某一服务器传输到另一个服务器。它是i n t e m e t 上 传输电子邮件的标准协议，规定了主机之间的传输电子邮件的标准交换格式和邮 件在链路层上的传输机制。 邮局协议( p o p 3 ，即p o s to 伍c cp r o t o c 0 1 ) p o p 3 是关于接收电子邮件的客户机服务器协议，其中服务器负责接收并保 存电子邮件，客户端邮件接收程序进行邮件检查并下载到本地硬盘。p o p 3 规范 了对电子邮件的访问，它是在i n t e r a c t 上传输电子邮件的第一个标准协议，同时 也是一个离线协议。 网际消息访问协议( i m a p 4 ，即i n t e m e t m e s s a g e a c c e s sp r o t o c 0 1 ) i m a p 4 为邮箱访问和信息管理提供了更高的灵活性，当用户通过慢速电话线 访问h n e m e t 和接收电子邮件时， i v l a 巾4 比p o p 3 表现得更为出色。在使用 i m a p 协议时，可以将服务器上的邮件视为本地客户机上的邮件，用户可以选择 性地下载邮件，也可以只下载部分邮件。也是由于这一原因，i m a p 比p o p 结 构更为复杂。 轻量级目录访问协议( l d a p ，即l i g h t w e i g h td i r e c t o r y a c c e s sp r o t o c 0 1 ) l d a p 为访问信息服务的开发标准协议，是目前最为流行的目录服务 ( d i r e c t o r ys e r v i c e ，d s ) 存取协议，它用来发布目录信息到不同的资源中。通常 l d a p 作为一个集中的地址簿使用，提供快速的查询服务。简单地说，l d a p 是 一种只需较少资源即可实现目录信息存取的方式，它能够实现安全高速的大用户 量身份认证。 r f c8 2 2 邮件格式 r f c8 2 2 定义了用于电子邮件报文的格式。它定义的邮件由2 部分组成： 即信封和邮件内容。其中信封包括了与传输和投递邮件相关的信息，而邮件内容 则包括了标题和正文。 6 第二章电子邮件及其过滤技术概述 多用途的网际邮件扩展( m i m e l i n t e m e t 上的s m t p 传输机制是以7 位二进制编码的a s c i i 码为基础的， 适合传送文本邮件。而声音、图像、中文等使用8 位二进制编码的电子邮件需要 进行a s c i i 编码转换才能够在i n t e m e t 上正确地传输。m i m e 的作用是将数据 从8 位使用的格式转换成使用7 位数据的a s c i i 码格式。 2 1 3 电子邮件的编码方式 m i m e b a s e 6 4 编码 b a s e 6 4 编码用于对那些不可读的邮件信息( 如图片，可执行文件等) 和非纯 a s c i i 字符的内容( 比如中文) 进行编码，经过编码的信息量比明文增加了1 3 左 右。它的编码方式是：将要解码的部分当作二进制信息流，从左至右每3 个8 比 特编码成4 个6 比特组，每个比特组通过在一个包含6 4 个可打印字符表格中索引， 索引指向的字符作为对应的输出字符。如果待处理的比特数不是“的整数倍，这 时需要采取特殊的处理方式。在这种情况下，比特流后面需要填充一定数目的0 比特凑成6 比特组。数据末尾填充“= ”字符。 q p 编码 q u o t e d p r i n t a b l e 简称q p ，一般用在e m a i l 系统中。它通常用于少量文本方式 的8 位字符的编码，例如f o x m a i l 就用它做对主题和信体的编码。这静编码的应 该是很好辨认的：它有大量的曾。q p 的算法可以说是最简单的也可以说是编码 效率最低的( 它的编码率是1 ：3 ) ，它是专门为了处理8 位字符制定的。它的算法 是：读一个字符，如果a s c i i 码大于1 2 7 ，即字符的第8 位是1 的话，进行编码， 否则忽略( 有时也对7 位字符编码) 。 u n i c o d e u n i c o d e 应用中最典型的例子是：i e 4 以上版本对h t m l 的编码。它可以说 是未来w i n d o w s 下唯一的字符集。 b i n h e x b i n h e x 编码是m a c i n t o s h 计算机( 也就是俗称的“苹果电脑”) 上用可打印字 符表示传输二进制文件的一种编码方法。它的主要用途是在电子邮件程序中 a t t a c h 二迸制文件。大部分的电子邮件程序不支持这种格式( e u d o r a 支持) ，但用 w i n z i p 可以进行解码。 u u e n c o d e 7 电子科技大学硕士学位论文 u u e n c o d e 是将二进制文件以文本文件方式进行编码表示、以利于基于文本 传输环境中进行二进制文件的传输交换的编码方法之一，在邮件系统二进制新 闻组中使用频率比较高，经常用于a t t a c h 二进制文件。这种编码的特征是：每一 行开头用n l 标志。u u e n c o d e 编码时将3 个字符顺序放入一个2 4 位的缓冲区，缺 字符的地方补零，然后将缓冲区截断成为4 个部分，高位在先，每个部分6 位， 用下面的6 4 个字符重新表示： ”! ”# $ & 0 + + ，一0 1 2 3 4 5 6 7 8 9 ：； ? a b c d e f g h i j k l m n o p q r s t u v w x y z 【】 - ” 在文件的开头有 b e g i nx x x 被编码的文件名”，在文件的结尾有“e n d ”，用来标 志u u e 文件的开始和结束。在编码时，每次读取源文件的4 5 个字符，不足4 5 个 的用 n u l l ”补足为3 的整数倍，然后输入目标文件一个a s c i i 为：“3 2 + 实际读取的 字符数”的字符作为每一行的开始。读取的字符编码后输入目标文件，再输入一个 “换行符”。如果源文件被编码完了，那么输入“( a s c i i 为9 6 ) ”和一个“换行符”表 示编码结束。 解码时它将4 个字符分别转换为4 个6 位字符后，截取有用的后六位放入一 个2 4 位的缓冲区，即得3 个二进制代码。 2 1 4 电子邮件的结构分析 2 1 4 1 电子邮件的信封 电子邮件的信封包括了发件人的地址、收件人的地址。它是在s m t p 传输中， 命令“m a i lf r o m ”、“r c p tt o ”形成的。其中m a i lf r o m 形成发件人地址， r c p tt o 形成收件人地址。 2 1 4 2 电子邮件的邮件头和邮件体 表2 1 示意了一封含有一附件( 一个w o r d 文档) 的邮件的原始信息： 表2 - 1 电子邮件格式 第二章电子邮件及其过滤技术概述 9 电子科技大学硕士学位论文 表2 1 中，第1 , - , 9 行为邮件头，第1 1 - 2 9 行为邮件体。根据r f c 8 2 2 要求， 邮件头和邮件体之间隔一空行。 邮件头( m e s s a g eh e a d e r ) 邮件头通常包括字段： 表2 - 2 邮件头字段 字段含义 f r o m邮件发送方地址 t o邮件接收方地址( 只能一个) s u b j e c t邮件主题 c c 抄送方地址( 可多个，用”；”或”，”分隔) b c c 密送方地址( 可多个，用”；”或”，”分隔) m e s s a g e - i d 邮件的唯一标志 x m a i l e t邮件发送工具标志 d a t e邮件创建日期 r e c e i v e dm t a 轨迹 c o m m c n t s关于信件的其它说明 1 0 第二章电子邮件及其过滤技术概述 k e y w o r d s 与该信件有关的主题关键字 x -扩展字段 在表2 - 2 中，邮件头各行说明如下： 行1 ：发送方发邮件的时间。 行2 ：发件方地址。 行3 ：接收方地址。 行4 ：抄送方地址。 行5 ：邮件主题。 行6 ：邮件发送工具标志。 行7 ：m i m e 版本。 行8 ：声明邮件含有多个对象实体。 行9 ：指定区别实体的边界值( 即b o u n d a r y ) 。 邮件体( m e s s a g eb o d y ) 根据r f c 8 2 2 定义，邮件头空一个空行后，是邮件体的开始。邮件体可以包 括文本、图片、音乐等多媒体信息以及邮件附件。邮件体根据m i m e 来加载多媒 体信息。m i m e 是对r f c 8 2 2 提供的字段进行扩充，补充了一些邮件头字段，这 些字段是发送电子邮件的软件在创建电子邮件时产生的，接收电子邮件的软件提 取其中的字段得到有用信息。 m i m e 补充的信息字段，如表2 3 所示： 表2 - 3m i m e 补充的信息字段 字段 含义 m m m v e r s i o n ：1 0描述特定m i m e 实体中包含的数据 c o n t e n t - t y p e ：描述媒体类型 c o n t e n t - t r a n s f e r - e n c o d i n g ： 指明编码方式 在表2 - 3 中，邮件体的各行说明如下： 行1 1 1 2 ：声明邮件是m i m e 格式。 行1 3 1 9 ： 声明类型为t e x t p l a i n 的正文，编码方式为b a s e 6 4 。 行2 0 - - 2 3 ：声明类型为a p p l i c a t i o n o c t e t - s t r e a m 的附件，编码方式为b a s e 6 4 。 行2 4 ：声明内容为附件。 行2 5 ：声明附件文件名。 电子科技大学硕士学位论文 行2 6 ： 行2 7 ： 行2 9 ： 一个空行，这是必须的。使用这个空行的目的是将m i m e 信息与 真正的数据内容分隔开。 附件内容。 该b o u n d a r y 范围内的多媒体结束。 2 2 垃圾邮件概述 2 2 1 垃圾邮件的定义 垃圾邮件被叫做s p a m 或u c e ( u n s o l i d t e dc o m m e r c i a le m a i l ) ，是指那些并 非用户要求或期望而所收取到的信件却被人强行塞入邮箱的商业广告、产品介绍、 发财之道等内容的电子邮件。这些大量无用的信件主要是由一些非法组织或者个 人为了某些商业利益或者其他企图给那些合法用户发送的。垃圾邮件一次发给很 多人，在i n t e r n e t 上同时传送很多副本。 2 2 2 垃圾邮件的历史 垃圾邮件是i n t e r a c t 技术发展的产物，与其它先进技术一样，在为人类服务 的同时，不可避免的被另外一些人用作相反目的。首次关于垃圾邮件的记录是 1 9 8 5 年8 月一封通过电子邮件发送的连锁信，一直持续到1 9 9 3 年。1 9 9 3 年6 月 份，在i n t e r n e t 上出现了名为“m a k em o n e yf a s t 的电子邮件。历史上比较著名的 s p a m 事件是1 9 9 4 年4 月份，c a n t e r 和s i e g e l 的法律事务所把一封信发到6 0 0 0 多个新闻组，宣传获得美国国内绿卡的法律支持。这是第一次使用s p a m 一词来 称呼垃圾邮件。 2 2 3 垃圾邮件特点和分类 垃圾邮件最大的特点就是数量众多和占用资源多，这两个特点也是垃圾邮件 造成危害的主要原因。 垃圾邮件有很多分类方式，按照发送和传播方式主要分为以下几种类型： 直接的垃圾邮件 直接的垃圾邮件是指由非法组织利用自己的垃圾邮件服务器直接向目标邮箱 1 2 第二章电子邮件及其过滤技术概述 所在的邮件服务器发送的垃圾邮件，这是相对最为简单的一种垃圾邮件。 间接的垃圾邮件 间接的垃圾邮件是指利用合法的邮件服务器来给其它邮箱服务器发送的垃圾 邮件。 伪装成投递失败的垃圾邮件 有些邮件被伪造成合法用户的投递失败邮件，使得服务器产生“投递失败信 件”反弹给原始信件发送者，这就是伪装成投递失败的垃圾邮件。 中继式垃圾邮件 中继式垃圾邮件的工作方式则是在发送之前指定发送信件到目标服务器的路 径( 包括了中继服务器等) ，大量的垃圾信件在途经中间的任何一个服务器时消耗 大量甚至所有的资源，这种垃圾邮件以消耗网络资源和攻击邮件服务器为目的， 危害极大。 邮件列表垃圾邮件 邮件列表垃圾邮件就是指给一个巨大的邮件列表发送垃圾邮件，这种方式则 要求垃圾邮件发送者知道大量的合法邮箱地址。 垃圾邮件根据其目的还可以分为2 类： 为了攻击合法邮件服务器或个人邮件的垃圾邮件，也被称为邮件炸弹，这 类邮件一般不提供准确的信件源地址； 另一类垃圾邮件是指为了商业利益或者政治企图等的获利性垃圾邮件，这 类信件往往大部分是希望得到回复信件的，所以一般会提供准确的信件源地址。 2 2 4 垃圾邮件的危害 影响公共秩序 近年来，我国电子邮件遭到海外封杀成为一个热点话题。起因是源自我国的 大量垃圾邮件令国外网络服务商不得不采取屏蔽我国邮件服务器的极端措施。有 报道称，由于通过中国一些口地址发出的垃圾邮件泛滥，中国电子邮件面临被 欧美全面封杀。目前全球大约有数万家公司、组织或者私人网络已经全面封锁中 国的口地址，在被宣布拒绝接受的电子邮件网站名单中，新浪、网易、搜狐、1 6 3 邮局、2 6 3 、2 1 c n 等国内主要邮件服务商赫然在列。在经济贸易日益全球化的今 天，口被封锁，意味着切断了中国人与外界之间最经济也最方便的交流通路。如 何解决垃圾邮件这一长期被忽视的问题终于被摆上了台面。 1 3 电子科技大学硕士学位论文 带来安全问题 带有病毒或木马等恶意程序的垃圾邮件还会给电脑主机带来严重的危害。网 络恶意攻击者可以创建一个h t m l 格式的e m a i l ，该e m a i l 的附件为可执行文件， 通过修改m i m e 头，使i e 不能正确处理这个m i m e 所指定的可执行文件附件。 i e 处理附件的流程是这样的：一般情况下如果附件是文本文件，i e 会读它，如果 是v i d e oc l i p ，i e 会查看它；如果附件是图形文件，就会显示它；如果附件 是一个e x e 文件呢? i e 会提示用户是否执行! 但令人恐惧的是，当攻击者更改 m i m e 类型后，i e 就不再提示用户是否执行而直接运行该附件! 从而使攻击者加 在附件中的程序、攻击命令能够按照攻击者设想的情况进行! 在w i n 9 x u m e 以及 w i n n t 4 和w i n 2 0 0 0 下的i n t e m e te x p l o r e r5 0 、5 0 1 、5 5 均存在该漏洞，常用的 微软邮件客户端软件o u t l o o ke x p r e s s 也存在此漏洞。 占用网络带宽，造成邮件服务器拥塞，进而降低整个网络的运行效率 2 2 5 垃圾邮件的根源 垃圾邮件并非从天而降，垃圾邮件泛滥成灾的原因是多方面造成的。 首先是利益的驱使。目前，数量众多的垃圾邮件中都含有大量的广告，通过 电子邮箱进行广告宣传，投入少、回报丰厚，使得许多广告商乐此不疲。比如在 欧洲，发送一封电子邮件仅需0 0 0 0 5 欧元，比起庞大的广告费，这点费用实在微 不足道。越来越多的商业需求以及电子邮件低廉的发送成本为垃圾邮件的滋生提 供了土壤。 其次是技术上的漏洞。中国互联网协会副秘书长黄澄清指出，我国垃圾邮件 的产生，很大一部分是由于邮件服务器缺省设置开放转发功能所产生，该功能对 于普通用户可有可无，但却成为垃圾邮件的中转站，导致国内许多邮件服务器发 出的邮件被拒收。并且，我国许多企业防范意识淡薄，未采取有效措施，致使企 业的邮件服务器充当了“转发者”和“帮凶”的角色。 再次，相关法律法规尚需进一步完善。虽然中国互联网协会反垃圾邮件协调 小组出台了相关规定，但中国互联网协会制定的各种规范并不具备法律效力，只 是在本行业内有约束力，因此在执行时难免会遇到困难。 此外，垃圾邮件现象在我国目前愈演愈烈的另一重要原因，就在于用户的维 权意识、法律意识、参与意识和防范意识淡薄，绝大多数用户收到垃圾邮件都是 1 4 第二章电子邮件及其过滤技术概述 一删了之，很少有用户挺身而出拿起法律武器来斗争。 2 ，3 电子邮件过滤技术概述 2 3 1 现有的垃圾邮件过滤技术 按照技术手段，邮件过滤技术【7 】主要有以下方式： 黑白名单过滤技术 黑白名单过滤是指对邮件进行实时的黑白名单扫描，凡是被列入黑名单的用 户以及邮件信息都将被阻截；反之列入白名单则不受任何限制，在服务器端设置 黑白名单可以对邮件系统进行保护，而在用户端设置自己的黑白名单，可以对该 账户进行针对性的保护。 黑白名单过滤【8 】最常用的就是实时黑名单技术，它通过一个列表中记载着垃 圾邮件的来源，可以是口地址、i p 网段、域名、邮件地址等。r b l 通常有很强 的实时性，有专门的组织或公司来维护。这些专门的机构会对网络用户提交的黑 名单进行评测，如果确实存在垃圾邮件问题，则将其相关信息添进r b l 。由于国 内的一些邮件服务器经常被不法分子利用来发垃圾邮件，所以国内的某些内容提 供商的邮件服务经常遭到封杀，如果要改变这种现状，只有先加强自己的邮件服 务器对垃圾邮件的防护。 贝叶斯过滤技术 贝叶斯算法【9 】【1 0 1 是过滤垃圾邮件最常用的统计型算法，它的原理是计算某个 关键字集合在一封邮件里出现时，这封邮件是垃圾邮件的联合条件概率是多少， 用户自己定义一个临界值，当概率超过这个值得时候即认为是垃圾邮件。 联合条件概率的计算可以通过一个条件概率的逆运算而得，即先根据经验统 计一封信是垃圾邮件或者是好邮件的时候各个关键字出现的概率，再根据概率论 里的乘法原理和全概率公式计算出垃圾邮件的概率。 邮件附件扫描 含有恶意代码的邮件，通常是垃圾邮件。恶意代码包括病毒程序、木马程序 等。这些恶意程序，有可能利用邮件的m u a 的漏洞，对用户主机乃至网络系统 进行攻击，带来不良影响。垃圾邮件过滤系统应在这些恶意程序执行前，将其过 滤掉。 1 5 电子科技大学硕士学位论文 邮件的附件大小，也是邮件攻击的一种手段。当附件数量过多，或者附件容 量过大时，会给网络以及用户主机带来不良影响，邮件过滤系统应能识别这一点。 s m t p 连接时间频率控制 当发现某个域或某个发送方在一段时间范围内，发送的邮件数量多于某个范 围时，过滤系统认为这是垃圾邮件的行为，将在一定时期内对域或者用户进行封 闭。 2 3 2 现有技术的局限性 传统的反垃圾邮件技术，都是基于过滤器的原理。而过滤器原理的反垃圾邮 件系统通常有下面的三种局限性： 可能被绕过。垃圾邮件发送者和他们用的发送工具也不是静态的，他们也 会很快适应过滤器。比如，针对关键字列表，他们可以随机更改一些单词的拼写。 当前普遍使用的贝叶斯过滤器可以通过插入随机单词或句子来绕过。多数过滤器 都最多只能在少数几周才最有效，为了保持反垃圾邮件系统的实用性，过滤器规 则就必须不断更新，比如每天或者每周更新。 误报问题。最头痛的问题就是将正常邮件判断为垃圾邮件。比如，一封包 含单词s a m p l e 的正常邮件可能因此被判断为垃圾邮件。某些正常服务器不幸包含 在不负责任的组织发布的b l o c kl i s t 对某个网段进行屏蔽中，而不是因为发送了垃 圾邮件。但是，如果要减少误报问题，就可能造成严重的漏报问题了。 过滤器复查。由于误报问题的存在，通常被标记为垃圾邮件的消息一般不 会被立刻删除，而是被放置到垃圾邮件箱里面，以便日后检查。不幸的是，这也 意味着用户仍然必须花费时间去察看垃圾邮件，即便仅仅只针对邮件标题。目前 更严重的问题是，人们依然认为过滤器能有效阻止垃圾邮件。实际上，垃圾邮件 过滤器并不能有效阻止垃圾邮件，在多数案例中，垃圾邮件依然存在，依然穿过 了网络，并且依然被传播。除非用户不介意存在被误报的邮件，不介意依然会浏 览垃圾邮件。过滤器可以帮助我们来组织并分隔邮件为垃圾邮件和正常邮件，但 是过滤器技术并不能阻止垃圾邮件。 2 3 3 垃圾邮件过滤技术发展趋势 模式识别技术。这是基于对大量的垃圾邮件样本进行的统计、分析和计算， 1 6 第二章电子邮件及其过滤技术概述 建立垃圾邮件行为模式数学模型，不但建有垃圾邮件的模式，同时也建立有正常 邮件的模式，所以很快能区分正常邮件、垃圾邮件。相比传统反垃圾邮件技术，“行 为模式识别技术”更能突出对垃圾邮件、病毒邮件主动性识别查杀，而“内容识别” 对垃圾邮件攻击防御非常被动，始终没有跳出内容匹配过滤的技术局限，它们需 要将邮件完整接收下来后，对邮件按照指定语言进行分词处理，并与一个有着数 以百万计的词库进行逐一匹配，从而判断该邮件是否为垃圾邮件。由于人类语言 变通连贯性极强，随意修改关键词内容，原先的词库里就找不到匹配的关键词， 从而就无法判断出垃圾邮件。同时“内容识别”技术大量占用计算机硬件资源和 网络资源，大大降低了系统的工作效率，甚至造成死机，直接影响对企业的管理 成本增加。 该技术在分析时不但导入邮件内容本身的特征点，而且全面加入了各类行为 相关因素。通过两年多对上千万封垃圾邮件样本的分析、统计，并经过大量的统 计分析计算，从归纳出了垃圾邮件发送行为模式识别模型。行为模式识别模型包 含了邮件发送过程中的各类行为要素，如时间、频度、发送m 、协议声明特征、 发送指纹等。 2 4 小结 本章介绍了电子邮件的基本原理和与其相关的主要协议，继而介绍了电子邮 件的结构，接着介绍了垃圾邮件和邮件过滤的基本技术，根据现有的邮件过滤技 术，展望了垃圾邮件过滤技术的发展趋势。 1 7 电子科技大学硕士学位论文 第三章l jn u x 防火墙及网桥技术分析 本系统将会用到i p 包的捕获、口包重定向技术，以及作为系统运行的基础 透明网桥。因此，本章将会介绍现有的l i n u x 防火墙技术、比较现有的内核编程 技术、l i n u x 逻辑网桥技术。在此基础上，提出本系统运行在透明网桥的架构， 分析了本系统选用的技术点及其原因。 3 1l i n u x 防火墙机制 在l i f l u x 中有很多捕获数据包的方法。实现截获流经网络设备的所有数据包 的技术一般是将网卡设备设置为混杂模式，也就是常说的侦听模式，在这种模式 下工作的网卡能够接收到一切通过它的数据，而不管实际上数据的目的地址是多 少。在l i n u x 下通常利用软件开发包l i b p c a p 提供的函数接口用于捕获经过网络接 口的数据包。但是这种截获仅仅是数据包的一份拷贝，而不能对其进行阻断，所 以邮件过滤系统要实现阻断网络数据包就要采用其它的方法，比如利用l i n u x 的 防火墙机制捕获数据包。 3 1 1l in u x 防火墙概述 l i n u x 防火墙经过不断地发展，先后经历了i p f w a d m 、i p c h a i n s 等技术，到了 l i n u x 2 4 内核正式推出了n e t f i l t e r 。 n e t f i l t e r 是l i n u x2 4 或2 6 内核的一个子系统，它为包过滤、数据包处理、 n a t 等的功能提供了框架【1 1 】。 n e t f i l t e r 框架高度模块化地实现于网络层，使得l i n u x 2 4 x 内核中的防火墙 很容易实现功能上的扩充。用户在编译内核的过程中，可以按照自己的需要，决 定是否要在自己的内核加入n e t f i l t e r 功能。这说明n e t f i l t e r 的代码对协议栈的代码 的影响很小。n e t f i l t e r 为每种网络协议( 如坤v 4 、i p v 6 等) 定义了一套钩子函数。 这些钩子函数在数据报流经协议栈的几个关键点上被调用。内核模块可以针对具 体的