（信号与信息处理专业论文）中文反垃圾邮件过滤系统的开发与研究.pdf

科研道德声明 秉承石 究所严谨的学风与优良的科学道德，本人声i ! ! i 所呈交的论文是我个人 在导师指导下进行的研究工作及取得的研究成果。沦文中所引用的内容都已给弘 了明确的注释和致谢。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示了致谢。 申请学位论文与资利若有不实之处，木人承担相关责任。 论文作者签私：搬鱼划：翌堕釜! 塑1 2 日 知识产权声明 夺人完全了觚- i 一科院i 撕安光柑密机械研究所一九父仪护知识广：权的姒定 【_ ! i j ：圳究小化所攻读学化j 9 j 州沦史i ：作九勺矧u 扩：枞r l 1 寸系i i l 科i i j u 发光学柑懈机 械研i 肛i 。本人保离所肝发嵌j 川：研究乍i i f i i l 门沦史! e 使川小沦文：l ：作成粜 j j ! j 必颈亍j l ：甜，“：牛义j ”位f 竹m ，盘，川意i i 发丧的0 术4 - 史并名，讧仍然为f | _ j 怫? 院p 安 光学 i 辩机械研究j ，i 。产权一f l 他n 权保瞅送交论义的技l 。l ：，允确：淦文被硷测用 借阅；j “：权i n 化j 以公，n i 沦文的个郝或郇分l 锋，t ，j 以采川拖印、! i ；印或j c 它虹 制手段垛仃沦义。 ( 僳密的沦文n ：解晰后应逊、川t 姚定) 论姗者煞彩：搬! 照 日期 丝暨豳必 捌张趣 岢 j i l j 签私：i 翅哿玉 | _ f j ：型! 摹豳，尹曰 殳压j t 圾f | f | i 什j 滤系统的 发j 究 摘要 随蔚网络n 0 广泛，t 川，i u 了邮什作为一种令新的通信工具是互联网应 用的一个成功典范。与传统i l l l j f l 相比，它诞生时阳j 不长，却给人们的工作、 生活等诸多方面带来了深刻的影响，然社会和政治等垃圾邮件的日益增加 已成为电子i i i | ；件使用者所面临的头痛问题。实际上，今天垃圾邮件的数量 已经大大超过了对我们有用的正常邮件，浪费大量的人力物力。 近年来，垃圾邮件问题已引起了国内外的高度重视，各国都在采取相 应的措施减少垃圾邮件的危害和影响。 目前国内反垃圾邮件过滤系统主要采用了利用垃圾邮件本身规律的 规则过滤技术，而内容过滤技术还不成熟，因此对中文垃圾邮件的过滤效 果还不够理想。为了更好地过滤垃圾邮件，我们展开了中文反垃圾邮件过 滤系统的开发与研究。本文在对电子i i i l 5 f i ：原n , t ：l l 垃圾j l j l 5 i l ：的过滤方法进行 分析研究的基础上提出并实现了一套垃圾邮件过滤的解决方案。这套方案 将利用垃圾邮件规律的规则过滤和最小风险的n a i v eb a y e s 内容过滤算 法结合了起来，i ：根抓垃圾| | i | ；件f | ，j 特性做了必要f | ，j 改进。这套方案在 l i n u x s o l a r i s 系统5 i 台上完成了测试版本的软件编程，并且在一些单位 的电子邮件服务器上进行试运行和测试。测试结果显示，基于该方案的软 件实现取得了较好的过滤效果。 关键词垃圾邮件规则过滤n a i v eb a y e s 殳腹”圾i ir l ；f j 沁系统的 发0 俐f 宄 a 廿sl 。h a 0 i 1 w i t ht h en e t w o r ks p r e a dw i d e l y ，e m a i l ，a sac o m m u n i c a t i o nt o o l ， b e c o m eat y p i c a ls u c c e s so fi n t e r n e ta p p l i c a t i o n c o m p a r i n gw i t h t r a d i t i o n a lm a i l ，e m a i lc o m ei n t ob e i n gj u s tas h o r tt i m e ，b u ti t i n f l u e n c eo u rw o r ka n dl if em u c hm o r e h o w e v e r m o r ea n dm o r e c o m m e r c i a l ，s o c i a l ，a n dp o l i t i c a ls p a mi sah e a d a c h eo fi t su s e r s i nf a c t ，t h en u m b e ro fs p a mi so f t e nm u c hl a r g e rt h a n n o n s p a m s ， s oi ts p e n d sm u c hm o r eu s e r st i m ea n dm o n e y i nr e c e n ty e a - r s ，t h es p a mp r o b l e mh a sa l r e a d yc a u s e dt h ed o m e s t i c a n di n t e r n a t i o n a lh e i g h tv a l u e ，a l lc o u n t r i e sa d o p tt h eh o m o l o g o u s m e a s u r et or e d u c e st h es p a m si n f l u e n c e t h et e c h n o l o g y ，a d o p t e di na n t i s p a ms y s t e mi no u rc o u n t r ya t p r e s e n t ，i sm a i n l ya b o u tr u l e b a s e df i l t e r i n gw h i c hu t i l i z et h e r u l eo ft h es p a m sh e a d e r a n dt h ec o n t e n t b a s e df i l t e r i n gi sn o t m a t u r e t h u sc h i n e s es p a m sf i l t e r i n ge f f e c ti sn o tv e r yg o o d t h et h ec h i n e s ea n t i s p a mfjl t e rs y s t e mi sd e v e l o p e da n d r e s e a r c h e d f o rt h es a k eo ff i l t e r i n gt h es p a me f f e c t i v e l y a c c o r d i n gt ot h e r e s e a r c h i n ga n da n a l y z i n gt ot h ee m a i lt h e o r ya n ds p a m sf i l t e r i n g m e t h o d s t h es p a m sf i l t e r i n gp r o j e c ti sp r o p o s e di nt h i sp a p e r a n di si m p l e m e n t e di nt h i ss y s t e m r u l e b a s e df i l t e r i n ga n dr i s k m i n i m i z a t i o nn a i v eb a y e sa r ec o m b i n e di nt h i sp r o j e c t ，a n dt h i s p r o j e c ti si m p r o v e di ns o m en e c e s s a r yp l a c e s t h et e s tv e r s i o no f t h i sp r o j e c ti sc o m p l e t e dm o s t l yu n d e rt h el i n u x s o l a r i ss y s t e m p l a t f o r m a n dt h i ss o f t w a r es y s t e mi sc i r c u l a t e da n dt e s t e do ns o m e i n t e r n e tm a i ls e r v e r t e s tr e s u l ts h o w n ，t h i sp r o j e c th a sab e t t e r e f f e c to fa n t i - s p a mf i i t e r i n g k e yw o r d s ：s p a m ，r u l e b a s e df i i t e r in g ，n a i v eb a y e s 2 殳腹”j l 土ifr l ；f 沁系统的j ：发j 叫究 在网络生活中，我 r _ j f r j 电子邮箱经常会收到大景的垃圾邮件。据调查 有3 5 的经理人每天会接到3 0 封队上的邮件，而处理这些邮件中的垃圾 邮件额外花费的时问就相当于每一个j j , n , j 6 j 要浪费1 0 分钟的时间。垃圾 邮件不仅降低员工的工作效率而且也会浪费i s p 提供的网络带宽和存储 空间。 现在垃圾邮件的问题已经变得越来越糟糕。根据i d c 统计，2 0 0 3 年 全球范围垃圾邮件总数量为1 9 6 万亿个。新闻组织b b c 统计所有邮件堵 塞事故中5 0 以上都是由于垃圾邮件造成的。数据显示用户收到的邮件中 大约3 0 一7 0 的邮件是垃圾邮件，平均在4 0 左右。垃圾邮件的数量也正 在飞速增长，预计今年的垃圾邮件数量将是去年的1 0 倍，前年的1 6 倍。 而另有一则消息报道，2 0 0 4 年第一季度，中国网民平均每周收到垃 圾邮件1 9 3 封，占收到邮件总数的6 0 5 ，这个数字较去年年底第一次 调查时的2 6 2 7 上涨了3 4 2 3 个百分点。这是中国互联网协会今天公布 的第二次反垃圾邮件调查结果显示的信息。 调查报告显示，目前国内网民每人每周平均收到正常邮件1 2 6 封， 收到垃圾邮件1 9 3 封，占收到邮件总数的6 0 5 。互联网协会反垃圾邮 件协调小组负责人李欲晓表示，这个比例较去年有大幅增长的主要原因是 年初国内互联网上蠕虫病毒泛滥，大量的病毒邮件一度几乎堵塞网络。 另一个关键数据是，2 0 0 4 年第一季度被邮件服务商删除、过滤掉的 垃圾邮件数目占到全部垃圾邮件总数的5 0 ，这个数字比第一次调查时的 7 0 过滤率低了两成。李欲晓表示，这个比例降低的主要原因是，垃圾邮 件总数在大量增加。很多垃圾邮件发送者已经开始采取同一内容更大量发 送的手段，以保证“到达率”。 i j l _ f ，- j 一闭u 经成为仪 欠j ：荚川i q 际第火“垃圾邮件输出国”， 但普通网友对垃圾邮件的问题重视仍然不够，j , j 1 国内的垃圾| | | j 5 件投诉机 制仍有待完善统汁显示，在受到垃圾邮件侵扰后，高达7 7 9 的网友 会选择不去投诉，其主要理山足“不知道去那坐投诉。”1 垃圾邮件的传播 蔓延，严重侵害了电子邮件用户通信利益，影响了电子邮件服务正常运营 秩序，危害了互联网安全和社会稳定，已经成为互联网一大公害。 垃圾邮件也已经成为了迫切需要解决和控制的问题。而从全世界的范 围来看，现在还没有一套完善的法律制度来彻底杜绝这种“不法行为”。 但是无疑，垃圾邮件正在引起公愤，并且遭到一致的谴责。对付垃圾邮件， 应该使用法律和行业协会规范的双霞于段，同时，也应该从技术上积极探 索有效手段进行反击。 因此研究如何从技术j ：减少、过滤垃圾j i ij f f l ：具有重要意义。研究本题 目就是为了有效的过滤垃圾| | l | 5 什，净化网络环境，而进行开发研究这套基 于模式识别能列垃圾1 1 1 1 j f l ：r 11 ：习，陷1 i 合规则过滤的垃圾i 邮件处理系统。 6 第一卓垃圾邮件概述 电子邮件也是互联网上作受欢迎的功能之一。通过电子邮件系统，您 可以用非常低廉的价格( 小管发送到哪里，都只需负担电话费和网费即 可) ，以非常快速的方式与时界上任何一个角落的网络用户联络系，这些 电子邮件可以是文字、图象、声音等各种方式。同时，您可以得至4 大量免 费的新闻、专题邮件，并实现轻松的信息搜索。这是任何传统的方式也无 法相比的。另一方面，在不良动机的驱动下，它也会变成侵害他人的工具， 如垃圾自b 件。不道德的电子邮件发送者可以以低的成本或甚至无成本地分 发大量消息，而正常用户却被迫花费一些时问和精力从他们的邮箱中清除 这些欺许性的或不需要的邮件。 1 1 垃圾邮件简介 1 1 1 垃圾邮件的概念 垃圾邮件通常就是那些你并不希望收到，并且你也没有订阅过，但却 被人利用电子邮件的特点强行塞人你邮箱的商业广告、产品介绍、发财之 道等内容的电子邮件，英文称作s p a m ，又叫u c e ( u n s o l i c r e dc o m m e r c i a l e m a i ! ) 。 中国互联网协会在t 亘工联网协会反垃圾| i i i ；件规范中足这样定义 垃圾m k 什的：本规范所称垃圾邮纠：，包插下述属性舳屯子邮件：( 一) 收 件人事先没有提出要求或者嗣意接收帕广告、l u 子刊物、各利q 眵式的宣传 品等宣传性的哇王子邮件；( 二) 收仆人兀法叭收n o f u 子邮仆；( 三) 隐藏发 r i ：人身份、地址、标胚等毹龃的i u 了邮仆；( ) 禽柏 似的信息源、发 件人、路i i t 等信息的电子i i 【i i r h 2 i 1 1 2 垃圾邮件的产生与发展 垃圾邮什足互联网技术发腱的产物，j 它先进技术一样，在为人 类服务的州时，小i 避免的谶h 一些人川作棚反l = _ i 的。首次关于垃圾邮件 的记录足1 9 8 5 年8 月一封通过i u 子邮什发送的链锁信，一直持续到1 9 9 3 矩一 1 9 9 3 年6 月，在互联网上出现了名为“m a k em o n e yf a s t ”的电子邮 件。历史上比较著名的$ p a m 事什是1 9 9 4 年4 月，c a n t e r 和s i e g e l 的法 件。历史上比较著名的$ p a m 事什是1 9 9 4 年4 月，c a n t e r 和s i e g e l 的法 文j _ z 地收i t i l 5 。| ：过滤系统的j r 发0 埘f 究 第一章垃圾邮件概述 电子i t l l j t ：- 也是互联网上作受欢迎的功能之一。通过电子邮件系统，您 可以用非常低廉的价格( f i 管发送到哪里，都只需负担电话费和网费即 可) ，以非常快速的方式与肚界上任何一个角落的网络用户联络系，这些 电子邮件可以是文字、图象、声音等各种方式。同时，您可以得到大量免 费的新闻、专题邮件，并实现轻松的信息搜索。这是任何传统的方式也无 法相比的。另一方面，在不良动机的驱动下，它也会变成侵害他人的工具， 如垃圾邮件。不道德的电子邮件发送者可以以低的成本或甚至无成本地分 发大量消息，而正常用户却被迫花费一些时问和精力从他们的邮箱中清除 这些欺诈性的或不需要的邮件。 1 1 垃圾邮件简介 1 1 1 垃圾邮件的概念 垃圾邮件通常就是那些你并不希望收到，并且你也没有订阅过，但却 被人利用电子邮件的特点强行塞人你邮箱的商业广告、产品介绍、发财之 道等内容的电子邮件，英文称作s p a m ，又叫u c e ( u n s o l i c i t e dc o m m e r c i a l e m a i l ) 。 。l j 国互联网协会在小国互联网协会反垃圾| i i i ；什规范中是这样定义 垃圾邮件的：本规范所称垃圾l l t l 5 f f ，包括下述属性的电子i l l l j , p f ：( 一) 收 件人事先没有提出要求或者同意接收的广告、i u 子刊物、各种形式的宣传 品等宣传性的电子j l i l ； , l ：；( 二) 收仆人九法- i t i 收的f u 子邮件；( 三) 隐藏发 件人身份、地川：、标题等信息的iu - f l l l l 5 f l ：；( 川) 含柏 睛似的信息源、发 件人、路l | | 筹信息的l n 子i f l l l ：。，i z l 1 1 2 垃圾邮件的产生与发展 垃圾l l t l 5 f l ：足互联网技术发展的产物，! j 乓它先进技术一样，在为人 类服务的同时，不可避免的被儿一些人川作棚反日的。酋次关于垃圾邮件 的记录是1 9 8 5 年8 月一封通过i u 子邮什发送的链锁信，一直持续到1 9 9 3 年。 1 9 9 3 年6 月，在互联网上出现了名为“m a k em o n e yf a s t ”的电子邮 件。历史上比较著名的s p a m 事件是1 9 9 4 年4 月，c a n t e r 和s i e g e l 的法 义j z 垃圾| 1 i | ；”过涨j 不统帕j i ：发1 门f 究 律事务所把一封倩发到6 0 0 0 多个新j | ：j 纰，亢f 获得美i 剐虱内绿卡的法律 支持。这是第一次使用s p a r e 一涮来称呼垃圾邮件，j 1 _ ：i 来描述新闻或电子 邮件的主动性发布。 同时，垃圾邮件也，l ：始引起了人们的注意，一些触觉敏锐的商人立 刻意识到了电子邮件带来的商机，许多人= h = 始利用电子邮件作商业广告， 1 9 9 5 年5 月有人写出了第一个专门的应用程序f l o o d g a t e ，可以自动把邮 件发给大批的人。紧接着在8 月份就有人拿两百万个邮件地址来出售。垃 圾邮件越来越多与商业联系起来，并引起人们的反感。9 6 年4 月，人们 开始使用u c e ( u n s o l i c i t e dc o m m e r c i a le m a i l ) 来称呼垃圾邮件，并开 始积极想办法阻止垃圾邮件在i n t e r n e t 上泛滥。”1 1 9 9 6 年3 月，有人提出了s p a m b l o c k 的方法，例如使用 r e m o v e t o r e p l y 的工具来过滤邮件地址。随着垃圾邮件过滤技术的发展 以及人们对发送垃圾邮件者的谴责，垃圾邮件制造者们采取了更隐蔽的技 术，比如伪造信头中的发件人、域名、邮件地址等，然而这些方法还是逃 不出i p 地址的过滤。于是，垃圾邮件的制造者又开始寻找更为安全的做 法，1 9 9 7 年3 月，他们开始把目光转向o p e nr e l a y 。o p e nr e l a y 是当时 解决互联网邮件路由的一种很好的方法，但存在可被垃圾邮件制造者们利 用的安全漏洞。很快，大部分商业垃圾邮件就开始利用别人的邮件服务器 使用转发的办法来发送垃圾邮件。 1 9 9 7 年5 月，c a u c e ( c o a l i t i o na g a i n s tu n s o l i c i t e dc o m m e r c i a l e - m a i l ) 组织成立，倡议建立法律来同垃圾邮件做斗争；1 9 9 8 年4 月 i n t e r n e t 协会i s o c ( i n t e r n e ts o c i e t y ) 召开专门讨论了垃圾邮件；1 9 9 9 年2 月发布了r f c 2 5 0 2 ，a n t i s p a mr e c o m m e n d a t i o n sf o rs m t pm t a s ， 标志垃圾邮件已正式成为互联网的重要研究课题。 人们已经越来越多的意识到控制i n t e r n e t 上垃圾邮件的重要性，世 界各地成立了很多组织来反垃圾邮件，如m a p s ，o r b s ，s p a m c o r p ， j u n c k e m a i l o r g 等，从技术上和法律上不断努力着，并取得了一定的进 展。 1 1 3 中国垃圾邮件的现状 h 前我h 垃圾j | | j j 什泛潞，情况极为严m 。j | l = 界老名垃圾邮什刘比j 乍 s b ld a t e b a s e 统计显示，全球前l o 大垃圾l | i | 5 件大国中，中国仅次于美 国高居垃圾蚓；件大囡第二。 据中国互联网饥会公布的数据，2 0 0 4 年全年发向巾国邮件服务器的 垃圾邮件达到1 5 0 0 亿封，去年垃圾邮件耗费了国内g d p 超过4 8 亿元。 对此，国家计算机应急技术处理协涮f l j t 运行部部长杜跃进博士指出，大 量垃圾邮件产生的主要原因一是病毒作怪，二是网站对邮件管理不善，三 是有的企业为了商业利益不顾商_ k 道德。 而且由于源自我国的大量垃圾i l l l w t ：令国外网络服务商采取了屏蔽我 国部分邮件服务器的极端措施。而国内主要的邮件服务商如新浪、网易、 搜狐、1 6 3 邮局、2 6 3 、2 1 c n 等都曾经被国外公司或组织全面封锁，严重 影响n i _ ! _ 子邮件这条冈内引q 外坡经济1 j 最力便的交流通路。1 5 1 1 1 4 垃圾邮件的危害 第一，垃圾邮什危害了互联网的发展。在互联网上传输的垃圾邮件占 用了大罱的传输、存储和运：辫：资源，不们造成网络资源浪费，且一旦垃圾 j i l | 5 ，| ：i ! i 到互联网总数流mi 分之一，就会逃成l j 大的存储需求，这刘 信息安全系统的订效一陀形成m 人挑战， 第二，垃圾l l i l ；f l ：还挡l 僻ri s p 的l i i 场形象，造成兀肜资产流失。据悉， 国外 1 ：多邮 ，| ：服务商曾以垃圾i l i l 5 f l ：过多为，一度封杀了i 到内一些i s p 的邮仆服务器i p 地址，致使i 妊多一i 训l i j - 阳外证常发送( 1 , j i l i i “ l ：被拒绝 接收，从蒙受了4 i 估m n 0 拟火。 第三，垃圾邮件拟宙厂川j i 的利豁。于j 矗圾l l l l 5 f l ：具有反复性、强制 性、欺骗性、不健康性和传播速度怏等特点，严重一| 二扰了个人的正常生活， 浪费了用户的时问、精力和金钱。 第四，垃圾邮件危害了现实社会。少数别有肿心者利用垃圾邮件大量 散播各种虚假信息或有害信息，甚至有损国家、社会、领袖形象的反动言 论，严重危害了社会的稳定。 第五，被黑客利用成助纣为虐的工具。如在2 0 0 0 年2 月，黑客攻击 雅虎等五大热门网站就是一个例子。黑客先是侵入并控制了一些高带宽的 中文反垃圾邮件过滤系统的开发与研究 网站，集中众多服务器的带宽能力 击目标，造成被攻击网站网路堵塞 1 1 5 垃圾邮件的类型 然后用数以亿万计的垃圾邮件猛烈袭 最终瘫痪。 垃圾邮件从内容上分，主要有广告、色情、反动政治言论、病毒传播 等几种类型。 从发送形式上分，有直接发送和第三方转发两种类型。直接发送就 发送者使用自己的服务器、i p 地址、自己的网络传送这些邮件。接收者 如果经常收到这种邮件，可以将它加入黑名单屏蔽或者过滤掉该i p 地址 即可，而如果只是偶尔收到一封，可以采取内容过滤，如果还是过滤不掉 就很难找到其它有效的方法了。第三方转发大多是未经该服务器管理员同 意的情况下利用第三方服务器转发垃圾邮件，目的是隐蔽自己，逃避查处， 对于这种垃圾邮件，只要关闭相关服务器的o p e nr e l a y 功能即可。 从技术上分，主要分为利用s m t p 和e s m t p 的协议漏洞和对信头和内 容进行伪装两种。 本论题也主要是从技术角度反垃圾邮件。 1 2 反垃圾邮件对策和技术要点 1 2 1 反垃圾邮件的对策 从法律和技术两个方面对垃圾邮件进行打击，是反垃圾邮件的必由 之路。 一方面需要加强基于互联网的法制法规建设，加大处罚力度使垃圾 邮件制造者不敢去违法冒险。美国从2 0 0 4 年1 月1 日开始实施c a n s p a m 法案的反垃圾邮件法案，而中国互联网电子邮件管理办法( 草案) 已 经送交信息产业部，近期有望通过立法从而使以后打击垃圾邮件有法可依 6 l o 另一方面也要在技术方面加大投入，给不法者发送垃圾邮件增加难 度，增加成本费用，使不法者无利可图，才能减少甚至杜绝垃圾邮件的大 量产生。 我们可以从网关、邮件服务器和客户端三个方面改进技术来反垃圾 邮件。 殳反”圾l lj l ；- 越 i e 系统的j l ：j 戍1 0 聊f 究 在网关，服务器端可以通过刘域私、i p 或1 | 1 1 5 什邮什地址没置“黑白 名单”的方式进行邮件过滤，随着垃圾| | i l ；件大量增j j l i ，手动维护黑名单越 来越难，产生实时黑名单( r e a l t i m eb l a c k h o l el i s t ，简称r b l ) 技术， 该技术结合d n s 查询实现对黑名单的自动更新，被列入黑名单的邮件会被 拒绝接收。 根据信头部分记录对邮件进行规则过滤，方法简单快捷，但容易被 垃圾邮件发送者绕过。利用文本分类与统计算法对邮件进行数据挖掘的邮 件过滤技术，如贝叶斯过滤器，它根据统计学规律运作，可计算性强，而 且这些标记完全可以由用户根据自己的情况创建，因而可以获得一种对用 户来说独一无二的过滤器。这意昧着垃圾邮件发送者是无法猜测出你的过 滤器是如何设置的，从而有效的阻截住种类垃圾邮件，但它也有速度较慢， 配置不好容易有错判的缺点。 1 2 2 反垃圾邮件的技术要点 反垃圾邮件技术主要是利用了垃圾邮件的一些特点、特征，如信头 收件人不存在或与实际接收者不符，信头发件人彳i 真实，主题同与正文总 是把他们所说的i 大】容描述得激动人心等等，总之垃圾邮件要达到的目的就 是让你相信他们所说的| 人j 容，i 司i l j - f 止要做必要的伪装以逃避打击。 而基于内容过滤的坝叶斯过滤 的准确性则依赖于邮件样本库的大 小，样本特征的提取，如果样小特征捉取的好，利川小的样本库也能达到 较好的效果。 史应垃圾i l l l f f 个过滤系统f 1 0 ”发1 岍充 第二章电子邮件及过滤原理 2 1u n i x 电子邮件系统 自从2 0 雌纪7 0 年代末以米，u n i x 操作系统已经成为主流的多用户 应用平台，电子山l f f l ：- 也一样。同前，互联网上大多数的邮件服务器都使用 u n i x 操作系统及其变种l i n u x 、f r e e b s d 和n e t b s d 作为其服务的构建 平台。u n i x 操作系统改变了电子邮件软件实现方式，其主要革新之一是 使软件模块化，系统不再使用一个大程序处理所有的功能请求，而是由协 同工作的小程序所组成，每个小程序只处理整体系统功能的一部分，这种 思想也被用来实现u n i x 电子邮件系统。电子邮件系统的功能也被分成若 干部分，分别由独立的程序米实现。图2 1 显示了u n i x 环境下对邮件 服务系统功能的模块划分 图2 1u n i x 环境下电子1 1 1 1 i f t = 系统功能模块划分 f i g u r e2 1e m a i ls y s t e mm o d e l o fu n i x 邮件服务器通常被分为三个模块他们是： 1 邮件分发代理m d a ( m a i ld e l i v e r ya g e n t ) ：负责将本地邮件服务 器上的邮件分发到用户的| | i j j 箱。 2 邮件传送代理m t a ( m a i lt r a n s f e ra g e n t ) ：负责处理接收和发送 邮件，对于每一个外发的邮件m t a 负责与远地的m t a 建立一条通信链 路来传送邮件；对于本地邮件m t a 将把邮件直接发送到本地用户邮 箱，或交给本地m d a 进行投递。 3 邮件用户代理m u a ( m a i lu s e ra g e n t ) ：负责向用户提供读取存在 史压肪圾i ij l ；f j 北系统的j l ：发1 - 州究 自己本地j l jj + j + f 川t 的| | | | 5 件n 0 操彳1 ：界眦， 需要说i ! j j 的足，这二部分之间的界瞅并不足很明确，有的时候一个程 序模块，可能既包含了n d a 的功能又实现了m t a 的功能，而另外一些时候 可能是m t a 和m u a 的功能被组合在一起，接下来将分别简要介绍这三种基 本的邮件模块，并简述他们在u n i x 环境下如何实现。” 2 1 1u n i x 邮件分发代理( m d a ) 通常u n i x 邮件系统的实现依赖于一些独立的m d a 程序将邮件分发到 本地的用户，m d a 程序只关注发往本地邮件服务器上用户的邮件信息，它 从m t a 程序接收邮件，然后决定怎样分发这些邮件到用户的邮箱，当m t a 程序决定某部分邮件应发往本地用户时，它将这封邮件交给m d a 程序。这 时，m d a 程序将确保邮件发往正确的目的地本地用户的邮箱或者本地 用户指定的另外某个地点。 1 m d a 的功能 如上所述m d a 的主要功能是在本地邮件服务器上将邮件分发给用户， 为了完成这一功能m d a 程序必须知道使用邮件箱的类型和位置。目前有三 种类型的邮箱经常被u n i x 系统使用，他们分别是：v a r s p o o l m a i i 文 件、$ h o m e m a i l 文件、i l j l + l ：目录型邮箱。 每种类型的邮箱都有吸引用户的特点。g l l + f t ：目录型邮箱在性能、安全 性和容错性等方面都有很大的提高，但是并不能被很多流行的m d a 和m u a 程序所使用，目前应用的比较广泛的邮箱类型是v a r s p o o l m a i l 的邮箱 文件。 在基本的m d a 程序上还可以增加一些l + b h 的功能，对于不同的m d a 程序邮件管理员所能使用的功能也不尽相同，但是这些功能一般都包含下 述的一些基本的功能的一部分： ( 1 ) 自动邮件过滤 对于m d a 程序来说，最有用也是最常用的功能就是能够自动对发来的 邮件进行过滤。邮件信息能够自动的被分发到不同邮件文件夹中，筛选的 原则基于邮件夹主题头的内容。m d a 程序使用一个配置文件来允许用户确 定标准的文本表达式( 包括通配符) ，用它来对发来的邮件头进行匹配检 文反垃圾邮仆过滤系统的卜发o 埘f 究 索，一旦表达式条什满足，嘲| | | 仆就会潋仙! 仃在川户胂i ：区域且! 事先定义 好的邮件夹- h 或者按_ | i j ，、定义的其他方式进行操作，比如剥不合要求 的信息进行过滤和丢弃。 ( 2 ) 自动邮件回复 m d a 具有的另一功能是对所收到的邮件进行自动回复。同邮件的过滤 十分类似，很多m d a 程序允许邮件用户对基于主题头区域定义的内容发送 回复邮件，邮件用户可以对自动心复功能进行个性化的定制，来满足对所 收邮件不同类型的回复请求。 ( 3 ) 邮件自动触发程序 m d a 程序巾还有一项常用的功能是用户可以运行某特定程序，该程序 序在收到某条特定的邮件后被触发。而且，m d a 程序能够根据邮件信息的 不同而启动不同的程序。 对于大多数m d a 程序，邮件用户都可以创建一个配置，该配置将需要 自动运行的程序同邮件信息对应起来，例如主题头的内容。利用这项功能， 计算机就可以对收到的邮件根据主题的不同而采取相应的动作。 2 m d a 程序简介 目前，基于u n i x 系统的可供邮件管理员选择来架设邮件系统的m d a 程序有很多种，下面将简要介绍目前最常用的两种b i n m a i l 和p r o c m a i l 。 ( 1 ) b i n m a i l 程序 b i n m a i l 程序是在u n i x 系统上使用得最普遍的m d a 程序，其实就是 我们在u n i x 系统中最常使用的m a i l 。它在系统中长期存放于b i n m a i l 。 b i n m a i l 相对于其它的m d a 程序来说较为简单，使用不需进行配置，功能 型和可扩充性不是很强。因此，一些邮件管理员已经选择其它的m d a 程序。 ( 2 ) p r o c m a i l 程序 p r o c m a i l 程序是另一个使用得比较广泛的m d a 程序，很多u n i x 的缺 省安装中都包括了它，也有很多的m t a 程序的缺省配置中使用了它。它被 广泛使用的原因在于它的功能性和可扩充性上，它可以允许用户决定怎样 处理收到的邮件。用户可以生成自己的p r o c m a i l r c 文件来自动处理邮 件，根据用户定义的处理规则，邮件或者被存储到不同的邮箱，或者被转 戈反垃圾j i | | 5 ”越然系统n 0 发j 研究 发到另外们地址，娃至对于彳j 需要邮件也f 叮以通过重定向到d e v n u l l 文件的方式来删除。因此，在构建功能性较强的u n i x 邮件服务器的方案 中经常会选用p r o c m a i l 作为m d a 程序。”l 2 i 2u n i x 邮件传输代理( m t a ) i m t a 的功能 m t a 软件负责处理所有接收和发送的邮件，对于每一个外发的邮件 m t a 决定接收方的目的地。如果目的地主机就是本机，那么m t a 将把邮件 直接发送到本地邮箱，或者交给本地m d a 进行投递。 但是，如果目的主机是远程邮件服务器，则m t a 必须通过同这个远程 主机建立一条通信链路来传递邮件。对于接收邮件m t a 必须能够响应远程 邮件服务器的连接请求，并为本地用户接收邮件。目前，有多种可以在两 个远程主机间传送邮件的通讯协议，但是在互联网上使用最广泛的协议是 简单邮件传送协议( s m t p ) 。图2 1 2 显示了m t a 软件的功能。 图2 1 2 m t a 功能框图f i g u r e2 1 2 t h ef u n c t i o nm o d e lo fm t a 在u n i x 环境下有许多m t a 程序，对于每种m t a 程序来说通常都有如 下的特征： ( 1 ) 安全性 从计算机网络通讯安全的角度来看，任何同远程主机进行交互的软件 都应该被仔细审查以防止被黑客所利用的缺陷，m t a 软件也是一样。 有多种手段来保证m t a 软件免受来自远程主机的攻击，如m t a 程序使 用身份验证来为特定的邮件用户提供邮件传输服务，而且这些n t a 用户一 殳j z j ：j 乏坩h 臆系统的j ：发_ 究 般使川普通川户而不足超级j i j 1 ( r o o t ) 远行，以便于保护难个邮件服务器 系统，防止对邮件服务器的攻击。有的还挺供根日录转移( c h r o o t ) ，从而 限制对常规文件系统的i ：j ：问，将m t a 程序限制在文件系统的指定区域。最 后，m t a 程序还对每次用户的连接请求都做详细的h 志记录。 ( 2 ) 处理迅速 对于使用大型邮件系统的公司和i s p 服务提供商来说，邮件的处理性 能是非常重要的。绝大多数的客户都希望他们的收件人能够迅速地收到邮 件，那种使邮件信息在邮件队列中滞留几小时的服务在当今的信息社会是 无法被容忍的。因此，绝大多说的m t a 程序都要求高效地处理邮件。例如 可以根据邮件的优先级别的不同分别决定不同优先等级的邮件的处理时 间。 f3 ) 配置简便 上述对安全性和处理效率的要求致使m t a 软件变得十分庞大而复杂。 但是，绝大多数的m t a 程序都提供了较为方便的安装配置文件，它可以通 过一些安装配霞的程序包来对m t a 的各利t 功能特性进行配置。 2 m t a 程序简介 u n i x 环境下可供使川的m t a 程序很多，i lj ；f l ：管理员必须根据特定的 环境选用合适的m t a 程序。下面简要介绍互联网上广泛使用的三利m t a 程序： ( 1 ) s e n d m a i l 程j f s e n d m a i lm i a 是使川最广泛的u n i xm t a 矛 序之一，它的功能性较 强，支持虚拟域、消息转发、用户i d 、别名、邮件列表以及伪装。 s e n d m a i l 程序能够应用于各种不同规模的邮件配置一一从大公司的 互联网邮件服务器、i s p 邮件服务器，到小型的单独的通过邮件中心发送 邮件的工作站都可以使用s e n d m a il 构建。除了能够定义服务器的属性外， s e n d m a i l 还能够根据预定义的规则集合分析和处理邮件报文，比如说根 据特定的需求来过滤报文，这只需通过修改s e n d m a i l 的配置文件的过滤 规则就可以实现。 不幸的是s e n d m a i l 的功能的丰富性也带来了它的配置和管理的复杂 1 6 文反垃圾邮f 牛过地系统n 1 ：发与研究 。雎， ( 2 ) q m a i l 程序 q m a i l 程序考虑rs e n d m a i l 的功能性的同时，又兼顾了m t a 程序的 安装配置的易用性，它进一步深化了邮件软件模块化的思想，它由若干模 块化的小程序组成，m t a 的功能被分散到这些模块之中，每项功能由一个 独立的程序来执行。而且，每个程序模块都可以使用不同的用户进行管理。 这样，就增加了m t a 程序的安全性，即使入侵者破坏了一个模块，也不会 影响到其它的模块。 q m a i l 的另一个特点是它的可靠性，进入q m a i i 的每一封邮件都被加 进邮件队列，q m a i l 使用一种邮件子目录和邮件状态系统来确保邮件队列 中的邮件不会丢失。另外，c m a i l 也能使用邮件目录类型的邮箱，以便进 一步保护邮件在邮箱中不被损坏或丢失。 q m a i l 程序使用多个配置文件，每种特性都有一个对应的配置文件， 这避免了配置文件过大的问题，便于对配置文件的管理。 ( 3 ) p o s t f i x 程序 p o s t f i x 相对于前面所述的两个m t a 软件较为简单，它不适合做较大 的邮件服务器的m t a 程序，但是它的配置较为简单，安全性也较好，对于 邮件管理员来说较容易管理维护，适合于构建中小型的邮件服务器。 2 1 3u n i x 邮件用户代理m u a m u a 程序负责向用户提供读取存在他们邮箱中邮件的操作界面。m u a 并不接收邮件，他们只是显示已经在用户邮箱中的邮件，不过有的m u a 程序还提供了一些其他功能，如允许用户创建他们自己的不同邮件夹来存 储邮件，新邮件到达提醒等功能。总的来说可以把m u a 程序根据邮件的存 储位置和显示邮件的方式来分类。 1 邮件位置 在互联网邮件应该存储在什么地方出现了两种思想，并且都已得到一 定的应用。 第一种思想是直接把邮件下载到用户的计算机，这样邮件服务器上的 磁盘空间马上就可以清空，这对邮件管理的工作变得相对容易，但是这却 7 义反j 直版邮仆过滤系统们”发研究 对蚓一川广在不州的地l l 收取j ；f ，i 造成j 一定的1 ：便，二j 二足衍生了如下的 第二利叻。式。 第二种思想是把邮件保存在邮件服务器上，用户通过复制邮件的拷贝 到本地计算机上的方式来阅渎邮件，从而解决了同一用户从多台计算机查 看邮件的问题，但是这是以增加邮件管理的难度为代价的。 2 邮件显示方式 正对这一点可以将邮件的m u a 程序分为字符界面和图形界面的两种。 目前比较常用的m u a 程序有如下儿种。 ( 1 ) 文本终端的b i n m a i l 程序 ( 2 ) 图形文本终端的p i n e 程序 ( 3 ) xw i n d o w s 系统终端的q m a i l 程序 ( 4 ) w i n d o w s 系统终端的f o x m a i io u t l o o k 等程序 2 2 电子邮件协议 为了在各个邮件服务器的m t a 程序之间以及m t a 程序和m u a 程序之间 进行通讯，传递邮件数据包的话，就必须遵循一定的挑议标准。现在已经 开发出很多的邮件协议如s m t p 、p o p 3 、i m a p 、l o t u s 、e x c h a n g e 等等。通 过这些洳议，邮件服务器之b ij 牛| i 互传递消息，用户也可以通过网络从邮件 服务器上读取邮件。但是，所有的这些办议都归结为邮件传输代理协议和 邮件用户代理协议，以下分别介坌 j 这两利一坍议 2 2 1 邮件传输代理协议( m t ap r o t o c o l s ) m t a 程序必须能够在不同的程序包之问传递i | l | ；件，有些还将邮件送到 远程邮件服务器上的用户。为了实现这利t 功能，一个m t a 程序必须能够同 其他m t a 程序包进行通讯，通信内容不仅可以是邮件，还可以包括使远程 邮件服务器能够识别的信息。其中简单邮件传输协议s m t p ( s i m p l em a i l t r a n s f e rp r o t o c o l s ) 和扩展简单邮件传输协议e s m t p ( e x t e n d e ds i m p l e m a i lt r a n s f e rp r o t o c o l s ) 是目前使用得最广泛的邮件传输代理协议。 1 简单邮件传输协议( s m t p ) 简单邮件传输协议s m t p ( s i m p l em a i lt r a n s f e rp r o t o c o l s ) 是互联 网上m t a 服务器间传递邮件最基本的阱议，互联网上的任何一台主机都可 殳反垃圾| | | 5 f 1