（计算机应用技术专业论文）反垃圾邮件技术的研究及其在校园网中的应用.pdf

摘要 摘要 题名：反垃圾邮件技术的研究及其在校园网中的应用 硕士研究生姓名：陈健 导师姓名：张月琳 学校名称：东南大学 随着互联网的发展和应用的普及，电子邮件已经成为人们日常工作和生活中不可缺少的 一种方便快捷的通信手段。但是近些年来，互联网上的垃圾邮件问题日益严重，垃圾邮件的 形式和内容不断变化。传统的、单一的检测方法已经无力应对日益泛滥的垃圾邮件。 本文从研究垃圾邮件的基本概念和产生原因入手，分析了垃圾邮件的特征和垃圾邮件发 送者的常用手段，介绍并分析了现有的一些反垃圾邮件理论和实用技术。论文着重研究了 r b l 技术、反向d n s 查询、病毒扫描技术以及贝叶斯方法在反垃圾邮件中的应用，深入研 究了朴素贝叶斯分类在设计反垃圾邮件系统中的应用。 在理论研究的基础上，论文分析了校园网电子邮件服务的安全弱点，结合我校校园网电 子邮件服务的具体环境，设计并实现了一个可用于学校电子邮件系统的反垃圾邮件原型系 统，并使之能够运行在校园网上，对进出学校邮件服务器的邮件进行检测。 最后，对论文设计的系统进行了功能测试和分析，并对系统存在的不足和系统的完善进 行了讨论。 关键词：垃圾邮件，r b l ，反向d n s 查询，贝叶斯方法，朴素贝叶斯分类 东南大学硕士学位论文 a b s t r a c t t h er e s e a r c ho f a n t i s p a mt e i j b n 0 1 0 盱孔di 忸h p l 锄伽i nc a m p 璐n e 咐。出 b y c h j i a n s u p e r v i s e db yp r o f gy u e - 1 i n s o u t h e a s tu m v e r s i t y w m lt h ed e v e l o p m e n t 粕dp 叩l l l a r i 蜀6 衄o fh 劬e t ，b m a i lh a sb e e nac 伽倒t c o m m u n i c 撕o nt o o lj nh u m a nl i v e s b mr e c e n ty e a r s t h es p a r e s h t e m mb e c , o l n em o r ea n d m o r et e r r i b l e ，也e yc h a n g ei nc o n t e n t sa n df o r m se v 啪y t h et r a d i f i o lm e t h o d s 啦i n gs i n g l e d e t e c f i o nt e c h n o l o g yc a n n o td e a l 、订l ht h ei n c r e a s i n gs p a m s t h i st h 嚣i ss t a r t s 、i l hi n t r o d u c i n gt h eg o i l c e p t i o na n do r i g i no fs p a m s a n d 岫i td i s c u s s e s a n da n a l y z e sf e 咖燃o fs p a m s i ta l s od i s c u s s e ss o m e 仃a d i f i o n a lm e t h o d st h es p a n l l n 哪o f t c nu s e a f t e rt h a t ，t h i s 也嚣i sm 咖u c e sa n da n a l y z e ss o m eu s e f u lt h e o r i 鹤a n dt e c h n o l o g i 器j n 刎一s p 锄 w ef o c u so na n d 唧a 由t et h ea n n s p 锄m e t h o d so fi l ，d n si n q u i 辑v i r u ss c a n n i n g , 柚d b a y i a nm t e r i n g o nt h eb 勰i so f 血e o r yr e s e a r c h w eh a v ea n a l y z e dt h er i s k so fb m a i l 啊0 nc a m p w n e t w o r k a n db a s e d t h ep a 而c i l l hb m a i ls e r v i c e 诎o i m to fo ws c h o o l ，w eg i v co u tt h e d e s i g no f d s p m 芦o t o t y p es d t e m w ei m p l e m e n tt h i sa 删一s p m o w t y p es y s t e m o 口 c a m p u sn e t w o 出a n dt h i st h 鹤i si l l u m i n a m st h er e a l i z a f i o no fe a c hm o d u l o fn s 芦o t o t y p e mt h e 即do fn 虹sm 鹳奴w et e s ta n da n a l y z et h em a mf u n c f i o n so ft h ea n t i s p a mp r o m t y p e s y s t e m ，a n dp o i n to u tt h es h o r t a g eo ft h es y s t e m w ea l s og i v eo u t m ep i d l ”阻l st oi l n p r o v et h e k e y w 砷：s p a m ，r b l ，d n si n q i l i f e ，b a y e s i a nf i l t e r i n 岛n m v eb a y e s i a nc l a 船i 丘c a t i o n 缩略词、符号表 缩略词、符号表 口 i n t e m e tp r o t o c o l ：网际协议。 t c p t r a n s m i s s i o nc o n t r o lp r o t o c o l ：传输控制协议。 i s c i n t e r n e ts o c i e t yo f c h i n a ：中国互联网协会。 s m t p s i m p l em a i lt r a n s f e rp r o t o c o l ：简单邮件传输协议。 e s n p e x t e n d e ds i m p l em a i lt r a n s f e rp r o t o c o l ：扩展简单邮件传输协议。 s b l s p a mb l a c kl i s t ：垃圾邮件黑名单。 i s p i n t e m e ts e r v e rp r o v i d e r ：i n t e m e t 服务提供商。 c a s a c h i n a a n t i - s p a r e a l l i a n c e ：中国反垃圾邮件联盟。 m u a m a i l u s e r a g e n t ：邮件用户代理。 m d a m a i l d e l i v e r y a g e n t ：邮件投递代理。 m t a m a i lt r a n s f e r a g e a t ：邮件传送代理。 n i c n e t w o r ki n f o r m a t i o nc e n t e r ：网络信息中心。 d n s d o m a i n n a m es y s t e m ：域名系统。 s p f s e n d e rp o l i c yf r a m e w o r k s e n d e re e n n i t t d lf r o m ：寄件人策略架构来自寄件人许可。 m d 5 m e s s a g ed i g e s ta l g o r i t h m5 ：信息摘要算法。 s h a 1 s e c u r e h a s h a l g o r i t h ml ：安全散列算法。 r b l r e a l t i m eb l a c k h o l el i s t ：实时黑名单。 队p s m a i l a b u s e p r e v e n t i o n s y s t e m s ：邮件滥用预防系统。 c b l c h i n ab l a c ki pl i s t ：中国垃圾邮件黑名单。 c d l c h i n ad y n a m i ci pl i s t ：中国动态地址列表。 c m l m 东南大学硕士学位论文 c h i n a m a i ls e 蝴w h i t e l i s t ：中国实时白名单列表。 a s c a m e r i c a ns t a n d a r dc o d ef o ri n f o r m a t i o ni n t e r c h a n g e ：美国信息互换标准代码。 m a p m a x i m u map o s t e r i o d ：极大后验假设。 k m p k n u t h - m o r i s - p r a t t ：种字符串匹配算法。 uu u n i x t o - u n i xe n c o d i n g ：u u 编码。 m i m ：e m u l t i p u r p o s ei n t e r a c tm a i le x t e n s i o n s ：多用途i n t e r n e t 邮件扩充。 q p q u o t e - p r i n t a b l e ：q p 编码。 s a s p a r e a s s a s s i n ：一款开源的反垃圾邮件过滤程序。 e i c a r e u r o p e a ni n s t i t u t eo f c o m p u t e r a n t i - v i r u sr e s e a r c h ：欧洲计算机反病毒发展研究所。 h t m 儿 h y p e r t e x tm a r k u pl a n g u a g e ：超文本置标语言。 o e o u t l o o ke x p r e s s ：微软的一款电子邮件客户端软件。 o p e n r e l a y 开放式中继，一种容易产生垃圾邮件的邮件服务器工作方式。 f l o o d g a t e 1 9 9 5 年一月出现的第一个垃圾邮件发送工具。 n i m d a 2 0 0 1 年9 月1 9 日出现的计算机病毒，它创建了大量的电子邮件传播自己，引诱用户到 被感染的网站，利用微软i i s 安全漏洞和红色代码或者s a d m i n d 蠕虫以前安装的后门。 n i m d a 病毒造成的损失大约是6 3 5 亿美元。 s o b i g 2 0 0 3 年1 月1 1 日出现的计算机病毒，该蠕虫病毒通过电子邮件和共享网络文件夹感染 微软w m d o w s 操作系统。 m y d o o m 2 0 0 4 年1 月2 7 日出现的计算机病毒，通过电子邮件和文件共享方式传播。 i v 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 研究生签名：丝日期：二竺7 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人 电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论 文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包 括刊登) 授权东南大学研究生院办理。 研究生签名：导师签名：主茎塑盎日期抄争f ，7 第一章引言 1 1 研究背景 第一章引言 随着互联网的发展和应用的普及，电子邮件已经成为人们日常工作和生活中不可缺少的 一种方便、经济、快捷的通信手段。但是近些年来，电子邮件在作为一种信息交流工具的同 时，正在成为垃圾信息和计算机病毒的重要传播途径。 从某种程度上说，那些人们没有意愿去接收到的电子邮件都是垃圾邮件。一般把具备以 下部分或者全部特性的电子邮件称作垃圾邮件： 收件人事先没有提出要求或者同意接收的广告、电子刊物、各种形式的宣传品等宣传性 的电子邮件。 收件人无法拒收的电子邮件。 隐藏发件人身份、地址、标题等信息的电子邮件。 含有虚假的信息源、发件人、路由等信息的电子邮件。 含有病毒、恶意代码、色情、反动等不良信息或有害信息的邮件。 电子邮件用户在收取对自己有用的信息的同时，也从网上收到各种各样的垃圾邮件处 理这些垃圾邮件往往要花费用户大量的时间和精力，降低了用户的工作效率，无形上造成了 巨大的损失。对于一个企业来说，如果企业内部的计算机或者邮件服务器成为垃圾邮件发送 源的话，不仅本企业内部的邮件用户受到影响，还会严重损害企业对外界的形象。 具体的说，垃圾邮件对人们工作、生活和精神上的危害主要表现在八个方面； 垃圾邮件通常都可能携带着病毒，可能对用户的计算机系统造成危害； 大批量的垃圾邮件极易造成邮箱堵塞，影响正常的电子邮件服务，并占用大量网络带宽， 进而对整个网络的性能造成影响； 收件人需要花费一定的时间来处理垃圾邮件，这浪费了电子邮件用户的时间和精力，造 成了用户功作效率的降低； 影响了收件人与客户之间的正常业务联系，造成了间接经济损失： 大量的垃圾邮件使通讯机构必须提高计算机性能以维持邮件服务器的正常运行，增加了 费用和成本； 由于邮箱的容量有限，大量的垃圾邮件可能会使旧邮件( 包括有用邮件) 自动消失； 一些不健康、违法的邮件可能会对收件人的身心健康产生负面影响； 垃圾邮件可能会动摇人们对互联网的信心，阻碍信息业的健康发展。 尽管人们一直在努力想要减少垃圾邮件，但垃圾和病毒邮件的数量还是在不断增长，垃 圾邮件已经成为一个综合性的社会问题。据中国互联网协会反垃圾邮件中心2 0 0 6 年第一次 反垃圾邮件报告显示，中国每年电子邮件发送量达5 0 0 亿封，但有将近6 0 ，也就是有3 0 0 亿封是垃圾邮件。信息产业部政法司副司长李国斌曾表示：“我国已经成为垃圾邮件的重灾 区和受害国。”要想从根本上杜绝垃圾邮件的泛滥，必须采取全民动员的方式。由政府出面 组织立法，行业制订规则、积极协调，邮件服务提供者提供技术，用户积极参与、协同合作。 只有这样把政策和技术相结合，各司其职，积极主动的行动，才能使反垃圾邮件从根本上取 得显著成效”j 。 东南大学硕士学位论文 1 2 应用背景及目标 高等院校是国内外学术交流和信息沟通最频繁和最主要的场所，电子邮件服务是学术交 流中十分重要的j = 具之一。高校校园网电子邮件一般具有以下特点： 快速便捷。高校校园网是国内互联网最早应用的宽带网络，目前国内大多数校园网普遍 实现了百兆到桌面、干兆甚至万兆实现园区主干互联。建立在校园网基础上的电子邮件服务， 具有相当快的速度，可以轻松完成一般的信息和文件资料传输。 用户规模较大。校园网的用户群体为学生和教师，用户群比较大，少则数千人，多则数 万人。 用户活跃。高校学生是最活跃的网络用户，对各种科学知识充满好奇，勇于尝试：活跃 的用户群有可能成为病毒的携带者或传播者，甚至可能成为病毒的制造者。 在东南大学，e 一姒i l 服务一直是校园网应用的一个重点。在学校几乎所有的学者都通 过电子邮件与国内外学术机构保持着广泛的交流与合作，每日有数千封重要的电子邮件通过 校园网进行传送。学校自1 9 9 5 年起在校园网内提供e - m a i l 服务。根据日志分析，平均每天 进出校园网的邮件数量达到3 万封以上，大量的垃圾邮件使用户十分反感，严重影响师生们 正常的工作和学习。 本论文主要分为理论研究和系统实现两大部分，在对反垃圾邮件技术及理论进行较深入 研究的基础上，理论结合实际应用，通过具体分析校园网内垃圾邮件的特点，综合使用多种 反垃圾邮件技术，实现一个具有较高效率的反垃圾邮件系统，更好的为校园网用户服务。 1 3 论文的结构 本文主要围绕垃圾邮件的产生及特征，校园网电子邮件服务的特点，反垃圾邮件的基础 理论和相关技术，以及反垃圾邮件技术在校园网中的应用展开讨论。全文共分五个章节，具 体如下： 第一章引言。简单阐述了垃圾邮件的含义和危害。介绍了论文的研究背景、应用背景和目 标，并介绍了论文的组织结构。 第二章垃圾邮件问题初探。综合介绍了垃圾邮件的产生原因及历史，中国反垃圾邮件工作 的近况。并分析了校园网电子邮件服务的安全弱点。 第三章垃圾邮件检测技术研究。详细介绍了垃圾邮件发送者常用的获取目标邮件地址和逃 避反垃圾邮件检测的手段。介绍了现有的一些反垃圾邮件理论和技术。详细介绍和 讨论了r b l 技术、反向d n s 查询以及贝叶斯方法在反垃圾邮件中的应用。深入研 究和探讨了朴素贝叶斯分类在设计具有自学习功能的反垃圾邮件系统中的应用。 第四章反垃圾邮件系统的设计与实现。结合校园网电子邮件服务的具体环境，选择适当技 术设计并实现了一个适用于学校邮件系统的反垃圾邮件系统原型。详细介绍了该系 统中关键部分的实现细节。组建了测试环境，对系统的各项功能进行了测试分析。 第五章结束语。对全文进行总结。分析并阐述了论文在理论和实践中的不足之处。综合分 析了论文所实现的系统目前存在的问题，指出了今后进一步工作的重点。 2 第二章垃圾邮件问题初探 第二章垃圾邮件问题初探 2 1 垃圾邮件的历史及产生原因 最早有关于垃圾邮件的记录是1 9 8 5 年8 月一封通过电子邮件发送的链锁信。1 9 9 4 年4 月1 2 日，美国亚利桑那州两位从事移民签证咨询服务的律师劳伦斯欺特( l a ur e n c ec a n ter ) 和玛撤西格尔( m a r t h as i e g e l ) ( 两人为夫妻) ，把一封“绿卡抽奖”的广告信发 到他们可以发现的每个新闻组。这在当时引起了轩然大波，他们的“邮件炸弹”让许多服务 商的服务处于瘫痪状态。从那时起，s p a m ( 垃圾邮件) 开始被用来描述新闻或电子邮件的主 动性发布。后来这两位律师还合作写了一本书网络赚钱术，书中介绍了他们的这次辉煌 经历：通过互联网发布广告信息，只花费了2 0 美元的上网通信费用就吸引来2 5 0 0 0 个客户， 赚了1 0 万美元。他们认为，通过互联网进行e m a i l 营销是前所未有几乎无需任何成本的营 销方式。当然他们并没有考虑别人的感受，也没有计算别人因此而遭受的损失。到了1 9 9 5 年5 月，有人写出了第一个专门的应用程序f l o o d g a t e ，一次可以自动把邮件发给很多人。紧接 着在8 月份。就有人拿两百万个邮件地址出售吲。垃圾邮件逐渐开始充斥在人们的生活中，图 2 1 显示了满是垃圾邮件的邮箱。 甍褥獭婚镪獭满碴蛹 。 静 爹主麓 鲥4o 嬲e 坐游萎喜嚣糕溉彘等1 裳 莨酾i 糖器已麓l 错弩1 9 3 4 j 孽2 2 0 e 7 一 - 2 到毪拓蓦g 露 2 0 0 7 - ”- 2 3 麓蛰辩糍懒硝雾耐渤，网蓑第缪* 麓缝褥； j u s tg 懒# f n eg e r o t e 皂 代并发幕 棼喜缘辘蓉境旌孛 像还隅 率公荀萄都势发囊优惠舟磐蛰司樗。， 垭啦璐詹# 销，警 t a g h e u e r r 幽物躲，瞧 趋势辩援蘑息蒹统竞垒周缀一第4 一 n o 磐a e 乍嘲钮m i o 罄掰柏净， p a t e k p 州l p 盼轴m 。 t r e 棚、稚糟( c 蛳r 晦。 算 菇冀 ” f 整曾劳溪。 雾 德蓐 2 b囊 豌逑咨诲一孽 发囊张开“莓 e $ e m 抽a 蠲在鲐淘 对蹙警 蛾斌珈穰。 垃务 。囊 喜最i 缓塞罄稍羽蒜磐篓 盒灌 蠹 霰封争帮蔫篱 1 阱舵埘船瞎 锷 爱 毓e 啦略n a 培| 黼 m n 蛹 j e n n 酹e r l 燕 弛n d 蚶i m ： r 哪“w 咖。； i 棚捌搬一，：簇 图2 1 满是垃圾邮件的邮箱，正常邮件被垃圾邮件湮没 垃圾邮件泛滥原因是多方面的。主要有以下几类： 第一是暴利的驱使：除了技术上让垃圾邮件制造者有机可乘，“低进入成本+ 高利润+ 3 器。錾魏零豢器扫豇貊豁。勰：豹弛密裙心。爨 东南大学硕士学位论文 匿名性”更是制造垃圾邮件的重要原因。越来越多的企业或个人选择发送垃圾邮件来获得高 回报率。甚至形成一条产业链：收集、销售邮件列表，开发专用发送工具，邮件内容制作， 邮件发送，回收状况等。所有经济因素都对垃圾邮件制造者有利。 第二是法律限制有限：目前仅有为数不多的国家通过立法来制止垃圾邮件而且执行效 果尚不理想，而大多数国家并未设立相关法律法规，即发送垃圾邮件的行为不会受到任何法 律的追究。 第三是技术缺陷：邮件系统设计之初的漏洞造成了垃圾邮件的产生。比如o p e n r e l a y 等 漏洞以及发送方和发送服务器、发送服务器和接受服务器之间都不做认证，因而发送方可以 使用互联网上任意一台s m t p 服务器发送他的邮件。 第四是计算机病毒的影响：电子邮件用户的涵盖范围遍布整个互联网络。普通用户对来 自自身邮件列表中的地址的信件倾向于采取信任态度。病毒编写和恶意传播者选择采用 e - m a i l 这种传播媒介可以迅速将病毒分发，而且e - m a n 传播病毒的机理简单，并不需要太 多的计算机底层技术，只要了解简单的脚本语言就可以轻松编写出简单的e - m a i l 病毒。因 此，互联网上出现了越来越多由病毒造成的垃圾邮件。 2 2 中国反垃圾邮件近况 据国际相关反垃圾邮件组织统计，以被列入垃圾邮件黑名单( s b l ) 中发送垃圾邮件网址 ( m ) 数量为基准进行调查，美国位居第一，中国第二。此外，加上国内部分i s p 的漠视， 不愿意去积极的解决问题，造成了国内许多电子邮件用户不能正常的使用电子邮件，这些用 户往往突然失去了和其它( 特别是国外) 邮件用户的联系，或者完全就被蒙在鼓里。不知道 自己发送的电子邮件根本没有到达目的地。 按照中国互联网协会反垃圾邮件中心的统计结果，到2 0 0 6 年9 月为止，中国被国外反垃 圾邮件组织列入黑名单的口地址段共计3 9 7 9 个。而自2 0 0 6 年7 月至2 0 0 6 年9 月，中国被国 外反垃圾邮件组织列入黑名单的p 地址段共计2 9 8 个，图2 2 是排名前十的省份比较情况。 图2 2 中国被屏蔽的垃圾邮件服务器m 地址段分布状况 4 第二章垃圾邮件问题初探 现阶段国内常见的垃圾邮件主要可以分为商业广告宣传邮件、政治宣传邮件、色情宣传 邮件和病毒邮件等等，可以用图2 3 来简单表示： 爱虫( 2 0 0 0 2 1 4 ) 、 n i m d a ( 2 0 0 1 9 1 9 ) 、 求职信( 2 0 0 1 1 0 - 2 6 ) 、 中文版求职信( 2 0 0 2 年5 - 1 0 ) 、 怪物( 2 0 0 2 1 0 - 0 2 ) 、 s o b i g ( 2 0 0 3 1 一1 1 ) 、 爱情后门( 2 0 0 3 2 2 5 ) 、 小邮差( 2 0 0 3 8 - 0 4 ) 、 斯文( 2 0 0 3 9 1 9 ) 、 m y d o o m ( s c o 炸弹) ( 2 0 0 4 - 1 - 2 7 ) n e t s b 及其变种( 2 0 0 3 今) 图2 3 国内常见的垃圾邮件分类 垃圾邮件的制造者和传播者们为了逃避过滤，一直在改进垃圾邮件的形式和技术。经过 许多年的演变和进化，现阶段互联网上的垃圾邮件大多具有以下一些特点： 发件人的地址随机变化： 邮件的主题随机变化； 邮件头中含有伪造的干扰信息； 信体内容含有随机变化内容： 正文以图片方式显示，难以识别： 垃圾邮件在不同时段内的传播内容不一样； 垃圾邮件在不同范围内的传播内容不一样。 此外，不同的用户对垃圾邮件的定义和接受程度不一样，某些用户认为的垃圾邮件可能 对其它一些用户来说是有用的信息。因此垃圾邮件的检测和识别难度很大，到目前为止也很 难找到一种有效的技术能够从根本上彻底解决垃圾邮件问题。技术和政策制度相结合是目前 比较有效的反垃圾邮件策略。 我国政府于2 0 0 6 年3 月3 0 日起施行了互联网电子邮件服务管理办法，受到了社会 各界的广泛关注，该办法对肆意发送垃圾邮件者起到了一定的遏止作用。同时，中国互 联网协会的垃圾邮件举报受理中心已建立了较为完善的举报投诉机制，并且不断进行垃圾邮 件的行业检查、开展与国际反垃圾邮件组织的交流与合作；许多邮件服务商也在不断推出反 垃圾邮件的各种产品；各类新闻、出版等媒体也加强了宣传来提高电子邮件用户的安全意识， 动员用户积极加入到反垃圾邮件的行动中来。 5 件 件 件 邮 邮 邮 传 传 传 件 宣 宣 宣 邮 业 治 情 毒 商 政 色 病 ，、l 垃圾邮件 东南大学硕士学位论文 2 3 校园网电子邮件的安全分析 高等教育和科研机构是互联网诞生的摇篮，也是最早的应用环境。各国的高等院校都是 最早建设和应用互联网技术的部门之一，中国的高校校园网一般都最早应用较先进的网络技 术，网络应用普及，用户群密集而且活跃。然而校园网由于自身的特点也是安全问题比较突 出的地方，管理也更为复杂和困难。 与政府或企业网相比，高校校园网的以下特点导致安全管理非常复杂： 1 校园网的速度快和规模大。高校校园网是最早的宽带网络，普遍使用的以太网技术决 定了校园网最初的带宽不低于l o m b p s ，目前普遍使用了百兆到桌面、千兆甚至万兆实现园 区主干互联。校园网的用户群体一般也比较大，少则数千人、多则数万人。中国的高校学生 一般集中住宿，因而用户群比较密集。正是由于高带宽和大用户量的特点，校园网内的网络 安全问题一般蔓延速度快、对网络的影响比较严重。 2 校园网中的计算机系统管理比较复杂。校园网中的计算机系统的购置和管理情况非常 复杂，比如学生宿舍中的电脑一般是学生自己花钱购买、自己维护的：有的院系是统一采购， 有技术人员负责维护的：有些院系则是教师自主购买、没有专人维护的。这种情况下要求所 有的端系统实施统一的安全政策( 比如统一安装防病毒软件、设置可靠的口令) 是非常困难 的。由于没有统一的资产管理和设备管理，出现安全问题后通常无法分清责任。 3 活跃的用户群体。高等学校的学生通常是最活跃的网络用户，对网络新技术充满好 奇，勇于尝试。如果没有意识到后果的严重性，有些学生会尝试使用网上学到的、甚至自己 研究的各种攻击技术，可能对网络造成一定的影响和破坏。 4 ，开放的网络环境。由于教学和科研的特点决定了校园网络环境应该是开放的、管理也 是较为宽松的。企业网可以限制允许w e b 浏览和电子邮件的流量，甚至限制外部发起的连 接不允许进入防火墙，但是在校园网环境下通常是行不通的，至少在校园网的主干不能实施 过多的限制，否则一些新的应用、新的技术很难在校园网内部实施。 5 有限的投入。校园网的建设和管理通常都轻视了网络安全，特别是管理和维护人员方 面的投入明显不足。在中国大多数的校园网中，通常只有网络中心的少数工作人员，他们只 能维护网络的正常运行，无暇顾及、也没有条件管理和维护数万台计算机的安全。 6 盗版资源泛滥。由于缺乏版权意识，盗版软件、影视资源在校园网中普遍使用，这些 软件的传播一方面占用了大量的网络带宽，另一方面也给网络安全带来了一定的隐患。比如， m i c r o s o f t 公司对盗版的w i n d o w s 操作系统的更新作了限制，盗版安装的计算机系统今后会 留下大量的安全漏洞。另一方面，从网络上随意下载的软件中可能隐藏木马、后门等恶意代 码，许多系统因此被攻击者侵入和利用。 正是因为上述校园网的这些特殊性和安全弱点，建立在高校校园网基础上的电子邮件服 务在安全上存在一些固有的薄弱之处： 1 网络速度和用户组成对邮件服务的影响 网络速度快、用户规模大和用户集中使得校园网电子邮件具有相当快的速度，可以轻松 完成一般的信息和文件资料传输。但也正因为这样，如果校园网内的某台计算机或者某个用 户大量发送垃圾邮件且没有得到有效控制的话，不管是其是因为主观上的恶意还是因为感染 病毒，垃圾邮件都会在校同网内快速蔓延，大量的用户会受到影响。而且因为校园网内的用 户多为老师和学生，用户集中且可能相互熟悉，对彼此发送的电子邮件信任程度较高，警惕 性较低，很多时候不会做太多的检查，而是直接收取打开阅读，这在很大程度上又容易给垃 圾邮件和病毒可乘之机，促进垃圾邮件的进一步扩散。 2 校园网内复杂的计算机系统配置和管理情况对邮件服务的影响 6 第二章垃圾邮件问题初探 与一般企业网络相比，接入高校校园网的计算机往往数量较多且类型各异，有学生、教 师自行购买的机器，也有学校或者院系部门统一采购的机器。企业网络一般机器类型比较统 一，可以制定统一的管理策略，安装统一的安全软件。但是在校园网内，各种不同结构，不 同年代，不同平台和操作系统的计算机接在同一个网络环境里，使用同样的网络服务( 例如 电子邮件服务) ，这些计算机有的有专门的技术人员管理维护，有的是所有者自己维护，还 有一些根本就没有人管理和维护。想要给校园网内的计算机安装统一的反垃圾邮件软件或防 病毒软件、进行统一的管理，是一件非常困难的事情，甚至几乎是无法做到的。缺少防护或 管理的计算机可能感染病毒或被攻击者入侵，在合法用户没有察觉的情况下成为垃圾邮件的 源头。 3 相对开放的网络环境对邮件服务的影响 一般的企业网为了最大程度的减少垃圾邮件的影响，可以设定严格的访问控制策略，控 制企业员工可以访问的站点和可以使用的网络服务，限制允许的w e b 和电子邮件的流量， 限定进出网络的连接。这样可以在很大程度上把垃圾邮件排除在企业网络之外。但校园网出 于科研和教学的需要，难以实施太多的限制，管理相对较为开放。这无形上也给垃圾邮件进 出校园网打开了通路。 4 有限的投入对邮件服务的影响 一般高校的校园网内存在着数以万计的各种计算机和服务器，除了学校统一提供的邮件 服务以外，有些院系、单位和个人还建有自己的邮件服务器，而专职负责校园网服务的通常 只有网络中心的少数工作人员，在院、系这一级通常没有管理员或者没有专职的管理员。网 络中心的工作人员只能维护网络的正常运行和学校邮件服务器的安全，无暇也没有条件管理 和维护校内所有的计算机以及邮件服务器。但校园网内任何一台个人计算机或者服务器都可 能造成垃圾邮件的泛滥，因此，仅靠网络中心进行管理和维护是不够的，有必要加强管理和 维护方面的投入，设立院系一级的专职的计算机系统和邮件系统管理人员。 综上所述，适合于校园网的反垃圾邮件系统应该是一种独立于邮件端用户操作系统的， 便于校园网络中心集中控制管理的，具有较高垃圾邮件检测速度和效率的系统。 7 东南大学硕士学位论文 第三章垃圾邮件检测技术研究 3 1 垃圾邮件发送者的常用手段与现有的反垃圾邮件技术 本节主要对现阶段常见的一些垃圾邮件发送者使用来获取目标地址和逃避反垃圾邮件 检测的手段、以及现有的一些反垃圾邮件技术做一个简单的概述；后面的章节会针对一些具 体的垃圾邮件检测技术作较深入的讨论。 3 1 1 垃圾邮件发送者的常用手段 为了达到反垃圾邮件的目的，有必要先了解垃圾邮件的发送者的一些惯用手段和伎俩。 我们主要关心的是垃圾邮件发送者获取目标地址的手段和逃避邮件检测的手段。 1 获取目标地址的手段 垃圾邮件的发送者要发送垃圾邮件，首先要明确收件人，也就是首先要寻找目标。但与 正常邮件不同的是，垃圾邮件的发送者需要的是大量的目标地址，为了搜集大量的目标地址， 比较常用的方法有扫描、猜测、购买以及通过计算机病毒和木马来盗窃信息。 扫描是指垃圾邮件的发送者利用自动扫描程序搜索i n t e m e t 上的各种站点、聊天室和新 闻组等来搜集电子邮件用户曾经公布在网络上的邮箱地址。 猜测技术则是指垃圾邮件发送者利用程序在个域名下反复猜测试探来获得邮件地址， 或者干脆无论地址有效与否，直接向猜测的地址发送邮件。 有些垃圾邮件发送者以及别有用心的人看到了这其中的商机，把通过各种方式搜集或窃 取来的大量邮件地址整理起来，相互交换或者出售这些地址来给自己谋利。 近些年来，垃圾邮件和计算机病毒有不断结合的趋势。垃圾邮件的发送者可以利用病毒 和木马程序窃取受感染的计算机本地邮箱内的地址，并向这些地址发送垃圾邮件。 2 逃避邮件检测、追踪和过滤的手段 在得到了大量的目标邮件地址以后，垃圾邮件的发送者便要向这些邮件地址发送垃圾邮 件。为了使垃圾邮件能够逃避网络安全人士和安全产品的封堵顺利到达受害者的邮箱，垃圾 邮件的发送者们会使用各种伪装和欺骗技术。典型的垃圾邮件发送者用来逃避检测和追踪、 过滤的手段有以下一些： 1 )利用邮件传输协议的漏洞和邮件服务罂配置的缺陷 目前互联网上使朋的最广泛的邮件传输协议是s m t p 协议( s i m p l em a i lt r a n s f e r p r o t o c 0 1 ) 。s m t p 协议比早期的邮件传输协议m t p 简单。s m t p 协议没有定义如何从用户 处接受邮件，或者用户接1 ：3 如何将收到的邮件交给用户，而且它也没有定义如何存储邮件。 s m t p 着重关注底层邮件交付系统如何将邮件从一台机器传递到另一台机器“。 电子邮件系统在概念上的组成可以用图3 1 表示： 8 第三章垃圾邮件检测技术研究 图3 1 电子邮件系统的组成 当用户发送一个邮件消息时，邮件系统将邮件副本与发送方、接收方、目的机器的标识 以及存放时间一起放进缓冲区( 也称作邮件队列) 。然后系统以一种后台活动启动到远程机 器的传输，允许发送方继续进行其他活动。后台邮件传输进程成为一个客户，首先使用域名 系统将目的机器名映射为口地址，然后试图建立到目的机器上邮件服务器的t c p 连接。如 果成功，传输进程将一份邮件副本传递给远程服务器，该服务器将此副本存放在缓冲区内。 一旦客户和服务器都认可已收到并存储了该副本，客户就可删除本地副本。后台传输进程定 期扫描整个缓冲区，检查是否有未交付的邮件，一旦它找到一个邮件，或者一旦用户存入一 个新的待发邮件，后台进程将再次尝试交付。 s m t p 非常直观，客户和服务器之间的通信由可读的a s c i i 文本组成。最初，客户建立 一条到服务器的t c p 连接，并等待服务器发送一个2 2 0r e a d yf o rm a i l 报文。收到2 2 0 报文后，客户发送一个髓l l o 命令，服务器通过标识自己进行响应。邮件事务由m a i l 命 令开始，它给出了发送方标识符和一个f r o m ：字段，该字段表示邮件方送方地址。接收方 ( 服务器) 准备好用于接收新邮件的数据结构，并通过发送响应2 5 0 回答m a i l 命令。 成功执行m a i l 命令后，发送方发出一系列r c p t 命令，这些命令标识邮件的接收方。 服务器必须通过发送2 5 0o k 或者差错报文5 5 0n os u c hu s e rh e r e ，来确认每个r c p t 命令。 确认了所有的r c p t 命令后，发送方发出一个d a t a 命令，接受方用3 5 4s t a r t m a i l i n p u t 响应，并指明用于终止邮件的字符序列。终止序列由5 个字符组成：回车、换行、点、回车 和换行。发送方输入终止序列之后，这封邮件便被发送。 s m ，r p 协议的状态转换可以用图3 2 来表示： 图3 2s m t p 协议的状态转换 举例说明，假设主机a l p h a e d u 上的用户s m i t h 向主机b e t a g o v 上的用户j o n e s 发送 邮件。主机a l p h a e d u 上的s m t p 客户软件与主机b e t a g o v 上的s m t p 服务器软件联系， 9 东南大学硕士学位论文 并开始如下交换过程( 以“c ：”开头的行由客户( a l p h a ) 发送，而以“s ：”开头的行由服 务器( b e t a ) 发送) 。圈3 3 显示了s m t p 协议的交互过程。 s ：2 2 0b e t a ，g o vs i m p l em a i lt r a m f e rs e r v i c er e a d y c ：h e l oa l p h a e d u s ：2 5 0b e t a g o v c ：m a i lf r o m ：s m i t h a l p h a e d u s ：2 5 0 0 k c ：r c p t t o ：j o n e s b e t a g o v s ：2 5 0 0 k c ：d a t a s ：3 5 4s t a r tm a i li n p u t ；e n dw i t h c i b u c i b l l c ：开始如入邮件体，即邮件正文 c ：邮件正文 c ： c r x u s ：2 5 0 0 k c ：q u i t s ：2 2 1b e t a c j o vs e r v i c ec l o s i n g 恤a n s r n i s s i o nc h a n n e l 图3 3s m t p 协议的交互过程 可以看到，单纯的s m t p 协议不要求用户进行身份认证，只要发送者和s m t p 服务器 建立了连接，就可以发送邮件。这给垃圾邮件的发送者提供了可乘之机。首先，因为只要建 立了s m t p 连接就可以发送邮件，垃圾邮件的发送者可以在任何位置利用一台邮件服务器 来发送他的邮件。这让封堵垃圾邮件源变得很困难。对于接受方邮件服务器来说，看到的只 是发送邮件的服务器的地址而不是垃圾邮件发送者的地址，如果对其进行过滤，则发送方服 务器成了替罪羊，垃圾邮件的发送者可以另找一台服务器来继续发送。对转发垃圾邮件的服 务器来说，虽然能知道垃圾邮件发送者的地址，可以将其过滤掉，但只要垃圾邮件的发送者 下一次换一个口地址，则又可以进行发送了。 其次，在邮件发送过程中m a i lf r o m 命令后面所跟的邮件地址可以是任意的，这让 垃圾邮件的发送者可以随意假冒发送者。当邮件用户以为收到来自自己熟悉的人的邮件时， 往往容易采取信任的态度打开邮件浏览，这就达到了垃圾邮件发送者的目的。而且能够假冒 任意的发送者，也给追寻垃圾邮件的源头带来很大的困难。 关于s m t p 协议的另个严重问题是o p e n r e l a y ，也就是所谓的开放中继功能。在 一个正常的邮件过程中，邮件是一站到达的，也就是说发送方服务器直接连接到目标地址所 标示的接收方服务器传递邮件。但由于技术的原因，在8 0 年代前，网络还不是很健全，机 器之间很少能直接对话发送邮件。人们必须得找出一条有效的连接通路来，然后信件沿着通 路一步一步传送到目的地。s m t p 协议中就明确指出当邮件在不同的网络间传送时，需要借 助中间服务器的r e l a y ，邮件在收件方和发送方之间会经过毫不相干的第三方服务器。比 如发送者的域是a ，a 通过服务器b ( 属于c 域) 中转邮件到d 域。这时在服务器b 上看 到的是连接请求来源于a 域的服务器( 不是客户) ，而其实邮件既不是服务器b 所在域用户 提交的，也不是发c 域的。o p e n - r e l a y 在历史上曾经起到过重要的作用，但是现在这种开 1 0 第三章垃圾邮件检测技术研究 放中继已经不再必要，相反，它常常被垃圾邮件的发送者利用，隐藏真实的邮件来源，让别 人以为是从另外的i s p 发出的信件，同时也把大量的处理工作转移到别人的服务器上。开放 中继已经成为了垃圾邮件泛滥的最大技术原因之一。今天，大部分的邮件服务器程序已经在 缺省的设置中间关闭了o p e nr e l a y ，有的服务器程序即使没有提供相应的升级版本，也 提供了关闭o p e nr e l a y 的方法。但是由于很多服务器管理员的疏忽，互联网上仍然存在 着很多邮件服务器没有及时修补这些安全漏洞，或者没有及时改正配置，这些服务器大量的 被垃圾邮件发送者利用来转发垃圾邮件。 扩展简单邮件传输协议e s m t p ( e x t e n d e ds i m p l em a i lt r a n s f e rp r o t o c o l ，r f c1 8 6 9 ) 对 s m t p 最重要的扩展就是提供了对m t a 主机使用的身份认证，只有通过身份验证才能使用 邮件服务。如此一来，非本地注册用户就无法盗用e s m t p 服务器乱发邮件了；如果发现是 本地用户乱发垃圾邮件，管理员可以有的放矢地加以控制和制裁。 e s m t p 解决了身份认证的问题，它的出现对遏制o p e n - r e l a y 产生的垃圾邮件起到了很 大的作用。但对于s m t p 协议中所存在的伪造发信地址、回复地址等问题依然无法解决。 因此，s m t p e s m t p 协议的缺陷是垃圾邮件泛滥的最主要原因。 2 ) 采用动态l p 地址，自架设m t a 服务器来逃避地址过滤 黑名单技术和m 地址过滤已经在反垃圾邮件领域得到了广泛的应用，大量发送垃圾邮 件的服务器会被各i s p 或者邮件服务器管理员阻止。垃圾邮件的发送者很难再像初期一样利 用某一台或几台固定的邮件服务器来肆无忌惮的发送邮件。他们转向使用动态口地址，自 己架设m t a 服务器来发送邮件。因