（计算机应用技术专业论文）垃圾邮件过滤技术中信誉机制的研究.pdf

摘要 摘要 随着互联网的普及，电子邮件与人们的工作生活联系日趋紧密，随之而来 的垃圾邮件问题也日益严重。邮件信誉机制作为一种新兴手段在垃圾邮件过滤 领域中发挥着重要作用。然而，由于人们对这种机制的研究时间并不长，所以 还有许多问题亟待解决，尤其是信誉度生成算法和分布式邮件信誉系统的设计 问题。针对上述问题，本文在分析现有邮件信誉机制和现有信誉计算方法的基 础上提出了一种基于邮件服务器信誉度生成算法m s r e p 的分布式邮件信誉系 统。 m s r e p 是一种基于模糊控制的邮件服务器节点信誉度生成算法，由该算法 计算出的信誉度能够比较准确地体现目标节点的信誉情况，达到有效阻截垃圾 邮件服务器的目的。该算法主要有两方面特点：一方面，原始信誉值、历史信 誉值与信誉变化率3 部分保证了节点信誉度的及时性、稳定性以及对节点将来 行为的可预测性。另一方面，信誉度参数模糊控制器能够比较精确、有效地控 制上述3 部分的权重系数q 、b 、y ，优化了节点的信誉度。本文通过仿真实 验评估了m s r c p 算法的原始信誉值计算策略、历史信誉值计算策略、信誉变化 率计算策略和参数a 、1 3 、y 的控制方法，验证了算法的有效性。 在基于m s r e p 算法的分布式邮件信誉系统中，本文重点讨论了基于节点信 誉度的垃圾邮件阻截机制：动态黑名单机制。信誉系统内的各个节点相互协作， 在有效阻截垃圾邮件服务器的同时也减少了垃圾邮件对网络资源的耗费。该系 统主要具有两个特点：一是高效的信誉度计算方法m s r e p 保证了节点信誉度的 有效性。二是动态黑名单机制克服了现有黑名单技术灵活性不足的问题。该机 制使大量发送垃圾邮件的节点自动进入黑名单，同时也可以使不再大量发送垃 圾邮件的节点自动从黑名单中除名。本文通过模拟实验验证了系统对垃圾邮件 服务器阻截的有效性。 关键词：垃圾邮件信誉机制模糊控制动态黑名单 a b s t r a c t a b s t r a c t w i t ht h ep o p u l a r i t yo ft h ei n t e r a c t , e m a i l sh a v eb e e ni n c r e a s i n g l yc l o s e r e l a t i o n s h i pw i t ht h el i f e a n dw o r ko ft h e p e o p l e ，a n da tt h es a m et i m e ，t h e p r o l i f e r a t i o no fs p a mh a sb e c o m ea l li n c r e a s i n g l ys e r i o u sp r o b l e m m a i lr e p u t a t i o n m e c h a n i s m ，a san e wa n t i s p a mm e a n s ，p l a y sa ni m p o r t a n tp a r ti nt h ea r e ao fs p a m f i l t e r i n g h o w e v e r , i ti sn o tal o n gt i m ef o rp e o p l et oe n g a g ei nr e s e a r c ho fm a i l r e p u t a t i o nm e c h a n i s m ，s ot h e r ea r em a n yp r o b l e m st ob es o l v e d , e s p e c i a l l yt h e d e s i g no fa ne f f i c i e n tr e p u t a t i o n - g e n e r a t i n ga l g o r i t h e ma n dt h ed e s i g no fa d i s t r i b u t e dm a l lr e p u t a t i o ns y t e m a i m i n ga tt h ea b o v e m e n t i o n e dp r o b l e m s ，i nt h e b a s i so f a n a l y s i s o f e x i s t i n g m a l l r e p u t a t i o nm e c h a n i s m sa n de x i s t i n g r e p u t a t i o n - g e n e r a t i n ga p p r o a c h e s ，t h i sp a p e rp r o p o s e sad i s t r i b u t e dm a i lr e p u t a t i o n s y s t e mb a s e do nar e p u t a t i o n g e n e r a t i n ga l g o r i t h m ：m s r e p m s r e pi s ar e p u t a t i o n g e n e r a t i n ga l g o r i t h mb a s e do nf u z z yc o n t r 0 1 t h e r e p u t a t i o nt h a tg e n e r a t e db ym s r e pc a l la c c u r a t e l yr e f l e c tt h es i t u a t i o no ft h et a r g e t n o d ea n da c h i e v et h eg o a lo fe f f e c t i v e l yb l o c k i n gs p a m s m s r e ph a st w om a i n c h a r a c t e r i s t i c s ：f i r s t l y , t h er a wt r u s tv a l u e ，t h eh i s t o r i c a lt r u s tv a l u ea n dt h et r u s t c h a n g i n gv a l u eg u a r a n t e et i m e l i n e s s ，s t a b i l i t ya n dp r e d i c t a b i l i t yo f n o d eb e h a v i o r s e c o n d l y , t h ef u z z yc o n t r o l l e rf o rr e p u t a t i o np a r a m e t e r sc a np r e c i s e l ya n de f f e c t i v e l y c o n t r o lt h r e ew e i g h tf a c t o r s ：q ，p ，y ，w h i c hc o r r e s p o n dt ot h ea b o v e - m e n t i o n e dt h r e e p a r t sr e s p e c t i v e l y t h ec o n t r o l l e ro p t i m i z e st h er e p u t a t i o n so ft h en o d e s t h r o u g h s i m u l a t i o ne x p e r i m e n t s ，w ee v a l u a t et h ec o m p u t a t i o n a lm e t h o do ft h er a wt r u s tv a l u e ， t h ec o m p u t a t i o n a lm e t h o do ft h eh i s t o r i c a lt r u s tv a l u e ，t h ec o m p u t a t i o n a lm e t h o do f t h et r u s tc h a n g i n gr a t e ，a n dt h ec o n t r o lm e t h o do f q ，1 3 ， yi nm s r e p ，a n d d e m o n s t r a t et h ee 删v e n e s so fm s r e p i nt h em a l lr e p u t a t i o ns y s t e m ，w ef o c u so nas p a m - b l o c k i n gm e c h a n i s mb a s e d o nn o d er e p u t a t i o n ：d y n a m i cb l a c k l i s tm e c h a n i s m ( d b l ) w i t ha 1 1t h en o d e s c o o p e r a t i n g , t h es y s t e mc a ne f f e c t i v e l yb l o c ks p a ms e r v e r sa n dc a na l s or e d u c et h e c o s t 。c o n s u m i n go fn e t w o r kr e s o u r c e st h a ti sc a u s e db ys p a r e t h es y s t e mh a st w o i i a b s t r a c t m a i nc h a r a c t e r i s t i c s ：f i r s t l y , h i e l ye f f i c i e n tm s r e pg u a r a n t e e st h ee f f e c t i v e n e s so f t h er e p u t a t i o no ft h en o d e s e c o n d l y , d b lo v e r c o m e st h ep r o b l e mo fi n a d e q u a t e f l e x i b i l i t yt h a te x s i t i n gb l a c k l i s tt e c h n i q u e sp o s s e s s d b lp u t st h en o d e st h a ts e n da l a r g en u m b e ro fs p a m si n t ot h eb l a c k l i s ta u t o m a t i c a l l y , a n dt a k e st h en o d e st h a tn o l o n g e rs e n ds p a r e si nl a r g ea m o u n t so u to ft h eb l a c k l i s ta u t o m a t i c a l l y t h r o u g h s i m u l a t i o ne x p e r i m e n s ，w ev e r i f yt h ee f f e c t i v e n e s so ft h es y s t e mi nb l o c k i n gs p a m s e r v e r s k e yw o r d s ：s p a m ，r e p u t a t i o nm e c h a n i s m ，f u z z yl o g i cc o n t r o l ，d y n a m i c b l a c k l i s t i 南开大学学位论文版权使用授权书 本人完全了解南开大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版 本；学校目录检索以及提供本学位论文全文或者部分的阅览服务；学 校有权按有关规定向国家有关部门或者机构送交论文的复印件和电 子版；在不以赢利为目的的前提下有权保存学位论文的印刷本和电子 版，并采用影印、缩印、扫描、数字化或其它手段保存论文；学校有 权提供，学校可以适当复制论文的部分或全部内容用于学术活动。+ 学位论文作者签名：苫。、寺 w 荔年f 月”日 经指导教师同意，本学位论文属于保密，在年解密后适用 本授权书。 指导教师签名：学位论文作者签名： 解密时间：年 月 日 各密级的最长保密年限及书写格式规定如下： 南开大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 学位论文作者签名：善小午 年1 月2 , m ! t 第一章引言 第一章引言 第一节现代社会与垃圾邮件 随着互联网技术在全球的蓬勃发展和网络用户的增加，电子邮件已经成为 广大网络用户不可或缺的交流工具。截止2 0 0 7 年1 2 月，中国网民总数已达到 2 1 亿，同比增长7 3 0 0 万【1 1 ；活跃的电子邮箱账号总量为6 5 9 亿，同比增长 5 3 3 2 1 。 然而，由于电子邮件发送的成本很低，以及电子邮件传输协议本身存在的 缺陷，因此一些广告商和不法分子开始利用电子邮件传播暴力、色情、反动等 不健康内容以及无聊的广告。随着电子邮件的广泛使用，垃圾邮件也随之蔓延， 大量垃圾信息充斥着用户的邮箱，严重地影响了用户的正常使用。 垃圾邮件占用了大量的传输、存储和计算资源，容易造成邮件服务器拥塞， 降低网络的运行效率，严重影响正常的邮件服务；垃圾邮件以其数量多、覆盖 范围广、反复性、欺骗性、不健康性和传播速度快等特点，严重干扰用户的正 常生活，侵犯收件人的隐私权，侵占收件人信箱空间，耗费收件人的时间、精 力和金钱；垃圾邮件的泛滥严重影响i s p 的服务形象，收到垃圾邮件的用户会 因为i s p 没有建立完善的垃圾邮件过滤机制而转向其他i s p 。 + 据反垃圾邮件服务供应商c o m m t o u c h 公司统计【3 】，2 0 0 7 年全球9 5 的邮件 是垃圾邮件。又据赛门铁克反病毒公司的最新报告 4 显示，在亚太地区，除了 澳大利亚和新西兰，其他任何国家的垃圾邮件比例都高于全球6 1 的平均水平。 菲律宾的垃圾邮件比例最高，达到8 8 。紧随其后的是韩国、越南和泰国，上 述国家的垃圾邮件比例也都超过了8 0 。相比之下，中国的垃圾邮件比例为 6 8 。计算机安全公司s o p h o s 也发布了最新的安全报告【5 】，报告显示美国是世 界上最大的垃圾邮件生产国，占全球垃圾邮件总量的2 1 ，而俄罗斯和中国分 列第二和第三位。按照地区统计，亚洲排名第一位，占全部垃圾邮件数量的3 2 ， 其次是欧洲，占2 7 。北美排名第三位，占2 6 5 。 我国已成为仅次于美国的全球第二大垃圾邮件受害 t 6 l ，因此开始被其他 国家视为垃圾邮件的温床，许多口地址存在遭受封杀的危险，长此以往可能使 第一章引言 我国成为“信息孤岛。据中国互联网协会反垃圾邮件中心发布的2 0 0 7 年第四 季度报告1 2 显示：2 0 0 7 年，中国网民收到的垃圾邮件总量为6 9 4 亿封，与上一 年的5 0 0 亿封相比增长了3 8 8 。据业内专家估计，2 0 0 7 年垃圾邮件给中国造 成的损失高达1 8 8 4 亿人民币，比2 0 0 6 年的1 0 4 3 1 5 亿增长了8 0 6 。， 因此，研究反垃圾邮件技术，有效地过滤和防范垃圾邮件，净化互联网电 子邮件的使用环境是当前互联网技术研究领域的重中之重。 第二节现有垃圾邮件过滤技术 垃圾邮件过滤技术在缓解、解决垃圾邮件问题中发挥重要作用，该技术主 要包括基于规则的过滤和基于概率统计的过滤两种【7 1 。 基于规则的过滤从电子邮件的结构出发，寻找垃圾邮件的特征，设置过滤 规则，在发件人、收件人、传递路由、邮件头等多个部分展开邮件过滤工作， 它是垃圾邮件过滤经常采用的基本方法。这些方法主要包括：s m t p 用户认证， 实时黑名单，可信白名单，根据信头信息、关键字匹配设定过滤规则等。基于 规则的过滤在一定程度上对垃圾邮件的泛滥起到了抑止作用，但也存在不足之 处。例如，通常情况下，垃圾邮件发送者的地址是动态变化的，传统的黑、白 名单方法具有局限性，即便是现在流行的实时黑名单技术也缺乏足够的灵活性。 基于规则的方法需要人们不断发现、总结、更新规则，人为因素较多，一些没 有经验的用户可能很难提供有效的规则。而且，手工制定规则比较耗时，准确 率也受到了限制。垃圾邮件的特征以及垃圾邮件发送者发送垃圾邮件的行为都 在不断变化，人工维护这些规则并非易事。 基于概率统计的过滤指的是采用分类算法分析邮件正文，计算该正文属于 不同类别的概率，进而对邮件属性进行判断的方法。这些方法主要包括：k 近 邻方法、贝叶斯方法、神经网络方法、r o c c h i o 方法、w i n n o w 方法以及支持向 量机方法。以最具代表性的贝叶斯方法为例，它根据接收的垃圾邮件与正常邮 件的统计数据来创建过滤器。贝叶斯过滤器将邮件中关键词句的频率与特征库 中垃圾邮件和正常邮件关键词句的频率进行对比得出该邮件为垃圾邮件的可能 性。贝叶斯方法能够学习分辨垃圾邮件与正常邮件之间的差别，这种差别是用 概率来表示的，并且自动应用到以后的检测中。基于概率统计的过滤技术在反 垃圾邮件领域发挥重要作用，但其过滤的准确性主要依赖先期收集的垃圾邮件 2 第一章引言 和正常邮件样本集，因此该技术具有滞后性特征，新的垃圾邮件很容易突破过 滤规则的检测。此外该技术受训练数据集的限制，在准确率和查全率方面也难 以达到令人满意的程度。 综上所述，不管是基于规则的过滤方法还是基于概率统计的过滤方法，它 们都存在一些缺陷，因此在寻找这些问题的解决方法的同时还要积极探索其他 垃圾邮件处理方法，其中，通过在垃圾邮件处理系统中建立针对邮件用户或者 邮件服务器的信誉机制来辅助过滤垃圾邮件的方法已经初现端倪。本文的研究 重点是在分析现有邮件信誉机制和现有信誉计算方法的基础上，提出基于邮件 服务器信誉度生成算法m s r e p 的分布式邮件信誉系统。m s r e p 算法能够比较 准确地反映目标服务器的信誉情况，而基于该算法的垃圾邮件阻截机制一动态 黑名单机制克服了现有黑名单灵活性不足的问题。 第三节本文研究内容 通过技术手段遏制垃圾邮件的泛滥是目前反垃圾邮件的主要方式，也是效 果最显著的方式。近年来，在继续改进、完善现有垃圾邮件过滤技术的同时， 人们也在不断探究新的垃圾邮件过滤方法，而结合其他领域的有用思想并把它 们应用到垃圾邮件过滤领域则是寻求新突破的良策。“信誉 这个本来属于社会 学领域的概念已经被人们引入到垃圾邮件处理中。邮件信誉机制追踪邮件发送 者的邮件发送行为并据此对其进行信誉评分，而邮件接收者则根据评分高低决 定是否接收邮件发送者的邮件。 由于信誉机制引入垃圾邮件过滤领域的时间不长，所以关于这方面的研究 并不多，属于刚刚起步的阶段，很多问题亟待人们去解决，比如，高效的信誉 度计算方法的设计等问题。此外，如何设计适合分布式垃圾邮件处理的邮件信 誉系统，邮件信誉系统如何与现有垃圾邮件处理系统相结合等问题都值得人们 深入研究。 针对上述问题，本文研究分析了垃圾邮件的发送方式和过滤粒度等问题， 介绍了信誉机制的基本思想，指明了研究邮件信誉机制的必要性，并对邮件信 誉机制和信誉计算方法的研究现状进行了归纳分析。 本文在分析现有信誉计算方法的基础上，结合垃圾邮件的行为特征，提出 一种在分布式邮件信誉系统中计算邮件服务器信誉度的生成算法m s r e p 。当邮 3 第一章引言 件服务器节点开始大量发送垃圾邮件时，其信誉度就会迅速降低，而当该节点 发送的垃圾邮件较少或者不再发送垃圾邮件时，其信誉则会缓慢地提升。通过 仿真实验，我们验证了m s r e p 算法的有效性。 在m s r e p 算法的基础上，本文设计了一种分布式邮件信誉系统。系统通过 一种灵活、动态的黑名单机制阻截垃圾邮件服务器，克服了现有黑名单技术灵 活性差的问题。通过系统内各节点的相互协作，系统在有效阻截垃圾邮件服务 器的同时，也降低了垃圾邮件对网络资源的消耗。通过仿真实验，我们验证了 系统对垃圾邮件服务器阻截的有效性。 第四节论文结构 本文共分七个部分，具体结构为： ， 第一章介绍垃圾邮件泛滥与垃圾邮件过滤技术研究的现状；简述本文研究 的主要内容。 第二章对垃圾邮件的发送方式和过滤粒度等问题进行分析；简述信誉机制 的基本思想并分析通过信誉机制限制垃圾邮件的必要性；介绍现有邮件信誉机 制和现有信誉计算方法并分析它们的优缺点。 第三章在分析现有信誉计算方法的基础上，结合模糊控制技术，提出一种 在分布式邮件信誉系统中计算邮件服务器节点信誉度的生成算法m s r e p ，并对 该算法进行详细讨论。 、 第四章通过模拟实验评估m s r e p 算法的原始信誉值计算策略、历史信誉值 计算策略、信誉变化率计算策略和参数q 、1 3 、y 的控制方法，证明算法的有 效性。 第五章提出基于m s r e p 算法的分布式邮件信誉系统，重点讨论基于节点信 誉度的垃圾邮件阻截机制：动态黑名单机制，并通过模拟实验验证系统对垃圾 邮件服务器阻截的有效性。 第六章对论文研究的主要内容和创新点加以总结并给出进一步完善的建 议。 4 第二章信誉机制与垃圾邮件 第二章信誉机制与垃圾邮件 信誉机制已经在很多领域得到应用，而将其引入到垃圾邮件过滤领域却是 近几年的事。本章首先阐述垃圾邮件的发送方式及垃圾邮件过滤的粒度问题， 其次介绍信誉机制的基本思想并分析在垃圾邮件处理中融入信誉机制的必要 性，最后讨论邮件信誉机制和信誉计算方法的研究现状。 第一节垃圾邮件的发送方式 根据发送垃圾邮件的实际执行体的不同，可以把垃圾邮件发送方式归纳为 以下几类： 1 ) 通过自建s m t p 服务器大量发送垃圾邮件； 2 ) 利用开放中继功能的邮件服务器大量发送垃圾邮件； 3 ) 通过专用电子邮件群发工具大量发送垃圾邮件； 4 ) 利用僵尸主机大量发送垃圾邮件。 为了便于本文研究，我们把垃圾邮件发送方式简单化，只考虑自建s m t p 服务器发送垃圾邮件的方式，暂不考虑其他3 种情况。此外，我们假设合法邮 件用户都是通过s m t p 邮件服务器发送正常电子邮件，也通过s m t p 服务器接 收电子邮件。因此，我们把研究范围集中在邮件服务器上。 第二节垃圾邮件过滤的粒度 垃圾邮件过滤的粒度问题是指以什么作为垃圾邮件处理的过滤对象。根据 过滤粒度，垃圾邮件过滤方法分为基于s m t p 邮件服务器的过滤方法和基于邮 箱用户的过滤方法两种。一般来讲，每台s m t p 服务器都包括大量邮箱用户， 基于邮件服务器的过滤方法是把整台s m t p 服务器作为过滤对象，跟单个邮箱 用户的发送行为没有直接关系。而基于邮箱用户的过滤方法是把邮箱用户作为 过滤对象，同- - n 务器中对不同邮箱用户的评价一般不尽相同。 基于邮箱用户的过滤方法的处理粒度太细，垃圾邮件处理系统必须关注每 5 第二章信誉机制与垃圾邮件 个与之通信的用户的行为。我们知道，全球电子邮箱用户的基数很大，高达几 个亿，这可能导致处理系统的负担过重。而基于邮件服务器的过滤方法的处理 粒度就比较合适，s m t p 服务器的基数远远小于邮箱用户数。然而，值得注意 的是，基于邮件服务器的过滤方法是以s m t p 服务器作为评价对象，这可能导 致服务器因为少数用户的不良行为而被屏蔽掉，从而影响其他合法用户正常使 用电子邮件，因此从这一点看邮箱用户过滤方法更合理。但是，对于一台s m t p 服务器来讲，如果它的邮件用户中存在发送大量垃圾邮件的害群之马，那么该 服务器的管理员就应该有责任将其处理掉。基于邮件服务器的过滤方法能够督 促管理员较好地解决这个问题，如果管理员不能及时清理掉发送垃圾邮件的用 户，那么合法用户就可能无法正常发送电子邮件。而在基于邮箱用户的过滤方 法下，由于管理员的疏忽，那些发送垃圾邮件的用户容易成为漏网之鱼。 综上所述，与基于邮箱用户的过滤方法相比，基于邮件服务器的过滤方法 能够更为有效地过滤垃圾邮件。基于此，本文研究的邮件信誉机制的基本对象 就是s m t p 邮件服务器，每台服务器对应一个m 地址，邮件信誉系统通过评价 服务器的邮件发送情况实现垃圾邮件的过滤。 第三节信誉机制的基本思想 “信誉”一词源于社会学领域，基本意思是信用和名誉【s 】。从信誉的定义 可以看出，信誉是与社会交往活动行为相伴而生，保证交往活动顺利进行，并 长久持续下去的一种观念。它对人们的行为起着约束的作用，属于意识形态的 范畴。而信誉机制指的是在信誉的约束下事物之间相互联系、相互作用的方式， 体现了信誉在事物发展过程中的关键作用。 随着人类社会的发展，信誉机制在多种领域发挥重要作用。在经济学领域， 法律和信誉是市场经济中维持市场有序进行的两个基本机制。法律如同有形的 眼睛，而信誉则是隐形的眼睛。与法律相比，信誉机制是一种成本更低，调整 范围更广的机制。建立良好的信誉机制，可以大大减少对法律的需求。在计算 机科学领域，以对等网络上的文件共享为例，对等网络中的节点互不熟悉对方 的身份，并且拥有不受他人约束和预测的行为意志，这给节点间的文件共享带 来了很大的安全隐息。在加入信誉机制之后，节点通过收集文件共享历史信息 了解其他节点的大致情况，帮助节点做出如何进行下一次文件共享行为的决定， 6 第二章信誉机制与垃圾邮件 提高了文件共享的安全系数。 信誉机制的基本概念和作用表明，我们可以根据邮件服务器的邮件发送行 为对其进行评分，评分作为是否接收来自该服务器的邮件的依据。因此，将信 誉机制应用到垃圾邮件过滤领域具备可行性， 第四节研究邮件信誉机制的必要性 经过几年的垃圾邮件治理，垃圾邮件泛滥的情况虽然有所缓和但却没有明 显好转，因此，在现有反垃圾邮件技术成果的基础上，不断研发新的反垃圾邮 件技术是进一步加大治理垃圾邮件问题的必然要求。 基于规则的过滤和基于概率的过滤是垃圾邮件过滤技术的主要方式，除了 这些技术，我们还需要联合其他技术力量共同反击垃圾邮件，其中，通过信誉 机制阻截垃圾邮件已经成为反垃圾邮件斗争中的新兴手段。在邮件信誉系统中， 邮件信誉机制根据邮件服务器的邮件发送行为并按照某种信誉计算方法计算邮 件服务器的信誉分值，而邮件服务器的信誉分值既可以作为判断是否接收某封 邮件的唯一标准，也可以结合其他方法进行综合判断。总的来讲，邮件信誉系 统一般作为一套垃圾邮件处理系统的有机组成部分，通过处理系统各组成部分 的通力协作达到有效阻击垃圾邮件的目的。目前，基于协作的垃圾邮件处理技 术正在兴起，因此邮件信誉系统的发展趋势也是分布式的。 综上可知，研究邮件信誉机制十分必要，这有利于进一步完善垃圾邮件过 滤技术，对反垃圾邮件工作具有重要意义。邮件信誉机制主要包括两方面内容： 邮件服务器信誉度的计算和基于邮件服务器信誉度的垃圾邮件阻截机制，这两 方面内容即是本文研究的重点。 第五节，邮件信誉机制研究现状 2 5 1 两状态邮件信誉机制 采用黑白名单的反垃圾邮件技术可以被看成一种简单的两状态邮件信誉机 制，它们对邮件发送者的评分只有0 和1 两个状态：当发送者分值为0 ( 在黑 名单中或不在白名单中) 时，阻截邮件发送者发送的邮件；当发送者的分值为 7 第二章信誉机制与垃圾邮件 1 ( 在白名单中或不在黑名单中) 时，接收发送者发送的电子邮件。 1 传统黑白名单 传统黑白名单【9 】是指邮件用户常用的静态黑白名单。 静态黑名单维护一张被用户确认为垃圾邮件发送源的地址列表，而静态白 名单则维护一份被用户认定为合法邮件发送源的地址列表。黑白名单列表的表 项可以是用户邮件地址，也可以是邮件服务器域名或口地址。 邮件接收端拒绝接收从静态黑名单列表中的地址发来的电子邮件，而静态 白名单与静态黑名单正好相反，邮件接收端只接收白名单列表中的地址发来的 电子邮件。静态白名单是一种更加严格的反垃圾邮件措施，因为不在该名单中 的地址就不能向用户发送电子邮件。 目前，大多数邮件过滤解决方案都支持静态黑白名单技术，用户可以根据 自己的实际情况维护一份属于自己的黑白名单，或者也可以在邮件服务器黑白 名单中更新邮件发送源地址。 传统黑白名单通常由邮件用户手动更新，容易出现合法地址列入黑名单、 垃圾邮件发送地址列入白名单等误判情况。此外，手动更新的更新周期较长， 严重影响垃圾邮件过滤的实时性。 2 实时黑名单 实时黑名单 1 0 】( r b l ) 依靠黑名单服务提供者进行工作，服务提供者对发 送垃圾邮件的m 地址( 或邮件服务器域名) 进行跟踪。支持实时黑名单服务的 邮件过滤器可以向服务提供者查询某一指定的地址，该口地址可以是发件 人的地址，也可以是邮件传递路径上的任何地址。如果查询结果表明该口地址 存在于服务提供者的黑名单中，那么由该地址发送的邮件就很可能是垃圾邮件。 实时黑名单技术的优点表现在，减少了用户的工作量和设置难度，同时降 低了一定的误报率。其缺点一方面表现在部分实时黑名单服务提供者的打击面 过大，造成部分网段发送的邮件被完全屏蔽；另一方面表现在黑名单服务的灵 活性不足，加入实时黑名单的地址很难从中除名。中国互联网协会反垃圾邮件 中心提供的实时黑名单服务对黑名单脱离申请的处理流程如下： 1 ) 某一地址因列入黑名单而导致有些邮件不能正常发送，该地址的拥有 者可以向反垃圾邮件中心提出黑名单脱离申请； 8 第二章信誉机制与垃圾邮件 2 ) 在接到脱离申请后，中心首先会检查该地址是否已经停止垃圾邮件发 送行为或已经解决被动发送垃圾邮件的问题； 3 ) 在确认停止后，中心会将该地址从黑名单中去掉，并在下次更新黑名 单时生效； 4 ) 如果仍未得到一个可信的停止证据，中心会继续将该地址保留在黑名 单中。 由上文可以看出，黑名单除名过程比较繁琐，一次成功的脱离申请一般需 要花费一周以上的时间。在这段时间内，提出申请的邮件发送方无法提供正常 的邮件发送服务，在发送方注册的合法用户期间都不能正常发送电子邮件。 2 5 2t r u s t e d s o u r c e t r u s t e d s o u r c e 是由c i p h e r t m s t 1 1 】开发的邮件信誉系统。该系统将邮件流量 数据、自名单、黑名单和邮件网络特征与c i p h e r t r u s t 全球网络有机结合起来， 而c i p h e r t r u s t 的全球网络则囊括了1 4 0 0 多家受i r o n m a i l 设备( c i p h e r t r u s t 开 发的反垃圾邮件工具) 保护的客户公司的企业网络和3 0 0 0 多部部署设备。这一 有力结合造就了当前业内最完整的信誉系统和对互联网上4 2 亿个口地址进行 评分的能力。借助业内最大的企业客户基础，c i p h e r t m s t 的研究人员获得了比 其他同类厂商更多、更完整的数据。 在对未知的或不熟悉的发送者进行信誉评分时，t m s t e d s o u r c e 采取了有罪 原则，即在证明无罪之前先假设有罪，而不是在对可疑情况无把握时对发送者 做出有利判定。通过检查某个特定d 地址发送电子邮件活动的频率和所发信息 的质量，t m s t e d s o u r c e 会给该地址分配一个概率值，该值表示其作为垃圾邮件 发送者的可能性有多大。 尽管t r u s t e d s o u r c e 已经投入运行，但仍然存在一些不足之处：其一、信誉 信息主要采用集中处理方式，系统的健壮性和可扩展性较差；其二、系统需要 过于庞大的邮件发送者数据库支持；其三、出于商业竞争，系统的技术细节被 严格保密，系统接口也不对外公开，这样既不便于各国研究者的研究与交流， 也不便于t m s t e d s o u r c e 与其他商用信誉系统进行优势互补。 2 5 3c n c c n c 1 2 1 是一种基于协作的邮件识别系统，它是c l o u d m a r k 公司 1 3 1 的研究项 9 第二章信誉机制与垃圾邮件 目。c n c 由客户端代理、仲裁服务器、目录服务器和信誉系统t e s 等4 部分组 成。 信誉系统t e s 采用完全集中的方式处理邮件信誉，它的评分对象并非邮件 发送者，而是加入c n c 的用户。t e s 根据用户反馈的邮件数据情况对其进行评 分，这个评分作为下次用户反馈信息的可信等级。每个用户的初始信誉分值都 为中级。首次发现某种不安全内容的用户，其信誉值会明显提升。相反，当用 户错误报告一封垃圾邮件时，他的信誉值就会下降。与现实生活中的情况一样， 好的信誉值需要通过时间的考验。 客户端代理作为c n c 的客户端工具，对用户完全透明，无需用户进行任何 配置。客户端代理通过查询目录服务器判断接收的邮件是否是垃圾邮件。如果 目录服务器无法判断且用户认为该邮件比较可疑，或者用户认为目录服务器返 回的结果有误，那么客户端代理会将该邮件的指纹反馈给仲裁服务器处理，仲 裁服务器再将该指纹转发给加入系统的其他客户端代理，这些代理都会向仲裁 服务器反馈自己对该邮件的评价，而用户反馈评价的可信等级则由t e s 确定。 最后，客户端代理将根据仲裁服务器反馈的处理结果过滤电子邮件。 c n c 的信誉机制主要用于评估反馈邮件信息的用户的可信等级，不同于针 对邮件发送者进行评分的信誉系统。c n c 信誉机制的主要问题一方面表现在信 誉信息的存储与处理采用集中方式，系统的健壮性和可扩展性较差；另一方面 表现在信誉机制的技术细节出于商业目的被严格保密，不便于人们的学习与研 究。 2 5 4g o s s i p g o s s i p 1 4 且1 5 】是由s o u r c e f o r g e 支持的开放源代码项目，它是一种基于 g o s s i p 网络【l6 】的分布式邮件信誉系统。g o s s i p 追踪邮件发送者的行为，并在 加入g o s s i p 的邮件服务器之间共享邮件发送者的信誉评分。 g o s s i p 节点是g o s s i p 系统结构的基本组成单元，它是一台能够与其他 g o s s i p 节点共享信息的主机，同时该主机也能与一台或多台邮件服务器共享 信息。 邮件发送者通过身份标识d 唯一标识，身份标识i d 由发送者的i p 地址和 发送者邮件地址的右半部分( 即发送者使用的邮件服务器的域名) 组成。 信誉评分反映了邮件发送者的信誉情况，它将作为垃圾邮件过滤方案的参 1 0 第二章信誉机制与垃圾邮件 考因素。g o s s i p 节点对邮件发送者的信誉评分由该节点自身对发送者的评价 和它的邻居节点的评价( 以及邻居的邻居的评价，一直迭代到指定深度) 整合 而成。g o s s i p 系统的评价查询机制能够保证查询到足够多的节点，同时也增 大了对邮件发送者的评价起关键作用的节点被查询到的概率。 当一个g o s s i p 节点集齐来自邻居节点的信誉评分和可信等级时，它需要 将这些信誉数据与自己对邮件发送者的直接经验评分整合成一个新的信誉评分 和一个新的可信等级，这两个新值或者是返回给上级查询节点，或者是提供给 对应的邮件服务器作为垃圾邮件判断的参考因素。可信等级反映了与其对应的 信誉评分的可信程度，它由节点自身与邮件发送者的交互次数表示，交互次数 越多说明该节点对发送者的了解就越深，那么由它提供的信誉评分的可信度就 越高，反之亦然。为了方便信誉分值的计算，系统将g o s s i p 节点与邮件发送 者的交互次数进行了归一化处理。g o s s i p 节点计算邮件发送者的信誉评分的 具体过程如下： 1 ) 综合比较邻居节点的信誉评分，去掉与大部分评分差异很大的信誉评 分。 2 ) 根据可信等级修正对应的信誉评分( 包括节点自身对发送者的直接经 验评分) 。 3 ) 对修正后的信誉评分求算术平均值，该平均值即为所求的新分值。 g o s s i p 作为一种分布式邮件信誉系统，比基于集中存储和处理的信誉系 统有较大的优势，系统的性能得到提升。但是由于g o s s i p 基于无结构对等网 络g o s s i p ，所以其扩展性仍然比较差。此外，g o s s i p 项目至今仍处于研发阶 段，仅仅推出了一个功能不完整的测试版本，因此，g o s s i p 的技术细节及实 现方案还需要进一步的研究。 第六节信誉计算方法研究现状 2 6 1 商用在线信誉模型 e b a y 1 刀是迄今为止最简单且最受欢迎的在线拍卖网站系统，e b a y 系统的核 心是一个集中存储和管理信誉信息的信誉系统。在e b a y 网站上从事交易的双方 在每次交易完成后都需要给对方一个评价，成功交易记1 分，失败交易记1 分， 第二章信誉机制与垃圾邮件 不确定的情况记0 分。e b a y 的信誉系统负责收集所有评价信息以及根据这些评 价信息计算各个用户的信誉分数。信誉系统将用户的历史评价分数累加起来， 累加和就是其最终信誉评分。由于e b a y 的信誉计算方法非常简单，生成的信誉 分数并不能真实反映不同用户的信誉情况，所以容易误导用户选择并非最佳的 交易方。此外，e b a y 的信誉存储与计算都是集中式的，因此，系统的健壮性和 可扩展性较差。 a l l e x p e r t s 1 s 是一个提供免费专家答疑服务的专家站点。专家站点是解答某 一专门领域问题的专家的服务平台。人们在专家站点上提出问题，专家们负责 解答。a u e x p e r t s 的信誉系统从知识渊博度、回答满意度、解答及时性以及解答 礼仪度等方面对专家进行评价，各方面的最终评分都是各次评分的算术平均值 u 引。专家的总体威望分数由所有单次评分累加得到。 a d v o g a o 2 0 是一个开源的专家站点。站点会员根据专业熟练程度进行相互 推荐，a d v o g a t o 的信誉系统用于实现这一功能。a d v o g a t o 的信誉机制属于流模 型，即通过循环的传递迭代方式计算信誉度【2 1 1 。站点会员和会员间的推荐构成 一个信誉计算网络，其中，会员是网络中的节点，而会员间的推荐是网络节点 间的有向边，有向边的方向表示一个节点对另一个节点的推荐方向。每个会员 节点都被分配一个取值范围为 1 ，8 0 0 的距离量，该距离量表示节点与原点的距 离，而原点是a d v o g a t o 创建者使用的节点。原点的距离量为8 0 0 ，离原点越远 的节点的距离量越小。节点距离量作为节点推荐的权重，节点信誉分数由入度 边( 被推荐，权重为正值) 和出度边( 推荐其他节点，权重为负值) 的权重求 和得到。 e p i n i o n s z z j 是一个电子商务评论站点。任何人都可以免费注册成为e p i n i o n s 的会员，会员有对在线商品或商店进行评论的权力。会员的评论包括文字叙述 和一个从1 颗星到5 颗星的评分。评分一般基于多个方面，比如商品的易用性、 商品的使用寿命等等。e p i n i o n s 向表现优秀的评论者授予一定的头衔：顾问、 评论家、最高评论家。评论者的表现情况由一段时期内所有评分的累加和函数 表示，为了防止算法攻击，e p i n i o n s 没有公开函数的具体实现。由于信誉评分 的计算十分严格，所以大部分用户都没能获得一个头衔。 1 2 第二章信誉机制与垃圾邮件 2 6 2 基于贝叶斯模型的信誉系统 基于贝叶斯模型的信誉系统例采用贝叶斯模型【冽进行信誉计算。它以一种 基于b e t a 分布概率密度函数的数据统计方式计算信誉度，通过分析目标对象的 历史行为量化其未来某种行为的可能性。 系统在利用贝叶斯公式计算一个节点的信誉度时，实际上就是利用各个时 刻的历史记录来计算其某种行为在将来出现的概率。b e t a 分布概率密度函数的 公式如下： 6 p 砌( p 1 6 t , ) = ；毛警簧g 专p a - i ( ，一p ) 一 ( 2 ) ( o p 1 ，口， o ；p 0 ，f a 1 ；p 1 ，f p 1 ) 上式中，p 表示目标行为的概率，它的期望值就是目标对象对于目标行为 的信誉度，其中q 和1 3 分别表示正面评价和负面评价的次数，这两个参数作为 节点信誉计算的输入。由上式我们得出概率p 服从b e t a 分布的期望值： e ( p ) 2 南 ( 2 2 ) 文献 2 5 1 认为贝叶斯模型强调的是节点可信任的程度，没有区分“不可信 任 和“不确定是否可信任”这两种概念。 2 6 3 对等网络中的信誉模型 p 2 p r e p t 2 6 1 是基于请求应答方式 2 7 】的信誉机制，主要用于对等网络上的文件 共享。p 2 p r e p 在g n u t e l l a 协议【2 8 】上添加一层信誉安全协议，用于在资源搜索完 成后根据节点的信誉度进行节点选择。对于p 2 p r e p 来讲，信誉计算过程中节 点反馈评价的权重由这些节点的可信度表示，这也是可信度在大多数信誉系统 中的作用。p 2 p r e p 的缺点在于，系统假设目标节点的邻居节点知道目标节点的 实时行为，但这种假设并不一定充分。此外，文献 2 9 指出了p 2 p r e p 在信誉计 算过程中存在的安全问题。p 2 p r e p 信誉计算方法是对等网络信誉计算的基本方 法。 p r i d e 系统【3 0 】建构在对等网络之上，该系统在存储和收集信誉信息上与其 他信誉机制有所不同。p r i d e 既不用发送广播式请求，也不用查询专门的信誉 1 3 第二章信誉机制与垃圾邮件 管理节点，系统内的各个节点将自己的历史行为信息保存在本地以供其他节点 查询，这种方式解决了信誉信息的存储和收集难题。为了保护信誉信息的不被 修改，尤其是防止恶意节点修改自己的信誉数据，p r i d e 采用