（计算机应用技术专业论文）基于行为模式分类的反垃圾邮件技术研究.pdf

哈尔滨理工大学工学硕十学位论文 基于行为模式分类的反垃圾邮件技术研究 摘要 随着i n t e r n e t 的普及，电子邮件以其方便、快捷、低成本的特点成为现 代社会主要通讯工具之一和互联网上最重要、最普及的应用之一。与此同 时，垃圾邮件也越来越泛滥，大量占用了互联网上有限的存储、计算和网络 资源，降低了网络使用效率，耗费了用户大量的处理时间。因此，研究高效 的垃圾邮件过滤技术具有重要的意义。 论文对基于行为模式分类的反垃圾邮件技术进行了研究，提出了一个基 于行为识别的多层次的垃圾邮件过滤模型，并将其应用到企业邮件过滤项目 中。基于行为识别的垃圾邮件过滤技术跳出了传统的基于内容匹配过滤的技 术局限，它通过挖掘和利用邮件发送和接收过程中所表现出的各种关键行为 特征，形成行为特征模型，进而进行基于行为的识别。这一技术达到了判断 准则与邮件内容的无关性，与语言的无关性，从而进一步保证了基于行为过 滤的稳定性和用户的隐私权。 论文的主要工作和贡献： 1 挖掘邮件会话过程中所表现出的行为特征，提出了基于邮件传输代 理的垃圾邮件行为识别模型。它不需要接收整封邮件，将垃圾邮件过滤提前 到会话阶段。 2 挖掘正常用户行为特征，提出了基于邮件投递代理的垃圾邮件行为 识别模型。由于行为特征相对邮件内容模式的变化几乎是固定的，所以它优 于基于邮件投递代理的其它过滤方法，稳定性更好。 3 挖掘正常用户邮件发送行为，提出了基于发送的邮件用户代理垃圾 邮件发送行为过滤模型。它在邮件正式发送之前在客户端对其进行判断，节 省了网络资源，它既抑制了不良发送者基于正常邮件客户端发送垃圾邮件， 同时也抑制受控帐号在不知情的情况下成为垃圾邮件发送者的帮凶。 4 分析正常用户接收行为特征，提出了基于接收的邮件用户代理行为 过滤模型。用户可以进行个性化的规则设置，从而有针对性的在用户客户端 对垃圾邮件进行进一步的识别。 5 将基于行为模式分类的反垃圾邮件技术应用到企业信息化中的邮件 系统，形成信息综合管理平台。 哈尔滨理t 大学t 学硕十学位论文 关键词垃圾邮件；行为识别：数据挖掘 哈尔滨理工大学工学硕十学位论文 r e s e a r c ho n a n t i - s p a mt e c h n o l o g y b a s e do n b e h a v i o rp a t t e r n sc l a s s i f i c a t i o n a b s t r a c t w i t ht h ep o p u l a r i t yo fi n t e r n e t ，e - m a i lw i t hc o n v e n i e n t ，s p e e d y ，l o w c o s t f e a t u r e sb e c o m e so n eo ft h em a i nc o m m u n i c a t i o nt o o l so nt h ei n t e r n e ta n dt h e m o s ti m p o r t a n to n eo ft h em o s tp o p u l a ra p p l i c a t i o n si nm o d e m s o c i e t y a tt h e s a m et i m e ，s p a mh a sb e c o m ei n c r e a s i n g l yr a m p a n t ，a n do c c u p i e sal a r g en u m b e r o fl i m i t e ds t o r a g e ，c o m p u t i n ga n dn e t w o r kr e s o u r c e so nt h ei n t e r n e t ，a n dr e d u c e s e f f i c i e n c yi nt h eu s eo ft h en e t w o r k u s e r ss p e n tal o to fp r o c e s s i n gt i m e t h e r e f o r e ，t h es t u d yo fe f f i c i e n ts p a mf i l t e r i n gt e c h n o l o g yi so fg r e a ts i g n i f i c a n c e f o rt h er e s e a r c ho n a n t i s p a mt e c h n o l o g yb a s e d o nb e h a v i o rp a t t e r n c l a s s i f i c a t i o n ，p a p e r sg i v eam u l t i - l e v e ls p a m f i l t e r i n gm o d e lb a s e do nb e h a v i o r r e c o g n i t i o na n di t sa p p l i c a t i o nt ot h ee n t e r p r i s ee - m a i lf i l t e rp r o j e c t s t h e b e h a v i o r - b a s e ds p a mf i l t e r i n gt e c h n o l o g ya v o i d st e c h n i c a ll i m i t a t i o n so ft h e t r a d i t i o n a lc o n t e n t b a s e df i l t e r s ，a n dc r e a t e st h eb e h a v i o r b a s e dr e c o g n i t i o n m o d e lt or e c o g n i z es p a mb ym i n i n ga n du s i n gt h ev a r i o u sk e yc h a r a c t e r is t i c si n t h ep r o c e s so fs e n d i n ga n dr e c e i v i n ge - m a i l t h et e c h n o l o g yh a sa c h i e v e dt h a t t h ec r i t e r i o nh a sn o t h i n gt od ow i t ht h ec o n t e n to ft h ee - m a i l ，h a sn o t h i n gt od o w i t ht h el a n g u a g e ，s oa st of u r t h e re n s u r et h es t a b i l i t yo fb e h a v i o r b a s e df i l t e r i n g a n du s e r s p r i v a c y t h em a i nt h e s i sw o r ka n dc o n t r i b u t i o n s ： 1 b ym i n i n gt h eb e h a v i o rf e a t u r e si nt h ec o u r s eo fe - m a i lc o n v e r s a t i o n ， s p a mi d e n t i f i c a t i o nm o d e lb a s e do nt h em t a i s p r o p o s e d i td o e sn o tn e e dt o r e c e i v et h ew h o l ee - m a i l ；s p a mf i l t e r i n gw i l lb ea d v a n c e dt ot h ec o n v e r s a t i o n s t a g e 2 b ym i n i n gt h en o r m a lu s e rb e h a v i o rf e a t u r e s ，s p a mr e c o g n i t i o nm o d e l b a s e do nt h em d ai sp r o p o s e d c o m p a r et oc h a n g i n go fe - m a i lc o n t e n t ，b e h a v i o r f e a t u r e si sa l m o s tf i x e d ，s oi ti sb e t t e rt h a nt h eo t h e rf i l t e r i n gm e t h o d sb a s e do n i i i 哈尔滨理r t 大学t 学硕l 二学位论文 t h em d a ，a n di th a sb e t t e rs t a b i l i t y 3 b ym i n i n gt h en o r m a ls e n d i n gb e h a v i o r ，s p a m - f i l t e r i n gm o d e lb a s e do n t h es e n d i n gm u ai sp r o p o s e d a ne - m a i li sj u d g e do nc l i e n tb e f o r eb e i n gs e n t i t s a v e sn e t w o r kr e s o u r c e sa n di n h i b i t sb a ds e n d e r ss e n d i n gs p a mb a s e do ne - m a i l c l i e n ta n di n h i b i t sc o n t r o l l e da c c o u n t sb e c o m ea c c o m p l i c e so fs p a m m e r si n u n k n o w nc i r c u m s t a n c e s 4 b ya n a l y z i n gn o r m a l u s e rr e c e i v i n gb e h a v i o rc h a r a c t e r i s t i c s ，s p a m f i l t e r i n gm o d e lb a s e do nt h er e c e i v i n gm u a i sp r o p o s e d u s e r sc a ns e tu pt h e i r r e s p e c t i v er u l e s ，a n dt h e nm a k ef u r t h e ri d e n t i f i c a t i o no nt h e e - m a i lc l i e n t 5 t h ea n t i s p a mt e c h n o l o g yb a s e do nb e h a v i o rp a t t e r n sc l a s s i f i c a t i o ni s a p p l i e dt o t h ee - m a i ls u b s y s t e mi ne n t e r p r i s e i n f o r m a t i o ns y s t e ma n da c o m p r e h e n s i v ei n f o r m a t i o nm a n a g e m e n tp l a t f o r mi s f o r m e d k e y w o r d ss p a m ，b e h a v i o rr e c o g n i t i o n ，d a t am i n i n g i v 哈尔滨理工大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕士学位论文基于行为模式分类的反垃圾 邮件技术研究，是本人在导师指导下，在哈尔滨理工大学攻读硕士学位期间 独立进行研究工作所取得的成果。据本人所知，论文中除己注明部分外不包含 他人已发表或撰写过的研究成果。对本文研究工作做出贡献的个人和集体，均 已在文中以明确方式注明。本声明的法律结果将完全由本人承担。 储虢高老 眺砌岔年弓月，占日 哈尔滨理工大学硕士学位论文使用授权书 基于行为模式分类的反垃圾邮件技术研究系本人在哈尔滨理工大学攻 读硕士学位期间在导师指导下完成的硕士学位论文。本论文的研究成果归哈尔 滨理工大学所有，本论文的研究内容不得以其它单位的名义发表。本人完全了 解哈尔滨理工大学关于保存、使用学位论文的规定，同意学校保留并向有关部 门提交论文和电子版本，允许论文被查阅和借阅。本人授权哈尔滨理工大学可 以采用影印、缩印或其他复制手段保存论文，可以公布论文的全部或部分内 容。 本学位论文属于 保密 口， 不保密区r 。 ( 请在以上相应方框内打) 作者躲函老 导师躲扁i 钠 在年解密后适用授权书。 日期：a o d 8 年；月15 日 日期： 2 口喀年；月j5 日 哈尔滨理t 大学t 学硕 j 学位论文 1 1 研究背景 第1 章绪论 随着互联网的普及和发展，电子邮件以其方便、快捷、经济的通信优点也 得到飞速发展。随之而产生了许多问题，例如：垃圾邮件，病毒，d o s 攻击等 不良网络行为。用户的收件箱中常常充斥着未被请求的、欺诈性的或者令人反 感的邮件，这些即为垃圾邮件。中国互联网协会组织的2 0 0 6 年第一次中国反垃 圾邮件状况调查报告中，关于垃圾邮件的定义是【1 1 ： 1 收件人事先没有提出要求或者同意接收的广告、电子刊物、各种形式的 宣传品等宣传性的电子邮件。 2 收件人无法拒收的电子邮件。 3 隐藏发件人身份、地址、标题等信息的电子邮件。 4 含有虚假的信息源、发件人、路由等信息的电子邮件。 5 含有病毒、恶意代码、色情、反动等不良信息或有害信息的邮件。 垃圾邮件具有数量多、反复性、强制性、欺骗性、不健康性和传播速度快 等特点，严重干扰了人们正常生活，浪费了用户的时间、精力，更为严重的是 造成了信息安全隐患。而且垃圾邮件对网络资源消耗和网络安全的危害性越来 越大1 1 , 2 1 。 自从政府出台了互联网电子邮件服务管理办法以来，垃圾邮件问题同 益受到人们的关注，此法的颁布对垃圾邮件起到了一定的遏止作用。图卜1 来 自中国互联网协会反垃圾邮件中心关于“2 0 0 7 年第三次中国反垃圾邮件状况调 查报告”的调查结果【2 】。 根据调查数据显示，2 0 0 7 年第三季度，用户每周收到垃圾邮件所占的比例 为5 5 8 5 ，每周收到垃圾邮件数量为1 6 6 9 封，较2 0 0 7 年第二季度无论是从比 例上还是从数量上虽然都有所下降，但仍停留在一个比较高的比例和数值上。 这说明垃圾邮件的治理工作取得了一定的效果，同时，也说明垃圾邮件的治理 问题很艰巨，且目前的反垃圾邮件技术收效甚微，更为高效快捷的垃圾邮件过 滤技术研究的需求很迫切。 目前，国内外主要的反垃圾邮件系统，普遍采用关键字内容过滤技术，即 对邮件信头内容、正文内容以及邮件扩展部分的内容进行内容规则匹配，从而 哈尔滨理丁人学1 二学硕十学位论文 判定其是否为垃圾邮件。这种技术存在以下问题： 1 垃圾邮件内容和形式在不断变化，传统的基于内容过滤技术很难及时 更新规则，也就很难保证垃圾邮件过滤的准确性和有效性。 2 关键字规则不断增加，邮件处理时间延长，效率降低，资源消耗加 大，邮件服务运营费用增加，在遭受巨量邮件攻击时，可能导致系统崩溃。 3 系统自维护能力差，一般由专职人员维护规则库，工作量大，时效性 差。 为了克服传统过滤技术的上述缺陷，论文应用数据挖掘方法和模式分类技 术对邮件行为相关数据进行挖掘和分析，提出了基于行为模式分类的反垃圾邮 件技术1 3 】；并且将其应用在黑龙江国脉通信科技有限公司项目企业信息化 系统二期项目中。 图1 12 0 0 7 年第三次中国反垃圾邮件状况调布结果 f i g 1 - lt h i r dc h i n aa n t i s p a ms u r v e yr e s u l ti n2 0 0 7 1 2 垃圾邮件的危害 垃圾邮件可以说是因特网给人类带来的最具争议性的副产品，它的泛滥已 经使整个因特网不堪重负。造成的主要危害如下： 1 在互联网上传输的垃圾邮件占用了大量的传输、存储和运算等资源， 使网络带宽变窄，网络资源被严重浪费，降低了网络的使用效率，干扰邮件系 统的正常运行。且一旦垃圾邮件占到互联网总数据流员的三分之一，就会造成 巨大的存储需求，这对信息安全系统的有效性造成巨大挑战。 2 垃圾邮件损害了用户的利益1 4 1 。由于垃圾邮件具有反复性、强制性、欺 骗性、不健康性和传播速度快等特点，严重干扰了个人的f 常生活，浪费了用 户的时间、精力和金钱。 哈尔滨理t 人学t 学硕l j 学位论文 3 垃圾邮件还损害了i s p 的市场形象，造成无形资产流失。据悉，国外许 多邮件服务提供商以垃圾邮件过多为由，一度封杀了国内一些i s p 的邮件服务 器的i p 地址，致使许多中国用户向国外发送的正邮件被子拒绝接收，从蒙受 了不可估量的损失。 4 垃圾邮件和黑客攻击、病毒等结合也越来越密切1 5 1 。比如，s o b i g 蠕虫 就利用安装了开放的、可以用来支持邮件转发的代理。随着垃圾邮件的演变， 用恶意代码或者监视软件等来支持垃圾邮件已经明显地增加了，从而造成了更 严重的破坏性。 5 对网络安全形成威胁。黑客们侵入并控制了一些高带宽的网站，集中众 多服务器的带宽能力，利用电子邮件系统发送数以亿万计的垃圾邮件猛烈袭击 目标，造成被攻击网站网路堵塞，最终瘫痪，拒绝服务。 6 垃圾邮件危害了现实社会。少数别有用心者利用垃圾邮件大量散播各种 虚假信息或有害信息，甚至有损国家、社会、领袖形象的反动言论，严重危害 了社会的稳定。垃圾邮件源于对商业和政治利益的驱使，利用了邮件传输本身 具有的缺陷，并采用不断升级的邮件群发和邮件地址搜索等软件帮助进行垃圾 邮件的发送。 1 3 垃圾邮件泛滥原因 垃圾邮件源于对商业和政治利益的驱使，利用了邮件传输本身具有的缺 陷，并采用不断升级的邮件群发和邮件地址搜索等软件帮助进行垃圾邮件的发 送。 垃圾邮件的泛滥主要有以下几个因素1 6 ，7 】： 1 邮件群发工具的发展使发送垃圾邮件轻而易举。 2 黑客技术和病毒技术同益先进，蠕虫等垃圾邮件病毒不断产生。 3 宽带网络的同益普及，邮件发送的条件越来越便利。 4 网络通信成本的下降，这样使得垃圾邮件发送的成本也随之下降。 5 硬件性能的提高并且成本不断降低，垃圾邮件数量也因此有所增多，成 本也随之下降。 6 成本与产出的巨大反差。垃圾邮件发送的成本极其低廉，几乎为零，其 产出却比较大。 7 邮件的易伪造。现在的有关电子邮件的协议还不是很完善，使得邮件极 易伪造。 哈尔滨理t 人学_ t 学硕l j 学位论文 8 缺乏法律与规范的约束。现在法律方面对垃圾邮件的立法几乎是空白， 完全靠技术解决垃圾邮件有些力不从心。 1 4 垃圾邮件技术 垃圾邮件发送者采用了许多方法逃避传统反垃圾邮件技术的监控进行垃圾 邮件发送，典型的方式和手段主要有以下几种： 1 邮件内容及发件信息伪装，通过随机内容生成器生成发件人信息、邮件 标题、正文内容以及附件名汇，或将收信人地址加入到标题和正文内容中，伪 装成正常邮件，吸引收件人点击查看【8 1 。 2 以图片代替文字内容，即将要传送的内容以图片的形式附在邮件中，以 躲避当前主要还是以文本识别为基础的内容过滤技术的识别。据中国互联网协 会反垃圾邮件中心统计，2 0 0 6 年度图像垃圾邮件较前一年增加了四倍，该类邮 件占所有垃圾邮件总量的2 5 至4 5 。这类邮件的广告词都在图片中，目的是 绕过以检测垃圾邮件内容为主的反垃圾邮件技术。 3 内容加噪，即采用所谓的“视觉战术”，为了干扰反垃圾邮件系统对于 邮件内容的判断，邮件采用格式，例如，把背景色设置为黑色，把需要传递的 邮件内容，以与背景颜色相反的颜色作为字体颜色，同时在这些真正需要传递 的邮件内容之间，插入若干颜色与背景色相同的不相干的文字内容，经过这样 的处理，垃圾邮件接收者通过网页或客户端显示依然可以准确无误地接收垃圾 邮件的“原始信息 ，但反垃圾邮件系统在监测该类邮件的文本内容时，却由 于文本信息被掺杂了大量“噪音”，无法准确判断垃圾邮件的内容，而对其束 手无策。 4 采用动态甚至受病毒感染的“僵尸网络”发送垃圾邮件，以躲避反垃圾 邮件策略中对来自相同大量发送邮件行为的统计和分析。有许多垃圾邮件发送 者，利用蠕虫病毒，将垃圾发送分散到世界各地可被蠕虫病毒感染的机器，大 量被控制的计算机网络属于不知不觉下载了流氓程序和病毒的用户，被感染的 电脑在机主完全不知情的发送垃圾邮件给本地记录或存在于即时通讯软件中的 邮件联系人。 由以上，我们可以看出，垃圾邮件的制造和传播手段层出不穷。对于基于 内容的过滤不断提出反过滤策略，使其过滤率大大降低。不过，与此同时，垃 圾邮件发送者也向我们暴露了很多区别于正常邮件的行为特征模式。本论文正 是从垃圾邮件的行为模式着手，提出垃圾邮件的一种过滤方案。 哈尔滨理t 大学丁学硕十学位论文 1 5 反垃圾邮件技术 反垃圾邮件从技术角度出发主要有两个发展方向：一个是修改现有的 s m t p 协议，制定一个新的安全可靠邮件协议。另一个是根据邮件的格式，发 送时间，文件大小，内容以及其它特性，来识别该邮件是否为垃圾邮件，如果 是，则把垃圾邮件过滤掉【9 1 。识别的方法多种多样，各有各的优势和局限性。 前者通过完善通信协议的环境，来减少或消灭垃圾邮件产生。增强安全认证性 能，消除垃圾邮件泛滥。这是治本的方式，然而新协议实施比较困难，只有全 球共同采用这个协议后，才能有效地防止垃圾邮件。因此，在短时间内利用此 协议来防止发送垃圾邮件是不可行的。后者目前只能达到治标的目的，它并不 能杜绝垃圾邮件的重复产生，当垃圾邮件产生后，它通过某些方法识别出垃圾 邮件，及时的剔除它们。目前，已经有很多的过滤方法，如黑白名单过滤、基 于内容的规则过滤和贝叶斯过滤等【1 0 1 。 1 6 行为识别技术 行为识别较之标准的知识发现具有更强的健壮性，它通过分析行为上的变 化，能够有效地识别出新的异常模式，从而给用户提供早期预警，并将结果反 馈给f 常或异常行为模式，应用对整个识别系统数据的统计方法和对用户帐号 行为的度量，接受反馈后的模型又变为该系统的数据资料源。 目前，在网络欺诈活动，病毒检测，入侵检测和用户帐号分析等探测和情 报分析的广泛领域，基于行为识别的系统性应用还没有作为一个基础设施被开 发。今天的互联网安全系统仅仅应用了很小范围的一些技术，通常是以知识为 基础来进行的检测，如在入侵、病毒或是垃圾邮件检测方面。本文提出的基于 行为的检测很可能会在安全和情报分析方面提供一个大飞跃，无论是在脱机还 是联机的工作环境下。 表1 1 列举了一定范围的基于行为的互联网应用领域，这些应用涵盖了检 测、安全和市场挖掘方面的一些应用【1 1 1 。其中的每一个应用都是在特定的审计 数据源上采用数据挖掘算法，进而运用基于行为识别的技术。 考查垃圾邮件检测，通过观察可以发现垃圾邮件的发送不外乎以下几种目 的【8 1 舡1 2 ： 1 产品营销，通过向大量的电子邮件用户发送邮件以期达到宣传目标产品 或服务的目的。 哈尔滨理t 人学t 学硕l j 学位论文 2 传播色情或反动等不良信息，大量发送电子邮件，也是色情网站和国内 外反动组织经常用以传播不良信息的手段之一。 3 骗取用户私密信息，发送“网络钓鱼”或其他欺骗性质的邮件，即在邮 件中伪装为用户常用站点的界面，以骗取用户在该网站的注册信息及密码等， 盗用其在网络上的身份甚至盗取其资产。 4 传播病毒或进行攻击，利用附带病毒文件或者病毒代码的电子邮件进行 病毒传播攻击行为如通过各种邮件群发工具不停的向特定的信箱发送大量邮 件，影响邮箱甚至邮件系统的正常使用。 以这些目的为出发点而产生的邮件行为必然与用户的正常邮件行为有所区 别【l l 1 2 】。两者所具有的极高区分度使得于行为模式识别技术在反垃圾邮件技术 中得以应用，这也正是论文讨论的重点。 表1 1 常见的基于行为分析的互联网应用 t a b l el - 1c o m m o ni n t e m e ta p p li c a t i o n sb a s e do nb e h a v i o ra n a l y s i s 应用描述 互联网诈骗检测未经许可的事务 异常邮件检测垃圾，病毒，蠕虫 入侵检测基于网络，基于主机，基于应用 用户社区紧密联系的用户 行为模式识别基于帐号，基于社区 帐号代理发现同一用户使用的帐号 关联发现 网站推荐，采购推荐 网站相关检测网站维护，搜索引擎 1 7 论文研究的内容和结构 本论文对目前的流行的垃圾邮件和反垃圾邮件技术进行了总结，主要工作 是采用主成份分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 、关联分析等特征分析 方法对垃圾邮件行为特征进行深入分析，从而提取出基于垃圾了邮件行为的关 键特征，并在这些特征的基础上，利用行决策树等模式分类方法，提出了基于 行为模式分类的多层垃圾邮件行为识别模型，并对模型进行实验和结果分析， 并给出了结论。 本论文具体的组织结构如下： 第1 章简述了课题研究的目标和意义，并介绍了课题的来源、研究背景以 及相关技术的研究现状。 哈尔滨理t 大学t 学硕i j 学位论文 第2 章垃圾邮件过滤技术研究对目前流行的各种反垃圾邮件技术进行总结 和归类，阐述了行为模式挖掘和行为模式分类等行为识别相关技术。 第3 章基于行为模式分类的反垃圾邮件技术研究对采用行为模式分类方法 对垃圾邮件进行过滤进行了详细论述。采用主元分析法详细分析了邮件收发过 程中的行为特征，提出基于邮件传输代理的垃圾邮件行为识别模型、基于邮件 投递代理的垃圾邮件行为识别模型、基于发送的邮件用户代理垃圾发送行为过 滤模型和基于接收的邮件用户代理行为过滤模型。对模型进行测试，并给出了 对测试结果的分析。 第4 章垃圾邮件行为识别模型在项目中的应用将垃圾邮件行为识别模型应 用到国脉企业信息化平台中的邮件子系统，给出完整的企业邮件系统的解决方 案以及企业垃圾邮件防控体系，最后对系统实现中的主要模块和功能进行介 绍。 结论部分指出了本文研究的重点及其成果，并提出了对未来研究的展望。 哈尔滨理t 大学t 学硕f j 学位论文 第2 章垃圾邮件过滤技术研究 论文所述垃圾邮件过滤技术是指根据邮件的格式、发送时间、文件大小、 内容以及附件等相关特性，来识别该邮件是否为垃圾邮件。如果是，则把垃圾 邮件过滤掉。识别的方法多种多样。 2 1 基于验证的过滤 基于验证的过滤技术主要有黑白名单技术和反向域名验证技术。 黑名单是一个简单有效最常用的过滤方法，它首先检查邮件头，如果发送 者在黑名单内，就拒绝接收该邮件【1 0 】3 3 。3 4 。黑名单可以是发送垃圾邮件服务 器、开放的代理、开放的中继以及发送者邮箱地址。垃圾邮件发送者为了欺骗 接收者和过滤软件，他们常常采用自动软件伪造邮件发送者域名，不断更换他 的域名和地址，这样就会对一些合法的服务器造成误伤。例如，一个垃圾邮件 发送者通过拨号上网发送垃圾邮件，他是通过i s p 提供商服务器登录到自己的 邮件服务器上，如果i s p 提供商服务器就是垃圾邮件的源地址，当把这个地址 设置为黑名单，就会让许多合法用户无法发送正常的邮件。 白名单过滤方法是邮件过滤系统中维持一张白名单表，其中收录了用户认 可的邮件地址。当收到的邮件其发送者在用户的白名单中，该邮件就被判定为 正常邮件【1 0 1 3 2 。3 。这种方法能1 0 0 的屏蔽垃圾邮件，但是同时也会过滤掉很多 第一次与收件人通信的f 常邮件，因为这些用户不在收件人的白名单中。 垃圾邮件为了欺骗过滤软件和收信人，隐蔽自己的身份常常会在发信人栏 窜改自己的域名，表现为一个合法的身份。但是我们可以利用发信人的真实i p 通过d n s 服务器反向解析，获得该发信人的域名b 3 。这种过滤方法就是基于如 果根据i p 通过d n s 反向解析的域名与邮件中自我声称的域名不同的话，则认为 这是垃圾邮件。但是这种技术不适用于没有窜改域名的垃圾邮件。但由于现在 很多反向d n s 目录未被有效建立，或无法正常建立，造成反向域名验证产生不 可接受的高误报率。 2 2 基于内容的过滤 基于内容的过滤主要有关键词过滤、规则过滤和贝叶斯过滤技术等。 哈尔滨理t 大学t 学硕。 ：学位论文 关键词过滤技术通常创建一些简单或复杂的与垃圾邮件关联的单词表来识 别和处理垃圾邮件【m 】3 2 。比如某些关键词大量出现在垃圾邮件中，如一些病毒 的邮件标题。这种方式比较类似反病毒软件利用的病毒特征一样。可以说这是 一种简单的内容过滤方式来处理垃圾邮件，它的基础是必须创建一个庞大的过 滤关键词列表。这种技术缺陷很明显，过滤的能力同关键词有明显联系，关键 词列表也会造成错报可能比较大，当然系统采用这种技术来处理邮件的时候消 耗的系统资源会比较多。此外，躲避关键词很容易。比如：拆词，组词就很容 易绕过过滤。 规则过滤通过对大量合法和非合法邮件的综合分析，建立一个庞大的规则 数据库。对接收的邮件用该规则库进行评分，匹配的每条规则都有相应的分 数，当总分达到某一临界值时，就认为该邮件是垃圾邮件【l o 】3 4 。6 。规则的定义 可以针对各个部分进行，包括邮件头、邮件内容和邮件结构。而通常情况下， 规则库中规则的多是从内容中提取的关键字，所以它也属于基于内容过滤的技 术，当然也会有基于内容过滤的一些弊端。比如，规则要及时更新，并且要求 专职人员对规则库进行维护等缺点。 贝叶斯过滤是目前广泛被采用的垃圾邮件过滤技术，它是基于统计理论 的。这种技术通过求邮件各部分文本内容中包含的关键词在垃圾邮件和非垃圾 邮件中出现的概率进而求得在当前这些关键词出现的前提下，该邮件为垃圾邮 件的概率，从而判定该邮件是否为垃圾邮俐7 】2 4 。2 8 。 贝叶斯过滤算法是用户根据自己所接受的垃圾邮件和非垃圾邮件的统计数 据来创建的，这意味着垃圾邮件发送者无法猜测出过滤器是如何配置的，从而 有效阻止垃圾邮件。贝叶斯过滤算法能够学习分辨垃圾邮件与非邮件之间的差 别，差别是用概率来表示的，并且自动应用到以后的检测中。在收到一定数 量的信件后，一个好的贝叶斯过滤算法就可以自动识别各种垃圾邮件。但是， 上述贝叶斯算法没有考虑错判所造成的风险。为此，在朴素贝叶斯算法的基础 上作改进，如引入代价因子的最小风险算法等【7 1 3 4 。但有时一味追求某个指标 的提高，往往又会引起其他指标的下降，如引入代价因子的算法，合法邮件被 系统误判为垃圾邮件的可能性减少，但同时垃圾邮件被系统误判为合法邮件的 可能性增加，我们只能根据实际的应用情况，综合权衡各个指标，适当改进算 法，建立适于各自系统特色应用的垃圾邮件过滤系统。 此外，基于内容的过滤技术还有基于人工免疫的反垃圾邮件过滤技术 1 1 4 , 15 ，基于遗传神经网络的过滤技术 1 0 , 1 7 ，采用支持向量机的过滤方i 去【7 ”8 9 和 运用粗糙集理论的过滤方法等【6 】1 7 j 8 。 哈尔滨理t 大学t 学硕l j 学位论文 2 3 基于行为的过滤 2 3 1 电子邮件传输的安全隐患 由于s m t p 协议全部采用明文传递，特别是对邮件的发送者不做校验，导 致任何人都可以假冒他人的地址进行邮件发送。在s m t p 协议中，m a i l f r o m 命令后面所跟的邮件地址可以是任意的，这是最早邮件出现安全隐患的 主要原因。 其次，邮件地址是每个用户进行邮件收发的基础信息，在当前技术实现 下，每个用户的地址采用：户名+ 十域名构成。在日常的互联网使用中，邮 件地址很容易被泄露，通过一个正则表达式可以很简单的在大量的w e b 页面或 者文档中找出所有的用户电子邮件地址。目前网络中有大量的所谓邮件地址作 为商品买卖，这进一步加剧了垃圾邮件的影响程度【5 1 3 8 。 由于技术的原因，在8 0 年代前，网络还不是很健全，机器之间很少能直接 对话发送邮件，人们必须得找出一条有效的连接通路来，然后信件沿着通路一 步一步传送到目的地。s m t p 协议中就明确指出当邮件在不同的网络间传送 时，需要借助中间服务器的r e l a y 。邮件在收件方和发件方之间会经过毫不相 干的第三方服务器，这就是邮件转发( r e l a y ) 1 5 1 ”。它给垃圾邮件有了可乘之 机，利用服务器的o p e nr e l a y 大量转发垃圾邮件导致严重的后果。 2 3 2 行为模式挖掘技术 模式挖掘是从海量的数据中，抽取出潜在的、有价值的知识( 模式或规则) 的过程。也就是根据预定义的需求目标，对大量的数据进行探索和分析，揭示 其中隐含的规律，并进一步将其模式化的技术过程。模式挖掘是一门交叉学 科，它集成了许多学科中成熟的工具和技术，包括数据库技术、统计学、机器 学习、模式识别、人工智能、神经网络等等。多学科的相互交融和相互促进， 使得这一新学科得以蓬勃发展，而且已初具规模。 许多人将模式挖掘视为另一个常用的术语：数据库中的知识发现 k d d ( k n o w l e d g ed i s c o v e r yi nd a t a b a s e ) 的同义词。而另一些人只是将模式挖掘 视为数据库中知识发现过程的一个基本步骤。知识发现过程由以下步骤组成 1 8 1 4 ： 1 数据清理消除噪声或者不一致的数据。 哈尔演理t 人学t 学硕l ：学位论文 2 数据集成组合多种数据源。 3 数据选择从数据库中检索分析相关数据。 4 数据变换数据变换或统一成适合挖掘的数据形式。 5 数据挖掘使用只能方法提取数据模式。 6 模式评估根据某种兴趣度度量，识别表示知识的真正模式。 7 知识表示使用可视化和知识表示技术，向用户提供挖掘的知识。 广义的模式挖掘是从存放在数据库、数据仓库或者其他信息库中的大量数 据中挖掘有趣知识的过程。 模式挖掘方法现已广泛应用在不同的领域【1 8 1 。针对各种不同的数据类型和 目标要求，采用不同的模式挖掘方法。目前可以在垃圾邮件过滤问题上应用的 方法和技术主要有【1 9 】： 1 分析方法( a n a l y t i cm e t h o d ) 数据挖掘中大量采用统计分析方法，如描述 统计、概率论、回归分析、时问序列分析、多元分析等。回归分析是用于了解 自变量和因变量的关系，并用这些关系来进行分析和预测。时间序列分析，即 利用时间序列模型进行分析。多元分析是对多维随机变量进行分析的技术，其 主要有主成分分析、因子分析、判别分析、聚类分析及典型相关分析等。 2 决策树( d e c i s i o nt r e e ) 一种用树枝状展现数据受各变量影响情况的分析 预测模型，根据对目标变量产生效应的不同而制定分类规则，它是建立在信息 论基础之上，对数据进行分类的一种方法。它首先通过一批已知的训练数据建 立一棵决策树，然后采用建好的决策树对数据进行预测。决策树的建立过程是 数据规则的生成过程，因此这种方法实现了数据规则的可视化，其输出结果容 易理解，精确度较好，效率较高，因而较常用。常用的方法有分类和回归树 岔占 守o 3 神经网络( n e u r a ln e t w o r k s ) - - 干0 0 模仿人脑思考结构的数据分析模式，从 输入变量或数值中自我学习，并根据学习经验不断调整参数，以期得到知识的 模式。它是建立在自学习的数学模型基础之上，可以对大量复杂的数据进行分 析，并能完成对人脑或计算机来说极为复杂的模式抽取及趋势分析。神经网络 的处理过程主要是通过神经网络的学习功能找到一个恰当的连接加权值来得到 最佳结果。比较典型的学习方法是回溯法。通过将输出结果同一些己知的值进 行一系列比较，加权值不断调整，得到一个新的输出值，再经过不断的学习， 最后该神经网络得到一个稳定的结果。 4 相关规贝l j ( c o r r e l a t i o nr u l e ) 是一种简单而实用的关联分析规则，它描述 一个事务中某些属性同时出现的规律和模式，由一连串的“如果一则”的逻辑 哈尔滨理丁大学t 学硕十学位论文 规则对资料进行细分的技术。关联规则一般应用在事务数据库中，其中每个事 务都由一个记录集合组成。这种事务数据库通常都包括极为庞大的数据，因此 当前的关联规则发现技术正努力根据基于一定考虑的记录支持度来削减搜索空 间。其中的支持度是一种事务在日志中出现数目的度量。 5 遗传算法( g e n e t i ca l g o r i t h m s ) 一种新的最佳化空间搜索方法，它应用 算法的适应函数来决定搜索的方向，运用一些拟生物化的人工运算过程，如： 选择、复制、交配和突变等进行一代一代周而复始的演化，求得一个最佳结 果。它具有强固形与求值空间的独立性。强固形使问题的限制条件降到最低， 并大幅度提高系统的容错能力；而求值空问的独立性则使遗传算法的设计单一 化，且适用于多种不同性质、领域的问题。将遗传算法运用于数据挖掘，可以 开采出不同的信息，尤其是别人看不出的信息。 6 连机分析处理( o n l i n ea n a l y s i sp r o c e s s i n g ) 简称o l a p ，是基于大型数 据库或数据仓库的信息分析过程，是大型数据库或数据仓库的用户接口部分， 其目的是满足决策支持或多维环境特定的查询和报表要求。具有快速性、可分 析性、多维性、信息性和共享性等特点，它是跨部门，面向主题的。o l a p 不 同于传统的连机事物处理( o n l i n et r a n s a c t i o np r o c e s s i n g ，o l t p ) 的应用。o l t p 主要是用来完成客户的事务处理，如民航、车船的订票系统等，通常要进行大 量的更新操作，对响应时间要求也比较高。而o l a p 主要是对用户当前及历史 数据进行分析，辅助决策。其典型的应用有对银行信用卡风险的分析与预测 等，主要是进行大量的查询操作，对时间的要求不太严格。 7 粗糙集( r o u g hs e t s ) 它将知识理解为对数据的划分，每一被划分的集合 称为概念，主要思想是利用己知的知识库，将不精确或不确定的知识用已知的 知识库中的知识来近似刻画处理。 本文在模式数据挖掘中主要采用：分析方法和决策树。 2 3 3 基于行为模式分类的反垃圾邮件技术 行为模式理论和统计分析方法早已经被应用到垃圾邮件过滤中，但以往主 要是就邮件内容或者说文本所包含的字符串来进行统计分析和模式识别【2 0 ，2 。 本文提出的基于行为模式分类的反垃圾邮件技术则是在行为特征的基础上应用 它们，即行为模式识别。 垃圾邮件行为模式识别是完全不同其他邮件过滤技术或算法的技术，它利 用概率统计数学模型对大量垃圾邮件样本的各类行为相关因素进行统计分析， 哈尔滨理工大学t 学硕十学位论文 归纳出垃圾邮件发送的行为模式识别模型。行为相关因素主要是指邮件发送过 程中的各类行为要素，如时间、频度、发送i p 、协议声明特征、发送指纹等。 在统计分析中，在行为特征上，垃圾邮件与正常邮件具有极高的区分度，且不 论内容如何均相对为固有特征，特别是对大量的采用动态i p 发送的邮件更是 如此【2 2 1 。 邮件的发送要遵循标准的s m t p 协议和r f c 8 2 2 格式，有固定的模式。由 于s m t p 协议本身不对邮件发送者进行验证，所以发送不完全遵循标准格式和 协议的邮件也是被允许的，这就给垃圾邮件制造者以可乘之机。他们通过伪造 合法的服务器身份( 合法域) 、合法的发送人地址等手段来欺骗邮件服务器以 发送垃圾邮件。例如，垃圾邮件制造者可能伪造成用户账x w h 1 6 3 t o m ，同 时给数十个用户账号发送垃圾邮件，而由于垃圾邮件制造者多是通过字典动态 组合生成邮件地址集合，所以这数十个用户很可能根本不存在或不在用户账号 x w h 1 6 3 c o m 的地址薄列表罩。真正的用户是极不可能有这种行为的，这样 伪造者就暴露出了异常的邮件行为。这就说明垃圾邮件表现出的行为必然具有 区别于正常邮件的行为特征。我们就可以提取这些特征，从而建立垃圾邮件发 送行为特征库，然后进行基于行为识别的垃圾邮件过滤。目前垃圾邮件发送的 行为特征主要表现为以下一些方面【8 1 9 。1 0 ： 1 邮件匿名发件人、收件人、发件主机等信息刻意隐匿，使得无法追溯 其来源的行为。 2 关键域信息伪造发件人、收件人、发件主机等信息经过刻意伪造，经 查证不属实的行为。一般字典攻击表现出这一特征。 3 邮件群发异常利用僵尸病毒对受控帐号实施邮件群发行为，并利用旱 蠕虫病毒实现这一过程的不断繁殖。 4 邮件附件数量及含有附件邮件频率异常垃圾邮件利用附件来激活邮件 病毒，进而实施破坏和窃取活动。 5 内嵌图片频率异常垃圾邮件为躲避反垃圾系统的过滤( 因为目前的垃 圾邮件过滤系统绝大部分是基于文本的) ，将传播内容转换成图片格式。 6 邮件非法行为垃圾邮件发送者借用各地的多个开启了o p e nr e l a y 邮件 转发功能的邮件服务器来发送邮件的行为。 当然，以上所列并不完全的，在这罩引述只是为了提供一个对于垃圾邮件 行为特征比较直接的认识。近年来可以归为行为识别类的技术有以下几种： 分布协作指纹分析，它是从邮件中提取出可以代表内容的指纹数据一般是 利用加密哈希算法或检查和的算法来产生指纹特征，不同的内容会产生不同的 哈尔滨理t 人学t 学硕f j 学位论文 指纹。为了防止垃圾邮件发送者利用小的变化，比如大小写等，来躲避反垃圾 系统，一般还做模糊指纹，使相似内容的邮件产生相同的指纹。用这些指纹代 表邮件，全球的兼容用户会提交邮件或只提交垃圾邮件的指纹，从服务器得到 响应以知道