已阅读5页,还剩60页未读, 继续免费阅读
(通信与信息系统专业论文)用户端多媒体通信综合过滤方法研究.pdf.pdf 免费下载
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知,除了文中特别加以标注和致谢中所罗列的内容以外,论 文中不包含其他人已经发表或撰写过的研究成果,也不包含为获得北京邮电 大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对 本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处,本人承担一切相关责任。 本人签名:至益笙 日期: 竺! :i :! 鱼 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定, 即:研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学 校有权保留并向国家有关部门或机构送交论文的复印件和磁盘,允许学位论 文被查阅和借阅;学校可以公布学位论文的全部或部分内容,可以允许采用 影印、缩印或其它复制手段保存、汇编学位论文。( 保密的学位论文在解密后 遵守此规定) 保密论文注释:本学位论文属于保密在一年解密后适用本授权书。非保密论文 注释:本学位论文不属于保密范围,适用本授权书。 本人签名:塑笙 导师签名:i 生竺盟 日期:鲨坐:三:! ! 日期:乡厂翌:主:! 笪 、 p h 用户端多媒体通信综合过滤方法研究 摘要 伴随着通信技术的不断发展,互联网和移动通信越来越多的在互 相渗透与融合。终端的智能化发展,以及个人电脑的便携化发展,使 得通信的内容更加丰富,而通信的手段也更加多样。随着上网本和手 机智能终端的逐渐普及,以及新一代移动通信网络的发展,互联网通 信与移动通信之间的界限将越来越不明显。而随之而来的,更加丰富 的数据业务,更加多元化的多媒体通信,将会越来越多的出现在我们 工作生活的各种场合。因此,对于用户端多媒体通信综合过滤方法的 研究成为一种必要。 本文着眼于多媒体通信的特点,主要关注点在于多媒体信息和多 媒体实时通信等不同场景下的过滤技术,涉及信息过滤与通信请求过 滤。本文对基于内容的信息过滤技术进行了分析研究,并设计了基于 社会工程学的黑白名单过滤机制,以及适用于不同场景下的 c a p t c h a 质询内容。 基于内容的信息过滤包括图像信息过滤以及文本过滤,本文主要 对基于文本内容的过滤予以研究分析,根据邮件、短信等信息内容的 不同特点,本文提出了不同的过滤策略。 文中所设计的黑白名单过滤机制采用了社会工程学的思路,将用 户的信息及行为的研究作为黑白名单完善的机制。对于通信发起者主 i 要对号码归属地、用户行为两方面进行分析,对于用户本身则对号码 归属地、通信录号码归属地、通信记录等信息进行分析。最后结合分 析所得的结果制定相应的黑白名单机制。 本文对于质询内容的设计根据硬件条件及带宽资源采取了不同 的方法。对于条件较为有限的,设计了简单的结构化数字验证信息, 通过对于数字生成矩阵的分解来实现验证信息的分解;对于条件较好 的采取了相对复杂的结构化图片验证信息,该方案将采取图片区域划 分矩阵的分解和叠加来实现对于图片内容的干扰。 综合方法将依据安全级、通信场景等需求将三种模块做分工配 合,以实现用户端多媒体通信的综合过滤。 关键词多媒体通信综合过滤社会工程学黑白名单质询机制 i i c o r e h e n s i v ef 凹e 心g 姬t h o do na t e r m i n a lo fm u l t i m e d i ac 0 心仉n i c a t i o n a b s t r a c t w i t ht h ec o n t i n u o u sd e v e l o p m e n to fc o m m u n i c a t i o nt e c h n o l o g y , t h e i n t e r n e ta n dm o b i l ec o m m u n i c a t i o nb e c o m e sm o r ea n dm o r ep o p u l a r t h e r e f o r e ,s t u d yo nc o m p r e h e n s i v ef i l t e r i n gm e t h o d so nat e r m i n a lo f m u l t i m e d i ac o m m u n i c a t i o nc o m et ob e n e c e s s a r y t h i sa r t i c l ef o c u s e s o nt h ec h a r a c t e r i s t i c so fm u l t i m e d i a c o m m u n i c a t i o n s i nt h i s p a p e r , c o n t e n t b a s e d i n f o r m a t i o n f i l t e r i n g t e c h n i q u e sa r ea n a l y z e d ,b l a c ka n dw h i t el i s tf i l t e r i n gm e t h o db a s e do n s o c i a l e n g i n e e r i n g i s d e s i g n e d ,m e c h a n i s m ,a n d n o v e lc a p t c h a c o n t e n t so f q u e s t i o n sa r ed e s i g n e d c o n t e n t - b a s e di n f o r m a t i o n f i l t e r i n g i n c l u d e s i m a g e s a n dt e x t f i l t e r i n g ,t h i sp a p e rm a i n l yd or e s e a r c ho nt e x t b a s e dc o n t e n tf i l t e r i n g , a c c o r d i n gt oe - m a i l ,s m sa n do t h e ri n f o r m a t i o nc o n t e n to fd i f f e r e n t c h a r a c t e r i s t i c s ,t h i sp a p e rd i s c u s s e sd i f f e r e n tf i l t e r i n gm e t h o d s t h i s d e s i g l gb l a c ka n dw h i t ei s tf l i tl91 l a l sp a p e rd e s i g n su s i n gb l a c ka n dw h i t el i s tf l l t e r i n gm e t h o db a s e d o ns o c i a le n g i n e e r i n gi d e a s ,t h eu s e r si n f o r m a t i o ni s c o n s i d e r e d f o r i i i c o m m u n i c a t i o n st h em a i ni n i t i a t o ro ft h en u m b e ro fa t t r i b u t i o n ,t h et w o a s p e c t so fu s e rb e h a v i o ra n a l y s i s ,f o rt h eu s e ri t s e l ft ot h en u m b e ro f a t t r i b u t i o n ,t h ea d d r e s sb o o ko fa t t r i b u t i o n ,t h ec o r r e s p o n d e n c ea n do t h e r i n f o r m a t i o nf o ra n a l y s i s a t l a s t ,t h er e s u l t so fa n a l y s i st od e v e l o p a p p r o p r i a t em e c h a n i s m s f o rb l a c ka n dw h i t el i s t s d i f f e r e n tc o n t e n t so fc a p t c h a q u e s t i o na r ed e s i g n e da c c o r d i n gt o t h eh a r d w a r ea n db a n d w i d t hr e s o u r c e s f o rt h ec o n d i t i o n sa r el i m i t e d ,w e d e s i g n e das i m p l es t r u c t u r e dd i g i t a la u t h e n t i c a t i o ni n f o r m a t i o n ,t h r o u g h t h ed e c o m p o s i t i o no ft h em a t r i xf o rt h ed i g i t a lg e n e r a t i o nt oa c h i e v et h e v e r i f i c a t i o no fi n f o r m a t i o nd e c o m p o s i t i o n ;f o rb e t t e rc o n d i t i o n st ot a k ea c o m p l e xs t r u c t u r eo fi m a g ea u t h e n t i c a t i o ni n f o r m a t i o n ,u s i n g p h o t o z o n i n gm a t r i xd e c o m p o s i t i o na n ds u p e r p o s i t i o nt oa c h i e v et h ei m a g e c o n t e n tf o rt h ei n t e r f e r e n c e i n t e g r a t e da p p r o a c hw i l l b ed e s i g n e db a s i n go ns e c u r i t y l e v e l , c o m m u n i c a t i o n ss c e n a r i o ss u c ha sd e m a n d sf o rd i v i s i o no fw o r kt od o w i t ht h et h r e em o d u l e si no r d e rt oa c h i e v ec o m p r e h e n s i v ef i l t e r i n g m e t h o do nat e r m i n a lo fm u l t i m e d i ac o m m u n i c a t i o n k e y w o r d - c o m p r e h e n s i v ef i l t e r i n gm e t h o d o nat e r m i n a lo f m u l t i m e d i ac o m m u n i c a t i o ns o c i a le n g i n e e r i n gb l a c k w h i t el i s t c a p t c h a i v 目录 第一章绪论一1 1 1研究背景及意义l 1 2论文结构4 第二章基于内容的信息过滤技术5 2 1 引。言5 2 2 基于文本内容的机器过滤学习法5 2 2 1 基于规则的机器学习法6 2 2 2 基于概率的机器学习法6 2 3 垃圾邮件过滤技术研究和分析7 2 3 1 垃圾邮件概述7 2 3 2 垃圾邮件过滤技术8 2 3 3 反垃圾邮件方案重要性能9 2 4 手机短信过滤技术1o 第三章基于社会工程学的黑白名单过滤技术1 4 3 1 引言;1 4 3 2 黑白名单技术1 4 3 3 基于社会工程学的用户信息分析1 6 3 3 1 社会工程学攻击的物理手段1 6 3 3 2 社会工程学在用户信息分析中的应用l8 3 4 用户信息分析在黑名单机制中的应用1 9 第四章基于c a p t c h a 的质询一回应过滤技术2 l 4 1 引一言2l 4 2c a p t c h a 技术2 2 4 2 1 图灵测试2 2 4 2 2 人类视觉特点:2 4 4 2 3 常用的c a p t c h a 2 5 4 3 数字图像信息识别与匹配2 6 4 3 1 数字图像2 6 4 3 2 图像特征2 8 4 3 3 图像匹配3 3 4 4 验证信息结构化c a p t c h a 3 5 4 4 1 结构化数字显示的验证内容设计3 6 v 4 4 2 结构化图像显示的验证内容设计3 7 第五章用户端多媒体通信综合过滤方法4 0 5 1 引言4 0 5 2 总体框架设计思路4 l 5 3 各个模块设计思路4 4 5 3 1 内容过滤模块工作流程4 4 5 3 2 基于社会工程学的黑白名单工作流程4 5 5 3 3 质询响应模块工作流程4 7 5 4 小结4 8 第六章总结与展望4 9 6 1 总结4 9 6 2 展望5 0 参考文献5l 致谢5 4 攻读学位期间发表学术论文目录5 5 v i 一 , 1 1 研究背景及意义 第一章绪论 伴随着通信技术的不断发展,通信与信息化已经逐渐渗透到了人们生活的各 个角落,变成了人们生活中不可缺少的一个部分。于此同时,互联网和移动通信 作为通信与信息化中的两个重要的角色,也越来越多的在互相渗透与融合。移动 通信终端的智能化发展,以及个人电脑的便携化发展,使得通信的内容更加丰富, 而通信的手段也更加便捷。随着上网本和手机智能终端的逐渐普及,以及新一代 移动通信网络的发展,互联网通信与移动通信之间的界限将越来越不明显。而随 之而来的,更加丰富的数据业务,更加多元化的多媒体通信,将会越来越多的出 现在我们工作生活的各种场合。 多媒体通信【l j 是指在一次呼叫过程中能同时提供多种媒体信息声音、图像、 图形、数据、文本等的新型通信方式。和电话、电报、传真、计算机通信等传统 的单一媒体通信方式比较,利用多媒体通信,相隔万里的用户不仅能声像图文并 茂地交流信息,分布在不同地点的多媒体信息,还能步调一致地作为一个完整的 信息呈现在用户面前,而且用户对通信全过程具有完备的交互控制能力。多媒体 通信的应用范围十分广泛。其业务类型包括会话型、电子信函型、检索型、分配 型等等,而移动通信和移动互联网通信中更多的会使用到会话型通信以及电子邮 件型通信,也就是我们经常提到的视频通话以及多媒体邮件。所以在多媒体通信 中,除了收到广告或者欺诈信息之外,还可能遇到新的风险,比如泄露通话人所 处环境以及其他个人信息,所以研究针对多媒体通信的过滤方法变得有必要。 通信中过滤系统通常采用信息过滤系统和防火墙的思路。信息过滤系统【2 】 通常是指对信息模块内容实现自动过滤处理,发现有谩骂、诽谤、等非法言论和 问句进行实现自动过滤。信息过滤是反垃圾邮件技术研究中的一个热点,已经有 了较为成熟的发展并有较为广泛的商业应用,同时其思路适合被用于多媒体通信 中的信息过滤。传统的防火墙指的是一个由软件和硬件设备组合而成、在内部网 和外部网之间、专用网与公共网之间的界面上构造的保护屏障是一种获取安全 性方法的形象说法,它是一种计算机硬件和软件的结合,使内外部网络之间建立 起一个安全网关,从而保护内部网免受非法用户的侵入,通常的计算机网络防火 墙主要由服务访问规则、验证工具、包过滤和应用网关等若干部分组成。而防火 墙技术的思路除了在反垃圾邮件技术中得到应用之外,也在手机防火墙中被广泛 j 匕鏖整血厶堂堂僮论塞笈二童结i 金 使用,尤其是其中的黑白名单设置等功能,因为规则制定具有简便直观的特点, 也适用于多媒体通信中实时通信场景下的通信过滤。 s p a m h a u s 图1 - 1s p a m h a u s 的网站 多媒体通信可以简单的划分为静态内容和实时通信两种。其中电子邮件以及 短信等形式属于静态内容。电子邮件的历史由来已久,伴随着电子邮件的发展, 反垃圾邮件技术也得到了广泛的研究和应用。常见的反垃圾邮件技术有邮件发送 认证、黑白名单、邮件特征过滤、关键字过滤等。一些反垃圾邮件组织在对反垃 圾邮件的斗争中起着积极的作用。它们不但在制订行业自律规范、推进反垃圾邮 件立法进程上不断努力,而且也为反垃圾邮件的研究以及用户避免垃圾邮件方法 作着积极的贡献。国外主要的反垃圾邮件组织有s p a m h a u s 、m a p s 、n j a b l 、c a u c e 、 a p c a u c e 、s p a m c o p 等。短信作为一种深入人们生活的通信方式,也得到了广 告投递者的青睐,同时便利性也使得一些非法信息也借助其广为流传,短信过滤 因此而受到专家学者以及监管机构的重视。短信过滤和垃圾邮件过滤有着相似之 处,有很多论文将垃圾邮件过滤方法移植到了短信过滤上。但是由于短信接收终 端通常为硬件相对受限的手机,在反垃圾邮件过滤中的常用的概率统计等方法在 短信过滤中并不适用,而现实中通常采用关键词一类的静态过滤方法。在多媒体 通信中,实时通信将包括同步的视频通信和音频通信,这与传统的通信方式相比, 用户体验将更加丰富,同时用户也会暴露较多的个人信息。所以多媒体实时通信 需要更为严密的安全保护。在传统的实时通信中,黑白名单技术以及质询回应 技术是两种较为常用的手段,其中黑白名单技术因为其较低的成本和易用性被广 泛使用,而质询回应技术则需要加入额外的成本,不能经常被用户所采用。多媒 体通信中数据传输的成本会有一定程度的降低,所以质询回应技术作为一种相对 有效的保障手段,也具有了一定的实用价值。 本论文论述了作者硕士研究生期间主要的研究方向,分析了该研究领域目前 研究的状况以及在新的通信技术发展条件下的新需求,提出相应的改进,并对提出 综合性的过滤方法。本文的研究对象是用户端多媒体通信综合过滤方法问题,内 容包括基于内容的信息过滤、基于社会工程学的黑白名单过滤、基于c a p t c h a 2 一 , j 匕廛鲣血厶堂堂位论塞 笈二童络i 金 的质询一回应过滤、用户端多媒体通信综合过滤方法。论文预期目标包括三个方 面:对已有通信过滤的方法进行分析研究,描述构建通信场景,提出用户端多媒 体通信综合过滤方法。 本文所作的工作主要有以下几方面: 1 基于内容的信息过滤技术研究。本文基于内容的信息过滤研究主要是针 对文本内容,按照业务种类划分为垃圾邮件过滤和手机短信过滤。其中 垃圾邮件具有文本长度较长,单一样本信息量大的、等特点,通常的概 率统计方法都能够取得较好的效果;而手机短信的文本长度相对较短, 特征向量稀疏,单一样本信息量较少的特点,适于采用静态过滤和概率 统计相结合的过滤方法。 2 基于社会工程学的黑白名单过滤技术研究。文中将社会工程学应用于黑 白名单机制中,对通信发起方信息和通信接收方的用户信息进行分析, 设计了相应的黑白名单自动完善机制:a ) 对用户发起通信成功概率较高, 并且用户没有自行添加其至黑名单的,加入白名单;b ) 对用户电话簿 中的号码所在地进行分析,对于相对集中的地区的号码,如果用户没有 自行添加其至黑名单的,加入白名单;c ) 对于用户通话成功率比较高的 地区的号码段,并且用户没有自行添加其至黑名单的,加入白名单;d ) 对于用户通话成功率比较低的地区的号码段,以及每次主动呼叫振铃时 间极短的号码,在用户没有自行添加其至白名单的,添加至黑名单;e ) 对于用户注册所在地一定距离范围内的地区的号码段,在用户没有自行 添加其为黑白名单时,在通信结束后提示用户进行白名单添加;d 对于 用户注册所在地一定距离范围之外的地区号码段,在用户没有自行添加 黑白名单时,在通信开始之前提示可疑;曲对于已经添加至黑名单或者 白名单的号码,其发送信息内容不再作为黑白名单完善的依据。 3 基于c a p t c h a 的质询一回应过滤。质询信息内容的设置主要考虑移动 终端和个人电脑终端多媒体通信两种场景:对于移动终端场景所需要考 虑的问题有:a ) 硬件以及网络速度的限制:b ) 通信成本的限制;c ) 操作 复杂度的限制。对于个人电脑终端所需要考虑的问题有:a ) 计算机的硬 件条件强于移动终端,故质询内容需要更加复杂;b ) 个人电脑终端通常 放置场所相对固定,更容易造成用户所处环境信息的泄露。对于移动终 端,采用了通常的字符验证码,采用了非实时绘制字符验证,将字符进 行了结构化,并生成短小的循环动画图片,增加了破解难度,同时尽可 能的降低了发送该类质询消息的成本;对于个人电脑终端,采用了将图 片结构化的思路,生成短小的循环动画图片,降低了验证信息播放的时 间开销。 j 匕塞唑皿厶堂堂鱼途塞箜= 童缝途 4 用户端多媒体通信综合过滤方法。根据以上三个方面的研究,用户端多 媒体通信过滤方法将以上三种技术模块化并且相互配合,实现在不同安 全级以及场景下的组合与定制,达到较为理想的通信安全过滤效果。 1 2 论文结构 论文共分6 章,各章内容安排如下: 第一章绪论。首先概要介绍了研究的背景、多媒体通信信息过滤的含义、 研究现状及意义;然后介绍了本论文的研究对象、预期目标以及主要完成的工作。 第二章基于内容的信息过滤。基于内容的信息过滤是通信中信息过滤的重 要手段。本章给出了基于内容的信息过滤定义,并且对其中所采用的经典算法进 行了介绍和分析。 第三章基于社会工程学的黑白名单过滤。本章给出黑白名单的定义,并且 对其原理以及应用进行介绍和分析,通过结合不同终端的特点得出适用于不同场 景的黑白名单策略,并对基于社会工程学的黑白名单策略进行阐述。 第四章基于c a p t c h a 的质询一回应过滤技术。质询机制属于验证方法的 一种,其经常采用自动人机识别技术。本章将介绍自动人机识别技术的广泛应用, 并且寻找适合于不同终端的自动人机识别技术作为质询机制的选择,最终设计适 用于多媒体通信的质询内容。 第五章用户端多媒体通信综合过滤方法。经过对于上述三种手段的分析和改 进,得到综合性的评价结果。 第六章总结与展望。总结本文工作,结合作者的研究心得,对未来的工作 进行展望。 2 1 引言 第二章基于内容的信息过滤技术 基于内容的信息过滤技术是信息过滤的一种重要的技术手段,从过滤内容上 面来讲,主要分为针对文本内容以及其他多媒体内容的过滤;而从过滤的形式上 讲,主要是针对邮件和短信等。 电子邮件作为一种简单快捷的工具,早已经在人们的生活中扮演着重要的角 色。相对应的,垃圾邮件也因为其较为低廉的价格以及发送的隐蔽性和便利性而 被大量的制造出来。最早的垃圾邮件产生距现在已经有几十年,其间专家学者对 于反垃圾邮件的研究也未曾停止过。对于基于文本的垃圾邮件过滤,已经有较为 成熟的过滤方案,并被广泛的商用;而对于图像的过滤,鉴于其较为高昂的成本, 还没有大范围使用的过滤方法。 针对内容的手机垃圾短信过滤方法是基于文本分类技术的,同垃圾邮件分类 一样依据内容把短信分为正常短信和垃圾短信,判定为垃圾短信则做出反馈。由 于通常情况下短信长度相对较小,携带的信息相对较少,所以垃圾短信过滤与垃 圾邮件过滤有所不同,是一种短文本分类问题。其特征空间的维数较大且特征向 量稀疏,所以有必要研究一种适合垃圾短信过滤的分类方法。 作为文本内容过滤的一个重要应用方面,垃圾邮件过滤技术研究方面已经有 前人的很多成果,也相对较为丰富和成熟;相对应的,移动终端特别是手机终端 的内容过滤,因为其具有实时性要求高、硬件配置相对较低、文本特征向量稀疏 等特点,所以在移动终端的信息过滤技术也有其新的特点;除文本以外的多媒体 信息过滤,在垃圾邮件过滤技术中已经有所涉及,但由于其较大的资源开销以及 实时过滤的实现较为困难,仍然没有十分成熟的过滤方法出现。 2 2 基于文本内容的机器过滤学习法 针对文本内容过滤的机器学习法通常可以划分为两类,即基于规则的机器学 习法和基于概率统计的机器学习法【l 】【8 1 。其中基于规则的机器学习法经过训练可 以得到显式规则,其规则相对直观而易于理解;而相对应的,基于概率统计的机 器学习法可以被称为“隐式”规则的学习法,经过训练并不能够得到较为直观的 规则,但是在实用中却往往可以取得较好的效果。 5 2 2 1 基于规则的机器学习法 基于规则的方法基于规则的方法通过训练得到显式规则。规则方法学习的过 程实际上是归纳总结的过程,通过考查一个个的训练样本,归纳总结出其中规律 性的东西来形成规则。规则方法的主要优点是可以生成人类理解的规则。缺点是 在规律性不明显的应用领域效果较差。 r i p p e r 和w i l l i a mw c o h e n 3 】提出的基于规则的方法比传统的规则方法速度 快、性能高。c o h e n 4 】的实验表明r i p p e r 方法和决策树方法c 4 5 的正确率相当, 但效率更高。 d e c i s i o nt r e e 方法决策树是著名的规则方法之一。通过按照某种属性的顺序 自顶向下地生成一棵树,树的每个节点是属性名,而每条边是属性值。从树根到 树叶的每一条路径都对应着某条规则。著名的决策树算法有i d 3 、c 4 5 等。 c a r r e r a s 5 】使用决策树来过滤垃圾邮件。决策树方法相对来说效果较为一般。 b o o s t i n g 是一种在已有学习方法基础上的进行“投票”的技术,该技术通过对 已有的分类器( 称为弱规则或弱假设) 进行加权求和得到最终的分类器。b o o s t i n g 通过提取弱规则的错误而逐渐组合成强规则,是一种通过错误来驱动的方法。 a d a b o o s t 是b o o s t i n g 方法中最常用的一种。c a r r e r a s 和n i c h o l a s 将a d a b o o s t 引 入到垃圾邮件过滤并获得了很高的性能。c a n e r a s 的方法中还考察了不同深度决 策树作为弱学习器下的过滤性能,并得到随着深度的增加过滤的正确率将变高的 结果。与此相类似的,d e s o u z a 6 】使用了决策树方法作为弱学习器在l i n g s p a m 语 料上进行垃圾邮件过滤的两组实验,一组是采用一层的决策树进行多遍b o o s t i n g 循环,另一组是采用完全的决策树进行少量b o o s t i n g 循环。并在两组情况下都 能取得很高的精确率。a n d r o u t s o p o u l o s 7 1 在实验中引入l o g i t b o o s t ,其弱学习器 采用了对数回归方法,学习到的是实数值而不是分类结果,最后通过一个阈值来 实现分类。l o g i t b o o s t 在p u l 上的结果不如a d a b o o s t 。b o o s t i n g 训练速度较慢。 粗糙集( r o u g h s e t s ) 方法r o u g h s e t s 理论是由p a w l a k 于上世纪8 0 年代提出的 一种研究不完整、不确定知识和数据的表达、学习、归纳的理论方法。r o u g h s e t s 的研究对象是一个多值属性集合描述的向量集合。它通过集合的等价关系操作来 确定属于给定类的最大对象集合和可能属于给定类的最小对象集合。r o u g h s e t s 通常经过属性和属性值约简来实现分类规则的简化。 2 2 2 基于概率的机器学习法 k n n 方法是最常用的基于实例的方法。k n n 不需要有训练过程,分类时直 接将待分类文本与训练集合中的每个文本进行比较,然后根据最相似的k 篇文本 得到新文本的类别。在文本分类中,k n n 常常能够取得较好的结果。但是k n n 6 j 毫鲤! 乜厶堂堂位论塞 箜当空基内在的篮怠过选拉盔 方法的速度比较慢,不太适用于对分类速度要求较高的垃圾邮件及短信过滤场 合。a n d r o u t s o p o u l o s 设计了一种类k n n 方法,该方法使用k 组最近的距离而不是 k 个最近的样本来计算,实验表明,k n n 在k 比较小的情况性能较好,和 n a i v e b a y e s 的结果性能相当。 w i n n o w 方法是一种线性分类器。它训练的目的是为了找到某个类所有特征 的权重向量w = f n 是特征数) 和阈值o ,对于新文本 x = ,若两者的内积w t x 0 ,则判定属于该类别。b a l a n c e dw i n n o w 算法是w i n n o w 算法的一种,它和普通w i n n o w 算法的不同在于引入了两个权重 向量w + 和w - ,训练时通过同时变化、+ 和w - 来达到更新权值的目的。潘文锋【8 】将 b a l a n c e dw i n n o w 算法引入到垃圾邮件过滤,在应用时使用了固定的阈值h ,它的 大小是每篇训练文本所含的平均特征数,而初始的、+ 和w 分别取全2 向量和全 l 向量。作为一种在线( o n l i n e ) 学习方法的w i n n o w ,在训练集合不断扩大的情况 下能够快速对分类器进行更新。 b a y e s 方法是通过计算文本d 属于每个类别c i ( i = l ,2 ,m ,m 为类别个数) 的 概率p ( c i l d ) ,并将它们排序取其最大值来得到d 所属的类别。根据b a y e s 公式, 最后归结于求每个类别的概率p ( c i ) 和从类别c i 生成文本d 的概率p ( d l c i ) 。这两 个概率通常是通过训练语料得到。n a i v e b a y e s 3 】是b a y e s 方法中使用最广泛的一 种。在这种方法中,假设d 由互相独立的多个特征w j ( j = l ,2 ,n ,n 是d 中不同 特征数) 生成,于是p ( d l c i ) l 扫可以归结成求p ( w j i c i ) 。n a i v e b a y e s 方法在文本分 类中被广泛应用。s a h a m i 将n a i v e b a y e s 方法引入到垃圾邮件过滤进行实验。 s a h a m i 采用自己收集的邮件作为实验数据。并使用了词组特征和其他属性特征。 实验结果表明其他属性特征能够极大地提高过滤结果。s a h a m i 还将垃圾邮件细 分为色情和非色情邮件、合法邮件三类,实验结果表明将垃圾邮件判别看成三 类问题降低了效果。a n d r o u t s o p o u l o s 也利用n a i v e b a y e s 方法来判别垃圾邮件, 并在公开语料l i n g - s p a m 进行实验,他的实验特别考查了不同文本预处理形式对 过滤结果的影响,结果发现对原始文本除去停用词和进行词汇还原能够提升效 果。不少学者还使用了其他的b a y e s 模型。a n d r o u t s o p o u l o s 使用了一种f l e x i b l e b a y e s 模型,该模型采用了独立性假设并对概率的估计使用了高斯分布模型。 2 3 垃圾邮件过滤技术研究和分析 2 3 1 垃圾邮件概述 对于垃圾邮件,不同机构组织有着不同的定义。著名的反垃圾邮件组织 s p a m h a u s 将垃圾邮件定义为具有以下两种特征的邮件:用户并未比提出要求或 7 j 生廛唑! 丝厶堂堂丝迨i 文箍三童基内在的位皇过洼垫盔 者同意接收;邮件副本短时间内被大量发送至一个或者多个用户。而中国互联网 协会则对垃圾邮件的内容特征做了如下的归纳:收件人事先没有提出要求或同意 接收的广告、刊物及各种宣传性的电子邮件;收件人无法拒收的邮件;发件人的 身份相关信息被隐藏的邮件:含有虚假发件人信息的邮件。 1 9 9 6 年s p a mb l o c k 的方法被提出,通过工具来过滤邮件地址。相对应过滤 垃圾邮件技术的发展,垃圾邮件发送者们开始采取比如伪造信头中的发件人,域 名,邮件地址的方法,但并不能通过i p 地址的过滤。1 9 9 7 年3 月,o p e nr e l a y 进入了他们的视线,这是当时解决i n t e r n e t 邮件路由的一种很好的方法,但是存 在着被非法利用的安全漏洞。商业垃圾邮件就开始利用别人的邮件服务器使用转 发的办法来发送垃圾邮件。 人们已经越来越多的意识到控制i n t e r n e t 上垃圾邮件的重要性,世界各地成 立了很多组织来反垃圾邮件,如m a p s ,o r b s ,s p a m c o r p ,j u n c k e m a i l o r g 等, 从技术上和法律上不断努力着。垃圾邮件跟踪机构s p a m h a u s 日前评出的年度垃 圾邮件最多的国家,结果美国排名首位,而中国位居第二。据s p a m h a u s 数据显 示,美国是全球垃圾邮件最多的国家,已发现的垃圾邮件形式多达1 9 8 5 种。而 中国位居第二,已发现的垃圾邮件形式为3 0 5 种。此外,日本排名第三,俄罗斯 位居第四,加拿大排名第五,韩国位居第六,英国排名第七。从服务供应商( i s p ) 的角度将,v e r i z o n b u s i n e s s t o m 排名首位,s e r v e r f l o c ,o m 位居第二,s b c c o m 排名 第三,x o t o m 位居第四,而p r o x a d n e t 排名第五。 2 3 2 垃圾邮件过滤技术 垃圾邮件过滤的客户端的技术分为内容过滤技术和黑名单技术【9 1 。 一封电子邮件里面会包含邮件头、发信人、收信人、邮件主题、正文内容等 部分,不少邮件还带有附件,而客户端软件可以跟据上述五个组成部分对该邮件 进行组合判定。客户端软件可对最先接收到的邮件头进行鉴别,这些邮件头所包 含的是邮件投递过程中所涉及的原始信息,而这些原始信息往往都具有共同的特 征,例如i p 地址、主机名等,客户端软件将这些信息同自己预存的垃圾邮件头 信息进行比较。接下来,客户端软件还会对发件人的地址进行检查,如果该地址 已经被用户事先加入拒收名单,那么这个发件人发来的所有邮件都会被当作垃圾 邮件处理。在检查完上述信息后,客户端软件将检查的目标对准邮件主题和邮件 内容。 黑名单技术与垃圾邮件过滤原理j 下好相反。目前,许多邮件客户端也都提供 这项技术,用户可以将那些可信任的发件人加入白名单中,该表内的发件人发送 的邮件就可抵达你的邮箱,如果发件人不在白名单内,则可能被判断为垃圾邮件。 反垃圾邮件的技术方案,一般有三种类型的解决方梨1 0 】。 8 j 匕塞噬! 乜厶堂堂位论塞 蓥空基壬内在的篮息过遗拉丕 第一种是初级的用户级客户端方案。客户端方案不仅包含这些黑白名单功 能,也包括像实时r b l 、指纹检查、信任网络、甚至包含内容过滤等技术,仍 然是专业级别的反垃圾邮件防方案。这种方案在5 0 人以下应用环境时具有很好 的经济价值,在超过5 0 人的应用环境下,这种方案就没有其他的方案更具竞争 力。 第二类技术方案是反垃圾邮件网关方案。这种方案是目前应用最广泛最简便 的企业级反垃圾邮件方案。这种方案是各种反垃圾邮件技术综合到一台设备或者 软件系统当中去,放在邮件服务器的前端,对进出邮件系统的所有邮件进行过滤、 审查,对违反规则或者具有明显垃圾邮件特征的邮件予以处置。网关型的反垃圾 邮件方案,其形态可以是专用硬件产品,也可能是软件形式。网关方案作为最主 要的企业级反垃圾邮件方案,因各商业和研究机构的技术路线不同,主要有3 种:( 1 ) 基于经验规则和内容检查技术的技术路线。这类反垃圾邮件网关,以内 容检查为主,主要的检查手段包括关键字过滤、贝叶斯过滤、基于规则的评分系 统、邮件指纹检查、黑白名单技术、速率控制等等。需要的是提取样本、提取内 容特征等信息,来检查与过滤垃圾邮件。( 2 ) 智能行为识别技术路线。这类技术 通过总结和分析垃圾邮件发送者的各种共性行为,比如用客户端群发软件发送、 高频率发送、d n s 伪装、i p 欺骗等等方法,解析出这些“垃圾行为”的特征并形 成规则,用这写规则来判别一封邮件是否合法。这类技术,同时包括了众多的邮 件合规性认证机制;同时也包含了部分杀病毒等内容层技术。这类技术针对的是 大规模的、以群发为特征的垃圾邮件,而针对单个、无规律的、甚至是合法来源 发送非法内容的邮件,没有很好的解决方案。( 3 ) 混合模式路线。这种技术路线 强调过程化处理技术,利用过程化处理技术整合各种反垃圾邮件技术,既包括基 于协议分析的智能行为识别,也包括基于规则与内容检查的模式对比路线。 第三类是a s p 反垃圾邮件服务方案。这种方案主要针对用户数量少于5 0 0 人的中小企业环境。反垃圾邮件服务提供商首先建立一个反垃圾邮件服务中心, 这个中心的系统拥有同时向多域、多服务器提供反垃圾服务的能力。用户在购买 了反垃圾邮件服务后,将自己邮件地址的m x 记录指向该服务中心,该服务中 心同时添加该用户域名,这样用户的邮件在到达用户的邮件系统前,首先达到 a s p 反垃圾邮件服务中心进行过滤检查,达到净化垃圾的目的。目前为止,国内 还没有实际投入运营的反垃圾邮件a s p 出现。 2 3 3 反垃圾邮件方案重要性能 用户在选择反垃圾邮件方案是一般都会考虑以下几个因素: 1 经济性。个人用户和数量比较少的企业,可以选择采用专业客户端或者 a s p 反垃圾邮件服务的解决方案,既节省投资也具有同样的反垃圾效 9 j 垦盛唑! 也厶堂堂僮途塞蓥三重基士囱查曲位息过邃篮苤 果。 2 反垃圾系统的反垃圾效果。对反垃圾系统效果的评价一般包括垃圾邮件 识别率、漏报率,同时更需要关注垃圾邮件误报率,特别是将正常邮件 判别为垃圾邮件的误报问题,这是反垃圾邮件系统的关键的参考因素。 用户可以容忍收到垃圾邮件,不能忍受合法邮件被错误的判定为垃圾邮 件。 3 注重系统的整体性能。反垃圾邮件产品,性能影响着业务的正常进展以 及邮件收发效率。 4 管理简便与灵活性。原则是减少网管人员和用户的工作量,同时又给予 网管和用户最大限度的个性化需求。如每个用户都应该拥有自己的个性 化黑白名单、自己个性化的关键字过滤策略等等,以使得反垃圾邮件系 统更具有针对性和效率。 2 4 手机短信过滤技术 基于内容的手机短信过滤技术通常可以简单的分为静态过滤和智能过滤两 种。 l 静态过滤 静态过滤是目前短信过滤中所普遍采用的方法,具有较高的易用性和较低的 成本。静态过滤的思路即通常所称的关键字过滤,通常使用关键字过滤列表作为 过滤依据。通过在短信文本内查找列表中关键字来判定短信是否合法,如果没有 在文本中找到关键字,则判定为合法短信;如果在文本中找到非法关键字则判定 为非法短信。这种过滤的优点是时间和硬件开销都很小,适合客户端过滤,也适 用于服务器端的监控;缺点是列表需要进行人工维护,而且由于缺乏分词过程, 会导致语义单元划分不当,尤其不适用于中文短信过滤,会因为相邻语义单元的 错误截断而造成误判。 2 智能过滤 基于文本内容的手机垃圾短信的智能过滤问题,其实质也是文本分类问题 i i l 】。由于每条短信所包含的文字量短小,构成了短文本信息分类问题,与其它文 本分类问题相比,使其在技术上难度更大。由于支持向量机方法在解决小样本问 题以及非线性问题和高维问题上有着良好的表现,能够有效地克服了机器学习中 的过学习和欠学习问题,而且学习精度较高、学习结果具备良好的泛化能力和良 好的鲁棒性等优势,所以支持向量机方法被较多的用于手机短信过滤研究。 1 0 图2 - 1支持向量机模型 支持向量机与神经网络类似
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 初中八年级物理跨学科实践教学设计:基于核心素养的“飞天科幻故事”创作指导
- 高三历史开放探究型非选择题解题技法教学设计
- 高三英语一轮复习教学设计-北师大版必修一Unit 1 Life Choices单元整合复习
- 小学三年级英语词汇专项训练教学设计:基于湘少版新教材的语境化建构与迁移实践
- 高三物理“带电粒子在立体空间的运动”专题复习教学设计
- 八年级物理上册“运动的描述”教学设计
- 高二英语选择性必修第四册Unit 12核心知识整合迁移复习教学设计
- 初中七年级数学《截一个几何体-切割木料情境》教学设计
- 高一劳动技术教学设计:穗状狐尾藻的辨识采集与药用价值探究
- 小学六年级劳动课《储藏大白菜》教学设计
- 北京科技大学辅导员招录考试真题与答案2026
- 2026年环保中级工程师模拟试题(含答案)
- 2026-2030年中国出租车行业发展趋势及发展前景研究报告
- 2023年自考03709马克思主义基本原理概论重点笔记
- 2027届高三语文10月名校模拟试题汇编之修改病句题(学生版+教师版)
- 2026中国新能源汽车保险产品创新及理赔风险控制与大数据定价模型报告
- 耳鼻喉科临床诊疗指南(2025版)
- 2026年中国电信笔试题库
- 小学四年级英语沪教牛津版上册期末综合复习教案
- (2026年)米格列醇与阿卡波糖比较分析课件
- 青海盐湖集团2026笔试历年真题及模拟卷完整答案
评论
0/150
提交评论