短信过滤方案.ppt

1、垃圾短信在转发器端运用云计算技术过滤的技术方案,一、垃圾短信产生原因及危害 二、现有垃圾短信过滤技术及其特点 三、云计算技术中MapReduce理论基础简介 四、文本挖掘与文本预处理 五、基于云计算的短信过滤器,一、垃圾短信产生原因及危害,垃圾短信产生原因 形成的主要原因有两点：首先短信的低成本特点为不法者获得利益提供了可能，再者法律监管上的欠缺也对其形成泛滥起到了推波助澜的作用。 (1)短信息低成本。网上散布的各种各样的短信群发器，只要稍微投资一点成本就可获得一个短信群发器，一般而言在网络不阻塞的情况每小时可以发送上万条。,(2)非法短信息群发者身份的隐蔽性。在中国境 内，不管是移动公司还是

2、联通公司，都没有强制实行sim卡实名制，加上短信息群发不受地域限制。导致从事非法短信息群发者身份难以识别。,垃圾短信危害 垃圾短信的危害性有很多，主要表现在以下几个方面： 1、侵犯手机用户的个人利益。垃圾短信不顾手机用户的反对，强制性地把短信发送到用户手机。用户每天除了为处理这些垃圾短信需要耗费一定的时间和精力外，还要提防掉进黑心SP设计的短信乱收费陷阱中去。,2、浪费网络资源。大量的垃圾短信占用了宝贵的网络资源，降低了整个网络的运行效率。影响SP行业的发展。用户面对着纷繁的垃圾短信收费陷阱已久，早就对SP这一行业不抱好感，这势必将造成SP行业的市场不断地缩窄。,3、扰乱社会秩序。垃圾短信为非

3、法行为提供了最安全、最廉价的业务推广方式，严重扰乱社会秩序。犯罪分子利用垃圾短信进行诈骗。短信已经成为一些不法之徒实施诈骗的载体。犯罪分子抓住被诈骗对象的心理，广发诱惑性短信，骗取其信任，套取钱款。垃圾短信对社会造成的危害已经不可再忽视了。,二、现有垃圾短信过滤技术及其特点,由于垃圾短信和垃圾邮件、网络病毒等短信具有一定的相似之处，因此现有的垃圾短信过滤技术在一定程度上借鉴了垃圾邮件处理的部分技术和过滤思想。其中，简单的技术方案有黑白名单技术、规则过滤技术、关键词过滤技术。,1、基于黑白名单过滤 黑名单(Black List)和白名单(White List)分别是已知的垃圾短信发送者和信任的发

4、送者的电话号码列表。“黑名单”的方法立足于排除，在黑名单的短信用户是被禁止发送任何短信。“白名单的方法是包含，它主要用来确认合法的短信来源，减少黑名单排除失误的情况。具体实现中是在白名单中的短信用户发送短信不受限制，默认发出的短信均为正常短信。,优势：简单高效，系统资源消耗小，易于实施 不足：需要手动维护名单列表(黑白名单)、黑名单技术还有可能会拒绝来自该号码发出的正常短信，从而造成短信不能正常发送，带给用户麻烦。 又由于垃圾短信发送者往往群发垃圾短信后，就丢弃使用过的号码，因此黑名单技术在垃圾短信的过滤方案中仅能起补充作用。,2、基于规则过滤 规则过滤技术主要是通过设定某种规则来判断当前短信

5、发送号码是否为垃圾短信，一般来说主要有流量规则，回复率规则，发送成功率规则等,流量规则：在规定的统计时长之内，限，就认为该用户可能在发送垃圾短信，用户发送短消息达到了设定发送频次上即在规定的时间段内收到来自同一个主叫号码的大量短信，就认为主叫号码有可能为一个可疑用户在发送垃圾短信。随着技术的进步，垃圾短信的发送者逐渐改变其技术和方式，例如购买多个手机号码并发发送，流量检测对其已经无能为力了。,回复率规则：当某一手机号对其他手机号码进行大规模的群发时，在规定的统计时长之内，只有少量或者没有回复时，就认为该用户可能在发送垃圾短信。可以采用PageRank原理，回复率越高垃圾短信的可能性就越低，排名

6、就越低。,发送成功率规则：一般来说垃圾短信发送者主要是对某个连续的号码段进行大规模的群发，发送成功率一般比较低。因此可以根据此号码的发送的成功率来判断。但是一些不法者与运营商进行勾结购买正在使用的手机号段，因此发送成功率规则来判断是否为垃圾短信的发生者显着越来越无能为力。但总的来说还是可以作为一个辅助手段。,3、基于关键词过滤 基于关键词的过滤技术，是通过建立一个敏感的词汇库，然后通过在收到信息内搜索关键字并计数，如果数目超过系统设定的阀值，则就认为是垃圾短信。基于关键字过滤技术的重点在于构建一个好的词汇库，词库的质量好坏直接过滤的准确性。,关键词过滤技术同样具有黑白明白所具有简单高效性。它致

7、命的缺点在于它的词库，它需要不断地更新词库以过滤新出现在的关键字，但即使是这样做了也不能保证过滤掉所有关键汇，比如有很多信息在信息中间加带许多符号、使用关键字的汉语拼音、套用错别字来逃避过滤，对于这些短信内容使得基于关键字的过滤技术根本起不了作用，因为根本无法建立相应的词汇。所以此种技术只能是起协助作用的方式来用。,基于以上过滤技术的局限性，所以现在对垃圾过滤技术研究主要集中在基于内容的过滤技术，此技术对垃圾短信的过滤准确性更高，更能有效阻止短信的转发。由于其是基于内容的，所以对转发器服务器计算能力的要求很高，于是我们想到云计算平台刚好可以满足我们的要求，提供无限的计算能力，并且是按需付费，费也是相对较低的，所以我们在转发器端通过利用云计算平台的计算能力来实现基于内容的过滤。,三、云计算技术中MapReduce理论基础简介,国内学者刘鹏这样定义云计算：云计算(Cloud Computing)是一种新兴的商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和各种软件服务。 云计算的特点：超大规模、安全可靠、按需服务、虚拟化、高可扩展性、低成本、便捷性,MapReduce从本质来说可以用一句话来概括，“任务切分和规约”，从其名称上就可以看出，它有两个动词