《基于云计算的短信垃圾过滤系统研究【5200字】》

基于云计算的短信垃圾过滤系统研究目录TOC\o"1-3"\h\u145901kNN算法 2245312云计算概述 2118442.1云计算的定义 2101932.2云计算特点 2172723短信垃圾过滤系统 3293883.1手机系统设计 3195573.2云端系统架构 3321383.3亟待完成工作 446683.4MapReduce技术 5301973.5k条短信选取规则 6222253.6分类计算规则 6317044实验与结果分析评价 6130274.1实验数据 6257444.2实验环境的搭建 6121754.3实验结果 7166904.4实验过程及分析 7154455结束语 725335参考文献 7手机普及率的提高和短信通信费的低廉，使得手机用户经常收到诸如广告、不良链接、诈骗等形形色色的垃圾短信，给生活带来了诸多不便．垃圾短信的治理已经得到国家和社会的支持，并成立了各种模型的垃圾短信举报中心，据12321调查统计，2012年下半年用户平均每周收到垃圾短信数量为1O．7条．本文利用计算机技术中的文本分类算法实现短信分类，当前的垃圾短信过滤技术多数在客户端实施，由于客户端移动设备处理能力有限，客户对短信的实时性要求高，如何高效、快速的分类短信，是课题研究的重点．云计算技术_2是近年来发展较快的计算机综合技术之一，它将大量的处理任务放在云端，降低客户端成本．笔者已经在单机上使用kNN算法实现短信分类，使得分类的最高识别率达到9O以上，由于kNN算法需进行大量的比较运算，在单机运行时，单位时间内的处理速度较慢，本文采用云计算技术，将短信的分类识别放在云端，以提高处理速度和减少客户端的运行成本，取得了较好的效果，当比较库数量为9000条短信、云端计算机为5台时，每秒可处理短信数600条，是单机处理的4倍，平均识别率达到85以上．1kNN算法k近邻算法应用在短信分类时的算法思路：有条已标识类别的短信样本(比对库)，1条待测类别的短信样本，先计算待测样本与比对库中”条短信的相似度，再根据选取规则从比对库中挑出k条相似度最高的短信样本，最后根据分类计算规则确定待测短信的类别．忌NN算法分类短信的基本步骤如下：1)从短信集中提取所有特征项集合(特征集)，特征集中包含特征项名、词频和所属类别信息；2)将比对库短信进行预处理，并根据特征集将短信表示成可计算的样式；3)将待测短信进行预处理，根据特征集将待测短信表示成可计算的样式，并计算其与比对库中条短信的相似度，选出k条并确定其类别。2云计算概述2.1云计算的定义云计算(CloudComputing)是一种在分布式、并行和网格计算等技术基础上发展而来的新型计算模式口]，自2007年提出概念后，各种基于云计算的产品应运而生．云计算的定义有广义和狭义之分，笔者综合考量，认为所有外部可使用的、透明的资源和服务均可视为云计算．2.2云计算特点云计算以动态的服务计算为主要技术特征，以灵活的“服务合约”为核心商业特征，是信息技术领域正在发生的重大变革。在短信的概念视图中，每条短信看似由行组成，但实际存储是按列保存的，概念视图中的空值属性在实际存储时会被忽略，当请求操作空属性时会返回null值．SIIIS—Original列簇和sms—Fc列簇的存储结构。3短信垃圾过滤系统随着移动通信技术的飞速发展和手机普及率的迅速提高，手机短信越来越受到众多人士的青睐。短信业务之所以成为人们的一种重要通信和交流方式，是由于其本身的诸多优点例如短小、迅速、简便、价格低廉等，直接影响着每个人的日常生活。短信的广泛应用也带来了不少问题，比如垃圾短信泛滥成灾，不仅极大的影响了人们的正常生活和通信，而且使许多人的经济受到了损失，因此研究垃圾短信过滤具有重要的意义。开发完善的垃圾短信过滤系统一直是电信运营商和学术界研究的重点。随着手机用户数量的增长，垃圾短信数量也呈现出爆炸增长的势头，使得广大消费者长时间饱受垃圾短信的骚扰。垃圾短信不仅占用了有限的网络资源，造成运营商投入更多的人力、物力资源对其进行处理，而且以欺诈为目的的短信使很多用户损失大量财产。目前用户投诉总量的30％以上都是针对垃圾短信，因此电信运营商有义不容辞的责任抑制垃圾短信蔓延。中国移动、中国联通和中国电信公司推出了过滤垃圾短信专用客户端。主要做法是根据发送号码特征及语义特征自动过滤垃圾信息，将要过滤的号码加入短信黑名单。而针对号码特征及语义特征过滤受到手机的存储和运算能力的限制，还需要进一步的改善。即使使用传统的服务器来分析并将发送源号码屏蔽，也由于垃圾短信数据量呈现指数级增长。3.1手机系统设计手机终端装有过滤垃圾短信软件，首先通过此软件对短信进行分词，分词完成之后与垃圾词库里的词进行比对得出短信的性质(是垃圾短信还是非垃圾短信)，如果是垃圾短信，则用户可以将此短信上报到“云”端。手机终端的功能模块，手机终端的功能包括：(1)过滤：手机终端可以根据黑名单、省市、号码段、时间段进行过滤。能够下载云端的垃圾词库。(2)实时举报：系统判断为垃圾过后立即上报。通话记录显示来电地区、响铃时间、来电时间等信息，用户可根据此判断是否响一声来电，点击一下按钮即可上报。短信也可以很方便的上报。3.2云端系统架构云端主要有规则挖掘引擎，拦截分析系统，管理平台，通信接口群等组成。“云”端首先利用分词算法对短信进行分词处理，然后利用贝叶斯算法判断短信的性质，最后拦截分析系统依据一定规则对上报的数据进行分析和判断，通过FTrP的方式将发送垃圾短信的源号码发送到移动侧，由移动相关系统来关闭这批号码的短信功能。同时更新垃圾词库，根据用户的需求来下发相应的垃圾词库到手机终端。云端系统的处理流程为：手机终端用户通过上行接口将垃圾短信暂存到JMS中，上报数据分析器从JMS中提取数据对其进行分析(判断是否为垃圾短信)，如果是垃圾短信，则赋予发送垃圾短信的源号码一定的积分，否则不赋予垃圾积分，并将分析结果存到业务数据库中，下行接口定时给手机终端用户发送提醒短信，以防用户上当受骗，数据分析引擎每天定时查看发送垃圾短信源号码的积分，依据某种规则对其号码进行分析判断是否达到被拦截的条件，并将分析结果传送给移动侧，报表模块定时从业务数据库中提取属于某个时间段的垃圾短信并生成报表数据，同时将结果存到报表数据库中，以供报表平台展示，外部数据传输将报表数据库中的数据和业务数据库中的短信内容传到移动侧，由移动侧系统采取下一步措施；管理模板由管理人员定义系统的相关参数(例如JMS队列长度等)及拦截阀值规则。本文在基于Apache开源组织的分布式计算开源框架Hadoop的基础已经初步实现从大量的短信数据中分析垃圾短信的内容特征以及垃圾短信发送号码。3.3亟待完成工作3.3.1分词算法的效率在垃圾短信过滤系统中非常重要。进一步确认使用动态规划法后效率的提高程度。3.3.2由于目前下发到手机终端的垃圾词库需要人为的干预，通过贝叶斯算法自动产生垃圾词下发到终端。3.3.3法律整治建议彻底治理垃圾短信除了技术方面外还需要多管齐下：欧美国家在治理垃圾短信方面，已积累了很多成功的经验，值得我们学习和借鉴。3.3.4在我国，目前与电信行业相关的法律法规有《中华人民共和国电信条例》和《中华人民共和国互联网信息服务管理办法》，而这些法律法规都不是专门性的。所以需要尽快的制定有针对性的法律法规能从根本上治理垃圾短信。3.3.5要尽快落实SIM卡实名制。SIM卡实名制被认为是解决垃圾、不良短信的一种长效和有效的机制，可以真正的从源头上实现对短信的可管理、可监督。这种机制已在很过国家通过实践证明，利用手机垃圾短信违法犯罪的现象明显比没有实施SIM卡实名制的数量少很多。3.3.6建立完善的监管机制。相关部门需要建立处理垃圾短信的用户的投诉处理平台，以方便用户快捷的投诉，使运营商能够即时的处理用户的投诉来达到遏制利用垃圾短信违法犯罪目的。3.4MapReduce技术MapReduce是一种编程模型引，受函数式语言中的map和reduce函数的启发，基于“分而治之”的管理理念，类似于进程和线程编程，适用于内部低耦合且高并行型的海量数据的分析处理程序．MapReduce技术将待解决任务先通过Map函数(任务分解)映射成(key，value)((键，值))对的形式，再将分解后的子任务分配给大量的计算机节点处理，产生中间<key，value)对，然后通过Reduce(化简)对中间<key，value>对进行合并，最后将任务汇整输出．本文将MapReduce技术应用在短信预处理和短信分类2个阶段．短信预处理阶段主要有中文分词、去停用词、计算各关键字词频、生成关键字的词频文件、合并文件、比对库表示6个任务，根据上述描述，Map过程应用在中文分词和去停用词阶段，Reduce过程应用在生成关键字在短信类别中的词频文件和合并文件阶段，把相同的（类别，关键字，词频)键值对合并，在合并过程中，以“类别I关键字”为主键，将相同项后的词频相加后合并，生成关键字在短信类别中的词频文件，在合并文件阶段，仍以“类别j关键字”为主键，以该关键字词频与总词频数的比率作为词频存储在最终特征集文件中，得到短信特征集后，对比对库中的条短信进行表示，表示后的结果存放在sms表中短信分类采用kNN算法，判断待测短信类别时需将待测短信和比对库中的所有短信(札条)逐一比较，找到相似度最高的前k条短信，然后根据前k条短信所属类别采用某种计算方法，确定待测短信所属类别，分类阶段也需将待测短信经过中文分词、去停用词、短信表示、相似度比较、选取k条短信、确定所属类别6个阶段，实验时测试短信数量较大，因此Map过程应用在中文分词、去停用词、短信表示、相似度比较4个阶段，Reduce过程应用在选取忌条短信和确定所属类别阶段．3.5k条短信选取规则kNN算法分类短信时根据选取到的最条短信来确定待测短信的类别，选取k条短信时最简单的算法是将相似度最高的k条信息选出，本文为了增加正常短信通过率(因为正常短信被过滤的代价高于垃圾短信)，预选取1．5倍的条短信，按相似度降序排列，分类系统设置一个概率差，当序号在序号k之前(包括尼)的垃圾短信的相似度与k之后的正常短信相似度之差满足概率差时，两条短信交换，反复执行该操作即可得到符合选取规则的志条短信集．经实验验证，当概率差取1．5时，分类效果最好．3.6分类计算规则一条短信选好后，根据正常短信和垃圾短信的数量确定待测短信的类别，最简单的方法是以数量多的类别作为待测类别，为增大正常短信通过率，实验采取的分类计算规则为：当正常短信数量大于垃圾短信数量时，待测短信判定为正常短信；当垃圾短信数量与正常短信数量之差小于某个数量差时，待测短信判定为正常短信，否则为垃圾短信．数量差和比对库数量n以及忌值均相关，取值大小对实验结果影响较大，取值过大会使得垃圾短信的误判率上升，4．4．1节确定了不同实验环境下该参数的取值．4实验与结果分析评价4.1实验数据云计算的优势在短信规模较大时才可以体现出来，为了搜集足量的短信，笔者使用网络搜索、学生提供、个人手机、聊天记录等方式共搜集到短信样本2．6万条，去芜存菁后余下2．11万条，其中正常短信1．9万条，垃圾短信0．21万条，同时甄选出3100条(其中510条垃圾短信和2590条正常短信)并分成数量不同、用途不同的4组，具体如表6所示．4.2实验环境的搭建利用笔者所在单位实验室的硬件资源，选用5台PC机，其中1台作为NameNode、master和jobTracker，另外4台都作为DataNode、slave、taskTracker、HBase服务器，5台PC机的IP地址在同一网段内，均安装配置Hadoop和HBasec“]．4.3实验结果评价标准①查准率：待测短信集中判定正确数与判定出的实际数之比；②查全率：待测短信集中分类正确的短信数与应有的短信数之比；③F—Score值：2*查准率*查全率／(查准率+查全率)；④数量比：云计算测试与单机测试每秒内所处理短信数量比，比值越大，效果越好，云计算的优势主要体现在单位时间所处理数量上，因此该评价指标作为实验的主要评价指标．4.4实验过程及分析4．4．1实验参数n值为比对库数量，k值为选取的邻居数量，数量差为分类计算规则中的参数，这3个参数对实验结果影响较大，在搭建的实验环境下，最优参数结果如表7所示，后续实验没说明参数与表7一致，实验结果的数量比为4．垃圾短信在某时期内具有相同的特性，实验精选近期收到的房地产类垃圾短信200条，将其添加到比对库中，使得比对库信息提高到10300条，即值为10300，取k为50，再用该200条短信进行测试，共识别出垃圾短信187条，识别率提高到93．5，可见kNN算法也适合反馈实验．5结束语云计算技术已经在数据处理中取得了一定的成绩，但离普及应用仍有一定的距离，采用云计算的核心技术，解决垃圾短信分类占用客户端设备处理能力的问题，将分类放在云端处理，使得垃圾短信的处理速度得到了提高，短信识别率最高达到93．5，这为垃圾短信的治理工作做出了一定的贡献。参考文献陈功平，沈明玉，王红，等．基于内容的短信分类技术_J]．华东理工大学学报：自然科学版，2011，37(6)：77O一774．ShufenZhang，ShuaiZhang，XuebinChen，eta1．AnalysisandresearchofcloudcomputingsystemInstance[c]／／NWWashington，DCUSA：IEEE2010SecondInternationalConferenceonFutureNetworks．IEEEComputerSociety，2010：88-92．JeongHY，ParkJH．Anefficientcloudstoragemodelforcloudcomputingenvironment[C]／／RuixuanLi，JiannongCao，JulienBourgeois．AdvancesinGridandPervasiveCompu—ring．Berlin，Heidelberg：Springer-Verlag，2012：370—376．冯登国，张敏，张妍．等．云计算安全研究[J]．软件学报，2011，22(1)：7183．CusumanoM．CloudcomputingandSaSasnewcomputingplatforms[J]．CommunicationsoftheACM，2010，53(4)：27—29．GunarathneT，WuT—I，QiuJ，eta1．Mapreduceinthecloudsforscience[c]／／IEEE：CloudComputingTechnologyandScience(CloudCorn)，2010IEEESecondInternationalConferenceon．NWWashington，DCUSA：IEEEComputerSociety，2010：565—572．DhokJ，MaheshwariN，VarmaV．Learmngbasedoppor—tunisticadmissioncontrolalgorithmforMapReduceasaservice[C]／／PadmanabhuniS，AggarwalSK，BellurU．I