垃圾短信监控系统的技术研究与实际应用

专业学位硕士学位论文题目垃圾短信监控系统的技术研究与实际应用专业领域电子与通信工程学院信息与通信工程学院2012年12月10日垃圾短信监控系统的技术研究与实际应用摘要随着无线通信服务功能的不断增强和完善，短信业务在为用户提供便捷消息服务的同时，也为信息垃圾的传播提供了一条方便的渠道。随着我国移动通信网络建设的不断完善以及越来越多的可提供给用户短信服务的平台的出现，垃圾短信有愈演愈烈的趋势。垃圾短信的存在给用户与运营商均带来了不少的烦恼用户可能被恐吓、骚扰，往往也被犯罪分子利用来进行违法活动，破坏安定团结的政治局面；而运营商也会由于用户错误的界定垃圾短信的来源而受到用户的误解，给运营商辛苦建立的良好声誉造成严重的影响。另外，垃圾短信的大量群发对运营商的网络资源造成影响，增加了网络负荷。本文首先阐述了垃圾短信的成因和建设垃圾短信监控系统的必要性，之后，从技术实现、拦截效果等角度论述对比了几种常见的垃圾短信监控拦截的部署模式，对关键技术垃圾短信过滤技术进行了详细介绍，最后，结合天津联通公司的组网结构和实际情况有针对性的设计了垃圾短信监控系统，对系统结构和功能进行了详细描述。关键字手机垃圾短信拦截行为分析内容分析黑名单RUBBISHSHORTMESSAGEMONITORINGSYSTEMTECHNOLOGYRESEARCHANDAPPLICATIONABSTRACTALONGWITHTHEWIRELESSCOMMUNICATIONSERVICEFUNCTIONINCREASESCEASELESSLYANDPERFECT,SHORTMESSAGESERVICEINORDERTOPROVIDEUSERSWITHCONVENIENTINFORMATIONSERVICEATTHESAMETIME,ALSOFORTHEINFORMATIONGARBAGETRANSMISSIONPROVIDESACONVENIENTCHANNELWITHCHINAMOBILECOMMUNICATIONSNETWORKCONSTRUCTIONANDCONSTANTLYIMPROVEANDMORECANBEPROVIDEDTOTHEUSEROFTHESHORTMESSAGESERVICEPLATFORM,RUBBISHSHORTMESSAGEHASBECOMEMOREANDMORESERIOUSRUBBISHSHORTMESSAGEEXISTSTOGIVEUSERSANDTELECOMOPERATORSAREBROUGHTALOTOFTROUBLESTHEUSERMAYBEINTIMIDATION,HARASSMENT,OFTENUSEDBYCRIMINALSTOENGAGEINILLEGALACTIVITIES,UNDERMINETHEPOLITICALSITUATIONOFSTABILITYANDUNITYDUETOUSERERRORLIMITSPAMSOURCES,TELECOMOPERATORSARESUBJECTTOTHEUSERSMISUNDERSTANDING,TOTHETELECOMOPERATORSHARDTOBUILDAGOODREPUTATIONSEVERELYAFFECTEDINADDITION,RUBBISHSHORTMESSAGEOFLARGEMASSTOTHEOPERATORSCYBERSOURCECAUSEDBYIMPACT,INCREASINGTHENETWORKLOADTHISARTICLEFIRSTELABORATEDTHEJUNKMESSAGECAUSESANDCONSTRUCTIONRUBBISHSHORTMESSAGEMONITORINGSYSTEMSNECESSITY,THEN,FROMTECHNICALANGLE,INTERCEPTINGEFFECTCONTRASTINTRODUCESSEVERALCOMMONRUBBISHSHORTMESSAGEMONITORINGANDBLOCKINGDEPLOYMENTMODEL,THEKEYTECHNOLOGYSMSSPAMFILTERINGTECHNOLOGIESWEREINTRODUCEDINDETAIL,FINALLY,COMBINEDWITHTHETIANJINUNICOMNETWORKSTRUCTUREANDTHEACTUALSITUATIONOFTARGETEDDESIGNOFRUBBISHSHORTMESSAGEMONITORINGSYSTEM,THESYSTEMSTRUCTUREANDFUNCTIONAREDESCRIBEDINDETAILKEYWORDSMOBILEPHONE,RUBBISHSHORTMESSAGE,INTERCEPT,BEHAVIORANALYSIS,CONTENTANALYSIS,BLACKLIST目录第一章引言111课题的提出1111研究背景1112理论与实践意义112本人所作的工作及论文结构2121本人所作的工作2122论文结构2第二章垃圾短信的成因与现状421短消息概述422垃圾短信的界定823垃圾短信的成因924垃圾短信的传播途径1125垃圾短信的现状1126垃圾短信的危害性1327垃圾短信监控系统建设的意义14第三章短信中心控制模式的原理及优劣势1631短信中心控制模式概述1632准实时监控拦截方式17321实现原理及业务流程17322优劣势分析1833实时监控拦截方式19331实现原理及业务流程19332优劣势分析2134统一垃圾短信监控方式22341实现原理及业务流程22342优劣势分析24第四章信令拦截控制模式的原理及优劣势2541实现原理及组网结构2542拦截实现机理2743信令拦截控制模式的优劣势分析28第五章垃圾短信过滤方式3051号码黑白名单过滤方式3052基于频率的过滤方式3253基于关键字的过滤方式3354基于行为和内容协作判别的过滤方式33541行为分析35542中文短信预处理36543内容分析38第六章天津联通垃圾短信监控系统的设计与实现4161天津联通短信网络情况4162垃圾短信监控系统设计目标4163垃圾短信监控系统的结构与功能42631系统逻辑结构42632系统功能456321垃圾短信监控功能456322用户行为分析功能466323时间规则集功能476324监控日志话单生成476325系统黑名单管理功能476326系统白名单管理功能476327系统操作维护功能476328人工审核平台功能4864系统硬件组成5065与周边系统的接口51第七章总结与展望5271总结5272展望52参考文献54附录缩略语对照表55致谢56第一章引言11课题的提出111研究背景近年来，国内垃圾短信泛滥的情况愈加严重，几乎每个手机用户都收到过垃圾短信，严重侵扰了人们正常的工作、生活秩序。国家12321网络不良与垃圾信息举报受理中心发布的2009年第一次手机短信息状况调查报告显示，自2008年4月到2009年7月，举报受理中心受理不良垃圾短信息的举报共1354万件，占举报总量的7846，手机用户平均每周收到的垃圾短信息数量为89条。而举报受理中心发布的2011年下半年手机短信息状况调查报告显示，手机用户平均每周收到垃圾短信息114条，与2009年相比垃圾短信息的数量明显增长。尽管举报受理中心称2011年下半年比上半年手机用户平均每周收到垃圾短信息条数减少了16条，下降123，垃圾短信的数量得到了控制，但问题仍然很严重。无聊的垃圾短信除干扰手机用户的正常工作外，还造成一些手机用户的精神和思想上的混乱，更严重地是引起了社会的公害。数据显示，垃圾短信给社会造成的主要危害有滋长犯罪、传播不文明内容、造成潜在的经济损、以及失污染社会文化环境等。从2008年中央电视台315晚会曝光分众无线技术公司群发短信广告骚扰用户，引发国家工业和信息化部组织在全国开展垃圾短信息整治专项行动，到2012年315晚会上中国电信因治理垃圾短信不力而曝光，将垃圾短信问题再次推到民众的视线前。一条“在超市信用卡消费元，逾期不归还”的短信就曾在短短一个月内骗走了某市20多位市民共30余万元；一个小小的垃圾短信群发窝点，就可以影响某一片小区附近的网络质量，影响民众正常的通话及短信业务。由垃圾短信引发的社会问题发人深省，它对社会产生的影响已经引起了社会各界的广泛关注。2008年6月份国家工信部在全国范围内开展垃圾短信息整治专项行动，重点打击手机淫秽色情和低俗信息，强化作为手机短信平台管理者电信运营商的责任，规范信息内容服务商的行为，采取相关的技术手段，取得了一定成效。但工信部官员也坦诚说，治理垃圾短信是长期而艰巨的工作，存在四个难点一是法律依据滞后；二是技术防范难；三是用户需求的差异；四是多部门的协调。112理论与实践意义人类经过了农业社会、工业社会，正迈向信息社会。今天，以互联网和移动通信为代表的信息通信技术已成为人们日常生活中不可缺少的部分，正改变着人们的工作方式和生活方式以及思维方式。手机已经成为大多数人随身携带的个人通信工具，而手机短信因价格低廉、形式简单、方便快捷的优点，赢得了广大手机用户的喜爱；同时作为互联网之后崛起的新型媒体，手机广告具有范围广、传播快、主动性强、成本低等显著特点，因此受到了很多商家的欢迎。根据工信部公布数据，截止到2012年年底，全国移动手机用户已达10亿户，移动短信业务量截止到2012年11月比去年同期的增幅为23；2012年春节期间全国短信发送量突破300亿条，比2010年增长了70亿条。然而，短信业务迅猛发展的同时也夹带着大量的垃圾短信充斥我们的生活，一些以传播淫秽色情、商业欺诈以及商业广告内容的短信日益泛滥，严重干扰人们生活、妨害社会安全，甚至影响到社会的稳定。通过对垃圾短信这一社会现象的研究，为治理垃圾短信问题提供理论、方法和对策，对社会规范的建立，构建和谐社会环境有着很好的社会效应和现实意义。12本人所作的工作及论文结构121本人所作的工作我在天津联通的垃圾短信综合治理专项工作中，负责垃圾短信拦截系统部署、拦截策略制定及优化、系统拦截效果评估及分析改进等工作，参与了天津联通垃圾短信拦截系统建设前期的技术研讨、方案选型、系统建设，以及系统上线运行后的系统维护、拦截策略制定与优化、拦截效果跟踪与分析等各阶段的具体工作。在近两年的垃圾短信综合治理专项工作中，通过利用垃圾短信监控系统实施技术拦截，我对垃圾短信的拦截技术手段和方式有了一定的认识和经验。122论文结构第一章是引言，介绍了课题研究的必要性、本人所作工作及论文结构。第二章阐述垃圾短信的界定和成因，对目前垃圾短信的现状进行分析。第三章论述短信中心控制模式的原理，并对该模式的优劣势进行分析。第四章阐述并分析信令拦截控制模式的实现机制及技术特点。第五章对几种主要的垃圾短信过滤技术原理进行论述及分析。第六章详述天津联通垃圾短信监控系统的设计与实现。第七章对本文进行了总结，并对今后垃圾短信拦截技术的发展进行展望。第二章垃圾短信的成因与现状21短消息概述所谓短消息就是使用七号信令信道传送的长度不大于140字节的文本信息。短消息业务是在短消息中心SC与移动台MS间传递有限长度数据的通信业务。通过GSM网，以及短消息业务中心SMSC，便可实现短消息业务。短消息业务根据业务方向可分为移动起始短消息MOSM和移动终接短消息MTSM；根据实现方式可以分为点到点短消息业务和小区广播短消息业务，目前主要应用的是点到点短消息业务。在点对点短消息业务中，短消息由移动终端发送后，被存储在发送方归属的短信中心中，再通过SMS协议转发给接收方。发送方/接收方终端不论是在本地移动网还是漫游中，都可以收发短信。如果接收方终端由于关机、寻呼无响应、终端存储空间不足等原因接收短信失败，短信中心可在一段时间内（默认是48小时）保留短信，等到接收方终端发出提醒消息提示可以接收短信后，再转发给接收方移动终端。短消息的业务流程如下1）移动台发送短消息（MO）的信令流程图21移动台发送短消息的信令流程图移动台向短消息中心发送短消息的信令流程如图21所示，移动台发送短消息所涉及的网元有MS、MSC、VLR、IWMSC和SC。MO流程的起点为MS，途经短信发送方的移动台所在的MSC和VLR、IWMSC（短消息进入短消息中心的关口局），终点为SC。有的GSM系统中MSC与VLR合设，IWMSC与SC合设。为使信令流程描述清楚，以下讲述中仍分开描述，在图中以虚框表示合设结构。MO流程的12个步骤如下STEP1MS向MSC发起接入请求，请求消息中包含MS的IMSI或TMSI号码；STEP2MSC建立和VLR的对话，等待VLR发来的接入证实消息。在此过程中，可能收到VLR发来的要求提供IMSI号码、鉴权、设置加密模式等消息，需进行相应的处理；STEP3MSC收到VLR来的接入证实消息；STEP4MSC向MS返回接入成功消息，允许MS接入GSM网络进行通讯；STEP5MS向MSC提交短消息；STEP6MSC向VLR发送此消息请求建立SMSMO/PP业务；STEP7VLR对MS进行鉴权，并向MSC返回鉴权成功消息；STEP8MSC向IWMSC转发该条短消息，如果运营商的MSC与IWMSC合设，则无此步骤；STEP9IWMSC向与其相连的SC提交短消息；STEP10SC向IWMSC返回提交短消息的确认接收信息；STEP11IWMSC向MSC返回短消息确认信息；STEP12MSC向MS返回短消息提交确认信息。移动台向短信中心提交短消息成功，便完成了MO流程，SC收到短消息后进入MT流程的处理，即移动台接收短消息中心转发的短消息。2）移动台接收短消息（MT）的信令流程MSMSCVLRSCGMSC12345678910112HLR131415图22移动台接收短消息的信令流程图移动台接收短消息的信令流程如图22所示。移动台接收短消息涉及的网元包括SC、GMSC、HLR、MSC、VLR和MS。MT流程的起点为SC，途经GMSC（短消息中心发送短消息的关口局）、HLR（接收短消息的移动台归属的HLR）、接收短消息的移动台所在的MSC和VLR，终点为MS。MT流程的15个步骤如下。STEP1SC向相连的GMSC发送短消息，消息中包含短消息的源SC地址、目的MS的MSISDN号码、短信内容，另外还有短消息等待发送标识；STEP2GMSC根据目的MS号码向HLR请求移动台的路由信息；STEP3HLR向GMSC返回查询结果，如果目的MS可达，则向GMSC返回成功及路由信息；如果HLR数据库中的MSPURGEFLAG、MNRF、MCEF等标志为1时则向GMSC返回失败及错误原因；STEP4如果返回的结果是成功，GMSC根据用户路由信息通过七号信令网将该条短消息转送给目的MS所在的MSC。如果GMSC就是目的MS所在MSC，则无此消息；STEP5MSC根据HLR中的VLR标识码，向VLR查询目的MS的相关信息，包括MS是否可及（即MNRF）等标志位；STEP6VLR向MSC返回目的MS所在的位置区；STEP7MSC向位置区内所有基站发送寻呼请求；STEP8目的MS所在基站返回MSC响应寻呼信息，寻呼成功；STEP9MSC向VLR发出目的MS寻呼结果和接续请求；STEP10VLR完成对目的MS的鉴权，向MSC返回确认或拒绝信息；STEP11MSC向目的MS发送接入证实消息，如果目的MS接入网络失败，则转到STEP14返回失败消息；STEP12MSC向目的MS发送短消息，其中包括源SC地址和短消息内容；STEP13MS向MSC返回接收短消息确认信息。若接收失败，则返回A_RP_ERROR；STEP14MSC向GMSC返回短消息接收结果消息；STEP15GMSC向SC返回短消息接收结果消息。如果SC中还有短消息等待发送，短消息由GMSC经MSC到达MS，并返回接收结果，无需再进行接入处理。22垃圾短信的界定从垃圾短信举报平台的大量投诉中，我们可以看到侵害用户利益的短信满天飞舞。有利用短信骚扰他人的，有利用短信进行诈骗钱财的，有利用短信散布谣言、影响社会稳定的，有利用短信传播色情、低俗内容的，还有通过短信发布商业广告、影响人们正常生活的等等。总的说来，人们把这些不请自来、包含违背法律法规、违背社会公德善良风俗、或者具有商业广告信息、或以恶意报复他人为目的、侵害接受者通信自由生活安宁的短信，统称为垃圾短信。目前垃圾短信法律层面的界定在我国尚属空白，我们可以依据国家下发的文件，以及行业规范中对垃圾短信进行定义。在关于依法开展治理手机违法短信息有关工作的通知中，公安部规定了严格禁止的五大类信息，包括（1）假冒银行或银联名义进行诈骗或者敲诈勒索公私财物的信息；（2）散布淫秽、色情、暴力、凶杀、赌博、恐怖内容或者教唆犯罪、传授犯罪方法的信息；（3）非法销售枪支、弹药、毒品、迷魂药、爆炸物、走私车、淫秽物品、假钞假发票或者明知是犯罪所得赃物的信息；（4）发布假中奖、假招聘，假婚介、或者引诱、介绍他人卖淫嫖娼的信息；（5）多次发送干扰他人正常生活的，以及含有其他违反宪法、法律、行政法规禁止性规定内容的信息。由互联网协会发布短信息服务规范（征求意见稿）中，也对“垃圾短信”、“违法和不良信息”首次有了明确的定义“垃圾短信是指未经用户同意向用户发送的、用户不愿意收到的短消息，或用户不能根据自己的意愿拒绝接收的短信息，主要包含未经用户同意向用户发送的商业类、广告类等短信息”；而对违法和不良短信息，则规定了以下十三种特征（1）反对宪法所确定的基本原则的；（2）危害国家安全，泄露国家秘密，颠覆国家政权，破坏国家统一的；（3）损害国家荣誉和利益的；（4）煽动民族仇恨、民族歧视，破坏民族团结的；（5）破坏国家宗教政策，宣扬邪教和封建迷信的；（6）散布谣言，扰乱社会秩序，破坏社会稳定的；（7）散布淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪的；（8）侮辱或者诽谤他人，侵害他人合法权益的；（9）煽动非法集会、结社、游行、示威、聚众扰乱社会秩序的；（10）以非法民间组织名义活动的；（11）含有虚假、欺诈、诱导内容的；（12）含有提供非法产品或服务的；（13）含有法律、行政法规禁止的其他内容的；根据上述工信部、公安部、联通总部对垃圾短信的相关规定，本文作者对垃圾短信界定如下短信内容中含有五类违法信息、不健康信息、商业广告性质的均可视为垃圾短信。垃圾短信包括非法类和商业广告类。但有两类短消息不应视为垃圾短消息（1）短消息内容带有商业广告性质，但接受方为发送方的用户、会员或员工等，或接收方曾通过合同、网站、短消息、电话等方式约定确认同意接收发送方发短消息的。当接收方提出举报投诉或要求发送方停止发送的，发送方不得继续向接收方发送短消息；如继续向接收方发送短消息，则对接收用户视为垃圾短消息。（2）政府部门或社会公益组织发送的各类通知、公告或公益性质内容的短消息23垃圾短信的成因手机短信因其使用方便、价格低廉的特点，为人与人之间互相通信带来了极大的便利。但正是这种特点使短信成为垃圾短信发送者的首选目标，其便利性也被人滥用。同时，作为新型媒体，信息技术带来的便利伴随着监管的难度和缺陷，使得手机短信很容易被动的成为各类垃圾信息的载体。（1）传播和阅读的特点。第一，短信具有传播迅速、覆盖面广、价格低廉的特点。手机短信其传播模式在某种程度上回归了传统人际传播“点对点”“点对多点”模式，一条消息可以很方便地编发到多个接收方，且价格低廉；第二，阅读的全时性和强迫性。短信和广播、电视等媒体不同，广播、电视节目你如果不喜欢，可以选择其它频道，甚至关闭不看。然而，手机短信具有全时性、强迫性阅读的特点，不分场合、不分时间，只要用户开机，收到的短信就会出现在用户眼前。相比比传统媒体，短消息的这两个特点使其更有优势，而现行的法律法规对于通过手机发布广告的行为监管，明显滞后。法律制度的缺失，使得对垃圾短信传播行为的约束过多依赖于发送者的道德自律。而一些垃圾广告发送者则利用这一缺陷，使用短消息群发端口或群发设备成批量自动发出垃圾短信，使得垃圾短信的传播和发送效率极高。（2）沟通身份隐藏的特点。在手机短信的收发过程中，发送方、接收方都处于身份隐匿状态，而短信的发送方，一旦处于身份隐匿的状态，其原本被社会所压制的个性和欲望就往往趋于不加约束和不负责任。同时为了保护个人隐私，短信的内容的往往无法审核，从而导致了垃圾短信的泛滥。（3）通信个人化的特点。一是短信具有个人化及隐私性。作为个人通信工具的手机，正如北京大学教授张颐武称“手机已经成为了我们的新器官”，可见人们对手机的依赖程度。手机本身是一个移动的通信平台，每个用户都是独立的传播者，对于点对点短信的发送，在技术层面上很难做到在开放的通信平台上进行屏蔽和过滤。而基于通信自由和个人隐私的保护，也使得监管者对垃圾短信的封堵束手束脚；二是发送短信者可能是接收短信者的朋友或熟人，出于对熟人的信任及短信发送的便利性，接收者往往不加深思相互转发，使得谣言等垃圾短信传播迅速。（4）变化和变异的特点。随着社会的发展，在不同的时期，垃圾短信的内容及形式会随着社会的变化而变化。例如近两年来，随着银行卡的使用普及，银行卡诈骗的垃圾短信数量显著增加；此外，伴随着关键字过滤、号码封堵等技术手段的实施，垃圾短信发送者也正在逐渐学会通过在文字间插入符号、用全角代替半角、用拼音代替中文、使用同音字等等“变异”的手段，应对并逃避对监管单位对垃圾短信的管控和清理。24垃圾短信的传播途径1）利用手机终端发送MOMT短信。使用手机内置的短信群发功能，或是将手机连接到计算机上，利用电脑软件进行短信群发。手机在群发短信时，为了保证每条短消息的成功提交，需要收到短信中心发出的SUBMITRES消息后才会发下一条短信，从MO的信令流程中可以看出，消息在发送时需要到VLR上进行鉴权，一条消息从开始发送到提交成功至少需要23秒的时间，所以利用手机发送的最大特点就是发送速度慢。2）利用群发器发送MOMT短信。短信群发器一般有多个可以连接电脑的端口，同时有多个天线，可以插多个SIM卡，可以同时利用多张卡群发短信。短信群发器未获得入网许可证是禁止出售和使用的，但一直屡禁不止，其主要原因就是群发器可以高速发送短信。除了可以多张SIM卡同时发送外，有的群发器还克服了手机群发的弱点，在群发短信时不会等待SUBMITRES消息，而是直接将短信以最大速度向外推送。目前，垃圾短信主要靠这种方式传播。3）端口发送垃圾短信。SP利用行业端口、自有群发平台端口进行短信群发。随着运营商监管力度的加大，目前这种垃圾短信量已越来越少。4）模拟短信中心群发不法分子利用信令网对信令消息的源GT及信令点编码没有校验的缺陷，使用信令网设备模拟短信中心发送垃圾短信。如IVR业务平台租赁的信令、试验局和测试网元、盗用正规渠道的业务接入资源等。这种短信在目的终端上显示的是手机号码或SP服务号码。25垃圾短信的现状（1）垃圾短信传播途径的统计结果绝大多数垃圾短信是通过点对点方式进行传播的。中国互联网协会受工信部委托设立的不良信息举报处理机构12321不良信息举报中心2011年35月统计数据显示，垃圾短信投诉中，点对点垃圾短信投诉占比高达969，端口类垃圾短信投诉占31。图232011年35月垃圾短信举报统计图（2）从垃圾短信内容来看，占比最大的为广告类和违法欺诈短信。以下数据是中国联通2010年110月各省垃圾短信按短信内容分类的统计数据。图24中国联通2010年110月各省垃圾短信统计数据（3）发送行为的主要特点（A）利用复制卡发送垃圾短信不法分子复制多张SIM卡后，同时激活附着网络，分别在多个MSC下同时大量发送垃圾短信。由于多张复制卡在多个MSC下频繁发送短信，造成同一号码分别在多个MSC频繁向HLR发起位置更新，在极端情况下，即一次位置更新尚未结束，另一次位置更新又发起的情况下，会造成用户信息在多个MSC存在。此时停机指令仅对其中一个MSC下的复制卡起作用，其它MSC的复制卡如果不发生跨MSC的位置更新就不会受到停机的限制。（B）低频发送采用大量号码，模拟正常用户以较低的发送频率进行垃圾短信发送，达到避开垃圾短信监控系统监控和拦截的目的。（C）表达形式多样使用如FA瞟、O等拼音、词汇变形、繁体字、标点符号嵌入、全角半角混合的表达方式，来避开监控系统的关键字和关键字组合监控策略。（D）竖形排版垃圾短信如下所示方式进行发送。各单【类】据【发】联【瞟系I32XXXXXXXX针对以上垃圾短信，系统按照“各单【类】据【发】联【瞟系I32XXXXXXXX”进行处理，这样竖形排版的垃圾短信使得关键宇识别方式失效，对垃圾短信拦截造成极大障碍。（E）时间不定性不法分子为减少被发现及人工拦截的机会，通常错开多个时段群发甚至在凌晨时段群发，为人工审核工作带来困难。26垃圾短信的危害性（1）垃圾短信包括广告、色情、报复、诈骗、反动，因此，会侵害了他人的的通信自由，扰乱他人安宁生活，令短信诈骗案件增加，败坏社会风气。（2）形成垃圾短信产业链，危害正规SP发展。垃圾短信促进了非法SP的发展，并形成产业链，令正规SP的发展遭受挤兑。（3）造成信任危机，危害社会团结稳定，民众受到垃圾短信的骚扰，对社会产生不信任感，从而造成信任危机。（4）少数不法分子利用它传播黄色信息，毒化社会风气。（5）境外少数敌对分子企图利用它编造、散布各种谣言，引发社会恐慌，破坏社会稳定。（6）由于一些居心叵测、别有用心的人利用短信传播不实消息和谣言，在社会上造成大面积的恐慌情绪，使群众人心惶惶。27垃圾短信监控系统建设的意义（1）企业社会责任的需要电信运营商作为企业，在创造利润同时也要承担对消费者和社会的责任。治理垃圾短信、维护通信市场秩序、净化网络和信息环境，是电信运营商必须承担的社会责任。我国三大电信运营商都已充分认识到垃圾短信治理工作对于服务社会群众、维护社会稳定的重要性，并相继制定了具体措施。2012年中国联通制定并下发了垃圾短信综合治理方案，将垃圾短信治理成效纳入绩效考核范围。（2）企业品牌形象的需要国内电信市场是一个充分竞争的市场，垃圾短信的治理水平直接体现为用户服务水平，部分运营商如中国移动已从2006年开始实施实时的垃圾短信治理。随着用户规模的不断扩大，各个电信运营商也需要为提升服务水平，提升企业形象，要在垃圾短信治理上达到或超过竞争对手的水平。垃圾短信的治理将可以在一定程度上提升电信运营商短信业务服务水平，提升市场竞争力及品牌优势，促进品牌业务的良性发展、提高用户的满意度有着重要作用。（3）减少网络资源无效占用的需要无论是点对点短消息，还是广播短消息，在无线侧会占用信道进行传输。在无线网络中，每个蜂窝小区需要按一定比例配置控制信道和业务信道。点对点短消息和广播短消息的传输需要占用SDCCH信道，因此会对原有小区通信造成一定的影响。在小区中增加点对点短消息，主要是增加了控制信道的负荷，特别是SDCCH信道的负荷。SDCCH信道上主要传送手机呼叫信令、位置更新等，因此较大的点对点短消息流量可能会阻塞正常话音的呼叫过程、手机的位置更新等。另外，由于点对点短消息大量申请信道也可能阻塞手机申请信道，因此会降低手机的接通率。所以当大量发送垃圾短信时，会对无线网络产生影响，将影响到用户通话的接入，造成网络繁忙。第三章短信中心控制模式的原理及优劣势31短信中心控制模式概述SMC短消息中心短消息中心短消息中心MSC移动交互中心移动交互中心移动交互中心H/LSTPAH/LSTPB垃圾短信管理系统垃圾短信管理系统垃圾短信管理系统增值业务综合网管增值业务综合网管增值业务综合网管CRM业务处理模块业务数据库HLR接口机接口机接口机短消息中心短消息中心短消息中心移动交互中心移动交互中心移动交互中心垃圾短信管理系统垃圾短信管理系统垃圾短信管理系统增值业务综合网管增值业务综合网管增值业务综合网管业务处理模块业务数据库接口机接口机接口机图31短信中心控制模式的系统部署示意图垃圾短信监控系统与本省短信中心（SMSC）连接，由短信中心根据设定的主叫号码黑名单对MO/AO短信进行监控与拦截，并将拦截的主叫号码、发送时间、目的号码等数据发送给垃圾短信监控系统，供垃圾短信监控系统进行统计分析。同时，短信中心定期将MO/AO短信记录或话单发送至垃圾短信监控系统，其中包括主叫号码、目的号码、消息内容、短信发送时间等数据。垃圾短信监控系统对各个短信中心发来的MO/AO短信记录进行汇总分析，依据系统设定的判定规则，或者经由人工审核后更新主叫号码黑名单，并通过接口机将黑名单数据同步至各短信中心。在分析过程中，如果发现垃圾短信的主叫号码是本网用户，垃圾短信监控系统可将该号码及其短信记录发送CRM系统，经CRM系统确认后通知HLR，由HLR上暂停该用户的短消息功能。根据拦截处理的实时性，短信中心控制模式还可分为准实时监控拦截、实时监控拦截。32准实时监控拦截方式321实现原理及业务流程准实时模式下，SMSC通过以短信话单、日志等方式周期性地向准实时监控平台提交短信数据，准实时监控平台对短信合法性进行判断，根据对预设的短信分析模型进行处理。处理流程如图32所示。管理系统1提交短消息1提交话单/日志省CRM4下发短信23短信提交响应HLR5A关停短信功能25B主叫黑名单更新处理方式一、HLR关停处理方式二、SMSC控制模式接收端发送端SMSC3发送黑名单及人工审核数据45B主叫黑名单更新图32准实时监控平台业务处理流程准实时监控方式下的短消息发送流程为1）发送端向SMSC提交短消息；2）在短信中心控制模式下，SMSC根据系统中的黑名单列表判断该用户是否为黑名单用户，如果是黑名单用户，SMSC直接拦截该条消息，不再向目的用户下发，短信发送流程至此结束；否则SMSC对该条短信进行下一步处理，进入短信终呼流程；3）如果发送端是黑名单用户，SMSC则向发送端返回短信提交失败的消息；否则返回短息提交成功的消息；4）如果发送端不是黑名单用户，SMSC按照短信终呼流程将短信投递至目的用户；短消息监控流程如下1）SMSC周期性将批量短信话单或日志提交至准实时监控平台；2）准实时监控平台依据系统配置的监控策略对短信内容和用户发送行为进行分析，判断消息是否属于垃圾短信，同时在本地数据库中存储短信数据及分析结果供后续查询使用；对于白名单内的用户号码则直接放通；3）准实时监控平台将生成的嫌疑垃圾短信记录上传至CRM系统；4）CRM系统接收准实时监控平台传送的嫌疑垃圾短信举报记录，由人工进行审核，判断是否属于垃圾短信；如果发送方号码在白名单中，系统则进行放行处理；5）经人工审核后，如果判定为垃圾短信，系统可进行如下处理A）CRM系统向HLR发出通知，由HLR关闭发送方号码的短信功能，该发送方用户将无法继续发送短信；B）CRM系统将发送方号码加入黑名单列表，并向准实时监控平台同步黑名单数据，准实时监控平台再将黑名单数据同步至SMSC，如果该用户再次提交短信，SMSC将直接拦截其发送的短信。322优劣势分析在拦截效果方面拦截实时性与准确性准实时监控平台在生成嫌疑号码后实施拦截，属于非实时事后拦截，从监控到实施拦截存在较大的延时，拦截及时性和准确性较差。对后期的数据分析不能得到短消息发送过程的全部信息，如被叫号码所在端局MSC等信息，不便于开展更深层次的数据挖据分析等。监控范围对于不经过本省短信中心的短信，系统无法监控拦截。例如省间点对点短信、省间SP短信等，这些短信都是起呼到发送方归属省的短信中心，经由信令网下发至目的用户，目的用户所属短信中心和垃圾短信监控平台无法获取短消息，所以这种监控拦截方式不能监控所有的短信。在投资成本方面建设准实时监控平台，系统硬件投入依据省份短信业务的规模，大约在2至8台小型机（或刀片服务器），整体投资规模较小。在建设难度方面准实时监控平台相对独立、简单，系统建设难度小、工期短。对业务的影响及潜在风险不改变原有短信处理流程，当准监控平台出现故障时，短信业务完全不受影响；短信处理时长也不受影响。33实时监控拦截方式331实现原理及业务流程实时模式下，实时监控平台通过IP网络与短信中心互连，通过SMPP协议进行消息传递与交互。短信中心对用户提交的短信首先进行暂存，通过接口实时地向实时监控平台提交短信甄别请求，实时监控平台根据对系统预先定义的策略进行匹配判别，并通过接口将判别结果实时反馈给短信中心。短信中心接到反馈消息后，对甄别不通过的短信进行拦截，对甄别通过的短信进行下发处理。为不影响短信正常流程，短信中心应设置等待响应超时阀值，当监控平台未在阀值时间内反馈响应时，短信中心则按照正常流程进行短信下发。管理系统1提交短消息2提交甄别请省CRM6下发短信5短信提交响应HLR3A关停短信功能处理方式一、HLR关停处理方式二、SMSC控制模式接收端发送端SMSC1发送黑名单及人工审核数据23B主叫黑名单更新4短信下发响应3图33实时监控平台业务处理流程短信发送流程如下1）用户终端向短信中心提交短消息；2）在实时控制模式下，短信中心将暂存短信，同时向实时监控平台发送短信甄别请求；3）实时监控平台首先判断该用户是否为黑名单用户，如果不是黑名单用户，再根据系统预设的规则判断该条短信是否为垃圾短信；4）如果判定不是垃圾短信，则甄别通过，实时监控平台通知短信中心正常下发该条短信；否则实时监控平台通知短信中心拦截该条短信，终止短信下发；5）对于垃圾短信，短信中心拦截后向发送方返回一条短信发送失败的消息；对于合法短信，短信中心向发送方返回短信发送成功的消息；短信被投递至目的用户。监控流程如下1）实时监控平台将生成的嫌疑垃圾短信记录上传至CRM系统；2）CRM系统接收实时监控平台传送的嫌疑垃圾短信举报记录，由人工进行审核，判断是否属于垃圾短信；如果发送方号码在白名单中，系统则进行放行处理；3）经人工审核后，如果判定为垃圾短信，系统可进行如下处理A）CRM系统向HLR发出通知，由HLR关闭发送方号码的短信功能，该发送方用户将无法继续发送短信；B）CRM系统将发送方号码加入黑名单列表，并向实时监控平台同步黑名单数据，后续实时监控平台再收到该用户的短信甄别请求时将通知短信中心拦截该用户发送的短信。332优劣势分析在拦截效果方面拦截实时性与准确性实时监控平台在短信未下发前进行判定并拦截，属于事中拦截，与准实时方式相比，拦截效果有很大提高。对后期的数据分析不能得到短消息发送过程的全部信息，如被叫号码所在端局MSC等信息，不能进行基于位置特点的统计分析和预测，不便于开展更深层次的数据挖据分析等。监控范围只能取得起呼到本省短信中心的消息，不能分析外省短信中心发给本省用户的短信，而目前大部分垃圾短信来自于外省，因此遗漏了很大一批垃圾短信的过滤与处理。另外，这种方法也无法解决模拟SMSC发送垃圾短信的情况。在投资成本方面通常一个省级运营商只需建设一套实时监控平台，系统硬件投入依据省份短信业务的规模，大约在8至12台小型机（或刀片服务器），整体投资规模较小。但实时监控平台容量要随短信中心业务量增长，按11比例进行扩容。在建设难度方面不涉及信令网络的改动，实时监控平台建设完毕后，与短信中心对接联调即可。短信中心需要升级改造，增加实时接口。整体来说系统建设难度小，工期短。对业务的影响及潜在风险（1）短信中心将MO/AO短信暂存并实时传递副本给实时监控平台，当实时监控平台出现故障时，可将短信中心与实时监控平台的接口断掉，短信中心按原有流程下发短信，业务不受影响。（2）改拦截方式短信起呼处理流程中增加了环节，使处理流程变长，根据测试结果，目的用户接收短信增加了约200MS左右的延时。34统一垃圾短信监控方式341实现原理及业务流程统一垃圾短信监控方式，是指监控平台在对短信的监控、甄别、分析、拦截等环节中，包含实时和准实时两种监控方式。监控平台对于黑名单用户以及甄别为垃圾短信的短消息，进行实时拦截，同时实时监控模块将短信副本发送给准实时监控模块，准实时监控模块对短信副本进行二次监控分析。系统根据预设的规则对用户的消息内容、发送流量、目的号码分布、发送成功率等进行分析，根据分析结果判定发送号码是否非法号码或可疑号码，将可疑号码交由人工审核；将非法号码由系统自动确认添加到黑名单，或通过人工审核方式加到黑名单。监控平台可将黑名单数据发送给短信中心，由短信中心进行拦截；或者同步给营帐系统，由营帐系统通知HLR关闭黑名单用户的短信功能。主要业务处理流程如图34所示统一垃圾短信监控系统SMSCORIGINALMSMOREQ1DELIVER_SM3DELIVER_SM_RESP4MOACK2DESTINATIONMS二次监控分析实时监控分析可疑或黑名单9MOREQ7MOACK85、拦截不下发图34统一垃圾短信监控平台接口处理流程监控处理流程如下1）源用户向其归属的短信中心提交短消息；2）短信中心向源用户返回起呼响应；3）短信中心向统一垃圾短信监控系统发送短信监控请求消息；4）统一垃圾短信监控系统向短信中心返回监控响应消息，根据设定的规则对短消息进行监控分析，将分析结果返回给短信中心；5）短信中心对统一垃圾短信监控系统返回的短信进行终呼处理，对于要求拦截的，消息不再下发；对于不要求拦截的，按正常终呼处理；6）垃圾短信监控系统对短信副本进行二次监控分析，根据系统预设的规则对用户的发送行为、短信内容、目的号码离散度等数据进行分析，生成可疑用户或者黑名单数据，经系统自动确认或人工审核后可将黑名单数据添加到垃圾短信监控系统中、或者同步到短信中心的黑名单表中、或者由营帐系统通知HLR关闭黑名单用户短信功能；7）黑名单用户再次发送短信时，直接由短信中心或监控平台拦截后向发送端返回短信发送失败的消息。342优劣势分析在拦截效果方面拦截实时性与准确性统一垃圾短信监控方式具备实时和准实时监控系统的优势，在实时监控基础上增加了二次监控分析的环节，能够进一步有效的识别出垃圾短信并加以拦截，同时也减少系统自动判别所造成的误判误拦的情况，是一种比较好的处理方式。对后期的数据分析由于都是从短信中心获取消息，所以对后期数据分析挖掘的支持程度与实时监控方式相同。监控范围仅监控本省短信中心发送的短消息。在投资成本方面在实时监控拦截方式的基础上要增加分析处理服务器，用于二次监控分析。在建设难度方面监控平台自身建设难度不大，但周边系统，如营帐系统、短信中心等要与其建立接口。短信中心要进行升级改造，调整内部业务处理流程。第四章信令拦截控制模式的原理及优劣势41实现原理及组网结构图41信令方式垃圾短信监控系统的部署示意图信令拦截控制模式是以无信令点方式将相互独立的信令分析设备（通常是信令处理机）串接到七号信令链路中，对流经该链路的信令消息进行采集、分析鉴别和处理。流经同一平面的同方向链路上的信令消息，被分配在处于完全独立工作状态的多组信令处理机之上。信令处理机内维护一个黑/白名单表和关键字表，黑白名单号码和关键字都是由监控平台进行同步更新。信令处理机根据黑名单与关键字对流经的MO/MT消息进行判断和拦截，同时将短信副本发送到短信监控平台，由监控平台对短信的发送行为、短信内容等进行分析处理。信息处理机对不需要处理的消息非SCCP消息,非MAP消息,非MO/MT消息，进行透明转发。将信令处理机串接在HSTP至LSTP间的七号信令链路中，可实时监控拦截省间垃圾短信；MPM串接在LSTP至SMSC、或LSTP与MSC的七号信令链路中，可实时监控拦截省内垃圾短信。以短信发送方在A省，接收方在B省为例，对B省收端监控系统的监控流程进行以下说明。信令处理机A省HSTP发送端B省HSTP/LSTPB省CRM短信监控平台1下发MT短信2转发MT短信3转发MT短信5转发短信消息码流7同步主叫黑名单1同步白名单2同步白名单初始化流程处理流程468根据黑名单增量拦截垃圾短信图42信令方拦截控制模式的处理流程图为保证重要客户不受垃圾短信监控系统的拦截，系统需进行初始化，其流程为1将重要客户的号码加入B省CRM白名单，B省CRM将白名单数据同步至垃圾短信监控平台；2垃圾短信监控平台将白名单数据同步至信令处理机。MT短信监控流程如下1发送端向A省短信中心提交短消息，A省短信中心完成MO流程处理后，下发MT短信，A省HSTP通过七号信令网将MT短信转发至B省HSTP/LSTP；2B省HSTP/LSTP接收到信令消息后，通过信令网向省内MSC下发MT短信；3信令处理机获取到数据链路流经的信令消息，根据设定的黑/白名单、关键字等规则对MT短信进行判断；4）信令处理机对白名单用户短信实施放行；对黑名单用户短信和符合拦截规则的短信，实施拦截；其它MT短信正常下发；5信令处理机同时将获取到的MT短信副本同步给垃圾短信监控平台；6垃圾短信监控平台根据系统预设的分析方法和规则，对MT短信的发送行为、短信内容等信息进行分析处理，对可疑短信进行人工审核，将判定为垃圾短信的发送方号码加入黑名单；7）垃圾短信监控平台以增量或全量的方式定期将黑名单数据同步至信令处理机；8信令处理机依据更新后的黑名单，对黑名单用户所发起的MT短信进行拦截。业务应用信令控制逻辑的修改信令拦截监控方式通过在七号信令的链路功能层直接更改信令消息的号码，修改了业务应用信令控制逻辑，从而达到控制非法短信拦截的目的,这种监控方式的实现既不需要应用层的协议对话，也不需要信令点编码。在业务处理过程中不改变信令应用层的协议流程，对信令网的通信协议对话是透明的。由于信令处理机是串接在七号信令链路中，其可靠性直接影响通信链路畅通与否，所以系统的关键设备信令处理机应采用与信令网一致的双物理路由、双平面组网，并按信令网的两个平面独立安装在两个STP机房或传输机房。42拦截实现机理信令处理机的拦截原理是信令处理机收到MSU消息后，首先判断是否为SCCP消息，如果不是则透明传递；如果是SCCP消息，且承载的消息为TCAP、MAP，则判断MAP消息的操作码是否为44或46，如果不是则透明传递；如果是44或46，则根据系统设定的规则进行判别处理。如果判定不是垃圾短信，则直接转发到信令链路上；如果判定是垃圾短信，则将原MSU消息进行修改，并将修改后的MSU消息转发到信令链路上，使该条短信被传递到发送方的短信中心，从而实现拦截。以省间MT垃圾短信为例，其拦截处理流程如下图43省间MT拦截处理流程图A）信令处理机收到来自HSPT的MTFSM消息，对信令消息的主叫地址、被叫IMSI和短信内容进行黑名单过滤和关键字判别，经判定该条短信需要拦截，则信令处理机将原MSU消息的SCCP主、被叫地址进行颠倒。B）信令处理机将更改后的MSU消息发送到信令链路上。C）LSTP在进行GT翻译时，根据SCCP的被叫地址（实际为短信发送方的短信中心地址）将该MSU消息从上行方向上发送，传递至信令处理机。D）信令处理机收到该消息时判断在上行方向收到MTFSM，则将该MTFSM消息再次更改为MTFSMACK消息，在上行方向链路上发送至HSTP，该消息最终传递到了源短信中心，从而达到了MT短信拦截的目的。MO短信的处理流程与机制与MT基本一致，只是设备放置的位置不同，信令处理机应放在LSTP与SMSC之间。43信令拦截控制模式的优劣势分析（1）在拦截效果方面（A）拦截实时性与准确性信令监控方式具有更高的实时性。信令