【专业硕士论文】垃圾短信监控系统的技术研究与实际应用工程硕士论文阶段报告

工程硕士论文阶段报告论文题目垃圾短信监控系统的技术研究与实际应用第一章引言11课题的提出111研究背景近年来，垃圾短信泛滥的情况愈演愈烈，几乎每个手机用户都受到过垃圾短信的侵扰。垃圾短信给社会造成的主要危害为滋长犯罪、传播不文明内容、污染社会文化环境和造成潜在的经济损失等。调查说明垃圾短信在泛滥的同时，对社会造成的影响是全方位的，尤其以滋长犯罪最为严重。作为手机短信平台管理者电信运营商有责任采取相关的技术手段，规范短信行为。112理论与实践意义今天，以互联网和移动通信为代表的信息通信技术已成为人们日常生活中不可缺少的部分，正改变着人们的工作方式和生活方式以及思维方式。短信业务量随着手机用户的增多也呈迅速增长的趋势。然而，短信业务迅猛发展的同时也夹带着大量的垃圾短信充斥我们的生活。通过对垃圾短信这一社会现象的研究，为治理垃圾短信问题提供理论、方法和对策，对社会规范的建立，构建和谐社会环境有着很好的社会效应和现实意义。12本人所作的工作及论文结构121本人所作的工作我在天津联通的垃圾短信综合治理专项工作中，负责垃圾短信拦截系统部署、拦截策略制定及优化、系统拦截效果评估及分析改进等工作。在近两年的垃圾短信综合治理专项工作中，通过利用垃圾短信监控系统实施技术拦截，我对垃圾短信的拦截技术手段和方式有了一定的认识和经验。122论文结构第一章是引言，介绍了课题研究的必要性、本人所作工作及文章的结构安排。第二章论述垃圾短信的界定和成因，分析目前垃圾短信的现状。第三章阐述及分析短信中心控制模式的原理及优劣势。第四章阐述及分析信令拦截控制模式的原理及优劣势。第五章对几种主要的垃圾短信过滤技术原理进行分析、对比。第六章详述天津联通垃圾短信监控系统的设计与实现。第七章对本文进行了总结，并对今后垃圾短信拦截技术的发展进行展望。第二章垃圾短信的成因与现状21短消息概述所谓短消息就是通过GSM网络传输的有限长度的文本数字或文字信息。短消息的业务流程分为移动台发送短消息（MO）、移动台接收短消息（MT）。在点对点短消息业务中，短消息由移动终端发送后，被存储在发送方归属的短信中心中，再通过SMS协议转发给接收方。发送方/接收方终端不论是在本地移动网还是漫游中，都可以收发短信。如果接收方终端由于关机、寻呼无响应、终端存储空间不足等原因接收短信失败，短信中心可在一段时间内（默认是48小时）保留短信，等到接收方终端发出提醒消息提示可以接收短信后，再转发给接收方移动终端。PDU是发送或接收手机SMS消息的一种方法。消息正文经过十六进制编码后进行传送。PDU串可看作由短信中心地址TPDU串组成。点对点短消息通信中，信息传输虽然会经过很多中间设备，但最终表现在两个对等短消息实体间进行。短消息传输层的协议数据单元称作TPDU，它包含6种PDU数据。22垃圾短信的界定在关于依法开展治理手机违法短信息有关工作的通知中，公安部规定了严格禁止的五大类信息。根据互联网协会发布短信息服务规范的定义“垃圾短信是指未经用户同意向用户发送的、用户不愿意收到的短消息，或用户不能根据自己的意愿拒绝接收的短信息，主要包含未经用户同意向用户发送的商业类、广告类等短信息”；而对违法和不良短信息，则规定了十三种特征。根据工信部、公安部、联通总部对垃圾短信的相关规定，对垃圾短信界定如下短信内容中含有五类违法信息、不健康信息、商业广告性质的均可视为垃圾短信。23垃圾短信的成因由于手机短信具有以下特点，使它成为垃圾短信发送者的选择目标。（1）短信具有传播迅速、覆盖面广、价格低廉的特点。（2）沟通的隐藏特点在手机短信的收发过程中，发送方、接收方都处于身份隐匿状态。（3）通信个人化的特点手机本身是一个移动的通信平台，每个用户都是独立的传播者，对于点对点短信的发送，在技术层面上很难做到在开放的通信平台上进行屏蔽和过滤。（4）变化和变异的特点垃圾短信发送者不断变化的表达形式，应对并逃避对监管单位对垃圾短信的管控和清理。24垃圾短信的传播途径1）利用手机终端发送MOMT短信使用手机内置的短信群发功能，或是将手机连接到计算机上，利用电脑软件进行短信群发。2）利用群发器发送MOMT短信通过插多个SIM卡，可以同时利用多张卡群发短信。目前，垃圾短信主要靠这种方式传播。3）端口发送垃圾短信SP利用行业端口、自有群发平台端口进行短信群发。随着运营商监管力度的加大，目前这种垃圾短信量已越来越少。4）模拟短信中心群发利用信令网对信令消息的源GT及信令点编码没有校验的缺陷，使用信令网设备模拟短信中心发送垃圾短信。25垃圾短信的现状（1）据统计，绝大多数垃圾短信是通过点对点方式进行传播的。（2）从垃圾短信内容来看，占比最大的为广告类和违法欺诈短信（3）发送行为的主要特点有以下几点多张SIM卡被复制以后，同时激活附着网络，可以同时存活于不同的MSC下，同时发送短信。采用大量号码，模拟正常用户以较低的发送频率进行垃圾短信发送。表达形式多样，通过短信内容变异来躲避系统监控。短信内容竖形排版，使得关键宇识别方式失效。群发时错开多个时段群发甚至在凌晨时段群。26垃圾短信的危害性1）扰乱他人安宁生活，败坏社会风气2）形成垃圾短信产业链，危害正规SP发展。3）造成信任危机，危害社会团结稳定。4）少数不法分子利用它传播黄色信息，毒化社会风气。5）境外少数敌对分子企图利用短信散布各种谣言，破坏社会稳定。6）别有用心的人利用短信传播不实消息和谣言，使群众人心惶惶。27垃圾短信监控系统建设的意义1）企业社会责任的需要维护通信市场秩序、净化网络和信息环境，是电信运营商必须承担的社会责任。2）企业品牌形象的需要垃圾短信的治理将可以在一定程度上提升电信运营商短信业务服务水平，提高用户的满意度。3）减少网络资源无效占用的需要由于点对点短消息大量申请信道也可能阻塞手机申请信道，因此会降低手机的接通率。第三章短信中心控制模式的原理及优劣势31短信中心控制模式概述垃圾短信监控系统与本省短信中心（SMSC）连接，由短信中心根据设定的主叫号码黑名单对MO/AO短信进行监控与拦截，并将拦截的主叫号码、发送时间、目的号码等数据发送给垃圾短信监控系统，供垃圾短信监控系统进行统计分析。32准实时监控拦截方式准实时模式下，SMSC通过以短信话单、日志等方式周期性地向准实时监控平台提交短信数据，准实时监控平台对短信合法性进行判断，根据对预设的短信分析模型进行处理。该方式属于非实时事后拦截，从监控到实施拦截存在较大的延时，拦截及时性和准确性较差。33实时监控拦截方式实时模式下，实时监控平台通过IP网络与短信中心互连，通过SMPP协议进行消息传递与交互。短信中心对用户提交的短信首先进行暂存，通过接口实时地向实时监控平台提交短信甄别请求，实时监控平台根据对系统预先定义的策略进行匹配判别，并通过接口将判别结果实时反馈给短信中心。短信中心接到反馈消息后，对甄别不通过的短信进行拦截，对甄别通过的短信进行下发处理。实时监控平台在短信未下发前进行判定并拦截，属于事中拦截，与准实时方式相比，拦截效果有很大提高。34统一垃圾短信监控方式统一垃圾短信监控方式，是指监控平台在对短信的监控、甄别、分析、拦截等环节中，包含实时和准实时两种监控方式。统一垃圾短信监控方式具备实时和准实时监控系统的优势，在实时监控基础上增加了二次监控分析的环节，能够进一步有效的识别出垃圾短信并加以拦截，同时也减少系统自动判别所造成的误判误拦的情况，是一种比较好的处理方式第四章信令拦截控制模式的原理及优劣势41实现原理及组网结构信令拦截控制模式是以无信令点方式将相互独立的信令分析设备（通常是信令处理机）串接到七号信令链路中，对流经该链路的信令消息进行采集、分析鉴别和处理。将信令处理机串接在HSTP至LSTP间的七号信令链路中，可实时监控拦截省间垃圾短信；MPM串接在LSTP至SMSC、或LSTP与MSC的七号信令链路中，可实时监控拦截省内垃圾短信。42拦截实现机理信令处理机的拦截原理是信令处理机收到MSU消息后，首先判断是否为SCCP消息，如果不是则透明传递；如果是SCCP消息，且承载的消息为TCAP、MAP，则判断MAP消息的操作码是否为44或46，如果不是则透明传递；如果是44或46，则根据系统设定的规则进行判别处理。如果判定不是垃圾短信，则直接转发到信令链路上；如果判定是垃圾短信，则将原MSU消息进行修改，并将修改后的MSU消息转发到信令链路上，使该条短信被传递到发送方的短信中心，从而实现拦截。43信令拦截控制模式的优劣势分析信令监控方式具有更高的实时性。信令采集分析与短消息发送的事件同步进行，更加及时的监测分析有害消息，通知BSS、短信中心等系统进行处理，及时减小危害的扩散。但在七号信令网络中串接大量信令处理机，增大了信令网信令传送时延，增加了网络故障点，对网络有一定的影响。另外，在每组HSTP/LSTP与SMSC之间都要部署一套信令处理机，投资成本较大。第五章垃圾短信过滤方式51号码黑白名单过滤方式通过判断短信发送号码是否在黑/白名单表中，以此决定该号码发送的短信实行拦截还放行处理。通常自动生成黑名单的方法有（1）话单分析机制就是垃圾短信监控平台定时从短信中心获取短信原始话单进行统计分析，依据分析结果自动判定该主叫号码是否加入黑名单。话单分析机制的优点是原理简单，系统改造小，便于实现；但其不足在于该机制实时性差。（2）实时自动检测机制发到短信中心的短消息被旁路到垃圾短信监控平台，监控平台依据设定的策略对短消息进行实时分析，一旦判定某个号码所发送的短消息是垃圾短信，立刻将短信发送号码设定到黑名单中，并实时同步给短信中心。实时自动检测机制在实施性上有所提高。黑白名单过滤技术简单高效，对系统资源的消耗小，系统实现简单。但缺点是黑名单号码发送的正常短信也会被拦截，而且垃圾短信发送者通常在群发短信时频繁更换号码，所以黑白名单过滤技术不宜单独使用，应与其它过滤方式组合使用，起到补充的作用。52基于频率的过滤方式基于频率的过滤方式是指对设定的时间段内同一号码发送的短信条数进行检测，通过分析用户在此时段内发送短信的频率来判断主叫用户是否在发垃圾短信。基于频率的过滤方式规则过于简单，拦截有效性及实时性较差，误拦率较高，目前垃圾短信发送者多使用低频多号的方式群发短信，该过滤方式对其也无能为力，所以基于频率的过滤方式在整体过滤方案中应结合其它方式一起使用。53基于关键字的过滤方式关键字短信过滤方式是将现有短信内容与已建立的垃圾短信关键字库进行实时匹配，相吻合的短信被视为垃圾短信。这种过滤方式必须要建立一套准确的垃圾短信关键字库，并要及时对关键字更新维护。基于关键字的过滤方式与前两种过滤方式相比，拦截效果要更为精准；不足之处在于要不断更新关键字库以过滤新出现的关键字，但对于形近字代替、同音字代替、拼音代替等变异的垃圾短信，这种过滤方式就无法识别过滤；而且对于正常短信，该过滤方式的误判情况也会多有发生。54基于行为和内容协作判别的过滤方式将黑名单、关键字和频率三种过滤机制进行融合，发挥各种机制的优势，可弥补采用单一处理方法所存在的问题。为了更好地实现垃圾短信的过滤，本文提出了将短信发送行为和内容组合进行判别的垃圾短信过滤方法。基于行为和内容协作判别的过滤方式的流程为A采集短信消息流。B对短信的主叫号码进行黑白名单的判别C对短信主叫号码进行行为分析。D对短信内容进行预处理后，通过短信长度过滤和关键词过滤对短信内容进行匹配识别。为了在关键字过滤环节中达到更好的效果，需对中文短信进行内容预处理，包括进行UNICODE编码、进行编码替换、进行拼音替换。关键词过滤可利用多种算法来实现过滤任务，其中贝叶斯分类算法相对目前的垃圾短信过滤技术而言，具有较好的运行效果。贝叶斯分类算法是一种利用概率识别垃圾短信的方法，其理论基础是贝叶斯定理。第六章天津联通垃圾短信监控系统的设计与实现61天津联通短信网络情况天津联通目前有短信中心一套，实现每秒2900条短信的业务处理能力62垃圾短信监控系统设计目标拟定建设一套发端短信中心实时监控系统，与原有的准实时监控系统建立黑名单同步接口，由准实时监控系统进行黑名单用户拦截，实时监控系统进行短信甄别判定及黑名单用户的生成，两套系统配合使用，共同实现省内发端垃圾短信的监控与拦截。垃圾短信监控系统监控范围包括（1）网内点对点短信（2）网间互通短信（3）自有业务短信（4）集团客户/行业应用短信（5）SP短信63垃圾短信监控系统的结构与功能631系统逻辑结构垃圾短信监控管理系统逻辑上可以划分为四层业务接入层、业务处理层、业务管理层、操作维护层。业务接入层由业务接口模块构成，实现与外部监控数据源的接口功能。业务处理层由多个业务处理模块构成。在接收到业务接口模块发送的监控请求消息之后，业务处理模块进行如下处理对短信内容进行解码，并进行内容识别，根据垃圾短信的判断策略，判断短信是否为垃圾短信，并生成判断结果，如果判断为垃圾短信，则向业务管理模块发送监控结果通知消息。业务管理层由业务数据库和业务管理模块构成，提供保存系统配置信息、监控日志信息、统计分析数据等；提供系统配置数据管理、黑、白名单管理等功能。操作维护层由OMMSERVER和操作维护台构成，向终端用户提供图形化操作维护界面。632系统功能提供垃圾短信监控功能包括流量监控功能、流量监控号段组功能、关键字监控功能、特殊字符自动过滤功能、特殊用户过滤功能、区分消息来源功能。提供用户行为分析功能目的用户连续性监控、目的用户离散度和规律性监控、