垃圾短信监控系统的技术研究与实际应用

论文题目 垃圾短信监控系统的技术研究与实际应用,论文的主要内容,信令拦截控制模式的原理及优劣势,4,1,垃圾短信的成因与现状,2,短信中心控制模式的原理及优劣势,3,垃圾短信几种常见过滤方式的介绍,5,天津联通垃圾短信监控系统的设计与实现,6,总结与展望,垃圾短信的成因与现状,一、垃圾短信的界定,垃圾短信法律层面的界定在我国尚属空白，多数为部门规章笼统表述为含有违法有害、虚假诱骗、低级庸俗、垃圾广告等内容的短信息，但具体分类与范围不规范也不统一。根据中国互联网协会短信息服务规范和中国互联网协会反垃圾短信息自律公约的界定，大致分为两大类：1、广告类垃圾短信息：是指未经用户同意向用户发送的商业类、广告类等短信。2、违法和不良类短信息：是指违反国家有关法律法规的,低级恶俗的短信息。,垃圾短信的成因与现状,二、垃圾短信的成因,（1）传播和阅读的特点：一是传播快捷、面广和价格低廉。二是阅读的全时性和强迫性。（2）沟通的隐藏特点：短信发送者的真实身份不会因短信而暴露，从而诱发了垃圾短信的泛滥。（3）通信个人化的特点：手机本身就是一个移动的通信平台，每一个用户都是一个独立的传播者，在技术层面上很难做到在开放的通信平台上进行屏蔽和过滤。（4）变化和变异的特点：垃圾短信发送者往往采用花样繁多的“变异”手段，应付过滤、封堵等技术手段的实施。,垃圾短信的成因与现状,三、垃圾短信的传播途径,（1）利用手机终端发送MO-MT短信。使用手机内置的短信群发功能，或是将手机连接到计算机上，利用电脑软件进行短信群发。因为手机需要收到短信中心发出的submit-res消息后才会发下一条短信，所以该方法特点就是速度慢。（2）利用群发器发送MO-MT短信。短信群发器可以同时利用多张SIM卡群发短信，而且在群发短信时不会等待submit-res消息，而是直接将短信以最大速度向外推送。目前，垃圾短信主要靠这种方式传播。（3）端口发送垃圾短信。随着运营商监管力度的加大，目前这种垃圾短信量已越来越少。（4）模拟短信中心群发。不法分子利用信令网对信令消息的源GT及信令点编码没有校验的缺陷，使用信令网设备模拟短信中心发送垃圾短信。,垃圾短信的成因与现状,四、垃圾短信的现状,1、传播途径的统计结果：12321不良信息举报中心2011年3-5月统计数据显示，垃圾短信投诉中，点对点垃圾短信投诉占比高达96.9%，端口类垃圾短信投诉占3.1%。2、垃圾短信内容的统计结果：占比最大的为广告类和违法欺诈短信。根据中国联通2010年1-10月各省垃圾短信统计数据，商业广告类占49%，违法欺诈类信息占29%。3、发送行为的主要特点：利用复制卡发送垃圾短信：被复制的多张SIM卡同时存活于不同的MSC下，同时发送短信。低频发送：采用大量号码，模拟正常用户以较低的频率发送垃圾短信。内容表达形式不断变化，多种多样：在短信内容中嵌入特殊符号、标点等，或是以全角代替半角，以拼音代替中文，或是竖形排版等。,垃圾短信的成因与现状,五、垃圾短信的危害,对社会的危害：侵害了他人的的通信自由，扰乱他人安宁生活，令短信诈骗案件增加，败坏社会风气。形成垃圾短信产业链，危害正规SP发展。不法分子利用它编造、散布各种谣言，引发社会恐慌，破坏社会稳定。对运营网络的危害： 对国家骨干信令网安全的威胁。由于短信传输通过的是信令网，因此一段时间内的大量群发短信会对信令网造成巨大的负荷。 对本地通信网安全的威胁。基站、短信中心等设备受突发垃圾短信的冲击，会造成负荷过重而出现拥塞。所以，运营商基于社会责任、品牌形象、网络资源安全的需要，要对垃圾短信进行及时有效的监控，因而需建设一个完备的垃圾短信监控系统。,论文的主要内容,信令拦截控制模式的原理及优劣势,4,1,垃圾短信的成因与现状,2,短信中心控制模式的原理及优劣势,3,垃圾短信几种常见过滤方式的介绍,5,天津联通垃圾短信监控系统的设计与实现,6,总结与展望,短信中心控制模式的原理及优劣势,准实时模式下，SMSC通过以短信话单、日志等方式周期性地向准实时监控平台提交短信数据，准实时监控平台对短信合法性进行判断，根据对预设的短信分析模型进行处理。,一、准实时监控拦截方式实现原理及业务流程,短信中心控制模式的原理及优劣势,一、准实时监控拦截方式优劣势分析,技术实现：拦截实时性：准实时监控平台在生成嫌疑号码后实施拦截，属于非实时(事后)拦截，从监控到实施拦截存在较大的延时，拦截及时性和准确性较差。丰富性：不能得到短消息发送过程的全部信息，如被叫号码所在端局MSC等信息，不便于开展更深层次的数据挖据分析等。全面性：由于省际点对点垃圾短信从归属省短信中心下发，因为无法实现省际点对点垃圾短信的监控、拦截。投资成本：系统硬件投入依据省份短信业务的规模，大约在2至8台小型机或服务器，整体投资规模较小。建设难度：准实时监控平台相对独立、简单，系统建设难度小、工期短。对业务的影响及潜在风险：不改变原有短信处理流程，当准监控平台出现故障时，短信业务完全不受影响；短信处理时长也不受影响。,短信中心控制模式的原理及优劣势,实时模式下，实时监控平台通过SMPP协议进行消息传递与交互。 短信中心对用户提交的短信首先进行暂存，通过接口实时地向实时监控平台提交短信甄别请求。实时监控平台对短信合法性进行判断，将合法的短信通过接口实时反馈可以下发指令，对不合法的短信进行拦截。,二、实时监控拦截方式实现原理及业务流程,短信中心控制模式的原理及优劣势,二、实时监控拦截方式优劣势分析,技术实现：拦截实时性：实时监控平台在短信未下发前进行判定并拦截，属于事中拦截，拦截效果有很大提高。丰富性：不能得到短消息发送过程的全部信息，不便于开展更深层次的数据挖据分析等。全面性：只能取得起呼到本省短信中心的消息，不能分析外省短信中心发给本省用户的短信，也无法解决模拟SMSC发送垃圾短信的情况。投资成本：系统硬件投入依据省份短信业务的规模，大约在8至16台小型机（或刀片服务器），整体投资规模较小。但实时监控平台容量要随短信中心业务量增长，按1：1比例进行扩容。建设难度：不涉及信令网络的改动，实时监控平台建设完毕后，与短信中心对接联调即可。系统建设难度小，工期短。对业务的影响及潜在风险：短信中心将MO/AO短信暂存并实时传递副本给实时监控平台，当实时监控平台出现故障时，可将短信中心与实时监控平台的接口断掉，短信中心按原有流程下发短信，业务完全不受影响。此拦截手段改变了原有短信业务流程，根据测试结果，由于改变业务流程增加了200ms左右的延时。,短信中心控制模式的原理及优劣势,统一垃圾短信监控方式，是指在系统包含实时和准实时两种监控工作方式下，参与短信的终呼流程，对于被监控到的垃圾短信，则实时拦截，同时可以通过实时监控系统抄送的消息，由准实时监控模块进行二次监控分析。系统对用户的发送频次、消息内容、发送失败原因、目的号码分布、消息内容分布等进行分析处理，发现可疑用户或者黑名单用户，通过系统自动确认或者人工核实的方式，产生黑名单用户记录，由系统自行拦截、或者加入到短信中心黑名单表中、或者传送给营帐系统，由营帐系统通知HLR，将相应用户的短信功能关闭，后续该黑名单用户在特定的有效期内将不再具备起呼短消息的功能，达到控制非法用户发送垃圾短信的目的。,三、统一垃圾短信监控方式实现原理,短信中心控制模式的原理及优劣势,三、统一垃圾短信监控方式业务流程,短信中心控制模式的原理及优劣势,三、统一垃圾短信监控方式优劣势分析,统一垃圾短信监控在不需要短信中心修改接口的情况下，通过融合实时和准实时系统，既具备实时监控系统的及时性，也兼顾了准实时监控系统的准确性，是一种比较好的处理方式。,论文的主要内容,信令拦截控制模式的原理及优劣势,4,1,垃圾短信的成因与现状,2,短信中心控制模式的原理及优劣势,3,垃圾短信几种常见过滤方式的介绍,5,天津联通垃圾短信监控系统的设计与实现,6,总结与展望,信令拦截控制模式的原理及优劣势,一、实现原理及组网结构,将信令处理机(MPM)接入HSTP至LSTP间的七号信令链路实现省际点对点垃圾短信的实时拦截，MPM接人LSTP至SMSC、或LSTP与MSC的七号信令链路实现省内点对点垃圾短信的实时拦截。,信令拦截控制模式的原理及优劣势,信令处理机（MPM）的工作原理：由于短消息是由操作码为44或46的MAP消息承载的，所以MPM只对操作码为44或46的MAP消息进行处理。MPM收到MSU消息后，首先判断是否为SCCP消息，如果不是，则直接转发到信令链路上；如果是SCCP消息，且承载的消息为TCAP、MAP，则进一步判断MAP消息的操作码。如果不是44或46，也直接转发到信令链路上。如果是44或46，则根据系统设定的垃圾短信判定规则进行业务处理。如果判定不是垃圾短信，则直接转发到信令链路上；如果判定是垃圾短信，需要拦截，则将原MSU消息进行修改，并将修改后的MSU消息转发到信令链路上，使该条短信传递过程终止。,信令拦截控制模式的原理及优劣势,信令处理机（MPM）的部署要求：每个MPM设备相当于传输线路上的再生器，可靠性等同于信令网的可靠性。所以，系统的关键设备信令处理机MPM应采用与信令网一致的双物理路由、双平面组网，并按信令网的两个平面独立安装在两个STP机房或传输机房。MPM设备伴随STP分两地放置，当一个MPM设备不可用时，信令网会自动检测到，对这时传递中还没有得到连接的信令点证实的消息会自动重新发送，由连接在同一链路组的其他MPM设备将信息传递到目的地，该容错技术能保证在MPM故障时不会丢失信令消息，因此正在接续中的呼叫也不会受影响。,信令拦截控制模式的原理及优劣势,二、业务流程,以省间MT垃圾短信为例，其拦截处理流程如下：,信令拦截控制模式的原理及优劣势,二、业务流程,流程说明：A）MPM收到来自HSPT的MT消息，经判定该条短信属于拦截短信，需要拦截，MPM将原MSU的SCCP主/被叫地址进行颠倒。B）MPM将更改后的MSU消息发送到信令链路上。C）在GT翻译时，LSTP根据SCCP的被叫地址（实际为垃圾短信发送方的短信中心地址）将该MSU从上行方向上发送，并传递至MPM。D）MPM收到该消息时，判断在上行方向收到MT-FSM，MPM将该MT-FSM消息更改为发送成功确认消息MT-FSM-ACK，在上行方向链路上发送至HSTP，最终传递到源短信中心。由于MT-FSM没有通过MSC下发至用户终端，从而达到了MT方向的短信拦截目的。MO短信的处理流程与机制与MT基本一致，只是设备放置的位置不同，是放在LSTP与SMSC之间。,信令拦截控制模式的原理及优劣势,三、优劣势分析,技术实现：实时性：信令监控方式具有更高的实时性。信令采集分析与短消息发送的事件同步进行，更加及时的监测分析有害消息，通知BSS、短信中心等系统进行处理，及时减小危害的扩散。丰富性：信令监控方式可取得短消息发送过程的全部信令，获取的内容更加丰富，便于进行深层次的数据挖据和分析。全面性：可监控拦截省内、省际的全部短信，包括点对点短信、模拟短信中心群发的非法短信，全面控制垃圾短信的传播投资成本：在每组HSTP/LSTP与SMSC之间都要部署一套信令处理机，投资成本较大。建设难度：涉及信令网络的改动，信令处理机需串接在HSTP/LSTP与SMSC之间的信令链路中，工程量大。风险性在信令网络中串接大量信令处理机，增加了网络的故障点，当出现全部信令处理机发生故障的极端情况时，会导致信令网络的瘫痪，短信业务中断。,论文的主要内容,信令拦截控制模式的原理及优劣势,4,1,垃圾短信的成因与现状,2,短信中心控制模式的原理及优劣势,3,垃圾短信几种常见过滤方式的介绍,5,天津联通垃圾短信监控系统的设计与实现,6,总结与展望,垃圾短信几种常见过滤方式的介绍,一、号码黑白名单过滤方式,号码黑白名单过滤机制是根据短信发送号码来实现过滤的。白名单用户发送短信时，不做任何监控过滤，直接通过黑名单用户发送的任何短信，系统都进行拦截，禁止短信下行。黑名单生成的常见方式有：,垃圾短信几种常见过滤方式的介绍,二、基于频率的过滤方式,通过分析用户在某一时段内发送短信的频率，来判断主叫用户是否在发垃圾短信。监控系统应针对不同统计时段设置对应的垃圾短信频次阈值，设置多个时间粒度进行频次判别与控制。基于频率的过滤方式规则过于简单，如果单一使用，拦截有效性较差，误拦率较高，应结合其它方式一起使用。,垃圾短信几种常见过滤方式的介绍,三、基于关键字的过滤方式,该方式是将现有短信内容与已建立的垃圾短信关键字库进行实时匹配，相吻合的短信被视为垃圾短信。字库中的关键字来源有：管理员主观设定、从用户反馈的垃圾短信内容、人工审核的可疑短信内容为应对目前花样繁多的垃圾短信，过滤系统应具备：支持对短信内容中特殊字符的自动筛检支持多个关键字“与、或、非”以及“（）”的逻辑组合监控与前两种过滤方式相比，基于关键字的过滤方式拦截效果要更为精准，但误判的情况还会多有发生,垃圾短信几种常见过滤方式的介绍,四、基于行为和内容协作判别的过滤方式,为弥补前三种技术方式在垃圾短信过滤中的不足, 本文提出了一种融合黑名单、关键字和频率三种过滤机制，将短信发送行为和内容组合进行判别的垃圾短信过滤方法。处理流程如下：,垃圾短信几种常见过滤方式的介绍,四、基于行为和内容协作判别的过滤方式,关键技术细节行为分析,原理：分析垃圾短信发送行为的规律，由此建立垃圾短信发送行为分析模型。对采集到的短消息流进行监控分析，如果某个用户的短信发送行为符合行为模型，则判定为可疑用户。具体行为分析模型见下表,垃圾短信几种常见过滤方式的介绍,四、基于行为和内容协作判别的过滤方式,关键技术细节 中文短信预处理,对中文短信进行内容预处理，步骤如下：步骤1：进行Unicode编码：统一使用16 bit的编码格式，便于下一步进行编码替换步骤2：进行编码替换：过滤系统维护一张所有Unicode字符的替换字符对应表，对应表包括的内容有：全角字符的对应半角字符；一些经常使用的象形字母的对应；所有的标点符号、空格和非中文的字符全部对应空字符；其他所有的大写字母统一替换成小写字母。步骤3：进行拼音替换：将所有的中文字符替换成拼音，非中文字符则保持原状。内容预处理机制能够成功运行的关键是：用于比对的关键字列表必须和短信内容一起按照相同的规则进行预先处理，当打开了拼音替换模块后，短信的内容最终转换成拼音，而用于匹配的关键字也必须经过拼音替换。,垃圾短信几种常见过滤方式的介绍,四、基于行为和内容协作判别的过滤方式,关键技术细节内容分析,在该环节中，首先对短信长度进行分析过滤，再进行关键词分析过滤。（1）短信长度过滤流程：设垃圾短信的长度大于等于x， 当短信长度小于x 时，则认为该短信是正常短信，予以直接通过并发送；对短信长度大于等于x 的短信作为可疑短信，进入关键词过滤模块确认。（2）关键词过滤流程：贝叶斯分类算法相对目前的垃圾短信关键字过滤技术而言，具有较好的运行效果。,论文的主要内容,信令拦截控制模式的原理及优劣势,4,1,垃圾短信的成因与现状,2,短信中心控制模式的原理及优劣势,3,垃圾短信几种常见过滤方式的介绍,5,天津联通垃圾短信监控系统的设计与实现,6,总结与展望,天津联通垃圾短信监控系统的设计与实现,一、垃圾短信监控系统设计目标,在满足中国联通集团公司规范功能要求的基础上，实现对各种垃圾短信业务进行监控