（系统工程专业论文）互联网短信监控系统的设计与实现.pdf

摘要 在短信息高速发展的时代，人们在享受短信息带来便捷、低廉通信的同时，也带来 了信息安全方面的问题。规范短信市场，净化短信内容，加强对短信服务商的监管，除 了有相关的政策法规，在技术层面上也有相应的措施，互联网短信监控系统就是在技术 上为解决这一问题而诞生。 本文针对目前短信安全管理的不足，深入分析电信运营商互联网短信网关接口协议 和模式匹配算法，并结合网络嗅探技术，设计并实现了基于c s 模式的互联网短信监控 系统，确保有害短信被及时发现并拦截。该系统支持c m p p 、s g i p 、s m g p 等多种类型 的网络应用协议，整个系统由互联网短信监控中心和客户端监控探头构成，互联网短信 监控中心提供强大的管理功能，包括被控对象管理、用户管理、权限管理、短信过滤规 则管理、短消息内容管理以及日志管理等，客户端监控探头根据监控中心下发的短信过 滤规则，采用高效的关键词匹配算法对嗅探到的网络短信数据包进行分析处理，并将所 有短信上报至互联网短信监控中心保存。同时所有短信可以按照短信内容、发送时间、 源发送地址、目的发送地址进行查询。该系统在一定程度上防范了短信诈骗、短信犯罪 发生的可能，降低了问题短信的恶劣影响。并在系统中形成相应的记录，便于管理机关 进行所需的数据分析。 本文研究的互联网短信监控系统经过反复测试和完善，目前性能良好、运行稳定， 达到了系统开发的目标。 关键词：短信l 协议分析；模式匹配算法；c s ；监控 a b s t r a c t w i t ht h ef a s td e v e l o p m e n to fs m s ，p e o p l ec a ne n j o yt h ef a c i l i t a t i o na n dl o w c o s to f c o m m u n i c a t i o n b u tt h ei n f o r m a t i o ns a f e t yi se m e r g i n ga tt h es a l l et i m e i no r d e rt o s u p e r v i s et h es m ss e r v i c e ，t h e r ea lem a n yr e l a t i v ep o l i c i e s i nt h et e c h n i c a ll e v e l ，t h e r ei s n e t w o r ks m sm o n i t o r i n gs y s t e mw h i c hi sd e s i g n e dt os o l v es u c hp r o b l e m s i no r d e rt o g u a r a n t e et h en e t w o r ks m ss a f e t yc o n t r o l ，t h i st h e s i sa n a l y z e st h e c o m m u n i c a t i o np r o c e s so fn e t w o r ks m s ，m a t c h i n ga l g o r i t h m ，a n dc o m b i n ew i t hn e t w o r k s n i f f e rt e c h n o l o g y , t h e nd e s i g na n di m p l e m e n tan e t w o r ks m sm o n i t o r i n gs y s t e mb a s e do n c sm o d e l ss y s t e mc a nb l o c kt h eb a dm e s s a g ei nr e a lt i m e i ts u p p o r t sc m p p , s g 皿 s m g p , e c t t h ew h o l es y s t e mi sb u i l tw i t hn e t w o r ks m sm o n i t o rc e n t e ra n dc l i e n tm o n i t o r p r o b e 1 1 1 en e t w o r ks m sm o n i t o rc e n t e rp r o v i d e ss t r o n gm a n a g ef u n c t i o n s , l i k e0 b je c t m a n a g e ，u s e rm a n a g e ，a c c e s sm a n a g e ，f i l t e rr u l e sm a n a g e ，c o n t e n tm a n a g ea n dl o gm a n a g e t h ec l i e n tm o n i t o rp r o b ea n a l y s e st h en e t w o r ks m s p a c k e ts n i f f e db yh i g he f f i c i e n tk e y w o r d m a t c ha l g o r i t h m ，a c c o r d i n gt ot h ef i l t e rr u l e sg i v e nb ym o n i t o rc e n t e r t h e ni tr e p o r t sa l l m e s s a g e st ot h ec e n t e ra n ds a v e s i ns a l t l et i m e ，a l lm e s s a g e sc a nb ei n d e x e db yc o n t e n t ，s e n t t i m e ，s e n ta d d r e s s ，o b j e c ta d d r e s s t h i ss y s t e mr e d u c e st h em e s s a g ec l i n l op o s s i b i l i t yt os o m e e x t e n t t h en e t w o r ks m sm o n i t o r i n gs y s t e md e s i g n e db yt h i st h e s i si st e s t e di nm a n yt i m e s i t i sp r o v e dt h a ti tc a nr e a c ht h eo r i g i n a lg o a l k e y w o r d s ：s m s ；p r o t o c o la n a l y s i s ；p a t t e r nm a t c h i n g ；c s ；m o n i t o r 厦门大学学位论文原创性声明 兹呈交的学位论文，是本人在导师指导下独立完成的研究成果。本 人在论文写作中参考的其他个人或集体的研究成果，均在文中以明确方 式标明。本人依法享有和承担由此论文产生的权利和责任。 声明人( 签名) ：龙之垃 内鼍年5 只8b 厦门大学学位论文著作权使用声明 本人完全了解厦门大学有关保留、使用学位论文的规定。厦门大学有 权保留并向国家主管部门或其指定机构送交论文的纸质版和电子版，有权 将学位论文用于非赢利目的的少量复制并允许论文进入学校图书馆被查 阅，有权将学位论文的内容编入有关数据库进行检索，有权将学位论文的 标题和摘要汇编出版。保密的学位论文在解密后适用本规定。 本学位论文属于 l 、保密() ，在年解密后适用本授权书。 ， 2 、不保密( ) ( 请在以上相应括号内打“4 ) 作者签名：1 玲乏日期：力秘8 年歹月艿日 剔程轹迎崎醐一谚”月v 日 第一章绪论 第一章绪论 随着中国手机用户的迅猛增长，短信息作为一种方便快捷的交流方式，自2 0 0 0 年 起在中国正式推广年以来，现己获得爆炸性的增长。据统计，2 0 0 0 年中国全年的短信 量是1 0 亿余条，2 0 0 5 年短信业务量为3 2 8 6 0 亿条，2 0 0 7 年则达到短信业务量为6 2 3 2 2 亿条，可见短信已成为手机用户了解信息、联系沟通的重要方式。 在短信息高速发展的时代，人们在享受短信息带来便捷、低廉通信的同时，也带来 了信息安全方面的问题。很多不轨分子利用短信骚扰他人正常生活；利用短信发布虚假 信息进行诈骗；利用短信煽动闹事、散布谣言、攻击政府，影响社会稳定；利用短信传 播色情、反动消息，危害公共安全；通过短信发布大量广告，影响人们的正常生活，因 此很有必要对这类有害短信息进行监控。 本文设计并实现了一个互联网短信监控系统，集中管理互联网短信服务系统网络的 异常信息监测，确保有害信息被及时发现并拦截。 1 1 研究背景和意义 手机作为“第五媒体”日益成为信息传播的重要渠道，逐渐打破了大众媒体“点对 面”传播的传统格局。手机凭借着“点对点的传播特性，比传统媒体的权威发布更容 易通达一般受众，使得人人都可以成为“信息发布者”，在手机拥有者之间构成一个“公 共信息圈”。同时短信有别于其他信息载体的一个最重要的区别，那就是它的高阅读率， 用户收到短信时，只有打开并阅读才知道短信的内容。 短信在为用户提供了一个很便利、经济的消息交换机制的同时，也成为各种广告信 息、欺诈信息、反动信息等传播的温床。这类短信息一方面严重影响着人们的工作和生 活，另一方面也对现有短信网络增加了很大的负荷，影响正常短信的传送。据信息产业 部的一份数据显示，目前短信业务相关用户申诉已占到用户申诉总量的3 0 以上【2 j 。中 国互联网协会反垃圾邮件中心2 0 0 7 年对手机短信息状况调查的结果显示，我国手机用 户平均每周收到1 2 4 4 条垃圾短信【3 】 目前大部分的网站、短信息应用提供商，为了从短信息中赚到更多的钱，开发设计 出越来越多的应用。但同时缺乏对短信息安全的管理，又由于短信息只能是被动地接受， 而不能主动地过滤。因此短信息一旦运用不当，将成为一种公害，让不法分子一次又一 互联网氟j 信j 临挖系统的设计j 实现 次的钻空子，对他人造成不必要的骚扰。造成极其严重的、广泛的不良影响。 如国内某个无线互联专业技术网站，由于其内部的对信息安全的管理不善，导致不 法分子渗入其内部，利用其先进的短信群发技术，向数千万手机用户散发了反动言论。 造成无法挽回的后果，危及社会稳定【4 1 。 在法制层面，因为电信法尚未出台，电信条例里对增值业务资费、收费方 面的制约和规范还不是很全面，特别是对s p ，没有一些明确的条规可以约束。监管部 门有时候要求违规s p 退出市场时很难找到相应法律依据。 一些网络专家指出，短信是个新生事务，它在改变我们的生活方式中产生了重大作 用，但也不可忽视它的负面效应。而且它们所产生的负面作用是“极其隐敝的 ，打击 起来也有很大难度。但是，无论怎样，网络短信息必须加以管理，因为它是手机不健康 短信息的源头，只有从根上打，手机传播的有害短信才会在一这程度上得到遏制。如不 及时加以规范，就会损害用户利益，侵犯用户权益，污染社会环境，并最终影响短信息 业务自身的健康发展【卯。 1 2 国内外研究现状 国际上许多国家已经采取了法律的手段规范短信息服务。在美国，座机和手机都可 以在联邦贸易委员会的“拒听推销电话登记处 注册。一经注册还有人打你的手机进行 推销活动，联邦贸易委员会将会视其为违法行为，处以几百至1 万美元的罚款。在英国 还设立了一些机构，如电话信息服务标准监察委员会、最高通话费管委会等，专门对利 用手机信息进行非法活动的公司和个人进行监控。欧盟就制定了“保护私人信息据”行 为准则，手机用户不再被动接受垃圾信息。日本、韩国也出台了相关制裁手段，以遏制 商业和不健康短信蔓延的势头。而在我国，目前并没有专门针对短信业务的法律法规， 处于真空状态。如果没有有效合理的法规制度，对短信业务的监督管理就没有了参考的 依据和执行的标准。短信呈现泛滥趋势在所难免嘲。 加强短信息的管理，应该从源头着手，规范短信息活动参入者的发送行为，加强对 短信用户、移动通信公司、短信息应用提供商的信息安全方面的宣传和教育，实现行业 自律和用户自律，自觉抵制不健康的短信息。 管理完全靠自律是不够的，必须有合适的管理制度来规范。目前短信的源头有三个， 一个是移动通信公司的短信中心，二是与移动通信公司互联的短信息应用提供商，三是 金融银行的短信系统。由于移动通信公司与金融银行都有自己严格的管理制度，因此， 2 第一章绪论 社会上经营性的短信息应用提供商( s p ) 成为短信息管理的重点。 对于短信息应用提供商( s p ) 的信息安全问题，必需要有相应技术保障措施，对互联 网短信进行安全管理，对有害短信进行监控过滤，目前对短信息过滤主要有以下两种方 式： 1 ) 短信服务中心的过滤方式。在对实时接收的短信息进行存储转发的时候，对有 害信息实施监控，这种监控大多根据短信内容识别和状态监测相结合的监管模式。 2 ) 手机终端的过滤方式，这种方式是在手机中预先设定包含手机或短信服务商( s p ) 号码的黑名单，在接收信息时根据黑名单来识别是否对信息拦截和过滤，即“短信防火 墙，目前这种功能仅出现在一些少量高端手机中。这种方法也同样存在局限性，由于 是采用预先设定的黑名单在对有害信息进行拦截时存在不足，因为有害信息发送者经 常变换手机号码，致使黑名单失效。 1 。3 课题研究的主要内容 短信的发送方式有两种：一种是手机发送至手机，一种是s p 发送至手机，本文主 要针对后一种情况进行分析研究。 在g s m 网络中，短信由短信中心s m s c 进行存储转发，但s m s c 不是直接与业务 提供者s p ( s e r v i c ep r o v i d e r ) 相连，例如：中国移动的短信网关i s m g 位于s m s c 与s p 之间，通过c m p p 协议连接s p ，而短信中心s m s c 与i s m g 通过s m p p ( s h o r tm e s s a g e p e e r t op e 神协议连接。如图1 1 所示： 图1 1s m s g 、i s m g 和短信应用系统 本文在分析研究电信运营商短信技术规范协议的基础上，设计并实现了互联网短信 监控系统，实现对s p 进行监控和管理，系统基于关键词或组合关键词的高效过滤规则， 3 互联网如信监挖系统的设计1 j 实现 采用c s t 7 1 模式和功能强大的v c s l t 9 1 1 l o 编程技术，并采用s q ls e v e r2 0 0 0 1 1 1 作为服务器 数据库开发，使系统具有高内聚、低耦合的优良性能以及良好的可维护性，本系统由客 户端监控探头和互联网短信监控中心构成，客户端监控探头使用目前比较流行的 w i n p c a p 软件包嗅探到短信数据包后进行协议解析，根据短信监控中心下发的有害短信 关键字库，通过有害短信关键字进行检测，识别有害信息，并上报至短信监控中心，给 短信监控中心人员提供可视化的监控界面。监控系统力求给监控人员方便快捷的途径去 管理监控和维护短信监控系统，同时提供高效率的有害短消息过滤。 本文的主要研究工作如下： 1 ) 阐述了课题的研究背景及其重要的研究意义，分析了手机垃圾短信的不利影响 以及本系统所采用的监控过滤方法。 2 ) 对电信数据业务技术规范以及本系统所采用的相关技术进行了分析研究。 3 ) 对模式匹配算法进行了分析研究，并在此基础上，提出了一种b m 算法的改进 算法。 4 ) 给出整个互联网短信监控系统的结构设计及各个关键模块的算法设计。 1 4 全文组织安排 全文共分为五章。 第一章绪论，主要介绍了课题的研究背景、手机垃圾短信过滤技术的现状、论文的 主要研究内容及论文的组织安排。 第二章电信数据业务技术规范及相关分析，主要是分析了电信运营商短信网关接口 协议。 第三章模式匹配算法研究及改进，对目前常用的匹配算法进行了分析，并提出了一 种新的b m 算法的改进算法 第四章互联网短信监控系统的设计与实现，本部分给出了互联网短信监控系统的结 构设计和工作流程，并对各个主要功能模块进行了详细的说明、算法实现，最后给出了 实际运行结果。 第五章总结与展望。总结了本论文的主要研究成果及创新点，并对下一步的工作进 行展望。 4 第二章电信数据业务技术规范及相关分析 第二章电信数据业务技术规范及相关分析 2 1 电信运营商增值业务概述 众所周知，电信网络发展的总体趋势是，从有线到无线，从窄带到宽带，从语音业 务到数据业务。数据通信是计算机与通信相结合而产生的一种通信方式和通信业务。随 着互联网的普及，移动通信的发展乃是多媒体的需求，未来的信息网必将以数据网为中 心。近两年，数据通信和多媒体通信已成为通信网络的发展重点，数据通信业务每年按 指数律增长，其发展已是大势所趋。在世界网络业务中电话业务年增长率为1 0 ，而 数据业务则年增长4 0 。话音业务与数据业务的流量已在2 0 0 3 年持平，此后，数据通 信业务量将越来越超过电话通信业务量而占据市场的主导地位。电信行业所有对公众开 发的业务可以粗划分为两部分：语音业务和数据业务。语音业务是以传统的通话服务为 基础，以及在此基础上开发的语音服务产品，如普通固定电话( 本地、长途) 、1 6 8 信 息咨询台、8 0 0 免费电话等。数据业务是电信行业利用现有的有线无线网络，为客户提 供服务的产品类型，如宽带网络、短信、w a p ( w i r e l e s s a p p l i c a t i o np r o t o c 0 1 ) 等。此外， 随着电信市场的开发扩大，很多新品种的电信服务，语音业务和数据业务的界限已不明 显，如i i l ( i n t e m e tp r o t o c 0 1 ) 电话、视频会议等。电信运营商的增值业务很多，见表 2 1 ( 以中国移动公司的数据业务为例) 。 表2 1 中国移动公司数据业务 移动电子商务娱乐及游戏m m s 彩信 短信 移动数据平台无线互联网 移动数据应用移动数据市场动态u s s d 业务 本文所讲述的项目应用只涉及到电信增值业务中的部分数据业务一一s m s ( s h o r t m e s s a g es e r v i c e ，短信) ，因此对其它电信业务类型不再一一论述。下面就对s m s 业务进行描述。 1 ) 移动终端用户之间相互发送短信 传统的s m s ，即国内短信，以中国移动通信公司短信用户( 以后简称移动用户) 相互之间互通短信为例，因为是在一个运营商的网络，且网络制式是一样的，其流程如 图2 1 。 5 互联网短信舱控系统的设计o i 实现 图2 1 手机用户互发短信示意图 目前湖北移动用户，不论使用的是g s m ( g l o b a ls y s t e mf o rm o b i l ec o m m u n i c a t i o n s ， 全球移动通信系统) 网络还是g p r s ( g e n e r a lp a c k e tr a d i os e r v i c e ，通用分组无线业务 通信技术) 网络，只需要在支持收发短信的移动终端( 即手机) 上设好短信服务中心号 码( 一般来说用户入网时已经在其s i m 卡内预设好了) ，那移动客户a 就可以和移动客 户b 进行短信的互联互通。 从无线通讯商用网络来看，目前国内三大移动终端- - - - - g s m ( g p r s 可归入此类) 、 c d m a ( c o d ed i v i s i o nm u l t i p l ea c c e s s ，码分多址通信技术) 、p h s ( p e r s o n a lh a n d p h o n e s y s t e m ，个人手持电话系统，俗称“小灵通) 因使用的网络制式不一致，而且 运营商也不一致，因此要实现任意双方的短信互发，运营商短信服务中心之间的数据交 互也要按照一定的协议规程。出于技术上的通用性和安全性，目前，各电信运营商在短 信互联互通时所使用的是基于s o c k e t 层的s s l ( s e c u r i t ys o c k e tl a y e r ，加密套接字协议 层) 协议和h r r p s ( h y p e r t e x tt r a n s f e rp r o t o c o ls e c u r i t y ，基于s s l 的超文本传输协议) 。 不同的网络终端并不直接进行通讯，而是由各自的短信服务中心进行互联互通。三大移 动网络终端互发短信的流程图可以图2 2 示意。移动用户代表g s m ( 含g p r s ) 网络， 联通用户代表c d m a 网络，小灵通用户代表p h s 网络。 i弋 图2 2g s m 、c d m a 、p h s 三网络的短信互联互通方式 6 第二章电信数据业务技术规范及相关分析 “短信服务中心”的角色作用是：对同一网络的短信直接进行网内转发，对不同网 络的短信，要按目标网络的格式对数据重新封装，然后再进行网间转发。 2 1 移动终端用户和s p ( s e r v i c ep r o v i d e r ，服务提供商) 之间的交互 短信用户、电信运营商、s p 供应商三方在短信业务中的简单关系及可以用图2 3 表示。综合以上两点，不同的电信运营商之间交互数据，s p 商和电信运营商之间交互 数据，均应有一套相应的数据通讯方式和共同遵守的一套协议。各电信运营商是独立的 运营实体，s p 业务与收入和市场有着莫大的关系，不论从什么方面考虑，各运营商的 协议是相互不一致的，虽然有相似的部分。本章的其它三个章节将着重介绍各电信运营 商的短信协议。 虽然是三家不同的运营商，相互之间是竞争关系，但是在技术部分均基于s m p p ( s h o r tm e s s a g ep e e rt op e e r ，短信点对点协议) 这一国际通行标准技术白皮书，因此只 对中国移动的短信协议作较为详细的说明，其它只是介绍一下大概情况供参考。 用户 上抒 运营商 转发有教何息 回复 图2 3 手机用户、运营商、s p 三者的角色 2 。2 中国移动通信互联网短信网关接口协议摘录与分析 中国移动通信公司( c h i n am o b i l e ) 制定的协议称为c m p p ( c h i n am o b i l ep o i n tt o p o i n t ，中国移动点对点协议) ，目前是3 2 版【1 2 1 。 1 ) 网络结构 如图2 4 所示，互联网短信网关( i s m g ) 是业务提供商( s p ) 与移动网内短信中 心之间的中介实体，互联网短信网关一方面负责接收s p 发送给移动用户的信息和提交 给短信中心。另一方面，移动用户点播s p 业务的信息将由短信中心通过互联网短信网 关发给s p 。另外，为了减轻短信中心的信令负荷，互联网短信网关还应根据路由原则 将s p 提交的信息转发到相应的互联网短信网关。互联网短信网关通过向汇接网关 7 * | l 互联肛畸短信j | ：f 控系统的设计j 实现 ( g n s ) 查询的方式获得网关问的转发路由信息。 图2 4 互联网短信网关组网结构 另外，i s m g 还必须与数据业务管理平台d s m p 进行连接，在业务流程中对用户、 业务以及定购关系等进行鉴权并对业务进行批价。 2 ) c m p p 功能概述 c m p p 协议主要提供以下两类业务操作： ( 1 ) 短信发送( s h o r tm e s s a g em o b i l eo r i g i n a t e ，s mm o ) ( 2 ) 短信接收( s h o r tm e s s a g em o b i l et e r m i n a t e d ，s mm t ) 3 ) 协议栈 c m p p 协议以t c p f i p 作为底层通信承载，具体结构由图2 5 所示： 4 ) 通信方式 图2 5 c m p p 协议栈 第二章电信数据业务技术规范及相关分析 各网元之间共有两种连接方式：长连接和短连接。所谓长连接，指在一个t c p 连 接上可以连续发送多个数据包，在t c p 连接保持期间，如果没有数据包发送，需要双 方发链路检测包以维持此连接。短连接是指通信双方有数据交互时，就建立一个t c p 连接，数据发送完成后，则断开此t c p 连接，即每次t c p 连接只完成一对c m p p 消息 的发送。 现阶段，要求i s m g 之间必须采用长连接的通信方式，建议s p 与i s m g 之间采用 长连接的通信方式。 5 ) 长连接 通信双方以客户服务器方式建立t c p 连接，用于双方信息的相互提交。当信道上 没有数据传输时，通信双方应每隔时间c 发送链路检测包以维持此连接，当链路检测 包发出超过时间t 后未收到响应，应立即再发送链路检测包，再连续发送n 一1 次后仍 未得到响应则断开此连接。 参数c 、t 、n 原则上应可配置，现阶段建议取值为：c = 3 分钟，t = 6 0 秒，n = 3 。 网关与s p 之间、网关之间的消息发送后等待t 秒后未收到响应，应立即重发，再 连续发送n - 1 次后仍未得到响应则停发。现阶段建议取值为：t = 6 0 秒，n = 3 。 消息采用并发方式发送，加以滑动窗口流量控制，窗口大小参数w 可配置，现阶 段建议为1 6 ，即接收方在应答前一次收到的消息最多不超过1 6 条。 长连接的操作流程举例如图2 6 所示： 9 互联网短信舱榨系统的设计j j 实现 滑动窗口不大于w 图2 6 长连接操作流程 6 ) 短连接 通信双方以客户服务器方式建立t c p 连接，应答与请求在同一个连接中完成。系 1 0 第二章电信数据业务技术规范及相关分析 统采用客p 服务器模式，操作以客户端驱动方式发起连接请求，完成一次操作后关闭 此连接。 网关与s p 之间、网关之间的消息发送后等待t 秒后未收到响应，应立即重发，再 连续发送n 1 次后仍未得到响应则停发。现阶段建议取值为：t = 6 0 秒，n = 3 。 短连接的操作流程举例如图2 7 所示： 客户端，服务 建立t c p 连接 服务器，客户端 c m p p 消息1 对c m p p 消息1 的响应 一 - 。， 拆除t c p 连接 1r 建立t b - p 连接 c m p p 消息2 一 对c m p p 消息2 的响应 - _ _ 。- - 拆除t c p 连接 一 建立t c p 连接 图2 7 短连接操作流程 7 ) 本协议涉及的端口号如表2 2 表示： 表2 2 协议涉及的端口号 端口号应用 7 8 9 0 长连接( s p 与网关间) 7 9 0 0 短连接( s p 与网关间) 7 9 3 0长连接( 网关之间) 9 1 6 8 短连接( 短信网关与汇接网关之间) 8 ) 交互过程中的应答方式 在s p 与i s m g 之间、s m s c 与i s m g 之间及i s m g 之间的交互过程中均采用异步 “ 互联网矩信j l ：c 挖系统的设汁1 j 实现 方式，即任一个网元在收到请求消息后应立即回送响应消息。举例如图2 8 所示： s m s ci s m g li s m g 2s p s m p p 请求消息 1 c m p p 请求消息 s m p p 响应消息 1 c m p p 响应消息 c m p p 请求消息 1 - 上山，zt 图2 8 异步交互方式示意图 2 3 中国联合通信公司短信网关系统接口协议与分析 中国联合通信公司( c h i n au n i c o m ) 制定的协议称为s g i p ( s h o r tm e s s a g eg a t e w a y i n t e r f a c ep r o t o c o l ，短信网关系统接口协议) ，目前是1 2f ；反t t 3 】。 1 ) 系统体系结构 s m g 是具有短信转发功能的短信网关。全国可以有多个s m g 网关，s m g 网关之 间通过互联网等方式实现网络互联。每一个s m g 同时与多个s m s c 以及多个s p 连接。 全网具有唯一有效的g n s ，g n s 负责全局路由表的维护与更新；为了确保路由表存储 的安全性，网络中设置主备用g n s ，两个g n s 要保持一致性。每一个s m g 都和g n s 连接。s m g 与s p 、s m g 与g n s 以及s m g 与s m g 之间的通信协议为s g i p 协议，s m g 和s m s c 之间的通讯统一采用s m p p 3 3 协议。 第二章电信数据业务技术规范及相关分析 图2 9 s m g 体系结构 和s m g 平间之间相连的s m s c 称作本地s m s c ，和异地s m g 平台相连的s m s c 称作异地s m s c 。和s m g 平台之间相连的s p 称作本地s p ，和异地s m g 平台相连的 s p 称作异地s p 。从本地s m s c 向本地s p 以及从本地s p 向本地s m s c 发送的消息直 接由s m g 转发；从本地s m s c 向异地s m g 及从本地s p 向异地s m s c 发送的消息由。： 本地s m g 路由到异地s m g ，再由异地s m g 转发。 2 ) 序列号 短信网关系统之中传输的每一条命令都有一个序列号，序列号由命令源节点产生并 唯一标记一条命令；也就是说，网关系统中任何两个命令的序列号都不相同。需要注意 的是，一条命令在发送过程中转发的不同副本视为一条命令，使用相同的序列号。比如， s p i x 向s m s c 2 a 发送一条命令，该命令需经过多次转发才能到达s m s c 2 a ，而转发该 命令的每一次通信过程中使用的命令的序号均相同，为s p l x 与s m g i 通信所使用的序 列号。对于m o 短信，例如s m s c l b 向s p 3 x 发送一条命令，短信首先采用s m p p 协 议发送到s m g i ，经过s m g l 转发时序列号必须由s m g i 重新生成，此时的命令源节 点为s m g l 。 序列号分成三部分，每部分为一个3 2 位整数，第一部分表示命令源节点的编号， 第二部分表示命令产生的日期和时间( 网关系统中的任何命令的保存时间都不应该超过 一年) ，格式为十进制的m m d d h h m m s s ，比如1 1 月2 0 日2 0 时3 2 分2 5 秒产生的命令， 其第二部分为十进制1 1 2 0 2 0 3 2 2 5 ：第三部分由0 开始，循环进位，直到进位满了之后 互联网氮f 信监控系统的设计与实现 再清零，重新开始计数。接收方在返回应答时，应答的序列号必须和相对应的命令的序 列号相同。 10 237 6 1j , e l e t 时分秒i序号 l 一j i l 。一 第二部分j第三部分 图2 1 0 命令序列号举例 3 ) 通信过程 s p 与s m g 之间发送的任何一条命令都带有一个序列号，序列号由命令源产生。客 户端与服务器端通信开始以后，客户端可以向服务器端发送相应的命令，服务器端对收 到的命令返回应答。 s p ( 客户端) s m g 明艮务器端) r i n d r | r i n e lr e o n 1 s 幽孟t ，1 f。 j s 1 出m i tr e g 铂f n 7 1 s 出m j 而。 s 出“t f 3 1 ： s 出“t 耻s m 7 二s 血m i t - i 二f 釜 t i r t h i n d。 一 u t 曲i n dr e 叠n r 图2 1 ls p 和s m g 的通信消息样例( s p 为客户端) s m g ( 客户端)s p ( 且民务器端) r i n d。 r j b i r m lr e o 竹 1 d 。l 磊1 i。 delhrr e s “l 、 7 1 d e l h 而、。 r o 竹f 3 、： j d e - 确r 钆。n f 2 、 7 二n b o n h 妄f 3 、 i l n l i r t l j u 血i n d 钆。n 7 图2 1 2s p 和s m g 的通信消息样例( s m g 为客户端) 1 4 5 _ 2 l2 _ 1 ) lo - 2 lo j 2 l 1 j j1 上l 第二章电信数据业务技术规范及相关分析 命令在s p 和s m s c 之间的传输是采用类似接力的方式，每条命令和对应的应答仅 仅表示该次命令发送的结果是否正确。比如，s p 向某一个手机发送一条短信，是通过 向本地s m g 发送一条s u b m i t 命令实现的，随后，s p 会从s m g 接收到一条s u b m i t r e s p 应答。但是，即使应答表示s u b m i t 命令已正确接收，也不表示s u b m i t 命令内的短信已 经发送到手机上了，而仅仅表示该短信已经传送到s m g ，s m g 将会作下一步处理，或 者发送给s m s c ，或者路由到另外的s m g ，最终由目的s m s c 发送到手机上。这中间 任何一个环节出现错误，系统会终止信息的继续发送，并且通过向原s p 发送r e p o r t 命 令告诉发送出错的原因( 如果s p 指定要求反馈的话) 。 4 ) s m g 和s m g 之间的通信 在网关系统之中，任何两个s m g 之间都要建立一对基于t c p i p 的连接，以实现 命令的路由。两个s m g 互为客户端和服务器端，客户端向服务器端发送命令，接收应 答；服务器端从客户端接收命令，返回应答。 s 五压gc n ts m gs e r v e r r i 州 r r i t dr e j n s 1 1 h m i t ( 1 、。 s l 山m i tr e 乜n 、 7 s u h w d t ，2 1 n e l h 甩矗3 、。 s 1 出m i tr e s n f 2 、 7 ：n e l 砒1 _ 弛二f m r e n n 计f 4 、。 r 二。竹r e 锄f 4 、7 u t h i w l。 t t 出i n dn 蛐 7 图2 1 3s m g 之间的通信消息样例 2 4 中国电信技术规范协议摘录与分析 中国电信集团公司( c h i n at e l e c o m ) $ 1 j 定的协议称为s m g p ( s h o r tm e s s a g eg a t e w a y p r o t o c o l ，短信网关协议) ，目前是1 3 版，2 0 0 2 年4 月3 0 日发布并实施【1 4 1 。 1 ) s m g p 功能 网关通信协议是短信服务提供商与短信网关，以及短信网关与短信网关之间的通信 协议。s m g p 可以实现以下功能： i s 互联嘲短信监控系统的设计j 实现 服务提供商向中国电信短信用户发送p u s h 短信，例如邮件通知、天气预报等。 中国电信短信用户向服务提供商点播信息，例如查询股票信息、航班信息。 服务提供商以某个短信用户的身份向中国电信短信用户发送传情信息( 是否应 与总册中的说法一致，指订阅信息) ，例如图片传情、音乐传情等。 2 ) s m g p 通信流程 ( 1 ) s p 发送短信 s p 以发送者身份登录后，就可以发送短信。s p 可以不等待上一个短信发送回应包， 就发送下一个短信。 s ps m g l o g z n1 s e n gm o o e ! l 一 l o g i n _ r e s p s u b m i t ( 1 ) 一 s u b = i t ( 2 ) s u b e i t _ r e s p ( 1 ) s u b = i t _ r e s p ( 2 ) e x i t e x i t _ r e s p 图2 1 4s p 、s m g 之间的通信消息样例( s m g 为客户端) ( 2 ) s p 接收短信 s p 以接收者身份登录后，短信网关就向s p 下发m 0 短信，短信网关可以不等待上 一个下发m o 短信回应包，就下发下一个m o 短信。 1 6 第二章 电信数据业务技术规范及相关分析 s p s m g 1 0 9 1 nk r e c e l v e 硼o a e ， 一 l o g i n r e s p d e l i v e r ( 1 ) 一 d e l i v e r ( 2 ) d e li v e r _ r e s p ( 1 ) d e li v e r _ r e s p ( 2 ) e x i t e x i tr e s p 一 图2 1 5s p 、s m g 之间的通信消息样例( s p 为客户端) ( 3 ) s m g 转发短信 短信网关需 通过网关认证。 要把异地m t m o 短信转发到相应的短信网关，在转发之前短信网关需要 s m gs m g 1 0 9 l nt g a z e w a ym o f l e ) l l o g i n _ r e s p f o r w a r d ( 1 ) f o r w a r d ( 2 ) f o r w a r d _ r e s p ( i ) f o r w a r d _ r e s p ( 2 ) e x i t e x i t _ r e s p j 图2 1 6s m g 之间的通信消息样例 1 7 互联网短信j i ：i 控系统的设计0 实现 2 5 本章小结 本章的内容主要介绍了目前国内三大电信运营商的各自的短信协议以及目前国内 电信运营商的数据业务类型，似乎不同运营商因为竞争关系而采用了不一样的协议，不 论i s m g 和s p 之间采用哪种协议，大致的流程都是一样的。只有了解了短信协议，才 能让互联网短信监控系统能够按照正确解析出短信内容，然后才能进行监控，否则互联 网短信监控系统只是一个花架子而已。 第三章检测匹配算法研究及改进 第三章检测匹配算法研究及改进 字符串模式匹配算法一直是计算机领域的研究重点之一，在拼写检查、语言翻译、 搜索引擎、数据压缩、网络入侵检测、计算机病毒特征码匹配以及d n a 序列匹配等应 用中，都需要进行字符串模式匹配1 7 j 。 模式匹配算法在本系统中可以描述为：给定可疑有害短信关键字规则库中一个特定 的模式字符串p ，在网络数据报文t 中进行查找，以确定p 是否在t 中出现。 随着网络应用的发展和网络带宽的不断增加，必须加快互联网短信监控系统的处理 性能，否则，由于大量的网络数据来不及处理而漏报，本监控系统只能形同虚设。因此 本章主要研究模式匹配算法，分析了重要的单模式匹配算法和多模式匹配算法算法，并 在b m 算法的基础上提出一种改进，该算法与b m 算法相比具有更高的的查找效率和更 快的匹配速度。 3 1b m 算法介绍 假设有一长度为i t 的文本字符串t ，长度为m 的模式字符串( 也称作窗n ) p ，两者 都是由字符构成的有序集合，文本t ( 如中英文等自然语言文本) 定义在一个有限的字母 表z 上，字母表大小为仃。匹配的目的是确定p 在t 内的位置，或者t 中不包含p 。 设t 和p 中的字母由o 开始从左至右顺序编号。如果对于一个指定偏移或移动s ，每个 字符尸f q 。匹配相应字符巧+ s 巧。则p 发生在t 中的偏移s 处，可以将 等式写为： 巧竹+ s = 弓 b m 算、法【1 6 1 的基本思想是先对模式p 进行预处理，计算两个偏移函数：b d a h c a r ( 针 对某个字符) 和g o o d s u f i x ( 针对某个子串) ，然后将文本和模式对齐，从右往左进行匹配， 当文本字符与模式字符不匹配时，根据函数b d a h c a r 和g o o d s u f i x 计算出的偏移值，取 两者中的大者。将文本指针往右移，匹配成功则予以输出。若考虑b d a h c a r 函数的约束， 则当文本在字符c 与模式不匹配时，下次应移动的距离为b a d c h a r c + l ( m - j ) ，其中j 为 c 在本次匹配中的位置。这样就可以实现下次匹配时文本中的c 与模式中的c 位置对齐， 从而加快匹配的速度( 如图3 1 所示) 。匹配过程是： ( 1 ) 将文本中的字符t i + j 和它在pr o m - 2 中从右至左首次出现的位置对齐( 如 i o 互联网短信舱控系统的设计j 实现 图3 1 所示) 。 ( 2 ) 如果在模式p 中没有t i + j ，则将窗口的左终点与t i + j 的右侧字符( 即 t i + j + 1 ) 对齐( 如图3 1 所示) 。 t 二二 匹工二二 二二 p 二臣五二 移动一 p 口匿【j 丑 t 二二 匦工二二 二二 p 匦工二 移动一 p j 口 圈3 1r 口d e h a r 函新系音圈 t p 二匠丑 一移一 p 口匿五二二口 片断u 重新出现 t 二二 匝工二二 二二 p 匦工二 移一 p e 在p 中只有一个后缀u 图3 2g o o d s u f f i x 函数示意图 若考虑g o o & u f f i x 函数的约束，则在模式字符中位置为j 的字符与文本中位置为i + j 的字符不匹配的情况下，文本中t i + j + l i 怕+ 1 】与模式中p