即时通实时监控系统的设计与实现.doc

第10期付安民等：即时通实时监控系统的设计与实现173即时通实时监控系统的设计与实现付安民1,2，张玉清2（1.西安电子科技大学 计算机网络与信息安全教育部重点实验室，陕西 西安 710071；2. 中国科学院研究生院 国家计算机网络入侵防范中心，北京 100043）摘 要：在深入研究分析多种即时通文本、文件、语音和视频传输协议基础上,设计并实现了一个即时通实时监控系统IMmonitor。该系统不仅可对即时通（MSN、Fetion、ICQ等）的多个版本的文本信息进行实时监控，还能有效监控这些即时通的各类文件（如.doc, .jpg, .rar等）传输，并可监控即时通的语音和视频传输。IMmonitor系统实现了对即时通各类信息的监控，并解决了即时通版本升级而带来的监控系统升级问题。关键词：即时通；实时监控；协议分析；拦截；语音视频中图分类号：TP 393 文献标识码：B 文章编号：1000-436X(2008)10-0165-08Design and realization of the real-time monitoring system for instant messenger FU An-min1,2, ZHANG Yu-qing2(1. Key Lab of Computer Networks and Information Security of Ministry of Education, Xidian University, Xian 710071, China;2. National Computer Network Intrusion Protection Center, GUCAS, Beijing 100043, China)Abstract: On the base of the deep study and analysis of the various instant messengers transmission protocol of texts, files, audios and videos, A real-time monitoring system for instant messengerIMmonitor was designed and realized. The system can not only real-timely monitor the text message of the instant messengers (such as MSN, Fetion, ICQ etc.) for multiple versions, but also monitor the transmission of any files (such as. doc, . jpg, . rar etc.) , audios and videos. The IMmonitor system has realized the comprehensive monitor of the all formats of information of the instant messengers, and has solved the problem of the upgrade of the monitor system, which is caused by the upgrade of the instant messenger.Key words: instant messenger; real-time monitor; protocol analysis; intercept; audio and video1 引言即时通（IM, instant messenger）软件由于具有速度快、效率高、费用低等特点而受到互联网用户的喜爱，风靡全球。收稿日期：2008-06-21；修回日期：2008-09-21基金项目：国家自然科学基金资助项目(60573048，60773135，90718007)；国家高技术研究发展计划(“863”计划)基金资助项目(2007AA01Z427，2007AA01Z450)Foundation Items: The National Natural Science Foundation of China (60573048，60773135，90718007); The High Technology Research and Development Program of China (863 Program) (2007AA01Z427，2007AA01Z450)IM为人们的交流带来极大便利的同时，也给国家、个人及企业造成了一些负面影响。IM软件在企业内的广泛应用产生了诸如技术泄密、工作效率降低及网络使用成本增加等一系列问题。因此对IM进行管理和控制是网络管理面临的迫切问题14。目前已有多篇文献研究了即时通实时监控的相关问题。文献5对IM特征和行为模式进行了研究和分析，并提出了利用支持向量机（support vector machine）阻断IM的方法。文献6对IM流量特征进行了分析，并提出利用IM的流量特征实现对IM的监控。文献7借鉴对垃圾邮件处理相关思想，对阻断IM垃圾广告和可能引起的拒绝服务问题进行了研究。文献8使用风险分析的方法分析IM的安全功能需求，进而确定IM的安全策略，并设计和实现了一个IM实时监控系统Messenger-i。此外，国际知名网络安全公司Symantec和McAfee在2007年也首次推出了IM监控软件Symantec IM Manager和McAfee Wireless Protection,它们能够较好地实现对MSN和ICQ等文本信息的监控。但目前的IM监控系统依然存在很多不足，主要表现在：1) 对IM监控的已有研究基本上都集中在IM的文本信息监控方面，而很少研究IM的文件传输和语音视频的监控；2) 现有的监控系统都只能对MSN、ICQ等少数国外IM软件进行监控，无法对国内IM软件进行监控，而腾讯QQ、中国移动Fetion等国内IM软件却占据了绝大部分国内市场；3) 现有的IM监控系统在发现用户传播有害和敏感信息时，都是采取某种策略阻止IM用户的继续使用，这容易让用户发现自己在被监控；4) IM监控还面临着IM升级和加入对新型IM监控的问题。表1Fetion、ICQ、MSN和QQ等IM的协议特征比较即时通名称版本网络传输协议服务器端口应用层协议组织方式文本/文件消息格式文本/文件编码方式文本/文件传输形式语音协议视频协议Fetion2.3.0210TCP8080/800x0D 0x0A分割数据Text/htmlUTF-8明文不支持PC语音不支持ICQ6.0TCP/UDP5190 / 443TLVRTFRTF明文RTP+SIP+STUNRTP+SIP+STUNMSN8.5TCP/UDP18630x0D 0x0A分割数据MIMEUTF-8明文UDP+RTP+STUNTCP+RTP+MSNSLPQQ2007UDP8000未知未知未知加密RTP+SIPRTP+SIP本文在深入研究分析IM协议和IM监控技术的基础上，设计并实现了一个功能完备的、性能良好的、可扩展的IM实时监控系统IMmonitor，该系统不仅能够实现对Fetion、MSN、ICQ等多个国内外IM 的众多版本的文本信息的实时监控，还可以实现对IM各类文件传输（如.txt, .doc, .jpg, .rar等）和语音视频的监控。同时，由于系统采用了基于ACK欺骗拦截IM数据包的策略，能够在通信双方毫不察觉的情况下实时拦截有害和敏感信息，而让合法信息继续正常发送。本文第2节介绍了在IM文本信息、文件传输和语音视频协议分析方面的部分结果；第3节介绍了所设计的IM实时监控系统IMmonitor；第4节介绍了IMmonitor系统实现的关键技术；第5节对IMmonitor的性能进行了测试和分析；第6节对IM的升级、加入新型IM的监控以及加密传输IM的监控问题进行了进一步的讨论和分析；第7节是本文的结束语。2 IM协议分析分析IM协议特征和格式是IM实时监控的基础，也是实现IM实时监控的最大困难问题，这是因为：1）虽然目前IM有IMPP、SIMPLE和XMPP 3个国际协议，但几乎所有IM实现都没有完全遵照这些协议；2）每个IM使用不同的私有协议；3）IM开发商均不公布其IM协议。因此，要实现对IM的实时监控，必须深入研究分析各个IM所使用的协议。由于Fetion、ICQ、MSN、QQ等众多IM的应用层协议组织的数据在网络上明文传输（QQ文本信息是加密传输的，文件、语音和视频是明文传输的），所以，通过搭建协议测试环境，采用对比分析的方法，比较应用层数据中固定字节或者规律性字节的含义，能够分析出IM的协议特征和数据包协议格式9。表1是分析总结出的Fetion、ICQ、MSN和QQ等IM的协议特征信息。同时也分析总结出了Fetion、ICQ、MSN和QQ等IM文本信息、文件传输、语音视频的协议格式，但如前所述，各个IM使用了完全不同的协议，它们的协议格式也就存在很大差别，因此不可能总结出IM的通用协议格式，鉴于论文篇幅所限，这里只以Fetion的文本信息、文件传输和QQ的语音视频为例进行分析，其他IM协议格式分析方法类似。2.1 IM文本信息协议分析在研究分析IM文本信息数据包中，有两类数据包对于实现IM的文本信息监控有极其重要意义，分别是包含文本信息内容和大小的数据包、客户端接收到文本信息后回复的确认数据包。图1、图2分别为即时通Fetion的文本信息数据包和确认数据包的协议格式。MFetion号协议类型文本信息格式Q标示符日期时间发送方Fetion号K: SaveHistoryI标示符会话号信息长度文本字体文本效果文本信息图1 Fetion文本消息数据包的协议格式（注：空白表示空格分割符0x20；阴影表示回车换行分割符0x0d 0x0a，下同）协议类型200OK发送方Fetion号I标示符Q标示符图2 Fetion确认数据包的协议格式在图1中包含有Fetion文本信息长度与内容，因此通过捕获或者拦截该类数据包，就可以实现对Fetion文本信息的监控。图2是一个ACK包，当对有害或者敏感信息拦截后，需要构造该类数据包，从而实现对发送方的欺骗。2.2 IM文件传输协议分析从对Fetion、ICQ、MSN和QQ等IM的分析来看，目前IM文件传输基本上使用的都是HTTP协议，但它们在具体实现上各个IM还是有一定的差异性，比如Fetion文件传输的协商过程基于SIP协议，而文件内容的传输则基于HTTP协议。考虑到IM在传输文件时文件名和文件内容是各自单独传输的，所以，必须对文件名和文件内容分别捕获。因此，实现对IM文件传输的实时监控只需要重点分析IM文件传输过程中包含文件名和文件内容的两类数据包。下面为Fetion文件传输过程中抓取到的一个包含文件名的数据包示例： 其中file name字段后即为文件名，size字段后为文件内容大小。由于中文文件名是以UTF-8编码传输的，上面显示的为没有经过转换的ASCII编码，故为乱码。因此需要通过UTF-8编码到ASCII编码转换，才可以提取出正确的文件名。同时，我们也总结出Fetion文件传输过程中包含文件内容的数据包的协议格式，如图3所示。协议类型200OKConnection: close日期时间Server:Microsoft-IIS/6.0X-Powered-By: ASP.NETX-AspNet-Version:Range:Set-Cookie:Cache-Control:文件类型文件长度文件内容图3 Fetion文件内容数据包协议格式此外，Fetion文件传输时TCP数据包的数据部分最大为1 412字节，当文件内容头部与文件内容之和大于该值时，文件内容将被分割为多个数据包，并且后面的文件内容数据包不再含有文件内容头部，因此通过文件大小信息能够计算出文件数据包被分割的包的个数，从而获取完整的文件内容。2.3 IM语音视频协议分析目前IM语音视频基本上都是使用RTP协议传输语音视频数据，但各个IM厂商并没有简单使用RTP协议，而是在RTP协议的基础上，重新设计了各自私有的语音视频协议，因此，仍有必要对各个IM的语音视频协议进行分析。由于Fetion目前不支持PC端语音和视频功能，这里以国内使用用户最多的一款即时通QQ为例进行分析。QQ应用层采用的是QQ自己开发的语音视频协议，通过研究分析，发现QQ语音视频数据包具有图4所示的数据结构。图4 QQ语音视频数据包结构QQ语音视频数据包由QQ语音视频协议头、RTP协议头、视频帧分包格式头和语音视频数据4部分组成。这里对QQ语音视频数据包结构中的上层协议、分包标识和标识符3个重要字段给予进一步的说明。上层协议：在语音视频中有5个不同的值，其中0x01、0x03分别表示上层协议为RTP协议语音数据包和RTP协议视频数据包。分包标识：有如下4种情况：1）0xC9表示视频帧不分包；2）0xC8表示视频帧分包，且该包为视频帧的第一个分包；3）0xC0表示视频帧分包，该包为视频帧的中间分包；4）0xC1表示视频帧分包，该包为视频帧的最后一个分包。标识符：内容可变，当分包标识为0xC9或者0xC8时（即每一个视频帧的第一个包，不管该视频帧是否分包），有4字节的标识符，为0x00 01 00 01。此外，RTP协议头中的净荷类型（PT）也是对语音视频重要的一个字段。PT长度为7bit，标识了传输语音和视频数据的编码类型。通过抓包分析得知，QQ语音视频聊天时采用的PT只有101（0x65）和103（0x67）两种类型，而QQ语音和视频编码分别采用的是腾讯设计的私有编码类型TCODECAG/8000和TCODECV5/ 90000。3 IMmonitor系统设计3.1 IMmonitor的网络拓扑结构 IMmonitor串行配置在高速吉比特以太网出口网关上，如图5所示。IMmonitor可以捕获所有从外网流向网内和从内网发往外网的数据包，并可根据管理用户的特定监控命令，对所捕获的数据包进行分析和监控，从而实现净化IM通信内容。图5 IMmonitor的网络拓扑结构3.2 IMmonitor的系统结构IMmonitor由监控代理模块、用户管理模块和数据库三大部分组成，如图6所示。图6 IMmonitor的系统结构3.2.1 监控代理模块监控代理是IMmonitor中的核心部分，主要功能是实现IM数据包的捕获、IM数据包的检查和分类以及有害或者敏感信息的实时拦截。监控代理模块主要包括IM数据包捕获、IM数据包检查与拦截、环形缓冲区等关键模块。由于NDIS中间驱动程序工作在网络层和数据链路层之间，可以捕获所有进出网络适配器的数据包。同时，使用这种技术编写网络安全软件，安全系数更高，并且有DDK和大量的官方文档支持基于它的开发。特别是我们开发的IM实时监控系统安装在局域网网关上，需要有较高的数据包处理速率。因此我们选择了NDIS中间层驱动程序作为IMmonitor的内核数据包获取技术。根据第2节分析总结出的IM协议特征和格式，将生成的IM监控规则保存在数据库中，监控代理通过读取数据库中的监控规则，从而实现对IM数据包的捕获、检查和分类。同时，IMmonitor采用了环形缓冲区结构，能够减少系统调用的次数，从而减少相应的用户模式与内核模式的上下文切换次数，进而大幅度降低监控系统的处理负荷。3.2.2 用户管理模块和数据库用户管理模块主要是利用Win32 API的 ReadFile，WriteFile，DeviceIoControl等函数和监控代理模块进行交互，从而实现监控规则的设置、IM相关数据的统计和分析、IM内容的显示等功能。考虑到.doc, .jpg, .rar等文件内容和语音视频不易显示在管理用户界面上，因此将它们先保存在数据库中。对于保存的文件内容，可以借助相应应用软件直接打开查看。而由于IM语音视频采用的是私有编码类型，无法借助已有的播放器播放，为此，提出了借助IM本身实现语音视频数据重放的解码方案，具体参见4.3节。图7 IMmonitor数据包过滤处理流程数据库则可以用来存储过滤规则、IM数据和内容等。3.3 IMmonitor数据过滤处理流程 IMmonitor数据过滤处理流程主要包含监控规则的传递，数据包的解析、分类和拦截以及构造和发送伪造的ACK欺骗数据包，整个数据过滤处理流程如图7所示。监控规则是由应用程序在监控启动时一次性传递下来的。监控规则的更新需要在应用程序修改后，重新启动一次监控系统。由于监控系统对规则的检测是分层逐步进行的，各个检测模块可以各自读取该模块所需要的规则。4 IM监控实现关键技术4.1 IM数据包拦截策略IM数据包拦截策略是IM监控研究的一个重要方面，目前提出的所有IM数据包拦截策略中，最重要和有效的一个是由Zhenyu Hu10,11提出的通过在TCP层插入FIN或者RST数据包来中断TCP连接的IM阻断策略，这种策略能够很好地阻断IM通信，但这样会断开IM接收方与服务器的连接，导致接收方掉线而需要重新登录，并且发送方也会提示信息发送失败，从而可能会被发送双方察觉到正在被监控。因此，提出并采用了一种新的IM数据包拦截策略基于ACK欺骗拦截IM数据包，该策略能够克服通过在TCP层插入FIN或者RST数据包阻断IM通信的不足，从而保证通信双方在毫不察觉的情况下拦截有害和敏感信息，而让合法信息能够继续正常发送。该策略简单描述为：通过对IM数据包与过滤规则的匹配，如果是有害或者敏感的数据包则进行实时拦截，如果拦截的是TCP包，拦截后构造一个完整ACK包欺骗发送方。该策略的难点在于拦截TCP包后，需要实时地构造一个完整的ACK欺骗包，这就需要从拦截的TCP数据包中提取出拦截的TCP数据包的IP地址、端口号、序列号、会话ID以及IM相关信息等。不过，当拦截的是UDP数据包时，不需要做任何处理，就可以保证通信双方在毫不察觉的情况下拦截有害和敏感信息，而让合法信息能够继续正常发送。4.2 消息驱动的实现算法要使IMmonitor能够有效监控IM文本信息、文件传输和语音视频，特别是实现对有害或者敏感信息的实时拦截，必须构造ACK欺骗包（包括IP地址、端口号、序列号、会话ID以及IM相关信息等）。因为这些数据的动态性，必须实时地从当前的IM数据包中提取并进行正确推算。为此，提出一个消息驱动的实现算法MDR（Message Driven Realize），其动作由IM消息激活。该算法描述如下：For ()Wait for a network packet；If (the packet is a IM packet) /判断是否为IM数据包Decode the IM packet； Compare with the keyword；If ( the packet is lawless) /判断数据包中是否含有非法信息Block the packet and construct a ACK packet；/拦截有害数据包并构造ACK欺骗数据包Send out the spurious packet；/发送伪造的数据包Invoke the alert algorithm；Send the IM duplication to the annular buffer；/将复制的IM数据包发送到环形缓冲区MDR以消息驱动的机制实现，也就是说，仅当IM消息到来时它才会被激活，并且仅当IM的内容包含有害和敏感信息时才构造和发送ACK欺骗数据包。在IM的空白期间(没有消息传递)和IM传输合法信息期间，MDR算法处于等待的安静阶段，不对外输出任何内容。另外消息驱动机制使得输出的ACK欺骗数据与IM消息相对应，再加上ACK欺骗数据的长度比一般的IM消息短得多，MDR算法也不会对整个网络的负载产生太大的影响。4.3 IM语音视频解码方案由于IM的语音视频编码采用的都是私有编码方法，无法获得编解码的具体方法，为此，我们做了很多尝试，包括：1）用DirectShow现成的解码Filter播放单帧语音视频数据；2）用多种已知编解码库(如mpeg、xvid等)进行解码；3）调用IM编解码COM组件VCodec.dll进行解码。但实验证明这些方法都无法实现对IM语音视频的解码。通过思考和分析，提出了借助IM本身实现语音视频数据重放的解码方案。解码方案具体步骤如下：步骤1 用户A、用户B与服务器正常协商，协商完成后用户A向B发送语音视频会话请求，并与B建立会话连接；步骤2 用户A与用户B建立语音视频会话连接后拦截A发给B的语音视频数据；步骤3 发送保存的语音视频数据给B，从而在用户B上实现语音视频重放。IM语音视频数据重放首先需要用驱动过滤IM发送的语音视频数据包，然后将事先保存的IM语音视频数据进行适当改造，并通过驱动发送出去以达到重放的目的。IM语音视频重放原理如图8所示。图8 语音视频重放原理通过对QQ、MSN等IM语音视频的解码实验，证明我们设计的解码方案能够较好地解决IM语音视频的解码问题。5 IMmonitor性能测试与分析为了对IM实时监控系统做进一步的性能分析，以Fetion为例，就系统的丢包率和关键词数目对IM实时监控系统的影响进行了测试。实验配置：主机CPU为P4 2.4GHz，内存为256MB，操作系统为Windows XP；网卡为吉比特以太网网卡Intel Pro/1000MT Desktop Adapter。在测试中所使用的软件有：PCATTCP V2.0，用来发送网络数据包（包括TCP包和UDP包）；OnlineEye Pro V1.5，用来测量网络速率；Netcat V0.7，用来开启特定端口并建立一个侦听进程；PacketSender，用来发送特定的数据包12。1) 丢包率测试随着Fetion包发送速度的增加，测试IM监控系统的处理能力，关键词个数为5个，包消息体长度为50B，测试结果如表2所示。表2丢包率测试结果发包率/(packets-1)发送包个数接收包个数丢包率1001 3701 3700.0%5002 1652 1650.0%1 0003 0693 0690.0%5 0009 2729 2630.1%10 00011 64011 4082.0%2) 关键词数目测试测试关键词数目不同时对IM监控系统性能的影响，测试对象为Fetion，包消息体长度为50B，发包率为100packet/s，测试结果如表3所示，表3中初始速率为506.2Mbit/s（没有发送Fetion包）。表3改变监控关键词对网络流量影响测试关键词/个1102050影响率/%2.0由表2的结果可以看出，当IM数据包发包速率低于1 000packet/s时，丢包率为零，当IM数据包发包速率为10 000packet/s（约2Mbit/s）时，丢包率才开始急剧增加（2%），这基本满足吉比特以太网环境下的需求。由表3的结果可以看出，增加关键词对IM监控系统影响不大。综上，IM实时监控系统可以运行在吉比特以太网的网关上，在背景流量达到500Mbit/s，对不大于2Mbit/s流量的IM数据能进行有效的监控，丢包率控制在2%以内，并且对网络流量影响很小。6 进一步讨论的问题IM监控还有以下一些需要分析和讨论的问题。1) IM的升级问题IMmonitor目前能够实现对Fetion 2.3.0180、2.3.0210，ICQ 5.0、5.1、6.0，MSN 7.5、8.0、8.5、8.5 Beta，QQ 2007 7.0等众多版本的监控，但IM软件升级频繁，所有IM软件基本上是每年推出一个新的版本，有的甚至一年推出三四个版本，所以IMmonitor必须考虑对IM升级版本的监控问题。通过研究发现，大部分IM升级版本的协议并未发生多大改变，因此一般只需要对IMmonitor数据库中的监控规则作简单调整就可以实现对IM升级版本的监控。2) 加入新型IM监控的问题IMmonitor已经实现了对众多IM的监控，但由于IM市场巨大，依然不断有新的厂商推出新型IM软件，如中国联通推出了新型移动即时通超信，百度公司也将推出百度Hi。对这类新型IM的监控只需要通过协议研究和分析，总结出新型IM协议格式和特征，并生成新的监控规则，然后添加到IMmonitor数据库中，就能方便地实现对这类新型IM的监控。3) 加密传输IM监控的问题目前大部分IM采用明文传输IM信息，但也有一些IM采用加密传输，如QQ各版本文本信息均加密传输，Yahoo! Messenger 自8.3版本开始采用加密传输文本信息。IM加密传输一方面有利于保护个人隐私，但无疑也加大了对其监控的难度，不利于净化网络内容。对加密传输IM的监控首个困难问题是不易分析出IM的协议（因为采用Sniffer捕获的数据包都是密文，无法对比分析出IM的协议格式），不过，采用已知IM用户名和密码，结合IM加解密算法，依然可能分析出IM的协议格式。显然这相比于分析明文传输的IM的协议格式要困难得多，并且必须事先知道IM采用的加解密算法。即便如此，要达到像实时监控明文传输的IM一样监控加密传输的IM也是几乎不可能的，因为不可能获得所有人的IM用户名和密码。但可以采取先保存每个IM用户的密文内容，并通过事后获取相应用户的密码而查看密文内容，这对于一些特定应用是有重要意义的。7 结束语本文在深入研究分析IM协议和IM监控技术的基础上，设计并实现了一个功能完备、性能良好、可扩展的IM实时监控系统，该监控系统不仅能够实现对Fetion、MSN、ICQ等多个国内外IM 众多版本的文本信息的实时监控，还能实现对IM各类文件传输（如.txt, .doc, .jpg, .rar等）和语音视频的监控。同时，由于系统采用了基于ACK欺骗拦截IM数据包的策略，能够在通信双方毫不察觉的情况下实时拦截有害和敏感信息，而让合法信息继续正常发送。参考文献：1OSULLIVAN S. Instant messaging vs. instant compromiseJ. Network Security, 2006, (7):4-6. 2GU H. Security of instant messageEB/OL. http:/www.cs. auckland.ac.nz/courses/compsci705s1c/assignments/Student ResearchReports/ SecurityOfIM%20Hui%20Gu.pdf. 3MANNAN M, OORSCHOT P C. Secure public instant messaging: a surveyA. Proceedings of the Second Annual Conference on Privacy, Security and TrustC. 2004. 69-77.4FRASE D. The instant messaging menace: security problems in the enterprise and some solutionsEB/OL. /reading_ room/whitepapers/threats/479.php.5LIN C K. A study of monitoring technologies in instant messengerEB/OL. .tw/ETD-db/ETD-search/getfile? URN=93523042&filename=93523042.pdf.6XIAO Z, GUO L, TRACEY J. Understanding instant mess