s05流量分析技术

5-1,IP网络流量分析,常见的应用层流量分析和检测,第五章,5-2,IP网络流量分析,目录,基于内容的流量分析综述QQ和MSN等聊天工具的端口及封堵方法BT流量的检测和预防,5-3,IP网络流量分析,流量控制需求产生的来源,流量控制需求是在网络资源和投资收益之间进行平衡的客户的网络资源都是有一定的容量的为了获得尽可能多的经济利益客户会对某些特定的应用进行流量控制,5-4,IP网络流量分析,数据链路层的流控,数据链路层协议都有其特定的标识方式ATM中有VPI/VCIFR中有DLCIEthernet中有VlanID/MAC,5-5,IP网络流量分析,数据链路层的流控,Ethernet中最常用的数据通信设备是LSWL2主要的应用划分Vlan隔离广播域在L2上实施的“流量控制”策略就是基于MAC地址进行限速设备上支持基于MAC的ACL配置特定的ACL来界定出需要控制的数据流,5-6,IP网络流量分析,网络层和传输层的流控,在这两个层面上，数据包都有明显的特征字段IP报文有源/目的IP地址TCP/UDP报文有端口号主流的数据通信设备上都提供基本ACL（20002999）扩展ACL（30003999）通过ACL界定出特定的数据流再进行限速,5-7,IP网络流量分析,应用层的流控,应用层在传输层之上这部分内容与具体的应用相关性很强策略十分灵活一般路由设备是不提供这个层面的功能如需这部分业务，需应用特定的应用层网关,5-8,IP网络流量分析,流控的位置,传统的网络结构可以分为核心层汇聚层接入层在网络的“接入层”实施流量控制减轻汇聚层和核心层对无法到达目的地的数据流量的输导压力越靠近边缘，设备的数目相对也就越多响应的维护工作量也就越大,5-9,IP网络流量分析,流控的位置,对于单台设备来说要考虑在数据包的入接口或出接口进行限速入接口限速可有效减轻设备的负载，提高设备可用性但相同类型的数据流可能存在多个“入接口”令配置量增加,5-10,IP网络流量分析,QQ-TCPF协议,TCPF是建立在UDP协议上的一个协议族主要支持文字聊天功能是以请求-相应方式工作的QQ主要是通过TCPF协议和服务器进行通信,5-11,IP网络流量分析,QQ-TCPF协议,包结构类型TCPF包我们把它分为5类登录请求包（LIP，LogInPacket），它是由客户端向服务器发出登录请求的数据包登录应答包（LRP，LoginReplyPacket），它是由服务器响应客户端登录请求的数据包注销请求包（LOP，LogOutPacket），它是由客户端向服务器发出注销登录请求的数据包，服务器对这个包不作应答客户端其它包（CSP，ClientSentPacket），它是由客户端向服务器发送的其它包服务器其它包（SSP，ServerSentPacket），它是由服务器向客户端发送的其它包,5-12,IP网络流量分析,QQ-TCPF协议,包头所有TCPF包的前7个字节是包头包头可以识别TCPF包的内容包头的格式为第0字节：TCPF包标识：0 x02第1-2字节：发送者标识第3-4字节：命令编号第5-6字节：命令序列号,5-13,IP网络流量分析,QQ-TCPF协议,包尾所有的TCPF包都以0 x03作为包尾在包头和包尾中间的包数据则不同类型的包有所不同,5-14,IP网络流量分析,TCPF协议-LIP包,登录请求包的包数据格式为第7-10字节4bytes发出登录请求的QQ号码第11-26字节16bytes随机密钥第27-106字节80bytes加密后的登录包数据,5-15,IP网络流量分析,TCPF协议-LRP包,从第7字节开始到包尾前加密的登录应答包数据解密的密钥随客户端版本的不同而有不同的可能在旧有版本中，使用登录包的随机密钥在后期的版本，使用用户QQ密码的MD5DigestLRP包内数据的16个字节的SessionKey很重要的作为以后通讯的加密密钥,5-16,IP网络流量分析,TCPF协议-LOP包,它的序列号总是0 xFFFF在新的版本中，好象已经没有了这个要求第710字节4bytes发送注销登录请求的QQ号码第11字节到包尾前加密的注销登录包数据使用SessionKey作为密钥,5-17,IP网络流量分析,TCPF协议-CSP包,第7-10字节4bytes发送请求的QQ号码第11字节到包尾前加密的包数据使用SessionKey作为密钥,5-18,IP网络流量分析,TCPF协议-SSP包,从第7字节开始到包尾前加密的服务器发送包数据使用SessionKey作为密钥,5-19,IP网络流量分析,TCPF协议-QQ加密算法,源于TEA(TinyEncryptionAlgorithm)加密算法使用128bit密钥加密64bit数据产生64bit输出的算法通过加密轮数保证可靠性QQ使用16轮的加密这是最低限，推荐是32轮QQ使用了一些常规的填充算法交织算法,5-20,IP网络流量分析,QQ-服务器地址,5352535455303546546152656915,01314262335336403330763668192,5-21,IP网络流量分析,QQ-UDP服务器,UDP8000端口类13个速度最快服务器最多服务器名字均以SZ开头域后缀是域名与IP对应为sz,5-22,IP网络流量分析,QQ-TCP/HTTP服务器,TCPHTTP连接服务器4个使用HTTP80和443端口连接服务器名字均以tcpconn开头域后缀是会员VIP登陆服务器使用HTTP443安全连接服务器IP2,5-23,IP网络流量分析,QQ登陆过程,首先选择就近的UDP服务器登陆如果登陆超时会选择就近的TCP服务器登陆,5-24,IP网络流量分析,QQ封堵,封堵QQ服务的IP地址和端口注意:不能封堵80端口因为80端口也是HTTP服务的默认端口以上方法的失效情况有新服务器开放改变端口目前路由器无法实现根据qq报文的内容进行封堵可以采用第3方软件来实现,5-25,IP网络流量分析,MSN登陆过程分析,MSNMessenger“客户端”一般来说，是用户微机上的程序的统称通过Internet连接到一个MSNMessenger服务器即客户端通过服务器与其他客户端交互信息,5-26,IP网络流量分析,MSN登陆过程分析,5-27,IP网络流量分析,MSN登陆过程分析,使用TWN(Tweener)认证方式通过SSL/TLS连接到和等服务器借助于HTTP协议输入账号和密码认证通过后，才能取得“进场券”,5-28,IP网络流量分析,MSN协议,最初版本的MSNMessenger协议“MSNMessengerService1.0Protocol”草案1999年Microsoft向IETF提交的InternetEngineeringSteeringGroup国际互联网工程任务组是世界上做互联网方面技术标准的组织目前MSNMessenger的协议已经到了第12版简称MSNP12MSN7.0支持的协议是MSNP10和MSNP11服务器对MSNP8以下的版本已经不再支持,5-29,IP网络流量分析,MSN协议,客户端与服务器间信息都是以命令格式传递的命令被描述为三个字符、所有字母大写的命令代号所有一般命令都有一个事务ID并且以新行结束客户端发送的命令一般会使服务器响应一个及以上的命令MSNMessenger命令使用了纯ASCII码对非ASCII码字符使用URL编码命令的语法如下:XXXTrIDPARAM1PARAM2其中，是空白字符，是回车换行，XXX是一个3字符的命令串，TrID是一个流水号，PARAMx是参数，内是可选项,5-30,IP网络流量分析,MSN命令,5-31,IP网络流量分析,MSN命令,5-32,IP网络流量分析,MSN术语,派遣服务器DispatchServer，简称DS服务器客户端最初连接的服务器负责给客户端分配合适的通知服务器域名是标准服务端口是1863完成派遣任务后，切断TCP连接,5-33,IP网络流量分析,MSN术语,通知服务器NotificationServer，简称NS服务器通知服务器的目的主要就是保留用户的在线信息保留其他用户所关心的重要人员的信息包括登录、改变状态、获取用户列表、修改用户信息、发起聊天、接受呼叫、邮件通知、退出等等通知服务器同样也提供其他通知服务如hotmail的新邮件提示创建或者加入会话等服务端口由派遣服务器指定，通常是1863,5-34,IP网络流量分析,MSN术语,接线服务器SwitchboardServer，简称SS服务器保存了各人员的即时会话信息服务端口通常也是1863点对点通信使用的端口由客户端自动协商决定如文件传输通常使用6891端口,5-35,IP网络流量分析,MSN图解,5-36,IP网络流量分析,MSN服务器地址,545444534853447,5-37,IP网络流量分析,MSN封堵,通过封MSN的服务器地址来实现但有一个缺陷，同时hotmail也无法使用用第三方软件来实现通过对报文内容的监控达到彻底封MSN的目的,5-38,IP网络流量分析,BT下载原理简介,是一种用来进行文件下载的共享软件全名叫“BitTorrent”是一个多点下载的源码公开的P2P软件使用非常方便很适合新发布的热门下载特点下载的人越多，速度越快,5-39,IP网络流量分析,BT下载原理简介,一般来讲，下载是把文件由服务器端传送到客户端，例如FTP，HTTP，PUB等等。工作原理如下图：,5-40,IP网络流量分析,BT下载原理简介,出现了一个问题随着用户的增多，对带宽的要求也随之增多用户过多就会造成瓶颈搞不好还会把服务器挂掉很多的服务器会限制用户人数限制下载速度给用户造成了诸多的不便,5-41,IP网络流量分析,BT下载原理简介,用BT下载反而是用户越多，下载越快，这是为什么呢？因为BT用的是一种传销的方式来达到共享的，工作原理如下图：,5-42,IP网络流量分析,BT协议介绍综述,是一个文件分发协议通过URL识别内容并且和网络无缝结合它和普通HTTP协议相比优势同时下载一个文件的下载者在下载同时不断互相上传数据，使文件源可以在很有限的负载增加的情况下支持大量下载者同时下载,5-43,IP网络流量分析,BT协议介绍综述,一个BT式文件分发需要以下实体一个普通网络服务器一个静态元信息文件（Metainfofile）一个BTTracker一个“原始”下载者（originaldownloader）网络终端的浏览器网络终端的下载者这里假设理想情况下一个文件有多个网络终端的下载者,5-44,IP网络流量分析,BT协议介绍综述,架设一个BT服务器步骤如下开始运行Tracker开始运行普通网络服务器程序在网络服务器上将.torrent文件关联到Mime类型application/x-bittorrent用要发布的完整文件和Tracker的URL创建一个元信息文件（.torrent文件）将元信息文件放置在网络服务器上在网页上发布元信息文件（.torrent文件）的链接原始下载者开始提供完整的文件（原本）,5-45,IP网络流量分析,BT协议介绍综述,通过BT下载步骤如下安装BT客户端程序上网点击一个链到.torrent文件的链接选择本地存储路径，或者选定未完成的下载的续传等待下载完成下载者退出下载（之前下载者不停止上传）,5-46,IP网络流量分析,BT协议介绍综述,连通性如下网站正常提供静态文件并且启动客户端上的BitTorrenthelper(官方的客户端程序)Tracker即时接收所有下载者信息并且给每个下载者一份随机的peer列表通过HTTP或HTTPS协议实现下载者定时向Tracker登记使之知道每个人的进度并和那些直接连接上的peer互相进行数据的上传下载这些连接遵循BitTorrentpeer协议，通过TCP协议进行通信原始下载者只上传不下载,5-47,IP网络流量分析,BT协议介绍-B编码,Bencoding一种简单高效可扩展的格式元信息文件和Tracker的回应信息都以此格式传送附加可选的关键值可在以后添加,5-48,IP网络流量分析,BT协议介绍-元信息文件,元信息文件就是B编码的有以下关键值的字典announceinfo（信息）关键值name关键值piecelength（块长）关键值length（长度）和files（文件）单文件情况下，length对应文件长度的字节数多文件情况下，关键值files就对应文件列表关键值length（长度）关键值path（路径）,5-49,IP网络流量分析,BT协议介绍-TrackerHTTP协议,Tracker质询是双向的Tracker通过HTTP协议的GET参数获得信息，然后返回一个B编码后的信息,5-50,IP网络流量分析,BT协议介绍-TrackerHTTP协议,Tracker的GET请求有如下关键值info_hashpeer_idIpportuploadeddownloadedleftevent,5-51,IP网络流量分析,BT协议介绍-TrackerHTTP协议,Tracker的回应也是B编码字典如果回应中有关键值failurereason则不需要其它关键值否则，回应必须有两个关键值intervalPeers若对元信息文件或者Tracker质询进行扩展需与BramCohen进行协调，确保所有扩展都兼容downloader通过HTTP的GET命令来向tracker发送查询请求tracker响应一个peers的列表,5-52,IP网络流量分析,BT协议介绍-BitTorrentpeer协议,BT对等协议基于TCP很有效率并不需要设置任何socket选项Peer之间的上载和下载关系有其简单的机制来保证,5-53,IP网络流量分析,BT协议介绍-BitTorrentpeer协议,在连接的任一端包含两个bit位用来指示连接状态chokedornotinterestedornotChoking是通知对方，没有数据可以发送除非unchoking发生一端状态为interested，而另一端为非choking那么数据传输就开始了Interested状态必须一直被设置,5-54,IP网络流量分析,BT协议介绍-Choking算法,Choking用于阶段性的阻止上载但是在Choking结束后，上传可以继续进行Choking算法不是BT链路协议的技术组成但是对提高下载效率很有作用一个好的Choking应该能够利用各种资源保障参加下载