PPCache系统针对网络的优化管理解决方案.docVIP

PP Cache系统针对网络的优化管理解决方案蓝永乾、刘银鹏大庆石油管理局通信公司新技术软件开发摘 要宽带互联网发展到今天，全球电信运营商的网络建设的指导方针已经从传统的面向建设转变为面向应用需求。原有的根据用户数/带宽为模型的网络建设已经不在适合今天网络建设的要求。现在网络建设模型是以用户需求模型为主导。本文论述的是目前占据网络资源的杀手P2P，以及如何应用软件PP Cache系统针对油田宽带的网络优化管理，有针对性的优化/建设网络，保证网络建设的合理性，提高网络质量和利用效率。关键词：PP Cache软件系统、P2P原理、油田宽带带宽分析、网络的优化管理一、引言通过油田宽带的发展我们可以发现不管带宽有多大，总是会有一种新的应用出现，把带宽充分利用，这种应用就是今天的P2P应用。由于P2P成为宽带互联网“杀手”级应用，使得用户认为网速永远是慢。目前我们做的PP Cache系统，就是针对当前网络对P2P流量管理和缓解出口带宽压力两大需要而设计，具有部署灵活、不影响现有网络结构、缓存效率高、系统管理完善等特点，系统分为PPS、LBE、PPC、PPM 四种模块，既可以分散部署，又可以集中部署，并可以根据出口带宽规模，无缝扩容。二、油田宽带的 “杀手”P2P1、P2P基本原理P2P系统最大的特点就是用户之间直接共享资源，其核心技术就是分布式对象的定位机制。P2P网络是一种具有较高扩展性的分布式系统结构，其对等概念是指网络中的物理节点在逻辑上具有相同的地位，而并非处理能力的对等。以Napster软件为代表的P2P技术其实质在于将互联网的集中管理模式引向分散管理模式，将内容从中央单一节点引向网络的边缘，从而充分利用互联网中众多终端节点所蕴涵的处理能力和潜在资源。相对于传统的集中式客户/服务器(C/S)模型，P2P弱化了服务器的概念，系统中的各个节点不再区分服务器和客户端的角色关系，每个节点既可请求服务，也可提供服务，节点之间可以直接交换资源和服务而不必通过服务器。P2P应用现状已是不可阻挡的趋势：2、P2P分类P2P主要分为2类，一类是非结构化P2P，第二类是结构化P2P。我们生活中常接触的P2P有BT、E-donkey/E-mule、迅雷、PoCo、PP Live、QQ Live等。当前的P2P应用各自成体系，互不兼容。导致每一种P2P应用都是一个重叠网络，叠加在油田宽带的基础网络之上。形成一个混乱的、多层的重叠网，使得我们对于P2P这种应用难于管理、控制。我们需要对P2P应用进行管理，让P2P应用“化害为利，为我所用”。三、软件PP Cache系统的原理以及对油田宽带的优化1、系统目标PP Cache系统设计的目标主要是从解决油田宽带两个问题入手，一是加强油田宽带对网络流量的监控和管理；二是优化油田宽带现有网络质量，降低出口流量成本。我们为了加强油田宽带对网络流量的监控和管理，主要是通过PP Cache系统提供的PPS模块完成。我们将PPS模块部署在网络出口，或部署在需要进行监控的路径。在出口路由器或交换机上设置端口镜像功能，将出口流量完全镜像到PPS监控端口上，PPS就可以通过监控端口捕获所有流量。PPS模块，与穿透的路由器和交换机相比，最大的特点是不仅可以对3、4层网络数据包进行分析，而且可以分析7层网络数据报文。由于P2P流量端口和地址不固定，对P2P流量进行分析和管理，必须要对数据包内容进行解析。对于某些没有明显特征的P2P流量，还需要根据特定的P2P协议对P2P整个会话过程进行监控，通过分析会话建立报文，识别出特定地址和特定端口为P2P流量。我们还可以通过PP Cache系统的缓存服务器PPC，来优化油田宽带网络质量和降低成本。用户下载被重定位到PPC，由PPC向用户提供数据流量。由于PPC的缓存作用，可以重复利用数据流量，以达到节省出口带宽的目的。同时，PPC服务器缓存了数据，当网络上的peer数目不足或者缺乏某些文件分片导致用户不能正常完成下载的情况，也大大降低。 2、系统原理PP Cache系统节省带宽的原理主要是分为三个技术：缓存、主动挂断、内网peer优先。缓存技术节省入流量。通过部署一定数量的PPC（数量和配置根据网络出口流量确定），达到一定的命中率后，开启PPC缓存功能，开始缓存网络数据流量，开启PPS重定向功能，将用户对外部的BT请求重定向到PPC上，不再允许用户直接通过外网出口获取BT流量，通过PPC分发给用户的流量local_snd必然大于PPC从外部获取的流量remote_rcv，以达到节省出口入流量的目的。主动挂断节省出流量。虽然用户对外部BT的请求被重定向到PPC上，但是由于PPS属于旁路设备，用户的第一次BT请求报文还是会正常传到外部Tracker上，而外部Tracker记录下用户的联系地址和端口以及infohash后，外部peer请求相同infohash时就会获取内部用户的联系地址和端口，并从内部用户获取数据流量。因此，PPS的另一个重要功能就是可以挂断外部peer的请求，阻止外部peer对内部用户的流量请求，以达到节省出口出流量的目的。内网peer优先节省出入流量。BT 协议中没有对内网peer的优化技术，因为Tracker 服务器并不能判断哪些peer属于内网，应该优先互相传输。使用PP Cache系统的LBE模块，只要我们指定IP地址段，LBE模块就会将内网保存有相同infohash 内容的peer 联系地址和端口优先传送给请求用户。而不需要向外网peer进行请求，以达到节省双向流量的目的。 3、系统结构结合油田宽带的固有特点，我们把PP Cache系统分成了5个模块：PPS、LBE、PPC、PPM、CAS。因为油田通信宽带是以4台万兆核心路由器为骨干设备的万兆。其下属网络结构非常复杂。而PP Cache系统各模块之间相对独立，既可以组合成不同的方案，又可以单独组网，各模块既可以部署在单台服务器上，又可以部署在多台服务器上，具有较高的灵活性。下面我以油田宽带的一条龙南1000M网通出口为例，讲解个模块的工作原理。其系统结构如下： PPCache系统龙南网通1000M出口结构PPCache系统的软件架构PPS：采用旁路方式监控所有出口流量，分析用户的协议请求类型。如果是tracker协议的GET announce请求，则伪装tracker服务器向用户发送重定向报文，引导用户和LBE交互，使用户和内网的其他用户和PPC进行交换数据；可以和多台LBE配合使用，基于动态算法支将不同的infohash重定向到不同的LBE上，使系统具有更高的可扩充行和灵活性；LBE：实现标准的tracker服务器，接受内网用户的GET announce的请求，并将内网的其他用户和ppc的地址返回给用户。除此之外，LBE还对部署的多台PPC进行有效的负载管理。引导用户和已经存在缓存数据的PPC进行数据交互，增加PPC上的cache的命中。当一台PPC的负载达到一定的阀值时，LBE会启动另外一台现对空闲的PPC为内网用户服务。LBE在向用户发送peer列表的时候，优先分发内网的其他用户节点，引导内网的用户之间互连，降低网络资源占用，提高内网资源的利用。PPC： 当内网用户从LBE获得PPC的地址后，将和PPC建立数据交互连接。开始时PPC上并没有用户所需要的数据，此时PPC将代理用户到外部网络去获取数据；在将获取的数据发送给内网用户的同时，将数据保存在PPC的磁盘缓冲中。他用户连接上PPC时，如果PPC上已经保存了用户所需要的数据时，PPC将不向外建立数据连接，直接访问磁盘上的数据，为内网用户服务。 系统采用特有的磁盘文件存储方式，提高磁盘数据访问速度，增加PPC对内网的数据吞吐率。采用优化的buf管理技术，增加用户的数据请求在内存中的命中率，减少磁盘操作，提高系统的网络性能。PPM：PPM是PP Cache系统的管理系统。采用BS结构，部署灵活，扩展方便。统一管理PPS、LBE、PPC等设备，监控设备的运行状况；统计业务数据，生成业务数据图表，为我们对网络的优化提供决策支持。CAS：CAS旁路部署，从网络出口和PPCache缓存服务器搜集数据，分析出口用户行为和PPCache缓存内容，做出热点内容排行，为我们提供本地内容服务提供决策依据。4、系统工作原理我们通过PPCache系统节省油田宽带带宽的原理主要是分为三个技术：缓存、主动挂断、内网Peer优先。 缓存技术节省入流量。我们通过部署一定数量的PPC（数量和配置根据网络出口流量确定），达到一定的命中率后，开启PPC缓存功能，开始缓存网络数据流量，开启PPS重定向功能，将用户对外部的BT请求重定向到PPC上，不再允许用户直接通过龙南1000M网通出口获取BT流量，通过PPC分发给用户的流量local_snd必然大于PPC从外部获取的流量remote_rcv，以达到节省龙南1000M网通入流量的目的。 主动挂断节省出流量。虽然用户对外部BT的请求被重定向到PPC上，但是由于PPS属于旁路设备，用户的第一次BT请求报文还是会正常传到外部Tracker上，而外部Tracker记录下用户的联系地址和端口以及infohash后，外部peer请求相同infohash时就会获取内部用户的联系地址和端口，并从内部用户获取数据流量。因此，PPS的另一个重要功能就是可以挂断外部peer的请求，阻止外部peer对内部用户的流量请求，以达到节省龙南1000M网通流量的目的。内网Peer优先节省出入流量。BT 协议中没有对内网peer的优化技术，因为Tracker 服务器并不能判断哪些peer属于内网，应该优先互相传输。使用PP Cache系统的LBE模块，只要我们只要指定IP地址段，LBE模块就会将内网保存有相同infohash 内容的peer 联系地址和端口优先传送给请求用户。而不需要向外网peer进行请求，以达到节省双向流量的目的。5、业务流程PP Cache系统在完成缓存时的系统流程，由PPS、LBE、PPC共同完成。整个过程无需用户端和外部Tracker服务器作任何改动，完全支持主流的用户端BT下载软件如：Bitcommet、Bittorrent、Bit精灵等。我们根据油田宽带目前网络最大的“杀手”BT的特点，制定了一套完全符合BT协议规定。1内网用户向BT Tracker请求 拥有特定infohash文件的peerlist。2该请求报文被PPS所截取后，PPS重定向到LBE。3用户向LBE发送获取peerlist的tracker请求， 4LBE优先向用户推送拥有该特定infohash文件的 内网peerlist；如果在PPC群中还没有为此infohash服务的PPC ,LBE将根据一定的策略在PPC群中，选择一个PPC来为改infohash服务。5内网用户与PPC握手，交互后开始从PPC上获取piece文件。6如果PPC上缺乏某个piece文件，PPC将向外部Tracker发起请求，从外部Peer上获取相应的piece文件，同时将获取的保存在磁盘缓冲中。以下是我们制定BT协议规定的网络原理图:6、PPCache系统容量计算我们还是以油田宽带现有的2条网通和2条电信共4G互联网出口为例，出口流量中，通常P2P流量占到70以上，BT流量占到P2P流量的80以上。那么一条4G互联网出口流量中，将近有2.2G的BT流量。如果目前按照我们应用的BWPPC4000服务器的性能计算（峰值期间300Mbps，峰值期间平均吞吐能力240Mbps，平均吞吐能力为200Mbps），那么处理2200Mbps的BT流量，2200/200 预估11台BWPPC4000可以满足2.2G的服务能力。考虑需要冗余20的服务能力，就需要10台BWPPC4000。我们根据油田宽带BT用户分析，一个10万宽带城域网用户为例，峰值在线BT用户约为1万，如果要保证30用户可以连接到PPC获取内容，维持用户体验在30kBytes/s以上的体验（其中70用户由PPCache系统引导，内网用户之间获取相应的内容），就需要PPCache服务器向用户提供2200Mbps的服务能力。如果采用BWPPC4000（峰值期间300Mbps，峰值期间平均吞吐能力240Mbps，平均吞吐能力为200Mbps），2200M/200M 大约需要11台BWPPC4000，考虑需要冗余20的服务能力，就需要12台BWPPC4000。我们根据用户BT Infohash请求计算，以油田宽带10万宽带用户例，一天统计用户BT Infohash请求为1.2万，按照80/20原则，其中20 Infohash为热点内容为2400个，每台PPC服务的并发Infohash服务数量为400，服务热点BT内容需要6台PPC；考虑PPC还需要服务部分非热点的BT下载内容，按服务30 Infohash数量计算，就需要同时支持3600个BT内容下载，一共需要配置8台PPC。根据PPC的服务能力计算每台PPC需要的存储空间，每台PPC的并发Infohash能力为600，以每个Infohash为1GB（平均值）计算，600个Infohash的存储空间为600G；考虑到PPC需要存储部分非热点内容，以存储的非热点内容为30计算，保存非热点内容周期为7天，对于非热点内容的存储空间为6003071260G，所以PPC需要的存储空间为1.3T。因为PPC的存储空间使用实际存储空间的90（超过实际存储空间的90时，将进行缓存更新），实际每台PPC的存储空间为1.8T。我们通过综合分析以上数据，并结合油田宽带的固有特点.认为油田宽带的PPCache系统，需