P2P系统原理教学课程(ppt 57页).ppt

第五章P2P系统原理 学生 孙亮 5 5 3P2P流量的管理手段5 5 4P2P流量综合管理方案5 6P2P系统的信誉机制5 7结论与进一步的研究工作 5 5 3P2P流量管理手段 5 5 3 1传统的流量管理手段传统的流量管理手段有以下几种 1 严格的封禁手段 对于禁止的P2P应用的流量进行直接的过滤 2 不同的服务等级 这类方法给各种不同应用不同的服务等级 通过控制服务质量以及转发优先级来对P2P应用给予相对较低的服务等级 从而保证传统应用的服务质量不受到太大的影响 3 带宽限制 通过设定流量的允许宽带 限制超过一定的流量宽带 并在网络空闲的时候适当地放宽之一限制 4 按时间或者流量计费 由于传统业务在夜间的流量远远小于在白天繁忙期的流量 所以可以按照对不同时段采用不同费用的方法进行收费 此外 由于P2P应用产生大量流量 也可以按照流量收费来对P2P流量进行控制 5 5 3P2P流量管理手段 5 5 3 2P2P流量的限制管理方法针对特定的P2P应用 有一些行之有效的限制方法 主要有 限制种子文件的下载 限制浏览P2P资源网站 禁止访问P2P服务器 封闭P2P端口 限制用户宽带 限制对大连接数 使用HTTP代理对应用层协议过滤阻断P2P应用等7种方法 1 限制种子文件的下载 很多文件下载类的P2P应用通过在网上发布种子文件的方式共享资源 如BitTorrent 可以通过在HTTP中限制种子的扩展名来禁止BitTorrent下载 对于修改扩展名 或者使用非80端口提供Web服务的情况 这种方法就需要解析HTTP协议 并解析种子格式才能做到 在实际实现中就较难奏效 5 5 3P2P流量管理手段 2 禁止访问P2P服务器 很多P2P应用需要客户端接入P2P网络前先连接某个特定的服务器 例如Bittorent对应的是Tracker服务器 Tracker是指运行于服务器上的一个程序 这个程序能够追踪到底有多少人同时下载一个文件 客户端连上Tracker服务器 就会得到一个下载人员名单 据此BitTorrent会自动连接其他Peer的机器进行下载 3 限制浏览P2P的资源网站 P2P应用 如BitTorrent和EMule之类的往往通过一些资源网站发布种子文件 对一些比较热门的P2P的资源网站 在安全网关配置过滤规则 并且在出接口上启用过滤HTTP功能 禁止对它们的访问也可以抑制P2P应用 但是 一方面P2P资源网站很多 无法进行全面的屏蔽 另一方面 屏蔽网站可能造成一些误判 导致一些合法的站点无法访问 4 封闭P2P端口 有些P2P应用有默认的服务端口 网络管理员可以根据网站流量的变化进行判断 在网关中封掉特定的P2P流量的端口 但是现在很多P2P软件可以动态分配端口号 从而使得管理员无法真正掌握目前使用的所有P2P应用端口 另一方面 过多的屏蔽端口可能使得一些正常的网络访问无法进行 从而造成一定程度上的负面影响 5 5 3P2P流量管理手段 5 限制用户带宽 P2P应用对网络的影响来自于它占用了大量网络 因此 限制每个用户使用的网络带宽 可以再一定程度上缓解P2P应用对网络的危害 但是对于运营性网络 对网络带宽的限制是一种因噎废食的措施 它一方面不能完全禁止某些用户的P2P应用 另一方面也使得那些非P2P的传统应用受到影响模式的用户无法高效 合理的利用网络资源 5 5 3P2P流量管理手段 6 限制最大连接数 P2P应用本质上是让某个P2P终端和众多其他P2P节点之间一起共享资源 所以在下载的时候会保持与很多节点的连接 尝试从他们那获取数据 网络管理员可以针对这一特点 对TCP最大连接数进行控制 从而达到控制P2P应用对网络带宽的占用 但是这个方法只能抑制 并不能达到很好的控制效果 而且对TCP最大连接数目进行控制同样也会损害用户正常使用网络 7 过滤流量 当前国内主要的监控软件厂商以及一些硬件防火墙厂商 可以对每个用户或者针对某些特殊应用限制流量 另一些产品可以通过深层扫描 也就是利用特征字符串的方法进行P2P应用识别 然后对P2P应用进行限制 这是一种较为理想的方法 5 5 3 3P2P流量的优化管理方法 1 缓存 如同Web流量的缓存服务器一样 也可以使用针对P2P流量的缓存服务器 P2P流量的缓存服务器能够在实际部署中获得成功主要归功于如下几个原因 a 只有少数文件需要被缓存 即使缓存所有在下载的文件 数量其实也不多 b 所有被下载的文件中只有极少的一部分就造成了超过50 甚至更多的下载流量 这进一步减少了需要缓存的数量 c 因为P2P下载总是很多新用户 即使是短暂热点的文件被缓存起来 也能够在缓存期间服务很多用户 d P2P的文件往往是静态的文件 一旦缓存下来不需要去定时更新 5 5 3 3P2P流量的优化管理方法 e 多个用户同时在下载的文件总数并不是非常多 所存在的问题 例如合法性问题 法律可能不允许运营商在服务器上保存侵犯版权的内容 2 P2P流量重定向 P2P流量重定向需要控制管理网络内的所有P2P应用的流量都经过一个重定向服务器 这个服务器会检查经过流量 决定这个请求是通过发送到运营商之外的网络还是可以从本地的P2P客户端处得到满足 如果能够本地满足就通过本地传输 从而减少骨干网络的流量 由于重定向服务器需要参与并且解释所有的客户端的请求 它必须满足以下两个条件 a 必须被部署在出口链路上 b 能够支持与大多数的P2P协议交互的能力 c P2P重定向是一项正在研究中且并没有完全成熟的技术 它的潜在的优势是可以再减少互联带宽的同时增加用户的满意度 不过 存在困难的就是这种方式需要掌握大多数P2P协议的细节 而很多P2P协议时私有非公开的 需要使用时间开销相对较大的反向工程手段 5 5 3 3P2P流量的优化管理方法 3 控制超级节点 控制超级节点的思想类似于重定向服务器 由于很多P2P协议都是通过超级节点来定位资源完成下载的 甚至通过超级节点传输数据 所以 运营商可以开发并部署一些自己控制的节点 并通过控制自己网络中的P2P客户尽量地连接这些超级节点 来使P2P流量尽量发生在本地网络范围内 5 5 3 3P2P流量的优化管理方法 然而 控制超级节点的方法也有自己的问题 用户可能并不信任运营商提供的超级节点 因为运营商的利益和用户的利益完全不一致 或者用户并不愿意运营商控制的超级节点看到他们正在下载的文件 5 5 4P2P流量综合管理方案 本节从逻辑功能结构出发 以针对P2P流量的缓存与优化方案为研究重点 结合理论模型讨论在网络中针对P2P流量的综合管理方案 5 5 4 1流量监测与控制方法 P2P流量的监测与控制虽然是P2P流量优化管理综合管理中的辅助手段 但是有效的检测方式总是能够为数据缓存提供更多准确数据 并且 在P2P流量已经直接影响到传统应用如HTTP服务质量的情况下使用流控方式对P2P应用加以限制 仍然是一种最为有效的手段 由于网络中非对称流量的存在 传统的在一些关键链路上部署相互独立的流量分析设备的方法将在很大程度上阻碍对网络中P2P流量的有效控制 同时 流量阻断与控制设备的部署方式也将在很大程度上直接影响设备对网络中P2P流量的控制能力 结合P2P流量优化管理方案的目标以及所面临的技术问题 本节提出了一种基于逻辑功能结构的建立在协同工作基础上的半分布式监测与流控方案 在该方案中 流量监测与流量控制将作为两个不同的逻辑功能实体进行讨论 5 5 4 1流量监测与控制方法 C1 P2 C2 P1 C11 C10 C9 P3 C3 C4 C5 C6 C7 L1 L2 C8 L8 5 5 4 1流量监测与控制方法 如图所示 在网络中 流量控制单元按照多个流量监测单元的覆盖范围被划分为若干个逻辑区域 其中 多个流量监测单元将通过相互通信来对网络中的P2P流量进行更加准确的分析与识别 也就是说 某个流量分析单元通过把本地分析信息的摘要以控制报文的形式发送给其他的流量分析单元 而收到这一信息的流量分析单元将通过将该摘要信息与本地数据进行比较 作为P2P流量识别的额外参考 当某个流量监测单元完成P2P流量识别以后 将直接把这一信息发往相连的流量控制单元 流量控制单元将在检测单元得出的P2P流量识别结果的基础上对P2P流量进行满足特定决策条件的操作 5 5 4 1流量监测与控制方法 以图中的拓扑为例 假设某P2P应用的出流量经过P2所负责的区域 而入流量经过P1所负责的区域 在网络中 流量检测单元P1 P2将通过相互之间的控制信号判定该流量是否为P2P流量 并分别将这一信息发往自己区域内的所有控制单元 最终 接收到这一消息的控制单元C1和C2将分别对链路L1 L2上的P2P流进行控制或阻断 5 5 4 1流量监测与控制方法 这种基于半分布式的流量检测与控制方案一方面增强了网络中P2P流量的识别效率 减少了漏查或者误报的可能性 另一方面 也在网络中部署广泛的流控设备的策略变更以及管理提供了一种低开销的策略分配思路 该方法作为P2P流量缓存与优化的辅助手段 能够在为P2P流量优化提供良好的功能支持的基础上保证其持续 高效 稳定的运行 5 5 4 2流量缓存与优化 近年来 互联网中缓存服务器是被广泛应用的web服务和视频流的服务优化手段之一 最近P2P流量缓存也逐渐成了研究的热点 由于P2P应用在资源共享方式从网络角度出发显得并不高效 相同热点资源在大量客户端中共享导致链路上存在大量冗余的P2P流量 这种流量特征使得P2P缓存成为优化P2P服务 减少链路压力的有效手段 5 5 4 2流量缓存与优化 P2P缓存和传统Web缓存的区别在于 传统Web缓存的优化的目标是减少用户访问网页的延迟 而P2P缓存则是从运营商的角度出发 用于减少P2P流量消耗的大量带宽 在一条链路上部署缓存设备 除了影响部署链路的流量 还会影响其他链路上的流量 所以选择最拥塞的链路部署并总是最优策略 以下图为例 图中链路容量均为1Gbit s 节点1从节点2的P2P下载流量为800Mbit s 节点3从节点2的P2P下载流量是100Mbit s 没有其他流量 因此 链路1的流量为800Mbit s 链路2上的流量是100Mbit s 链路3上流量是900Mbit s 为了方便说明 假设在链路上部署缓存可以使得50 的P2P下载直接来自该缓存 不需要从远处的P2P节点下载 5 5 4 2流量缓存与优化 节点1 节点4 链路1 节点2 节点3 链路2 链路3 800 900 100 5 5 4 2流量缓存与优化 5 5 4 2流量缓存与优化 为了计算最优的策略 我们首先需要定义优化的目标 为了寻找最优的缓存部署策略 首先需要对缓存部署收益量化 把网络堪称一个有向图 有n个节点 用Ni表示 m条有向边 用Li表示 5 5 4 2流量缓存与优化 5 5 4 2流量缓存与优化 5 5 4 2流量缓存与优化 5 5 4 2流量缓存与优化 研究发现 缓存服务器能够达到的效果和P2P系统中对象访问的频率模型相关 如果该模型拟合的Mandelbrot Zipf分布公式中的q越大 则效果越差 q越小 则效果越好 如果P2P中的对象在较长周期内的访问频率都符合Mandelbrot分布 那么缓存空间有限的缓存服务器能起到的效果实际上与公式中的q相关 对于P2P聊天或者语音应用 他们中间并没有重复数据的传输 所以缓存并没有作用 由于属于实时的应用 每个用户最多缓存几分钟内的视频片段 超出时间的视频则不再会被缓存 在系统中不存在 而短时间内一个视频片段在链路上可能传输多次 这就为缓存P2P视频数据片段提供了理论依据 对于文件 5 5 4 2流量缓存与优化 下载来说 缓存服务器可能要保存某个热点文件一周甚至一个月 直到它变得不再热门 由于缓存空间有限 所以大量不算热点但是也有多次冗余传输的数据就没有得到缓存 同时 对于视频应用来说 一个视频片段只会在几分钟内在系统中大规模传输 然后很快的下降 其他视频片段又会变得热门 所以只需要抓住其热门的周期较短 相对文件共享 缓存的替换更加频繁的特点 就可以使得缓存服务器的大提高 实现较好的命中率 缓存服务器在实际中面对的另一个问题是服务器需要能够和各种不同的P2P协议交互 现在流行的P2P视频的客户端的源代码都不是开源的 所以如何缓存P2P视频应用还需要进一步研究 此外 由于需要缓存的数据较大 缓存服务器使用硬盘提供服务 硬盘相对可靠性较低 所以缓存服务器本身的可靠性也是需要解决的问题 5 5 4 3P2P流量优化管理综合解决方案 R R R R R R R R R C R P P 5 5 4 3P2P流量优化管理综合解决方案 DASLAM 5 5 4 3P2P流量优化管理综合解决方案 为了减少设备开销 流量监测单元被部署在出口路由器和核心网边界路由器之间 用来识别所有出入该连接入网的P2P流量 数据缓存单元则使用旁路介入方式连接在出口路由器与流量监测单元间 用来控制P2P应用产生的互联流量 数据控制单元被部署在BRAS 宽带远程接入服务器 与DSLAM 数字用户线接入服务器 之间 起到以用户为最小粒度的控制上下行流量带宽的作用 此外 在互联链路上部署的流控设备将在缓存设备的部署效果不明显的情况下控制链路的流量 5 5 4 3P2P流量优化管理综合解决方案 按照可能的数据流量 当DSLAM内的某一用户发出上行P2P请求时们首先将通过数据控制单元的带宽控制 这种控制是一种灵活的 避免链路过载的方式 而不是一味的对流量进行阻断 其目的是以用户为单位限制DSLAM内的用户向其他网络内的用户提供P2P数据的带宽占用 当流量经过控制单元以后 边界路由器将把这一部分报文转发给数据缓存单元进行处理 数据缓存单元将根据该P2P报文的具体内容 代替用户对目标文件进行下载操作 并最终将数据通过边界路由器将数据转发给用户 5 5 4 3P2P流量优化管理综合解决方案 当有下行P2P数据经过流量控制单元时 虽然该流量在很大程度上可能是由缓存设备出发的 但是流量控制单元仍然要根据P2P流量的带宽使用策略对其进行控制 最后 在整个数据传输过程中 对P2P流量的识别与决策工作 将由部署在出口省的P2P流量监控单元完成 5 6P2P系统中的信誉机制 在人类社会中 当不熟悉的双方希望进行某种交易行为时 常常会通过向朋友打听等方式了解对方的一些基本情况 根据自己对朋友的了解以及朋友提供的这些情况 就可以在交易前对对方有个大概的了解 在对等网络中的信誉系统于此类似 通过交易前有关信息的搜集 可以了解对对方借点的大致情况 安全系数自然提高了 5 6 1对等网络中信誉机制的基础 有效的信誉系统必须包括3方面的属性 实体对象长期有效信誉信息的获取和发布信誉信息做出决策也就是说 一个对等网络的信任机制要能正常工作 至少应包括3方面的要求 采用某种机制确定一个节点的身份对这个身份历史行为的信息的收集根据这些信息对该节点可靠程度进行判定 5 6 1对等网络中信誉机制的基础 有了这三方面的保障 在对等网络中 一个恶意节约点在交易中的表现与其身份对应 以某种方式记录下来 今后其他节点在与之交易前可以查询这些信息 以判定其是否可靠 5 6 2信誉机制的目标和基本研究方向 作为令人满意的信誉机制 其目标至少包括有效性和实用性两个方面 有效性是指信誉机制在功能上正确有效 实用性是指信誉机制在使用上具备良好的可扩展性 健壮性 简洁性等 5 6 2信誉机制的目标和基本研究方向 围绕着信誉机制的以个几点目标 目前对信誉机制的研究主要包括以下几个方面 a 设计一个新颖有效的信誉系统或模型 b 研究现有信誉系统的复杂性c 对现有的系统进行分析 测试和改进 5 6 3典型的信誉机制 可靠性 是指与之交易到达期望目标的可能性 可信性 表示查询节点对从被查询节点处收集来的信誉信息是真实准确的信心指标 5 6 3基本信任模型框架RepFrame 节点i 希望交易 节点j 节点w1 查询Req i j 查询Req i j 查询Req i j 节点w2 节点y 节点w3 5 6 3基本信任模型框架RepFrame 节点i 希望交易 节点j 查询Req i j 应答Info w3 j 查询Req i j 查询Req i j 应答Info w2 j 应答Info w1 j 查询Req i j 节点w1 节点w2 节点y 节点w3 5 6 3基本信任模型框架RepFrame 节点i 希望交易 节点j 节点w1 认可j可信 认可j不可信 节点w2 节点y 节点w3 5 6 3 2信誉系统的设计探讨 1 信誉信息的存储方式 它是信誉系统的最核心问题之一 它直接关系到信息的收集 信息的安全 甚至信息的表现形式 根据信誉信息的存储方式 可以把信誉系统分为两类 一类是请求应答式 每个节点保留自己直接经验所获得的信誉数据 节点间通过请求和回答交流共享信息 代表系统如P2PRep 另一类是系统查询式 信誉数据通过一个 信誉管理器 按某种方式统一管理 节点只需存储在网络某处的信息查询出来 代表系统如EigenTrust 2 信誉系统的体系结构根据信誉系统是否引入集中式服务节点 同样可以把信誉系统分为两类 在对等网络中引入集