基于流控系统提升应用感知的摸索.doc

基于流控系统提升应用感知的摸索 基于流控系统提升应用感知的摸索流量控制是指一整套的流量服务控制解决方案，它能帮助宽带服务商提高网络流量可见度，控制网络资源分配，进而根据他们的业务战略来优化流量。 此外，它也能帮助服务提供商降低网络成本，改善网络性能和应用感知，同时创建新的业务和产品组合。 服务提供商们高度重视在该领域的深入研究，提出了流量控制分析的思路和方法，并进行了有益的实践探索。 流量控制是指一整套的流量服务控制解决方案，它能帮助宽带服务商提高网络流量可见度，控制网络资源分配，进而根据他们的业务战略来优化流量。 此外，它也能帮助服务提供商降低网络成本，改善网络性能和应用感知，同时创建新的业务和产品组合。 服务提供商们高度重视在该领域的深入研究，提出了流量控制分析的思路和方法，并进行了有益的实践探索。 Allot流量管理系统是Allot通讯公司以“基于策略的网络技术（通讯公司以“基于策略的网络技术（PolicyBased Networking）”为概念，推出的能够为企业与IP服务提供商提供一整套改善网络性能的整体解决方案。 Allot设备管理采用三层结构设备管理采用三层结构NetEnforcer层（主要起到收集网络数据和实施策略的作用）；层（主要起到收集网络数据和实施策略的作用）；NetXplorer层（主要存储各种协议、策略，并从层（主要存储各种协议、策略，并从NetEnforcer端收集网络数据存储在数据库中，并可以做NetXplorer的基础配置和策略配置，下发到远端的NetXplorer）；用户使用界面层（主要是图形界面管理作用）。 ）；用户使用界面层（主要是图形界面管理作用）。 Allot流量管理系统通过深层数据包检测（流量管理系统通过深层数据包检测（DPI）技术，具备能够提供完整的用户业务数据流量采集功能，对用户的上网行为进行详细的记录与分析，为网络流量精细化管理提供更强大的技术保证，为我们改善网络质量提供有效的数据支持，使出口带宽得到有效利用及合理分配。 在这里，仅是以此流控系统（）技术，具备能够提供完整的用户业务数据流量采集功能，对用户的上网行为进行详细的记录与分析，为网络流量精细化管理提供更强大的技术保证，为我们改善网络质量提供有效的数据支持，使出口带宽得到有效利用及合理分配。 在这里，仅是以此流控系统（Allot流量管理系统）为例进行说明，权当抛砖引玉，希望借此系统对网络流量资源的精细化管理，用户应用感知的提升带来一些思路和启发。 进行说明，权当抛砖引玉，希望借此系统对网络流量资源的精细化管理，用户应用感知的提升带来一些思路和启发。 1网络现状及流量资源优化的必要性随着互联网的发展，用户对互联网业务的要求不断提高，不再满足于单一的业务，而期望享受到数据、多媒体、娱乐等各种服务。 加之网络提供商近几年全网整体光进铜退的部署，固定用户网络将普遍具备随着互联网的发展，用户对互联网业务的要求不断提高，不再满足于单一的业务，而期望享受到数据、多媒体、娱乐等各种服务。 加之网络提供商近几年全网整体光进铜退的部署，固定用户网络将普遍具备20Mbp的接入带宽，并逐步实现百兆入户的带宽需求。 综上所述一方面是用户接入带宽的提升，另一方面却极力考验着网络提供商的服务能力。 的接入带宽，并逐步实现百兆入户的带宽需求。 综上所述一方面是用户接入带宽的提升，另一方面却极力考验着网络提供商的服务能力。 在流控设备入网初期，我们对全网的流量情况进行了全面的分析。 利用流控系统对实时活跃应用的监控功能，精确识别出在流控设备入网初期，我们对全网的流量情况进行了全面的分析。 利用流控系统对实时活跃应用的监控功能，精确识别出inter流量中的各种应用，包括动态端口的P2P应用和加密的协议等。 通过整体协议细化分析我们可以看到网络应用和加密的协议等。 通过整体协议细化分析我们可以看到网络流媒体应用占据了网络中的流媒体应用占据了网络中的26%前的带宽资源，排名前3位的应用为streaming、browsing、 filetransfer；而重要的应用只占约14%；通过对各时间段流量的细化分析，我们发现出口流量在高峰时间段（；通过对各时间段流量的细化分析，我们发现出口流量在高峰时间段（20002300）及周末进入网络使用的高峰，出口利用率基本达到）及周末进入网络使用的高峰，出口利用率基本达到100%；再结合日常受理的投诉问题，发现用户对；再结合日常受理的投诉问题，发现用户对P2P、在线视频点播、在线网络游戏、以及收发邮件等投诉比较多。 综合分析这些问题后基本可以确定，造成上述情况的根本原因就是、在线视频点播、在线网络游戏、以及收发邮件等投诉比较多。 综合分析这些问题后基本可以确定，造成上述情况的根本原因就是P2P类应用的带宽恶意抢占以及网络流量资源不合理分配。 因为类应用的带宽恶意抢占以及网络流量资源不合理分配。 因为P2P类应用具有抢占带宽的特性，占用了大量带宽，使有限的出口带宽产生网络瓶颈，影响了高峰时段非了大量带宽，使有限的出口带宽产生网络瓶颈，影响了高峰时段非P2P类的网络应用，使用户体验下降。 所以P2P应用的控制、网络流量资源的合理分配对于有效降低服务商出口成本、提升用户感知变得尤为重要。 应用的控制、网络流量资源的合理分配对于有效降低服务商出口成本、提升用户感知变得尤为重要。 2网络优化的可行性2.1对流量削峰填谷流控系统支持基于按照时间段划分的策略，因此按照时间段可以设置不同的流控系统支持基于按照时间段划分的策略，因此按照时间段可以设置不同的P2P策略，以达到在不同的时间段实施不同的P2P控制效果。 2.2基于对目的地址的特征码进行应用识别流控系统具备对网络上各种应用类型的识别能力，通过设定特定目的地址池，管道和目的地址，应用到设备策略中。 将目的地址划归到指定的流控系统具备对网络上各种应用类型的识别能力，通过设定特定目的地址池，管道和目的地址，应用到设备策略中。 将目的地址划归到指定的pipe种管道，监控用户定义的各种pipe管道TOPN所占用的带宽分布。 当网络出现问题时，管理员可以首先利用这一功能查找网络中哪些观测目标使用的带宽不正常，从而便于故障排错。 并且，由于外网目的地址更新频繁，流控系统支持地址批量导入和单所占用的带宽分布。 当网络出现问题时，管理员可以首先利用这一功能查找网络中哪些观测目标使用的带宽不正常，从而便于故障排错。 并且，由于外网目的地址更新频繁，流控系统支持地址批量导入和单IP逐一添加，支持基于协议端口的服务添加，因此便于在日常维护中发现遗漏地址，及时进行查缺补漏。 逐一添加，支持基于协议端口的服务添加，因此便于在日常维护中发现遗漏地址，及时进行查缺补漏。 2.3基于对源地址的特征码进行应用识别流控系统具备对内网IP地址逐段、或逐IP进行入、出双向流量带宽的实时监控能力。 可监控从链路层到应用层的流量类型的状况，对网内主机的进行入、出双向流量带宽的实时监控能力。 可监控从链路层到应用层的流量类型的状况，对网内主机的IP地址实时发现，同时提供当前内网最活跃的TOPN位主机所占用的带宽分布，协议类型分布等。 通过流控系统的深度挖掘，帮助管理员更快发现报表中数据更多的潜在风险。 位主机所占用的带宽分布，协议类型分布等。 通过流控系统的深度挖掘，帮助管理员更快发现报表中数据更多的潜在风险。 2.4利用流控系统与计费平台，CDN业务平台的互联，实现网络业务推广，垃圾用户清理，热点业务捕获等增值开发项目业务平台的互联，实现网络业务推广，垃圾用户清理，热点业务捕获等增值开发项目3结合现网的优化实施3.1根据优化的可行性方案结合现网的实际情况，经过详细分析，我们分别对周一至周五设定结合现网的实际情况，经过详细分析，我们分别对周一至周五设定2个时间段，对周 六、日设定3个时间段，分别对P2P应用进行不同程度的流量控制。 在网络空闲时间段（00001400对）对P2P应用不进行控制，充分利用带宽，在网络占用率较高的忙时时间段分阶段逐步对应用不进行控制，充分利用带宽，在网络占用率较高的忙时时间段分阶段逐步对P2P应用进行流量控制，由网络闲时的不控制平稳过渡到网络忙时的最强控制，既能避免应用进行流量控制，由网络闲时的不控制平稳过渡到网络忙时的最强控制，既能避免P2P流量突然下降造成的用户投诉，又能保证用户其他网络应用的良好体验，实现对出口流量的削峰填谷，提升全网用户的上网体验。 流量突然下降造成的用户投诉，又能保证用户其他网络应用的良好体验，实现对出口流量的削峰填谷，提升全网用户的上网体验。 3.2在对目的地址的管控方面经过详细分析，我们将目的地址分为已知的几大类别游戏类服务器、经过详细分析，我们将目的地址分为已知的几大类别游戏类服务器、NDC视频类服务器、它网运营商类资源服务器等pipe，针对流量及各出口成本情况分别实施进、出不同方向的控制，允许用户实施不同的进、出策略，引导用户使用网内的，针对流量及各出口成本情况分别实施进、出不同方向的控制，允许用户实施不同的进、出策略，引导用户使用网内的cache资源，限制付费流量。 对于时延、丢包率要求较高的游戏类、即时通讯类、视频类等网络应用设定较高的优先级保证，确保在网络拥塞资源，限制付费流量。 对于时延、丢包率要求较高的游戏类、即时通讯类、视频类等网络应用设定较高的优先级保证，确保在网络拥塞的高峰时段这类业务优先通过，能够在不需要增加出口成本的基础上较好的保证用户体验。 的高峰时段这类业务优先通过，能够在不需要增加出口成本的基础上较好的保证用户体验。 3.3在对源地址的管控方面经过详细分析，我们将源地址按用户属性进行分类。 经过对学生、企业、经过详细分析，我们将源地址按用户属性进行分类。 经过对学生、企业、VIP客户群体的流量分析，我们针对不同的用户分组实施了不同的流量控制策略，保证重要客户的全方位网络体验。 学生用户群体一般比较关注网络游戏、聊天、网页浏览，如果网络延时大则严重影响用户感受，而对于客户群体的流量分析，我们针对不同的用户分组实施了不同的流量控制策略，保证重要客户的全方位网络体验。 学生用户群体一般比较关注网络游戏、聊天、网页浏览，如果网络延时大则严重影响用户感受，而对于P2P应用关注不大，大部分学生是利用上课时间及睡觉时间在宿舍挂机下载的。 因此针对学生分组用户的特点，我们制定了控制方案为在晚上应用关注不大，大部分学生是利用上课时间及睡觉时间在宿舍挂机下载的。 因此针对学生分组用户的特点，我们制定了控制方案为在晚上1900以后控制P2P应用的占用带宽，对游戏、视频、IM等应用给予优先级保护，有效提高了该群体的用户体验。 对于企业及等应用给予优先级保护，有效提高了该群体的用户体验。 对于企业及VIP客户群体则需提供带宽保证，我们制定了不同的优先级策略，设置了保护“白名单”，保证网络低延时、低抖动、低丢包率和高吞吐量。 客户群体则需提供带宽保证，我们制定了不同的优先级策略，设置了保护“白名单”，保证网络低延时、低抖动、低丢包率和高吞吐量。 此外，在长期摸索的过程中我们发现，对源地址的p2p协议族进行全局限制时，流控系统对于一些无法识别的协议族进行全局限制时，流控系统对于一些无法识别的TCP和和UDP流量会划归入other p2p组，这样就导致很多用户在玩某款游戏时，流控系统无法识别出游戏，进而被限制，导致用户投诉增多。 虽然厂家会定期更新协议包数据，但是网络游戏的数量庞大，每天都有新游戏上市，仅靠手工查找游戏端口，效率低下，而且实时性很差。 基于上述原因，我们进一步修改了控制策略，采用更加精细化的网络流量管理。 基于每组，这样就导致很多用户在玩某款游戏时，流控系统无法识别出游戏，进而被限制，导致用户投诉增多。 虽然厂家会定期更新协议包数据，但是网络游戏的数量庞大，每天都有新游戏上市，仅靠手工查找游戏端口，效率低下，而且实时性很差。 基于上述原因，我们进一步修改了控制策略，采用更加精细化的网络流量管理。 基于每IP的应用，我们设置了与总的带宽类似的优先级等级，从初期的pipe管道精细到line管道，vc管道，针对重要的IP我们分给他们固定的带宽分额，用户可以自己决定他要使用的业务，比如用户可以随意玩任何游戏而不受限制，可以看各类视频而不受限制，但是前提是总带宽不能超过指定份额。 经测试，这个控制策略可以保证业务的优先通过，减少队列等待时间。 用户在未采用新方法进行流控的时候，虽然我们对总带宽有我们分给他们固定的带宽分额，用户可以自己决定他要使用的业务，比如用户可以随意玩任何游戏而不受限制，可以看各类视频而不受限制，但是前提是总带宽不能超过指定份额。 经测试，这个控制策略可以保证业务的优先通过，减少队列等待时间。 用户在未采用新方法进行流控的时候，虽然我们对总带宽有P2P限制，但是由于该用户在线时间较长，并且P2P线程较多，仍然有能力大量占据P2P的会话，导致大量带宽被某些用户用于的会话，导致大量带宽被某些用户用于P2P，使得其他用户的关键应用的带宽被明显挤占。 采用了新的基于总带宽和每用户带宽的优先级机制以后，具有高优先级的即时通讯、游戏等带宽明显提高，优先级较低的，使得其他用户的关键应用的带宽被明显挤占。 采用了新的基于总带宽和每用户带宽的优先级机制以后，具有高优先级的即时通讯、游戏等带宽明显提高，优先级较低的P2P带宽明显被压缩。 4总结现网的网络结构根据需求是在不断变化的，因此流控系统的部署位置及相应的策略加载也是随之变化的。 在整个网络优化的过程中，需