P2SP流数据通信系统系统架构设计

1、P2SP流数据通信系统架构设计说明书编写人/日期：审核人/日期：版本/日期:V1.0目录第1章 文档介绍 21.1 文档目的 21.2 文档范围 21.3 读者对象 21.4 术语与缩写解释 2第 2 章 系统概述 42.1 项目背景 42.2 系统简介 52.3 主要功能 72.4 特点及优势 7第 3 章 设计约束 83.1 系统可靠性设计约束 83.2 系统扩展性设计约束 83.3 系统性能设计约束 8第 4 章 设计策略 84.1 分层设计 84.2 组件化设计 9第5章 系统总体结构 95.1 网络架构 95.2 软件架构 12第 6 章 开发环境的配置 17第 7 章 运行环境的配

2、置 17第 8 章 测试环境的配置 17第1章文档介绍1.1文档目的本文档定义了 P2SP流数据通信系统(P2SP Streaming System)的架构和总体设计方案。1.2文档范围本文档包括P2SP流数据通信系统的整体架构以及各子系统的结构，并详细地说明了设计约束、设计策略，及相关开发、测试与部署环境。1.3读者对象本文预期的读者包括相关产品经理，研发经理，测试人员，运维以及网络规划建设人员。1.4术语与缩写解释缩写、术语解释P2SP源站-服务器-客户端分层网络体系结构，Peer-Server-PeerP2P客户端对等网络体系结构，Peer-to-PeerMDN多媒体分发网络，Media

3、 Delivery NetworkNANetCache 设备厂商，NetAppSN超级节点，Super NodeEP输入点，Entry PointSR流数据中继模块，Stream RepeaterES边缘服务器，Edge ServerACE自适应网络通信环境，Adaptive Communication Environment19第2章系统概述2.1项目背景现有的流数据加速系统（MDN ）结构如图2-1所示:图 2-1 MDN architecture每个MDN节点都是由一个四层交换机（L4 Switch）以及若干台Cache服务器组成，包括:四层交换机L4其中，L4采用F5的产品，它与 GS

4、LB(全球服务器负载均衡，采用F5的3DNS) 起组成了最基本的服务器监控系统， 该系统能够实时检测各 MDN 节点的状态， 从而通知 DNS 服务器，以便客户端选择合适的节点进行访问。对于各MDN节点内，L4通过检测Cache的 Up/down ，并采用 Round Robin 的方法来实现 Cache 服务器间的负载均衡。Cache服务器Cache服务器采用的是 NA公司的NetCache设备，可接受用户的流数据请求(如 mms、 rtsp 等)，然后直接访问数据源的 流数据服务器获取数据，最后转发给用户。实际上，Cache服务器从功能上可以看成上层是Standard Client，下层是

5、Standard Server。从实际的运营情况来看，现有的 MDN 体系结构存在几个比较明显的问题：1) 可靠性问题由于数据源只能处于某一个或少量几个ISP内，而所有的Cache服务器均通过直接访问数据源的方式来获得数据，因此会出现这种问题，即无法保证所有 Cache节点到数据源的链路带宽和时延都是满足要求的， 经常会导致某些用户在收看节目时出现频繁缓冲 的情况；Cache服务器直接访问数据源， 会造成数据源过热，同样会降低系统的可靠性。2) 可扩展性问题同样因为Cache服务器直接访问数据源的原因，受到ISP间的接入带宽和数据源负载能力的限制，系统的扩展性很差。3) 时间同步问题因为Cac

6、he服务器各自分别去访问数据源，很难保证各Cache服务器中的数据保持时间基本同步。由于 DNS和L4的动态性，可能在同一个房间的两个客户端，都会出现看到 的内容出现较大的时延，对客户体验造成很大的影响。4) 运维成本问题首先， NetCache 设备成本很高， 如果要进行大量部署，需要大量成本；其次， NetCache 作为通用并且独立的流数据 Cache设备，不具有集中式的管理机制，配置和管理通常需要到各个节点上去进行， 即使有一定的配置下发机制， 也无法有效降低配置管理的复杂 度。以上两点实际上大大增加了运维的成本。2.2 系统简介为了解决现有系统存在的这样一些问题，本文提出了一种全新的

7、流数据通信系统架构，即P2SP流数据通信系统架构。该系统通过构建一个覆盖网络(Overlay Network ),将媒体内容从内容提供商分发给最终客户。该Overlay Network采用分层P2P的实现形式，既能够有效降低服务器的负载，提高带宽利用率，又能够对媒体内容传输提供QoS保证。该覆盖网络的结构如图2-2所示，详细定义请见第5章。其中，整套系统包括Super Node、监控服务器、 节目管理服务器和 Jabber服务器。Super Node在网络中起到核心的作用，各个Super Node可以进行互访，接受和转发从源站获取的数据；监视服务器实时的监控各个Super Node的运行情况，

8、通过 Web返回数据给管理员；节目管理服务器的主要功能是更新Super Node的配置以及发布全局或者局部策略；客户端P2P将结合LiveSky P2P流数据技术与P2SP技术，通过分层的P2P进一步增强整个 P2SP流数据系统的可扩展性和处理能力。从图2-2中可以看到，每一个边缘节点既能够提供标准直播服务，又能够提供P2P直播服务(见图中蓝色部分)。CiXitefit Pir如id电P2SP Coradients樓吉胡魏节点 Core Sup&r Node边垛鈕圾停点Edge Super Node窖户端包第常用客户期，in Media Player, H&al PtayerTrr I凯曲Li

9、ve舗丫客户罐肯目杆晁H狷ifProgram Server状态生押眼易器Monitor ServerWeb Server腔（HfJ脅交2半合Jabber ServerDMS帘见标補济叫佯协说”如MME* RTSP等LiveSky P护说库悻检谊图2-2系统体系结构2.3 主要功能基于通用的标准流数据通信基于客户端 P2P 的流数据通信基于 Web 的配置管理与监控系统2.4 特点及优势P2SP系统具有以下一些特点及优势：能够有效的减小信源的压力，提高数据源的可靠性，同时降低骨干网上的流量压力； 提高了可提供服务的 Cache 节点的绝对数量，从而显著提高可服务的人数； 替代现有的 NetCac

10、he 设备，可以有效地降低节点部署的成本；P2SP系统具有方便高效的管理机制和能力，可以有效地降低运营成本； 显著提高用户服务质量。第 3 章 设计约束3.1 系统可靠性设计约束数据传输对网络异构和网络异常情况透明； 从设计上尽量降低单点故障的可能性，并且降低单点故障带来的影响； 具有状态检测和告警机制具有故障恢复机制3.2 系统扩展性设计约束通过P2SP分层网络，进行两级流量放大，降低内耗流量，提高放大倍数;P2P方式下节约设备出口流量，降低成本，提供可扩展的服务能力；可扩展的设备和数据的配置管理机制; 功能上具有可扩展性。3.3 系统性能设计约束SN之间的连接数）只与设备数量成线性关系,N

11、A 的流量放大倍数；NA 相比提高一个数量级以上。单台设备用户服务能力达到 NA 水平； 内部消耗连接数（包括回源站连接数和 与终端用户人数无关，从而具有远高于P2P方式下单台设备最大服务人数与第 4 章 设计策略4.1 分层设计从网络结构上，我们将系统分成管理层、核心层、边缘层。在每一层内进行单独设计，在管 理层采用集中式的计算方式， 核心层采用服务器之间的对等网络传输方式， 而边缘层则综合 运用传统C/S模式和客户端P2P模式的传输方式。通过分层设计，系统结构将更为清晰。4.2 组件化设计从软件结构上，我们将系统划分为服务（Service）、服务运行环境（Service Host）,以及服

12、务器通信平台（Jabber）。各模块采用组件化的设计，将各种应用设计成相应的服务模块，并 将操作系统细节（如网络、Timer、信号等）封装成若干组件，供各服务模块调用。通过组件化的设计， 尽可能封装操作系统底层细节， 降低软件各层次功能耦合性， 并具有框架级复 用的能力，这样将非常有利于提高研发效率，提高系统可靠性以及性能。第 5 章 系统总体结构5.1 网络架构P2SP Streaming System通过构建一个覆盖网络 （Overlay Network）,从内容提供商获取数据并 且分发给最终客户。 该Overlay Network采用分层P2P的实现形式，既能够有效降低服务器 的负载，提

13、高带宽利用率，又能够对媒体内容传输提供 QoS保证。该覆盖网络的结构如图 5-1 所示：gntHI: Prvidr数据粽SourceP2SP Cora樓住超魏节点Core Sup&r Node边綠超圾仃点Edg已 Super Nodeaients客户确客户战，in MediaPlacer, Real Ptayerr I凯总Lire头Y客户驕紡冃Program Server状念业揑眼易器Monitor Server1.4恂输時臣帛见标祐济吨佯协说”如MM乩RT5P#用悻筍畴甩F_ F2P碎苗賂怪LlveSky P护碱犀体检谊Web Server控科猛令丈2i合Jabber ServerDMS图

14、5-1 P2SP Overlay Network在实际网络环境中，P2SP Streaming System的部署拓扑情况将如图5-2所示:叵SM(ISPSISP33NL4 Switch图5-2 P2SP网络拓扑结构示意图其中，P2SP Streaming System主要由四部分组成，即核心 SN边缘SN,配置管理服务器组， 以及服务器通信平台。各部分功能如下：核心超级节点(Core Super Node核心SN从源站获取数据，并通过对等网络在核心SN间共享数据。边缘超级节点(Edge Super Node边缘SN通常距离源站较远并且这类节点数量最多，它们从就近的核心 SN处获取数据，同时在

15、相同区域内的边缘SN之间也会通过 P2P的方式共享数据，保证各边缘SN都能够及时获得稳定的数据。然后，通过C/S方式和P2P方式将内容传递给终端用户。配置管理服务器组包括节目管理服务器(Program Server)、状态监控服务器(Monitor Server )以及相应的Web Portal。其中，Program Server及相应的 Web portal为运维人员提供了统一的频道信息配置(包括协议、端口、域名和路径)、频道策略配置等操作的入口； 而通过Monitor Server则可以实时获取 SN的运行状态，并将数据存储在中心数据库里， 通过Web portal 可以实时监控 SN的运

16、行状态。服务器通信平台服务器间控制信息交互主要基于Jabber即时通信协议，其组成包括：通信中央控制服务器（Jabberd可采用Server-to-Server模式增强系统鲁棒性）；以及各 SN上的Jabber通信组件。该通信平台通过将各 SN作为其通信客户端连接在一起，为 SN之间控制信 息的交互和状态监控提供灵活、可靠的机制，同时简化了各服务模块的设计， 减少大量 的重复劳动。5.2软件架构整套系统框架的设计采用COM （ Component Object Model）的思想，并结合 Service模型,具有高可扩展性和很强的跨平台能力。具体来说，系统通过复用 ACE中的reactor框架

17、,结合线程池机制，具有以下特点：可扩展的服务器程序框架，采用Service与Service Host模型，框架级可复用；服务器程序可跨 windows和Linux/Unix （ Solaris等）平台；服务器采用可靠的监控机制，服务器程序崩溃后可快速自动重启；高效率的网络传输和事件处理机制；其中，核心SN通过一系列的策略来规定其部署方案以及路由选择方案，从而实现全局最优。 我们把P2SP核心层中的 Core Super Node和Normal Super Node简化成唯一的一种节点，统 称为SN,如图5-4所示。每个 SN包含三个功能模块，即 Entry Point (EP)、Stream

18、Repeater(SR)以及Edge Server( ES，其功能如下：EP充当了 Fake Client的角色，它能够从数据源的标准的Streaming Server索要数据。EP向上只与Streaming Server联系。SR则作为SN的互联接口，即 SN间的连接都通过 SR部分来进行。实际上，EP与数据源、ES与Cache和客户端之间走的都是标准的协议( MMS、RTSP HTTF)， 而SR之间走专用的协议。另外，SN间的数据缓存和同步操作也主要由SR模块负责进行，当然，ES中也会有相对较小的缓冲区。ES充当了 Fake Server的角色，它能够给客户端提供流数据数据。ES向下可与

19、Cache服务器、常见媒体播放器(如Media Player等)、以及P2P客户端联系。通过对这三个模块的启用和关闭进行控制，可以让SN处于不同角色，例如：用SN来替换Cache服务器的功能，EP SR和ES全部启用，数据流向为SRC EPSFH ES t Client此时，SN也具有P2P能力。用SN来做内容接入服务器，只需EP和SR开启，数据流向为 SRC t EP SRT另一个或一些SN的SR,用SN来做中继服务器，只需要SR开启，数据流向为某个 SN的SFT中继SN的SFT另一个或一些SN的SR,图5-4 Super Node结构图Server Communication Scheme

20、图5-5软件模块结构图其中包括如下一些模块:Stream Repeater主要负责SN间的数据路由，包括以下几部分内容：1)核心SN选择源站的策略；2)SN选择和其它可作为内容提供者的SN的策略；3)P2P节点发现以及数据传输策略。另外，还包括SN间的控制信令传输报文格式和数据传输报文格式，以及缓冲区管理。EP和 ES这部分主要涉及流数据内容及协议的处理，包括以下内容：1）支持标准的流数据传输协议，包括MMS、RTSP和HTTP,主要支持最常见的两种流数据服务器，即Windows MediaServer和Helix Server； 2）支持P2P流数据传输协议；3）具有对通用的流式实时数据传

21、输的扩展能力。Service Host和 Daemon Process提供操作系统底层的封装，为上层应用提供各种基本组件，如图5-6所示。配置管理服务器组这部分主要涉及服务器运行时的参数收集，包括以下内容:1）远程监控服务器的运行状态（正常、Idle、Crashed 等） ； 2）CPU内存占用率等负载参数；3）动态端到端带宽和延迟测试；4）统计节点流量、连接数、节目流数量等。另外，还包括节目频道配置,SN设备配置等功能。其流程如图5-7所示。举地疔宝时状 木他存宾时狀 応故撫斤记笨 态班则呑记朮 所冇历史数据 任何虫蛊据洗计洞实问和虫时/历宜统计谧也记決（HTTP pest, xml）TimcSl