一种视频分发调度方法和系统技术交底书

1、.一种视频CDN 上可持续优化的内容调度方法和系统作者 ：郑叔亮版本 ： v1.0文档创建日期 ： 2013 年 6 月 21 日最后修改日期 ： 2013 年 6 月 25 日1 本发明要解决的技术问题是什么？视频内容分发网络（简称VCDN ）是视频服务提供商交付大规模内容的核心基础设施。通过建立强大的源服务中心和分布于各地的边缘服务节点，以及中间的多级协调节点，大型的 VCDN 系统已经可以覆盖上亿规模的用户并能够提供上千万的并发服务能力。可服务的终端覆盖机顶盒、 PC、手机 、平板电脑等 。 交付的内容也包括各种码率的视频，并支持直播 、点播、时移 、回看 、 nPVR 等业务 。具有一

2、定规模的VCDN 系统所面临的一个重要且复杂的问题就是内容分发的调度问题。这一问题之所以重要是基于如下原因：1. 随着系统规模的扩大 ，成本控制越来越困难 。 运营商不能一味地依靠增加节点和服务器来保障服务质量 ，否则系统采购和运维成本将增长得很快，这对于视频交付系统尤其明显 ，进而运营商就会面临亏损的风险 。 因此需要通过合理的内容调度来避免不必要的硬件投资 。2.虽然 CDN 系统都带有比较强大的负载均衡能力，但均是一些被动的负载均衡方式，比如 DNS 、 LVS 等 。 内容本身在CDN 系统上的分布会在很大程度上决定负载的分布。 因此 ，主动地调度内容可以很好地增强系统资源利用的效果，

3、从而进一步保.下载可编辑 .障服务质量 。3.运营商会依据其市场营销策略，适时地推广一些内容吸引用户收看，以尽快将广告投入和版权投入变现。 因此 ，为了能够支持这些灵活的运营策略，就要求VCDN系统具备高效的内容分发调度的能力，把最合适的内容推送给距离目标用户最近的边缘节点，以便他们能够流畅地观看这些最热门的视频。而分发调度问题的复杂性也恰好体现在以上三个方面（成本 、服务质量 、营销策略 ）之间天然的矛盾关系：首先 ，以控制成本为核心的运营方式必然会面临服务质量下降的挑战。在投入受限的情况下还要尽量保障服务质量是一个重大的挑战。其次 ，如果以保障服务质量为第一要务，那么如何规划增加节点或服务

4、器，增加多少 ，在哪里部署 ，又或者是否租用第三方的服务等问题都直接关系到运营成本。第三 ，这种对热门内容的推广实质上是一种人工的内容调度方式。人工的方案很可能会对自动化的策略产生干扰和负影响。总之 ，视频内容调度的难点并不在于数据传输技术（或者说可以由网络协议的研究者来改进 ）， 而是在于能够很好地调和上述三方面矛盾的调度系统和策略。从目前商业和技术发展的状况来看， VCDN系统本身的架构在一段时间之内不会发生重大的变革。因此 ，如何基于这一类模式的系统结构，给出一套能够持续优化的调度系统的架构模式和策略设计方法 ，并且能够很自然地融合自动化和人工策略，是本方案要解决的核心问题。2 详细介绍

5、技术背景，并描述已有的与本发明最相近似的技术方案视频内容分发调度是指按照既定的策略，将内容从一个节点分发到另一个或几个节点。分发的方式主要有用户侧主动拉取和服务侧主动推送。不论哪种方式都是将内容分发到离.下载可编辑 .用户更近的地方，以提升用户服务质量。目前已经有诸多内容分发调度相关的技术方案，主要分为如下几类：1.以单纯的用户侧内容拉取方式为主的调度方法，即边缘节点按需缓存 。 这样的系统架构相对简单 ，系统整体运行效率易于保障 。2.在第一类方案的基础上结合人工主动分发的调度方法。系统架构相对第一类方案稍显复杂 ，但基本还是比较简单和高效。3.以保障用户服务质量为主要目标，设计服务质量数据

6、采集和分析系统，指导内容分发策略的制定 。4.在以租用公共 CDN 服务为主的运营模式下（主要是一些自己不自建CDN 的增值服务提供商 ）， 分析不同 CDN 服务的计费方式和服务质量保障能力，构建计费分析模型 ，可给出总成本最低的内容分布策略。5.以 P2P技术以依托的边缘节点之间、终端之间和边缘节点和终端之间的自动分发。这样的方案能够有效节约带宽成本，并且在某些场景下提升服务质量（比如对热门内容的集中观看 ）。3 以因果关系推理的方式推导出现有技术的缺点是什么？下面分别对上面提到的五类方案分析各自的不足：1. 虽然架构简单且系统性能易于保障，但最大的问题就是服务质量难以管理和有效保障 ，尤

7、其是在针对特定用户或特定内容进行服务质量保障的时候。这种方案在保障服务质量方面的唯一措施就是增加服务节点或服务器，属于粗狂的运营方式，因此运营成本难以控制。2.本质上和第一类方案相同，只不过可以在一定程度上人工干预内容的分布。这对于视频内容消费行为比较稳定的用户群来说比较适用，但依然没有从根本上解决.下载可编辑 .第一类方案在成本可控的情况下保障服务质量的问题。3.第三类方案已经将重点转到了服务质量，但更多地强调是把各种技术融合到VCDN 系统中 ，所导致的结果就是忽略对成本的控制。做出的系统在技术上虽然先进，但成本高昂 。4.这一类方案是限定在一种特定的运营模式下而产生的。这些服务提供商基本

8、都是以 OTT 的方式运营视频服务 。 他们更加关注的是成本 ，因此才会有这样的方案 。这种情况下 ，服务质量难以保障 ，或者要想保障高质量的服务 ，就不得不投入大成本 。 虽然他们能在一定范围内优化成本，但不可能从根本上控制成本，因为他们都是租用第三方的CDN 服务 。5. P2P 虽然能够帮助节省带宽 ，但服务质量不可控 。 理想条件下 （即 80% 的用户收看的是 20% 的内容 ） P2P 技术能够达到较好的效果 ，但由于市场环境和用户行为的不断变化 （比如用户对于长尾内容的需求量增大）， 这种方案的灵活性不够，难以适应其它大多数条件，反而会造成资源的浪费。4 本发明技术方案的详细阐述

9、，应该结合流程图、原理图 、电路图 、时序图进行说明4.1 VCDN系统的架构CDN 系统经过多年的发展，其架构已经趋于稳定。 VCDN 系统同样如此。图 4.1 所示是 VCDN 系统的典型架构，记为架构1 。 图中实线表示数据流，虚线表示请求调用。.下载可编辑 .VCDN系统M3.路由服务器R1. 请求视频P3. 获取内容分布P4.获取负载情况R2. 请求视频终端设备内容源P1. 注入M1.源服务器P2. 分发M2.边缘服务器R3. 视频流图 4.1 架构 1 ： VCDN 系统的典型架构架构 1包含 3类模块：M1. 源服务器 ：存储从内容源（一般是视频编码打包服务器）获取的视频内容，并

10、通过主动 （即 M1 向 M2 推送 ）或被动 （即 M2 从 M1 拉取 ）的方式分发内容到M2 。 在具体部署的时候， M1一般是许多服务器组成的集群节点，可存储全部的视频内容 ，作为视频运营的中心。M2. 边缘服务器 ：一般包括缓存服务器和推流服务器。缓存服务器缓存M1 分发的请求 ，以便推流服务器在接到用户请求的时候从缓存服务器直接获取内容来播出 。 在具体部署的时候， M2一般是分散在各地的服务节点，每个节点包含少量的服务器 ，以响应一定区域内的请求。M3. 路由服务器 ：将用户请求路由到具有最佳服务质量的M2 ，以便合理地利用全网资源 。在运营VCDN 系统的时候 ，主要有两大类过

11、程。一类是运营准备或内容准备过程，即图 4.1 中标注的P1 到 P4 的过程 。 另一类是运营过程，即图中 R1 到 R3 的过程 。 在运营准备过程中 ，视频内容首先被注入到M1 （ P1）， 然后分发到需要内容的各个M2 （ P2）。.下载可编辑 .M3 需要全面了解内容分布的请求，以及各个 M2 的负载情况 （系统负载 、缓存容量等 ），因此会从M1 获取内容分布的数据（ P3），从 M2 获取边缘节点状态的数据（ P4）。当然 ，在运营过程中， P4 也会定期地执行，以便能够及时更新M2的情况 。 终端设备首先会向M3 请求视频 （ R1）， M3 给终端返回最佳的M2 。 终端设备

12、再向M2 请求视频 （ M2 ）， 这样 M2 就可以为终端设备推送视频流了（ R3）。4.2视频内容分发调度方法为了能够从根本上调和成本、服务质量和市场营销策略三方面的矛盾，本方案提出一种可持续优化的视频内容分发调度方法。该方法充分评估成本、服务质量和市场营销策略对 VCDN 系统的意义和作用，抽象出一套解决方案模型，可根据技术和商业环境的变化灵活得出优化视频内容调度的解决方案，并且可以根据调度效果自动调整模型参数，从而实现持续优化 。 在该方法的指导下，可以在架构1 的基础上增加相应模块，实现具有可持续优化的视频内容分发调度功能的VCDN 系统 。该方法可通过如下步骤来描述：1.依据服务质

13、量模型，建立服务质量监测和度量的体系（参照 4.3 节）；2.依据成本模型 ，建立服务质量到系统成本的映射体系（参照 4.4 节）；3.依据内容分发模型 ，建立内容的服务质量和成本评估体系（参照 4.5 节）；4.依据 3 给出的结果以及既定的运营策略，生成可自动化执行的内容分发调度方案，即将哪些内容分发到哪些节点，并替换哪些内容 （参照 4.5 节）。5. 执行方案之后重复步骤 1。以上步骤可以形成一个良性循环。每隔一段时间（少则一个小时，多则一天 ）调整一次内容分发方案，可以动态地保持系统的服务质量，并且可以充分利用系统资源，以节约.下载可编辑 .成本 。4.3服务质量模型服务质量由四个方

14、面组成：内容的可用性 ：即凡是用户可以浏览到的，且在用户权限范围内的内容都应该可以被该用户消费。如果用户不能正常地访问合法且已授权的内容，那么服务的可用性就出现了问题。对用户内容的授权一般不是在CDN 系统中执行的 ，因此通过路由之后的用户访问请求都是合法的。这样，在 VCDN系统上 ，对可用性的度量就可以聚焦到 M2 模块是否能够完全服务所有的用户请求，从而可以用一段时间内完成服务的次数与请求服务的次数的比例来度量，记为 QoS_A 。响应性 ：即服务响应用户请求的时间。 这段时间的组成可能会比较复杂，既包括鉴权的时间 ，也包括请求路由和推流的时间，甚至还可能有获取密钥解扰视频流的时间 。其

15、中 ，请求路由和推流的处理时间才是VCDN 系统范围内的 。 因此，可以在 M3接收到用户请求的时候为其打上起始时间戳，在 M2响应用户请求之后再打上截止时间戳。我们可以用一段时间内所有请求响应的时间段的平均值作为VCDN 系统的响应性度量，记为 QoS_R。连续性 ：即用户在收视过程中是否存在播放中断的情况。度量连续性最直接的方式是在客户端统计单位时间内因接收数据不够而导致暂停或缓冲的次数。但这样就会对客户端有强制的要求。也会增大收集统计数据的困难。因此 ，本方案采用监控 M2推流的吞吐量和相应内容的码率来间接地实现。即如果发生单位时间内（比如 1秒或 10 秒）的吞吐量小于码率的情况，那么

16、就认定是发生了中断。可以用一段时间内所有请求的中断次数的平均值来度量服务的连续性，记为 QoS_C。.下载可编辑 .视频质量 ：可以用交付视频的码率来评估。通常情况下高码率的内容视频质量就高。 但对于不同终端设备来说，视频质量的意义是不同的。比如对于小屏幕的移动终端 ， 1Mbps左右的码率就可以达到非常不错的视频质量，而对于大屏幕的电视来说 ， 6Mbps以上的码率才可能达到很好的视频质量。所以 ，为了便于评估，有必要采用统一的度量方案，可以将视频质量划分等级，比如超清 、高清 、标清 、流畅 ，而同一种等级对于不同的终端标准不同。这里将一段时间内各个等级的百分比作为视频质量度量的方法，记为

17、 QoS_Q 。全面掌握了服务质量之后，就需要将服务质量和系统资源的消耗关联起来。这一环节非常重要 ，因为关联的结果直接反映了服务质量对系统成本的要求。这样的数据对分发策略的优化才更有意义。服务质量和系统资源的关系如下：内容的可用性取决于服务器的并发处理能力和带宽的容量。服务器的并发处理能力越强并且带宽的容量越充足，内容的可用性就越高。响应性取决于内容的分布情况。内容的分布实际上表达了对存储能力的要求，比如节点数据 ，服务器存储容量等。连续性取决于服务器的吞吐能力。吞吐能力实际上是一种综合能力，是由内容的分布情况 、服务器并发能力和带宽容量共同决定的。视频质量同样取决于服务器的吞吐能力。4.4

18、 节会进一步讨论成本和系统资源的关系，从而得出服务质量和成本的关系。4.4成本模型VCDN 的成本由四个方面组成：系统采购成本 ：主要有服务器成本和网络设备成本，记为 Cost_P。.下载可编辑 .运营维护成本：包括人力成本和机房成本。自动化程度越高、系统越健壮 ，人力成本就越低 。 机房成本则与系统的架构和配置有关，主要体现在空间成本和电力成本 。 这部分的成本记为Cost_M 。带宽成本 ：记为 Cost_B 。其它第三方服务成本：如果要由第三方托管一些服务，比如后备的CDN ，那么这部分成本也要计算进来，记为 Cost_O 。不同方面的服务质量对成本的影响是不同的。下面通过分析系统资源与

19、成本的关系给出服务质量与成本的关系。服务器的并发处理能力决定了系统的采购成本，带宽容量决定了带宽成本，存储能力决定了系统采购成本。而第三方服务成本主要是由这三种系统资源共同决定的（比如云服务，无需采购设备，无需运维 ，甚至无需租用带宽，都是云服务提供商将这些系统资源打好包一同提供）。 运营维护成本比较特殊，可以分为两部分，一部分直接依赖于采购成本，而且基本上和采购成本成线性关系，另一部分则是人工维护成本，基本上是一个常数。因此，运营维护成本可以表示为Cost_M = p Cost_P + m 。基于这样的分析，可以定义如下四个映射（将服务质量映射到成本）：QC1： N QoS_Aa1 Cost

20、_P + a 2 Cost_B + a 3 Cost_OQC2： N QoS_Rr 1 Cost_P + Cost_M + r2 Cost_O = (r1 +p) Cost_P +r3 Cost_O + mQC3： N QoS_Cc1 Cost_P + Cost_M + c2 Cost_B + c3 Cost_O = (c1 +p) Cost_P + c 2 Cost_B + c 3 Cost_O + mQC4： N QoS_Qq 1 Cost_P + Cost_M + q 2 Cost_B + q 3 Cost_O = (q 1+ p) Cost_P + q2 Cost_B + q 3 Co

21、st_O + m.下载可编辑 .其中 N 表示可并发服务的请求数。 p 和 m 完全可以通过历史的运维经验数据确定，可以视为常数 。 在稳定的运营模式下， QC1 到 QC4 的各个系数基本不会有变化。可通过如下步骤计算这些系数：1. 在一个基础的系统构成和配置下，持续监测各个服务质量的值 。2.在系统容量可以承受的范围内，随着用户规模的扩大服务质量不会下降，直到到达临界点服务质量会发生拐点（在实验环境中可以人工地增加请求压力）。 记录拐点处的服务质量值和各方面的系统成本值。3. 投入少量的成本升级系统 ，保证服务质量回升到初始水平 。4.重复第 2 步，直到收集足够的数据 （因为系数最多有

22、3 列，所以最少收集3 轮数据即可 ）。5.将上述步骤收集的数据代入QC1 到 QC4 ，计算线性方程得出各个系数 。从上述步骤可以看出，这是一种关注宏观的计算方法。而且是以反复测试的方式来训练模型 。 这种训练模型的方法不仅仅可以用在实验系统中（可模拟用户请求）， 还可以用在实际的运营系统中（更加准确 ，但周期会比较长）。 需要强调的是，在实验系统中，通过上面的公式和计算过程可以分析出如何以最节省的资源尽可能满足最大的服务容量（ N QoS_Q ）， 称之为基准成本和服务质量关系。QC1 到 QC4 的作用是多方面的，主要体现在如下几点：关系式中系数较大的项，说明较小的成本投入就能带来比较明

23、显的服务能力的提升。 因此 ，在服务提供商面临用户规模扩大，服务质量下降的问题时，可以考虑先将资源投入到哪一部分的成本中。基准成本和服务质量关系表示了不同方面的成本投入的一个合理配比是多少，对实际运营具有重要意义。.下载可编辑 .快速发现成本投入被浪费的方面，或需要补充的方面。指导内容分发调度的优化。4.5内容分发模型内容分发模型的目标是给出调度内容的分发对服务质量和成本的影响。在这里 ，内容分发可以被抽象为三元组（ Cnew ， Node ， Cold ）， 即内容 Cnew 被分发到节点 Node 上，并替换 Cold 。 如果 Cold = 0 ，那么就意味着无需替换而仅仅是增加内容。内

24、容分发直接影响的是存储容量 ，从而会影响系统采购成本Cost_P 或第三方服务成本Cost_O ；对 Node 的服务质量的影响则是针对内容Cnew 的服务质量的提升和针对内容Cold的服务质量的下降 。当然 ，在真实的系统中 ，如果节点的存储容量尚有剩余或者旧的内容被替换，那么并不会增加任何成本；另外，如果被替换的旧内容被关注的程度很低，那么也不会对整体服务质量产生任何影响。因此，对于一个更加有意义的内容分发模型来说，需要把这些因素也考虑进去 。这里用 QoS_Content表示与所有内容的分布相关的总体服务质量，用 QoS_Content_C表示与内容 C 的分布相关的独立服务质量，二者之

25、间存在如下关系：（ 公 式 1 ） QoS_Content=QoS_Content_C1+QoS_Content_C2+QoS_Content_Cn = 1QoS_Content+ 2 QoS_Content + n QoS+_Content其中的系数 表示某一内容的影响系数，取值在 0和 1之间 ，所有 的和为1。 如果某一内容已经完全不被收看，那么它的影响系数就是0；如果该内容被广泛点播，那么它的影响系数就可能接近 1 。 因此，的计算方法就是统计一段时间内针对某一内容的请求数和总请求数的比值 。用 QoS_Total 表示整体服务质量：.下载可编辑 .QoS_Total = N (a Q

26、oS_A ， r QoS_R， c QoS_C， q QoS_Q)即整体服务质量是一个四元组，其中的 a 、r 、 c、 q 表示各个分量的系数，N 即并发处理请求的数量。针对不同的系统，分量系数是一套常量，可以通过测试和计算线性方程来得到 （类似于对 QC1 到 QC4 的计算 ）。 当然 ，这里并不关注服务质量的绝对值，所以将 a、r、 c、 q 都设为 1 也是合理的 。内容的分布对QoS_Total 的影响 ，主要在于QoS_R 和 QoS_C 分量 。因此 ，可以定义QoS_Content= N (r QoS_R ，c QoS_C) 同，上 ，将 r 和 c 都设为 1 也是合理的

27、。这样就可以用实际可监测的服务质量来评估内容服务质量。然后 ，通过公式1 就可以定位到单个内容的独立服务质量，即 QoS_Content_Ci = iN (r QoS_R，c QoS_C)。进一步地通过QC2 和 QC3 就可以用成本来评估内容服务质量。通过内容分发模型，可以发现 ：哪些内容值得被分发 服务质量高且成本占用可以接受的内容。哪些旧的内容可以被替换 服务质量低下或成本占用较大的内容。在实际应用中，如果要生成内容分发调度方案，还要考虑人工制定的市场营销策略的影响 。 人工策略是需要首先被满足的，因此要基于人工策略的评估结果来进一步评估是否还需要优化 ，如何优化 。 以下给出具体方案的

28、说明：1.评估市场营销策略中的内容分布对目标节点的服务质量和成本的影响。如果人工策略中推送的内容是全新的内容，那么就找一个最受欢迎的内容作为被推送内容的起始参考内容，以该内容的服务质量和成本影响作为新内容的参考值。2.如果对成本的要求尚未超出节点容量， 那么就将内容加入到待分发方案中；如果超出了节点容量，那么就将找出最需要被替换的内容，将新内容和待替换内容一同加入到待分发方案中。.下载可编辑 .3. 评估完所有运营策略指定的内容之后 ，如果节点尚剩余容量 ，那么进入步骤 4；否则进入步骤 5。4. 找出最值得被分发的内容 ，将内容加入到待分发方案中 ，进入步骤 6 。5.找出最值得被分发的内容

29、和最需要被替换的内容，将二者加入到待分发方案中。6. 评估总体服务质量的提升 ，如果达到预期 ，那么过程结束 ；否则进入步骤 3。4.6视频内容分发调度系统在架构 1 中， M3 会关注内容的分布以及M2 的负载情况 ，但 M3 不会控制内容的分发，只是被动地接受所有的事实，然后再为终端设备分析并提供边缘节点的地址。事实上 ，对于视频推流这种占用带宽且对延迟敏感的服务来说，地域因素 （一般具体地会体现在网络延迟 ）会直接决定路由的结果。 因此，M3本身并没有优化流量的能力。分发的功能一般是在 M1 上 。 简单的按需分发 （即 M2拉取的方式 ）或人工策略下的定向分发， M1 都应该可以胜任

30、。 但是， 随着系统规模的扩大，各个模块之间的发展逐渐趋于独立，尤其是将一些模块部分或全部地由第三方服务提供或托管之后，模块之间就更加难以确知各自的结构、规模和服务能力 。 这也就意味着 M1 会逐渐地失去对M2 的感知能力 ，因此就很难建立更加复杂的内容分发机制。 即便能够改进 M1 的分发功能 ，也会发现 M1 的功能将越来越复杂，其职能也将逐渐变得模糊 。 这对于 M1是致命的 ，因为 M1 需要能够具备非常出色的平滑升级和线性水平扩容能力（不仅仅是存储能力，还有流化内容的吞吐能力）， 从而就需要简单稳定的结构和机制。 所以将 M1 的分发功能复杂化或者所谓的智能化，都会带来非常严重的兼容性问题和扩展性问题。本方案所提出的可持续优化的内容分发调度方法和系统就是基于架构1 的，但在其上引入了两个新的模块。 如图 4.2 所示 ，记为架构 2。.下载可编辑 .M4. 运营监控服务器：负责收集各个节点服务器的负载情况（ P4 ）和内容分发事件（ P3）。 目的是将所有用于检测服务质量和测算成本的