外部乐视视频架构

1、引言如何支持100万人同时甄嬛传乐视网高级架构师-­夏彦刚2012年8月看引言甄嬛传电视剧（76 集全）乐视网年份：2012演员：导演：学类型：历史 古装 情感第 1 集 第 2 集 第 3 集. 第 75 集 第 76 集(大结局)购甄嬛传频道2011 年 3 月 16 日嬛传独家- 本报讯 （）昨天，乐视网宣布花2000 万购得后宫·甄，这一价格已超过国内一线的购剧花费。 . 2011-3-16 -快照乐视网斥巨资 购甄嬛传2011 年 3 月 17 日 - 乐视网斥巨资 购甄嬛传,（）昨天，乐视网宣布花2000 万购得后宫·甄嬛传独家，这一价格已超过国内一线

2、的购. 2011-3-17 -快照目录4.文件分发 1.CDN系统简介特点策略Smokeping定义框图 2.节点建设5.可用性带宽服务器 节点选择节点部署DNS+LVS GSLBWebServer 3.GSLB调度器节点使用平衡服务分级1.CDN系统简介定义CDN的全称是Content Delivery Network，即内容分发其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在各处放置节点服务器所的在现有的互联网基础之上的一层，CDN系统能够实时地根据智能虚拟流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求

3、重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决 Internet拥挤的状况，提高用户的响应速度。(摘自URL： hIp:/关键元素：边缘节点：在各处放置节点服务器GSLB：能够实时地根据流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点目的：使用户可就近取得所需内容，解决 Internet速度拥挤的状况，提高用户的响应1.CDN系统简介框图 图片CDN CDN2.节点建设带宽带宽需求(假设用户此时不A.标清：350kbps*100,0000=350Gbps其他影片) ：B.：800kbps*100,0000=800G

4、bps实际带宽A.用户同时会其他影片，需要的带宽B.需要20%30%冗余带宽备用，防止用户量突发2.节点建设服务器服务器数量(假设用户此时不其他影片)A.100,0000/100=10000 B.100,0000/1000=1000服务器性能分析100台*并发连接100001000台*并发连接1000A方案：硬件要求过高，成本过高，不采纳B方案：普通服务器可支持，单机1000连接，1G带宽限制条件文件必须提前预分发到服务器文件分发策略后面PPT详细2.节点建设节点选择普通节点中间节点节点第备用节点节点类型节点特性普通节点边缘节点，离用户最近的节点；CDN节点中间节点性能较好，扛用户量；支持高并

5、发连接 ：如SSD-­cache， 带宽充足，较高 吞吐率节点主要用于为其他节点取源，全 量文件。分布式架构： GlusterFS/HDFS/GFS.第备用节点第CDN：网宿、快网、帝联2.节点建设节点部署用户实时分布图hIp://online/index.shtml部署原则：1. 用户分布密度2. 公司区域战略3. 质量优先策略4.先策略3.GSLB调度器定义 全局负载均衡系统(GSLB)，简称调度器用途将用户的请求重新引导到离用户最近的节点内容(精简)节点节点的合理调配平衡服务分级3.GSLB”算法节点使用“线性，使全局质量最优；开源项目glpk解决问题：如何分配问题

6、模型：城市A B C 分别有用户 500 300 100 人服务CDN节点 L M N 为他们提供服务三个服务商的容量为 200 300 400服务节点为三地提供服务的质量分别为A L 90 M 80 N 70B L 80 M 70 N 90C L 70 M 80 N 90求解：城市分别向各地分流多少条件：能使得服务质量最好A.：节点的容量能力：物理带宽/连接数B.用户：每个地区的用户量，根据历史数据预判C.质量表：每个地区的用户到每个节点的质量数据(历史)3.GSLB用户调度表节点使用¤节点容量放节点分级调度大第三第三方节点普通节点中间节点中间节点方节点普通节点码省ID地区ID运营

7、商服务节点列表普通节点中间节点第节点CN1192706,706,706,705,700,7301001,100293,92,94CN1222706,705,705,705,705,720,7111001,100293,92,94CN151807,820,810,812,8412001,200196,97CN187168,102,105,104,1033001993.GSLB参数平衡服务器 带宽 连接数(write) 磁盘IO 其他：Load/CPU等综合=(带宽*W1+连接数*W2+磁盘IO*W3)/(W1+W2+W3)3.GSLB平衡节点内部调度算法 热点文件：轮询调度，平衡 其他文件： h

8、ash算法，节省磁盘空间文件分发策略(长尾) 冷文件：很少，仅节点 普通文件：每节点存一份 热点文件：每服务器都，如甄嬛传3.GSLB业务分级目的：带宽不足时丢弃请求，保重点业务类型与/盒子/TV/PC/站外 终端类型：/：/标清 码率： 频道3.GSLB用户分级地域 国内用户/国外用户广深/重点用户 直辖市/省会城市用户 其他地区用户地域优待 本省用户优先，加分项3.GSLB分级丢弃级别请求数(滑动窗口)分布比例是否丢弃110012%-­-­212014%-­-­315018%-­-­414016%-­-­500

9、%-­-­613015%-­-­710012%drop8405%drop9202%drop10506%drop4.文件分发特点及时性要求 热文件要快速分发到全网所有服务器，如甄嬛传文件生命周期源文件上传转码分发到节点生成页全网分出页面特点 在页面放出来之前，通常至少会有10分钟以上时间4.文件分发策略4.文件分发smokeping需求 测试简介各地 IDC速度,质量,稳定性 opensource 工具 是 rrdtool 作者 Tobi Oehker 的，图形显示方面有很大优势 多种探测方式，包括 fping/echoping/dig/curl 等4.文

10、件分发smokeping4.文件分发smokeping源节点目标节点延时ms丢包率探测时间50018200.2399470.00%2012-­7-­12 16:11500112214.790570.00%2012-­7-­12 16:11500182633.168910.00%2012-­7-­12 16:11500119126.64130.00%2012-­5-­21 16:1150016819.532220.23%2012-­4-­25 16:11500115119.989098.80%20

11、12-­7-­12 16:115001176205.13069.72%2012-­7-­12 16:115001731286.821510.19%2012-­7-­12 16:1150013631.0844316.20%2012-­5-­21 16:11500112429.9934230.99%2012-­5-­23 16:11500111157.722843.49%2012-­5-­30 16:11500115482.4032256.94%2012-­7-­12 16:11500115273.5186260.65%2012-­7-­12 16:11500117114.654973.61%2012-­7-­12 16:115001.00%2012-­7-­12 16:115001.00%2012-­7-­12 16:115001.00%2012-­7-­12 16:115.可用性DNS+LVS 简单DNS View较少，划分为：电信、其他三个view DNS调度 复杂的的view，根据省+运营商划分多