“利用缓存独立队列技术提升视频业务感知”标杆经验汇编辽宁移动.docx

“利用缓存独立队列技术提升视频业务感知”标杆经验推广手册（内容网络提升专题）辽宁公司2016年10月一、摘要3二、背景4三、存在问题5四、解决方案和措施6五、取得效果21一、摘要 随着视频资源的日益丰富、高清视频的逐步普及，视频流量在家庭宽带互联网业务应用中占比逐渐提升，目前辽宁视频业务约占用户总流量的50%以上，流量主要由省内IDC、缓存系统和内容网络资源提供，我省缓存及内容网络均由华为厂商承建。我省在积极发展IDC视频资源引入的同时，大力开展视频类缓存服务来提升视频本省率，但由于存在热点统计丢失、上报不及时等系统问题，导致华为缓存系统的视频流量增长存在瓶颈，无法将更多的视频流量驻留在本省。因此，辽宁公司分别采取“队列优化”、“独立分组”两种方案，提升原缓存系统和内容网络中视频业务的服务流量，有效提升了我省视频业务感知和体验。 关键词：队列优化、视频独立分组二、背景 各省视频资源主要由IDC和缓存提供，而IDC受制视频引入数量和深度等因素影响，因此各省普遍采用缓存系统来提升视频本省率。缓存先期效果明显，但缓存中TOP类视频流量存在增长缓慢和瓶颈，目前本省TOP10视频爱奇艺、优酷、乐视、搜狐等缓存占比都不足40%。 为了评估我省互联网视频质量跟竞品差异，我省开展了互联网视频质量与竞品宽带的质量对标测试中，我们的视频质量与竞品确实存在一定差距，详细对比数据如下： 评估要素移动(10M)联通(10M)视频播放首帧时间(ms)1230.41040.1总缓冲时间(ms)1239.41100.6平均缓冲比(%)4.11%3.34%吞吐率(KB/s)1008.51272.34成功率(%)94.70%96.63%注：测试环境采用沈阳、鞍山、盘锦等地市的10M家宽环境，对数据取均值。三、存在问题（一）、视频热点上报不及时，导致缓存服务流量低 我省华为大文件缓存建立是基于热点统计触发服务，由于存在热点统计丢失、上报不及时，导致视频热点资源不能提供给缓存子系统，导致缓存的视频流量增长存在瓶颈，无法将更多的视频流量驻留在本省。（二）、共用HCS资源，导致TOP视频服务流量过低 未分组前达到缓存热点的所有网站和Top视频资源均会同时送到20台华为HCS进行回源，而每台华为HCS的并发回源进程数仅为64、队列中网站数量繁多，导致部分Top视频资源不能及时被华为HCS回源服务，致使视频流量增长缓慢。 四、解决方案和措施(一)、老版本缓存视频优化措施一：配置华为缓存SAS视频独立队列 原有缓存中，视频与大文件处于同样的热点列表中，因此华为缓存SAS节点上报给DSS节点的固定长度热点列表中，会丢失部分热点视频资源，导致缓存无法劫持服务，影响视频业务吐出流量；通过在华为缓存SAS上配置独立的视频队列，形成单独的热点列表，实现对视频热点的独立统计，从而降低视频资源不上报的可能性。我省根据省用户访问视频需求以及IDC引入情况，共对优酷视频、搜狐视频、腾讯视频、PPTV、乐视视频、CNTV和爱奇艺完成独立队列的配置。 修改方法：登录华为缓存SAS主机ssh -p 39200 rootvi /usr/local/icache/sas/config/sas.conf 每对之间表示一个队列，resource_type为协议号，info为队列名称。如果需要为某个网站增加单独的队列，只需要增加一个对即可，其中内容根据实际情况填写。措施二：优化华为缓存SAS队列上报长度和周期 （1）优化队列长度 : SAS统计的热点列表数量决定了服务用户的资源范围，即使用户访问资源达到热点阈值（2次/天）后，如果未存在SAS上报的热点列表，缓存也不会进行拦截加速。因此，SAS上报热点数量的合理设置会影响缓存吐出流量，现在定期对SAS文件进行统计，优化调整视频队列上报阈值，找到最合理的队列长度配置。 （2）优化华为缓存SAS上报周期 :SAS统计的热点列表原有设置为每200秒上报至DSS设备，由DSS下发任务给CSS和向RSS进行资源列表同步并“302”重定向并提供服务；我省在综合考虑设备性能的基础上，将SAS的上报时间周期由200秒/次缩短至150秒/次，提升上报频率，加快回源和拦截的效率，具体上报周期可根据各省实际情况设置。 修改方法：vi /usr/local/icache/sas/config/sas.conf每对之间表示一个队列，resource_type为协议号，upload_count为队列长度，info为队列名称。Upload_count和SAS日志中的Max count对应，通常只需要调整upload_count即可。150为队列上报周期。措施三：降低华为缓存CSS请求周期时间 当DSS收到SAS热点资源列表后，CSS会周期性的向DSS请求热点列表，在获取到热点列表后会进行回源，在本地留存文件，以为用户提供服务。因此不合理的CSS请求周期时间会导致CSS回源时间延迟，进而导致RSS无法及时重定向用户访问流量，丢失部分视频吐出流量。 修改方法：vi /usr/local/icache/css/css_http/config/css_http.conf将timer_check_request_task_interval项改为10，保存退出，执行service css_http restart，重启CSS-HTTP服务。处理效果：(二)、内容网络视频优化 在融合内容网络中，缓存组网结构及设备类型均发生根本性变化，原有华为的SAS、DSS、RSS、CSS、MSS等设备都演进为华为HCS、TIS等设备，功能也随之发生改变，因此原有的视频独立队列优化方案也要对应进行调整。 为推进缓存视频服务优化，辽宁公司在现网内容网络Cache节点选取20台HCS内容服务器单独建立TOP10视频独立缓存分区，与普通大文件资源进行区分。20台HCS分成两个队列组，其中队列分组1划分11台HCS，缓存非TOP10 网站视频热点资源，队列分组 2 划分9台HCS，缓存TOP10网站视频热点资源。 辽宁公司针对TOP10和非TOP10视频建立的两个分组，视频全省总缓存流量经过三个阶段呈现稳步提升，分组后稳定态后，视频服务流量的均值和峰值均超过了分组前的吐出。 措施一：TOP10视频独立分组部署 针对华为缓存实施TOP10视频独立分组部署，在现有内容网络缓存服务器节点中选取定量的服务器作为独立POOL（分组中包含N台HCS）进行TOP10网站服务，具体部署实施操作过程如下： 1：建立独立视频服务节点，并将华为设备进行独立分组 登录5:11086/BMS/login.action业务管理缓顾虑子系统分组新增；添加TOP10独立分组。缓存子系统：选择TOP10的9台HCS主机。分组类型：选择cache分组分组支持的网站：添加TOP10网站的域名。 图1 图22、系统对域名访问情况进行统计汇总，当达到阈值后成功缓存该资源。登录HCS主机查看ACCESSLOG日志tail -f /home/icache/hcs/hcs/log/accesslog |grep HITSY_SB_HCS03: # tail -f /home/icache/hcs/hcs/log/accesslog |grep HIT2016/10/28_11:07:47_284314 50 - TCP_HIT 200 GET video/mp4 1.718923 2/cache/1/223/1/58/letv-gug/17/ver_00_22-1067883129-avc-619433-aac-64027-15000-1305791-1d2e7a5b3a2b31324d50c843ebb6203b-1476345907951.mp4?crypt=19aa7f2e131400&b=1314&nlh=4096&nlt=60&bf=8000&p2p=1&video_type=mp4&termid=1&tss=no&platid=100&splatid=10000&its=0&qos=5&fcheck=0&amltag=1&mltag=1&proxy=1864015668,3701837097,467476956&uid=3747957242.rp&keyitem=GOw_33YJAAbXYE-cnQwpfLlv_b2zAkYctFVqe5bsXQpaGNn3T1-vhw.&ntm=1509160200&nkey=934fe81229d6658b46b0f0649988a5b9&nkey2=6b4d287a0cbd065442a1a42daa821e35&geo=CN-6-0-4&gugtype=1&mmsid=61502302&type=pc_gaoqing_mp4&ch=baidu_mfdy&playid=0&pay=0&ostype=windows&hwtype=un&errc=0&gn=1928&vrtmcd=107&buss=1&cips=50&ich_args2=129-28110703030162_937e2701cb35c20cb072b3011eb175ad_10006002_9c88632bd1c1f5d1913e518939a83798_305cea496d669c7459d706505b94c0af CI 0.073439 1306137 - - 10006002 0措施二：流量变化形态 在原有内容网络上单独部署TOP10视频独立分组进行服务，即相当于在原内容服务节点中选定服务器作为独立分区进行TOP10网站服务，此时需要独立分区内服务器完成业务下线和再上线服务，并针对TOP10视频重新回源，流量需经过“先降、后升、再稳”三个阶段。 1、登录华为缓存report报表9:9011/console 选择数据应用资源管理器系统报表缓存速率报表选择大文件节点自定义时间查询； 图1 图2 图3 图42、查询结果对比。 图1第一阶段，下降阶段：独立队列部署完成，两个队列组内重新进行资源分布哈希环计算，HCS之间进行动态资源重平衡，直接导致流量下降。 第二阶段，提升阶段：动态重平衡完成，两个队列同时缓存热点视频资源对用户提供服务，整体吐出流量涨幅明显。 第三阶段，稳定阶段：属于调整独立分组后，回源稳定时期。整体吐出流量较分组前得到大幅提升，超过调整前每日的峰值和均值。 措施三：加快华为HCS设备回源速度 每当出现新设备上线，我们都会面临回源速度慢问题，针对加速HCS回源的优化经验有增加单台HCS回源进程、开启资源重平衡功能等。 方法1：调大回源限速，即修改流入上限阈值。修改方法：1、在BMS对旁路HCS大文件节点分组限速，配置参考如下：登陆HCS后台检查如下：vi/home/icache/hcs/hcs/config/i2000.conf 1:0|2:0|3:0|4:0|5:0|6:0|7:0|8:0|9:0|10:0|11:0|12:0|13:0|14:0|15:0|16:0|17:0|18:0|19:0|20:0|21:0|22:0|23:0|24:0进行时间段的限速,比如 13：00 限速800M 则修改13：8002、观察Report报表查看缓存速率报表，对应时间回源限速成功。方法2：开启华为HCS资源重平衡功能 当在一个分组中增加HCS设备时，可以通过开启资源重平衡功能，将现网已有热点资源快速复制到新增的HCS设备。 修改方法：1、登录BMS管理界面。5:11086/BMS/login.action选择“系统管理 重平衡配置”，显示“重平衡配置”页面。 图1重平衡配置2、在“请选择下发子系统”勾选新增的HCS设备，单击“状态关闭”，停止新增HCS的缓存服务功能。 图2 状态关闭3、在“请选择下发子系统”勾选所有HCS设备，单击“开启重平衡”，系统开始迁移资源。 重平衡全部完成后系统自动停止，也可以手动单击“关闭重平衡”。手动关闭不会导致HCS不服务，但各台HCS子系统资源可能分布不均衡。 图3开启重平衡4、查看重平衡状态和进度。 可单击“重平衡查询”查看资源重平衡结果，或登录HCS后台，执行udbinfo -rebalance命令查看重平衡状态和进度。SY_SB_HCS46: # udbinfo -rebalanceRebalance query success:status idlefile number total 0file number proccessed 0file number moved successfully 0file number moved failed 0file number not moved 0file size total 0.000 GBfile size proccessed 0.000 GBfile size moved successfully 0.000 GBfile size moved failed 0.000 GBfile size not moved 0.000 GBfile metainfo size 0.000 MBstart time Rebalance is not startstop time Rebalance is not stopSY_SB_HCS46: # status显示结果说明：idle：表示统计信息为上次重平衡的结果。 running/stopping：表示统计信息为当前重平衡的结果。5、在“请选择下发子系统”勾选新增的HCS设备，单击“状态开启”，恢复HCS的缓存服务功能。 图4 状态开启方法3：增加华为HCS下载进程数量修改方法：登 录HCS主机ssh 2修改hcs.conf配置文件 SY_SB_HCS42:/h