MASS4.0系统产品介绍.ppt

东方广视MASS4.0系统产品介绍,北京东方广视科技股份限公司,内 容,东方广视MASS4.0系统开发背景,1,东方广视MASS4.0系统发展历程,2,东方广视MASS4.0系统产品简介,3,东方广视MASS4.0系统产品特点,4,第一部分 东方广视MASS4.0系统开发背景,MASS4.0系统开发背景,广电行业的VOD项目运营系统，存在视频媒体文件数量大、单个视频媒体文件容量大、实时并发用户量大的特点，因此对存储系统的性能要求就会很高。提高存储系统性能的传统解决方案是完全采用大的盘阵存储，这样虽然能够存储大量的视频媒体文件，也能够保证存储系统特定的读写性能要求，但是基于盘阵存储的Raid策略导致存储系统的性能很难突破一定的瓶颈，同时存储系统的安全性、可靠性也很难保证，另外每个视频播出服务器对应一套存储系统也会在一定程度上增加运营商的成本。 目前东方广视VOD3.0视频点播系统业务已经在全国各地投入大规模的实际运营，VOD视频点播业务用户量的不断增加，运营商对公司服务器I/O能力、带宽、海量存储、部署成本等方面都提出了更高的要求。,MASS4.0系统开发背景,基于存储系统本身需求的设计理念以及大型运营业务拓展的进一步要求，我们需要设计一种适合自身VOD系统的存储系统，不仅使存储系统性能能够大幅度的提高，也能保证存储系统的安全性、可靠性，同时通过支持分布式存储来节省运营商的成本，另外能够满足大规模并发用户同时在线、提供用户实时性业务请求，并能满足运营商期望通过低成本实现系统部署、业务运营和扩展的要求。东方广视专门提出了适合公司产品自身特点的高性能高可靠性媒体区域存储系统(MASS)4.0的设计方案。该系统在每一个存储节点上实现分布式存储、动态raid管理、自动本地数据调度、数据在线恢复、在整个网络节点上实现向中央存储服务器的数据调度、系统对动态扩容提供支持。,第二部分 东方广视MASS4.0系统发展历程,MASS4.0系统发展历程,东方广视研发的本产品已经3代，各版本特点如下 ： FAN1版本特点介绍： 提出FAN1的主要目的是为了解决IO访问的优先级管理，因为系统本身对服务读写的优先级没有考虑，在并发高峰期，会出现trs录制丢包以及dbs读取超时的情况，基于此原因设计了FAN1网络文件系统。 目前项目中应用主要是本版本。 主要采用linux系统自己提供的文件系统。 读取性能特点：硬件配置15块(硬盘数量)*750G(单硬盘容量)的盘阵组建的媒体区域存储系统的读取性能基本保持在300MB/s左右。 最大支持并发量性能特点：硬件配置为8核CPU、16G内存的前期下，能够稳定支持480路并发用户同时点播，最大支持并发量为300MB/s(文件系统读取性能)*0.80(20%的富余带宽)*8(转换单位为位)/3.75Mb/s(片源码率)=512。 优缺点：优点是实现了IO访问的优先级管理；缺点在于使用了linux自身提供的文件系统以及Raid策略，无法突破文件系统性能的瓶颈。,MASS4.0系统发展历程,FAN2版本特点介绍： 提出FAN2的主要目的是为了解决FAN1文件系统由于使用了linux自身提供的文件系统以及Raid策略，而无法突破文件系统性能的瓶颈。基于此原因为了提高文件系统的性能而提出了FAN2的设计以提高文件系统的性能。 过渡性产品(中途夭折)，并未投入项目运营。 在linux系统环境下设计适合公司产品的文件系统。 读取性能特点：硬件配置16块(硬盘数量)*1T(单硬盘容量)的盘阵组建的媒体区域存储系统的读取性能期望达到500MB/s左右。 最大支持并发量性能特点：硬件配置为8核CPU、16G内存的前期下，期望支持720路并发用户同时点播，预计最大支持并发量为500MB/s(文件系统读取性能)*0.80(20%的富余带宽)*8(转换单位为位)/3.75Mb/s(片源码率)=853。 优缺点：优点是解决FAN1文件系统由于使用了linux自身提供的文件系统以及Raid策略，存在的系统性能的瓶颈问题，提高文件系统的性能。另外将片源文件分布式存储，也提高了系统的安全性。缺点是FAN2文件系统定义的块的大小为512K，由于块大小比较小，读取磁盘性能的时间大多浪费在寻址上。,MASS4.0系统发展历程,FAN3版本特点介绍： 提出FAN3的主要目的是为了解决FAN2文件系统由于块的大小为512K，导致读取磁盘性能的时间大多浪费在寻址上。基于此原因为了进一步优化文件系统的性能而提出了FAN3的设计。 后期项目中准备试运营的产品。 在linux系统环境下设计适合自己产品的文件系统。 读取性能特点：硬件配置24块(硬盘数量)*1T(单硬盘容量)的盘阵组建的媒体区域存储系统的读取性能期望达到1000MB/s左右。 最大支持并发量性能特点：硬件配置为8核CPU、32G内存的前期下，能够稳定支持1000路并发用户同时点播，预计最大支持并发量为1000MB/s(文件系统读取性能)*0.80(20%的富余带宽)*8(转换单位为位)/3.75Mb/s(片源码率)=1700。 优缺点：优点是FAN3文件系统设计不再以条带512K做Raid0，而是一个4M大小的块做 Raid0。这样就大大减少了磁盘性能浪费在寻址上的情况。缺点是由于缓存的增大，提高了内存的压力。尽管FAN3文件系统进一步提升了文件系统的性能，但是在设计的过程中没有充分考虑系统的安全性、可靠性，忽略了系统中可能出现的灾难恢复、异常恢复、单点故障等安全可靠性问题，需要在后期的版本中考虑并解决。,第三部分 东方广视MASS4.0系统产品简介,MASS4.0系统产品简介,高性能高可靠性媒体区域存储系统4.0(简称为MASS4.0系统)是在现有Fan3架构基础上进行机制上的修改使网络文件系统更具有高效性和高可靠性，主要变动为文件存储在各个存储磁盘上，保证文件系统信息更加安全可靠；另外通过读写分离机制将故障影响系数降到最低，一旦写故障，视频服务器读取操作不会受到任何的影响；将所有MAN（MediaAccessNode）构建一个高速内容交换网络，当任何一个MAN上磁盘故障或内容丢失，均可通过这个网络进行内容调度，提高了故障的平滑处理。,MASS4.0系统产品简介,媒体区域存储系统可以支持多种应用需要，通过媒体区域存储系统提供的libman接口库，可以对媒体区域存储系统中的媒体文件进行访问操作；通过媒体区域存储系统提供的libmun接口库可以将媒体内容注入到媒体区域存储系统中，媒体可支持静态的VOD文件和动态的时移节目内容等。 媒体注入时各种应用服务使用媒体区域存储系统提供的libmun接口库时，可以配置文件格式为动态还是静态格式，以及存储的RAID策略，媒体区域存储系统中的MUN根据不同端口接收两种类型的媒体内容，进行区别化处理。 媒体区域存储系统通过libman接口库对外提供媒体的访问，应用服务通过libman与MAN进行媒体访问交互，当所请求的MAN不存在应用所请求的媒体内容、或存储的内容故障时，MAN可以通过与其他MAN构成的高速交换网络向其他存储该媒体内容的MAN进行索取，索取后通过libman返回给应用服务，进而屏蔽了应用服务对媒体诸多因素的关心。,MASS4.0系统产品简介,媒体区域存储系统主要由三部分组成，首先是由libman提供的媒体区域存储系统内容访问的接口层；再者就是由MAN组成的集群构架了媒体区域存储系统的内容存储调度层；最后就是由MMN提供的媒体区域存储系统的设备、内容等的管理层。,MASS4.0系统产品简介,高性能高可靠性媒体区域存储系统主要由MAN(Media Access Node媒体访问节点)、CSS(Center Store Server 中央存储)、MMN(Media ManagerNode媒体管理模板)、MUN(Media Update Node媒体更新节点)、MRN(Media Recovery Node 媒体恢复节点)、RSN(Remote Scheduling Node 远程调度节点)、libMan(为其他应用程序提供的访问组件)几个组件组成。,MASS4.0系统产品简介,各个模块完成的主要职责功能如下： 1、媒体管理节点MMN主要职责功能 管理各个媒体访问节点MAN的磁盘管理。 管理文件，包括文件创建，文件块分配策略，文件删除等。 负责媒体访问节点MAN上的磁盘恢复。 负责媒体区域存储系统的媒体访问节点MAN的动态扩容。 2、媒体访问节点MAN主要职责功能 负责磁盘管理，包括磁盘故障监控，新增磁盘自动识别。 负责磁盘格式化处理。 负责磁盘恢复。 提供TCP文件访问接口，主要与LIBMAN和LIBMUN进行交互，完成文件内容的访问与注入。 提供与其他MAN内容共享接口，可相互进行内容调度。 负责本地文件块管理，包括文件块添加、更新、删除等。 3、媒体更新节点MUN主要职责功能 负责接收来自各种应用(如CDN、TRS、PVR等)通过LIBMAN接口集对媒体区域存储系统的媒体访问，包括打开文件、更新指定文件块内容、获取文件信息等。 负责通过对媒体访问节点MAN的访问完成各种应用对媒体区域存储系统的访问。,MASS4.0系统产品简介,4、媒体恢复节点MRN主要职责功能 负责接收媒体管理节点发起的磁盘恢复任务。 负责根据磁盘上文件列表进行文件块的恢复。 5、远程调度节点RSN主要职责功能 媒体区域存储系统对外的文件块访问接口。 媒体区域存储系统中其它的媒体访问节点MAN可以通过远程调度节点RSN对媒体区域存储系统中的文件块进行读取操作。 6、中央存储CSS主要职责功能 使用其它文件系统存储所有数据(如可以使用安全性很高的Raid5)。 接受各个媒体访问节点MAN的访问请求。 7、LIBMAN主要职责功能 为其它应用程序提供的访问组件。,第四部分 东方广视MASS4.0系统产品特点,MASS4.0系统产品特点-高性能,硬件环境配置为24块(硬盘数量)*1T(单硬盘容量)的双Raid卡连接的盘阵、8核INTEL XEON 55XX系列的CPU处理器、DDR3 1066MHZ的32G内存组建的单机版媒体区域存储系统，且顺序写入磁盘数据约50MB/s的情况下(满足40路时移电视注入需求)，即可实现随机并发读、写的高性能特点。,MASS4.0系统产品特点-高性能,1、媒体区域存储系统MASS4.0的高写入性能 使用媒体区域存储系统MASS4.0的视频服务器需要在满足推流存储IO需求的同时，还要满足40路以上3.75Mbps码率时移电视内容的实时注入以及完成内容分发部署等操作，由于时移电视是实时录制，因此需要在保证推流IO需求同时还需要同时对存储IO写入有着性能需求，至少需要3.75Mbps （每路时移电视码率）40（时移电视总路数）（位到字节）18.75MByte/s（存储子系统实际IO同步写入能力）的写入能力。 考虑到系统还需要其他如VOD内容分发注入以及其他需求，因此视频服务器应该至少要保证在满负荷播发并码流的同时具备超过50MByte/s的存储IO写入性能。 通过测试，MASS4.0系统的磁盘文件写入速度基本能够稳定保持在470MB/s左右到540MB/s左右，相比较以前xfs文件系统的磁盘文件写入速度(一般在80MB/s左右)有了非常明显的性能提高。这样我们的媒体区域存储系统更加能有利于VOD片源分发等其它业务的需求。,MASS4.0系统产品特点-高性能,2、媒体区域存储系统MASS4.0的高读取性能 视频服务器如果想要对2000路并发推流支持，并需要考虑极端情况下（如所有用户点播内容均分布在不同的文件并随机访问）保证用户观看质量，视频服务器的存储系统就必须实现对存储IO的高效访问，并使用随机的读取模型来达到对2000路并发的IO读取需求，这样我们理论上需要的读取速度为3.5Mbps(每码流码率)2000（并发数量）8（位到字节） = 875MByte/s。 通过测试，MASS4.0系统的读取参数配置50线程的情况下，并且有35套时移节目的写入操作时，磁盘文件读取速度基本能够稳定保持在970MB/s左右，最高能够达到1010MB/s的读取性能，综合上面的测试数据已经基本符合2000路并发点播的性能要求。,MASS4.0系统产品特点-高性能,3、媒体区域存储系统MASS4.0的高并发用户性能 通过测试单机版的MASS4.0系统支持1500路并发用户点播(6个千兆输出网卡推流)，相比较之前每个DBS最多支持1000路并发用户点播性能有了明显的提升。,MASS4.0系统产品特点-安全性,MASS4.0系统的硬件服务器的某个硬盘如果损坏，在不关闭服务器且不影响用户正常使用的情况下，可以直接将坏的硬盘拔掉用新的硬盘替换，同时可以使用管理界面将坏硬盘的所有数据都自动恢复到新硬盘上，从而保证整个系统安全稳定的运行。 用户正在访问的数据内容所对应的磁盘出现故障时，媒体区域存储系统能够正常提供故障磁盘所对应的数据内容。 媒体区域存储系统一定数量的磁盘被异常拔出时，媒体区域存储系统能够正常提供被拔出磁盘所对应的数据内容。 替换或增加新的硬盘时，媒体区域存储系统能够按照具体的负载均衡情况和Raid策略将相关的数据迁移到新硬盘中。,MASS4.0系统产品特点-可靠性,在媒体区域存储系统中，当出现磁