海量视频点播系统的云计算技术与建模实现-2019年精选文档

1、海量视频点播系统的云计算技术与建模实现Cloud computing technology and modeling of mass VOD systemCHEN Xu?we，n HUANG Ying?ming(Department of Information Engineering， JieyangVocational & Technical College， Jieyang 522000 ， China )： With the promotion of the triple?net fusion， themass VOD emerges out some characteristics

2、such as complicating data ， multiple platforms and huge business ， which make a huge challenge to the traditional on?demand mode. By using the powerful computing ability and mass data efficient processing of cloud computation， theapplication of cloud computation in mass VOD system is discussed on th

3、e basis of analysis of the basic framework and technical characteristicsof cloud computationand incombination with the characteristics of VOD service. The framework and working principle of the cloud computing system are analyzed. Some main technologies， such asredundancy backup of data ， heartbeat

4、detection ， replacement of intelligent nodes and load balancing are elaborated. A new idea to make the mass video propagation smooth is put forward.Keywords： cloud computation ； mass VOD； Hadoop system ； modeling随着互联网技术和多媒体技术的迅猛发展， 基于网络的视频 点播（Video On Dema nd VOD业务成为了网络应用的一大热点。 人们通过手机、 掌上电脑等简易的终端设备随

5、意欣赏视频的新型 模式极大地颠覆了传统的电视观看模式， 逐步成为视频点播的主 流。虽然流媒体及P2P技术1的应用在一定程度上减轻了中央 服务器和骨干网络的负担， 优化了节目流的播放质量， 但当面对 热点视频时， 海量视频的处理传播极大地考验着视频运营商的实 力。另外，随着电信网、计算机网和有线电视网三网融合步伐的 快速推进，对于视频点播业务的需求也将呈现出数据量剧增和多 平台共存的局面，光靠原有的硬件基础绝对无法满足形势的发 展，而增加投入势必会增加企业的运营成本， 租用第三方运营平 台将成为一种发展趋势。作为一种新型的商业计算模型， 云计算提供了强大灵活的计 算能力和高效快捷的海量数据处理方

6、法， 其高可靠性也是普通的 第三租赁方所无法比拟的。 本文以云计算为平台， 研究了基于云 平台的视频点播模式，为解决海量视频的高效传输提供了新方 法。云计算技术及海量视频点播的技术特点云计算的概念自云计算（ Cloud Computing ）概念提出以来，至今仍没有 统一、公认的定义，比较获得业界认可的是 2011 年由美国国家 标准和技术研究院（NIST）提出的2:云计算是一种通过网络 以便利的、按需付费的模式获取计算资源（包括网络、服务器、 存储、应用和服务）并提高其可用性的模式，这些资源来自一个 共享的、 可配置的资源池， 并能够以最省力和无人干预的方式获 取和释放。云计算是网格计算、并

7、行计算、分布式计算、效用计算、网 络存储、 虚拟化、 负载均衡等传统技术和网络技术发展融合的产 物，它以虚拟化为核心， 通过网络把多个成本较低的计算实体整 合成一个具有强大计算能力的资源系统， 以按需、易扩展的方式 为用户提供所需的各种资源和服务。 云是一个包含大量可用虚拟 资源的资源池， 云中的资源在使用者看来是可以无限扩展、 随时 获取、按需使用、按量付费的 3 。云模式 4 也即电厂模式，利 用电厂的规模效应来降低电力价格， 用户根据用电量付费， 便可 源源不断获取电力资源，而无需维护和购买任何发电设备。云计算具有低成本、 高性能、超大规模、 虚拟化、高可靠性、 通用性、高可扩展性、按需

8、服务等特点 5 。目前比较成熟的云 计算业务和应用有： Google的AppEngine、Amazon的弹性计算 云EC2微软的Azure云平台和IBM的蓝云等。1.2 云计算的架构 51 )软件即服务( Software as a Service ， SaaS)： SaaS 服务供应商将各类应用软件统一部署在服务器上， 用户通过简易 的互联网接入终端就能直接使用， 并按需按量付费。 云中的软硬 件设施由供应商负责维护和管理， 用户不需顾虑类似安装、 升级 和防毒等琐事，且免去初期高昂的硬件投入、人员配置、软件许 可证等费用的支出，经济便捷。（2）平台即服务（ Platform as a Se

9、rvice ， PaaS）： PaaS 主要面向开发人员提供一个应用的开发和部署平台，包括SDK、文档、测试环境和部署环境等。 平台的部署和运维均由供应商负 责，用户可一心一意致力于研发工作。（ 3）基础设施即服务 （ Infrastructure as a Service ，IaaS ）： IaaS 由底层硬件或虚拟机资源构建而成，用户从供应商那里获 取所需的计算或存储资源来装载相关应用， 且仅需为所租借的那 部分资源付费。海量视频点播的技术特点（1）文件庞大，数据量多。单个视频文件非常大，视频资 源繁多，数据海量化。（2）编码多样，业务复杂。随着三网融合的推进及视频播 放技术的改革， 必将

10、出现多编码、 多平台共存及多业务共享的局 面。（3）质量至上，要求严格。庞大的数据量对服务器性能及 网络带宽要求甚高， 而随着点播量的快速增长， 对于计算能力及 处理强度的要求也相应剧增。海量视频点播系统的云计算技术与建模实现系统架构 根据视频点播业务的技术特征及云计算技术的特点， 本文提 出了基于云计算的海量视频点播平台的基本架构， 其拓扑图如图 1所示。用户通过 Wet交互服务器向视频点播系统发出业务请求， 经We皎互服务器受理后将具体的业务要求提交给云核心服务 器，由核心服务器对整个云文件系统进行控制处理， 完成视频文 件的调用并反馈回客户端。图 1 系统架构图系统工作原理系统采用Had

11、oop系统实现云点播平台SaaS层的构建。 根据点播系统的功能要求及 Hadoop系统的基本构成，包括以下 几个功能组件，阐述如下：Web 交互服务器在整个点播系统中，Web交互服务器作为系统前端窗口，负 责受理用户的点播、注册、用户管理等常规业务，当涉及视频文 件调用时，则将业务请求转交给后台的云核心服务器处理， Web 交互服务器仅负责点播信息的传递工作， 没有涉及具体视频文件 的传输内容。云核心服务器云核心服务器位于云计算的最上层， 负责整个云系统的资源 管理及任务控制。(1 )资源管理。作为Hadoop系统的主控节点，云核心服务器负责记录文件的数据块分割规则及这些数据块的具体存储位 置

12、，对内存及 I/O 进行集中管理。为加快维护效率，同时减轻本 身负担，云核心服务器通过与各集群主控服务器进行交互控制， 对集群中的所有节点和所有虚拟机进行实时控制， 维护系统的资 源状态信息表。 为提高系统的运作性能， 云核心服务器仅管理文 件系统的元数据，具体的数据访问则交由下层服务器负责 7 。(2)任务控制。响应 Web交互服务器的点播请求，检索资 源状态信息表， 获取资源的具体位置， 然后通过集群主控服务器 汇总节点信息， 建立客户端与各虚拟机实例的通信， 实现数据传 输。集群主控服务器为提高云系统的运作效率， 减轻核心服务器的负担， 将云系 统的资源划分成多个集群， 由集群主控服务器

13、负责管理该集群中 的所有资源。集群主控服务器主要有以下作用：集群主控服务器管理其集群中的所有节点控制器和虚 拟机，对系统资源进行实时监控，形成子资源状态信息表，并将 结果反馈给云核心服务器，更新整个云系统的资源状态信息表。响应云核心服务器的任务要求，快速调用集群中的虚 拟机实例，建立与客户端机器的连接，传输数据。担任Hadoop系统的主节点，控制集群中的所有从节点，对集群中所有虚拟机实例及系统资源进行统筹管理， 提高系统的 响应效率。节点控制器节点控制器是整个云系统的前沿阵地， 在节点控制器上真正 运行着虚拟机实例， 并通过虚拟机管理器进行管理， 虚拟机实例 的数量由节点控制器的资源及计算任务

14、的类型决定，一般为3-5 台。节点控制器的功能包括以下三方面 8 ：（1）节点控制器负责监控节点上运行的所有虚拟机实例的 运行状态及资源的使用情况， 并将监控状况实时返回给上层的集 群主控服务器。（2）响应集群主控服务器的需求，启动虚拟机实例实现数 据通信。 当任务完成后或在规定时间内客户端无响应 （如客户异 常退出）时，则停止虚拟机实例运作， 释放网络带宽及点播资源。（3）监控和管理虚拟机实例。包括虚拟机资源的存储备份、 虚拟机宕机的应急处理等。系统设计的关键技术2.3.1 数据的冗余备份云系统的文件传输采用流媒体技术实现， 即将多媒体文件压 缩后分解成若干大小相等的数据块 （数据块的大小可

15、根据实际情 况进行配置） ，并统一编号， 再由服务器对客户端进行实时传送。 为了容错，文件的所有数据块都会有副本，即冗余备份。系统运 行时，节点控制器利用虚拟机管理器对虚拟机上的文件系统进行 监控，产生一份数据块与本地文件对应关系的列表， 形成块报告返回给节点控制器， 节点控制器根据块报告进行完善 (如增加数据块具体路径等)后反馈给集群主控服务器更新资源状态信息云系统的集群一般运行在多个机架上， 不同机架上的数据通 信必须通过交换机， 通常机架内节点之间的带宽比跨机架节点之 间的带宽要大， 这有可能影响云系统的可靠性和性能。 采用机架 感知(Rack?aware)策略9，将数据块以多个副本形式

16、部署在 本地机架和不同机架上， 改进数据的可靠性、 可用性和网络带宽 的利用率。 此策略可防止机架失效时的数据丢失， 也可保证系统 的性能。 2.3.2 心跳检测技术在任何系统设计中， 硬件异常检测总是极其重要的。 云系统 采用心跳检测 10 技术来控制系统硬件的异常情况。 集群主控服 务器周期性地通过节点控制器接受虚拟机的心跳包和块报告， 以 此判断虚拟机的存活状态： 收到心跳包说明工作正常； 若在特定 时间 t 内没有收到心跳包信息， 则认为宕机， 系统将不会发给它 们任何新的 I/O 请求。对于宕机的虚拟机， 系统将不断进行检测 并通过虚拟机管理器进行故障修复，若在特定时间内仍无法恢 复，则将重新复制该数据块， 避免该数据块副本数减少所造成的 影响。智能节点替换技术 智能节点替换技术与心跳检测技术联合应用， 当系统在特定 时间内仍无法检测到某数据块的心跳包时， 则将该数据包重新复 制，此时，节点控制器将更新数据包的新位置，并使用新节点替 换原来的故障节点，保证数据传输的连贯性。负载均衡技术 负载均衡是很多系统中需要解决的重要问题。在云系统中， 云核心服务器根据节点控制器发送的心跳信息和存储的数据块 情况，掌握各节点的当前状态， 通过平衡资源状态信息表中的资 源分配情况， 将数据块分配给负载较轻