开题报告面向多租户的分布式缓存系统的设计与实现

研究生学位论文开题报告报告题目面向多租户的分布式缓存系统的设计与实现 学生姓名 郑朋 学号 201028015029048 指导教师 钟华 职称 研究员 学位类别 工学硕士 学科专业 计算机软件与理论 研究方向 网络分布计算与软件工程 培养单位 软件研究所 填表日期 2012年4月13日 研究生院制填 表 说 明1. 本表内容须真实、完整、准确。2. “学位类别”名称填写：哲学博士、教育学博士、理学博士、工学博士、农学博士、医学博士、管理学博士，哲学硕士、经济学硕士、法学硕士、教育学硕士、文学硕士、理学硕士、工学硕士、农学硕士、医学硕士、管理学硕士等。3. “学科专业”名称填写： “二级学科”全称。1 选题的背景及意义2007年，在并行计算、分布式计算、网格计算、虚拟计算、集群计算、效用计算等相关理论技术成熟之后，云计算(Cloud Computing)作为未来主流的计算模式走向前台1。在这种计算模式下，应用、数据和IT资源以服务的方式通过网络提供给用户使用。资源共享和开放是该计算模式的核心内容，用户可以像购买水、煤气、电力等资源一样，方便地按需(On-Demand)购买云端的计算、存储等各种资源，并只需对所使用的部分进行付费。按照提供的服务类型，可以将云计算分为基础架构即服务(Infrastructure as a Service, IaaS)、平台即服务(Platform as a Service, PaaS)和软件即服务(Software as a Service, SaaS)。Amazon的EC2是典型的IaaS平台，Google AppEngine、Microsoft Azure是典型的PaaS平台，而SalesForce是SaaS的代表。无论是IaaS，PaaS，还是SaaS，多租户都是一个云平台的关键特性。随着网络技术的发展，用户数量和网络流量出现了爆发性的增长，使得互联网应用面临用户和数据大规模化的状况2。同时随着Web3.0的到来，动态Web得到大力发展，Web应用的内容需要动态地持续性更新3，Web应用环境开始从静态向动态转变。随着Web应用规模的不断扩展，对系统的可靠性、扩展性和可维护性提出了越来越高的要求，如何继续维持Web应用良好的性能成为一个巨大的挑战。分布式缓存系统是由多台能够相互协调合作的缓存服务器按照一定的规则配置而成的一个缓存集群4。分布式缓存服务提供了一个分布式共享内存实现，将缓存数据均匀分布到各缓存节点中，对外提供统一的访问接口，支持动态扩展和负载均衡，基于冗余备份机制实现高可用支持。分布式缓存技术是提高应用可扩展性和数据及时响应性的有效方式之一，它自产生以来就得到了工业界和学术界的普遍关注。在云计算环境下，分布式缓存可以为用户提供高性能、高可用、可伸缩的数据缓存服务，更好的应对海量数据与用户请求带来的挑战。分布式缓存服务拉近了集群化对象数据与应用之间的距离，是云平台提升应用性能的一种重要手段。Searchsoa 5认为对于数据密集型的Web应用，如果失去分布式缓存这一关键技术的支撑，云的潜能将是十分有限的。除了云计算外，NoSQL6运动也大大推动了分布式缓存服务的发展。NoSQL放弃了传统关系型数据库严格的事务一致性和范式约束，以Key/Value形式存储数据。相对于NoSQL系统而言，传统数据库难以满足云环境下状态数据的存储需求，具体体现在以下三个方面：1) 根据CAP理论，一致性(Consistency) 、可用性(Availability)和分区容错性(Partition tolerance)三个要素最多同时满足两个，不可能三者兼顾78。云平台中部署了大量的服务节点，对分区容错和可用性的要求更高，所以一般都会选择适当放松一致性约束。对应CAP理论，NoSQL强调的是可用性和分区容错性，而传统数据库则强调一致性和可用性。此外，传统数据库对事务的完整性(ACID)需求同样制约了其横向伸缩能力和高可用技术的实现。2) 传统数据库难以适应新的状态数据存储访问模式。Web2.0站点以及云平台中存在大量半结构化数据，如用户Session数据、时间敏感的事务型数据、计算密集型任务数据等，这些状态数据更适合以Key/Value形式存储，不需要RDBMS提供的复杂的查询和管理功能9。3) NoSQL在内存中执行数据操作，这一特性对拥有海量数据访问请求的云平台而言是至关重要的。传统关系型数据无法提供同样的性能，而内存数据库容量有限且不具备扩展能力。分布式缓存作为NoSQL的一种重要实现形式，为云环境提供高可用状态存储和可伸缩的Web应用加速服务。云环境中用户访问与系统故障都具有不可预知性，为了更好的应对这些挑战，架构时通常采用无状态的设计，这意味着大量状态信息不再由组件、容器或平台来管理，而是直接交付给后端的NoSQL系统或分布式缓存服务。根据Gartner与Forrester的技术报告210，现有的分布式缓存产品主要包括Oracle CoherenceTM、IBM WebSphere eXtreme ScaleTM (WXS) 、GigaSpaces eXtreme Application PlatformTM (XAP)、Terracotta Server ArrayTM、EhcacheTM、NcacheTM、Vmware(GemStone) GemFire EnterpriseTM、Red Hat InfinispanTM等。2009年，Oracle公司将CoherenceTM 产品集成到其企业私有云解决方案中11。2010年，云虚拟化解决方案提供商VMware公司宣布收购GemStone，进入分布式缓存市场。同年7月微软的弹性缓存服务产品AppFabricTM Caching 发布，并被整合到其云平台Windows AzureTM中12。目前，IBM WebSphere eXtreme ScaleTM 与gear6 Cloud CacheTM均已部署在Amazon的弹性计算云EC2中，为用户提供个性化、可定制的缓存服务1314。作为云服务家族的重要成员，分布式缓存服务在云应用运行支撑和云状态数据存储方面正发挥着日益突出的作用。与此同时，云计算对多租户、高可用、资源弹性供给的需求也给缓存服务的运行、维护和管理带来诸多挑战。多租户(Multitenancy)是云计算的关键特性，基本思想是宿主在云平台上的一个或多个云应用和服务实例为来自不同组织（租户）的并发用户请求提供服务，实现资源的共享使用，目的是提高资源利用率，降低均摊在每个租户上的平均基础设施成本和管理成本。但各个租户间不可避免的会出现资源竞争，进而影响对各个租户请求的服务质量，即所谓的性能干扰(Performance Interference)问题。例如：缓存服务采用传统的缓存替换策略如LRU,LFU时，会导致请求内容宽泛、访问频率高的租户大量占用共享内存空间并获得额外的获益，而请求内容集中、访问频率低的租户则会由于缓存内容被替换出缓存，命中率下降，服务质量和利益受到损害。因此，需要在最大限度的提高系统资源利用率的基础上确保所有租户的服务质量需求得到满足。面向多租户的缓存服务质量保障技术正逐渐成为当前研究的热点和难点。目前，学术界和工业界对面向多租户的分布式缓存技术的研究仍存在一些不足之处（参见“国内外研究现状分析”）。 本论文分别从面向多租户的分布式缓存基础支撑技术和面向多租户的缓存服务质量保障技术两方面进行研究，在此基础上设计实现了一个面向多租户的分布式缓存系统，增强分布式缓存服务对多租户的支持能力。2 国内外本学科领域的发展现状与趋势2.1 分布式缓存系统的发展现状分布式缓存技术是提高应用程序扩展性和数据及时响应性的较有效的方式之一，它自产生以来就得到了工业界和学术界的普遍关注。国际上许多著名的开源组织和计算机公司都进行了大量的研发工作，推出了各自的产品和系统，其中较为著名的有JBoss Cache16、Memcached17、Terracotta EX18和Oracle Coherence19。下面分别介绍这四个分布式缓存系统的发展现状：1) JBoss CacheJBoss Cache是一个支持复制的事务性缓存，它允许缓存企业级应用数据来更好地改善应用性能。缓存数据被自动复制，JBoss缓存服务器之间的集群通信是通过JGroups来实现的。JBoss Cache提供了完整的缓存事务处理机制，使缓存数据在某个事务里可以回滚。JBoss Cache由于采用JGroups组播通讯，支持节点动态伸缩。但只能提供数据的复制，而没有提供更优的算法，使缓存数据在节点上更有效地分布，从而最大化地利用集群的数据资源。由于每次缓存操作都需要在集群间广播，这样的性能代价是很大的，在大规模环境下不适用。2) MemcachedMemcached是（运营LiveJournal的技术团队）开发的一套分布式内存对象缓存系统，用于在动态系统中减少数据库负载，提升性能。目前在业界得到了广泛应用，Top 20的Web站点中有85%都使用它来提高性能。它是一个基于Client/Server结构的分布式缓存实现。Server是用C写的，提供了多种语言的客户端API，包括Java，C#，Ruby，Python，PHP，Perl，C等。它基于网络连接方式完成服务，本身是一个独立于应用的程序或守护进程(Daemon方式)。Memcached的特点在于其高性能和轻量级，它的分布式一般由客户端实现，服务器间是相互独立的，具有较好的扩展性。目前Memcached客户端主要采用一致性哈希来实现静态数据负载均衡，系统扩展时一般采用静态修改配置的方式。3) Terracotta EXTerracotta EX是一个基于Java的商业JVM集群解决方案。用户可以透明的指定需要共享的类而无需对现有代码做任何修改（无侵入性）。Terracotta是在应用程序之下，JVM之上的集群，使用Terracotta的代码无需实现特定的接口，这使得应用程序可以从复杂的集群相关的逻辑中解放出来，只关注业务逻辑本身。Terracotta Server最重要的一个功能就是分布式共享对象 (DSO，Distributed Shared Object)，通过DSO可以把那些被频繁访问的，重要的数据（在Terracotta的文档中称之为Scratch Data）缓存到TC Server上，然后供集群里的不同JVM共享，这样一来就减轻了数据库的负载。4) Oracle CoherenceCoherence Enterprise是Oracle提供的一款比较成熟的分布式缓存产品。使用复制、分发、分区和失效相结合的方式来维护缓存集群中的数据。基于TCMP (Tangosol Cluster Management Protocol)协议实现节点动态伸缩，支持节点自发现和自管理。提供三种缓存策略模式，即全复制策略、分区策略和近区策略，基于冗余备份机制有效保障了缓存数据的可用性。当缓存规模发生变化时，数据会自动完成恢复或迁移，支持持续的缓存服务可用性保障。上述分布式缓存产品仅支持传统意义上的共享内容缓存，而缺乏对多租户模式的支持，无法为每个租户的需求提供保障。2.2 面向多租户的分布式缓存研究现状对于面向多租户的分布式缓存系统来说，性能隔离是关键问题之一，租户间良好的性能隔离是保障租户请求的服务质量的前提。很多学者从不同角度对多租户环境下缓存的性能隔离问题展开了研究。这些研究工作大致可分为基于改进的全局缓存替换的方法、基于动态缓存资源分配的方法、基于请求调度的方法和基于反馈控制的方法。IBM海法实验室的Chockler等人20提出了一种基于改进的全局缓存替换的方法。该方法用缓存命中率指标来表示租户的QoS需求，不直接划分缓存资源，而是通过执行全局缓存替换算法动态调整每个租户的资源分配。该方法首先利用基于效用(Utility)的缓存资源分配算法计算出每个租户分配的内存空间，其难点在于如何利用少量数据采样点预测动态变化的命中率内存关系曲线，Chockler等人使用最小二乘法(Least squares)来周期性的拟合新近收集的性能数据得到该曲线。计算得到的资源分配结果为缓存替换策略的执行提供了依据。作者给出了两种替换策略，第一种是通过为租户动态加权的方式确保访问频率低的租户内容不会很快被替换出内存；第二种方案根据租户当前占用内存空间是否少于目标分配空间动态选取本节点或其他节点数据替换出缓存。该方法的不足之处是隔离过程收敛速度慢。比较多的研究工作采用基于动态缓存资源分配的方法，它的基本思想是直接逻辑划分缓存资源，在实现资源隔离的基础上实现性能隔离。宾夕法尼亚州立大学的Patrick等人212223最近两年在这方面发表了一系列论文。文献21主要针对单个缓存服务节点的资源分配问题，作者提出了一种基于软QoS的动态缓存资源切分方法。首先离线为每个租户收集若干初始数据采样点，由初始采样点拟合得到的命中率内存关系曲线为租户预测待分配的内存空间（每个租户对应一条曲线）。该方法使用分段线性插值法(Piecewise linear interpolation) 周期性地拟合新的数据采样点调整曲线精度。分配算法中，如果所有租户应用成功分配资源且仍有剩余的内存空间，则优先将内存资源分配给对系统总的命中率贡献最大的租户应用。如果部分租户应用未能获得成功分配，则将剩余内存空间平均分配给这些应用。文献2223均使用I/O延迟指标表示租户的QoS需求，区别是文献22采用最小二乘法拟合采样数据，文献23采用分段线性插值法。最后按照计算的资源分配结果，采用基于线性规划模型(Linear programming model)的方法完成缓存节点的逻辑资源划分。加拿大温莎大学的Machina等人24的研究工作主要针对多核处理器(CMPs)共享缓存的性能隔离问题，基本思想是采用基于机器学习(Machine learning)的方法得到性能模型关键参数值，然后利用该模型预测满足QoS需求前提下每个租户的资源分配情况。卡内基梅隆大学的Wachs25等人采用基于Trace的方法建立分析模型(Analytic model)，根据该模型完成逻辑资源划分。上述工作的主要不足在于逻辑资源划分时未考虑节点负载和热点数据访问带来的影响。由于热点数据区堆积了大量的用户请求，如果分配给该数据区的缓存资源不足，会导致缓存内容频繁换出最终影响服务的性能。国内华中科技大学Feng26等人提出了一种基于请求调度的方法。该方法将共享存储服务看作一个黑盒，租户请求按照分类进入到不同的请求队列中，采用调度策略完成服务请求的准入控制，调度策略基于最大最小公平性(Max-min fairness)原则。该方法的不足之处在于使用调度算法无法完全解决各租户由于资源竞争导致服务质量下降的问题。弗吉尼亚大学的Lu2728等人提出了一种基于反馈控制的方法。基本思想是将基于QoS的缓存服务差分转化为一个闭环控制问题，采用命中率指标刻画租户QoS需求。系统由缓存、缓存控制器及监测器三部分组成，监控器负责收集各租户的命中率信息，控制器采用基于Z转换(Z-transform)的方法将命中率与QoS需求间的差值与缓存资源建立映射关系，确定资源调整值。该方法的不足主要有两点：一是不同租户应用具有不同的特点和访问模式，性能与资源间的映射关系往往需要使用不同模型来刻画，采用统一的映射模型存在一定局限性。二是该方法主要针对单个缓存服务节点的问题场景。在缓存性能隔离技术研究方面，根据全球网络存储工业协会SNIA29的技术报告，租户对存储或缓存服务的QoS需求通常包括性能（命中率、I/O响应时间等）、数据安全性、可用性、可管理性等多维属性要素。如上所述，目前已有的研究工作大都只考虑单维QoS属性，无法准确、完整的描述用户质量需求。基于改进的全局缓存替换的方法通过使用替换算法动态调整每个租户的缓存资源进而满足租户的QoS需求，不足是隔离过程收敛速度慢，难以适应环境的动态变化。基于动态缓存资源分配的方法直接逻辑划分缓存资源，性能隔离效果好，具有较强的自适应性，这方面已有工作存在的不足是逻辑资源划分时均未考虑节点负载和热点数据访问带来的影响。基于请求调度的方法不对共享缓存资源进行逻辑切分，而将整个资源看作一个黑盒，通过将租户请求放入不同的队列，由调度算法统一调度实现性能隔离，不足是调度算法无法完全解决各租户由于资源竞争导致服务质量下降的问题。反馈控制方法将基于QoS的缓存服务差分规约为闭环控制问题，不足是控制采用统一的性能与资源映射模型，未考虑不同租户应用具有不同的特点和访问模式，存在一定局限性。综上，已有方法仅考虑单个的QoS属性，不适用于考虑多个QoS属性的情况下的缓存性能隔离，因此需要设计一种面向多租户的支持多QoS约束的分布式缓存系统。3 课题主要研究内容、预期目标3.1 研究内容鉴于目前业界普遍对支持多租户的分布式缓存服务的迫切需求，本论文分别从面向多租户的分布式缓存基础支撑技术和面向多租户的缓存服务质量保障技术两方面进行研究。1. 面向多租户的分布式缓存基础支撑技术传统的分布式缓存系统不支持多租户，缓存系统以提高整个系统的资源利用率为目标。在多租户环境下，虽然提高整个系统的资源利用率也是一个目标，但是这个目标的达成不能导致牺牲对某个租户的资源供给水平。因此有必要在资源分配与调整时，以租户为粒度进行考虑。同时各个租户应用的数据大小，访问模式等各有不同，需要的缓存资源也不一样，因此以租户为粒度进行监控与调整也可能提高整体系统的效率。本部分研究为分布式缓存系统添加多租户支持需要的几项基础支撑技术，包括：l 面向多租户的缓存资源划分算法该算法同时考虑缓存服务结点的异构性及租户对资源需求量的差异，在多个结点合理划分缓存资源以实现缓存服务性能的最优。l 考虑热点数据和节点负载的缓存资源调整缓存系统运行时，热点数据区的存在和服务节点负载的动态变化都可能影响对某些租户的资源供给质量。因此需要动态调整各租户在各个节点上的资源分布，应对热点数据区和节点负载的动态变化。l 面向多租户的缓存替换算法传统的缓存替换算法如LRU，LFU等，会导致请求内容宽泛、访问频率高的租户大量占用共享内存空间并获得额外的获益，而请求内容集中、访问频率低的租户则会由于缓存内容被替换出缓存，命中率下降，服务质量和利益受到损害。因此需要设计一种平衡多租户利益的缓存替换算法。2. 面向多租户的缓存服务质量保障技术本部分实现15中提到的对租户的服务质量保障。这方面已有的工作主要针对单QoS约束条件下缓存服务的服务质量保障问题，本部分对多QoS约束条件下分布式缓存服务的服务质量保障问题进行研究，具体内容包括：l 一种支持多QoS约束的资源分配模型刻画多QoS约束与资源间的映射关系，利用该模型能够计算为满足一个租户的QoS需求，系统应给租户分配的资源数量。l 基于资源分配模型的分配算法在满足租户QoS约束的前提下合理分配缓存资源，实现缓存服务性能的最大化。3.2 预期目标本论文目标是设计和实现一个面向多租户的分布式缓存系统，该系统提供对租户的服务质量保障，同时尽可能提高缓存系统的资源利用率。4 拟采用的研究方法与技术路线1. 面向多租户的分布式缓存基础支撑技术在缓存资源划分方面，同时考虑缓存服务结点的异构性及租户对资源需求量的差异，使用线性规划的方法来确定各个租户的资源在多个缓存结点上的最佳分布方案。对于缓存资源动态调整，使用Trace的方法有效识别热点数据区，对现有线性规划解决方法进行扩展，适当增加热点数据区的资源分配，从而降低热点数据访问对服务性能造成的影响。区别于传统缓存替换算法，面向多租户的缓存替换算法以租户为粒度，同时考虑到各个租户访问模式的动态性，有效替换各租户的缓存内容。2. 面向多租户的缓存服务质量保障技术在缓存资源分配模型的构建方面，本论文拟采用基于贝叶斯网络3031的方法分析QoS属性与缓存资源元素间的关联，识别、过滤资源无关型QoS属性，从而降低资源分配模型构建的复杂度。基于曲线拟合的方法建立每个QoS属性与资源元素的关系曲线，对关系曲线分析整合，形成统一的资源分配模型，同时周期性的调整模型参数，增强模型的精度。在缓存资源分配方面，基于资源分配模型，以最大化多QoS属性的联合效用函数为目标，采用启发式算法求解租户资源分配方案。在缓存资源划分方面，拟采用的技术路线同研究内容1“面向多租户的分布式缓存基础支撑技术”。 5 已有科研基础与所需的科研条件1) 阅读大量缓存、云计算、性能隔离相关文献。2) 调研了分布式缓存发展现状和发展趋势3) 调研分析主流分布式缓存系统。4) 软件研究所软件工程技术中心已经开发和实现了Once分布式缓存（OnceDC）V1.0，该软件可以为本论文的研究提供良好的基础平台。5) 本人长期从事对OnceWebContainer和OnceAS的开发维护工作，并对 Bundle的资源监控进行过较深入的研究，在这过程中积累的经验可用于对分布式缓存服务的服务质量保障研究。6 研究工作计划与进度安排1) 深入调研缓存、云计算、性能隔离相关文献。2) 调研主流分布式存储系统。3) 研究面向多租户的分布式缓存基础支撑技术，基于OnceDC v1.0实现支持初步支持多租户的分布式缓存系统OnceDC v2.0并进行测试。4) 研究面向多租户的缓存服务质量保障技术，在OnceDC v2.0中添加对租户的服务质量保障功能并进行测试。5) 开发相关的辅助管理工具。7 参考文献1. M. Armbrust, et al., Above the clouds: A berkeley view of cloud computing, EECS Department, University of California, Berkeley, Tech. Rep. UCB/EECS-2009-28, 2009.2. Mike Gualtieri and John R.Rymer, The Forrester Wave: Elastic Caching Platforms, Q2. 2010. /software/solutions/soa/pdfs/wave_elastic_caching_platforms_q2_2010.pdf3. Cisco, Cisco Visual Networking Index: Forecast and Methodology, 20092014. 2010 4. Paul, S; Z Fei. Distributed caching with centralized control. Computer Communications 24 (2): 256268. 20015. A. Earls. Distributed data grids: Foundation for future cloudcomputing? /news/1518647/Data-Grids-Foundation-for-future-cloud-computing. 2010.6. Wikipedia, NoSQL, /wiki/NoSQL7. E. A. Brewer. Towards robust distributed systems. In Proceedings of the 19th Annual ACM Symposium on Principles of Distributed Computing (PODC 00) .2000.8. S.Gilbert, N.Lynch. Brewers conjecture and the feasibility of consistent, available, partition-tolerant Web services. ACM SIGACT News 33(2).2002.9. D. Hastorun, M. Jampani, G. Kakulapati, A. Pilchin, S. Sivasubramanian,P. Vosshall, and W. Vogels, “Dynamo: Amazons highly available key-value store,” In Proceedings of ACM Symposium on Operating Systems Principles(SOSP 07). pp.205-220,2007.10. M. Pezzini. Whos Who in Distributed Caching Platforms: IBM, Microsoft and Oracle. /DisplayDocument?id=1024215. 2009.11. Oracle White Paper. Platform-as-a-Service Private Cloud with Oracle Fusion Middleware. /us/technologies/cloud/036500.pdf12. Windows Azure. /windowsazure/getstarted/13. gear6./memcached-product/cloud-aws.14. Amazon./ibm/15. Nathuji, R., A. Kansal and A. Ghaffarkhah. Q-clouds: managing performance interference effects for QoS-aware clouds. 2010: ACM.16. Red Hat EL., JBoss Cache, /jbosscache/17. Dormando, memcached: A distributed memory object caching system, /18. Terracotta Inc., Terracotta Ex, /19. Oracle Corporation. Oracle Coherence Getting Started Guide，June 2009 20. G. Chockler, G. Laden, Y. Vigfusson. Data caching as a cloud service. In Proceedings of the 4th International Workshop on Large Scale Distributed Systems and Middleware (LADIS 10), 2010.21. C. M. Patrick, R. Garg, S. W. Son, M. Kandemir. Improving I/O Performance using Soft-QoS Based Dynamic Storage Cache Partitioning. In Proceedings of 11th IEEE International Conference on Cluster(Cluster 09). pp.1-10.2009.22. R. Prabhakar, S. Srikantaiah, M. Kandemir, C. M Patrick, M. Kandemir. Adaptive Multi-Level Cache Allocation in Distributed Storage Architectures. In Proceedings of the 24th ACM International Conference of Supercomputing(ICS 10). pp. 211-221,2010.23. R. Prabhakar, S. Srikantaiah, C. M Patrick ,M. Kandemir. Dynamic Storage Cache Allocation in Multi-Server Architectures. In Proceedings of the ACM/IEEE International Conference for High Performance Computing, Networking, Storage, and Analysis(SC 09). pp. 1-12, 2009.24. J. Mach