云计算分布式缓存技术及其在物联网中的应用

1、云计算分布式缓存技术及其在物联网中的应用 多网融合、低碳节能、物物互联及移动互联网，这些当今社会的热点需求，催生了云计算技术的发展；随着PC性能提升、成本下降以及网络技术的发展，构建分布式的业务计算环境比集中的大型机的业务环境更具有成本和技术优势，为云计算的发展提供了强大的技术驱动力；Google，Amazon，Salesforce等IT巨头更是推出了基于云计算的服务，并取得了巨大的成功，让人们看到了云计算所带来的巨大优势和影响力；这也让世界各国政府对云计算的发展的非常重视，中国政府在“十二五”信息规划的技术背景中特别对云计算技术做了阐述，明确提出云计算技术是中国下一个五年信息化产业发展的重点

2、领域之一，为云计算的发展提供了政策驱动力1-2。 正是在在这样的需求求、技术、应应用和政策的的背景下，云云计算成为IIT业界共同同认可的主流流声音。云计计算其实就是是把所有的计计算应用和信信息资源都用用网络连接起起来，供个人人和应用随时时访问、管理理和使用。云云计算服务提提供资源，包包括计算、存存储及网络资资源，需要能能够实现海量量的存储、出出色的安全性性和可靠性；云计算提供供的服务应该该是动态的、可可扩展的，能能够根据用户户和应用的规规模进行动态态伸缩，并且且这种伸缩所所需要的时间间是短暂、迅迅速的；云计计算平台应该该能够提供开开发应用程序序编程接口(API)、环环境和工具，供供各种应用进进

3、行使用。只只有这样云计计算平台才能能够和应用很很好地结合起起来，使得传传统的集中式式应用方便地地迁移成高性性能、高可靠靠且易扩展的的分布式的云云计算应用，为为用户提供类类型多样的云云服务。 云计算算是物联网发发展的基础。互互联网主要解解决人与人的的互联，连接接了虚拟与真真实的空间；而物联网主主要解决的是是物与物之间间的互联，连连接了现实与与物理世界。物物联网是以互互联网的发展展为前提的。随随着物联网应应用的发展、终终端数量的增增长，会产生生非常庞大的的数据流，这这时就需要一一个非常强大大的信息处理理中心。传统统的信息处理理中心是难以以满足这种计计算需求的，在在应用层就需需要引入云计计算中心处理

4、理海量信息，进进行辅助决策策。云计算作作为一种虚拟拟化、分布式式和并行计算算的解决方案案，可以为物物联网提供高高效的计算能能力、海量的的存储能力，为为泛在链接的的物联网提供供网络引擎和和支撑。1 分布式缓存存的发展 在互联联网应用刚起起步时，各种种平台大多采采用的是关系系型数据库。那那时PC机昂昂贵、性能低低下并且网络络不普及，而而关系型数据据库因为处理理能力强、数数据安全可靠靠、一致性好好等优势，一一直处于主导导地位，并发发挥了重要的的作用。随着着互联网的发发展，特别是是WEB 22.0等交互互式、个性化化应用的出现现，数据量急急剧增加，传传统的关系型型数据库已经经无法满足这这种快速增长长的

5、存储需求求。为此不少少IT服务提提供商都设计计开发了自己己的存储系统统，如亚马逊逊在20077年10月份份开发出的DDynamoo就是其中非非常典型的一一种存储系统统（如图1所所示），作为为状态管理组组件和存储服服务的基础被被用于众多的的亚马逊的系系统中3-4。 对于GGooglee，Amazzon，淘宝宝这样的互联联网企业，每每时每刻都有有无数的用户户在使用它们们提供的互联联网服务，这这些服务带来来的是大量的的数据吞吐量量，在同一时时间，并发的的会有成千上上万的连接对对数据库进行行操作。在这这种情况下，单单台服务器或或者几台服务务器远远不能能满足这些数数据的处理需需求，单靠提提升服务器性性也

6、已经改变变不了该情况况，所以唯一一可以采用的的办法就是扩扩展服务器的的规模。服务务器规模扩展展通常有两种种方法：一种种是仍然采用用关系型数据据库，然后通通过对数据库库的垂直和水水平切割将整整个数据库部部署到一个集集群上，这种种方法的优点点在于可以采采用基于关系系型数据库(RDBMSS)的技术，但但缺点在于它它是针对特定定应用，实施施非常困难；另外一种方方法就是Gooogle和和Amazoon所采用的的方法，抛弃弃关系型数据据库，采用KKey-Vaalue形式式的存储，这这样可以极大大地增强系统统的可扩展性性。事实上，基基于Key-Valuee的分布式缓缓存就是由于于Googlle的BiggTa

7、blee，Amazzon的Dyynamo以以及Faceebook的的Cassaandra等等相关论文的的发表而慢慢慢进入人们的的视野，这些些互联网巨头头在分布式缓缓存上的成功功实践也使之之成为了云计计算的核心技技术5。2 分布式缓存存技术2.1 分布式式缓存的部署署方式 缓存服务务器集群采用用无主架构，所所有服务器节节点地位完全全一致，互相相之间采用网网状的全连接接方式。应用用通过调用分分布式缓存提提供的APII对数据进行行透明访问，无无需关心数据据在后端服务务节点的分布布情况。数据据在集群各节节点均匀分布布，集群数据据处理能力随随集群中节点点数量的扩充充呈线性增长长。集群通过过数据的多副副本

8、机制能够够提高系统的的可用性，某某几台服务节节点的宕机对对应用的数据据访问没有任任何影响。服服务器节点能能够根据应用用的需求灵活活配置数据是是否持久化存存储。 分布式式缓存同时提提供操作控制制台，能够登登录到任何一一个服务节点点并对集群的的成员关系、访访问负荷、数数据分布进行行监控和配置置，同时通过过操作维护台台可以完成分分布式缓存集集群软件版本本的安装、升升级和配置。目目前分布式缓缓存提供基于于命令行（ttelnett登录）和基基于B/S的的图形化运维维方式。分布布式缓存系统统的具体部署署如图2所示示。2.2 分布式式缓存功能架架构 分布式缓存存为应用程序序提供了客户户端程序库以以及若干数据

9、据服务节点组组成的服务集集群，客户端端通过和数据据服务节点通通信形成可用用服务器列表表，并将应用用程序提交的的存取请求通通过路由算法法映射到一个个确定的数据据服务节点上上，具体的功功能架构如图图3中所示。 数据服服务节点主要要分成3个层层次：通信支支撑层、数据据处理层和数数据存取层。通信支撑层主要要负责通信协协议适配，根根据数据处理理层中路由链链路管理模块块的指示进行行端口的侦听听和主动建链链，同时完成成底层通信数数据包的发送送和接收。 数据处理层包括括路由链路管管理模块、访访问控制处理理模块以及数数据迁移控制制模块。 数据存储层提供供内存/SSSD/硬盘介介质的三级存存储管理，具具体可以根据

10、据应用的要求求进行不同的的配置。内存存管理关注内内存分配的效效率以及如何何避免内存碎碎片的形成，并并根据数据访访问频度进行行最近最少使使用算法(LLRU)控制制。SSD和和硬盘存储模模式在保证访访问性能的同同时提供数据据的持久化存存储，在这两两种存储模式式下数据不会会随着服务节节点重新启动动而丢失。数数据存储层提提供数据生存存期管理机制制，能够自动动清理过期数数据。2.3 分布式式缓存关键技技术 分布式缓存存在保证数据据访问可靠性性、最终一致致性的同时对对应用提供高高吞吐、低时时延的访问服服务，通过增增加数据服务务节点即能实实现处理能力力的性能扩充充，扩容过程程对应用访问问完全透明。下下面对分

11、布式式缓存涉及的的关键技术进进行介绍。2.3.1 NNRW多副本本机制 分布式缓缓存通过多副副本机制实现现数据访问的的可靠性，同同时多个副本本之间的数据据同步又会带带来性能和一一致性的问题题。我们采用用NRW多副副本技术来保保证数据在可可靠性、高性性能访问以及及最终一致性性之间取得平平衡。图4是是NRW机制制的示意图，其其中N是一个个数据的副本本数，R代表表一次成功的的读取操作中中最小参与节节点数量，WW代表一次成成功的写操作作中最小参与与节点数量。当当分布式缓存存的访问模型型满足R+WW N时就就能保证数据据访问的可靠靠性和一致性性。 R和WW直接影响性性能、可用性性和一致性。如如果W设置

12、为 1，则则分布式缓存存集群中只要要有一个节点点可用，就不不会影响写操操作；如果RR 设置为11，则分布式式缓存集群中中只要有一个个节点可用，就就不会影响读读请求。但显显而易见R 和W值过小小都会对影响响数据访问的的性能和可用用性，为兼顾顾性能、可用用性和一致性性，这两个值值一定要合理理设置。2.3.2 一一致性Hassh和虚节点点 一一致性Hassh需要首先先求出分布式式缓存数据服服务器（节点点）的哈希值值，并将其配配置到02232的圆上上，用同样的的方法求出存存储数据的键键的哈希值，并并映射到圆上上。然后从数数据映射到的的位置开始顺顺时针查找，将将数据保存到到找到的第一一个服务器上上。如果

13、超过过232仍然然找不到服务务器，就会保保存到第一台台缓存数据服服务器上。因因为数据节点点服务器的机机型并不统一一，其性能和和容量是不同同的，可以使使一个物理节节点负责多个个Hash区区间的处理，使使高端机器能能够被充分利利用。在出现现热区时，可可以将过热的的Hash区区间以虚拟节节点的方式放放在负荷较低低的物理节点点上。 分布式式缓存平台结结合了一致性性Hash和和虚拟节点的的特点并加以以改进，形成成了如图5的的方案：将2232的Haash空间等等分为若干分分片，每个分分片即是一个个虚节点，根根据各物理节节点性能差异异配置处理不不同数量的虚虚节点，这些些虚节点在物物理节点上的的部署关系即即形

14、成虚节点点的路由。 通过一一致性Hassh和虚节点点相结合的方方式，实现了了数据在集群群的均匀分布布，同时也实实现了数据服服务器节点热热点的消除。2.3.3 智智能路由交换换 路路由是指分布布式缓存集群群中虚节点在在数据服务节节点上的分布布情况。分布布式缓存平台台构建了一个个分布式锁同同步系统来存存放全局路由由表，这张路路由表是分布布缓存集群路路由管理的基基准表，路由由变更时必须须要首先修改改这张路由表表中对应的路路由记录。 为避免免每次路由查查找都需要查查询分布式锁锁服务，各数数据服务节点点在本地同时时存储全局路路由表，路由由查找时可直直接在本地进进行。这样带带来的一个问问题是本地路路由记录

15、可能能已经过期，因因此在路由记记录中增加修修改时间戳来来进行路由记记录版本的控控制，举例说说明： (1) 第10号号虚节点的路路由信息是：存在3个副副本，依次存存放在服务节节点A、B、CC上，该条路路由信息在集集群中所有节节点本地都有有存储。 (2) A节点发发生故障宕机机，在A宕机机期间，操作作员对10号号虚节点的路路由记录进行行了手工调整整：仍然是33个副本，依依次存放在服服务器节点AA 、D、CC上，集群中中除A节点外外都完成了本本地路由记录录的更新。 (3) 此后A恢恢复了服务，AA节点本地110号虚节点点的路由记录录成为一个过过期的记录，当当A节点收到到落在10号号虚节点上的的数据读

16、写请请求时，就会会对B、C节节点的副本进进行访问，访访问时会带上上本地10号号路由记录的的时间戳，BB、C节点收收到访问请求求后会立即通通知A路由信信息已经过期期，通过这样样的路由交换换机制，A快快速地完成了了本地路由记记录更新。 上述例例子中路由交交换是通过数数据访问请求求被动触发，同同时集群中每每个节点的路路由管理模块块也会定时启启动路由交换换，通过这种种类似病毒传传染式的智能能路由交换，路路由变更能在在集群所有节节点中快速生生效。客户端端API的路路由记录也采采用同样的方方式：客户端端API本地地缓存路由信信息表，在数数据访问的同同时完成和服服务节点的路路由交换，大大大提高了路路由查找的

17、效效率，降低了了数据访问的的时延。2.3.4 成成员关系维护护和故障检测测 分分布式缓存将将节点分成两两类：种子节节点和普通节节点。 种子节节点是系统配配置时，需要要预先从所有有节点中选出出若干个节点点，它们的职职责是指挥系系统的链路建建立和拆除等等。 普通节节点启动后，根根据配置向种种子节点主动动建链，种子子节点对连接接上的普通节节点进行统一一管理，根据据一定的原则则比如按照IIP数值的大大小，通知普普通节点完成成互相之间的的建链，种子子节点互相之之间也根据这这个原则完成成两两之间的的连接。图66描述集群成成员关系建立立的过程。 (1) 分布式缓缓存当前有节节点1、2、33、5共4个个节点，

18、相互互之间两两存存在链路，节节点1、2是是种子节点，节节点0、3、55是普通节点点。 (2) 普通节点点4新加入缓缓存集群，它它首先根据配配置主动连接接种子节点11和节点2。 (3) 种子节点点1发现当前前有普通节点点0、3、55和它建立了了链路，当普普通节点4连连接成功后，它它根据节点大大小原则指挥挥节点4连接接普通节点 0 和3，同同时指挥原有有普通节点55连接节点44。 分布式式缓存通过上上述机制维护护集群中节点点的成员关系系，最终在各各节点间形成成网状的全连连接模型，两两两之间具备备通信链路，任任何节点故障障和恢复都能能够快速被集集群中其他节节点检测到。3 分布式缓存存助力物联网网平台

19、云化3.1分布式缓缓存的优势和和解决的问题题 分分布式缓存具具有明显的技技术优势。分分布式的架构构从架构上保保证了良好的的扩展性，当当性能不够时时，可以轻松松地通过添加加新节点的方方法扩展性能能；因为良好好的扩展性，所所以分布式缓缓存的容量可可以随着节点点规模的增大大而呈线性增增加，容量不不会成为系统统的瓶颈；分分布式缓存采采用的是基于于Key-VValue的的简单存储方方式，缓存的的架构和以内内存为基础的的访问方式使使得分布式缓缓存性能非常常高，单节点点每秒可以达达到24万多多次的读写操操作；分布式式缓存所使用用的多份副本本复制的方法法，避免单点点故障；同时时无中心化的的架构和一致致性Has

20、hh的数据分布布算法，使得得局部节点的的损坏不会影影响整体集群群的可用性，把把故障的影响响降到最低。 目前的的应用在部署署运行过程中中常会遇到一一些问题：第第一，单节点点不能满足性性能要求时，需需要扩展到多多个节点，通通常采用按号号段的方式进进行扩展，此此种扩展方式式不具有通用用性，与各个个应用密切相相关，开发和和维护的成本本也较高；第第二，在不同同的物理节点点的应用上共共享数据，通通常通过文件件的方式或同同步的方式进进行共享，但但是这在性能能和一致性的的处理上存在在较大的风险险和困难；第第三，因为多多个节点同时时访问数据库库，使得数据据库和磁盘II/O成为系系统的瓶颈，通通常使用单节节点的缓

21、存方方式来解决，这这样一方面会会造成系统资资源的浪费，另另一方面也使使各个节点中中缓存一致性性的处理也非非常复杂；第第四，应用节节点的应用程程序意外退出出重启动后，如如何保证已有有的会话不掉掉线，往往通通过写文件的的方法实现，这这时磁盘I/O以及系统统初次的加载载都存在性能能瓶颈。把分分布式缓存引引进应用后，可可以方便地帮帮助应用解决决这些问题。应应用通过调用用分布式缓存存提供的APPI接口，把把关键的数据据放到分布式式缓存中，而而自身重点关关注应用逻辑辑的处理，这这样可以轻松松打造出高性性能的、可扩扩展的、高可可靠的分布式式应用系统，通通过标准接口口的封装，对对外提供云服服务。3.2 分布式

22、式缓存在物联联网中的应用用 物物联网的出现现是信息通信信技术(ICCT)的新挑挑战。物联网网无所不在，它它可以使所有有的物体，从从洗衣机到冰冰箱、从房屋屋到汽车通过过物联网进行行信息交换。物物联网技术融融入了射频识识别(RFIID)技术、传传感器技术、纳纳米技术、智智能技术与嵌嵌入技术。物物联网技术将将是改变人们们生活和工作作方式的重要要技术。物联联网主要包括括3个层次，如如图7中所示示。第1个层层次是传感器器网络，也就就是目前所说说的包括RFFID、条形形码、传感器器等设备在内内的传感网，主主要用于信息息的识别和采采集；第2个个层次是信息息传输网络，主主要用于远距距离无缝传输输来自传感网网所采集的巨巨量数据信息息；第3个层层次是信息应应用网络，该该网络主要通通过数据处理理及解决方案案来提供人们们所需要的信信息服务。 物联网网业务网关属属于第3个层层次，如图88所示。它是是实现物联网网应用和物联联网终端智能能连接的桥梁梁，能够提供供接入认证、智智能路由、业业务计费、能能力接入、服服务质量(QQoS)服务务保障等核心心功能。支持持通用分组无无线业务(GGPRS)、短短信、有线