云计算分布式缓存技术及其在物联网中的应用

1云计算分布式缓存技术及其在物联网中的应用

多网融合、低碳节能、物物互联及移动互联网，这些当今社会的热点需求，催生了云计算技术的开展；随着PC性能提升、本钱下降以及网络技术的开展，构建分布式的业务计算环境比集中的大型机的业务环境更具有本钱和技术优势，为云计算的开展提供了强大的技术驱动力；Google，Amazon，Salesforce等IT巨头更是推出了基于云计算的效劳，并取得了巨大的成功，让人们看到了云计算所带来的巨大优势和影响力；这也让世界各国政府对云计算的开展的非常重视，中国政府在“十二五〞信息规划的技术背景中特别对云计算技术做了阐述，明确提出云计算技术是中国下一个五年信息化产业开展的重点领域之一，为云计算的开展提供了政策驱动力[1-2]。

正是在这样的需求、技术、应用和政策的背景下，云计算成为IT业界共同认可的主流声音。云计算其实就是把所有的计算应用和信息资源都用网络连接起来，供个人和应用随时访问、管理和使用。云计算效劳提供资源，包括计算、存储及网络资源，需要能够实现海量的存储、出色的平安性和可靠性；云计算提供的效劳应该是动态的、可扩展的，能够根据用户和应用的规模进行动态伸缩，并且这种伸缩所需要的时间是短暂、迅速的；云计算平台应该能够提供开发应用程序编程接口(API)、环境和工具，供各种应用进行使用。只有这样云计算平台才能够和应用很好地结合起来，使得传统的集中式应用方便地迁移成高性能、高可靠且易扩展的分布式的云计算应用，为用户提供类型多样的云效劳。

云计算是物联网开展的根底。互联网主要解决人与人的互联，连接了虚拟与真实的空间；而物联网主要解决的是物与物之间的互联，连接了现实与物理世界。物联网是以互联网的开展为前提的。随着物联网应用的开展、终端数量的增长，会产生非常庞大的数据流，这时就需要一个非常强大的信息处理中心。传统的信息处理中心是难以满足这种计算需求的，在应用层就需要引入云计算中心处理海量信息，进行辅助决策。云计算作为一种虚拟化、分布式和并行计算的解决方案，可以为物联网提供高效的计算能力、海量的存储能力，为泛在链接的物联网提供网络引擎和支撑。

1分布式缓存的开展

在互联网应用刚起步时，各种平台大多采用的是关系型数据库。那时PC机昂贵、性能低下并且网络不普及，而关系型数据库因为处理能力强、数据平安可靠、一致性好等优势，一直处于主导地位，并发挥了重要的作用。随着互联网的开展，特别是WEB2.0等交互式、个性化应用的出现，数据量急剧增加，传统的关系型数据库已经无法满足这种快速增长的存储需求。为此不少IT效劳提供商都设计开发了自己的存储系统，如亚马逊在2007年10月份开发出的Dynamo就是其中非常典型的一种存储系统〔如图1所示〕，作为状态管理组件和存储效劳的根底被用于众多的亚马逊的系统中[3-4]。

形

旁

蚕对于旦Go殿og零le急，A特ma较zo鸟n，心淘宝夹这样节的互思联网奴企业备，每袍时每朽刻都亿有无焦数的眨用户萌在使欣用它辉们提立供的缩互联缺网服枪务，仇这些阶效劳款带来番的是描大量奋的数罢据吞义吐量辨，在愤同一话时间哑，并草发的下会有欠成千舍上万拨的连脑接对忘数据门库进敏行操嗽作。厦在这涌种情樱况下招，单笛台服筐务器烫或者神几台榴效劳拉器远矿远不德能满秩足这羞些数虽据的贫处理博需求肾，单香靠提普升服环务器故性也惠已经稻改变吐不了守该情俊况，冈所以枕唯一刃可以岔采用飘的办张法就浪是扩裙展服围务器麦的规荐模。副效劳犯器规谢模扩启展通宋常有纪两种绍方法毙：一讽种是险仍然定采用被关系烛型数除据库熟，然马后通挨过对胶数据慎库的伏垂直散和水怜平切墙割将皇整个窜数据形库部剃署到葬一个骄集群锄上，收这种煎方法勾的优话点在福于可柱以采编用基触于关兄系型著数据式库(颗RD恩BM性S)洋的技次术，劫但缺蛛点在猎于它想是针砖对特片定应师用，但实施雾非常恩困难盈；另营外一池种方货法就新是G院oo度gl晶e和摩Am飘az隔on跨所采肾用的检方法键，抛片弃关剧系型从数据衬库，粉采用也Ke轻y-迅Va犬lu株e形孟式的假设存储帅，这恩样可伪以极缎大地漠增强补系统估的可竹扩展毫性。腐事实敢上，庸基于洲Ke匪y-俯Va罩lu馅e的麦分布剩式缓报存就以是由察于G巧oo约gl翼e的伍Bi自gT蒸ab崇le降，A寺ma在zo胸n的仗Dy叫na房mo疏以及推Fa为ce培bo耻ok敢的C脾as写sa跪nd见ra换等相剩关论蜂文的齐发表倦而慢因慢进符入人忆们的询视野伪，这乡些互凡联网浊巨头醉在分糕布式滋缓存嘉上的贺成功仁实践皱也使煮之成奶为了征云计侮算的孔核心虏技术味[5迷]。

配2腿分布机式缓粉存技佳术

句2.倒1润分布吉式缓伞存的险部署牙方式

捐

粱

筋缓存结效劳傍器集诞群采递用无固主架痛构，拒所有立效劳组器节泳点地冰位完幻全一仪致，勺互相将之间扔采用万网状闹的全镰连接男方式召。应届用通板过调凳用分虎布式垂缓存赶提供助的A腐PI窃对数匀据进合行透卡明访瓜问，订无需格关心咸数据驾在后跪端服妥务节纱点的食分布尿情况朗。数怒据在某集群霜各节劫点均岭匀分汇布，乐集群电数据兽处理雕能力缠随集透群中炕节点罩数量旦的扩豆充呈乐线性帝增长铅。集馆群通平过数毫据的狱多副业本机豆制能罪够提杂高系立统的哈可用康性，劫某几天台服毛务节粘点的腔宕机细对应恩用的袖数据替访问宪没有迎任何场影响溪。服哥务器伞节点宋能够耐根据留应用洁的需忠求灵才活配染置数炸据是杰否持炉久化彼存储罩。

地

字

蜂分布执式缓勇存同柔时提降供操分作控炮制台菌，能陪够登复录到燕任何它一个搞效劳符节点甩并对广集群毯的成生员关享系、特访问摔负荷们、数枕据分城布进鱼行监真控和愈配置筑，同蚀时通惜过操厅作维芽护台锯可以除完成刚分布略式缓姻存集田群软泰件版熟本的盼安装旺、升店级和煤配置茫。目和前分话布式奇缓存译提供榆基于迹命令养行〔虚te乞ln兽et车登录曾〕和辽基于唐B/翼S的亡图形工化运父维方世式。饰分布刷式缓昨存系饭统的劝具体饲部署跪如图披2所秤示。

朴2.吃2掩分布租式缓妈存功类能架梦构

熟

抛

顷分布秋式缓拾存为勉应用己程序灿提供聪了客昨户端祥程序呜库以和及假设精干数嘱据服耳务节叉点组佣成的牺效劳案集群什，客辱户端磁通过罚和数船据服坏务节贡点通锯信形焰成可乔用服裕务器间列表禽，并平将应洒用程利序提葬交的梳存取经请求秧通过宫路由删算法贵映射捎到一楚个确城定的阻数据绑效劳丸节点凝上，愤具体药的功峡能架到构如堤图3顺中所星示。

寿

知

笋数据埋效劳眯节点顿主要诉分成浙3个桑层次旬：通土信支蛾撑层村、数鼠据处酒理层的和数第据存斥取层卖。

星通信围支撑格层主瞒要负糠责通委信协蜡议适梯配，傅根据龟数据食处理列层中勾路由双链路脾管理快模块洗的指状示进烈行端粪口的雕侦听枪和主烦动建泡链，达同时欧完成徒底层袭通信死数据劳包的趁发送啦和接碗收。误毛数据妹处理工层包殃括路屑由链丧路管养理模殊块、断访问毁控制位处理橡模块来以及钞数据拉迁移准控制伶模块鸭。散数据擦存储牙层提擦供内赚存/生SS抵D/绒硬盘猛介质三的三航级存光储管愤理，衰具体确可以救根据岗应用颠的要巩求进疮行不气同的角配置浇。内雪存管艳理关返注内赏存分稠配的拖效率定以及精如何惜防止汪内存林碎片抬的形态成，恳并根迎据数鞭据访星问频父度进塑行最良近最胃少使吉用算揭法(绑LR剃U)久控制名。S跌SD布和硬阔盘存毒储模剃式在它保证假设访问雀性能但的同模时提绝供数乖据的柄持久扎化存贵储，深在这摘两种庙存储似模式跌下数睡据不匀会随凶着服飘务节踏点重振新启征动而楚丧失炊。数脾据存问储层国提供帐数据惹生存挠期管怖理机便制，奸能够猫自动重清理早过期穿数据拦。

羽2.踢3亿分布戚式缓由存关姑键技尺术

箱

福

鹿分布喊式缓辅存在唱保证订数据驰访问漂可靠语性、煤最终容一致谢性的督同时滑对应斤用提牧供高裤吞吐段、低误时延谅的访莫问服雨务，悬通过绘增加骑数据掠效劳旗节点巩即能尘实现贷处理营能力勇的性餐能扩天充，叉扩容些过程送对应鹊用访王问完慧全透询明。纪下面究对分商布式场缓存塌涉及斧的关成键技旦术进刚行介异绍。

壶2.摔3.服1易N鹿RW既多副湖本机合制

弄

慨

答分布右式缓爬存通抹过多附副本电机制铺实现社数据您访问故的可纵靠性仓，同娃时多废个副耳本之根间的授数据锈同步符又会宪带来扫性能凭和一辈致性壳的问歪题。腹我们易采用膜NR喊W多欣副本邀技术孩来保抗证数蛙据在龄可靠辽性、况高性夹能访山问以怨及最劝终一喂致性屯之间您取得顶平衡升。

铺图4液是N沃RW洞机制鼻的示剩意图售，其姑中N疼是一掠个数米据的涌副本药数，驴R代轿表一碑次成犯功的惨读取各操作逢中最四小参典与节早点数怖量，动W代秤表一倚次成毒功的慰写操绿作中允最小镜参与罩节点榨数量纤。当飘分布喷式缓韵存的过访问那么模型关满足驱R+伍W弓>N美时就废能保惕证数般据访蔬问的屯可靠泰性和仔一致梳性。

弃

骂

糠R和惰W直锣接影顾响性嚷能、匹可用雀性和贼一致厚性。抓如果寒W设坦置报为困1，并那么分狐布式句缓存扶集群乱中只织要有坡一个奴节点李可用杨，就腾不会纳影响管写操少作；逐如果枣R四设置掘为1想，那么宁分布汪式缓汪存集俱群中刊只要叛有一技个节省点可离用，个就不超会影魂响读页请求蹄。但说显而杯易见弟R绕和W悠值过谢小都吐会对核影响饮数据扩访问皇的性悟能和阀可用盯性，旬为兼呀顾性眨能、藏可用菌性和故一致妇性，晶这两疮个值预一定浸要合貌理设冬置。

疮2.凉3.袜2杰一加致性盆Ha妨sh洽和虚退节点

酸

示

冒一致壳性H恩as思h需耗要首言先求鸽出分滥布式张缓存凡数据太效劳捡器〔掉节点肚〕的忘哈希室值，哀并将圾其配恰置到撒0～抓23葬2的馋圆上辉，用语同样墨的方权法求巡出存滩储数摘据的攀键的恰哈希堡值，紫并映治射到里圆上创。然害后从袭数据谅映射脂到的腊位置祥开始营顺时纹针查污找，舰将数皆据保坦存到泥找到均的第炸一个禾效劳章器上搞。如鼠果超殃过2搅32轨仍然身找不趣到服尚务器斜，就懂会保眯存到丧第一骑台缓鸡存数旋据服蚊务器飘上。

盗因为浩数据爱节点排效劳布器的诸机型灾并不蚕统一堆，其壳性能东和容绕量是爹不同键的，爽可以蜂使一耽个物务理节岂点负强责多执个H夜as肾h区诊间的纸处理慈，使苗高端蹈机器蜂能够雹被充絮分利窃用。置在出手现热闪区时苍，可颜以将责过热影的H手as驴h区煎间以活虚拟借节点助的方扇式放倍在负局荷较萄低的扮物理脑节点乔上。

毙

豪

蹈分布至式缓烫存平荒台结根合了身一致取性H换as肠h和罚虚拟狸节点律的特梅点并孩加以牛改良绢，形题成了英如图低5的餐方案析：将穗23曲2的仆Ha启sh泽空间劣等分胜为假设瘦干分卫片，豪每个众分片少即是扶一个逗虚节糟点，厅根据朱各物际理节唤点性宅能差打异配店置处填理不哗同数才量的造虚节壁点，狱这些盯虚节记点在师物理稿节点胸上的尖部署换关系再即形推成虚贼节点遥的路碰由。

遍

猾

置通过刘一致易性H液as拼h和津虚节炸点相饼结合见的方飘式，轮实现防了数劈据在枣集群贡的均猜匀分沾布，晚同时挎也实略现了防数据割效劳寸器节鸡点热他点的运消除悲。

忠2.攻3.纸3霞智风能路牌由交东换

逗

戒

踩路由击是指狡分布锦式缓谁存集妻群中麻虚节刃点在垃数据歌效劳磨节点板上的嫂分布睛情况惰。分拦布式河缓存辅平台户构建碑了一侄个分稻布式鲁锁同蔬步系垄统来绵存放针全局正路由诚表，横这张兴路由驱表是针分布债缓存嗽集群召路由疏管理榆的基葡准表军，路晶由变俩更时圈必须日要首秆先修禁改这托张路览由表质中对炕应的于路由万记录贪。

革

糖

乌为避皂免每纳次路膨由查哥找都弦需要神查询淡分布剧式锁城效劳障，各裂数据糠效劳孟节点夏在本扰地同赌时存意储全捐局路略由表结，路艇由查卸找时流可直迷接在枕本地国进行辞。这糖样带况来的血一个寸问题婶是本封地路砍由记用录可障能已茄经过盲期，般因此肚在路抬由记榜录中超增加丹修改饭时间亲戳来相进行业路由页记录膊版本执的控惨制，违举例诞说明弯：

耽

喜

声(1态)垦第1惨0号敲虚节枪点的李路由贼信息盒是：匆存在慰3个某副本升，依待次存梦放在炮效劳俊节点勾A、骆B、博C上甩，该库条路夜由信情息在闭集群主中所设有节丢点本涝地都蝶有存梁储。

贤

秃

匹(2绞)校A节貌点发唐生故移障宕写机，座在A质宕机素期间花，操陆作员讲对1拉0号为虚节欠点的如路由练记录企进行摇了手需工调父整：李仍然浙是3蚂个副浇本，丸依次绩存放透在服挪务器央节点使A戴、D邀、C挽上，价集群独中除仆A节锋点外势都完郊成了引本地那么路由熔记录猴的更体新。

遗

润

斥(3伟)竞此后掀A恢哀复了尘效劳剪，A秧节点袄本地升10显号虚们节点切的路议由记芬录成竹为一威个过鹅期的寄记录友，当吗A节怕点收弱到落临在1葡0号枯虚节扫点上生的数伴据读绕写请泰求时侮，就龟会对楚B、文C节美点的当副本顽进行辱访问坦，访务问时绿会带氧上本侵地1朗0号己路由剥记录打的时陡间戳腾，B诉、C涂节点膨收到本访问迹请求虫后会描立即惑通知吧A路让由信威息已窝经过迫期，竹通过宫这样死的路写由交匙换机各制，葡A快凶速地蛋完成砍了本猛地路包由记被录更结新。

烫

负

奖上述观例子河中路陪由交浙换是诸通过现数据淡访问幸请求丸被动联触发浊，同砖时集金群中孔每个穷节点割的路考由管歇理模纽块也知会定尘时启饮动路墨由交幼换，膨通过得这种统类似荡病毒倒传染然式的屿智能墓路由浩交换耻，路章由变捡更能展在集魔群所非有节违点中库快速塌生效集。客会户端琴AP迷I的盒路由停记录条也采克用同香样的拍方式哀：客蛮户端令AP演I本激地缓态存路烟由信尸息表叛，在五数据产访问普的同凳时完诉成和赢效劳它节点落的路蚕由交节换，透大大导提高羡了路那由查医找的走效率察，降砌低了翁数据竟访问付的时蚁延。

筛2.例3.幸4讲成阵员关绢系维闲护和焰故障路检测

昨

数

截分布崭式缓宪存将戒节点粉分成诵两类工：种乓子节惩点和敌普通祥节点朵。

遍

搅

守种子诞节点滑是系笔统配临置时盏，需毁要预聚先从往所有溜节点盼中选苍出假设故干个堂节点浪，它设们的途职责右是指险挥系拴统的坡链路尺建立邮和拆晚除等究。

警

腰

啦普通皇节点惜启动纽后，否根据肯配置定向种交子节对点主烂动建于链，摧种子掀节点萍对连绍接上翼的普固通节缠点进鸭行统慎一管拦理，扶根据忍一定说的原驾那么比晕如按娃照I碌P数就值的睡大小预，通奔知普铺通节挎点完言成互集相之联间的剩建链啊，种届子节搁点互步相之悠间也叼根据点这个浪原那么观完成抗两两慧之间墙的连召接。坦图6搏描述跑集群假设成员壁关系坦建立姜的过巩程。

奏

盾

链(1跌)台分布罗式缓观存当茶前有烘节点逮1、同2、厕3、痰5共敢4个桐节点乳，相棉互之茧间两梢两存释在链雾路，慕节点胞1、葛2是裳种子芽节点晃，节祥点0北、3田、5盯是普剖通节脉点。

存

执

母(2僻)献普通穿节点逆4新误参加佛缓存钻集群惯，它且首先教根据由配置木主动明连接缝种子母节点返1和仪节点璃2。

葱

踢

都(3屡)骄种子毫节点哑1发逢现当插前有舞普通鹅节点局0、舍3、掘5和滑它建我立了街链路陪，当谨普通受节点吸4连享接成佛功后戒，它陵根据柔节点支大小跳原那么茎指挥始节点馆4连墨接普蚂通节丈点颠0老和3司，同辰时指耐挥原舰有普经通节罚点5竿连接似节点包4。

柴

婆

脖分布悬式缓遣存通规过上紧述机袄制维透护集纯群中恋节点痛的成嚼员关良系，单最终辆在各悟节点销间形吗成网亦状的息全连判接模沟型，搬两两诚之间暂具备您通信匀链路松，任主何节滔点故腹障和咸恢复泰都能白够快生速被首集群边中其喇他节速点检棚测到恩。

广3届分布补式缓谈存助艺力物酷联网寒平台傲云化

蒙3.稼1分驶布式浑缓存哥的优俭势和徐解决霞的问零题

吩

乒

酒分布铁式缓考存具淘有明掉显的转技术搞优势率。分道布式火的架政构从也架构垦上保薯证了强良好救的扩亮展性朗，当蒙性能疲不够成时，秤可以遭轻松递地通罗过添别加新港节点只的方胖法扩况展性集能；蚂因为坦良好嘴的扩嫁展性辛，所国以分骂布式朝缓存绢的容谅量可衔以随京着节纺点规狡模的垃增大授而呈刮线性展增加川，容滨量不黑会成轮为系捕统的协瓶颈绒；分微布式虹缓存芹采用厚的是木基于叛Ke威y-却Va钓lu醋e的枣简单杏存储卧方式亮，缓野存的诞架构背和以违内存进为基含础的朵访问锈方式朴使得唇分布笨式缓蒜存性缺能非劈常高盾，单并节点织每秒宴可以弄到达吵24跌万多书次的溪读写串操作鼠；分遣布式翼缓存班所使动用的效多份暮副本育复制花的方这法，磨防止泄单点穗故障葵；同苏时无杰中心锈化的据架构举和一朴致性圈Ha誓sh炊的数茫据分辈布算贱法，原使得每局部皱节点匪的损景坏不掏会影然响整柄体集臂群的持可用钱性，凝把故复障的调影响偿降到姑最低喜。

早

柜

们目前煎的应围用在像部署扔运行乘过程斧中常吊会遇租到一财些问浩题：蚀第一次，单付节点探不能腐满足慌性能悬要求兵时，迫需要物扩展熔到多侮个节肌点，类通常谁采用汇按号艇段的董方式艇进行泻扩展姐，此尽种扩陈展方披式不惜具有爹通用捎性，栏与各旗个应屈用密订切相揭关，猛开发她和维芦护的雾本钱疫也较溜高；芳第二苦，在宾不同愤的物或理节离点的衫应用瓶上共鄙享数树据，逆通常祝通过锁文件欢的方爸式或戴同步鼓的方淋式进氏行共铅享，逗但是华这在杀性能知和一用致性第的处乞理上昆存在早较大反的风霞险和异困难递；第颂三，燃因为纤多个变节点冶同时滴访问贤数据熄库，枪使得裂数据着库和装磁盘车I/此O成刊为系扬统的照瓶颈围，通坝常使击用单伞节点炸的缓运存方活式来订解决刑，这库样一警方面果会造壁成系容统资奸源的具浪费恐，另播一方余面也胆使各幕个节务点中墨缓存边一致葱性的幼处理使也非虚常复隶杂；址第四壤，应士用节唯点的芝应用啄程序州意外昼退出芹重启逝动后困，如圈何保财证已斧有的煌会话皆不掉笛线，药往往份通过政写文员件的园方法列实现打，这游时磁才盘I醋/O郑以及笔系统郊初次汉的加柏载都呀存在纱性能泉瓶颈冰。把威分布术式缓封存引腔进应唐用后啊，可舒以方央便地英帮助厕应用想解决文这些呼问题猎。应庄用通护过调粪用分撤布式馆缓存笼提供旬的A厘PI棒接口素，把洒关键馋的数丢据放勿到分害布式荷缓存计中，台而自经身重估点关收注应酱用逻绣辑的覆处理周，这糖样可稻以轻纲松打总造出值高性振能的哪、可芹扩展揭的、挖高可琴靠的毛分布改式应孟用系精统，奏通过悔标准僻接口台的封傅装，匹对外桥提供棋云服京务。

界3.薯2喘分布浊式缓殖存在伪物联双网中念的应艰用

卫

伐

剂物联馅网的色出现祸是信晚息通肥信技牙术(减IC犹T)故的新真挑战购。物衰联网剪无所狸不在巩，它超可以筝使所钟有的语物体侧，从嫩洗衣秘机到爪冰箱温、从覆房屋蒙到汽猫车通真过物责联网败进行洲信息烤交换输。物稿联网哈技术烈融入打了射沃频识径别(雨RF惕ID亡)技汉术、帝传感铺器技掌术、饱纳米疯技术液、智迫能技惭术与颜嵌入读技术匹。物昂联网址技术博将是循改变攀人们超生活侄和工哈作方汪式的绑重要汇技术创。物始联网页主要刚包括雹3个虫层次珠，如胡图7运中所炎示。尾第1善个层策次是浮传感霜器网脆络，汇也就击是目晌前所蜘说的唐包括储RF即ID印、条桨形码厚、传技感器摄等设渴备在孩内的竹传感玩网，腐主要杯用于树信息落的识开别和息采集程；第雕2个陵层次钳是信咳息传其输网荣络，登主要杏用于互远距疏离无哭缝传稳输来症自传晓感网适所采项集的脑巨量远数据伟信息揉；第域3个扫层次否是信双息应菠用网痒络，谋该网绢络主凶要通探过数湖据处杠理及友解决堂方案妈来提定供人目们所荐需要胞的信吼息服泡务。

皆

田

徒物联街网业庆务网首关属舰于第隔3个施层次会，如龄图8迅所示碑。它尽是实家现物躺联网寻应用预和物易联网复终端皇智能现连接屿的桥寇梁，瓶能够探提供踩接入真认证敞、智快能路牧由、寸业务仰计费倍、能勿力接篮入、牵效劳科质量窝(Q趟oS缘)服傻务保卷障等久核心川功能独。支夏持通仁用分湾组无岔线业份务(姜GP贿RS缺)、解短信亭、有办线接代入等玩多种习网络哑接入星方式康。物赚联网庆业务罪网关悬会聚查所有束的机竿器到极