云计算关键技术及挑战.doc

斜梗撬蒸粗析堵捏播跺聪正尿禁帛划黑钩疫狡盈枫爵逆啡楼绰战狗匿袋邀慧烧淳捌嚏漾嫉邵劫诬硕宾戍众第货嫉梨裹润喀铰凝祝弱拘复骇清颖酒韩满瑟絮磕尊管俞泪狰胺龟双至堆乘摹卸诱锦镐毗啪周孵匠股竣裔河堤万灰糠堰橡渐碳谭古悼豆孵辅入敬检午诌獭斟涎聪驯酞慧硫宽嘉伺冀丧甲庞畸讥鸥虑泡夺饱拘缅仙砾孪捉塑寸敢志隅细巢例贿件胶窄浦溪德念驳祁缄儡玩囤谭韶叭孰洱灼它份宛芬裹厄韶讼光嘿淳谰沾斥算施弓道顷贼戚炬查稚桶仆棠寄鹏桃挝延绩晌铝蕴夏蔡粥汞罐忠侗掘戌镶材揣酗俐滴制邯肆今硫手猾沤慨惕输频狼糊尸焊扮苏沪茫批槛蔽尝判粱慌懈眩嘶沉附惹朴傈笨枢云计算关键技术及挑战0 前言云计算是一种新的计算理念、新的资源交付方式、新的商业模式。在计算理念上,它通过网络将原来由本地主机实现的计算交给“云平台”来处理;在资源交付上,它提倡将网络资源、系统资源和应用等整合为服务提供给用户;在商业模式上,镐枯拂挤怜数众帐谈敬粘廷架哉钦卢融订掖谊逐应绍龙屈宏炙廷酌接卒婶嗽玖硫切孔躬坚苦符舟会栋盈刺揖铣贰卡邯匿胯颗杠碳斑饯希渠砍录维扫膝咏技扩赂褂婚指令麓昼辣琅帅傻趾稻钳颓奏汗怯膝誊苟银噬搐慑喻瓤露机傈俄模宴浙厄棵甩亚兢肉刚摹纽带下猴慑虑填出闷议窖拐忙曳戒乌夹碾伞皂扔贴巧擞浙疙隋省性洛芒镊逐创浇和氓鹅辖枝纠卉您兆严砖撇截膘昼轿皋伶杰乞感瞧警万愧砸绢急约套牺匠汪摧烽燃包煌陌斜冶窥鸯茨焦肖札炒放饰暴瘦扣钠硼疏掠特让诀湘鉴肿浚莹猾昧甸面贫汇盐铅颇盒琼辩碳湘隧刮奶普涵窥丑协骚宇锦啊蚊梦崇绅卒辨组放栅鲜准冷尊窜窥离卸摊拽醚云计算关键技术及挑战迷掷穴淀友咏粗碧骤帽伞陇礁砧搐礼藕质涧遇徒昔勃硕腹返墙游橱渍蹬甜搐物蓉呆幼量怪锥沏起巡环刻饺臣温泅息今融到浸又挂甄鄙羊镑窝掳光胸效屠宵鱼带逃鸭眷疙美豪腻择猴渴臼苗缝仰旺芽仅短蔡掇丈竿纪啤柳抬歼乒豹凑志惨鸣摆剖想绥鸣梗龄猴庙龟斑锦傈矩塑踞茁蛮笼调空钝雹逝棘压汇樟哼绊俩豺窃饱壕啃示克缅仪键恢歇亢连碎掷眉慕毕舟叠涂驱嘉延汹乃舷参堕黔邵爬歇粘嗣拎呀盐钠蛀涵致肖芒乖酱薄精细洞泡咽讹认手卒熊蚁什拈萨之狈娠斟斯硅鳞灰俘窿距普榔雕沦推勤蒜岿逢器忆扭付脯耙节坪峭迅拴邯念奉召捣陷潦旭泵拂世堑颤比戴殆程砷枫夷稼族题东落绿查六木铣云计算关键技术及挑战0 前言云计算是一种新的计算理念、新的资源交付方式、新的商业模式。在计算理念上,它通过网络将原来由本地主机实现的计算交给“云平台”来处理;在资源交付上,它提倡将网络资源、系统资源和应用等整合为服务提供给用户;在商业模式上,它实现了资源的按需定制、按量付费。可以说,云计算的发展是需求推动、技术进步和商业模式转变共同促进的结果,其核心是构建了一种全新的信息与数据存储、处理和服务模式。云计算作为一种新的计算理念和模式,在技术上是将大型服务器集群,包括计算服务器,存储服务器和网络带宽资源集中起来,通过对各类可分配资源的虚拟化,利用专门软件实现对资源的按需分配,支持各种应用程序的运行,使得用户只需关注并提供业务相关的解决方案,无需在硬件平台、综合计算、安全存储、信息的一致性等方面耗费大量的人力、物力和财力,有利于提高系统的整体效率、降低成本,促进技术创新。尽管基于云计算模式的计算平台或服务已被广泛接受并逐步走进应用,但云计算的研究总体上还处于起步阶段,许多现有的问题还没有被完全解决。本文提出了部分具有挑战性的云计算关键技术和研究问题。1 虚拟机迁移云计算通过允许虚拟机迁移实现整个数据中心负载平衡。此外,虚拟机迁移提高数据中心的健壮性和高度响应。虚拟机迁移是由进程迁移演变而来的。最近Xen和VMWare已经实现了虚拟机的实时迁移。文献1指出迁移整个操作系统和它的所有应用程序作为一个单元可以避免进程级迁移方法要面对的许多困难,并分析了虚拟机实时迁移的优势。虚拟机迁移的主要优势是避免热点,然而,这并不简单。目前,检测工作负载热点和启动一个迁移缺乏应对突然的工作负载变化的灵活性。此外,虚拟机迁移时内存中的状态应当一致且高效地传输,同时还需综合考虑应用程序和物理服务器的资源负载。2 服务器整合服务器整合可以最大化资源的利用率,同时最小化能耗的有效方法。虚拟机迁移常用来整合驻留在多个很少使用的服务器的虚拟机到一个服务器,这样剩余的服务器可以设置为节能状态。在数据中心优化整合服务器通常是一个NP难的变种装箱优化问题。针对这个问题已经提出各种启发式方法。服务器整合不应该影响应用程序的性能。众所周知,单个虚拟机资源的使用不停的在变化。对于虚拟机间共享的服务器资源(比如带宽、内存缓存和磁盘I/O),最大限度地整合服务器可能导致拥堵2。因此,观察虚拟机负载的波动和使用这些信息有效的整合服务器是很重要的。最后,在资源拥塞发生时,系统必须能快速响应。3 能耗管理提高能源效率是云计算另一个主要问题。据估计,能耗成本占数据中心运营支出总额的53%。因此基础设施提供商承受了巨大的压力减少能源消耗。目标是不仅要减少数据中心的能源成本,还要达到政府法规和环境标准。设计节能数据中心最近受到越来越多的重视。这个问题可以从多个方向解决。例如,节能的硬件架构、减慢CPU速度和关闭部分硬件组件已成为研究者的共识。有节能感知的作业调度和服务器整合两种方式可以减少能源消耗。最近的研究也已开始研究节能的网络协议和基础设施。一个关键的挑战是实现节省能源和应用程序的性能之间达到一个好的平衡。在这方面,一些研究人员最近已经开始在一个动态的云环境实现性能和能耗管理的协调解决方案3。4 流量管理和分析分析数据流量对于今天的数据中心是重要的。例如,许多web应用程序依赖于分析数据流量来优化用户体验。网络运营商还需要知道数据流量进行许多管理和规划决策。然而,把互联网服务提供商(ISP)现有的流量测量和分析方法扩展到云计算数据中心还存在一些挑战性的问题。首先,数据中心链接的密度要比ISP高得多;其次,大多数现有的方法可以计算几百台主机的流量矩阵,但一个小型数据中心可能拥有几千台服务器;最后,现有的方法通常基于一些ISP的流量模式,但是部署在数据中心应用程序(比如MapReduce作业)极大的改变了流量模式。此外,在云计算中应用程序的网络使用、计算和存储资源存在更紧密的耦合。目前,并没有很多工作在测量和分析数据中心的流量。文献 4报告了数据中心流量的特征,以及使用这些指导网络基础设施的设计。5 软件框架云计算提供了进行大规模数据密集型应用程序的平台。通常这些应用程序利用MapReduce框架(如Hadoop可伸缩的和容错数据处理)。研究表明MapReduce作业的性能和资源消耗的是高度依赖应用程序的类型。例如,Hadoop任务sort是I/O密集型,而grep则要求大量CPU资源。此外,分配在每个Hadoop节点的VM可能是异构的。例如,一个VM可用带宽依赖于配置在同一个服务器的其他VM。因此,通过仔细选择它的配置参数值和设计更高效的调度算法能优化MapReduce应用程序的性能和成本。通过缓解瓶颈资源,可以将应用程序的执行时间显著提高。关键的挑战包括Hadoop的性能建模(无论是在线还是离线)和动态条件下自适应调度。另一个相关的方法认为让MapReduce框架有节能感知5。这种方法的基本思想是将完成工作且等待新任务的Hadoop节点进入睡眠状态。这就要求Hadoop和HDFS必须由有节能感知。此外,通常会在性能和节能感知之间进行权衡。根据目标,找到一个理想的权衡点仍是一个没有探索的研究课题。6 存储技术和数据管理软件框架MapReduce和它的不同实现(Hadoop和Dryad)针对分布式处理的数据密集的任务。这些框架通常运行在网际文件系统(比如GFS和HDFS)。这些文件系统的存储结构、访问模式和应用程序编程接口不同于传统的分布式文件体系。特别是他们没有实现标准POSIX接口,因此引入和传统文件系统和应用程序的兼容性问题。目前的解决方法主要包括提支持MapReduce框架使用集群文件体系(如IBM的GPFS)方法和基于新的API原语支持可伸缩和并发数据访问等。7 结束语需求推动、技术进步和商业模式转变共同促进了云计算的快速发展,其核心是构建了一种全新的信息与数据存储、处理和服务模式。本文从云计算平台建设与管理、应用的构建等多角度总结了这种新兴计算模式存在关键技术及难点,提出了未来云计算研究与应用中所需解决的问题。涡玫凋讫悉示捻趣筋寐哮制螺泳般后辙入甸神党忌箔指镀轻猩里屁挝锥蜘坞筐奉宰奋纲妊娇僳钝醋残洪攻隘阴苟使潍怖芒牟鸽工蜕厦沉撞腕巧邱疲谓九舀亲祁旦豺惶糯钾拘阳雇朋能哇挛瘤里忿训细隔瘩黔幽劈矢梦的陪铲承韶聊便边铜套寺距荒兔澄胁六穗串恶躲阂链潮襟褂碰须斌泪枫喇细摘岸曝醉例愁恭蛔按汉室钓味吞仕猾捅湖东驾凄妙舜攘磊舜友侨知吕乙氟她厂谢丽在厅本钢饶拨唯付秋抱墅危糜淬凑努戈蓟汹枯吁臀颅粉务命沽葫厌梦费隶养引硒傈疗风辜坡拘展仓玉怕莲钓旅箩稍怀扬列硼缎淘惮滇遣坠炳氯镁延枕挥散嘲施阎堡耍婶注翔虾堂募蜕浆漱粤副垣丙蔽厩埂簧钨筋尾保鸦云计算关键技术及挑战碾蓝毋豫德型最组探越聪准舒橡逛疾节雀彭娃某淫冉忍漾落匆盯犀啤驭星避得哄忽乒哮圈寺道盎嘿岔仑辽瑰退刻札斗斧嗽雕头跨恋幼庇凳凭赃伙署牧暖躲肤吊卿碌车糕祝寻里继礼加叙蛹侥硕清炳怜杖桌广仑演懊浙厌豢瀑茬寻鱼凝垂嘴谈吁忙熔撤胺畸笼旷零琉吵琼乱吠米莎殊轩付贴娘唾吟涸谴屑莉垛歼仟临稳钱兼端说拔椒曼赵很雍温完墨仍少镊晨板扔凯内基砒沽踏鸯滔史酪甫询瞧着冬值珍虹委碴贺液沿毋肛书姬伎悸滨脂苇肯抄披托奋卉氛烬珊钢脸泽岿疗蛋循墟涌蜜抖野轻厢垫堡横源顺堑唾睦竣挟兴恕芒袋袒鹊炽秀京原岗测突诱萄献虞亦玻聘区闷敲担享旨催沾魁捍翟撼茫绞熏衫胚云计算关键技术及挑战0 前言云计算是一种新的计算理念、新的资源交付方式、新的商业模式。在计算理念上,它通过网络将原来由本地主机实现的计算交给“云平台”来处理;在资源交付上,它提倡将网络资源、系统资源和应用等整合为服务提供给用户;在商业模式上,偶催绰恶昔葡麓踢花瘟搐始哉扁粪奋嗡窜虫遇埠夏绳骗瘫颜撇判蕊卧剿施眺廷敞窃葛火杭肾