大数据与云数据管理

第9章大数据与云数据管理大数据云计算云数据管理有关大数据的两个问题问题1：你知道什么是“大数据”吗？如果你不知道，那么你很可能OUT了！问题2：你听说过“大数据”吗？如果你连“大数据”听都没听过，那么你绝对OUT了！你认识这位老兄吗？如果你连这位老兄都不认识，那你也太OUT了！斯诺登事件带给我们的最大震动是什么？不在于他暴露了美国政府正在监听全世界这件事情。因为，这早已是公开的秘密，对“世界警察”而言，这没有什么值得大惊小怪的!而在于他使我们了解到美国政府已经具备了获取、存储、管理、分析和使用“大数据”的超强能力。这使美国政府获得了相对他国政府更明显的优势！大数据为“世界警察”的“大拳头”装上了“大眼睛”、“大耳朵”和“大脑袋”！目前IT领域最引人关注的三个热词是什么？大数据云计算物联网其他：移动互联网，社交网，XXX2.0/3.0/…什么是大数据？来源：2008年9月《科学》(Science)杂志发表了一篇文章“BigData:ScienceinthePetabyteEra”，从此“大数据”这个词开始被广泛传播。什么是大数据？没有统一定义，因为“大”是一个相对“小”而言概念。与大数据(BigData)相类似的词汇：LargeScale大规模,VeryLarge超大规模,Massive海量…什么是大数据？从历史发展的视角看这几个词：VeryLarge表示GB级别的数据Massive表示TB级的数据BigData表示PB级别及其以上的数据显然，争论它们中哪一个更大没有什么意义。什么是大数据？一个普遍接受的定义大数据是指无法在可容忍的时间内用传统方法或工具对其进行抓取、管理和处理的数据集合。数据集组成非常巨大和复杂，以至于传统数据库管理工具处理起来面临很多问题。获取、存储、检索、共享、分析和可视化。数据量达到PB、EB或ZB级别。*

from{BigData}@wikipedia.难道这就是大数据？难道这就就是大数数据？大数据产产生的背背景数据量3个月翻一一番通信速度度6个月翻一一番存储容量量9个月翻一一番集成电路路18个月翻一一番现在网络络环境下下每18个月产生生的数据据量相当当于过去去几千年年的数据据量之和和数据之多多，数据据量之大大，前所所未有大数据有有多大？？——以互联网网为例Facebook截止2012年4月，每日日评论已已达32亿条；每每天新上上传照片片近3亿张。每周新增增图片容容量约60TB，图片总总量约2600亿张，已已超过20PB。平均每秒秒3500次写操作作，读操操作的峰峰值可以以达到每每秒百万万次。Amazon目前EC2有约450000台服务器器(存储+处理)。*数据来来自Facebook于2012年4月提交的的监管文文件。**数据据来源于于亚马逊逊2012年4月的官方方介绍材材料。大数据有有多大？？多，实在在是多！！繁，实在在是繁！！大，实在在是大！！Nodatalikemoredata!数据永远远也不嫌嫌多！大数据从从何而来来？——机器存储软件、系系统文件件、基础础数据元数据(如索引)冗余、备备份…处理原始数据据的自动动加工：：压缩、聚聚类、规规则适用用、可视视化、智智能衍生生…传播负载迁移移、分布布式共享享(如P2P)…大数据从从何而来来？——人内容提供供商新闻报道道、时事事评论、、广告宣宣传…音频、视视频、微微视频…职业撰稿稿人网络作家家、写手手、推手手、水军军…普通大众众博文、图图片、音音乐、视视频…SNS网络传播播评论、转转发…大数据从从何而来来？——物理世界界无所不在在的感知知数据传感节点点(压力、温温度、湿湿度、声声光电…)无线宽频频信号采采样、太太湖蓝藻藻检测、、PM2.5……视频监控控目前1路720P高清视频频摄像数数据每小小时视频频录像3GB左右。按按一个月月保存时时间要求求计算，，3GB/小时×24小时×30天×1路=2.16T。一个拥拥有500路高清视视频摄像像，需要要保存1个月的监监控系统统所需的的最少存存储容量量是1PB。对地观测测资源三号号卫星在在运行前前两个月月的时间间内，产产生37TB的原始影影像数据据。这是是后续互互联网地地图的基基础。天文物理理、气象象、医学学等专业业领域数数据…大数据向向何而去去？服务如果不能能提供服服务，大大数据就就没有意意义。面向人、、机、物物的服务务物理世界界：需要要足够的的采样数数据机器：需需要数据据具有关关联度，，能够从从中分析析出有用用信息，，非结构构化半结构化化结构化人：能够够直接使使用数据据的表现现形式，，进行生生产和决决策大数据为为什么重重要？2012年3月29日，奥巴巴马政府府宣布投投资2亿美元启启动“大大数据研研究和发发展计划划”，美美国政府府已把““大数据据”上升升到了国国家战略略的层面面。中国政府府和业界界对“大大数据””高度度重视并并在大力力推进。。据报道道，今年年两会上上已有委委员提出出将大数数据列入入国家发发展战略略。20大数据的的特征容量大1电子商务务科学计算算网络生活活每月交易21亿笔，产生生300TB交易日志志信息7亿用户、400亿张照片，，总容量量超过1500TB新墨西哥哥州的天天文望远远镜每年产生80TB的图像信信息美国国会会图书馆馆存档信信息量：：约80TB生物信息息第一个中中国人的的全基因因组图谱谱，1177亿碱基对21大数据的的特征增加快2许多数据据是人造造出来的的！例子：北北京至纽纽约的客客机有千千余个传传感器，，一次飞飞机记录录的数据据达数百百T至P级。22大数据的的特征非结构化化3非结构化化=没有找到到共性特特征多层结构构大数据的的构成大数据的的4V特性体量Volume多样性Variety价值密度Value速度Velocity非结构化数据的超大规模和增长总数据量的80~90%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍大数据的异构和多样性很多不同形式(文本、图像、视频、机器数据)无模式或者模式不明显不连贯的语法或句义大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析(机器学习、人工智能Vs传统商务智能(咨询、报告等)实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效Volume数据量PB是大数据层次次的临界点.KB->MB->GB->TB->PB->EB->ZB->YB->NB->DBValue价值挖掘大数据的的价值类似沙沙里淘金,从海量数据中中挖掘稀疏但但珍贵的信息息.价值密度低,是大数据的一一个典型特征征.Variety多样性企业内部的经经营交易信息息，物联网世世界中商品，，物流信息；；互联网世界界中人与人交交互信息，位位置信息等是是大数据的主主要来源。能够在不同的的数据类型中中，进行交叉叉分析的技术术，是大数据据的核心技术术之一。语义分析技术术，图文转换换技术，模式式识别技术，，地理信息技技术等，都会会在大数据分分析时获得应应用。Velocity速度1s是临界点。对于大数据应应用而言,必须要在1秒钟内形成答答案,否则处理结果果就是过时和和无效的。实时处理的要要求,是区别大数据据引用和传统统数据仓库技技术、BI技术的关键差差别之一。脸谱(Facebook)数据中心微软(Microsoft)数据中心苹果(Apple)数据中心谷歌(Google)数据中心数据中心—看上去，规模模庞大4大数据管理的的基础——数据中心30数据中心—走进去，结构构复杂4大数据管理的的基础——数据中心数据库与大数数据GB/TB级高质量、较干干净强结构化Top-down重交易确定解数据库vs大数据*传统数据库/数据仓库PB级以上有噪声、有冗冗余非结构化Bottom-up重交互满意解大数据*摘自李德德毅院士于2012年5月23日在云计算大大会上的讲话话，略有修改改“大数据”是是数据增长从从量变到质质变的里程碑碑从人的认知角角度来看，在在数据量比较较小的情况下下，我们基于于典型的数据据去思考。例如，我们可可以设计一个个数据模型来来管理目前没没遇到但以后后可能遇到的的数据，或者者设计一个精精妙的算法正正确高效地处处理将来可能能遇到的数据据和各种情况况。而大数据则颠颠覆了这一假假定，目前的的数据量已足足够大，足以以包罗万象，，充分利用现现有数据得出出的全面而简简约的数据模模型和算法足足以应对我们们可能遇到的的各种情况。。换言之，数据据模型与算法法设计的首要要任务不再是是人基于少量量数据的思考考，而是机器器基于海量数数据的分析归归类。从基于猜测假假定的设计到到基于事实和和经验的归纳纳总结，是人人类认知过程程的进步。这是一个革命命性的进展，，是大数据之之所以激动人人心的根本。。大数据不仅仅仅是“大”多大？PB级比大更重要的是数据的复杂性性，有时甚至大大数据中的小小数据如一条条微博就具有有颠覆性的价价值大数据的应用用不仅仅是精精准营销通过用户行为为分析实现精精准营销是大大数据的典型型应用，但是是大数据在各各行各业特别别是公共服务务领域具有广广阔的应用前前景消费行业金融服务食品安全医疗卫生军事交通环保电子商务气象软件是驱动大大数据的引擎擎和数据中心(DataCenter)一样，软件是是大数据的驱驱动力。软件改变世界界！大数据生态:软件是引擎前瞻来看，随随着互联网对对网民的理解解，网民对网网络的反作用用，互联网将将变得越来越越智能。它在在满足你需求求的同时，也也在创造新的的需求。前者者的代表是Google，后者的典型型则是Facebook。谷歌的盈利在在于所有的软软件应用都是是在线的。用用户在免费使使用这些产品品的同时，把把个人的行为为、喜好等信信息也免费的的送给了Google。因此Google的产品线越丰丰富，他对用用户的理解就就越深入，他他的广告就越越精准。广告告的价值就越越高。这是正向的循循环，谷歌好好用的、免费费得软件产品品，换取对用用户的理解；；通过精准的的广告，找到到生财之道。。颠覆了微软软卖软件拷贝贝赚钱的模式式。成为互联联网的巨擘。。互联网越来越越智能Google精确掌握用户户行为、获取取需求微博为新浪带带来巨大价值值马云的判断来来自于数据分分析“2008年初,阿里巴巴平台台上整个买家询盘数急剧下下滑，欧美对中国采采购在下滑。。海关是卖了了货,出去以后再获获得数据;而我们提前半半年时间从询询盘上推断出出世界贸易发发生变化了。”马云对未来的的预测，是建建立在对用户户行文分析的的基础上。通常而言，买买家在采购商商品前，会比比较多家供应应商的产品，，反映到阿里里巴巴网站统统计数据中，，就是查询点点击的数量和和购买点击的的数量会保持持一个相对的的数值，综合合各个维度的的数据可建立立用户行为模模型。因为数数据样本巨大大，保证用户户行为模型的的准确性。因因此在这个案案例中，询盘盘数据的下降降，自然导致致买盘的下降降。腾讯在天津投投资建立亚洲洲最大的数据据中心；百度度也在投资建建立大数据处处理中心；新新浪推出企业业微博产品，，提供精准的的数据分析服服务。更高一层数据据层面整合企企业内外部更高数据层面面整合利用用户”行为指纹”创造新商机用户在线的每每一次点击，，每一次评论论，每一个视视频点播，就就是大数据的的典型来源。。互联网企业之之所以取得令令人瞩目的成成绩，其核心心的本质就是是包括用户网网络操作的大大数据，进行行记录和分析析，形成用户户“行为指纹纹”，从而洞洞悉用户的潜潜在的、真实实的需求，形形成预判。这是传统企业业花费重金都都难以企及的的梦想。所有有传统的产品品公司都只能能沦为这种新新型用户平台台级公司的附附庸。大数据应用中中的陷阱邦弗朗尼原理理(Bonferroni’’sPrinciple)邦弗朗尼原理理:在数据随机性性假设的基础础上，计算所所寻找的事件件的发生的期期望值，如果果该期望值大大于找到的真真实事件的数数目，则所找找到的事件很很可能是一种种假象。即随着数据规模的不断增加，，任何数据都都会显现出一一些不同寻常常的特征，这这些特征看上上去似乎非常常重要，但实实际上却并不不重要。42整体情报预警警的故事设有一群恐怖怖分子会偶尔尔在酒店聚会会策划恐怖阴阴谋。想找出那些同同一天在同一一个酒店至少少出现两次的的人群。43假设被监控的人数数：10亿(109)被监控的天数数：1000days每个人去酒店店的概率1%(1000天里住10天酒店)有10万(105)家酒店，每家家酒店可容纳纳100人每个人行为都都是随机的。。通过数据挖掘掘能发现可疑疑行为吗？44Calculations–(1)人员p和人员q同一天在同一一个酒店出现现的概率:1/1001/10010-5=10-9.人员p和q在d1和d2出现在同一个个酒店的概率率:10-910-9=10-18.1000天任意两天的的排列组合:5105.patsomehotelqatsomehotelSamehotel45Calculations–(2)人员p和q在任意两天出出现在同一个个酒店的概率率:510510-18=510-13.可能的人数是是10亿，任意两个个人的排列组组合是:51017.平均可疑的人人员对的数目目:51017510-13=250,000.实际上他们是是纯随机导致致的巧合46结论假设真的有10对恐怖分子在在同一个酒店店出现两次那么需要扫描描250,010对候选人才能能找出这10对恐怖分子这个方法好吗吗？“大数据”是是不能乱用的的！大数据与云数数据管理大数据云计算云数据管理云计算（CloudComputing）,2007年第3季度才诞生的的新名词，仅仅过了半年多多，其受到关关注程度就超超过网格计算算（GridComputing），而且关注注度至今一直直居高不下云计算是一种种商业计算模模型。它将计计算任务分布布在大量计算算机构成的资源池上，使各种应应用系统能够够根据需要获获取计算力、、存储空间和和信息服务。。云计算到底是是什么？云云计算有什么么特点？云计算起源和和发展1961年斯坦福教授授JohnMcCarthy提出计算资源源可以成为一一种重要的新新型工业基础础。类似水、、电、气和通通信。1999年Salesforce成立，2001年发布在线CRM系统2001年GoogleCEOEricSchmidt在搜索引擎大大会上首次提提出”CloudComputing““概念。2003年Google逐步开始在内内部使用云计计算，2008年推出GoogleAppEngine云计算平台2006年Amazon正式对外推出出弹性计算服服务(EC2)。。。各大全全球知名厂商商跟进(IBM,MicroSoft….)51什么是云计算算?计算：对数值或信息息进行处理并并得到结果的的过程，有时时也指计算方方式。1+1=2flower.bmpflower.jpg云：由网络连接起起来的各种计计算资源(包括计算设备备和其上的软软件)云计算：运用由网络连连接起来的大大量虚拟化的的计算设备对对信息进行处处理并得到结结果的一种计计算方式。不不是一种产品品，也不是一一种技术，而而是一种产生生和获取计算算能力的模式式。52大型机时代1960年代1980年代2000年代1990年代微型机时代个人计算机变变革将只在特定行行业中应用的的大型主机变变成每个人都都负担得起的的个人电脑，，大幅度提高高了个人生产产效率和企业业效率互联网变革将数以亿万计计的信息孤岛岛汇集成庞大大的信息网络络，极大的提提高了人类沟沟通，共享和和协作的效率率，丰富了社社交和娱乐生生活互联网时代云计算变革将IT基础设施转变变为像水和煤煤气一样的社社会公用基础础设施超级数据中心心成为IT资源和服务的的提供者技术云计算时代时间云计算是继个个人计算机、、互联网变革革之后的第三三次IT革命云计算的由来来云计算定义云计算(CloudComputing)：是分布式处处理(DistributedComputing)、并行处理(ParallelComputing)和网格计算(GridComputing)的发展，或者者说是这些计计算机科学概概念的商业实实现。是指基基于互联网的超级计算模模式--即把存储于个人电脑、移动电话和其他设备上上的大量信息息和处理器资源集中在一一起，协同工工作。在极大大规模上可扩扩展的信息技技术能力向外外部客户作为为服务来提供供的一种计算算方式。使得计算资源源如同用水、、用电、用燃燃气一样40多亿的移动电电话一2010年[数据来源:Nokia]个人电脑和笔记本电脑企业电脑和服务器PDA54从不同角度看看云计算的内内涵1.云计算是一种种IT基础设施交付付和使用模式式从原理看，云云计算是将计计算工作分布布在大量的、、分布式的计计算机上，从从而利用大量量计算资源(包括硬件设备备、软件及网网络等IT基础设施)完成所要求的的计算任务。。云计算环境下下，与传统的的IT基础设施交付付和使用模式式的主要区别别：1.基础设施建设设运维方式不不同：基础设设施所有权和和运维责任2.交付和使用的的便捷性不同同：提供商交交付方式和用用户使用方式式55从不同角度看看云计算的内内涵2.云计算是一种种信息服务的的交付和使用用模式从商业层面看看，云计算提提供的是而且且仅是服务——可以统称为““云服务”。。从云计算服务务商和云计算算用户间的关关系看，服务务商并未向用用户提供硬件件、软件等事事物或具体产产品，而是运运用自己所掌掌握的IT资源帮助用户户完成计算任任务，满足用用户使用软硬硬件设备或获获得信息的需需要。基础设施作为为服务(IaaS)平台作为服务务(PaaS)软件作为服务务(SaaS)服务器网络存储中间件协同合作业务流程CRM/ERP/HR行业应用数据中心Fabric共享的虚拟化化的,动态部属数据库Web2.0应用运行环境境Java运行环境开发工具云计算分类Computingon

DemandBlueCloud,PureScaleAppliicationSystem市场的例子IBM的例子Source:HagenWenzekCHQStrategy,2/09云计算分类操作系统+应用服务引擎擎应用系统基础设施应用平台应用软件(IaaS)(PaaS)(SaaS)根据提供的服服务类型，将将云计算应用用(服务)分为三类InfrastructureasaService以服务的形式式提供虚拟硬硬件资源，如如虚拟主机/存储/网络/安全等资源。。用于无需购买买服务器、网网络设备、存存储设备，只只需通过互联联网租赁即可可搭建自己的的应用系统典型应用：AmazonWeb服务IDCPlatformasaService提供应用服务务引擎，如互互联网应用编编程接口/运行平台等。。用户基于该应应用服务引擎擎，可以构建建该类应用。。典型应用：GoogleAppEngine,IBMPureScaleApplicationSystem,SAESoftwareasaService用户通过标准准的Web浏览器来使用用Internet上的软件。用户不必购买买软件，只需需按需租用软软件典型应应用：：LotusLive,S58从不同同角度度看云云计算算的内内涵3.云计算算是一一种基基于互互联网网的新新型计计算模模式从数值值和信信息处处理的的角度度看，，云计计算是是通过过互联联网将将计算算任务务分布布到由由大量量计算算机构构成的的资源源池上上，从从而使使用户户能够够根据据需要要获取取计算算能力力、存存储空空和信信息服服务。。云计算算的四四方面面新特特征：：1.资源汇汇聚：：计算算资源源汇聚聚在一一起通通过多多租户户模式式服务务多个个消费费者2.快速弹弹性：：计算算能力力能够够以某某种自自动方方式快快速而而弹性性地实实现供供应3.按需的的自助助服务务：消消费者者能够够根据据自己己的需需要获获取计计算能能力4.可控可可计量量：系系统根根据服服务类类型提提供相相应的的计量量方式式59云计算算服务务对象象：在在各行行各业业、各各种组组织、、各种种产业业拓展展应用用范围围云计算算服务务内容容：从从基础础架构构、在在线存存储、、软件件服务务扩展展到各各种应应用领领域云计算算服务务形式式：更更简单单易用用、更更安全全、更更智能能的差差异化化服务务从行业业视角角满足中中小企企业、、政府府部门门、科科研教教育、、娱乐乐、商商业企企业的的信息息化需需求成为互互联网网企业业的运运营平平台和和资源源平台台成为人人民群群众生生活的的必需需品从产业业领域域视角角成为物物联网网信息息存储储、分分析的的智能能化平平台成为移移动互互联网网的基基础信信息支支撑平平台成为移移动电电子商商务、、移动动支付付的支支持平平台逐步进进入网网络通通信基基础设设施领领域已有主主要服服务内内容基础设设施即服务务/IaaS软件平平台即服务务/PaaS软件即服务务/SaaS存储即服务务/DaaSXaaS一切皆皆服务务，延延伸到到各种种应用用硬件即服务务：终终端设设备成成为服服务发发布形形式消息即服务务：消消息中中间件件成为为服务务监控即服务务：监监控内内容成成为服服务现存各各种应应用均均被云服务务化…更为便捷：就像像现在在水、、电、、气、、通信信那样样简单单，打打开即即用，，关闭闭即停停，按按需使使用，，用完完充值值隐私和和信息息安全更有保保障：：用户户信息息隔离离、网网络传传输加加密、、高强强度身身份认认证、、服务务商数数据安安全审审核更智能化：用用户服服务状状态恢恢复、、信息息推荐荐、精精准营营销、、预测测用户户潜在在信息息需求求、差异化化服务：：提供供从免免费、、普通通用户户、中中端用用户、、高端端用户户的各各种服服务，，按质质论价价云服务务云计算算的优优势数据在在云端端：不不怕丢丢失,不必备备份,可以任任意点点的恢恢复；；软件在在云端端：不不必下下载自自动升升级；；无所不不在的的计算算：在在任何何时间间，任任意地地点，，任何何设备备登录录后就就可以以进行行计算算服务务；无限强强大的的计算算：具具有无无限空空间的的，无无限速速度。。硬件为为中心心软件为为中心心服务为为中心心PCC/S云计算天下大大势，，合久久必分分，分分久必必合，，计计算机机技术术的分分合演演义早期计计算技技术以以“合合”为为特征征:曲高和和寡PC的发展展使““分””成为为了主主流:旧时王王谢堂堂前燕燕，飞飞入寻寻常百百姓家家网络技技术的的发展展使云云计算算成为为了““合””的模模式，，计算算和存存储通通过网网络隐隐形于于云端端：大象象无无形形云计计算算体体系系结结构构云计计算算的的基基本本原原理理是是通通过过使使计计算算分分布布在在大大量量的的分分布布式式计计算算机机上上，，而而非非本本地地计计算算机机或或远远程程服服务务器器中中，，企企业业数数据据中中心心的的运运行行将将更更与与互互联联网网相相似似。。这使使得得企企业业能能够够将将资资源源切切换换到到需需要要的的应应用用上上，，根根据据需需求求访访问问计计算算机机和和存存储储系系统统。。云计计算算发发展展路路线线并行计算集群计算网格计算云计算在动动态态、、多多机机构构参参与与的的虚虚拟拟组组织织中中协协同同共共享享资资源源和和求求解解问问题题同时时使使用用多多种种计计算算资资源源解解决决计计算算问问题题的的过过程程将需需要要巨巨大大计计算算能能力力的的问问题题分分成成许许多多小小部部分分进进行行处处理理，，最最后后综综合合结结果果分布布式式计计算算并行行计计算算网格格计计算算云计计算算云计计算算特特点点超大大规规模模虚拟拟化化高高可可靠靠性性通用用性性高可可伸伸缩缩性性按需需服服务务极其其廉廉价价超大大规规模模虚拟拟化化高高可可靠靠性性通用用性性高可可伸伸缩缩性性按需需服服务务极其其廉廉价价云计计算算技技术术体体系系结结构构云计计算算与与大大数数据据大数数据据虽虽然然不不是是云云计计算算，，但但却却是是云云计计算算的的灵灵魂魂和和升升级级方方向向。。云计计算算的的核核心心是是业业务务模模式式，，本本质质是是数数据据处处理理技技术术。。数据据是是资资产产，，云云为为数数据据资资产产提提供供了了保保管管、、访访问问的的场场所所和和渠渠道道。。如何何盘盘活活数数据据资资产产，，使使其其为为国国家家治治理理、、企企业业决决策策乃乃至至个个人人生生活活服服务务，，是是大大数数据据的的核核心心议议题题，，也也是是云云计计算算内内在在的的灵灵魂魂和和必必然然的的升升级级方方向向。。云计计算算与与大大数数据据本质质上上，，云云计计算算与与大大数数据据的的关关系系是是““静静””与与““动动的的关关系系；；云计计算算强强调调的的是是计计算算，，这这是是动动的的概概念念；；而数数据据则则是是计计算算的的对对象象，，是是静静的的概概念念。。如果果结结合合实实际际的的应应用用，，前前者者强强调调的的是是计计算算能能力力，，或或者者看看重重的的存存储储能能力力；；云计计算算与与大大数数据据但是是这这样样说说，，并并不不意意味味着着两两个个概概念念就就如如此此泾泾渭渭分分明明。。一方面，，大数据据需要处处理大数数据的能能力(数据获取取、清洁洁、转换换、统计计等能力力)，其实就就是强大大的计算算能力；；另一方面面，云计计算的““动”也也是相对对而言，，比如基基础设施施即服务务(IaaS)中的存储储设备提提供的主主要是数数据存储储能力，，所以可可谓是动动中有静静。云计算与与大数据据如果数据据是财富富，那么么大数据据就是宝宝藏，而而云计算算就是挖挖掘和利利用宝藏藏的利器器！没有强大大的计算算能力，，数据宝宝藏终究究是镜中中花；没有大数数据的积积淀，云云计算也也只能是是杀鸡用用的宰牛牛刀！大数据比比云计算算更为落落地商业模式式驱动应用需求求驱动云计算本身也是大数据的一种业务模式大数据与与云数据据管理大数据云计算云数据管管理什么是云云数据管管理？云数据管管理是指指通过集集群应用用、网格格技术或或分布式式文件系系统等，，将网络络中大量量各种不不同类型型的存储储设备通通过应用用软件集集合起来来协同工工作，共共同对外外提供数数据存储储和业务务访问功功能的一一个系统统。云数据管管理的基基础是云云存储，，其核心心是以NoSQL(NewSQL)为代表的的新一代代云数据据存储(库)系统。云数据管管理的背背景随着云计计算中大大数据集集高效管管理、海海量数据据中特定定数据的的快速定定位、云云端海量量数据精精准查询询等迫切切需求的的日益显显现,Web数数据管理理正逐步步向云数数据管理理阶段发发展,一一个新的的云数据据管理研研究领域域正逐渐渐形成。。云数据管管理的背背景云数据管管理在云云计算概概念上延延伸和发发展出来来的一个个新的概概念。云数据管管理使更更大数据据量的处处理成为为可能，，被称为为下一代代的因特特网计算算和下一一代的数数据中心心。Web应用作为为推动云云计算发发展的主主力，正正快速的的普及成成熟起来来，它需需要能够够按需进进行扩展展，企业业都希望望他们的的Web应用系统统能够应应对不断断增长的的用户量量和数据据量，以以及适应应用户和和其它开开发人员员对WEB应用系统统的高吞吞吐量和和低响应应时间的的要求。。云数据管管理的背背景通过云计计算技术术，网络络服务提提供者可可以在数数秒之内内，处理理数以千千万计甚甚至亿计计的信息息，达到到和“超超级计算算机”同同样强大大的网络络服务。。系统必须须以低延延迟的响响应速度度(几十毫秒秒)、高吞吐吐量(每秒上万万的读写写)为世界范范围内的的用户请请求提供供服务。。并且，应应用必须须具备高高可用性性，长期期维持最最小的运运维成本本。但是，如如果WEB应用系统统仍然依依赖传统统的关系系(SQL)数据库系系统，我我们会发发现数据据存储将将成为最最大的瓶瓶颈。云数据管管理的背背景幸运的是是我们已已不再需需要提供供完整的的事务(ACID)支持，单单独的系系统也可可以执行行复杂的的分析任任务，比比如像Hadoop这样的map-reduce平台。对于许多多应用程程序来说说，它们们处理的的请求相相比传统统数据管管理更为为简单。。数据可能能是用户户的会话话数据，，用户在在网页上上所有的的行为只只涉及单单条记录录的读写写。应用也有有可能是是社交化化的，对对于社交交活动可可能会被被写入单单条的用用户记录录，而用用户的朋朋友们的的活动需需要从少少量的其其他用户户记录中中读取。。云数据管管理的背背景这些挑战战推动了了新一代代数据存存储管理理系统的的发展，，该系统统基于大大型(可能包括括成千上上万台机机器的集集群)分布式