走近云计算、大数据与物联网

计算机领域最新技术报告走近云计算、大数据与物联网提纲什么是云计算《走近云云计算、、大数据据与物联联网》云计算的层次云计算的发展与影响云计算相关技术云计算安全云计算市场角逐云计算在企业中的应用什么是云计算云计算概概念•通过整合、管理、调配分布在网络各处的计算资源，通过互联网以统一界面、同时向大量的用户提供服务云计算特特点超大规模计算、虚拟化、高可靠性和安全性、通用性、动态扩展性、按需服务、降低成本本云计算应应用场景景Google个人云服务企业应用实例：AnimotoAmazon云计算示意图你身边的“云”•群雄逐鹿：国外有微软SkyDrive、苹果iCloud，亚马逊CloudDriver等网盘产品，国内有百度度云、、新浪微微盘、华华为网盘、金山快盘、115网盘和360云盘等•不以空间大小论英雄：以100K/s的均速上传，1T空间也需124天方可填满，合计2976小时。而而如若若想占满满36T，估摸得熬上12年以上光景《走近云云计算、、大数据据与物联联网》你身边的“云”有道云笔笔记/video.html?auto=12011年6月28日网易旗下的有道推出的云笔记软件，支持多种附件格式，拥有2G容量的初始免免费存储储空间，，能够实时增量式同步，并采用“三备份存储”技术，同时上线的还有网网页剪报报功能。。云电视、、百度地地图、百百度音乐乐、云杀杀毒、云云端备份份《走近云云计算、、大数据据与物联联网》云计算的层次dataStorageasaServiceInfrastructureasaServicePlatformasaServiceSoftwareasaServiceSaaSPaaSIaaSdSaaSGoogleApps,Microsoft“Software+Services”IBMITfactory,GoogleAppEngine,FAmazonEC2,IBMBlueCloud,SunGridNirvanixSDN,AmazonS3,CleversafedsNetServerVisualizationStorage ServerStorageInfrastructurePlatformApplication从一个集集中的系系统部署署软件，使之在一台本地地计算机机上(或从云中远程地)运行的一个模型。由由于是计计量服务务，SaaS允许出租租一个应用用程序，，并计时时收费IaaS将基础设设施(计算资源源和存储)作为服务出租PaaS类似于IaaS，但是它它包括操操作系统统和围绕特特定应用用的必需需的服务务SaaS《走近云云计算、、大数据据与物联联网》云计算的发展与影响网格计算算利用并行行计算解解决大大型问题题GlobusAlliance使其成为为主流流公共计算算将计算资资源作为为可计计量的服服务提提供于上世纪90年代末推出出SaaS基于网络络预订应应用程程序于2001年推出云计算下一代因因特网计计算下一代数数据中心心云计算的演进《走近云云计算、、大数据据与物联联网》云计算相关技术云计算是是一种业业务模式式创新《走近云云计算、、大数据据与物联联网》网格计算《走近云云计算、、大数据据与物联联网》网络上提供的不同种类的服一个用于计算任务的资源池务，可以运行在网格计算或公共计算环境中环境为了通用应用而设计的，没为完成某一个特定的任务需有专门以某种应用命名要，比如生物网格、地理网格、国家教育网格资源相对集中，主要以数据聚合分布资源，支持虚拟组中心的形式提供底层资源的织，提供高层次的服务，例使用，并不强调虚拟组织如分布协同科学研究（VO）的概念支持持久服务，用户可以利用执行作业形式使用，在一用云计算作为其部分IT基础个阶段内完成作用产生数据设施，实现业务托管和外包从诞生开始就是针对企业商更多地面向科研应用，商业模业应用，商业模型比较清晰型不清晰云计算网格计算虚拟化技术传统的虚虚拟化方方式虚拟化是是云计算算的基石石通常的虚虚拟化方方法只考考虑虚拟单个硬件资源，把把虚拟的的单个计计算环境联结起来云计算所所需的虚虚拟化技技术必须虚拟架构技技术，，虚拟化化不必局局限于单个硬件资源云计算环环境中的的虚拟化化方式《走近云云计算、、大数据据与物联联网》虚拟化技术把物理的计算资源转换成了逻辑的计算资源通过创建虚拟机使得计算资源按需分配数据中心数据中心心是云计计算的温温床云计算推推动数据据中心向向虚拟化和云架构的的转型型，不断断提高IT基础架构的灵活性，以以降低低IT、能源和和空间成本，从而让客户能能够快快速地提提高业务务敏捷性“那些正正在兴建建最大规规模数据据中心的的公司一一般都在在云计算算方面拥拥有巨大大野心””--《数据中中心知识》杂志主主编RichMiller《走近云云计算、、大数据据与物联联网》SaaSSaaS（软件即即服务））通过浏览览器把程程序传给给成千上万的用户，为用户省去在服务务器和软软件授权权上的开开支；供应商只需要维持一个程序，减少少维护护成本SaaS在人力资资源管理理程序和ERP中比较常用；GoogleApps和ZohoOffice也是类似似的服务S是迄今为止提供这类服务最为出名的公司贝尼奥夫夫Salesforce的创始人人在“云”概念出来来之后，Salesforce迅速宣称称自己是是第一家家提供云云产品的的公司《走近云云计算、、大数据据与物联联网》Salesforce的创始人贝尼奥夫，或许可以视为“云”的先行者。早在1999年，贝尼尼奥夫就大声宣布自己要成为“软件终结者”Salesforce以“即买即用”的服务模式，颠覆了传统软件销售方法论用户不需需要通过过购买软软件许可证、安装和实施，才可以建立起CRM系统。。用户只只需要一一个账户，就可以像访问网页一样，访问在Salesforce上运行行的CRM系统云计算安全问题访问权风险管理风险地点所产产生的风风险加以以衡量。”数据风险数据恢复风险长期发展风险…“使用云云计算的的局限是是企业必须认真对待的敏感问题，，企业必必须对云云计算发挥作用的时间和Gartner咨询公司司副总裁裁兼分析析师DavidCearley《走近云云计算、、大数据据与物联联网》云计算市场角逐CompetingforcloudcomputingGoogleGFS、MapReduce和BigTableGoogleAppEngineGoogleApps--------------------------------------------AmazonAWSS3、EC2、SQS和SimpleDB--------------------------------------------Sun公司推出“黑盒子”计划--------------------------------------------IBM“BlueCloud”蓝云计划--------------------------------------------Microsoft：Azure、MatrixDB--------------------------------------------Salesforce：F--------------------------------------------HP联手Intel和Yahoo!建实验室云计算《走近云云计算、、大数据据与物联联网》云计算在企业中的应用中小企业业的产业业环境中小企业业信息化化面临的的压力–信息系统统爆炸式式膨胀带带来的“经济”压力–信息系统统建设周周期越来来越短带来的“时间”压力–对新技术术、新产产品、新新理念的“研究”压力–信息系统统面临的的“数据据存储量和计算量”的压力越来越大–“人才““压力–维护“客客户粘性性”的压压力云计算可可以促进进中小企企业转型升级云计算促促进中小小企业转转型升级级《走近云云计算、、大数据据与物联联网》总结《走近云云计算、、大数据据与物联联网》•云计算，，在本质质上并非非一种新的技术，而是一种服务模式•云计算关关键词：：虚拟化化、数据中心、面向服务、按需付费•云计算让让中小企企业受益益提纲大数据时代《走近云云计算、、大数据据与物联联网》大数据应用大数据的影响大数据的四个特征大数据的产生大数据关键技术Hadoop体系结构构参考：主讲研研究生课课程《大数据据技术基基础》，并并编写了了配套教教材。下下载配配套教材材请访问《大数据据技术基基础》网站：：http://dblab.a/post/1089/大数据时代《走近云云计算、、大数据据与物联联网》大数据应用场景KevinSpacey大数据分分析DavidFincher风靡全球球的美剧《纸牌屋》英国同名名小说《《纸牌屋屋》《走近云云计算、、大数据据与物联联网》大数据应用场景美国零售售商和怀怀孕预测测VISA信用卡与与商户推推荐股票投资资智能电表表广告投放放中国粮食食统计人的数字字化阿里信用用贷款和和淘宝数数据魔方方UPS快递的最最佳行车车路径《走近云云计算、、大数据据与物联联网》典型的大数据应用实例从谷歌流流感趋势势看大数数据的应用用价值“谷歌流流感趋势势”，通通过跟踪踪搜索词相相关数据据来判断断全美地地区的的流感情情况《走近云云计算、、大数据据与物联联网》大数据的影响•大数据对对行业发发展的影影响•大数据对对思维方方式的影影响全样而非非抽样效率而非非精确相关而非非因果《走近云云计算、、大数据据与物联联网》大数据的影响：对科学研究的影响图灵奖获获得者、、著名数数据库专专家JimGray博士观察察并总结结人类自自古以来来，在科科学研研究上，，先后历历经了实实验、理理论、计计算和数数据四种种范式实验《走近云云计算、、大数据据与物联联网》理论计算数据大数据无处不在科学研究究–基因组–LHC加速器–地球与空空间探测测企业应用用–Email、文档、、文件–应用日志志–交易记录录Web1.0数据–文本–图像–视频Web2.0数据–查询日志志/点击流–Twitter/Blog/SNS–Wiki《走近云云计算、、大数据据与物联联网》大数据的四个特征《走近云云计算、、大数据据与物联联网》Volume—数量大根据IDC作出的估估测，数数据一直都在以每年50%的的速度增长，也就是说每两年就增长一倍（大数据摩摩尔定律律）人类在最最近两年年产生的的数据量相当于之前产生的全部数据量预计到2020年，全全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近30倍《走近云云计算、、大数据据与物联联网》Velocity—速度快从数据的的生成到到消耗，，时间窗窗口非常常小，可可用于生生成决策策的时间间非常少少1秒定律：：这一点点也是和和传统的的数据挖挖掘技术术有着本本质的不不同《走近云云计算、、大数据据与物联联网》Variety—多样化大数据是是由结构构化和非非结构化化数据组组成的–10%的结构化化数据，，存储在在数据库库中–90%的非结构构化数据据，它们们与人类类信息息密切相相关非结构化化数据类类型多样样–邮件、视视频、微微博–位置信息息、链接接信息–手机呼叫叫、网页页点击–―长微博””《走近云云计算、、大数据据与物联联网》Value—价值化价值密度度低，商商业价值值高以视频为为例，连连续不间间断监控控过程中中，可能能有用的的数据仅仅仅有一一两秒，，但是具有很高高的商业业价值《走近云云计算、、大数据据与物联联网》大数据的产生运营式系统阶段1用户原创内容阶段2感知式系统阶段3•数据库的的出现使使得数数据管理理的复杂杂度大大大降低低，数据往往往伴伴随着一一定的运运营活活动而产产生并记记录在在数据库库中的，数据据的产生生方式是是被动动的•数据爆发发产生于于Web2.0时代，而而Web2.0的最重要要标志就是是用户原原创内内容•智能手机机等移动动设备备加速内内容产生生•数据产生生方式是是主动动的•感知式系系统的广广泛使使用•人类社会会数据量量第三三次大的的飞跃最最终导导致了大大数据的的产生生《走近云云计算、、大数据据与物联联网》大数据与云计算大数据与与云计算算是相辅辅相成的大数据根根植于云云计算–云计算关关键技术术中的海海量数据据存储技技术、海海量数据据管理技技术、MapReduce编程模型型，都是是大数据据技术的的基础大数据为为云计算算提供用用武之地《走近云云计算、、大数据据与物联联网》大数据与物联网物联网就就是“物物物相连连的互联网”。物联网通过智能感知、识别技术与普适计算、泛在网络的融合应应用，被被称为继继计算机机、互联网之后世界信息产业发展的第三次浪潮物联网架架构可分分为三层层，包括感知层、网络层和应用层物联网，，移动互互联网再再加上传统互联网，每天都在产生海量数据，而大数据又通过云计算的形式，将将这些数数据筛选选处理分分析，提取出有用的信息，这就是大数据分析。《走近云云计算、、大数据据与物联联网》大数据关键技术分布式存存储GFS\\HDFS\BigTable分布式处处理MapReduce大数据《走近云云计算、、大数据据与物联联网》Google公司的技技术《走近云云计算、、大数据据与物联联网》Hadoop的体系结构HDFS和MapReduce是Hadoop的两大核核心。而而整个Hadoop的体系结构主主要是通通过HDFS来实现对对分布式式存储的的底层支支持的，并且它会通过MapReduce来实现对对分布式式并行任任务处理的程序支持。《走近云云计算、、大数据据与物联联网》大数据在企业中的应用基于客户户行为分分析的产产品推荐荐基于客户户评价的的产品设设计基于数据据分析的的产品定定价基于数据据分析的的广告投投放基于客户户异常行行为的客客户流失失预测基于社区区热点的的趋势预预测和病病毒式营营销基于环境境数据的的外部形形势分析析基于物联联网数据据分析的的产品生生命周期期管理《走近云云计算、、大数据据与物联联网》总结《走近云云计算、、大数据据与物联联网》大数据无无处不在在，是变变革经济的力量大数据是是多种技技术的集集合，不只是数据大数据与与云计算算相辅相相成Google公司在大大数据时代引领技术Hadoop成为事实实上的大数据处理标准提纲物联网时时代《走近云云计算、、大数据据与物联联网》什么是物物联网物联网应应用领域域物联网关关键技术术物联网在在企业中中的应用用物联网未未来的前前景展望望物联网时代2012我国物联联网行业业继续保持快速发展势头，总产值超过3650亿元，同比增长率超过38%。工信部正式发布《物联网网“十二五”发展规划》。《走近云云计算、、大数据据与物联联网》物联网时代福州信息识别产业基地地泉州通信传输产业基地地厦门闽台云计算算产业基地地南平示范范区平潭示范范区鼓楼示范范区马尾示范范区三大产业业基地四四大示示范区福建物联联网基地地分布图图《福建省省加快物物联网发发展行动方方案（2013-2015年）》2015年形成千千亿产产业规模模《泉州市市创建国国家物联联网重重大应用用示范工工程区域域试点点工作方方案》到到2015年末，全全市物联联网产业业规模模超300亿元《走近云云计算、、大数据据与物联联网》什么是物联网物联网就就是物物物相连的的互联网网，是互互联网的的延伸，，它包括括互联网网及互互联网上上所有的的资源，，兼容互互联网所所有的应应用。物联网是是利用局局部网络络或互联联网等通通信技术术把传感感器、控控制器、、机器、人员员和物等等通过新新的方式式联在一一起，形形成人与与物、物物与物相相联，实实现信信息化、、远程管管理控制制和智能能化的网网络。《走近云云计算、、大数据据与物联联网》物联网层次架构从技术架架构上来来看，物物联网可可分为三层：感知层、网络层和应用层。感知层：由各种种传感器器以及传传感器网关构成，包括二氧化碳浓度传感器、温度传感器器、湿度度传感器器、二维维码标签签、RFID标签和读写器、摄像头、GPS等感知终端。感知层的作作用相当当于人的的眼耳鼻鼻喉和皮肤等神经末梢，它是物联网识别物体、采集信息的来源源，其主主要功能能是识别别物体，采集信息。网络层：由各种种私有网网络、互互联网、有线和无线通信网、网络管理系统和云计算平台台等组成成，相当当于人的的神经中中枢和大脑，负责传递和处理感知层获取的信息。应用层：是物联联网和用用户（包包括人、组织和其他系统）的接口，它与行业需求结合，实现物物联网的的智能应应用。《走近云云计算、、大数据据与物联联网》物联网应用领域智能工业业智慧农业业智能电网网智能交通通智能物流流环保监测测健康医疗疗智能家居居智能安防防物联网《走近云云计算、、大数据据与物联联网》物联网应用领域智能电网网智能电网网是以包包括各种种发电设备、输配电网络、用电设备和储能设设备的物理电网为基础，将现代先进的传感测量技术、网络技术、通讯讯技术、、计算技技术、自动化与智能控制技术等与物理电网高度集集成而形形成的新新型电网网，它能够实现可观测（能够监测电网所有设设备的状状态）、、可控制制（能够控制电网所有设备的状态）、完全自自动化（（可自适适应并实实现自愈）和系统综合优化平衡（发电、输配配电和用电之间的优化平衡），从而使电力系统更加清洁、高效、安全全、可靠靠。智能工业业智能工业业是将具具有环境境感知能力的各类终端、基于泛在技术的计算模式、、移动通信等不断融入到工业生产的各个环节，大幅提高制造效率，改善产品品质量，，降低产产品成本和资源消耗，将传统工业提升到智能化的新新阶段。。总的来来说，智能工业的实现是基于物联网技术的渗透和应用，，并与未未来先进进制造技术相结合，形成新的智能化的制造体系。《走近云云计算、、大数据据与物联联网》物联网应用领域智慧农业业智慧农业业是农业业生产的的高级阶段，是集新兴的互联网、移动互联网、云计算和物联网技术为一体，依托部署在在农业业生产现现场的各各种传感节点（环境温湿度、土壤水分、二氧化碳、图像等）和无线通信网络实现农业生产产环境境的智能能感知、、智能预警、智能决策、智能分析、专家在线指导，为农业生产提供精准化种植、可视化管管理、、智能化化决策。。《走近云云计算、、大数据据与物联联网》物联网应用领域智能交通通智能交通系统是未来交通系统的发展方向，它是将先进的信息技术、数据通讯传输技术、电子传感技术、控控制技术术及计算