云计算与大数据时代教材课件

大数据云计算CloudComputing引言《纽约时报》租用亚马逊的云计算服务，使用基于云计算的开源软件Hadoop，将其自1851年以来的1100万份报道转变成可搜索的数字化文档，耗时仅一天。如果用传统方法，这项工作可能要数月才能完成。最近兴起的云计算甚至可以让你体验每秒10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。云计算——方便您的生活数据中心（多终端同步-透明）PC/笔记本客户端浏览器PDA/手机/相机电子相册电视运算中心拍出的相片立即编辑修改在线编写文档、报告随时随地写日志随时随地的身体健康状况监控云计算云——提供超大规模计算资源的服务器集群超大规模虚拟化（透明）云云计算的产生和演进计算能力的需求的增长什么是云计算云计算相关概念云计算云计算是为用户提供无限计算资源的商业服务，是能够自我管理计算资源的系统平台，是应用服务按需定制、易于扩展的软件架构。并行计算分布式计算网格计算CPU运算资源存储资源网络带宽云计算相关概念云云是一些可以自我维护和管理的虚拟计算资源，通常为一些大型服务器集群，包括计算服务器、存储服务器、宽带资源等等。云计算将所有的计算资源集中起来，并由软件实现自动管理，无需人为参与。这使得应用提供者无需为繁琐的细节而烦恼，能够更加专注于自己的业务，有利于创新和降低成本。计算资源的演进：从集中到分散再到集中全世界只需要5台电脑就足够了

——托马斯·沃森个人用户的内存只需640K足矣

——比尔·盖茨计算时代网络时代云时代云计算的领跑者“世界上不过有5台真正的计算机。”——雅虎研究主管,普拉巴卡·拉加万，他认为Google、雅虎、微软、IBM和亚马逊这几家公司是云计算的引领者。

大数据大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据的方法。大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。数据又并非单纯指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，也产生了海量的数据信息。对于“大数据”（Bigdata）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。数据的换算关系最小的基本单位是Byte，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB，它们按照进率1024（2的十次方）来计算：1Byte=8bit

1KB=1,024Bytes

1MB=1,024KB=1,048,576Bytes

1GB=1,024MB=1,048,576KB

1TB=1,024GB=1,048,576MB1PB=1,024TB=1,048,576GB1EB=1,024PB=1,048,576TB1ZB=1,024EB=1,048,576PB1YB=1,024ZB=1,048,576EB1BB=1,024YB=1,048,576ZB1NB=1,024BB=1,048,576YB1DB=1,024NB=1,048,576BBGoogle数据中心比利时的圣吉兰（SaintGhislain）数据中心完全依靠数据中心外面的空气来冷却系统。13Dalles数据中心位于俄勒冈州的哥伦比亚河旁，河上的Dalles大坝为数据中心提供电力。数据中心有2座4层楼高的冷却塔。Google数据中心Google数据中心以集装箱为单位，每个集装箱有1160台服务器，每个数据中心有众多集装箱。14Google一次搜索查询的能耗能点亮100瓦的灯泡11秒钟。Microsoft数据中心微软在美国芝加哥的数据中心.总面积为70万平方英尺。即使只启用半数服务器,能耗也达到30兆瓦。15美国华盛顿州GrandCoulee水坝是世界第三大混合电力水坝，供电量是650万千瓦。Microsoft在水坝边上建一个有10个沃尔玛商店那么大的数据中心。Microsoft数据中心16第二代移动通信系统（2G）第一代移动通信系统（1G）第1代移动通信系统（1G）是模拟式通信系统，模拟式是代表在无线传输采用模拟式的FM调制，将介于300Hz到3400Hz的语音转换到高频的载波频率MHz上。一部大哥大在当时的售价为21000元，除了手机价格昂贵之外，手机网络资费的价格也让普通老百姓难以消费。当时的入网费高达6000元，而每分钟通话的资费也有0.5元。不过由于模拟通信系统有着很多缺陷，经常出现串号、盗号等现象，给运营商和用户带来了不少烦恼。于是在1999年A网和B网被正式关闭。从1G跨入2G的分水岭则是从模拟调制进入到数字调制，相比于第1代移动通信，第二代移动通信具备高度的保密性，系统的容量也在增加，同时能够提高多种业务服务。从这一代开始手机也可以上网了。第一款支持WAP的GSM手机是诺基亚7110，它的出现标志着手机上网时代的开始，而那个时代GSM的网速仅有9.6KB/s。数字网有以下优点：1.频谱利用率高，有利于提高系统容量；2.提供多种业务服务，提高通信系统通用性；3.抗噪声、抗干扰、抗多径衰落能力强；4.能实现更有效、灵活的网络管理和控制；5.便于实现通信的安全保密；6.可降低设备成本。

1998年，黄宏、宋丹丹小品《回家》oppoA209,作者本人自用2G手机。第四代移动通信系统（4G）第三代移动通信系统（3G）国际电信联盟（ITU）发布了官方第3代移动通信（3G）标准IMT-2000（国际移动通信2000标准）。3G存在四种标准制式，分别是CDMA2000，WCDMA，TD-SCDMA，WiMAX。在3G的众多标准之中，CDMA这个字眼曝光率最高，CDMA（码分多址)是第三代移动通信系统的技术基础。中国在2009年的1月7日颁发了3张3G牌照，分别是中国移动的TD-SCDMA，中国联通的WCDMA和中国电信的WCDMA2000。4G包括TD-LTE和FDD-LTE两种制式，是集3G与WLAN于一体，并能够快速传输数据、高质量、音频、视频和图像等。4G能够以100Mbps以上的速度下载（大约是12.5MB/s~18.75MB/s的下行速度），比目前的家用宽带ADSL（4兆）快20倍，并能够满足几乎所有用户对于无线服务的要求。此外，4G可以在DSL和有线电视调制解调器没有覆盖的地方部署，然后再扩展到整个地区。很明显，4G有着不可比拟的优越性。2013年12月4日，工业和信息化部向中国移动、中国电信、中国联通正式发放了第四代移动通信业务牌照（即4G牌照），中国移动、中国电信、中国联通三家均获得TD-LTE牌照，此举标志着中国电信产业正式进入了4G时代。简析4G4G通常被用来描述相对于3G的下一代通信网络，但很少有人明确4G的含义，实际上，4G在开始阶段也是由众多自主技术提供商和电信运营商合力推出的，技术和效果也参差不齐。后来，国际电信联盟（ITU）重新定义了4G的标准——符合100Mbps/s传输数据的速度。达到这个标准的通信技术，理论上都可以称之为4G。4G移动系统网络结构可分为三层：物理网络层、中间环境层、应用网络层。物理网络层提供接入和路由选择功能，它们由无线和核心网的结合格式完成。中间环境层的功能有QoS映射、地址变换和完全性管理等。物理网络层与中间环境层及其应用环境之间的接口是开放的，它使发展和提供新的应用及服务变得更为容易，提供无缝高数据率的无线服务，并运行于多个频带。5G与4G的对比4G·在4G技术支持100Mbps~150Mbps的下行网络带宽·仍处在3GHz一下的频段范围内·开启了全球移动通信标准全面融合的趋势；但仍存在TD-LTE与LTE-FDD的标准之争·是专为移动互联网而设计的通信技术，是单一的无线接入技术。5G·将可提供超级容量的带宽，短距离传输速率是10Gbps；·高频段频谱资源将更多地应用于5G；·超高容量、超可靠性、随时随地可接入性，有望解决“流量风暴”；·在通信、智能性、资源利用率、无线覆盖性能、传输时延、系统安全和用户体验都比4G有了数以倍计的增加；·全球5G技术有望共用一个标准；·5G并不是一个单一的无线接入技术，也不是几个全新的无线接入技术，而是多种新型无线接入技术和现有无线接入技术集成后的解决方案总称。所以说5G是一个真正意义上的融合网络。云计算特点超大规模：服务器群虚拟化：可以看作是一片用于计算的云高可靠性：冗余副本、负载均衡通用性：支撑千变万化的实际应用高可扩展性：灵活、动态伸缩按需服务：按需购买极其廉价：不再需要一次性购买超级电脑安全：摆脱数据丢失、病毒入侵方便：支持多终端、数据共享DigitalMedicalTechnologies,Ltd.云计算的几大形式云计算服务类形基础设施即服务（IaaS）软件即服务（SaaS）网络服务平台即服务（PaaS）管理服务提供商（MSP）商业服务平台云安全基础设施即服务（实用计算、虚拟化）IaaS——InfrastructureasaService

是为IT行业创造虚拟的计算和数据中心，使得其能够把计算单元、存储器、I/O设备、带宽等计算机基础设施，集中起来成为一个虚拟的资源池来为整个网络提供服务。用多少算多少AmazonWebServices，简作AWS弹性计算云EC2（ElasticComputeCloud）——计算简单存储服务S3（SimpleStorageService）——存储GoogleAppEngine软件即服务SaaS——SoftwareasaServiceSaaS是一种基于互联网提供软件服务的应用模式。软件租赁：用户按使用时间和使用规模付费绿色部署：用户不需安装，打开浏览器即可运行不需要额外的服务器硬件软件（应用服务）按需定制软件即服务SaaS产品SalesforceCRM阿里软件GoogleappsAlexa排名：第一名Salesforce第二名阿里软件第三名铭万第四名金算盘第五名中企动力第六名神码在线第七名商务领航第八名友商网第九名八百客第十名网络服务网络服务WebService提供API让开发者能够开发更多基于互联网的应用中移动的FetionWebService云计算——中小企业的机遇创业前期成本大大降低IT硬件投入低按需租用云计算发展的障碍云计算目前的困境云计算何时从云端到地面标准不统一Google、Amazon、IBM、微软等的平台互不兼容两大巨头的“云计算”之争

云计算何时从云端到地面数据真的安全？云服务提供商的信誉——留后门？！面临着全世界的黑客——需要高强度的安全系统云计算何时从云端到地面网络带宽3G尚未普及，费用极高云计算何时从云端到地面耗电量巨大主旋律——节能减排终端设备的电池容量有限并行计算、分布式计算和网格计算并行计算ParallelComputing是指同时使用多种计算资源解决计算问题的过程，其主要目的是快速解决大型且复杂的计算问题特点：把计算任务分派给系统内的多个运算单元大型机的多CPU和多存储器并行计算问题的特征将工作分离成离散部分，有助于同时解决随时并及时地执行多个程序指令（多条线同时运行）多计算资源下解决问题的耗时要少于单个计算资源下的耗时分布式计算DistributedComputing所谓分布式计算是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，