《网络基础》-第14章

14.1概述1．云计算的演化过程云计算主要经历了电厂模式、效用计算、网格计算的发展后，进入了云计算阶段。（1）电厂模式阶段（2）效用计算阶段（3）网格计算阶段（4）云计算阶段下一页返回14.1概述2．云计算的概念云计算是一种通过Internet，以服务的方式提供动态、可伸缩的虚拟化资源的计算模式。3．云计算特征云计算具有以下几个主要特征。（1）动态资源配置（2）需求自助服务（3）便捷访问网络（4）可计量服务（5）虚拟的资源上一页下一页返回14.1概述4．云计算的特点①数据在云端：不怕丢失，不必备份，可以任意恢复。②软件在云端：不必下载自动升级。③无所不在的计算：在任何时间、任意地点，任何设备登录后就可以进行计算服务。④无限强大的功能：具有无限空间和无限速度。上一页下一页返回14.1概述5．云计算的主要服务模式云计算包括下述几个层次的服务。（1）基础设施服务（2）软件服务（3）平台服务上一页返回14.2云计算的核心技术1．编程模型MapReduce是一种针对超大规模数据集的编程模型，其主要思想借鉴了函数式编程语言中的一些思想。MapReduce模式的思想是将要执行的问题分解成Map（映射）和Reduce（化简）的方式，用户编写Map和Reduce两个程序，以及一个在计算机集群上执行多个程序实例的框架。下一页返回14.2云计算的核心技术MapReduce程序的执行过程如下：①用户程序中的MapReduce类库首先将输入文件分割成大小为16～64MB的文件片段，用户也可以通过设置参数对大小进行控制。②在这些副本中，有一个程序为Master，其他程序为Worker。由Master分配任务，总共需要分配M个Map任务和R个Reduce任务。③被分配到Map任务的Master读取对应文件片段，从输入数据中解析出键值对，并将其传递给用户定义的Map函数。上一页下一页返回14.2云计算的核心技术④缓存的键值对被周期性写入本地磁盘，并被分成R个区域。

⑤当负责Reduce任务的Master得到关于上述地址的通知时，它使用远程过程调用从本地磁盘读取缓冲数据。

⑥对于每一个唯一的键，负责Reduce任务的Worker将对应的数据集传递给用户定义的Reduce函数。

⑦当所有的Map任务和Reduce任务都完成时，Master唤醒用户程序。此时，用户程序的MapReduce调用向用户的代码返回结果。上一页下一页返回14.2云计算的核心技术2．海量数据分布存储与管理技术云计算系统由大量服务器组成，因此云计算系统采用分布式存储的方式存储数据，用冗余存储的方式保证数据的可靠性。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的HDFS分布文件系统。GFS（GoogleFileSystem）是Google文件系统，是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。一个GFS集群由一个主服务器和大量的块服务器构成，并被许多客户访问。上一页下一页返回14.2云计算的核心技术云计算需要对分布的、海量的数据进行处理与分析，因此，数据管理技术必须能够高效地管理大量的数据。云计算系统中的数据管理技术主要是Google的BigTable数据库和Hadoop团队开发的HBase。NoSQL是水平可扩展的数据库。NoSQL主要用于大规模的非关系型数据存储，具有模式自由、支持简易复制、简单的API、最终的一致性（非ACID）、大容量数据等特性。除键值对存储方式外，NoSQL还有文档型存储方式、列存储方式、图型存储方式等存储方式。上一页下一页返回14.2云计算的核心技术（1）NoSQL特点①运行在PC服务器集群上。②突破了性能瓶颈。③没有过多的需求。④支持者源于社区。⑤弹性扩展。⑥大数据量。⑦灵活的数据模型。上一页下一页返回14.2云计算的核心技术（2）NoSQL的潜力NoSQL数据库除了具有灵活的可扩缩性和支持大数据量存储外，与关系数据库相比具有的潜力如下所述。①降低管理的要求。②经济效率高。③灵活的数据模型。上一页下一页返回14.2云计算的核心技术（3）NoSQL的主要类型基于存储方式的不同，可将NoSQL数据库分为文档式存储、列式存储、键值式存储、对象式存储、图形式存储和XML存储的NoSQL数据库。表14-1所示的内容就是各种典型的NoSQL数据库产品，但它们之间也有交叉的情况，如TokyoCabinet/Tyrant的Table既可以划为键值式存储类型，又可以理解为文档式存储类型。上一页下一页返回14.2云计算的核心技术3．虚拟化技术通过虚拟化技术可实现软件应用与底层硬件相隔离，可将单个资源划分成多个虚拟资源的裂分模式，也包括将多个资源整合成一个虚拟资源的聚合模式。根据对象虚拟化技术可分成存储虚拟化、计算虚拟化、网络虚拟化等。计算虚拟化又分为系统级虚拟化、应用级虚拟化和桌面虚拟化。上一页下一页返回14.2云计算的核心技术4．云计算平台管理技术云计算资源规模庞大，服务器数量众多并分布在不同的地点，同时运行着数百种应用。云计算系统的平台管理技术能够使大量的服务器协同工作，方便地进行业务部署和开通，快速发现和恢复系统故障，通过自动化、智能化的手段实现大规模系统的可靠运营。上一页返回14.3云计算的架构1．显示层多数数据中心云计算架构的这层主要是用于以友好的方式展现用户所需的内容和服务体验，并会利用到下面中间件层提供的多种服务，主要有五种技术。①HTML：标准的Web页面技术，现在主要以HTML4为主，但是将要推出的HTML5会在很多方面推动Web页面的发展，如视频和本地存储等方面。②JavaScript：一种用于Web页面的动态语言，通过JavaScript，能够极大地丰富Web页面的功能，并且用以JavaScript为基础的AJAX创建更具交互性的动态页面。下一页返回14.3云计算的架构③CSS：主要用于控制Web页面的外观，而且能使页面的内容与其表现形式之间进行优雅地分离。④Flash：业界最常用的RIA（RichInternetApplications）技术，能够在现阶段提供HTML等技术所无法提供的基于Web的应用，而且在用户体验方面也非常不错。⑤Silverlight：来自微软的RIA技术，虽然其现在市场占有率稍逊于Flash，但由于其可以使用C#来进行编程，所以对开发者非常友好。上一页下一页返回14.3云计算的架构2．中间件层中间件层是承上启下的，在下面的基础设施层所提供资源的基础上提供了多种服务，如缓存服务和REST服务等，而且这些服务既可用于支撑显示层，也可以直接让用户调用，主要有下述五种技术。①REST：通过REST技术，能够非常方便地将中间件层所支撑的部分服务提供给调用者。②多租户：就是能让一个单独的应用实例可以为多个组织服务，而且保持良好的隔离性和安全性，并且通过这种技术，能有效地降低应用的购置和维护成本。上一页下一页返回14.3云计算的架构③并行处理：为了处理海量的数据，需要利用庞大的X86集群进行规模巨大的并行处理，Google的MapReduce是这方面的典型之作。④应用服务器：在原有的应用服务器的基础上为云计算做了一定程度的优化，例如用于GoogleAppEngine的Jetty应用服务器。⑤分布式缓存：通过分布式缓存技术，不仅能有效地降低对后台服务器的压力，而且还能加快相应的反应速度，例如著名的分布式缓存Memcached。上一页下一页返回14.3云计算的架构3．基础设施层基础设施层是为上面的中间件层或者用户准备其所需的计算和存储等资源的，主要有下述四种技术。①虚拟化：也可以理解为基础设施层的“多租户”，因为通过虚拟化技术，能够在一个物理服务器上生成多个虚拟机，并且能在这些虚拟机之间实现全面的隔离，这样不仅能降低服务器的购置成本，而且还能同时降低服务器的运行维护成本，成熟的X86虚拟化技术有VMware的ESX和开源的Xen。上一页下一页返回14.3云计算的架构②分布式存储：为了存储海量的数据，同时也要保证这些数据的可管理性，所以需要一整套分布式的存储系统。③关系型数据库：基本是在原有的关系型数据库的基础上做了扩展和管理等方面的优化，使其在云中更适应。④NoSQL：为了满足一些关系数据库所无法满足的目标，如支撑海量的数据等，采用了NoSQL数据库系统。上一页下一页返回14.3云计算的架构4．管理层这层是为横向的三层服务的，并给这三层提供多种管理和维护等方面的技术，主要有下面六个方面。①账管理：通过账号管理技术，能够在安全的条件下方便用户登录，并方便管理员对账号的管理。②SLA监控：对各个层次运行的虚拟机、服务和应用等进行性能方面的监控，以使它们都能在满足预先设定的SLA（ServiceLevelAgreement）的情况下运行。上一页下一页返回14.3云计算的架构③计费管理：也就是对每个用户所消耗的资源等进行统计，以准确地向用户索取费用。④安全管理：对数据、应用和账号等资源采取全面的保护，使其免受犯罪分子和恶意程序的侵害。⑤负载均衡：通过将流量分发给一个应用或者服务的多个实例来应对突发情况。⑥运维管理：主要是使运行与维护操作尽可能地专业和自动化，从而降低云计算中心的运行维护成本。上一页返回14.4典型云计算平台1．Google的云计算平台Google的云计算主要由MapReduce算法、Google文件系统（GFS）、BigTable组成。它们是Google云计算基础平台的3个主要部分。Google还构建其他云计算组件，包括一个领域描述语言以及分布式锁服务机制等。2．IBM的蓝云计算平台蓝云计算平台是由IBM开发的企业级云计算平台。该解决方案可以对企业现有的基础架构进行整合，利用虚拟化技术和自动化技术来构建企业的云计算中心，实现企业硬件资源和软件资源的统一管理、统一分配、统一部署、统一监控和统一备份，避免了应用对资源的独占，从而帮助企业实现云计算理念。下一页返回14.4典型云计算平台IBM的蓝云计算平台是一套软、硬件平台，将Internet上的技术扩展到企业平台上，使得数据中心使用类似于互联网的计算环境。蓝云平台基于IBMAlmaden研究中心的云基础架构，采用了Xen和PowerVM虚拟化软件、Linux操作系统映像以及Hadoop软件。蓝云的硬件平台环境与一般的x86服务器集群类似，使用刀片的方式增加了计算密度。蓝云平台的一个重要特点是虚拟化技术的使用。在蓝云中有两个级别的虚拟化的方式：一个是在硬件级别上实现虚拟化；一个是通过开源软件实现虚拟化。上一页下一页返回14.4典型云计算平台3．Amazon的弹性计算云Amazon是互联网上最大的在线零售商，为了应付交易高峰，不得不购买了大量的服务器，而在大多数时间，大部分服务器闲置，造成了很大的浪费。为了合理利用空闲服务器，Amazon建立了弹性计算云EC2（ElasticComputeCloud），这是第一家将基础设施作为服务出售的公司。Amazon将自己的弹性的变粒度计算云建立在公司内部的大规模集群计算平台上，而用户可以通过弹性计算云的网络界面去操作在云计算平台上运行的各个实例。上一页下一页返回14.4典型云计算平台弹性计算云用户使用客户端通过SOAPoverHTTPS协议与Amazon弹性计算云内部的实例进行交互。这样，弹性计算云平台为用户或者开发人员提供了一个虚拟的集群环境，在用户具有充分灵活性的同时，也减轻了云计算平台拥有者的管理负担。Amazon通过提供弹性的变粒度计算云满足了小规模软件开发人员对集群系统的需求，减小了维护负担。其收费方式相对简单明了，用户只需为使用的资源付费。上一页返回14.5云计算的应用（1）云物联云计算和物联网之间的关系可以这样描述：“云计算”是“互联网”中神经系统的雏形，而“物联网”是“互联网”正在出现的末梢神经系统的萌芽。（2）云安全云安全通过网状的大量客户端对网络中软件行为的异常监测，获取互联网中木马、恶意程序的最新信息，并推送到Server端进行自动分析和处理，最后把病毒和木马的解决方案分发到每一个客户端。下一页返回14.5云计算的应用（3）云存储云存储是在云计算概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。（4）云呼叫云呼叫中心是基于云计算技术而搭建的呼叫中心系统。企业无需购买任何软、硬件系统，只需具备人员、场地等基本条件，就可以快速拥有属于自己的呼叫中心，且软硬件平台、通信资源、日常维护与服务由服务器商提供。上一页下一页返回14.5云计算的应用（5）私有云私有云是将云基础设施与软、硬件资源创建在防火墙内，以供机构或企业内各部门共享数据中心内的资源。创建私有云，除了硬件资源外，一般还有云设备软件等。（6）云游戏云游戏是以云计算为基础的游戏方式。在云游戏的运行模式下，所有游戏都在服务器端运行，并将渲染完毕后的游戏画面压缩后通过网络传送给用户。上一页下一页返回14.5云计算的应用（7）云教育流媒体平台采用分布式架构部署，分为Web服务器、数据库服务器、直播服务器和流服务器。如有必要可在信息中心架设采集工作站搭建网络电视或实况直播应用，在各个学校已经部署录播系统或直播系统的教室配置流媒体功能组件，这样录播实况可以实时传送到流媒体平台管理中心的全局直播服务器上，同时录播的学校也可以上传存储到信息中心的流存储服务器上，方便检索、点播、评估等各种应用。上一页下一页返回14.5云计算的应用（8）云会议云会议是基于云计算技术的一种高效、便捷、低成本的会议形式。使用者只需要通过互联网界面，进行简单易用的操作，便可快速、高效地与全球各地团队及客户同步分享语音、数据文件及视频，而会议中数据的传输、处理等复杂技术由云会议服务商帮助使用者进行操作。上一页下一页返回14.5云计算的应用（9）云社交云社交是一种物联网、云计算和移动互联网交互应用的虚拟社交应用模式，以建立著名的资源分享关系图谱为目的，进而开展网络社交。云社交的主要特征就是把大量的社会资源统一整合和评测，进而构成一个资源有效池向用户按需提供服务。参与分享的用户越多，能够创造的利用价值就越大。上一页返回14.6大数据问题大数据问题是云计算的延伸。1．背景近年，来自人们日常生活，特别是互联网服务的数据量飙升。预测2020年，全世界需要管理的数据将达到35个ZB，其中主要包括网络日志、音频、视频、图片、地理信息等各种类型，存储在不同地域的各类服务器中。数据是重要的战略资源，隐含着巨大的经济价值，通过对大量数据的交换、整合、分析与利用，可以发现新的知识，创造新的价值，形成大知识和大科技，带来大利润和大发展。因此，许多国家政府已将数据提升为与水、石油、煤炭一样的高度，并将拥有数据的规模和数据分析能力视为国家的核心竞争力。下一页返回14.6大数据问题2．大数据定义与生态环境（1）定义大数据是指规模大、类型多、高变化率的数据集合。大数据的定义至少涉及容量、种类和传输速度三个要素。（2）大数据的生态环境大数据主要来自互联网世界与物理世界。①互联网世界。互联网的发展为数据的存储、传输与应用创造了基础与环境。上一页下一页返回14.6大数据问题②物理世界。科学实验是科技人员设计的，其中的数据采集、数据处理需要事先设计，不管是检索还是模式识别，都有科学规律可循。3．大数据的特点（1）容量巨大（2）类型繁多（3）速度快（4）非结构化（5）价值密度低上一页下一页返回14.6大数据问题4．大数据的研究领域大数据可分成大数据科学、大数据技术、大数据工程、大数据应用等领域。大数据科学是关于数据的科学，是在某个领域中有条件地寻找数据相互关系和普适性规律。大数据研究是一种方法研究，数据本身不作为研究目标，而是作为一种研究方法或一种发现新知识的工具。目前业界探讨最多的是大数据技术和大数据应用。上一页下一页返回14.6大数据问题5．大数据技术（1）数据量复杂性估算时间复杂性和空间复杂性是计算机科学的基本问题。对于大数据处理，除了考虑时间和空间复杂性外，还需要考虑数据量复杂性。数据量复杂性是指解决一个问题需要多大的数据量，即需要建立求解一个问题达到某种满意程度需要多大规模的数据量理论。上一页下一页返回14.6大数据问题（2）大数据的表示利用统一的模型对非结构化数据进行分析处理困难巨大，传统的数据表示方法不能直观地展现数据本身含义。为了有效利用数据并挖掘其中的知识，必须寻找最合适而有效的数据表示方法。目前使用的方法是数据标识，标识方法可减轻数据识别和分类的困难，但标识将给用户增添预处理工作。研究既有效又简易的数据表示方法是进行