云计算与大数据处理

测试地点：云计算云计算的定义；云计算的特征；云计算的三种不同部署模式；谷歌文件系统的特点和平台结构；云存储的相关解决方案；三种类型的云服务及其特点；虚拟化技术的特点；虚拟化行业关注不同的解决方案；云桌面的定义；桌面云的基本架构；无盘工作站的特点；大数据处理科大数据的4V特征；掌握名称节点和数据节点在hdfs中的角色；MapReduce处理模型；了解WordCount程序的处理流程；MapReduce作业如何在Hadoop中工作；1.Memcache主要用于(b)A.静态页面缓存b .动态页面缓存c .页面片段缓存d .数据缓存2.Mapreduce适用于(d)A.任意应用B.任何可以在windowsservet2008上运行的程序C.可以连续处理的应用程序D.可以并行处理的应用程序1.云计算的特点是什么？(ABCDE)A.大规模b .平稳扩展c .资源共享d .动态分配e .跨区域2.与传统的分布式编程相比，MapReduce封装了(ABCD)等细节，提供了一个简单而强大的接口。A.并行处理b .容错处理c .本地化计算d .负载平衡3.云存储解决方案的价值是什么？(ABCD)A.高效管理大量小型文档B.PB级存储空间和线路扩展能力C.动态可扩展性能D.数据的高可靠性4.目前，选择开源虚拟化产品来形成虚拟化平台和基于硬件的虚拟化层，这是可以选择的(BCD)A.XenB.VMwareC.超vD.Citrix5.在云计算中，虚拟层主要包括A.服务器虚拟化B.存储虚拟化C.网络虚拟化D.桌面虚拟化6.云安全的关键技术是什么？(美国广播公司)A.数据安全B.应用程序安全性C.虚拟化安全性D.服务器安全性7.谷歌文件系统将整个系统的节点分成多个角色A.客户端b .主服务器c .块服务器d .监控服务器8.云计算基础设施的层级包括A.基础设施层b .中间件层c .显示层d .管理层9.以下内容属于谷歌云计算平台的技术框架A.并行数据处理C.结构化数据表bigtable d .弹性云计算EC210.Hadoop项目包括(ABD)A.Hadoop分布式文件系统(HDFS)B.HadoopMapReduce编程模型C.HadoopStreamingD.HadoopCommon云计算：云计算定义：云计算模型可以通过网络以按需方式轻松访问云系统的可配置计算资源共享池(例如网络、服务器、存储、应用和服务)。同时，它以最小的管理开销和与供应商最少的互动快速地提供或释放资源。1.狭义的云计算：指IT基础设施的交付和使用模式，通过网络按需、易扩展地获取所需资源(硬件、平台和软件)。提供资源的网络被称为“云”。“云”中的资源在用户眼中可以无限扩展，可以随时获取，按需使用，随时扩展，按使用量付费。2.广义的云计算：是指服务的交付和使用模式，可以通过网络以按需、易扩展的方式获得所需的服务。这种服务可以是与信息技术、软件和互联网相关的服务，也可以是任何其他服务。云计算的特点：1.自助服务：消费者可以获得自助计算和资源能力，如服务器服务和网络存储，而无需与服务提供商互动。2.无处不在的网络访问：通过不同客户端的标准应用程序进行网络访问的可用性。3.服务计量：云系统通过计量服务类型自动控制和优化资源的使用，例如不同客户端通过标准应用程序访问网络的可用性。4.划分独立的资源池：根据用户需求动态划分或释放不同的物理和虚拟资源。5、快速弹性：供应：快速灵活地提供资源的能力发布：快速灵活地发布资源的能力。对于消费者来说，这种能力是无限的，可以在任何时候以任何定量的方式购买。云计算的三种不同部署模式：公共云：在这种模式下，应用程序、资源、存储和其他服务由云服务提供商提供给用户。这些服务大部分是免费的，有些是根据使用情况付费的。此模式只能由互联网访问和使用。同时，这种模式在私有信息和数据保护方面相对有保障。这种部署模型通常可以提供可扩展的云服务，并且可以高效地进行设置。私有云：这种云基础架构专门为某个企业服务。不管它是由自己管理还是由第三方管理，也不管它是由自己管理还是由第三方管理。只要它的使用方式没有问题，它就能给企业带来巨大的帮助。然而，这种模式面临的是企业本身负责纠正和检查安全问题。否则，除了问题，企业只能承担后果。此外，需要自费购买、构建和管理整个系统。这种云计算模式可以产生非常广泛的积极效益。从模型的名称可以看出，它可以为所有者提供具有全部优势和功能的服务。混合云：混合云是两种或多种云计算模式的混合，如公共云和私有云。它们相互独立，但在云中相互结合，可以充分发挥各种混合云计算模式各自的优势。谷歌文件系统的特点和平台结构；特点：以用户数据为中心；数据存储在云中；数据访问不接受地理位置限制；数据可以轻松共享。平台结构：谷歌文件系统海量数据分布式存储技术，MapReduce，一个分布式计算编程模型，胖胖的分布式锁服务分布式结构化数据存储系统Bigtable等。云存储解决方案：1、DAS采用直接外部存储方案的服务器结构类似于个人计算机结构。外部数据存储设备采用SCSI技术或光纤通道技术，并直接连接到内部总线。数据存储是整个服务器结构的一部分。数据采集系统依靠服务器主机操作系统进行数据的读、写、存储、维护和管理。数据备份和恢复需要占用服务器主机资源(包括CPU、系统IO等)。)，数据流需要流回主机，然后流回连接到服务器的磁带机(磁带库)。数据备份通常占用20-30%的服务器主机资源。直接存储的数据量越大，备份和恢复时间就越长，对服务器硬件的依赖性和影响就越大。2.国家统计局(以上答案)NAS是连接到存储系统并通过网络连接到系统的存储设备。网络附加存储是一种特殊的文件服务器，它的计算功能比普通服务器少，所以它的功能是完整的。它是一种将分布式和独立数据集成到大型、集中管理的数据中心的技术，有助于访问不同的主机和应用服务器。网络连接存储是一种文件级网络存储模式。NAS有自己的文件系统，通常通过网络文件系统(NFS)或通用互联网文件系统(CIFS)向外部提供文件访问服务。NAS提供了统一的存储接口，所有存储设备都连接到现有网络的同一网络拓扑，因此NAS具有良好的共享性。网络连接存储不仅是一种存储设备，也是一种数据备份和恢复设备。3、SANSAN是一种快速的专用子网。在子网内，磁盘阵列和磁带等存储设备通过光纤交换机、光纤路由器和光纤集线器等网络连接设备连接到相关服务器。根据连接方式，存储区域网络分为光纤通道存储区域网络和IP存储区域网络。光纤通道存储区域网络使用光纤通道作为传输介质；IP存储区域网络技术是一种存储区域网络存储技术，它在传统的IP以太网上构建一个存储区域网络存储网络，并通过IP以太网连接服务器和存储设备。IP SAN技术采用集中式存储，大大提高了存储空间的利用率。云服务：的三种类型和特点三种类型：IaaS、PaaS、SaaSSaaS:通过网络向最终用户提供软件应用服务。SaaS可以降低企业信息化成本，提高企业信息化水平，为用户提供一站式服务。PaaS:通过网络为用户提供可定制和可开发的平台服务。例如，应用程序开发环境、数据库服务和电信功能的开放。IaaS:通过网络为用户提供it基础设施服务。包括计算存储和网络资源租赁、灾难准备、负载平衡、网络加速、综合信息和其他服务。虚拟化技术的特点：(1)软件实现：软件模拟硬件，软件对服务器资源进行逻辑划分，形成统一的虚拟资源库，创建独立的虚拟机运行环境。(2)隔离操作：运行在同一物理服务器上的多个虚拟机相互隔离，而不会相互影响。包括计算隔离、数据隔离、存储隔离、网络隔离和访问隔离。数据不会在虚拟机之间泄露。应用程序只能通过配置的网络连接进行通信。(3)封装抽象：操作系统和应用被封装到虚拟机中。封装是虚拟机具有自由迁移能力的前提。真正的硬件打包成标准化的虚拟硬件，整个虚拟机以文件的形式保存，便于备份、移动和复制。(4)硬件独立性：服务器虚拟化带来了虚拟机的分离和硬件的相互依赖，为虚拟机的自由移动提供了良好的平台。广泛兼容：兼容各种硬件平台，支持各种操作系统平台。6.标准接口：虚拟硬件遵循行业标准接口，以确保兼容性虚拟化行业关注不同的解决方案：1.基于虚拟盒的虚拟化技术模拟环境：VirtualBox可以安装多个客户端操作系统，每个都可以使用。独立打开、暂停和停止。主操作系统和客户端操作系统都是兼容的。相互通信使多个操作系统能够在网络可以同时使用的环境中同时运行。特点：支持64位客户端操作系统，及时使用32位中央处理器；由主人；(2)支持SATA硬盘NCQ技术；(3)虚拟硬盘快照；无缝视图模式；剪贴板可以与主机端的客户端共享；在主机和客户端之间创建一个共享文件夹；自带远程桌面服务器；支持VMware VMDK软盘文件和虚拟PC VHD软盘文件格式；3D虚拟化技术支持OpenGL；最多32个虚拟中央处理器；支持虚拟化和虚拟化硬件虚拟化技术；iSCSI支持；USB和USB2.0支持。2.基于VMware的虚拟化技术VMware实际上是“同时”运行的，主机系统平台上有多个操作系统，像标准的Windows程序一样切换。此外，每个操作系统用户可以执行虚拟分区和配置，而不会影响真实硬盘的数据。用户甚至可以用网卡将几个虚拟机连接到一个局域网。主要产品：VMware-ESX-服务器、VMware-GSX-服务器、VMware-工作站VMware产品的主要功能是：(1)在同一台计算机上可以使用两个或多个操作系统，而无需分区或重新启动；完全隔离和保护不同操作系统的操作环境以及安装在操作系统上的所有应用软件和数据；(3)不同的操作系统也可以交互操作，包括网络、外设、文件共享、复制粘贴等功能；(4)具有恢复功能；操作系统的操作环境可以随时设置和修改。具有热迁移能力和高可用性。3.基于KVM的硬件虚拟化技术KVM只需加载内核模块，就可以将Linux内核转换成虚拟机管理程序。安装KVM后，可以在用户空间中启动客户操作系统。每个客户操作系统都是主机操作系统的单个进程。除了现有的内核和用户模式之外，KVM还在Linux中引入了一种新的进程模式客户端模式，用于执行客户端的操作系统代码，但仅限于那些不是I/O的代码.4.基于Xen的虚拟化系统Xen是一个半虚拟化的虚拟机监视器。调用虚拟机管理程序时，有必要有选择地修改操作Xen虚拟机可以在多个物理主机之间实时迁移，无需停止。在操作过程中，虚拟机的内存被重复复制到目标机器，而不会停止工作。在虚拟机开始在其最终目标上执行之前，将有60-300秒的短暂暂停来执行最终同步，给人以无缝迁移的印象。云桌面的定义：跨平台应用程序和整个客户桌面都可以通过瘦客户端或连接到网络的任何其他设备进行访问。桌面云的基本架构：虚拟桌面架构(VDI):通过在数据中心的服务器上运行视窗XP来实现用户桌面的虚拟化。用户从客户端设备通过瘦客户端计算协议与虚拟桌面连接。用户访问虚拟桌面就像访问传统的本地安装的桌面一样。实现方式有两种：微软虚拟服务器的VMware服务器运行多个Windows XP虚拟机，每个用户以一对一的方式连接到自己的虚拟机；(2)安装了Windows XP刀片的刀片服务器。每个用户都以一对一的方式连接到刀片服务器。基于基于服务器的计算(SBC)，个用户共享一个主机，并通过不同的会话区分用户。无盘工作站的特点：只能分配固定资源只能运行一个统一的操作系统。有必要保留传统电脑除硬盘以外的所有硬件前端设备有特殊要求大数据：大数据的4V特性：数量：企业正面临数据量的大规模增长。例如，IDC最近的报告预测，到2020年，全球数据量将增长50倍。目前，大数据的规模仍是一个不断变化的指标。单个数据集的规模从几十TB到几PB不等。简而言之，存储1PB的数据需要20，000台配备50GB硬盘的电脑。此外，各种意外的来源可以生成数据。多样性：人们普遍认为使用互联网搜索是数据多样性的主要原因，这种观点部分是正确的。然而，数据多样性的增加主要是由于新的多结构数据，以及包括网络日志、社交媒体、互联网搜索、手机通话记录和传感器网络在内的数据类型。其中，一