云计算大数据技术课后习题

1、精选文档精选文档PAGEPAGE5精选文档PAGE第一章云计算与大数据基础在信息家产的发展历程中。硬件驱动力，网络驱动力，作为两个重要的内在动力在不一样的时期起侧重要的作用25西摩克雷超级计算机之父约翰麦克锡云计算之父蒂姆伯纳斯李万维网发明人第一个网页开发者吉姆格雷大数据之父6MapReduce思想根源LISP语言7.依据资源封装层次，云计算分为Iaaspaassaas三种教材P2教材P8教材P10第二章云计算与大数据有关技术一致性hash算法原理：哈希算法是一种从稀少值到密切值范围的映照方法，在储存和计算定位时能够被看做是一种路由算法。经过这种路与哦算法文件块能被独一的定位到一个节点的地点。

2、传统的hash算法容错性和扩展性都不好，没法有效的适应面向数据系统节点的动向变化。意思就是当集群需要增添节点，传统的hash算法不简单检测到新增添的节点，此为扩展性不好，而一致hash算法增添一个节点只会影响增添的这个节点到前一个节点之间的数据。容错性就是假如不幸一个机器C宕机了,那么机器B和C之间的数据都会被D履行，那么受影响的数据不过机器B和C之间的数据。自然，容错性和扩展性关于节点数许多的集群是比较存心义的，关于节点较少的集群仿佛这两个特征并无什么迷惑力。一致性hash的实质目的就是解决节点屡次变化时的任务分派问题，一致性hash将整个hash值空间组织成一个虚构圆环，我们这里假定某ha

3、sh函数H值空间为0(232-1),即32位无符号整形。下边简述一下一致性hash的原理：这是一致性hash的整个值空间0(232-1)下一步将各个服务器使用Hash进行一个哈希，详细能够选择服务器的ip或主机名作为重点字进行哈希，这样每台机器就能确立其在哈希环上的地点，假定使用四台机器进行hash：将数据key使用同样的函数Hash计算出哈希值，并确立此数据在环上的地点，此后地点沿环顺时针“行走”，第一台碰到的服务器就是其应当定位到的服务器。比如我们有ObjectA、ObjectB、ObjectC、ObjectD四个数据对象，经过哈希计算后，在环空间上的地点以下：依据一致性哈希算法，数据A会

4、被定为到NodeA上，B被定为到NodeB上，C被定为NodeC上，D被定为到NodeD上下边我们看看当集群机器比较少的状况比如系统中只有两台服务器，其环散布以下，此时必定造成大批数据集中到NodeA上，而只有极少许会定位到NodeB上。为认识决这种数据倾斜问题，一致性哈希算法引入了虚构节点体制，即对每一个服务节点计算多个哈希，每个计算结果地点都搁置一个此服务节点，称为虚构节点。详细做法能够在服务器ip或主机名的后边增添编号来实现。比如上边的状况，能够为每台服务器计算三个虚构节点，于是能够分别计算“NodeA#1”、“NodeA#2”、“NodeA#3”、“NodeB#1”、“NodeB#2”

5、、“NodeB#3”的哈希值，于是形成六个虚构节点：同时数据定位算法不变，不过多了一步虚构节点到实质节点的映照，比如定位到“NodeA#1”、“NodeA#2”、“NodeA#3”三个虚构节点的数据均定位到NodeA上。这样就解决了服务节点少时数据倾斜的问题。在实质应用中，往常将虚构节点数设置为32甚至更大，所以即便极少的服务节点也能做到相对平均的数据散布。2.科学研究的四个范式：观察实验、理论、计算仿真、数据3.物联网家产链分为：表记，感知，办理，信息传递4.非关系型数据库分为：(1)Column-Oriented面向检索的列式储存，其储存结构为列式结构如：Google的bigtable，a

6、pache的hbaseKey-Value面向高性能的并发读/写的缓存储存，结构近似于Hash表(hash算法真的要好勤学，用的地方太多了，性能确实也是最高的)，每个key分别对应一个value，这种数据库适适用来作为缓存系统使用，比方：MemcacheDB，BerkeleyDB，redis，flareDocument-Oriented面向海量数据接见的文档储存，这种储存近似key-value形式，不过value主要以JSON或许XML等格式进行储存，比方:mongoDB,CouchDB第三章虚构化技术和Goldberg指出：虚构机拥有同一性，高效性，可控性2.虚构化技术从计算机系统结构层次上可

7、分为以下5类：指令集架构级虚构化，硬件抽象层虚构化，操作系统层虚构化，编程语言上的虚构化，库函数虚构化3.常用的虚构化软件系统有VirtualBox，VMwareWorkstation，KVM系统虚构化拥有硬件没关性，隔绝性，多实例，特权功能等长处。系统虚构化可分为服务器虚构化桌面虚构化网络虚构化6.服务器虚构化依据虚构化的部分可分为CPU虚构化，内存虚构化，I/O虚构化什么是广义虚构化技术：答：虚构化技术是一种逻辑简化技术，实现物理层向逻辑层的变化，对物理层运动复杂性的障蔽，是系统对外运动体现出简单的逻辑运转状态虚构化技术有哪些优势劣势优势：1.虚构化技术可提高资源利用率供给互相隔绝，高效的

8、应用履行环境虚构化能够简化资源和资源管理虚构化实现软件和硬件的分别劣势1.可能会使物理计算机负载过重2.升级和保护惹起的安全问题3.物理计算机的影响第四章集群系统基础1.云计算领域存在两个主要技术路线，一个是鉴于集群技术的云计算资源整合技术，一个是鉴于虚构机的云计算资源切分技术2.集群的设计要考虑5个重点的问题是可用性单调系统映像作业管理并行文件系统高效通讯3.传统的集群系统能够分为高可用性系统负载平衡高性能虚构化4类。4简述Beowulf系统的主要特色答：1Beowulf系统往常由一个管理节点和多个计算节点构成2Beowulf系统往常用最常有的硬件设施构成3Beowulf系统同城采纳哪些低价

9、且广为流传的软件5Lustre储存系统的构成有MDS，MDT，OSS，OST，Client简述面向计算散布式系统，混淆散布式系统，面向数据的散布式系统的实现体制，剖析三种系统的差别.面向计算散布式系统：P59混淆型散布式系统：别：P64表3中散布式系统的对照P60面向数据的散布式系统：P61剖析区第五章MPI-面向计算的高性能集群技术1，什么是MPIMPI（MessagePassingInterface）信息传达接口。它自己不是一个详细的实现，而不过一种标准描绘。2，MPI支持FORTRAN77、C、Fortran90、C+等语言的调用，能知足大多半科学计算的应用需要。3，简述MPICH并行环

10、境成立的主要步骤。(1).配置好NFS服务，实现全部节点对主节点指定文件夹的共享，该文件夹为MPICH的安装地点，数据和程序的储存地点，这样就能够防止在每个节点安装MPICH，启动计算时也能够防止每次向各个节点散发程序。(2).配置好各个节点间的互信，这一步就是实现集群内部个节点间无密码接见，由于MPICH在计算时需要在各节点进行数据互换，集群内的节点应用互相相信的节点。(3).编译安装置置MPICH。4.着手配置MPI节点间的ssh无密码接见。(1)生成私钥id_dsa和公钥(2)将该密钥用作认证，进行接见受权。(3)将/.ssh目录下的文件复制到全部节点。(4)检查能否能够直接（不需要密码

11、）登录其余节点。5，简述鉴于蒙特卡罗思想求值的编程方法，并编写用MPI程序。蒙特卡罗方法，又称为随机抽样或统计试验方法。代码在84第六章Hadoop-散布式大数据系统1.谷歌三宝：mapreduce，bigtable，gfs的工作过程:p93分块策略:p95第七章HPCC-面向数据的高性能计算集群系统1，简述HPCC的主要特色。1）强盛灵巧的ECL语言，显着提高了程序员编程的效率。2）HPCC系统供给的Roxie集群供给了高效的在线查问和剖析服务。3）ECL程序第一编译为优化的C+，高速性能获得保证。4）高效的错误恢复和冗余备份体制。5）稳固和靠谱的系统。6）有关于其余平台，在较低的系统耗费上

12、实现了更高的性能。2，高性能计算当前能够分为两类:一类是面向计算的高性能计算，另一类是面向数据的高性能计算。3，数据密集型集群计算系统主要有HadoopHPCCStormApacheDrillRapidMinerPentaho4,HPCC系统从整体物理上能够看作在同一个集群上部署了Thor(数据加工办理平台)、Roxie(数据查问、剖析和数据库房)两套集群计算系统。5，HPCC的系统服务器包含ECL服务器、Dali服务器、Sasha服务器、DFU服务器、ESP服务器6，简述HPCC平台数据检索任务的履行过程。(1)加载原始数据(2)切分、散发待办理的数据(3)散发后原始数据的ETL办理(4)向Roxie集群公布1187