《大数据技术原理与操作应用》第4章习题答案

第4章课后习题答案一、单选题1.在MapReduce程序中,map()函数接收的数据格式是(A.字符串B.整型C.LongD.键值对参考答案：D2.每个Map任务都有一个内存缓冲区,默认大小是()。A.128MBB.64MBC.100MBD.32MB参考答案：C3.在MapTask的Combine阶段,当处理完所有数据时,MapTask会对所有的临时文件进行一次()。A.分片操作B.合并操作C.格式化操作D.溢写操作参考答案：B4.下列选项中,主要用于决定整个MapReduce程序性能高低的阶段是()。A.MapTaskB.ReduceTaskC.分片、格式化数据源D.Shuffle参考答案：D二、判断题1.MapReduce编程模型借鉴了面向过程的编程语言的设计思想。()参考答案：错2.在MapReduce程序进行格式化数据源操作时,是将划分好的分片格式化为键值对“<key,value>”形式的数据。()参考答案：对3.带有倒排索引的文件称为“倒排索引文件”,简称“倒排文件”。()参考答案：对4.reduce()函数会将map()函数输出的键值对作为输入,将相同key值的value进行汇总,输出新的键值对。()参考答案：对5.MapReduce通过TextOutputFormat组件输出到结果文件中。()参考答案：对6.Combiner组件可以让Map对key进行分区,从而可以根据不同的key分发到不同的Reduce中去处理。()参考答案：错7.对于MapReduce任务来说,一定需要Reduce过程。()参考答案：错8.在MapReduce程序中,只有Map阶段涉及Shuffle机制。()参考答案：错9.MapReduce的数据流模型可能只有Map过程,由Map产生的数据直接被写入HDFS中。()参考答案：对10.Hadoop提供的Mapper类是实现Map任务的一个抽象基类。()参考答案：对11.MapTask作为MapReduce工作流程的前半部分,它主要经历Read阶段、Map阶段、Collect阶段、Spill阶段和Shuffle阶段。()参考答案：错12.MapReduce是Hadoop系统核心组件之一,它是一种可用于大数据并行处理的计算模型、框架和平台。()参考答案：对13.由于Combiner组件不允许改变业务逻辑,所以无论调用多少次Combiner,Reduce的输出结果都是一样的。()参考答案：对14.ReduceTask作为MapReduce工作流程的后半部分,主要经历了Copy阶段、Merge阶段、Sort阶段、Reduce阶段和Write阶段。()参考答案：对15.在Reduce阶段,设置Map和Reduce共存,当Map运行到一定程度后,Reduce也开始运行,减少Reduce的等待时间,可以提高MapReduce的性能。()参考答案：对三、填空题1.在MapTask的Split阶段，将数据写入本地磁盘前，要对数据进行一次______________，并在必要时对数据进行合并、压缩等操作。参考答案：本地排序2._________________是MapReduce的核心，它用来确保每个Reducer的输入都是按键排序的。参考答案：Shuffle3.MapReduce编程组件中，_______________组件主要用于描述输入数据的格式。参考答案：InputFormat4.当Map任务写入内存缓存区的数据到达阈值_______________时，会启动一个线程将内存中的溢出数据写入磁盘。参考答案：80M5.MapReduce程序的运行模式主要有两种，即本地运行模式和______________。参考答案：集群运行模式6._____________是文档检索系统中最常用的数据结构，被广泛应用于全文搜索引擎。参考答案：倒排索引7.MapReduce的核心思路是_______________。参考答案：分而治之8.____________是指从研究对象中按照某一个指标进行倒序或正序排列，取其中所需的n个数据，并对这n个数据进行重点分析的方法。参考答案：TopN分析法9.输入Map阶段的数据源，必须经过___________和格式化操作。参考答案：分片10.默认情况下，run()方法中的setup()和cleanup()方法在内部不作任何处理；也就是说，__________方法是处理数据的核心方法。参考答案：reduce()11.ReduceTask在Sort阶段，为了将key相同的数据聚在一起，Hadoop采用了_____________基于的策略。参考答案：排序12.______________组件的作用就是对Map阶段的输出的重复数据先进一次合并计算，然后将新的<key,value>对作为Reduce阶段的输入。参考答案：Combiner13.Reduce是MapReduce数据流模型的最后处理过程，其结果___________进行第二次汇总。参考答案：不会14.MapReduce通过默认组件________________将待处理的数据文件的每一行数据都转变为<key,value>键值对。参考答案：TextInputFormat15.MapReduce在操作海量数据时，每个MapReduce程序被初始化为一个工作任务，每个工作任务可以分为_____________和____________两个阶段。参考答案：Map、Reduce16.MapReduce编程模型的实现过程是通过___________和____________函数来完成的。参考答案：map()、reduce()四、简答题1.简述MapReduce的Map阶段和Reduce阶段。参考答案：Map阶段：负责将任务分解，即把复杂的任务分解成若干个“简单的任务”来并行处理，但前提是这些任务没有必然的依赖关系，可以单独执行任务。Reduce阶段：