《大数据技术导论 第2版》课后参考答案 程显毅 任越美

参考答案习题1一单选题AAADBCBDDDDBADDD二、填空题1.整体2.数据3.:wq4.资产5.降低风险三、判断题FFTTFTT四、1.（1）对顾客群体细分（2）模拟实境（3）全范围搜索（4）数据存储空间出租（5）管理客户关系（6）个性化精准推荐2.①整体思维②相关思维③容错思维3.习题2一、单选题BBDDCCDBBDADADDBAA二、填空题1.namenode2.start-all.sh3.分布式文件存储系统4.元数据5.editlog6.冷备份7.block/块8.39.NameNode。三、判断题FTFFFFFFFTTT[4]提示：lucene支持随机读写的，而hdfs只支持随机读。四、简答题【1】简述Hadoop安装过程。（1）使用root账户登录（2）查看各节点IP（3）修改hosts文件，配置节点与IP映射（4）设置免密登录（5）关闭防火墙（6）安装JDK（7）解压hadoop安装包（8）配置hadoop系统环境变量，并生效（9）配置hadoop的核心文件hadoop-env.sh，core-site.xml,mapred-site.xml，hdfs-site.xml（10）验证配置是否成功：hadoopversion（11）格式化namenode:hadoopnamenode-format（12）查看守护进程：jps（13）启动hadoop:./start-all.sh【2】叙述NameNode冷备份过程。（1）时间达到你在配置文件中配置的时间(eg:6h)；（2）edits.log已经达到的配置文件中配置的指定大小(eg:64M)。（3）SecondaryNameNode通过周期性(5min)通过getEditLog获取editLog的大小，当其达到合并的大小时通过RollEditLog进行合并；（4）NameNode停止使用editLog文件，并生成一个新的临时文件edit.new;（5）SecondaryNameNode通过NameNode内建的Http服务器，以get的方法获取editLog与fsimage文件(get方法中携带fsimage与editLog的路径)；（6）SecondaryNameNode将fsimage载入内存并逐一执行editlog中的操作；（7）执结束后，会向NameNode发送Http请求，通知NameNode合并结束，NameNode通过Httpget方法获取新的fsimage.chk文件；（8）NameNode更新fsimage文件中的记录检查点执行的时间，并改名为fsimage文件；（9）editLog.new文件改名为edit。【3】观察图2.11，写出你得到的结论。（1）MapReduce是分布式离线计算引擎；（2）MapReduce的输入和输出都是HDFS;（3）MapReduce由两个阶段构成：Map和Reduce；（4）Map负责数据划分，是计算的最小单位；（5）Reduce负责统计汇总，个数比Map少；（6）Map阶段至少有一个，Reduce阶段可以没有；（7）Map和Reduce的输入/输出都是键值对，共有四组键值对；（8）Map和Reduce不能直接通信，需要经过suffle；（9）suffle负责组内、组间归并排序。【4】观察图2.5，写出你得到的结论。（1）HDFS是分布式文件存储系统；（2）HDFS是主从结构，主节点NameNode,从节点DataNode；（3）NameNode只有一个，在内存中存储元数据；（4）元数据指文件片和存储块之间的映射；（5）DataNode有多个，存放真实的数据，存储的最小单位是块，一个块128M；（6）每个块至少备份3份，且不在同一个节点；（7）主节点有三大功能：监控心跳、负载平衡、复制策略；（8）SecondaryNameNode是NameNode的冷备份节点。习题3一、单选题BDCDACD二、填空题1.Extract-Transform-Load2.快照3.数据采集4.数据清洗5.Map6.k1,netcat,type,c17.裸数据8.价值三、判断题TFFTTTF四、简答题【1】简述数据、信息、知识之间关系。(1)分析报告源于数据，而不是知识。知识在数据转化为情报的过程中发挥着支撑作用。在知识的作用下，数据的原有结构与功能发生了改变，并转化为有语义的数据，即信息。对信息进行综合就得到有价值的信息。(2)知识的利用具有普遍性，贯穿整个转化过程。从数据变成信息的过程需要知识，从信息变成分析报告的过程同样也需要知识。【2】观察图3.9，写出你得到的结论。(1)一个agent就是一个JVM。(2)单agent由Source、Sink和Channel三大组件构成。(3)Sink负责持久化日志或者把事件推向另一个Source。(4)为了保证输送一定成功，在送到目的地之前，会先缓存数据到Channel，待数据真正到达目的地后，删除自己缓存的数据。(5)Source组件是专门用于收集日志的，可以处理各种类型各种格式的日志数据，包括Avro、Thrift、Exec、Jms、Spoolingdirectory、Netcat、SequenceGenerator、Syslog、HTTP、Legacy、自定义。(6)Source组件把数据收集来以后，临时存放在Channel中。【3】简述缺失值产生原因。缺失值的产生的原因多种多样，主要分为机械原因和人为原因。机械原因是由于机械原因导致的数据收集或保存的失败造成的数据缺失，比如数据存储的失败，存储器损坏，机械故障导致某段时间数据未能收集（对于定时数据采集而言）。人为原因是由于人的主观失误、历史局限或有意隐瞒造成的数据缺失，比如，在市场调查中被访人拒绝透露相关问题的答案，或者回答的问题是无效的，数据录入人员失误漏录了数据。有时把缺失值看作是一种特殊的特征值，此时缺失值是有意义的。【4】数据透视表的作用。（1）以多种用户友好的方式查询大量数据。（2）分类汇总和聚合数值数据，按类别和子类别汇总数据，以及创建自定义计算和公式。（3）展开和折叠数据级别以重点关注结果，以及深入查看感兴趣的区域的汇总数据的详细信息。（4）可以通过将行移动到列或将列移动到行（也称为“透视”），查看源数据的不同汇总。（5）通过对最有用、最有趣的一组数据执行筛选、排序、分组和条件格式设置，可以重点关注所需信息。（6）提供简明、有吸引力并且带有批注的联机报表或打印报表。习题4一、单选题CDDACBDDBBDD二、填空题1.日志2.HBase3.时间戳4.15.多6.HFile三、判断题TFTFTTF四、简答题【1】简述NoSQL特点。(1)不需要预定义模式：数据中的每条记录都可能有不同的属性和格式。(2)无共享架构：传统数据库需要统一存放到服务器上。NoSQL往往将数据划分后存储在各个本地服务器上。(3)弹性可扩展：可以在系统运行的时候，动态增加或者删除节点。不需要停机维护。(4)分区：相对于将数据存放于同一个节点，NoSQL数据库需要将数据进行分区，将记录分散在多个节点上面。并且通常分区的同时还要做复制。这样既提高了并行性能，又能保证没有单点失效的问题。【2】试述HBase系统基本架构以及每个组成部分的作用。HBase架构如图所示，首先Zookeeper维护了Master与各个RegionServer之间的关系及状态。当一个Client需要访问HBase集群时，会先和Zookeeper进行通信，并得到Master和RegionServer的地址信息。

对于创建表/删除表/修改表来说，客户端会通过Master来进行操作，而正常的表数据读写，则是通过找到对应的RegionServer来操作。(1)zookeeper职责①保证有且仅有一个HMaster是活跃的；②存储所有Region入口地址；③实时监控Region服务器状态；④存储HBase元信息（-ROOT-）；(2)HMaste职责①间接获取Region服务器信息；②分配Region；③负责Region服务器负载均衡；④当Region服务器宕机，从HDFS恢复数据；⑤垃圾文件回收（时间戳管理）；⑥处理Schema更新请求；⑦维护Region元数据信息；(3)Region服务器职责①维护Region（切分Region）；②处理I/O请求；【3】简述HBase数据模型。HBase中需要根据行键、列族、列限定符和时间戳来确定一个单元格，因此，HBase数据模型可以视为一个“四维坐标”，即[行键,列族,列限定符,时间戳]习题5一、单选题ACADAACAD二、填空题1.柱状图2.饼图3.漏斗图三、判断题TFTFFF四、简答题【1】简述数据可视化图形选择建议。【2】为什么要可视化。（1）视觉是人类获得信息的最主要途径。视觉感知是人类大脑的最主要功能之一，超过50%的人脑功能用于视觉信息的处理。（2）数据可视化处理可以洞察统计分析无法发现的结构和细节（价值）。（3）数据可视化处理结果的解读对用户知识水平的要求较低。（4）使人们能够快速吸取大量信息(信息)。（5）正确的数据可视化可以清晰展现数据背后的意义(知识)。【3】如何理解可视化设计？做可视化之前，最好从一个问题开始，要弄清楚你进行可视化设计的目的是什么，你想讲什么样的故事，以及你打算跟谁讲。要讲好故事要回答以下问题：(1)想表达什么？(2)想解决什么样的问题？(3)是否可以实现？(4)谁你是这个数据的使用者？(5)他们需要什么样的数据？(6)如果这个使用者不是你！(7)那他们的偏好是什么？(8)他们的首选是什么？(9)我们是否真正了解他们？【4】简述可视化工具。按照基于的语言大体可分为如下3类：习题6一、单选题ABDBCBBADD二、判断题TFFTFFFTFTTFFTT三、填空题1.scala2.内存3.HDL4.MapReduce5.优化器6.RDD7.宽8.DAG9.Action习题7一、名词解释交叉销售:交叉销售通常是发现一位现有顾客的多种需求，并通过满足其需求而实现销售多种相关的服务或产品。客户分析:客户分析主要是根据客户的基本数据信息进行商业行为分析。首先，界定目标客户，根据客户的需求、目标客户的性质、所处行业的特征和客户的经济状况等基本信息，使用统计分析方法和预测验证法分析目标客户，提高销售效率；其次，了解客户的采购过程，根据客户采购类型、采购性质进行分类分析，制定不同的营销策略；最后，可以根据已有的客户特征进行客户特征分析、客户忠诚分析、客户注意力分析、客户营销分析和客户收益率分析。产品分析:产品分析主要是竞争产品分析，通过对竞争产品的分析制定自身产品策略。价格分析：价格分析又可以分为成本分析和售价分析，成本分析的目的是降低不必要成本，售价分析的目的是制定符合市场的价格。渠道分析：渠道分析是指对产品的销售渠道进行分析，确定最优的渠道配比。工业大数据：工业大数据是指在工业领域中，围绕典型智能制造模式，从客户需求到销售、订单、计划、研发、设计、工艺、制造、采购、供应、库存、发货和交付、售后服务、运维、报废或回收再制造等整个产品全生命周期各个环节所产生的各类数据及相关技术和应用的总称。二、简答题【1】简述大数据在零售行业市场营销中的应用。参考答案：图7.1【2】简述大数据在零售行业商品管理中的应用。参考答案：图7.1【3】简述大数据在零售行业运营管理中的应用。参考答案：图7.1【4】谈谈交通大数据的应用。（1）道路运输安全事故预警（2）城市道路交通信号灯智能调时（3）绘制实时路况信息图（4）停车管理【5】谈谈大数据电子病历的作用。（1）可以为疑难重症患者寻求优选就近治疗途径（2）可以为主治医师寻求最佳临床治疗方案提供参考（3）可以为慢性病患者自我改善健康状况提供远程信息服务【6】大数据在流行病防控具体应用。（1）建立人口流动数据系统（2）追踪疫情最新进展（3）共享公共信息平台【7】农业大数据产前阶段应用。（1）土壤墒情监测（2）环境气象检测（3）精准播种【8】人工智能在畜牧业中应用。（1）计数。对散养鸡、牛、羊等，可以将高清摄像头对着通道，牲畜走过的时候进行计数，通过无线通信连接网络，把计数结果传到云端存储。（2）家畜的识别，猪脸识别。通过高清摄像头抓拍猪脸，传到后端，对猪脸数据进行标注和训练，可以识别出不同的猪；猪脸结构比较复杂，要识别具体那只猪比较困难，要不断地调优训练。还可以利用猪脸异常表现确定是否发情、生病。（3）家畜联网，猪联网、牛联网，跑步猪计步。通过耳钉、指环、腿环等物联网终端，标示牲畜的唯一性，周期性上报信息，也可以装上计步器、定位芯片实现牲畜联网。（4）家畜养殖供需预测。采集养殖业的各种数据、市场销售数据、猪流行病数据，建立牲畜出栏、存栏、售价曲线，及时调整养殖策略。（5）体重判断。牲畜是否长成，及时出栏是非常重要的，代表着成本和收益，因为牲畜长成之后就会长得很慢，体重甚至会下降。结合牲畜识别技术，每天抓拍到同一头牲畜时对体型进行3D建模，判断体重，进而判断长势情况，对于长成的猪及时提示出栏。（6）牲畜流行病监控。根据牲畜的发病数据进行监测，发布流行病趋势，给养殖企业提供指引。（7）幼崽声音监测。幼崽死亡诱因之一就是成年猪挤压，而语音识别技术能够有效捕捉幼崽在被挤压时发出的叫声，让系统能够第一时间监测到。【9】教育大数据作用。教育局：辅助决策，提升教育质量。教研室：优化教研，高效督导。学校：评先推优，提高教学水平。教师：分层教学，因材施教。学生：精准推送，个性化辅导。【10】政府大数据应用。（1）治理逃税漏税（2）安全生产预警（3）精准扶贫（4）公安大数据（5）舆情监督习题8一、判断题【1】大数据的数据量大且相互关联，黑客不容易一次成功的攻击就能够获