大数据技术与应用专业知识考核题目及答案

大数据技术与应用专业知识考核题目及答案一、单项选择题（本大题共25小题，每小题2分，共50分。每小题只有一个正确答案，选出正确选项）1.Hadoop生态系统中，用于分布式存储的核心组件是（）A.HadoopMapReduceB.HDFSC.YARND.ZooKeeper2.Spark中，以下哪种数据结构是基于内存的分布式弹性数据集（）A.DataFrameB.DatasetC.RDDD.DataSet3.以下哪种数据库不属于NoSQL数据库范畴（）A.MongoDBB.HBaseC.MySQLD.Redis4.HadoopMapReduce中，Map阶段的主要作用是（）A.数据聚合B.数据分片与转换C.数据排序D.数据输出5.用于协调Hadoop集群中各个组件，保证分布式环境一致性的组件是（）A.HDFSB.YARNC.ZooKeeperD.Flume6.Spark中，以下哪个模块用于处理流数据（）A.SparkCoreB.SparkSQLC.SparkStreamingD.SparkMLlib7.HBase中，数据的存储结构是基于（）的A.行和列B.行和列族C.文档D.键值对8.以下哪种工具用于采集日志数据并实时传输到Hadoop生态系统（）A.SqoopB.FlumeC.KafkaD.Storm9.大数据处理流程中，“数据清洗”的主要目的是（）A.扩大数据量B.去除噪声和冗余数据C.加密数据D.压缩数据10.Kafka中，用于存储消息的基本单元是（）A.TopicB.PartitionC.BrokerD.Consumer11.HadoopYARN的主要功能是（）A.分布式存储B.资源管理与任务调度C.数据计算D.集群监控12.SparkSQL中，用于读取关系型数据库数据的API是（）A.JDBCB.ODBCC.HiveContextD.SparkContext13.以下哪种算法不属于大数据挖掘中的聚类算法（）A.K-MeansB.DBSCANC.决策树D.层次聚类14.HDFS中，NameNode的主要作用是（）A.存储实际数据块B.管理文件系统的元数据C.执行计算任务D.协调数据传输15.Redis中，默认的数据持久化方式不包括（）A.RDBB.AOFC.内存快照D.日志追加16.用于在Hadoop和关系型数据库之间进行数据导入导出的工具是（）A.FlumeB.SqoopC.KafkaD.DataStage17.Spark中，以下哪种操作是宽依赖操作（）A.mapB.filterC.reduceByKeyD.flatMap18.数据仓库的核心特点是（）A.实时性B.面向事务处理C.面向主题D.高并发写入19.HBase中，用于唯一标识一行数据的是（）A.列族B.列名C.行键（RowKey）D.时间戳20.以下哪种工具用于大数据可视化分析（）A.HiveB.TableauC.SparkD.Hadoop21.HadoopMapReduce中，Reduce阶段的输入数据格式是（）A.键值对B.原始数据C.排序后的键值对D.分片数据22.SparkStreaming中，默认的批处理时间间隔单位是（）A.毫秒B.秒C.分钟D.小时23.以下哪种技术不属于大数据存储技术（）A.HDFSB.HBaseC.MongoDBD.SparkMLlib24.Kafka中，Broker的作用是（）A.生产消息B.消费消息C.存储消息和提供服务D.管理Topic25.大数据技术中，“数据脱敏”的主要目的是（）A.提高数据处理速度B.保护数据隐私C.减少数据存储量D.优化数据结构二、多项选择题（本大题共10小题，每小题3分，共30分。每小题有多个正确答案，多选、少选、错选均不得分）1.Hadoop生态系统包含的核心组件有（）A.HDFSB.MapReduceC.YARND.HiveE.ZooKeeper2.Spark支持的部署模式包括（）A.本地模式B.Standalone模式C.YARN模式D.Mesos模式E.Cloud模式3.NoSQL数据库的类型包括（）A.键值存储数据库B.文档存储数据库C.列存储数据库D.图数据库E.关系型数据库4.以下属于数据采集工具的有（）A.FlumeB.SqoopC.KafkaD.LogstashE.Spark5.HBase的核心组件包括（）A.NameNodeB.RegionServerC.HMasterD.DataNodeE.ZooKeeper6.大数据处理的主要阶段包括（）A.数据采集B.数据存储C.数据处理与分析D.数据可视化E.数据安全7.Spark的核心模块包括（）A.SparkCoreB.SparkSQLC.SparkStreamingD.SparkMLlibE.SparkGraphX8.Kafka的核心概念包括（）A.TopicB.PartitionC.BrokerD.ProducerE.Consumer9.数据仓库设计的核心原则包括（）A.面向主题B.集成性C.稳定性D.时变性E.非易失性10.大数据安全技术包括（）A.数据加密B.数据脱敏C.访问控制D.数据备份与恢复E.入侵检测三、填空题（本大题共10小题，每小题1分，共10分。请在横线处填写正确答案）1.HDFS中，存储实际数据块的节点是______。2.Spark中，RDD的中文全称是______。3.用于分布式协调服务的组件ZooKeeper，默认的端口号是______。4.Hive是基于Hadoop的数据仓库工具，它将结构化数据映射为______。5.Kafka中，消息的生产者是______，消费者是______。6.HBase中，列族是在______时定义的，而列是在写入数据时动态添加的。7.SparkSQL中，DataFrame是一种以______为组织形式的分布式数据集。8.大数据的4V特征包括Volume（体量大）、Velocity（速度快）、Variety（多样性）和______。9.Flume中，数据传输的基本单元是______。10.Redis是一种基于______的键值存储数据库，支持多种数据结构。四、实操题（本大题共3小题，每小题10分，共30分。请写出完整操作命令或代码片段）1.基于Hadoop生态，完成以下操作需求：（1）使用HDFS命令创建目录“/bigdata/exam”，并将本地文件“/home/user/data/user.csv”上传至该目录；（2）使用Sqoop将MySQL数据库中“test”库的“order”表（主键为order_id）导入至HDFS的“/bigdata/exam/order”目录，要求按order_date字段分区，导入前清空目标目录；（3）使用HiveSQL创建外部表“order_external”，关联HDFS上的“/bigdata/exam/order”目录，表结构与MySQL的order表一致，分区字段为order_date（DATE类型）；（4）使用HiveSQL查询2024年1月的订单总数及总金额（金额字段为amount），按日分组统计。2.基于SparkCore，使用Scala语言编写代码片段，完成以下需求：现有RDD数据（格式为：(用户ID,商品类别,消费金额)），请实现以下功能：（1）过滤出消费金额大于100的记录；（2）按商品类别分组，计算每个类别的总消费金额和平均消费金额；（3）按总消费金额降序排序，取前10个商品类别；（4）将结果保存至HDFS的“/bigdata/exam/spark_result”目录，要求结果按制表符分隔。3.基于Kafka和Flume，完成以下配置及操作需求：（1）创建KafkaTopic，名称为“user_behavior”，分区数为3，副本数为2；（2）配置FlumeAgent，将本地日志文件“/var/log/user/behavior.log”中的数据实时采集至Kafka的“user_behavior”Topic，要求设置日志滚动监控，采集间隔为5秒；（3）编写Kafka消费者命令，消费“user_behavior”Topic中的数据，并将消费到的数据输出至本地文件“/home/user/kafka_consumer.log”；（4）配置Kafka消费者，设置消费组ID为“user_group”，从Topic的起始位置开始消费。参考答案一、单项选择题1.B2.C3.C4.B5.C6.C7.B8.B9.B10.B11.B12.A13.C14.B15.C16.B17.C18.C19.C20.B21.C22.B23.D24.C25.B二、多项选择题1.ABCDE2.ABCD3.ABCD4.ABCD5.BCE6.ABCDE7.ABCDE8.ABCDE9.ABCDE10.ABCDE三、填空题1.DataNode2.弹性分布式数据集3.21814.数据库表和SQL查询5.Producer、Consumer6.创建表7.命名列8.Value（价值密度低）9.Event（事件）10.内存四、实操题1.对应操作命令：（1）hdfsdfs-mkdir-p/bigdata/exam；hdfsdfs-put/home/user/data/user.csv/bigdata/exam/；（2）sqoopimport--connectjdbc:mysql://localhost:3306/test--usernameroot--password123456--tableorder--split-byorder_id--target-dir/bigdata/exam/order--delete-target-dir--partition-byorder_date--as-textfile；（3）CREATEEXTERNALTABLEorder_external(order_idINT,user_idINT,amountDECIMAL(10,2),pay_typeSTRING,order_dateDATE)PARTITIONEDBY(order_dateDATE)ROWFORMATDELIMITEDFIELDSTERMINATEDBY','LOCATION'/bigdata/exam/order';MSCKREPAIRTABLEorder_external;；（4）SELECTorder_date,COUNT(order_id)ASorder_count,SUM(amount)AStotal_amountFROMorder_externalWHEREorder_dateBETWEEN'2024-01-01'AND'2024-01-31'GROUPBYorder_date;；2.对应Scala代码片段：importorg.apache.spark.{SparkConf,SparkContext}

objectSparkRDDExam{

defmain(args:Array[String]):Unit={

valconf=newSparkConf().setAppName("SparkRDDExam").setMaster("local[*]")

valsc=newSparkContext(conf)

//假设初始RDD已创建，名为userRDD

valfilteredRDD=userRDD.filter(_._3>100)

valcategoryStatsRDD=filteredRDD.map(t=>(t._2,(t._3,1)))

.reduceByKey((x,y)=>(x._1+y._1,x._2+y._2))

.mapValues(t=>(t._1,t._1/t._2))

valsortedRDD=categoryStatsRDD.sortBy(_._2._1,ascending=false).take(10)

sc.parallelize(sortedRDD)

.map(t=>s"${t._1}\t${t._2._1}\t${t._2._2}")

.saveAsTextFile("/bigdata/exam/spark_result")

sc.stop()

}

}3.对应配置及命令：（1）kafka-topics.sh--bootstrap-serverlocalhost:9092--create--topicuser_behavior--partitions3--replication-factor2；（2）FlumeAgent配置文件（user_behavior.conf）：

agent.sources=r1

agent.channels=c1

agent.sinks=k1

#Source配置

agent.sources.r1.type=exec

mand=tail-F/var/log/user/behavior.log

agent.sources.r1.batchSize=100

agent.sources.r1.channels=