大数据技术期末考试题及答案

大数据技术期末考试题及答案

一、单项选择题（每题2分，共20分）1.以下哪种数据存储格式适合大规模分布式数据存储？（）A.CSVB.JSONC.ParquetD.XML2.大数据的4V特性不包括以下哪一项？（）A.VolumeB.VarietyC.ValueD.Veracity3.以下哪个是Hadoop分布式文件系统？（）A.HDFSB.MapReduceC.YARND.Spark4.Spark中对弹性分布式数据集（RDD）进行转换操作的函数是（）A.collectB.filterC.countD.take5.以下哪种数据库适合存储非结构化数据？（）A.MySQLB.OracleC.MongoDBD.SQLServer6.Kafka主要用于（）A.数据存储B.数据处理C.消息队列D.数据挖掘7.以下哪个工具常用于数据清洗？（）A.HiveB.PigC.FlumeD.DataCleaner8.机器学习中，线性回归属于（）A.监督学习B.无监督学习C.半监督学习D.强化学习9.在Hive中，创建表的关键字是（）A.CREATETABLEB.INSERTINTOC.SELECTD.UPDATE10.以下哪个不是数据可视化工具？（）A.TableauB.MatplotlibC.KafkaD.Echarts二、多项选择题（每题2分，共20分）1.大数据处理流程一般包括（）A.数据采集B.数据存储C.数据处理D.数据分析E.数据可视化2.以下属于NoSQL数据库的有（）A.RedisB.CassandraC.Neo4jD.PostgreSQLE.HBase3.以下哪些是Spark的组件（）A.SparkCoreB.SparkSQLC.SparkStreamingD.MllibE.GraphX4.Hadoop生态系统包含以下哪些组件（）A.HDFSB.MapReduceC.YARND.HiveE.Pig5.数据采集的方式有（）A.网络爬虫B.传感器采集C.数据库导入D.日志文件收集E.人工录入6.数据挖掘的常用算法有（）A.决策树B.支持向量机C.聚类算法D.关联规则挖掘E.神经网络7.以下哪些属于数据预处理操作（）A.数据清洗B.数据集成C.数据变换D.数据归约E.数据标注8.消息队列的作用有（）A.解耦B.异步处理C.流量削峰D.日志处理E.数据缓存9.数据可视化的作用包括（）A.快速理解数据B.发现数据规律C.辅助决策D.展示数据之美E.提高数据安全性10.以下哪些是分布式计算框架（）A.HadoopB.SparkC.FlinkD.StormE.TensorFlow三、判断题（每题2分，共20分）1.大数据就是数据量特别大的数据。（×）2.HDFS适合存储大量的小文件。（×）3.Spark比MapReduce计算效率更高。（√）4.所有的数据都需要进行清洗。（√）5.无监督学习不需要标记数据。（√）6.Kafka只能处理少量数据。（×）7.Hive是基于Hadoop的数据仓库工具。（√）8.数据可视化可以随意选择图表类型。（×）9.分布式计算框架一定能提高计算速度。（×）10.机器学习算法可以直接处理原始数据。（×）四、简答题（每题5分，共20分）1.简述大数据4V特性的含义。答：Volume（大量）指数据量巨大；Variety（多样）指数据类型多样，如结构化、半结构化和非结构化；Velocity（高速）指数据产生和处理速度快；Value（价值）指数据蕴含巨大价值，但密度低。2.简述Hadoop三大组件的功能。答：HDFS用于分布式存储海量数据；MapReduce是分布式计算框架，负责数据处理；YARN负责资源管理和调度，为HDFS和MapReduce提供资源支持。3.简述数据清洗的主要任务。答：主要任务包括处理缺失值，可采用删除、填充等方法；处理重复数据，去除完全重复或部分重复的数据；处理噪声数据，如通过平滑技术减少异常值影响；纠正错误数据，依据规则修正错误记录。4.简述Spark的优点。答：Spark计算速度快，基于内存计算，减少磁盘I/O；编程模型简洁，支持多种编程语言；具有丰富的组件库，如SparkSQL、Streaming等，可处理多种类型任务；可扩展性强，能在大规模集群上运行。五、讨论题（每题5分，共20分）1.讨论大数据技术在医疗领域的应用及面临的挑战。答：应用有辅助疾病诊断、疾病预测、药物研发等。挑战包括数据隐私和安全问题，医疗数据敏感性高；数据质量参差不齐，格式多样；不同医疗机构数据难以整合，存在数据孤岛现象。2.探讨分布式计算框架在大数据处理中的重要性。答：重要性在于可利用集群资源处理海量数据，提高计算效率和可扩展性。能并行处理数据，缩短处理时间，应对大数据的高速特性。还能容错，部分节点故障不影响整体运行，保障大数据处理任务的稳定执行。3.分析数据可视化在大数据分析中的作用及要点。答：作用是将复杂数据直观展示，便于理解和发现规律，辅助决策。要点是选择合适图表类型准确呈现数据关系；避免过度可视化，保持简洁；标注清晰，确保数据可解读；色彩搭配合理，增强视觉效果