大数据综合测试题及答案内容

大数据综合测试题及答案内容考试时间：______分钟总分：______分姓名：______一、选择题（每题2分，共20分）1.大数据的“4V”特征不包括（）。A.Volume（大量性）B.Velocity（高速性）C.Validity（有效性）D.Value（价值性）2.Hadoop生态中，负责资源管理与任务调度的组件是（）。A.HDFSB.MapReduceC.YARND.ZooKeeper3.Spark中，用于处理实时数据的抽象是（）。A.RDDB.DataFrameC.DStreamD.Dataset4.数据清洗中，处理缺失值的常见方法不包括（）。A.删除缺失值B.用平均值填充C.用中位数填充D.用随机数填充5.批处理与流处理的主要区别在于（）。A.数据量大小B.处理延迟C.存储格式D.编程语言6.CAP理论中，C代表（）。A.一致性B.可用性C.分区容错性D.持久性7.HBase适合存储的数据类型是（）。A.结构化数据B.半结构化数据C.非结构化数据D.所有类型8.Kafka的分区数影响（）。A.数据存储大小B.消息并行处理能力C.数据压缩率D.消费者数量9.SparkRDD的弹性体现在（）。A.数据量可变B.计算可重试C.存储可扩展D.任务可调度10.数据湖与数据仓库的主要区别是（）。A.数据格式B.存储成本C.数据处理方式D.数据来源二、填空题（每题2分，共20分）1.HDFS默认的块大小为______MB，适用于存储______文件。2.Spark中，用于处理实时数据的抽象是______，其特点是______。3.MapReduce的Shuffle阶段主要负责______和______。4.数据清洗中，处理异常值的常见方法包括______和______。5.Kafka中，生产者发送消息时指定的键用于______。6.SparkMLlib中，用于分类的算法是______。7.HBase的列簇设计原则是______。8.数据湖适合存储______数据。9.Flink的流处理模型是______驱动。10.Spark的______参数控制每个执行器的内存大小。三、简答题（每题6分，共24分）1.简述MapReduce的工作流程，并说明其“分而治之”思想的体现。2.数据清洗中，处理缺失值的常见方法有哪些？请举例说明适用场景。3.批处理与流处理的优缺点分别是什么？4.简述HDFS的架构及其组件功能。四、案例分析题（每题10分，共20分）1.某电商平台希望分析用户行为数据（如浏览、点击、购买），以优化商品推荐算法。请设计一个大数据处理流程，说明数据采集、存储、计算、分析的全方案（需包含技术选型及理由）。2.某物联网公司需要实时处理10万/秒的传感器数据（温度、湿度、位置），并触发异常告警（如温度>80℃）。请选择合适的技术栈，说明实时处理架构及关键步骤。五、编程题（每题8分，共16分）1.使用Python的Pandas库，读取CSV文件`user_behavior.csv`（包含`user_id`、`item_id`、`behavior_type`、`timestamp`列），统计每个用户的“购买”行为次数，并按次数降序排序输出前10名用户。2.使用Spark（PySpark），读取HDFS上的`logs.txt`（每行格式为`iptimestampurl`），统计每个URL的访问次数，并过滤出访问次数>100的URL。试卷答案一、选择题（每题2分，共20分）1.C解析：大数据4V特征为Volume（大量性）、Velocity（高速性）、Variety（多样性）、Value（价值性），Validity（有效性）不属于4V特征。2.C解析：YARN（YetAnotherResourceNegotiator）是Hadoop生态中的资源管理和任务调度组件，HDFS负责存储，MapReduce负责计算，ZooKeeper负责协调。3.C解析：DStream（DiscretizedStream）是Spark中处理实时数据的抽象，RDD是弹性分布式数据集，DataFrame/Dataset是结构化数据处理抽象。4.D解析：处理缺失值常用方法包括删除缺失值、用统计量（均值/中位数）填充，用随机数填充会引入噪声，不属于规范方法。5.B解析：批处理处理历史数据延迟高但吞吐量大，流处理实时延迟低但吞吐量相对较小，核心区别在于处理延迟。6.A解析：CAP理论中C代表一致性（Consistency），A代表可用性（Availability），P代表分区容错性（PartitionTolerance）。7.A解析：HBase是列式NoSQL数据库，适合存储结构化或半结构化数据，非结构化数据通常存储在HDFS或对象存储中。8.B解析：Kafka分区数决定并行处理能力，每个分区可由一个消费者线程独立处理，分区数影响消息并行处理能力。9.B解析：SparkRDD的弹性体现在数据不可变但可重算，任务失败时可重新计算分区，保证容错性。10.D解析：数据湖存储原始多源数据（结构化/半结构化/非结构化），数据仓库存储清洗后的结构化数据，核心区别是数据来源和处理方式。二、填空题（每题2分，共20分）1.128；大解析：HDFS默认块大小为128MB，适合存储大文件以减少寻址开销。2.DStream；有状态解析：DStream是SparkStreaming的核心抽象，支持有状态计算（如updateStateByKey）。3.数据分组；数据排序解析：Shuffle阶段对Map输出的中间结果按key分组、排序，为Reduce阶段准备数据。4.过滤异常值；替换为边界值解析：处理异常值常用方法包括删除异常记录或替换为合理边界值（如用99分位数替换极端值）。5.消息分区解析：Kafka消息的key决定分区，确保相同key的消息发送到同一分区，保证顺序性。6.逻辑回归/决策树解析：SparkMLlib提供多种分类算法，如逻辑回归（LogisticRegression）、决策树（DecisionTreeClassifier）。7.列簇数量少解析：HBase列簇设计原则是数量少（通常1-3个），避免过多列簇导致性能下降。8.多源异构解析：数据湖适合存储结构化、半结构化、非结构化多源异构数据。9.事件解析：Flink采用事件驱动模型，每条数据作为独立事件处理，支持低延迟实时计算。10.spark.executor.memory解析：该参数控制每个Executor进程的内存大小，影响任务并行度和性能。三、简答题（每题6分，共24分）1.答案：MapReduce工作流程：1.输入分片：将文件切分为Split，每个Split由一个Map任务处理；2.Map阶段：读取Split数据，输出<key,value>中间结果；3.Shuffle阶段：对Map输出按key分组、排序，传输到Reduce节点；4.Reduce阶段：聚合分组数据，输出最终结果；5.输出：将结果写入HDFS。"分而治之"体现：将大文件拆分为小任务（分片），并行处理Map任务；通过Shuffle聚合中间结果，合并为全局结果（治）。2.答案：处理缺失值方法及场景：-删除缺失值：适用于缺失率低且不影响数据完整性的场景（如用户ID缺失直接删除）；-填充统计量：用均值（数值型数据，如用户年龄）、中位数（偏态分布，如收入）或众数（分类数据，如地区）填充；-预测填充：用模型（如回归）预测缺失值，适用于高价值数据（如用户消费金额）。3.答案：批处理优缺点：优点：吞吐量高、适合海量数据计算、容错性强；缺点：延迟高（分钟/小时级）、不适用于实时场景。流处理优缺点：优点：延迟低（毫秒/秒级）、适合实时监控；缺点：吞吐量相对较低、容错机制复杂（如Flink检查点）。4.答案：HDFS架构及组件功能：-NameNode：管理文件系统元数据（目录结构、块位置），协调客户端访问；-DataNode：存储实际数据块，响应NameNode的读写请求；-SecondaryNameNode：定期合并NameNode的编辑日志与镜像文件，辅助恢复元数据；-客户端：提供HDFS操作接口（如`hadoopfs`命令）。四、案例分析题（每题10分，共20分）1.答案：电商平台用户行为分析方案：-数据采集：Flume采集日志，Kafka接入埋点数据（高并发、低延迟）；-数据存储：原始数据存HDFS（低成本），结构化数据存HBase（随机读写快）；-数据清洗：SparkSQL处理缺失值（删除/填充）、异常值（过滤重复数据）；-特征提取：SparkMLlib提取用户行为特征（点击频率、购买转化率）、商品特征（销量、评分）；-模型训练：ALS算法训练协同过滤模型，交叉验证优化参数；-推荐服务：模型结果存Redis，API实时返回推荐列表。2.答案：物联网实时处理架构：-数据采集：Kafka接入传感器数据（10万/秒吞吐）；-实时计算：Flink流处理引擎，事件驱动模型处理数据；-异常检测：使用FlinkCEP库定义规则（如温度>80℃触发告警）；-告警输出：通过Kafka发送告警消息到监控系统（如Prometheus）；-存储备份：原始数据存HDFS（长期存储），实时指标存Elasticsearch（快速查询）。五、编程题（每题8分，共16分）1.答案：```pythonimportpandasaspd#读取CSV文件df=pd.read_csv('user_behavior.csv')#筛选购买行为buy_data=df[df['behavior_type']=='buy']#统计每个用户的购买次数user_counts=buy_data.groupby('user_id').size().reset_index(name='buy_count')#排序并输出前10名top_users=user_counts.sort_values('buy_count',ascending=False).head(10)print(top_users)```2.答案：```pythonfrompyspark.sqlimportSparkSession#创建SparkSessionspark=SparkSession.builder.appName("URLCount").getOrCreate()#读取HDFS文件logs_df=spark.read.text("hdfs://path/to/logs.txt")#提取URL列url_rdd=logs_df.rdd.map(lambdarow: