(2025年)海量高质量大数据试题及答案

(2025年)海量高质量大数据试题及答案一、单项选择题（每题2分，共20分）1.2025年某电商平台需实时采集用户点击流数据，要求支持高吞吐、低延迟且具备容错机制，最适合的工具是（）A.SqoopB.FlumeC.KafkaD.Logstash答案：C（Kafka作为分布式流处理平台，支持高吞吐实时数据传输，内置消息持久化和容错机制，适合点击流这类实时高频数据采集）2.某医疗大数据平台采用HBase存储患者诊疗记录，需快速查询某患者近3年的所有就诊记录，合理的RowKey设计策略是（）A.患者ID+就诊时间（倒序）B.就诊时间+患者IDC.科室ID+患者IDD.诊断结果+患者ID答案：A（HBase按RowKey排序存储，患者ID作为前缀可聚合同一患者数据，就诊时间倒序便于快速获取最新记录）3.Spark中执行`rdd1.join(rdd2)`操作时，若rdd1的分区数为8，rdd2的分区数为12，且采用默认分区器，最终输出RDD的分区数是（）A.8B.12C.20D.由Hash分区器决定，通常为较大的分区数答案：D（Spark默认使用HashPartitioner，分区数取两个RDD分区数的最大值，本题中为12，但实际取决于具体实现，通常取较大值）4.2025年某城市交通大数据平台需分析早高峰时段各路口拥堵关联关系，应采用的数据挖掘方法是（）A.聚类分析B.关联规则挖掘C.分类预测D.时间序列分析答案：B（关联规则挖掘用于发现数据项之间的关联关系，适合分析路口拥堵的相关性）5.关于Flink的时间窗口，以下描述正确的是（）A.事件时间（EventTime）以任务启动时间为基准B.处理时间（ProcessingTime）可能因系统延迟导致窗口计算不准确C.会话窗口（SessionWindow）必须指定固定长度D.滑动窗口（SlidingWindow）的大小必须小于滑动间隔答案：B（处理时间基于算子处理数据的系统时间，若数据延迟到达，窗口可能提前关闭，导致计算偏差；事件时间基于数据本身的时间戳；会话窗口无固定长度，通过间隔定义会话结束；滑动窗口大小可大于等于滑动间隔）6.某金融大数据平台需存储结构化交易数据，要求支持复杂SQL查询且具备列式存储优势，应选择的技术是（）A.HDFSB.HBaseC.HiveD.Cassandra答案：C（Hive基于Hadoop，支持类SQL查询（HiveQL），采用列式存储（如ORC、Parquet格式），适合结构化数据的复杂查询）7.数据清洗中处理“某电商用户年龄字段出现‘200’”的异常值，最合理的方法是（）A.直接删除该记录B.用字段均值替换C.检查数据采集逻辑，确认是否为输入错误后修正D.标记为缺失值并保留答案：C（异常值需先追溯来源，判断是数据采集错误（如输入时多输0）还是真实值，再决定修正方式，避免直接删除或替换导致信息丢失）8.2025年某AI客服系统需分析用户对话文本的情感倾向（积极/中性/消极），应采用的机器学习算法是（）A.K-meansB.逻辑回归C.主成分分析（PCA）D.决策树答案：B（情感倾向属于分类问题，逻辑回归是经典的二分类/多分类算法；K-means是聚类，PCA是降维，决策树虽可分类但本题更侧重线性分类场景）9.关于数据可视化，以下说法错误的是（）A.热力图适合展示二维数据的密度分布B.折线图主要用于呈现数据随时间的变化趋势C.箱线图无法反映数据的离散程度D.散点图可用于观察两个变量的相关性答案：C（箱线图通过四分位数、上下限等可反映数据的离散程度和异常值）10.某物联网平台需处理每秒10万条设备传感器数据（温度、湿度、电压），要求延迟低于100ms，应选择的计算框架是（）A.HadoopMapReduceB.SparkCoreC.SparkStreamingD.Flink答案：D（Flink是真正的流处理框架，支持毫秒级延迟；SparkStreaming基于微批处理，延迟通常在秒级；MapReduce是批处理，不适合实时场景）二、多项选择题（每题3分，共15分，少选、错选均不得分）1.以下属于Hadoop生态组件的有（）A.ZooKeeperB.PrestoC.FlinkD.Hive答案：A、D（ZooKeeper用于分布式协调，Hive是数据仓库工具；Presto是分布式SQL查询引擎，Flink是流处理框架，均非Hadoop原生生态）2.数据清洗的主要任务包括（）A.处理缺失值B.纠正数据格式错误C.去除重复记录D.特征工程答案：A、B、C（数据清洗是预处理阶段，解决数据质量问题；特征工程属于建模前的特征处理，不属于清洗范畴）3.Flink的窗口（Window）类型包括（）A.滚动窗口（TumblingWindow）B.滑动窗口（SlidingWindow）C.会话窗口（SessionWindow）D.全局窗口（GlobalWindow）答案：A、B、C、D（Flink支持四类窗口，全局窗口需配合触发器使用）4.机器学习中属于监督学习的算法有（）A.支持向量机（SVM）B.随机森林C.KNND.DBSCAN答案：A、B、C（监督学习需要标签，SVM、随机森林、KNN均为监督学习；DBSCAN是无监督聚类算法）5.数据安全与隐私保护的技术手段包括（）A.数据脱敏（如匿名化、去标识化）B.联邦学习（FederatedLearning）C.区块链存证D.数据加密（如AES、RSA）答案：A、B、C、D（四者均为常见数据安全技术，联邦学习可在不共享原始数据的前提下训练模型）三、判断题（每题2分，共10分，正确填“√”，错误填“×”）1.HDFS适合存储大量小文件，因为其元数据管理效率高。（）答案：×（HDFS设计为存储大文件，小文件会占用NameNode内存，降低元数据管理效率）2.SparkRDD是不可变的分布式数据集，所有转换操作都会提供新的RDD。（）答案：√（RDD的不可变性是其核心特性，确保容错性）3.数据仓库（DataWarehouse）主要用于支持实时事务处理（OLTP）。（）答案：×（数据仓库支持联机分析处理（OLAP），OLTP是数据库的核心功能）4.关联规则中的置信度（Confidence）表示规则的支持度与前件支持度的比值。（）答案：√（置信度=支持度(前件∧后件)/支持度(前件)）5.实时数据处理要求数据在产生后立即处理，因此不需要考虑数据延迟问题。（）答案：×（实时处理需应对网络延迟、设备故障等导致的数据延迟，通常通过水印（Watermark）机制处理）四、简答题（每题6分，共30分）1.简述Hive与传统关系型数据库（如MySQL）的主要区别。答案：①数据存储：Hive基于HDFS，适合海量数据存储；MySQL基于本地磁盘，存储规模较小。②处理方式：Hive通过MapReduce（或Spark）进行批处理，延迟高；MySQL支持实时OLTP，延迟低。③应用场景：Hive用于离线分析；MySQL用于事务处理。④数据结构：Hive模式（Schema）在读取时检查（SchemaonRead）；MySQL模式在写入时检查（SchemaonWrite）。2.解释Spark中“宽依赖（WideDependency）”和“窄依赖（NarrowDependency）”的区别，并各举一例。答案：窄依赖：子RDD的每个分区仅依赖父RDD的少量分区（如map、filter），可在一个节点上流水线计算；宽依赖：子RDD的分区依赖父RDD的多个分区（如groupByKey、join），需通过Shuffle跨节点传输数据。窄依赖示例：rdd.map(x=>x2)；宽依赖示例：rdd.groupByKey()。3.数据挖掘的主要任务有哪些？请列举并简要说明。答案：①分类（Classification）：根据标签训练模型，预测新数据的类别（如预测用户是否流失）。②聚类（Clustering）：将数据分组，组内相似性高，组间低（如客户分群）。③关联规则（AssociationRules）：发现数据项间的关联（如“买啤酒的用户常买尿布”）。④回归（Regression）：预测连续值（如预测商品销量）。⑤异常检测（AnomalyDetection）：识别不符合模式的数据（如信用卡盗刷）。4.对比实时数据处理（如Flink）与批处理（如HadoopMapReduce）的适用场景及优缺点。答案：适用场景：实时处理用于需要毫秒/秒级响应的场景（如实时监控、推荐）；批处理用于离线分析（如每日报表、历史数据挖掘）。优点：实时处理延迟低，能及时反映数据变化；批处理适合大规模数据，计算资源利用率高。缺点：实时处理对系统稳定性要求高，复杂度大；批处理无法处理实时需求，延迟高。5.数据湖（DataLake）与数据仓库（DataWarehouse）的核心差异是什么？答案：①数据类型：数据湖存储结构化、半结构化、非结构化数据（如日志、文件）；数据仓库仅存储结构化数据。②模式管理：数据湖采用“读时模式”（SchemaonRead），灵活性高；数据仓库采用“写时模式”（SchemaonWrite），需提前定义结构。③应用场景：数据湖支持多场景分析（如AI、数据科学）；数据仓库主要支持固定维度的业务分析（如报表）。④存储成本：数据湖存储原始数据，成本低；数据仓库需ETL处理，存储成本高。五、应用题（共25分）1.（10分）某电商平台需对用户行为日志（字段：用户ID、时间戳、页面ID、操作类型（点击/加购/下单）、商品ID）进行清洗，目标是去除无效记录（如操作类型为空）、纠正时间戳格式（原格式为“YYYYMMDDHHMMSS”，需转为“YYYY-MM-DDHH:MM:SS”）、删除重复记录（同一用户ID、时间戳、页面ID、操作类型、商品ID的记录视为重复）。请设计清洗流程，并写出关键步骤的伪代码（使用Python或SparkSQL）。答案：清洗流程：①过滤无效记录：删除操作类型为空的行。②时间戳格式转换：将“YYYYMMDDHHMMSS”字符串拆分，重组为“YYYY-MM-DDHH:MM:SS”。③去重：根据用户ID、时间戳、页面ID、操作类型、商品ID去重。SparkSQL伪代码示例：```sql--步骤1：过滤无效记录CREATETEMPVIEWvalid_logsASSELECTFROMraw_logsWHEREoperation_typeISNOTNULL;--步骤2：转换时间戳格式CREATETEMPVIEWformatted_logsASSELECTuser_id,CONCAT(SUBSTR(timestamp,1,4),'-',SUBSTR(timestamp,5,2),'-',SUBSTR(timestamp,7,2),'',SUBSTR(timestamp,9,2),':',SUBSTR(timestamp,11,2),':',SUBSTR(timestamp,13,2))ASformatted_time,page_id,operation_type,product_idFROMvalid_logs;--步骤3：去重CREATETEMPVIEWcleaned_logsASSELECTDISTINCTuser_id,formatted_time,page_id,operation_type,product_idFROMformatted_logs;```2.（8分）2025年某智能交通平台需构建实时车流监控系统，要求实时计算各路段5分钟内的平均车速，并在车速低于30km/h时触发拥堵预警。请设计系统架构，说明关键组件及数据流程。答案：系统架构及流程：①数据采集：路侧传感器（如摄像头、雷达）实时采集车辆位置、时间戳、车速数据，通过Kafka消息队列传输（高吞吐、容错）。②实时处理：使用Flink作为流处理引擎，消费Kafka数据，按路段（RoadID）分组，设置5分钟滚动窗口（TumblingWindow），计算窗口内平均车速。③预警触发：Flink对每个窗口的平均车速进行判断，若<30km/h，将预警信息写入Kafka或发送至消息中间件（如RabbitMQ）。④存储与展示：处理后数据（平均车速、预警信息）写入HBase（实时查询）或ClickHouse（实时分析），通过Grafana等工具可视化展示。关键组件：Kafka（数据传输）、Flink（流计算）、HBase/ClickHouse（存储）、Grafana（可视化）。3.（7分）使用Python的Pandas库处理某电商用户订单数据（字段：用户ID、订单时间、订单金额、支付状态（0未支付/1已支付）），要求：①填充“支付状态”的缺失值（假设缺失值占比5%，且未支付订单的用户通常在30分钟内未支付）；②计算2025年第一季度（1-3月）已支付订单的总金额及用户平均支付金额。答案：Python代码示例：```pythonimportpandasaspdfromdatetimeimportdatetime读取数据（假设数据文件为orders.csv）df=pd.read_csv('orders.csv',parse_dates=['订单时间'])①填充支付状态缺失值假设缺失值为NaN，筛选订单时间与当前时间差>30分钟的标记为未支付（0），否则标记为