2025年数据科学与大数据考试试卷及答案

2025年数据科学与大数据考试试卷及答案一、单项选择题（每题2分，共20分）1.以下哪种场景最可能导致分布式计算中的数据倾斜问题？A.日志数据按时间戳分区存储B.用户行为数据按用户ID分组聚合C.气象数据按地理位置分块处理D.文本数据按单词频次统计2.在特征工程中，针对高基数类别特征（如用户所在城市，共有5000个不同值），最合理的处理方法是？A.直接进行独热编码（One-HotEncoding）B.采用目标编码（TargetEncoding）C.忽略该特征D.对每个城市单独训练模型3.某机器学习模型在训练集上的准确率为95%，在测试集上的准确率为60%，最可能的原因是？A.模型欠拟合B.数据存在标签泄漏（LabelLeakage）C.模型过拟合D.测试集分布与训练集差异过大4.以下哪项不是Hadoop生态中Hive的核心功能？A.支持类SQL查询（HiveQL）B.提供低延迟的实时数据处理C.将SQL语句转换为MapReduce任务D.支持数据仓库的ETL操作5.在Spark中，若需要对RDD进行全局排序，应使用以下哪个转换操作？A.sortByKey()B.sortBy()C.groupByKey()D.reduceByKey()6.时间序列预测中，若数据存在明显的季节性波动（周期为12个月），最适合的特征构造方法是？A.添加滞后1期的特征（t-1）B.添加滞后12期的特征（t-12）C.对时间戳进行标准化处理D.对数据进行对数变换7.以下哪种数据存储方案最适合实时写入、随机读取的高并发场景？A.HDFS（Hadoop分布式文件系统）B.HBase（Hadoop数据库）C.Hive（数据仓库工具）D.SparkRDD（弹性分布式数据集）8.在深度学习模型训练中，若梯度消失问题严重，最可能的原因是？A.使用ReLU激活函数B.网络层数过深且采用Sigmoid激活函数C.学习率设置过大D.批量归一化（BatchNorm）层缺失9.某电商平台需分析用户复购行为，目标变量为“未来30天是否复购”（二分类问题），以下哪项指标最适合评估模型效果？A.准确率（Accuracy）B.F1分数（F1-Score）C.平均绝对误差（MAE）D.R方值（R²）10.以下哪项不属于大数据平台的核心组件？A.消息队列（如Kafka）B.分布式计算框架（如Flink）C.关系型数据库（如MySQL）D.分布式存储系统（如Ceph）二、填空题（每空2分，共20分）1.数据清洗中处理缺失值的常用方法包括删除缺失样本、__________和__________（写出两种）。2.机器学习中，交叉验证（CrossValidation）的主要目的是__________。3.Spark的核心抽象是__________，其特性包括__________和__________（写出两个关键特性）。4.特征选择的常用方法包括过滤法（Filter）、__________和__________（写出两种）。5.分布式计算中，MapReduce的核心步骤是__________和__________。三、简答题（每题8分，共40分）1.简述数据清洗中“异常值检测”的常用方法，并举例说明。2.对比梯度下降（GradientDescent）与随机梯度下降（StochasticGradientDescent）的优缺点。3.解释Hadoop生态中HDFS、YARN和MapReduce的职责分工。4.说明特征工程中“特征缩放”（FeatureScaling）的必要性，并列举两种常用方法。5.简述实时数据处理（如Flink）与批处理（如Spark）的核心差异。四、编程题（共30分）1.（10分）给定PandasDataFramedf（包含列：user_id,age,gender,purchase_amount,register_time），要求完成以下操作：过滤出age在18-60岁之间且purchase_amount>0的用户；计算每个gender的平均purchase_amount；将register_time列转换为日期时间类型，并提取年份作为新列register_year。2.（10分）使用Scikit-learn训练一个逻辑回归模型，预测用户是否会购买某产品（目标变量y为0/1）。要求：对数值型特征进行标准化（StandardScaler）；对类别型特征（如“职业”）进行独热编码；划分训练集和测试集（测试集占比20%）；输出模型在测试集上的准确率。3.（10分）使用PySpark编写代码，统计文本文件中每个单词的出现次数（忽略大小写，排除“the”“and”“of”等停用词）。五、综合分析题（共40分）某电商平台收集了用户行为数据，包含以下字段：user_id（用户ID）、event_time（事件时间）、event_type（事件类型：点击、加购、购买）、item_id（商品ID）、category_id（商品类别）、price（商品价格）。请设计一个分析方案，解决以下问题：1.分析用户从点击到购买的转化漏斗，找出关键流失环节；2.预测高价值用户（未来30天购买金额≥500元），需说明特征工程、模型选择及评估方法；3.提出优化用户购买转化率的actionable建议（至少3条）。答案一、单项选择题1.B2.B3.C4.B5.B6.B7.B8.B9.B10.C二、填空题1.均值/中位数填充；插值法填充（或模型预测填充）2.评估模型泛化能力，避免过拟合3.RDD（弹性分布式数据集）；不可变；分区存储（或容错性、惰性计算）4.包装法（Wrapper）；嵌入法（Embedded）5.Map（映射）；Reduce（归约）三、简答题1.异常值检测常用方法包括：统计方法：如Z-score法（计算数据点与均值的标准差倍数，通常±3σ外为异常）、IQR法（四分位距，Q3+1.5IQR或Q1-1.5IQR外为异常）；机器学习方法：如孤立森林（IsolationForest）通过随机划分数据识别异常点；可视化方法：如箱线图（BoxPlot）直观展示数据分布。示例：某电商用户的单次购买金额为10万元，远高于均值±3σ范围，可判定为异常值。2.梯度下降（GD）：每次使用全部训练数据计算梯度，更新稳定但计算成本高，适合小数据集；随机梯度下降（SGD）：每次使用单个样本计算梯度，更新速度快但波动大，可能陷入局部最优，适合大数据集；折中方案为小批量梯度下降（Mini-batchGD），平衡计算效率与稳定性。3.HDFS：分布式存储系统，负责海量数据的存储与管理，提供高容错性；YARN：资源管理系统，负责集群资源（CPU、内存）的调度与分配；MapReduce：计算框架，基于YARN资源，将任务分解为Map和Reduce阶段完成分布式计算。4.必要性：不同特征的量纲（如年龄和收入）差异大，可能导致模型对大数值特征过度敏感（如距离计算的KNN模型）；常用方法：标准化（Z-score）：(x-μ)/σ，适用于数据分布接近正态的场景；归一化（Min-Max）：(x-min)/(max-min)，适用于需要将数据缩放到[0,1]区间的场景。5.核心差异：数据处理方式：实时处理（如Flink）基于流（Stream），逐条处理低延迟；批处理（如Spark）基于批（Batch），积累一定数据后处理；时效性：实时处理延迟通常毫秒级，批处理延迟分钟级或小时级；应用场景：实时监控、实时推荐适合流处理；离线报表、深度分析适合批处理。四、编程题1.代码示例：```pythonimportpandasaspd过滤数据filtered_df=df[(df['age']>=18)&(df['age']<=60)&(df['purchase_amount']>0)]计算各gender的平均purchase_amountavg_purchase=filtered_df.groupby('gender')['purchase_amount'].mean().reset_index()转换日期时间并提取年份df['register_time']=pd.to_datetime(df['register_time'])df['register_year']=df['register_time'].dt.year```2.代码示例：```pythonfromsklearn.model_selectionimporttrain_test_splitfromsklearn.preprocessingimportStandardScaler,OneHotEncoderfromsklearn.linear_modelimportLogisticRegressionfromposeimportColumnTransformerfromsklearn.pipelineimportPipelinefromsklearn.metricsimportaccuracy_score假设数值特征为['age','income']，类别特征为['occupation']numeric_features=['age','income']categorical_features=['occupation']预处理流水线preprocessor=ColumnTransformer(transformers=[('num',StandardScaler(),numeric_features),('cat',OneHotEncoder(),categorical_features)])划分数据集X_train,X_test,y_train,y_test=train_test_split(df.drop('y',axis=1),df['y'],test_size=0.2,random_state=42)训练模型model=Pipeline(steps=[('preprocessor',preprocessor),('classifier',LogisticRegression())])model.fit(X_train,y_train)评估准确率y_pred=model.predict(X_test)accuracy=accuracy_score(y_test,y_pred)print(f"测试集准确率：{accuracy:.4f}")```3.代码示例：```pythonfrompyspark.sqlimportSparkSessionfrompyspark.sql.functionsimportlower,split,explode,colspark=SparkSession.builder.appName("WordCount").getOrCreate()读取文本文件，转换为小写，分割单词lines=spark.read.text("path/to/textfile.txt")words=lines.select(explode(split(lower(col("value")),"")).alias("word"))过滤停用词stopwords={"the","and","of","a","to"}filtered_words=words.filter(~col("word").isin(stopwords))统计词频word_counts=filtered_words.groupBy("word").count().orderBy("count",asce