2025年大数据与人工智能课程考试试题及答案

2025年大数据与人工智能课程考试试题及答案一、单项选择题（每题2分，共20分）1.以下关于大数据存储技术HDFS的描述中，错误的是（）。A.HDFS默认块大小为128MB，可通过参数调整B.数据副本数默认3个，存储策略支持机架感知C.NameNode负责存储元数据，采用主从架构D.HDFS适合存储小文件，可通过CombineFileInputFormat优化2.关于Spark的RDD（弹性分布式数据集），以下说法正确的是（）。A.RDD是不可变的，转换操作（Transformation）会立即触发计算B.持久化（Persist）操作默认存储级别为MEMORY_AND_DISKC.窄依赖（NarrowDependency）指父RDD的一个分区只被一个子RDD分区使用D.SparkSQL的DataFrame比RDD更高效，因为其不保留数据类型信息3.在机器学习中，以下损失函数与任务类型匹配错误的是（）。A.均方误差（MSE）—回归任务B.交叉熵损失（CrossEntropy）—二分类任务C.铰链损失（HingeLoss）—支持向量机（SVM）D.Dice损失—目标检测任务4.关于深度学习中的激活函数，以下描述错误的是（）。A.Sigmoid函数易导致梯度消失，适合二分类输出层B.ReLU（修正线性单元）在x>0时梯度为1，缓解梯度消失C.LeakyReLU通过引入小负斜率解决ReLU的“神经元死亡”问题D.Softmax函数通常用于多分类任务的输入层5.自然语言处理（NLP）中，Word2Vec的Skipgram模型核心是（）。A.用中心词预测上下文词B.用上下文词预测中心词C.用句子预测下一个词D.用句子对预测是否相关6.以下不属于数据挖掘关联规则分析常用指标的是（）。A.支持度（Support）B.置信度（Confidence）C.提升度（Lift）D.熵（Entropy）7.在卷积神经网络（CNN）中，3×3卷积核的感受野（ReceptiveField）相对于1×1卷积核的优势是（）。A.减少计算量B.捕获局部空间特征C.增加模型深度D.避免过拟合8.关于梯度下降优化算法，以下说法正确的是（）。A.随机梯度下降（SGD）每次使用全部样本计算梯度B.Adam算法结合了动量（Momentum）和自适应学习率C.批量梯度下降（BatchGD）收敛速度最快但计算成本高D.RMSprop仅通过动量项加速收敛9.以下属于无监督学习任务的是（）。A.垃圾邮件分类（标签已知）B.客户分群（无标签）C.房价预测（连续值输出）D.图像识别（标签已知）10.大数据伦理中，“数据匿名化”的主要挑战是（）。A.计算成本过高B.难以完全消除重识别风险C.存储效率降低D.与数据可用性矛盾二、填空题（每题2分，共20分）1.大数据处理框架Hadoop的核心组件包括HDFS（分布式文件系统）和________（分布式计算框架）。2.Spark中，________操作（如count、collect）会触发Job执行，属于行动操作（Action）。3.机器学习中，将类别型特征转换为数值型的常用方法是________（如将“红/蓝”转换为[1,0]/[0,1]）。4.深度学习中，LSTM（长短期记忆网络）通过________（输入门、遗忘门、输出门）控制信息传递。5.Transformer模型的核心机制是________，其计算公式为Attention(Q,K,V)=softmax(QKᵀ/√d_k)V。6.数据清洗中，处理缺失值的常用方法包括删除记录、________（如用均值填充）和模型预测。7.聚类算法DBSCAN的两个关键参数是________（邻域半径）和MinPts（邻域内最小样本数）。8.强化学习中，智能体（Agent）通过与环境交互，最大化长期________（Reward）来学习策略。9.图像分类任务中，CNN的________层（如全连接层）负责将特征映射转换为类别概率。10.大数据安全的“三要素”是机密性、完整性和________（如防止数据被非法访问）。三、简答题（每题8分，共40分）1.简述HadoopMapReduce与Spark的核心区别及适用场景。2.解释机器学习中“过拟合”（Overfitting）的概念，并列举至少3种解决方法。3.说明卷积神经网络（CNN）中“卷积层”和“池化层”的作用。4.对比监督学习、无监督学习和半监督学习的异同。5.描述Transformer模型中“多头注意力”（MultiHeadAttention）的设计目的及实现方式。四、算法与编程题（每题10分，共20分）1.写出逻辑回归（LogisticRegression）的损失函数（交叉熵损失）及梯度更新公式（以二元分类为例，假设特征向量为x，权重为w，标签为y∈{0,1}）。2.设计Kmeans聚类算法的伪代码，要求包含初始化、分配样本、更新质心、终止条件四个关键步骤。五、综合应用题（20分）某电商平台需分析用户行为数据（包括用户ID、访问时间、页面停留时长、点击商品类别、下单金额），目标是挖掘高价值用户并预测其复购概率。请设计一套基于大数据与人工智能的解决方案，要求包含以下步骤：（1）数据采集与预处理；（2）特征工程（至少设计5个有效特征）；（3）模型选择与训练（推荐2种以上模型并说明理由）；（4）评估指标（至少3种）及优化方向。参考答案一、单项选择题1.D（HDFS不适合小文件，CombineFileInputFormat用于合并小文件）2.C（窄依赖定义正确；A中转换操作不立即计算；B默认MEMORY_ONLY；DDataFrame保留元数据）3.D（Dice损失常用于分割任务）4.D（Softmax用于输出层）5.A（Skipgram用中心词预测上下文，CBOW相反）6.D（熵是决策树指标）7.B（3×3卷积捕获局部空间特征）8.B（Adam结合动量和自适应学习率；ASGD用单个样本；C批量GD收敛慢但稳定；DRMSprop用自适应学习率）9.B（无标签分群是无监督）10.B（匿名化难彻底防止重识别）二、填空题1.YARN（或MapReduce，注：Hadoop2.x核心为HDFS+YARN+MapReduce）2.行动（Action）3.独热编码（OneHotEncoding）4.门控机制（或三个门：输入门、遗忘门、输出门）5.自注意力（SelfAttention）6.填充（或插补，如均值/中位数填充）7.ε（Epsilon）8.累积奖励（或总奖励）9.分类（或全连接）10.可用性（或可访问性）三、简答题1.核心区别：HadoopMapReduce基于磁盘计算，任务需多次读写HDFS，适合离线批处理；Spark基于内存计算（RDD持久化），支持迭代计算（如机器学习）和流处理（SparkStreaming），延迟更低。适用场景：MapReduce适合大规模离线数据清洗、日志统计；Spark适合需要多次迭代的任务（如Kmeans、逻辑回归训练）、实时数据处理（如实时推荐）。2.过拟合：模型在训练集上表现很好，但在测试集上泛化能力差，通常因模型复杂度高或训练数据量小。解决方法：①增加数据量（数据增强）；②正则化（L1/L2正则化）；③早停（EarlyStopping）；④特征选择（减少冗余特征）；⑤dropout（深度学习中随机失活神经元）。3.卷积层：通过卷积核（滤波器）滑动计算，提取局部空间特征（如边缘、纹理），不同卷积核学习不同特征。池化层：降维（如最大池化、平均池化），减少计算量，同时保留主要特征，增强平移不变性（对目标位置变化不敏感）。4.相同点：均从数据中学习模式。不同点：监督学习有标签（如分类、回归）；无监督学习无标签（如聚类、降维）；半监督学习部分有标签，利用大量无标签数据（如自训练、图半监督）。5.设计目的：多头注意力通过多个独立的注意力头并行计算，捕捉不同子空间的上下文信息，增强模型对不同特征（如句法、语义）的感知能力。实现方式：将查询Q、键K、值V分别线性投影到h个低维空间（头），每个头计算自注意力，最后将结果拼接并投影回原维度。四、算法与编程题1.损失函数（交叉熵损失）：\[L(w)=\frac{1}{m}\sum_{i=1}^m\left[y^{(i)}\log(\sigma(w^Tx^{(i)}))+(1y^{(i)})\log(1\sigma(w^Tx^{(i)}))\right]\]其中\(\sigma(z)=\frac{1}{1+e^{z}}\)为sigmoid函数。梯度更新公式：\[w:=w\alpha\cdot\frac{\partialL}{\partialw}\]\[\frac{\partialL}{\partialw}=\frac{1}{m}\sum_{i=1}^m(\sigma(w^Tx^{(i)})y^{(i)})x^{(i)}\]（\(\alpha\)为学习率）2.Kmeans伪代码：输入：数据集\(X=\{x_1,x_2,...,x_n\}\)，聚类数\(k\)输出：质心集合\(C=\{c_1,...,c_k\}\)，样本所属簇标签步骤：1.初始化：随机选择\(k\)个样本作为初始质心\(c_1,...,c_k\)（或采用Kmeans++优化初始化）；2.分配样本：对每个样本\(x_i\)，计算其与所有质心的距离（如欧氏距离），将\(x_i\)分配到最近质心的簇；3.更新质心：对每个簇，计算所有样本的均值，作为新的质心；4.终止条件：若质心不再变化（或变化小于阈值），或达到最大迭代次数，停止；否则回到步骤2。五、综合应用题（1）数据采集与预处理采集：通过埋点工具（如GoogleAnalytics、神策数据）收集用户行为日志，存储至HDFS或ClickHouse；清洗：处理缺失值（如用用户均值填充停留时长）、去重（删除重复访问记录）、异常值（如停留时长>24小时标记为异常并剔除）；结构化：将非结构化数据（如商品类别文本）转换为数值型（独热编码或词嵌入）。（2）特征工程基本特征：用户活跃度（日均访问次数）、平均停留时长、历史下单次数；行为特征：高价值商品点击比例（如单价>1000元商品点击数/总点击数）、加购到下单转化率（加购后下单数/加购数）；时间特征：最近一次下单距今天数（Recency）、下单时间分布（是否集中在促销期）；价值特征：累计消费金额、客单价（总金额/下单次数）；偏好特征：高频点击商品类别（通过TFIDF计算类别重要性）。（3）模型选择与训练XGBoost：适合结构化数据，支持并行计算，对缺失值鲁棒，可输出特征重要性（用于分析高价值用户关键行为）；深度神经网络（DNN）：通过嵌入层学习用户商品交互特征，捕捉非线性关系（如停留时长与复购的复杂关联）；训练流程：划分训练集（70%）、验证集（20%）、测试集（10%），用交叉验证调参（如XGBoost的max_depth、学习率；DNN的隐藏层大小、dropout率）。（4）评估指标与优化评估指