2026年大数据与人工智能课程考试试题及答案

2026年大数据与人工智能课程考试试题及答案1.单项选择题（每题2分，共20分）1.1在HDFS中，NameNode的主要职责是A.存储实际数据块B.维护文件系统元数据C.执行Map任务D.压缩数据答案：B1.2下列哪种激活函数在x=0处不可导A.SigmoidB.TanhC.ReLUD.LeakyReLU答案：C1.3在Spark中，下列哪一项操作属于宽依赖A.mapB.filterC.unionD.groupByKey答案：D1.4若某深度神经网络使用BatchNormalization，则推理阶段需使用A.当前mini-batch的均值与方差B.滑动平均的均值与方差C.全零均值与单位方差D.随机均值与方差答案：B1.5在Kafka中，保证同一分区消息全局有序的机制是A.增加分区数B.使用随机分区器C.按key哈希分区D.关闭副本同步答案：C1.6下列哪一项不是GPT-3模型参数高效微调技术A.LoRAB.AdapterC.BitFitD.GridSearch答案：D1.7在Flink的EventTime处理中，解决乱序数据的核心机制是A.CheckpointB.WatermarkC.StateBackendD.SlotSharing答案：B1.8若某决策树使用基尼系数作为划分标准，则节点基尼系数越小表示A.纯度越低B.纯度越高C.信息增益越大D.剪枝越充分答案：B1.9在联邦学习场景下，FedAvg算法中客户端上传的是A.原始数据B.本地模型参数C.梯度平方和D.损失函数值答案：B1.10下列哪一项最能描述Transformer中自注意力机制的时间复杂度A.O(d)B.O(n·d)C.O(n²·d)D.O(n³)答案：C2.多项选择题（每题3分，共15分；多选少选均不得分）2.1以下哪些属于Hadoop生态的存储格式A.ORCB.ParquetC.AvroD.JSON答案：ABC2.2在深度强化学习中，以下哪些技术可以缓解过估计A.DoubleDQNB.DuelingNetworkC.PrioritizedReplayD.TargetNetwork答案：AD2.3关于LSTM网络，下列说法正确的是A.包含输入门、遗忘门、输出门B.梯度消失问题比RNN更严重C.可使用peephole连接D.参数数量少于标准RNN答案：AC2.4以下哪些操作会导致SparkJob触发ShuffleA.reduceByKeyB.distinctC.sortByKeyD.mapPartitions答案：ABC2.5在VisionTransformer中，为了处理图像输入，通常需要A.将图像切分成patchesB.加入可学习的positionalencodingC.使用卷积提取特征D.添加classificationtoken答案：ABD3.填空题（每空2分，共20分）3.1在PageRank算法中，阻尼系数d通常取值为________。答案：0.853.2若某卷积层输入尺寸为32×32×3，使用64个5×5卷积核，padding=2，stride=1，则输出特征图尺寸为________。答案：32×32×643.3在SQL中，用于将行转列的窗口函数是________。答案：PIVOT3.4给定一个包含N个样本的数据集，使用留一法交叉验证时，训练次数为________。答案：N3.5在BERT预训练中，MaskedLanguageModel的掩码比例设置为________%。答案：153.6若某Flink作业的并行度为8，TaskManager有2个slot，则最少需要________个TaskManager进程。答案：43.7在XGBoost中，控制叶子节点权重的正则项参数是________。答案：lambda3.8使用余弦相似度计算向量A=[1,0,1]与B=[0,1,1]的相似度，结果为________。答案：0.53.9在Kafka2.8版本之后，无需依赖Zookeeper的替代模式称为________模式。答案：KRaft3.10若某深度网络使用混合精度训练，FP16的动态范围比FP32小，因此需要________缩放因子防止梯度下溢。答案：lossscaling4.判断题（每题1分，共10分；正确打“√”，错误打“×”）4.1在K-means算法中，初始质心的选择对最终聚类结果无影响。答案：×4.2使用Dropout时，推理阶段需要按比例缩放权重。答案：√4.3HBase的RowKey设计应避免热点，因此通常将时间戳直接作为RowKey前缀。答案：×4.4AUC指标取值范围为[-1,1]。答案：×4.5在Flink中，KeyedState只能用于RichFunction。答案：√4.6梯度爆炸问题可以通过梯度裁剪缓解。答案：√4.7Word2Vec的Skip-gram模型比CBOW模型更适合小型语料库。答案：√4.8在PyTorch中，nn.CrossEntropyLoss已内置Softmax。答案：√4.9使用数据并行训练时，GPU数量增加必然线性缩短训练时间。答案：×4.10在VisionTransformer中，positionalencoding可以去除，不影响模型性能。答案：×5.简答题（封闭型，每题6分，共18分）5.1简述MapReduce中Combiner的作用及使用条件。答案：Combiner是本地端的reducer，用于减少Map端输出数据量，降低网络IO；必须满足函数满足结合律与交换律，例如求和、求最大值；不能用于求平均值等不可多次累积的场景。5.2说明BatchNormalization在训练与推理阶段统计量的差异及原因。答案：训练阶段使用当前mini-batch的均值与方差，推理阶段使用训练过程中滑动平均得到的均值与方差，以保证单样本推理时数值稳定且不受batch统计波动影响。5.3列举三种降低Transformer计算复杂度的改进方法并简述原理。答案：1.Linformer：将注意力矩阵从n×n降至n×k，通过线性投影固定k维；2.Performer：使用FAVOR+机制，用随机特征映射近似Softmax核，复杂度降至O(n·d)；3.SparseTransformer：采用固定稀疏模式，仅计算局部或稀疏位置的注意力，减少计算量。6.简答题（开放型，每题8分，共16分）6.1某电商公司每日新增500GB用户行为日志，需实时更新推荐模型。请设计一套基于Lambda架构的解决方案，说明批处理层、速度层、服务层所用技术及数据流向，并指出潜在痛点与改进思路。答案：批处理层：将日志T+1落盘至HDFS，使用SparkSQL清洗，生成用户长期特征并存入Iceberg表；速度层：Kafka收集实时日志，FlinkCEP提取会话特征，调用在线算法（FTRL）增量更新模型参数，结果写回Redis；服务层：推荐服务通过gRPC合并批特征与实时特征，使用TensorFlowServing做模型推理；痛点：批流代码重复、状态一致性难保证；改进：采用Kappa架构，统一使用Flink，Iceberg存储快照，通过Flinkchangelog回填历史数据。6.2近年来大模型涌现“涌现能力”。请结合ScalingLaw与数据分布角度，论述涌现能力出现的可能原因，并给出验证该假设的实验设计。答案：原因：当参数与数据量超过临界规模后，损失Landscape出现相变，模型可学习到更高阶的抽象模式；数据分布中长尾知识被充分覆盖，促使泛化突变。实验设计：固定数据分布，逐步增加模型参数量（1B→10B→100B），记录下游任务性能曲线；若在某参数区间出现性能阶跃，则验证规模驱动；反之固定模型大小，逐步增加数据多样性，观察是否出现相同阶跃，以区分数据与规模的贡献。7.应用题（计算类，10分）7.1已知某推荐系统使用矩阵分解预测评分，正则化目标函数为J=Σ(r_ui−p_u^Tq_i)²+λ(‖p_u‖²+‖q_i‖²)给定：λ=0.1，学习率α=0.01，隐向量维度k=5，初始p_u、q_i均取0.1。对单条记录r_31=5，求一次SGD更新后p_3与q_1的值（保留4位小数）。答案：误差e=5−0.1×0.1×5=4.95梯度：∂J/∂p_3=−e·q_1+λp_3=−4.95×0.1+0.1×0.1=−0.485∂J/∂q_1=−e·p_3+λq_1=−0.485更新：p_3=0.1−0.01×(−0.485)=0.1049q_1=0.1−0.01×(−0.485)=0.10498.应用题（分析类，12分）8.1某市交通卡口每日产生1.2亿条车辆通行记录，字段含：卡口ID、车牌、时间戳、车道、车速。需检测“套牌车”：同一车牌在5分钟内出现在两个相距>30km的卡口。要求：1.给出基于Flink的实时检测方案，包括数据预处理、距离计算、输出格式；2.评估状态存储大小，假设需保存最近15分钟数据，每卡口平均每分钟过车200辆，车牌去重后每分钟约120辆，估算内存占用；3.若出现车牌识别错误导致误报，给出两种降噪策略。答案：1.方案：Kafka接入原始流，FlinkMap将时间戳转为EventTime，KeyedBy车牌，使用15分钟滑动窗口，窗口内收集List<(卡口ID,经纬度,时间戳)>；窗口触发时，两两计算卡口球面距离，若>30km且时间差<5min则输出告警<车牌,卡口A,卡口B,距离,时间差>。2.状态大小：15分钟×120车牌/分钟=1800万条，每条含车牌(10B)、卡口ID(4B)、经纬度(16B)、时间戳(8B)≈40B，总内存≈1800万×40B≈720MB，考虑RocksDB索引及序列化开销，实际约1.2GB。3.降噪：a.引入车辆属性（车身颜色、车型）一致性校验，属性不一致才告警；b.使用DBSCAN聚合同车牌轨迹，剔除孤立异常点。9.应用题（综合类，19分）9.1某医疗集团计划构建肺部CT影像智能筛查系统，数据含DICOM影像、报告文本、检验指标。要求：A.设计端到端数据pipeline，说明采集、存储、标注、训练、部署环节所用框架与格式；B.给定影像数据量3TB，单张512×512×slice，平均slice=200，采用3DCNN，输入尺寸128×128×64，batch=4，训练epoch=50，参数初始量=50M，使用混合精度与数据并行8卡V100（32GB），估算训练所需最小天数（给出计算过程，取整）；C.针对数据隐私合规，提出基于联邦学习的多院协同训练方案，说明加密机制与通信开销。答案：A.Pipeline：采集：PACS网关通过DICOMC-STORE推送至Kafka，使用Orthanc做脱敏；存储：原始DICOM存对象存储MinIO，元数据写MongoDB；标注：使用3DSlicerWeb，标注结果存为NIfTI，结构化报告存入PostgreSQL；训练：使用MONAI框架，将NIfTI转为128×128×64的npy，采用RandRotate90、RandGaussianNoise做增强，模型用3DDenseNet121，损失用FocalLoss，优化器AdamW，训练平台PyTorch+DDP；部署：模型转ONNX，使用TritonInferenceServer，集成到PACSWorklist，返回JSON含概率及Grad-CAM热图。B.计算：总样本数=3TB/(512×512×200×2Byte)≈3×1024^4/(512×512×200×2)≈30k张单步迭代数据量=4×128×128×64×2Byte=8MB总迭代=ceil(30k/4)×50≈375k每卡batch=4，8卡并行，单卡迭代≈