第7章 习题答案

第7章大模型技术与应用习题与实验一、选择题1．大模型的特点不包括（）。A．巨大的规模B．预训练加微调的学习方法C．更好的性能和泛化能力D．小规模数据训练2．Transformer架构的核心思想是（）。A．使用循环神经网络处理序列数据B．通过自注意力机制获取输入序列的全局信息C．使用卷积神经网络提取特征D．使用长短期记忆网络处理长距离依赖关系3．知识蒸馏技术的主要目的是（）。A．增加模型的参数数量B．减小模型的大小和计算复杂度C．提高模型的训练速度D．增加模型的层数4．模型剪枝技术通过移除（）来减小模型大小。A．权重或神经元B．数据集C．激活函数D．输入层5．自注意力机制在处理输入数据时，（）来调整不同位置的元素的关注程度。A．通过计算序列中各个元素之间的相关性得分B．通过计算序列中每个元素与当前输出位置之间的相关性得分C．通过计算序列中每个元素与所有其他元素的相关性得分D．通过计算序列中每个元素与输入序列的最后一个元素的相关性得分6．DeepSeek模型的核心技术不包括以下（）。A．基于Transformer架构的创新B．更大规模的参数C．基于循环神经网络的架构D．混合专家模型（MoE）7．DeepSeek模型在训练过程中不包括（）技术。A．混合精度训练B．分布式训练C．人类反馈的强化学习D．贪心搜索8．WPSAI智能文档处理不包括（）功能。A．帮我写B．自动生成PPTC．帮我改D．伴写9．假设WPS表格的C列是员工的身份证号码，与“AI写公式”指令“计算每一位员工的年龄”相对应的计算公式是（）。A．YEAR(TODAY()-MID(C2,7,4))B．TODAY()-MID(C2,7,4)C．YEAR(TODAY())-MID(C2,7,4)D．YEAR(TODAY())-MID(C2,7,8)10．用户输入WPSAI指令“分析销售额变化趋势”，WPSAI最可能推荐（）。A．插入折线图B．生成饼图C．创建堆积柱形图D．添加雷达图二、问答题1．简述大模型的概念及其在人工智能领域的重要性。答：大模型是指基于深度学习技术构建的、规模庞大的人工智能模型，拥有巨大的参数数量（如GPT-3的1750亿参数）和海量训练数据，能够学习和表示复杂模式，具备强大的泛化能力，可处理和生成文本、图像、语音等多种类型的数据。大模型在自然语言处理、图像识别、语音识别等领域展现出巨大潜力，显著提升了机器翻译、文本生成、情感分析等任务的性能，被视为人工智能发展的关键基础设施，推动了技术从“理解”到“生成”的跨越。2．解释自注意力机制的原理及其在自然语言处理中的作用。答：自注意力机制让序列中的每个元素通过计算与其他元素的相关性得分（通常基于查询、键、值向量的点积），动态关注全局信息。得分经Softmax归一化后形成权重，再对值向量加权求和，从而捕捉序列内部的依赖关系。在自然语言处理中，自注意力机制能有效捕捉长距离依赖关系，克服传统RNN的梯度消失问题，提升机器翻译、文本摘要、情感分析等任务的性能，是Transformer架构的核心组件。3．简述知识蒸馏的概念及其作用。答：知识蒸馏是一种模型压缩技术，旨在将大型复杂模型（教师模型）的知识迁移到较小轻量的模型（学生模型）中，使学生模型在保持较高精度的同时减小模型规模。其作用在于显著减小模型体积和计算复杂度，同时保持模型性能，通过学习教师模型的软标签（概率分布），学生模型能捕捉类别间相似性和关系，提升泛化能力，在计算和存储上更加高效。4．DeepSeek模型的核心技术和训练方法有哪些？答：DeepSeek模型的核心技术包括基于Transformer架构的创新，采用稀疏注意力机制降低计算复杂度，引入混合专家模型架构提高灵活性和效率，以及拥有更大规模的参数以增强语言理解能力和知识储备。训练方法包括分布式训练提高效率，混合精度训练减少显存占用并加速过程，强化学习与多词元预测提高数据效率，持续学习与微调使模型持续更新，以及利用人类反馈的强化学习调整模型参数，使生成结果更符合人类期望。5．要将一份学生成绩表中总分排名前10的行标记出来，分别采用AI标注和手工标注，请写出大致的操作步骤并进行实际操作。按教材说明的步骤进行操作。三、实验题1．利用Python语言编写程序，借助HuggingFace平台的transformers库实现机器翻译功能（例如将英文翻译成中文），必要时可以求助DeepSeek或其他大模型。下面是一个基于预训练Transformer模型的机器翻译示例，实现了从英语到法语、德语、日语、西班牙语和中文等多种语言的翻译，供参考。importosimporttorchfromtransformersimportAutoTokenizer,AutoModelForSeq2SeqLM#屏蔽TensorFlow的oneDNN提示信息os.environ['TF_ENABLE_ONEDNN_OPTS']='0'os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#定义支持的语种和对应的预训练模型MODELS={"french":"Helsinki-NLP/opus-mt-en-fr",#英语->法语"german":"Helsinki-NLP/opus-mt-en-de",#英语->德语"japanese":"Helsinki-NLP/opus-mt-en-jap",#英语->日语"spanish":"Helsinki-NLP/opus-mt-en-es",#英语->西班牙语"chinese":"Helsinki-NLP/opus-mt-en-zh",#英语->中文}classMultiLanguageTranslator:def__init__(self,target_languages=["french","german","japanese","spanish","chinese"]):"""初始化多语言翻译器参数:target_languages(list):需要加载的目标语言列表，默认为全部支持的语言"""self.models={}self.tokenizers={}#只加载需要的语言模型forlangintarget_languages:iflangnotinMODELS:raiseValueError(f"不支持的语言:{lang}")print(f"正在加载{lang}模型...")model_name=MODELS[lang]self.tokenizers[lang]=AutoTokenizer.from_pretrained(model_name)self.models[lang]=AutoModelForSeq2SeqLM.from_pretrained(model_name)deftranslate(self,text,target_language):iftarget_languagenotinself.models:raiseValueError(f"未初始化的语言:{target_language}")tokenizer=self.tokenizers[target_language]model=self.models[target_language]#编码输入文本inputs=tokenizer(text,return_tensors="pt",padding=True)#生成翻译withtorch.no_grad():outputs=model.generate(**inputs)#解码输出translated_text=tokenizer.decode(outputs[0],skip_special_tokens=True)returntranslated_text#使用示例if__name__=="__main__":#初始化翻译器（可指定需要加载的语言）translator=MultiLanguageTranslator()english_text="Hello,howareyoutoday?Let'sgototheparkandenjoytheweather."#进行多语言翻译translations={lang:translator.translate(english_text,lang)forlangin["french","german","japanese","spanish","chinese"]}#打印结果print(f"\n英文原文:{english_text}\n\n翻译结果:")forlang,textintranslations.items():