深度学习与大模型 课件 第8章 大模型微调

第8章大模型微调8.1大模型微调基础8.2大模型微调分类8.3微调实践案例8.4项目实践-通过微调BERT模型进行文本分类大模型微调基础8.1基本概念及意义大模型微调也称为Fine-tuning，是指在已经预训练好的大型语言模型基础上（一般称为基座模型，如GPT、BERT等），使用特定的数据集进行进一步的训练，通过让模型理解和学习特定领域的知识库，以提升模型在特定领域、特定任务中的性能并让模型适应特定任务或领域。经过预训练的基座模型其实已经可以完成很多任务，比如回答问题、总结数据、编写代码等。大模型微调的核心原因是希望赋予大模型更加定制化的功能。通用大模型虽然强大，但在特定领域可能表现不佳。通过微调，可以使模型更好地适应特定领域的需求和特征。微调的操作主要是通过引入特定领域的数据集进行适量的参数调整，大模型可以学习该领域的知识和语言模式。这有助于模型在特定任务上取得更好的性能。基本概念基本概念及意义大模型微调意义在于可以精准适配特定任务，提升性能；减少数据需求和训练时间，还能灵活适配多场景，实现高效优化，具体体现在以下几个方面。(1)提升任务特定性能不同领域的数据具有独特的分布和特征。例如，医疗文本与新闻文本在词汇、句法结构上存在显著差异。微调可以使模型更好地适应目标领域的数据特性，提高在该领域的应用效果。(2)减少数据需求预训练模型已经在大规模数据上学习了丰富的语言或图像表示。微调时，可以利用这些预训练知识，减少对目标任务标注数据的需求。这对于标注成本高、数据稀缺的任务尤为重要。(3)减少训练时间由于预训练模型已经学习到了通用的特征表示，微调时通常只需要在较小的数据集上进行训练，从而减少了训练时间。(4)适应不同应用场景不同的应用场景可能对模型的性能有不同的要求。通过微调，可以根据具体的应用场景对模型进行定制化优化，满足特定的业务需求。微调意义核心应用流程大模型微调的应用流程涵盖了数据准备、选择预训练模型、模型训练与微调等多个关键环节。首先进行数据准备，需依据目标任务广泛收集相关数据，经严格清洗以去除噪声与错误，按规范标注确保标签准确，再合理划分为训练、验证、测试集。其次，选择预训练模型，结合任务特性与计算资源，挑选架构适配、性能优良的模型。最后，进行模型训练与微调，设定合理学习率、批次大小等超参数，搭建训练环境加载模型，以训练集进行迭代训练，借助验证集监控性能并调整参数，最终经测试集评估优化，完成模型微调以适配特定任务。应用流程大模型微调分类8.2全参数微调全参数微调（FullFine-Tuning,FullFT）是指在预训练模型的基础上，针对特定任务或数据集，对模型的所有参数进行细微调整的过程。这种方法旨在充分利用预训练模型的通用知识，同时针对特定任务进行优化，以获得更好的性能。全参数微调是对预训练模型进行全局优化的方法，通过调整所有参数使模型更好地适应目标任务。基本概念处理流程参数高效微调参数高效微调（Parameter-EfficientFine-Tuning,PEFT）是一种针对大型预训练模型（如大语言模型）的微调技术。它旨在通过训练模型中的一小部分参数，而不是整个模型，来适应特定的下游任务，从而节省时间和计算资源，同时保持或提升模型性能。参数高效微调的核心思想是避免对模型的全部参数进行更新，而是仅调整一小部分参数或引入少量额外参数，从而在资源受限的环境下实现高效微调。基本概念处理流程提示微调与上下文学习大模型提示词通常指的是在使用大型语言模型（如GPT或其他基于Transformer的模型）时，用于引导模型生成特定类型或风格文本的短语或句子。提示微调（PromptTuning）是指通过在输入数据中插入可训练的提示词（Prompt）或模板，引导预训练模型生成符合特定任务的输出。提示词作为模型输入的一部分，其参数在训练过程中被优化，从而调整模型的行为。其核心思想是通过在模型的输入端添加一段可训练的文本提示，来引导模型生成符合特定任务要求的输出。基本概念处理流程大模型微调分类对比大模型调优在不同场景下需要采取不同的策略以获得最佳效果。全参数微调是一种全面调整模型所有参数的方法，适用于有足够计算资源和时间的情况，能够最大限度地利用预训练模型的信息，从而在新任务上获得较好的性能。然而，当资源有限时，参数高效微调方法则更为高效，它通过对预训练模型提取的深层特征进行缩放和移位来实现微调，避免了下游任务的额外参数和计算成本。基本概念调优策略适用场景效果成本与训练时间专业要求全参数微调对模型性能要求极高，且拥有充足计算资源和时间的场景显著提升模型性能高昂的计算成本GPU/TPU内存成本，训练时间长高参数高效微调对模型性能有一定要求，但计算资源和时间有限的场景保持较高模型性能，显著降低计算成本和训练时间相较于全参数微调，成本显著降低，训练时间更短中等提示微调对模型输出有特定要求，且希望通过优化输入来引导输出的场景改善模型对问题的理解和输出质量成本较低，操作简便低应用中的常见问题与解决方法根据上述的大模型微调过程，大模型微调常见问题与解决方法主要体现在数据层面和训练层面。对于数据层面，存在数据噪声、数据质量差和数据分布差异较大等问题，需进行数据清洗去噪、人工审核修正标注等方式解决；对于训练层面，存在模型收敛慢、波动大、过拟合与欠拟合等问题，需要调整参数、更换激活函数与优化器并引入学习率动态调度策略等方式来解决。一、数据层面问题与解决方法1．数据噪声2．数据标注错误3．数据分布差异二、模型训练层面问题与解决方法1．模型收敛速度慢与训练损失波动大2．模型过拟合3．模型欠拟合4.硬件资源不足基本概念微调实践案例8.3文本处理微调案例应用场景：情感分析实例介绍：在情感分析任务中，可通过全参数微调优化模型。例如加载预训练的BERT模型（如bert-base-chinese）并针对情感分析任务构建数据集，包含带有情感标签（积极或消极）的文本。在微调过程中，解冻模型的所有参数，使用交叉熵损失函数和Adam优化器，根据情感标签调整模型参数。经过多轮训练后，模型在情感分类任务上的性能显著提升，能够准确判断文本的情感倾向。全参数微调案例参数高效微调案例应用场景：文本生成实例介绍：在文本生成任务中，可采用参数高效微调方式中的LoRA方法进行微调。例如，使用T5模型生成SQL查询语句时，可通过LoRA仅微调模型的部分参数。首先，冻结T5模型的大部分参数，仅对新增的LoRA层进行训练。在训练过程中，将自然语言问题作为输入，对应的SQL查询作为输出，通过少量标注数据调整LoRA层的参数。这种方法大幅减少了计算资源的需求，同时保持了模型在文本生成任务上的性能。文本处理微调案例应用场景：问答系统实例介绍：在问答系统中，可通过提示微调结合上下文学习优化模型性能。例如，使用GPT系列模型时，可通过修改输入提示词引导模型生成特定格式的回答。在上下文学习方面，模型可根据用户的历史查询动态调整回答。例如，当用户询问“苹果的股价是多少”后，再次询问“它的创始人是谁”时，模型可结合上下文信息，推断“它”指代苹果公司，并准确回答创始人信息。这种方法无需更新模型参数，仅通过调整输入提示和利用上下文信息，即可提升模型在问答任务上的性能。提示微调结合上下文学习案例图像处理微调案例应用场景：图像分类实例介绍：在医学领域，不同疾病的医学图像（如X光、CT、MRI等）具有独特的特征。例如肺癌检测为例，加载在ImageNet等大规模图像数据集上预训练的卷积神经网络模型（如ResNet、VGG等），使用标注好的肺癌医学图像数据集进行全参数微调。将图像输入模型，根据是否为肺癌的标签调整模型所有参数，经过多轮训练后，模型能够准确识别医学图像中的肺癌病灶，辅助医生进行诊断。全参数微调案例参数高效微调案例应用场景：图像分类实例介绍：在医学领域，不同疾病的医学图像（如X光、CT、MRI等）具有独特的特征。例如肺癌检测为例，加载在ImageNet等大规模图像数据集上预训练的卷积神经网络模型（如ResNet、VGG等），使用标注好的肺癌医学图像数据集进行全参数微调。将图像输入模型，根据是否为肺癌的标签调整模型所有参数，经过多轮训练后，模型能够准确识别医学图像中的肺癌病灶，辅助医生进行诊断。文本处理微调案例应用场景：图像生成实例介绍：在文本到图像生成任务中，使用提示微调结合上下文学习。例如，用户输入一段文本描述，如“一只可爱的卡通小猫在草地上玩耍”，模型根据这段文本提示生成图像。同时，结合上下文学习，如果用户之前提供了一些关于卡通风格或草地场景的示例图像，模型可以根据这些上下文信息，生成更符合用户预期的图像。提示微调结合上下文学习案例项目实践-通过微调BERT模型进行文本分类8.4通过微调BERT模型进行文本分类基于BERT进行文本分类旨在应对日益增长的文本数据分类需求，如情感分析、主题识别等。本实战项目的应用背景源于对社交媒体、在线评论、新闻报道等文本内容的深度理解和快速分类。任务目标在于实现高精度的文本分类，以辅助决策制定、用户画像构建等。需求分析数据预处理CNews新闻类别识别数据集是专为新闻分类任务设计的数据集，广泛应用于机器学习和深度学习的文本分类研究中。CNews数据集是一个专为中文新闻分类任务设计的数据集，具有显著特点。它包含了大量根据内容归类好的新闻文章，覆盖财经、彩票、房产等14个分类，提供了丰富的训练和测试材料。数据集由训练集、测试集、验证集以及词汇表文件构成，为模型训练和评估提供了完整的环境。通过微调BERT模型进行文本分类使用HuggingFace的Transformers库来加载预训练的BERT模型bert-base-chinese-text-classification。BERT-Base-Chinese-Text-Classification是基于BERT-Base-Chinese的文本分类模型是在此基础上进一步微调（Fine-tuning）得到的，是针对文本分类任务进行微调的模型。BERT-Base-Chinese-Text-Classification是针对文本分类任务进行了微调，可以直接用于文本分类等任务。通过指定的模型文件路径中（./models/bert-base-chinese-text-classification）加载预训练的BERT模型和分词器。模型构建模型训练与预测数据预处理：对原始文本数据进行清洗、分词、去