深度学习与大模型 课件 第9章 大模型的部署与应用

第9章大模型的部署与应用9.1大模型的部署9.2部署中的大模型调优方法9.3数据集构建方法9.4ONNX与TensorRT优化9.5RAG与本地知识库部署9.6项目实践-将训练好的模型通过ONNX格式部署至Web服务大模型的部署9.1部署方式对比01本地部署优势提供完全控制权，确保数据隐私与安全，响应速度较快。02本地部署局限扩展性受到限制，难以应对大规模数据处理需求。03云端部署特点利用云计算资源，易于扩展，有效降低运营成本。04云端部署挑战需要考虑网络延迟和数据安全问题。05分布式部署优势利用多节点并行计算，适合处理大规模数据和高并发请求。06容器化部署作用通过打包应用及其依赖，提高应用的可移植性和扩展性。07服务化部署效果封装服务接口，增强系统的灵活性和可维护性。08高性能模型推理容器化和服务化部署共同提升模型推理的性能和可用性。在线推理与离线推理在线推理特性在线推理强调实时性，即时响应请求，适用于实时翻译、在线推荐等场景，需快速反馈结果。离线推理优势离线推理预先处理数据，批量推理存储结果，适合数据分析、报告生成等非实时需求，注重效率而非速度。场景对比在线推理追求即时响应，适用于实时性要求高的场景；离线推理侧重数据处理效率，适合大规模数据处理任务。在线推理与离线推理方式对比属

性在线推理离线推理实时性要求高，需要快速响应请求要求不高，可以容忍一定的延迟数据处理方式逐条处理请求，实时计算批量处理数据，预先计算资源消耗资源占用相对稳定，但可能出现瞬时高峰资源占用较高，但可以分时段处理应用场景在线推荐、实时翻译、人脸识别、自动驾驶等数据分析、报告生成、大规模图像分类、视频处理等模型更新可以支持模型在线更新，但实现较为复杂模型更新相对简单，重新进行批量推理即可复杂性系统设计和维护较为复杂，需要考虑高并发、低延迟等系统设计相对简单，注重数据处理效率部署过程中的常见问题资源与成本相关问题安全与隐私相关问题性能与效率相关问题部署中的大模型调优方法9.2量化方法线性量化：将浮点数均匀地映射到整数范围。这是最常用的量化方法，实现简单，但可能对某些分布不均匀的数据效果不佳。非线性量化：使用非线性的映射函数将浮点数映射到整数范围，可以更好地适应不同的数据分布，但实现较为复杂。量化技术量化参数量化位数：常见的量化位数包括8位（INT8）、4位（INT4）等。量化粒度：包括逐层量化、逐通道量化和逐张量量化等。量化算法：包括线性量化和非线性量化等。剪枝技术剪枝类型结构化剪枝：更注重整体结构的优化，遵循特定规则，删除连接或层结构，保持网络整体架构。非结构化剪枝：关注个体元素的精简，针对各个参数进行剪枝，形成不规则的稀疏结构。剪枝过程

训练初始模型：为了达到足够的性能水平，首先需要训练一个初始的大模型。

精准评估参数重要性：利用权重的绝对值、梯度信息等先进方法，深入剖析模型各参数作用，为优化决策提供有力支撑。

剪枝：根据评估结果，剪枝掉不重要的参数或连接，可以是结构化的或非结构化的。修正和微调：进行剪枝后，需要进行一定的修正和微调，以确保模型的性能不会显著下降。部署中的量化与剪枝技术应用知识蒸馏在推理中的应用提高推理速度和效率这是知识蒸馏最直接的应用。通过将大型教师模型的知识迁移到小型学生模型，可以在推理阶段使用更小的模型，从而减少计算量、降低延迟，提高推理速度和效率。这对于在资源受限的设备（如移动设备、边缘设备）上部署模型尤为重要。提高模型泛化能力教师模型通常具有更强的泛化能力，能够更好地处理未见过的数据。提高模型鲁棒性教师模型通常经过更充分的训练，对噪声和对抗样本的鲁棒性更强。通过知识蒸馏，学生模型可以继承教师模型的鲁棒性，从而在推理阶段表现出更好的泛化能力和抗干扰能力。隐式思维链推理传统的思维链推理需要模型显式地生成推理步骤，而通过知识蒸馏，学生模型可以直接从教师模型的隐藏状态中学习到推理过程的信息，从而无需显式生成推理步骤即可完成推理任务，提高推理效率。自动超参数调节与性能优化1．网格搜索网格搜索是一种穷举搜索的方法，通过定义一个超参数空间，并在该空间中进行离散的搜索。它将超参数空间划分成不同的子空间，并生成超参数组合，然后按照每个超参数组合的设定训练模型，并通过交叉验证等方法评估模型性能，最终选择性能最佳的模型。2．随机搜索随机搜索是一种基于随机抽样的超参数调优方法，它通过在超参数空间中进行随机抽样来搜索最佳超参数组合。它根据每个超参数的取值范围在超参数空间内随机抽样，生成超参数组合，然后按照每个超参数组合的设定训练模型，并通过交叉验证等方法评估模型性能，最终选择性能最佳的模型。3．贝叶斯优化贝叶斯优化是一种基于高斯过程的优化算法，它通过建立模型对超参数进行先验估计，并通过观察来更新估计结果。它根据观察结果更新模型中的超参数先验估计，然后根据更新后的先验估计选择下一个最优的超参数组合进行训练和评估，直到达到预设的迭代次数、时间或达到性能要求。自动超参数调节自动超参数调节与性能优化1．算法选择根据问题的特点和需求选择合适的机器学习算法。不同的算法具有不同的优缺点和适用场景。例如，对于分类问题，可以选择支持向量机、随机森林、神经网络等算法；对于回归问题，可以选择线性回归、岭回归、Lasso回归等算法。2．特征工程通过特征选择、特征提取和特征变换等方法，提高模型对数据的拟合能力和泛化能力。特征工程是机器学习中的一项重要技术，对于提高模型的性能至关重要。3．硬件加速和代码优化硬件加速利用GPU等高性能计算设备加速模型的训练和预测过程。GPU具有强大的并行计算能力，可以显著提高模型的训练速度和预测性能。另外，通过优化代码结构和算法实现，降低模型的计算复杂度和内存占用。例如，使用高效的数据结构和算法、减少不必要的计算等。性能优化数据集构建方法9.3数据收集与清洗数据获取与清洗数据获取途径公开数据集，提供广泛的数据资源。企业内部数据，利用公司内部积累的数据。第三方数据供应商，购买专业数据服务。数据收集工具ETL工具，用于数据抽取、转换和加载。数据流管道工具，实现数据实时传输。网页数据抓取和解析工具，从网页中提取有用信息。数据清洗步骤读取文件，导入原始数据进行初步检查。处理缺失值，填补或删除缺失数据。识别异常值，检测并修正错误数据。数据清洗原则灵活处理，根据不同情况采取不同策略。保持数据一致性，确保数据间逻辑正确。定期审查与清洗，持续优化数据质量。数据标注与增强数据标注类型涵盖图像、语音、文本和3D点云等多种类型，确保模型准确理解数据。标注工具选择选择Labelbox、CVAT、VGGImageAnnotator等专业工具，支持自动标注、质量控制和团队协作。数据增强方法通过翻转、旋转、缩放、裁剪和色彩变换等方法，增加数据集的多样性和数量。提高模型能力提高模型的泛化能力和鲁棒性，适应不同场景和需求。图像变换库利用Albumentations、Imgaug、Augmentor等库提供的丰富图像变换方法。优化训练效果优化模型训练效果，确保模型在实际应用中的表现。确保数据质量提升标注效率和数据集质量，为模型训练提供可靠的数据基础。数据集切分策略随机分割将数据随机分配给训练集、验证集和测试集，比例常为70%-15%-15%，确保每组数据良好混合，易于实施但可能不适合不平衡或时间序列数据。分层分割维持每个子集中类的比例，特别适用于类别分布不平衡的数据集，确保每个类别在训练集、验证集和测试集中按比例表示，防止模型偏向多数类别。基于时间的分割对于时间序列数据，数据按时间进行分割，训练集包含前期数据，测试集包含后期数据，模拟模型训练期间无法获得未来数据的现实场景，适用于需要预测未来事件的模型。交叉验证数据集划分为k个子集或折叠，模型在k-1次折叠上训练，在剩余折叠上验证，重复k次，提供全面的模型性能评估，特别适用于处理小型数据集。ONNX与TensorRT优化9.4ONNX格式优势标准化格式ONNX提供了一种统一的模型表示格式，使得模型可以在不同的深度学习框架之间进行转换，提高了模型的可移植性和互操作性。优化与加速ONNX模型可以利用ONNXRuntime等工具进行优化，提高模型的推理速度和性能，同时支持多种硬件平台，包括CPU、GPU和FPGA等。模型共享与复用ONNX模型可以轻松地在不同的框架和平台之间共享和复用，降低了迁移成本，提高了开发效率，促进了模型的共享和交流。ONNX（OpenNeuralNetworkExchange）是一个开放的深度学习模型交换格式，由微软和Facebook等科技巨头于2017年联合推出。ONNX转换流程ONNX（OpenNeuralNetworkExchange）ONNX（OpenNeuralNetworkExchange）转换流程概述：首先，准备需要转换的深度学习模型，并确保已安装ONNX库。然后，使用框架提供的转换工具或函数（如PyTorch中的torch.onnx.export()），指定模型、输入数据、输出文件路径等参数。转换过程中，需设置输入输出的名称、动态轴等信息，以适应不同场景。最后，生成ONNX格式模型文件，该文件可在不同框架间共享和部署，便于模型优化和集成TensorRT在推理中的优化作用TensorRT应用性能提升显著提升推理速度，减少处理时间。降低延迟，提高系统响应速度。减少内存占用，优化资源使用。兼容性支持跨平台，适应不同硬件环境。兼容多种深度学习框架，方便集成。模型优化提供模型优化工具，提升模型性能。支持模型量化，减小模型大小。应用场景广泛应用于自动驾驶，提高车辆安全性。用于医疗影像分析，提高诊断效率。在云计算服务中，加速数据处理。效果有效加速关键模块推理，提升整体性能。提高实时性，确保快速响应。增强安全性，特别是在自动驾驶领域。TensorRT在推理中的优化作用TensorRT在推理中的优化作用显著。它专为NVIDIAGPU设计，通过优化计算图、融合层、自动调整内核等技术，大幅提升深度学习模型的推理速度和效率。TensorRT支持多种精度（FP32、FP16、INT8），可根据需求平衡精度和性能。同时，它兼容多种深度学习框架，提供灵活的部署选项，适用于服务器端、边缘设备和嵌入式系统。使用TensorRT，开发者能够轻松实现高性能的推理任务，满足实时应用的需求ONNX与TensorRT结合的应用案例一、图像分类任务在图像分类任务中，ONNX与TensorRT的结合同样发挥了重要作用。以下是一个具体的流程：模型训练与导出：使用深度学习框架（如TensorFlow或PyTorch）进行图像分类模型的训练，并将训练好的模型导出为ONNX格式。ONNX模型优化：使用ONNX优化工具对导出的ONNX模型进行优化，以减少模型的大小和提高推理速度。TensorRT引擎构建：利用TensorRT的PythonAPI或命令行工具将优化后的ONNX模型转换为TensorRT引擎文件。部署与推理：将生成的TensorRT引擎文件部署到目标设备上（如NVIDIAGPU），并使用TensorRT的推理API进行高效的图像分类推理。二、语义分割任务在语义分割任务中，ONNX与TensorRT的结合同样可以显著提升推理性能。以下是一个具体的流程：模型训练与导出：使用深度学习框架（如PyTorch或TensorFlow）进行语义分割模型的训练，并将训练好的模型导出为ONNX格式。ONNX模型优化与量化：对导出的ONNX模型进行优化和量化，以减少模型的大小和提高推理速度。TensorRT引擎构建与部署：利用TensorRT将优化后的ONNX模型转换为TensorRT引擎文件，并部署到目标设备上。推理与性能评估：使用TensorRT的推理API进行语义分割推理，并对推理性能进行评估和优化。RAG与本地知识库部署9.5RAG概念RAG基本概念RAG（Retrieval-AugmentedGeneration）结合大型语言模型与检索系统，通过从知识库检索信息增强生成内容的准确性与相关性。RAG模型构成RAG模型由检索模块（Retriever）和生成模块（Generator）组成，前者从知识库检索信息，后者基于检索结果生成响应。RAG原理应用场景RAG技术广泛应用于智能问答、内容生成和辅助决策，提升信息检索与生成的效率和质量。工作原理RAG通过文本嵌入与向量搜索技术，高效检索知识库，结合大型语言模型生成上下文相关的高质量回答。构建与维护本地知识库明确目标与范围定义知识库目的，明确覆盖领域，确保内容针对性强，满足特定需求。收集整理知识广泛搜集资料，精细整理，确保信息准确无误，构建坚实知识基础。建立索引系统创建高效索引，优化检索机制，确保用户快速定位所需信息，提升使用体验。持续更新维护定期更新内容，保持信息时效性，优化结构，确保知识库活力与实用性。大模型与本地知识库结合应用结合大模型技术智能客服系统结合大模型与企业知识库，实现更精准的问题解答，提升服务效率与客户满意度。融合医学知识库医疗辅助决策系