深度学习与大模型 课件 第9章-大模型的部署与应用

第九章

大模型的部署与应用content目录01大模型部署概述02数据集构建方法03ONNX与TensorRT优化04RAG与本地知识库部署05项目实践大模型部署概述01部署方式对比01本地部署优势提供完全控制权，确保数据隐私与安全，响应速度较快。02本地部署局限扩展性受到限制，难以应对大规模数据处理需求。03云端部署特点利用云计算资源，易于扩展，有效降低运营成本。04云端部署挑战需要考虑网络延迟和数据安全问题。05分布式部署优势利用多节点并行计算，适合处理大规模数据和高并发请求。06容器化部署作用通过打包应用及其依赖，提高应用的可移植性和扩展性。07服务化部署效果封装服务接口，增强系统的灵活性和可维护性。08高性能模型推理容器化和服务化部署共同提升模型推理的性能和可用性。在线推理与离线推理在线推理特性在线推理强调实时性，即时响应请求，适用于实时翻译、在线推荐等场景，需快速反馈结果。离线推理优势离线推理预先处理数据，批量推理存储结果，适合数据分析、报告生成等非实时需求，注重效率而非速度。场景对比在线推理追求即时响应，适用于实时性要求高的场景；离线推理侧重数据处理效率，适合大规模数据处理任务。自动超参数调节01超参数调节方法网格搜索、随机搜索、贝叶斯优化等方法，自动寻找最佳超参数组合，提升模型性能。02性能优化策略结合算法选择、特征工程、模型集成等策略，进一步提高模型效率和表现。03工具与框架使用Auto-sklearn、TPOT等自动化机器学习工具，智能搜索最佳模型和参数配置。数据集构建方法02数据收集与清洗数据获取与清洗数据获取途径公开数据集，提供广泛的数据资源。企业内部数据，利用公司内部积累的数据。第三方数据供应商，购买专业数据服务。数据收集工具ETL工具，用于数据抽取、转换和加载。数据流管道工具，实现数据实时传输。网页数据抓取和解析工具，从网页中提取有用信息。数据清洗步骤读取文件，导入原始数据进行初步检查。处理缺失值，填补或删除缺失数据。识别异常值，检测并修正错误数据。数据清洗原则灵活处理，根据不同情况采取不同策略。保持数据一致性，确保数据间逻辑正确。定期审查与清洗，持续优化数据质量。数据标注与增强数据标注类型涵盖图像、语音、文本和3D点云等多种类型，确保模型准确理解数据。标注工具选择选择Labelbox、CVAT、VGGImageAnnotator等专业工具，支持自动标注、质量控制和团队协作。数据增强方法通过翻转、旋转、缩放、裁剪和色彩变换等方法，增加数据集的多样性和数量。提高模型能力提高模型的泛化能力和鲁棒性，适应不同场景和需求。图像变换库利用Albumentations、Imgaug、Augmentor等库提供的丰富图像变换方法。优化训练效果优化模型训练效果，确保模型在实际应用中的表现。确保数据质量提升标注效率和数据集质量，为模型训练提供可靠的数据基础。数据集切分策略随机分割将数据随机分配给训练集、验证集和测试集，比例常为70%-15%-15%，确保每组数据良好混合，易于实施但可能不适合不平衡或时间序列数据。分层分割维持每个子集中类的比例，特别适用于类别分布不平衡的数据集，确保每个类别在训练集、验证集和测试集中按比例表示，防止模型偏向多数类别。基于时间的分割对于时间序列数据，数据按时间进行分割，训练集包含前期数据，测试集包含后期数据，模拟模型训练期间无法获得未来数据的现实场景，适用于需要预测未来事件的模型。交叉验证数据集划分为k个子集或折叠，模型在k-1次折叠上训练，在剩余折叠上验证，重复k次，提供全面的模型性能评估，特别适用于处理小型数据集。ONNX与TensorRT优化03ONNX格式优势标准化格式ONNX提供了一种统一的模型表示格式，使得模型可以在不同的深度学习框架之间进行转换，提高了模型的可移植性和互操作性。优化与加速ONNX模型可以利用ONNXRuntime等工具进行优化，提高模型的推理速度和性能，同时支持多种硬件平台，包括CPU、GPU和FPGA等。模型共享与复用ONNX模型可以轻松地在不同的框架和平台之间共享和复用，降低了迁移成本，提高了开发效率，促进了模型的共享和交流。ONNX（OpenNeuralNetworkExchange）是一个开放的深度学习模型交换格式，由微软和Facebook等科技巨头于2017年联合推出。TensorRT推理优化TensorRT应用性能提升显著提升推理速度，减少处理时间。降低延迟，提高系统响应速度。减少内存占用，优化资源使用。兼容性支持跨平台，适应不同硬件环境。兼容多种深度学习框架，方便集成。模型优化提供模型优化工具，提升模型性能。支持模型量化，减小模型大小。应用场景广泛应用于自动驾驶，提高车辆安全性。用于医疗影像分析，提高诊断效率。在云计算服务中，加速数据处理。效果有效加速关键模块推理，提升整体性能。提高实时性，确保快速响应。增强安全性，特别是在自动驾驶领域。RAG与本地知识库部署04RAG概念与原理RAG基本概念RAG（Retrieval-AugmentedGeneration）结合大型语言模型与检索系统，通过从知识库检索信息增强生成内容的准确性与相关性。RAG模型构成RAG模型由检索模块（Retriever）和生成模块（Generator）组成，前者从知识库检索信息，后者基于检索结果生成响应。应用场景RAG技术广泛应用于智能问答、内容生成和辅助决策，提升信息检索与生成的效率和质量。工作原理RAG通过文本嵌入与向量搜索技术，高效检索知识库，结合大型语言模型生成上下文相关的高质量回答。构建与维护本地知识库明确目标与范围定义知识库目的，明确覆盖领域，确保内容针对性强，满足特定需求。收集整理知识广泛搜集资料，精细整理，确保信息准确无误，构建坚实知识基础。建立索引系统创建高效索引，优化检索机制，确保用户快速定位所需信息，提升使用体验。持续更新维护定期更新内容，保持信息时效性，优化结构，确保知识库活力与实用性。大模型与本地知识库结合应用结合大模型技术智能客服系统结合大模型与企业知识库，实现更精准的问题解答，提升服务效率与客户满意度。融合医学知识库医疗辅助决策系统利用大模型融合医学知识库，帮助医生诊断疾病并制定个性化治疗方案。提高服务质量通过大模型的应用，无论是智能客服还是医疗辅助决策系统，都能显著提高服务的质量和效率。整合政策文件政务问答机器人借助大模型整合政策文件与工作规范，为公众提供快速、准确的政务服务。提升客户满意度智能客服系统不仅提高了问题解决的速度，还提升了客户的整体满意度，增强了企业的竞争力。个性化治疗方案医疗辅助决策系统能够根据患者的具体情况，生成个性化的治疗建议，提高治疗效果。项目实践05ONNX模型导出导出准备选择预训练模型，如BERT，确保环境安装PyTorch和transformers库。模型加载加载模型与分词器，设置模型为评估模式，准备输入数据。ONNX导出使用torch.onnx.export()函数，指定模型、输入、输出名称和动态轴，导出为ONNX格式。Web服务集成应用01导出ONNX模型将训练好的模型转换为ONNX格式，以便跨平台使用。0