CN119396964A 一种基于大语言模型的智慧客服辅助意图匹配方法 （人工智能与数字经济广东省实验室(广州)）

一种基于大语言模型的智慧客服辅助意图本发明公开了一种基于大语言模型的智慧2后端服务器配置步骤，用以接收用户交互界面所传来5.如权利要求1_4任一所述的基于大语言模型的智慧客服辅助意图匹配方法，其特征在所述LLaMa_2_70B模型训练初期，设定一学习率以快速接近最优解；随着训练的进采用few_shot或one_shot的方法优化所述LLaMa_2_7所述前端界面采用localStorage来缓存静态资源和数据，用户在离线状态下的操作，述后端服务器对耗时或多线程的模型推断任务，使用消息队列进行异步处理同时使用8.如权利要求1或7所述的基于大语言模型的智慧客服辅助意图匹配方法，其特征在于，所述后端服务器使用的是NVIDIAA100GPU，在后端服务器启动后使用startup加载模10.如权利要求1所述的基于大语言模型的智慧客服辅助意图匹配方法，其特征在于，345[0026]大语言模型由于具有大量的训练数据，使得它可以学习[0028]图2为本发明优选实施例提供的大语言模型智慧客服辅助意图匹配方法的流程[0031]参阅图1所示，本实施例提供的一种基于大语言模型智慧客服辅助意图匹配方法6[0039]为了实现上述特性，使用HTML、CSS和JavaScript等前端技术进行界面的构建。HTML(HyperTextMarkupLanguage)是用来描述网页的一种语言，可以用来创建结构化的Uvicorn是一个基于ASGI(AsynchronousServerGatewayInterface)的高性能服务器框数据处理和人工智能领域。Python的异步编程能力使得我们可以同时处理多个用户请求，2_70B是一个拥有超过700亿参数的大型Transformer模型，它在各种语言任务上都表现出7设置得过大。可以通过统计训练数据中的句子长度分布来得出一个合适的最大输入长度；[0047]具体地，该转化学习是一种将预训练模型学习到的知识应用到具体任务上的方训练和强大的泛化能力。为了使其适应特定的意图匹配任务，本申请采用了微调(fine_50％层)。这样的决策是基于这样的观察：模型的前端通常负责从数据中提取一般性的特8model.add_module("fc",nn.Linear(1024,512))#添加全[0057]model.add_module("attn",nn.MultiheadAttention(1024,8))#添加自注意力机制层```2.对优化器的选择：```pythonfromt=[0058]SGD(model.parameters(),lr＝0.01,momentum＝0.9)#使用SGD优化器#或optimizer＝Adam(model.parameters(),lr＝0.01)#使用Adam优化器```3.批量大小的调整：这通常在数据加载器(DataLoader)中设置。```pythonfromtorch.utils.dataimportDataLoaderloader＝DataLoader(dataset,batch_size＝32)#设置批量大小为32```4.调整正则化策略：```python#假设模型的名称为modelfromtorch.optimimport9SGDfromtorch.nnimportDropoutmodel.add_module("dropout",Dropout(0.5))#在名称为modelfromtorchnninitimportxavieruniformkaiminguniformfor模型中添加dropoutoptimizer＝SGD(model.parameters()名称为modelfromtorchnninitimportxavieruniformkaiminguniformforname,paramind_parameters():if'weight'inname:xavier_uniform_方法，将其列为之后优化的方向。LoRA(LearningfromOutputs,Recoveringfrompythonimporttorch.nnasnnclassLoraLayer(nn.Module):definit(self,input_dim,output_dim):super(LoraLayer,为modelmodel.add_module("lora",LoraLayer(1024,512))#添加LoRA层```在这段代码[0060]在配置模型输出的采用的相关参数包括：gen_config＝dict(max_new_tokens=1024,max_time＝2*60,suppress_tokens＝tok.encode('\n')[_1:],temperature＝0.1,repetition_penalty＝1.13,top_k＝70,top_p＝0.5,do_sample＝False,length_penalty[0061]1.`max_new_tokens`:这指的是每次生成文本时模型最多可以生成的新令牌[0065]5.`repetition_penalty`:这是一[0069]9.`length_penalty`:这是一个户和内容对话的语料)，同时加入微调(如上述所说选择微调的模型层冻结模