CN118709195B 应用大语言模型的方法和装置 （北京沃东天骏信息技术有限公司）

本公开的实施例公开了应用大语言模型的查询的原始问题与预设的提示一起输入大语言语言模型从所述原始问题中提取反应真实意图安全提示用于指示大语言模型回答问题时要符2从所述第一标记序列中以任意组合的方式删除预定数目的标记，得到将至少一个第二标记序列对应的文本分别与所述提示一起输入大语言将生成所述目标语句的概率大于预定阈值的第二标记序列根据各第二标记序列生成所述目标语句的概率的负对数计算各第二标记序列的损失根据各第二标记序列生成所述目标语句的概率的负对数计算各第二标记序列的损失从所述第三标记序列中以任意组合的方式删除预定数目的标记，得到将至少一个第四标记序列对应的文本分别与所述提示一起输入大语言将生成所述目标语句的概率大于预定阈值的第四标记序列确定为更提取单元，被配置成将待查询的原始问题与预设的提示一起输入3提问单元，被配置成将所述第二问题与预设的安全提示一起4种攻击可以通过在精心设计的提示中嵌入恶意查询来绕过LLM的校准机制和安全措施，从言模型从所述原始问题中提取反应真实意图的问题；从所述第一问题中删除非关键信息，5所述目标语句的概率大于预定阈值的第二标记序列确6算机程序在被处理器执行时实现如第一方面或第二方面[0021]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特[0031]图1示出了可以应用本公开的应用大语言模型方法或应用大语言模型装置的实施[0035]服务器105可以是安装了大语言模型用于提供大语言服务的服务器，例如对终端7[0037]需要说明的是，本公开的实施例所提供的应用大语言模型方法一般由服务器105[0039]继续参考图2，示出了根据本公开的应用大语言模型方法的一个实施例的流程[0040]步骤201，将待查询的原始问题与预设的提示一起输入大语言模型，输出第一问过有线连接方式或者无线连接方式接收终端设备发送的待,8QJB′′′[0060]使用重新生成的真实问题q而不是原始问题，从大型语言模型(LLM)产生最终响′9[0066]由于大型语言模型(LLM)自身的能力限制，在从长文本越狱攻击查询中提取真实率的负对数计算各第二标记序列的损失值；将损失值最小的第二标记序列确定为第二问[0077]本申请所关注的越狱查询损失是一些目标标记序列iri的梯度表示为：[0085]其中表示代表第i个标记当前值的独热向量(即在一个位置为1，其他位置为0第四标记序列；将至少一个第四标记序列对应的文本分别与所述提示一起输入大语言模[0091]步骤401，将待查询的原始问题与预设的提示一起输入大语言模型，输出第一问问题；提问单元503，被配置成将所述第二问题与预设的安全提示一起输入所述大语言模述第一标记序列中以任意组合的方式删除预定数目的标记，得到至少一个第二标记序列；二标记序列的损失值计算各标记的梯度；将梯度最小的标记从所述第一标记序列中删除，语句的概率大于预定阈值的第四标记序列确定为更新后[0106]在本实施例的一些可选的实现方式中，所述装置还包括循环单元(附图中未示的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执因特网的计算机网络和/或各种电信网络与其他设备交换信者全部可以经由ROM602和/或通信单元609而被载入和/或安装到设备600上。当计算机程机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0117]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端_服务器关系的计如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行