CN120296148A 一种大语言模型离散提示词搜索方法及装置 （中山大学）

一种大语言模型离散提示词搜索方法及装置本发明公开了一种大语言模型离散提示词采用预置参数矩阵更新函数根据训练提示词对示词和多个推理结果对中间策略模型的中间参2获取训练提示词和训练句子，并采用预置参数矩阵更新函数根采用所述中间策略模型和预置生成式语言模型根据所述训练句子进基于预置梯度计算公式，采用精英坐标下降算法根据多个所述扰采用噪声模型分别对各所述中间离散提示词进行扰动，生成各所述中分别将各所述扰动离散提示词作为文本到文本迁移将各所述训练语义句子分别和所述训练句子进行拼接，生成各所述分别将各所述训练拼接句子输入至大语言模型，对各所述扰动离散提示词进行独热编码，确定各所述扰动离散提示词采用策略模型梯度计算公式根据各所述离散提示词编码和所述中间策略模型的中间采用参数矩阵梯度计算公式根据各所述权重值和各所述策略根据所述参数矩阵梯度对所述中间策略模型的中间参数3若所述更新次数达到预置更新阈值或所述损失均值收敛，则将若所述更新次数未达到预置更新阈值和所述损失均值未收敛，采用预置参数矩阵更新函数根据所述训练提示词对所述新的初始策略模型的初始参采用中间策略模型和预置生成式语言模型根据所述训练句子进行推基于预置梯度计算公式，采用精英坐标下降算法根据多个扰动离散将更新次数达到预置更新阈值或损失均值收敛时确定的更新策略模型作为目标策略当接收到待测句子时，将所述目标离散提示词作为所述文本到文本迁移转换器的输;为计算第i个扰动离散提示词对应的对数概率关于策略模型的参数矩阵的获取模块，用于获取训练提示词和训练句子，并采用预置推理模块，用于采用所述中间策略模型和预置生成式语言模型根优化模块，用于基于预置梯度计算公式，采用4执行时实现如权利要求1_6任一项所述的大语言模型离算机执行时，使所述计算机执行如权利要求1_6任一项所述的大语言模型离散提示词搜索5[0005]现有的离散提示词搜索技术主要基于强化学习的提示词优化（RLPrompt，即多个所述推理结果对所述中间策略模型的中间参数矩阵进行迭代优化，确定目标策略模6[0024]采用策略模型梯度计算公式根据各所述离散提示词编码和所述中间策略模型的[0032]采用预置参数矩阵更新函数根据所述训练提示词对所述新的初始策略模型的初7[0035]将更新次数达到预置更新阈值或损失均值收敛时确定的更新策略模型作为目标[0042]其中，g为参数矩阵梯度；N为扰动离散提示词的总数量；为第i个权重值；为计算第i个扰动离散提示词对应的对数概率关于策略模型的参数矩阵的计算机程序被执行时实现如上述任一项所述的大语言模型离散提8[0054]图1为本发明实施例一提供的一种大语言模型离散提示词搜索方法的步骤流程[0055]图2为本发明实施例二提供的一种大语言模型离散提示词搜索方法与现有技术相[0062]需要说明的是，本发明随机生成的训练提示词，并引入预置参数矩阵更新函数9[0075]其中，为超参数。之所以将该策略称为Hadamard策略，是由于对给定的,将概率组成向量后有，e为ej为参数矩阵中的第j列的所有元素。本发明提出的Hadamard策略衡离散提示优化过程中的深度搜索和广度搜索。噪声模型在离散提示词中为离散提示词中的第i个词元；为每轮迭代中随机取的整数，表示[0086]值得一提的是，在自精英坐标下降(ECD，ConclusionofElitistDescent本到文本迁移转换器，即T5模型（Text_to_TextTransferTransformer）。T5模型是由为训练数据的分布；为大模型在给定输入sy时的输[0105]其中，为原始损失函数F[0106]由此可见，本发明将空间中的离散搜索问题转化为连续无约束实空间vxo(x)为的梯度；vlogro(x)为策略模型的对扰动后的策略模型采样出x的条件下求数学期望；为在扰动离散提示词y和数据样第j个提示词x的第j个分量的值，在基于参数的sigma函数结果中选取的第j列元素；;出的离散提示词对应的概率值；为基于施加噪声后的策略模型输出的离散提示词对应的概率值；vlogr,(x)为第i个扰动离[0155]其中，g为参数矩阵梯度；N为扰动离散提示词的总数量；为第i个权重值；为计算第i个扰动离散提示词对应的对数概率关于策略模型的参数矩阵的vlogxoy)为扰动离散提示词y对应的Softmax策略模型的策略模型梯度；为扰动离散提示词y对应的离散提示词编码其表示扰动离散提示词y[0163]其中，vlogxoy)为扰动离散提示词y对应的Hadamard策略模型的策略模型梯[0166]其中，为参数矩阵θ的第j列；Q,为θ中的第m行第j列的矩阵元素；为;;[0188]值得一提的是，对于优化算法，遗传算法或模拟退火可替换精英坐标下降法通过交叉、变异和选择操作优化组合。或者，利用贝叶斯优化算法替换精英坐标下降法（ECD其利用概率模型构建目标函数的代理模型，通过序贯采样策略高效搜减少API调用次数。[0195]其中，f()为第i个扰动离散提示词对应的目标函数值；为第i个扰动离[0198]需要说明的是，由于策略梯度噪声很大，故本发明引入目标值塑造方法（ObjectiveValueShapingMethod尝试通过调整目标值来减少噪声的影响，使得梯度,其中表示ci在集合h-el中的排名秩。不难注意到，r是目标函数值f()在[0209]步骤S36、采用策略模型梯度计算公式根据各离散提示词编码和中间策略模型的制来解决高维离散优化问题。请参阅表3，首先执行初始化，随机生成的训练提示词a[0216]1.随机抽取索引：从训练提示词aef1…ml"的均匀分布um中随机抽取一个索引k，[0228]这种逐列更新的方法是典型的坐标下降策略，每次只更[0230]S42、采用预置参数矩阵更新函数根据训练提示词对新的初始策略模型的初始参多个推理结果对中间策略模型的中间参数矩阵进行更新，确定损失均值和更新策略模型，[0233]S45、将更新次数达到预置更新阈值或损失均值收敛时确定的更新策略模型作为标函数值整形法，(4)选择性坐标更新用于减小计算开销。这些特征最终形成了一种有效解释性通过帕累托前沿选择最优解。[0242]S51、当接收到待测句子时，将目标离散提示词作为文本到文本迁移转换器的输[0245]在本实施例中，本发明针对RLPrompt（ReinforcementLearning‑basedPrompt任务转化为基于掩码填充(fill‑mask)的多分类任务；同时提出了基于统计优化的分类标签生成方法。②白盒离散提示词搜索：AutoPrompt是一种采用白盒离散提示词搜索技术的算法，它通过分析模型内部结构来优化提示词以提高性能。RLPrompt则通过将离散提示词的优化问题转化为强化学习问题，利用一个连续的策略网络探索提示词空间。Plum采用了搜索和和谐搜索等多种典型优化方法。这些方法在离散和连续提示词搜索中均表现出色，并且可以用于生成更具人类可解释性的提示词，这使其成为白盒环境下优化提示词的有效不同的提示词组合，并通过适应度评分来选择最优提示词。③黑盒离散提示词搜索：BBT法直接访问内部参数的闭源商业模型。BBT采用无导数优化方法，仅通过API接口调整输入中的软提示词，在RoBERTa等模型上的实验表明其效果优于手动设计和基于梯度的提示词调整方法。BBTv2通过分层提示词优化进一步提升了性能，在少量数据下可媲美全模型微调。此外，Proxy‑Tuning等类似技术通过微调小模型并利用其与大模型的预测差异来实现过提示词内容的舍入或近似来优化模型性能，在处理复杂提示词时兼具梯度优化的高效性和硬提示词的可解释性。⑤上下文学习技术则通过将提示词与输入上下文结合，显著提升搜索成本过高——随着提示词长度呈指数级增长的解空间使强化学习方法（如RLPrompt）[0248]现有与本发明最接近的离散提示词优化方案主要包括基于直接概率建模的离散离散提示词搜索过程中加入语义生成过程以解决上述问题。在综合BDPL和RLPrompt的优行高效搜索的随机坐标梯度下降法，与现有类似工作中常常以来的标准梯度下降方法相为大语言模型提供更加准确和自然的提示，从而提升其在多种自然语言处理任务中的表[0263]推理模块302，用于采用中间策略模型和预置生成式语言模型根据训练句子进行[0278]采用策略模型梯度计算公式根据各离散提示词编码和中间策略模型的中间参数[0279]采用参数矩阵梯度计算公式根据各权重值和各策略模型梯度，计算参数矩阵梯[0280]根据参数矩阵梯度对中间策略模型的中间参数矩阵进行更新，确定更新策略模[0287]第三模块，用于采用中间策略模型和预置生成式语言模型根据训练句子进行推[0296]其中，g为