CN119398193A 一种引入稠密向量检索器的大语言模型的处理方法和装置 （北京深势科技有限公司）

一种引入稠密向量检索器的大语言模型的本发明实施例涉及一种引入稠密向量检索于第一大语言模型在对应的定向NLP任务微调中在第一大语言模型中增加稠密向量检索器和特征融合模块构成第二大语言模型并对其进行训据库为参考来处理定向NLP任务；并定期更新稠2将一类基于Transformer模型架构实现并已完成预训练和一类定向NLP任务微调的大语言模型作为对应的第一大语言模型；所述定向NLP任务至少包括机器翻译任务和智能问将所述第一大语言模型在对应的定向NLP任务微调中使用的定向文本语料集作为对应在所述第一大语言模型中增加稠密向量检索器和特征融合模块构成对应的第二大语模型训练结束后，由所述第二大语言模型以所述稠密向量数据库为向量数据库对所述第二大语言模型进行一次任务处理性能评估得到对应的当次评估结果，并在所述当次评估结果为不合格时基于所述稠密向量数据库进行模型训练数据集构建得本次微调结束后继续由所述第二大语言模型以所述稠密向量数据库为参考来处理所述定所述第一数据集包括多个第一数据记录；所述第一数据记录包括第一目目标文本和所述第一标签文本分别为对应的问题目标文本和答所述稠密向量数据库包括第一向量数据库和第一文本数据库；所述第一所述第一向量数据库用于存储多个第一向量数据记录；所述第所述第一文本数据库用于存储多个第一文本数据记录；所述第所述第二数据集包括多个第二数据记录；所述第二数据记录包括第二目3所述第一大语言模型用于根据模型输入的第一任务文本进行对应的NLP任务文本生成所述第一大语言模型的模型框架至少包括预处理模块、嵌入编码模块所述第一大语言模型的各模型组件连接关系为：所述预处理模块的输所述第一大语言模型的所述预处理模块用于对所述第一任务文本进行分词、词和词性标注处理得到对应的第一分词序列向所所述第一大语言模型的所述嵌入编码模块用于对所述第一分词序列进行词嵌入编码和词位置编码处理得到对应的第一嵌入编码向量向所所述第一大语言模型的所述特征提取模块基于Transformer模型Encoder或Decoder组个分词文本与其他分词文本的关联特征进行深度学习得到对应的第一特征向量向所述文所述第一大语言模型的所述文本生成模块基于一类文本生成成模块用于根据所述第一特征向量进行文本特征解码和文本生成处理并输出对应的所述4.根据权利要求3所述的引入稠密向量检索器的所述第二大语言模型用于以所述稠密向量数据库为任务参考知识库并根据模型输入所述第二大语言模型的模型框架包括所述预处理模块、所述嵌入编所述第二大语言模型的各模型组件连接关系为：所述预处理模块的输所述第二大语言模型的所述预处理模块用于对所述第二任务文本进行分词、词和词性标注处理得到对应的第二分词序列向所所述第二大语言模型的所述嵌入编码模块用于对所述第二分词序列进行词嵌入编码和词位置编码处理得到对应的第二嵌入编码向量向所所述第二大语言模型的所述特征提取模块用于根据所述第二嵌入编码向量对所述第二任务文本中各个分词文本与其他分词文本的关联特征进行深度学习得到对应的第二特4征向量向所述稠密向量检索器和所述特征融合所述第二大语言模型的所述稠密向量检索器用于按稠密向量格式对所述第二特征向密向量字段与所述第一转换向量的向量特征近似度超过预设的第一近似度阈值的所述第一向量数据记录的所述第一稠密向量字段与所述第二特征向量的向量特征近似度作为对应的第一相关系数，并按所述第一相关系数从高到低的顺序对A个所述第一向量数据记录段与所述第一记录序列的各个所述第一向量标识字段匹配的所述第一文本数据记录的所向量标识字段与各个所述第一标识匹配的所述第一向量数据记录的所述第一稠密向量字系数从高到低的顺序对A个所述第一参考记录进行顺序排序组成对应的所述第一参考记录格式到稠密向量格式的稠密向量转换方式与从稠密向量格式到文本特征向量格式的文本所述第二大语言模型的所述特征融合模块用于对所述第一参考记录序列是否为空进合模式为第一模式，则按所述第一相关系数从高到低的顺序对所述第一参考记录序列的A特征向量和所述第一拼接特征向量进行顺次向量拼接并将得到的拼接向量作为对应的所所述第一相关系数进行归一化计算得到对应的A个归一化相关系数，并将各个所述归一化相关系数与其对应的所述第一参考特征向量的内积计算结果作为对应的第一加权特征向量，并对得到的A个所述第一加权特征向量进行均值向量计算得到对应的第一平均特征向网络模型对所述第二特征向量与所述第一参考记录序列的各个所述第一参考特征向量的注意力权重进行预测得到对应的第一注意力权重，并对得到的A个所述第一注意力权重进行归一化计算得到对应的A个归一化注意力权重，并将各个所述归一化注意力权重与其对A个所述第一注意力特征向量进行均值向量计算得到对应的第二平均特征向量，并对所述第二特征向量和所述第二平均特征向量进行顺次向量拼接并将得到的拼接向量作为对应的所述第一融合特征向量；并将得到的所述第一融合特征向量向所述文本生成模块发送；5所述第二大语言模型的所述文本生成模块用于根据所述第一融合特征向量进行文本步骤51，基于一类所述向量数据库初始化一个空数据库步骤52，对所述第一数据集的所有所述第一数据记录密向量格式对所述当前目标文本特征向量和所述当前标签文本特征向量进行稠密向量转录的所述第一向量标识字段和所述第一稠密向量字段设为对应的所述第一新建标识和所步骤61，根据预设的第一分割比例对所述第一数据集其中，所述第一训练集和第一评估集都由多个所述集的记录总数与所述第一评估集的记录总数的比值满足所述步骤62，将所述第一训练集的第一个所述第步骤63，将所述当前训练记录的所述第一目标文本输入步骤64，将所述第一预测文本和所述当前训练6方向对所述第二大语言模型的所述特征融合模块和所述文本生成模块的模型参数进行一步骤65，对所述当前训练记录是否为所述第一训练集的步骤66，对所述第一评估集的所有所述第一数据记录的所述第一目标文本输入所述第二大语言模型进行处理并将模型输出的生成文本作为对带入预设的第一模型评估函数进行计算得到对应的所述由所述第二大语言模型以所述稠密向量数据库为参考来处理所述定向NLP任务，具体接收用户输入的任务文本作为对应的当前任务文本；并将所模型输入的所述当前任务文本进行对应的NLP任务文本生成处理；并将模型输出的生成文步骤81，按预设的第一时间频率定期通过多个大数据采集渠道对所述定向NLP任务的领域公开的技术标准/教材/文献/杂志/期刊/论文资源；所述第一采集数据集包括多个所向NLP任务为机器翻译任务时，所述第一采集目标文本和所述第一采集标签文本分别为对7标文本和所述第一采集标签文本分别为对应的问题目标文本和答步骤82，将所述第一采集数据集的第一个所述第一采集记录作为对应的当前采集记步骤83，将所述当前采集记录的所述第一采集目标文本当前目标文本特征向量和所述当前标签文本特征向量进行稠密向量转换得到对应的当前步骤84，对所述稠密向量数据库的所述第一向量数据库述当前目标文本稠密向量的向量特征近似度最大的所述第一向量数据记录进行查询并将述第一稠密向量字段与所述当前目标文本稠密向量的向量特征近似度作为对应的第一目向量数据库中所述第一稠密向量字段与所述第二查询记录的所述第三向量标识字段匹配密向量字段和所述当前标签文本稠密向量的向量特征近似度进行计算得到对应的第一标步骤85，对所述第一目标近似度和所述第一标签近似度步骤86，将所述第二查询记录的所述第二文本字段更询记录的所述第一稠密向量字段更新为对应的所述当前标签文本稠密向量；并转至步骤步骤87，在所述第一向量数据库中新增两个所述第一向量标识字段和所述第一稠密向量字段设为对应的所述第二新增标识和所述当前标签文本8步骤88，对所述当前采集记录是否为所述第一采所述定期基于最新的所述稠密向量数据库对所述第二大语言模型进行一次任务处理性能步骤91，按预设的第二时间频率定期将当前时间作述第一文本数据库中所有所述第一更新字段满足所述第一最近时段的所述第一文本数据步骤92，对所述第一记录集合的所有所述第一文本前评估记录的所述第一文本字段和所述第二文本字段提取出来作为对应的当前任务文本入预设的第二模型评估函数进行计算得到对应的第二10.根据权利要求9所述的引入稠密向量检索器的大语言模型的处理方法，其特征在在所述当次评估结果为不合格时，对所述第一记录集合的11.根据权利要求6所述的引入稠密向量检索器的大语言模型的处理方法，其特征在步骤111，根据预设的第二分割比例对所述第二数据集进行子数据集分割处理得到对其中，所述第二训练集和第二评估集都由多个所述集的记录总数与所述第二评估集的记录总数的比值满足所述步骤112，将所述第二训练集的第一个所述第二数据记录提取出来作为对应的当前训步骤113，将所述当前训练记录的所述第二目标文本输入所述第二大语言模型进行处理并将模型输出的生成文本作为对应的第三9步骤114，将所述第三预测文本和所述当前训练记录的所述第二标签文本带入所述第的方向对所述第二大语言模型的所述文本生成模步骤115，对所述当前训练记录是否为所述第二训练集的最后一个所述第二数据记录取出来作为新的所述当前训练记录并返回步的所述第二目标文本输入所述第二大语言模型进行处理并将模型输出的生成文本作为对带入预设的第三模型评估函数进行计算得到对应的12.一种用于执行权利要求1_11任一项所述的引入稠密向量检索器的大语言模型的处所述大语言模型选配模块用于将一类基于Transformer模型架构实现并已完成预训练所述稠密向量数据库准备模块用于将所述第一大语言模型在对应的定向NLP任务微调所述大语言模型改造与训练模块用于在所述第一大语言模型中增加稠密向量检索器所述改造模型应用模块用于在模型训练结束后，由所述第二大语言模量数据库为参考来处理所述定向NLP任务；并定期对所述稠密向量数据库进行数据更新处所述处理器用于与所述存储器耦合，读取并执行所述存储器中的应用于多种自然语言处理(NaturalLanguageProcessing,NLP)任务中，诸如机器翻译任[0003]我们在实际应用中发现，随着时间的推移一些NLP任务的相关知识会发生更新迭答任务场景下一些问题的标准答案/选项会随着时间变化发生内容变化，这种情况下这类大语言模型仅基于之前固化的模型参数来处理对应的机器翻译任务或智能问答任务是不言模型的处理方法、装置、电子设备及计算机可读存储介质。本发明将一类基于Transformer模型架构实现并已完成预训练和一类定向NLP任务(诸如机器翻译任务、智能问答任务)微调的大语言模型作为对应的第一大语言模型；并将第一大语言模型在对应的定向NLP任务微调中使用的定向文本语料集作为对应的第一数据集；并基于第一数据集初过向大语言模型中引入一个能对稠密向量数据库进行信息查询的稠密向量检索器来解决/[0006]将一类基于Transformer模型架构实现并已完成预训练和一类定向NLP任务微调的大语言模型作为对应的第一大语言模型；所述定向NLP任务至少包括机器翻译任务和智[0007]将所述第一大语言模型在对应的定向NLP任务微调中使用的定向文本语料集作为[0008]在所述第一大语言模型中增加稠密向量检索器和特征融合模块构成对应的第二稠密向量数据库对所述第二大语言模型进行一次任务处理性能评估得到对应的当次评估建得到对应的第二数据集，并基于所述第二数据集对所述第二大语言模型进行一次微调，并在本次微调结束后继续由所述第二大语言模型以所述稠密向量数据库为参考来处理所一标签文本分别为对应的翻译目标文本和释义标签文本；所述定向NLP任务为智能问答任务时，所述第一目标文本和所述第一标签文本分别为对应的问题目标文本和答案标签文第二目标文本和所述第二标签文本分别为对应的问题目标文本和答[0015]优选的，所述第一大语言模型用于根据模型输入的第一任务文本进行对应的NLP停用词和词性标注处理得到对应的第一分词序列向[0019]所述第一大语言模型的所述嵌入编码模块用于对所述第一分词序列进行词嵌入编码和词位置编码处理得到对应的第一嵌入编码向[0020]所述第一大语言模型的所述特征提取模块基于Transformer模型Encoder或Decoder组件结构实现；所述特征提取模块用于根据所述第一嵌入编码向量对所述第一任务文本中各个分词文本与其他分词文本的关联特征进行深度学习得到对应的第一特征向本生成模块用于根据所述第一特征向量进行文本特征解码和文本生成处理并输出对应的据模型输入的第二任务文本进行对应的NLP任务文本生成处理并输出对应的第二生成文停用词和词性标注处理得到对应的第二分词序列向[0026]所述第二大语言模型的所述嵌入编码模块用于对所述第二分词序列进行词嵌入编码和词位置编码处理得到对应的第二嵌入编码向[0027]所述第二大语言模型的所述特征提取模块用于根据所述第二嵌入编码向量对所述第二任务文本中各个分词文本与其他分词文本的关联特征进行深度学习得到对应的第二特征向量向所述稠密向量检索器和所述特征融合模[0028]所述第二大语言模型的所述稠密向量检索器用于按稠密向量格式对所述第二特一稠密向量字段与所述第一转换向量的向量特征近似度超过预设的第一近似度阈值的所述第一向量数据记录的所述第一稠密向量字段与所述第二特征向量的向量特征近似度作为对应的第一相关系数，并按所述第一相关系数从高到低的顺序对A个所述第一向量数据识字段与所述第一记录序列的各个所述第一向量标识字段匹配的所述第一文本数据记录第一向量标识字段与各个所述第一标识匹配的所述第一向量数据记录的所述第一稠密向相关系数从高到低的顺序对A个所述第一参考记录进行顺序排序组成对应的所述第一参考向量格式到稠密向量格式的稠密向量转换方式与从稠密向量格式到文本特征向量格式的[0029]所述第二大语言模型的所述特征融合模块用于对所述第一参考记录序列是否为的A个所述第一参考特征向量进行顺次向量拼接得到对应的第一拼接特征向量，并对所述第二特征向量和所述第一拼接特征向量进行顺次向量拼接并将得到的拼接向量作为对应一化相关系数与其对应的所述第一参考特征向量的内积计算结果作为对应的第一加权特征向量，并对得到的A个所述第一加权特征向量进行均值向量计算得到对应的第一平均特神经网络模型对所述第二特征向量与所述第一参考记录序列的各个所述第一参考特征向量的注意力权重进行预测得到对应的第一注意力权重，并对得到的A个所述第一注意力权重进行归一化计算得到对应的A个归一化注意力权重，并将各个所述归一化注意力权重与到的A个所述第一注意力特征向量进行均值向量计算得到对应的第二平均特征向量，并对所述第二特征向量和所述第二平均特征向量进行顺次向量拼接并将得到的拼接向量作为[0030]所述第二大语言模型的所述文本生成模块用于根据所述第一融合特征向量进行数据库；并基于一类所述关系数据库初始化一个空数据库记为对应的所述第一文本数据按稠密向量格式对所述当前目标文本特征向量和所述当前标签文本特征向量进行稠密向建记录的所述第一向量标识字段和所述第一稠密向量字段设为对应的所述第一新建标识训练集的记录总数与所述第一评估集的记录总数的比值满处理并将模型输出的生成文本作为对应的第值的方向对所述第二大语言模型的所述特征融合模块和所述文本生成模块的模型参数进提取出来作为新的所述当前训练记录并返回步记录的所述第一目标文本输入所述第二大语言模型进行处理并将模型输出的生成文本作签对带入预设的第一模型评估函数进行计算得到对应根据模型输入的所述当前任务文本进行对应的NLP任务文本生成处理；并将模型输出的生[0048]步骤81，按预设的第一时间频率定期通过多个大数据采集渠道对所述定向NLP任述定向NLP任务为机器翻译任务时，所述第一采集目标文本和所述第一采集标签文本分别集目标文本和所述第一采集标签文本分别为对应的问题目标文本和所述当前目标文本特征向量和所述当前标签文本特征向量进行稠密向量转换得到对应的与所述当前目标文本稠密向量的向量特征近似度最大的所述第一向量数据记录进行查询的所述第一稠密向量字段与所述当前目标文本稠密向量的向量特征近似度作为对应的第第一向量数据库中所述第一稠密向量字段与所述第二查询记录的所述第三向量标识字段一稠密向量字段和所述当前标签文本稠密向量的向量特征近似度进行计算得到对应的第标近似度超过预设的第二近似度阈值且所述第一标签近似度未超过所述第二近似度阈值，一向量标识字段和所述第一稠密向量字段设为对应的所述第二新增标识和所述当前标签的所述第一文本数据库中所有所述第一更新字段满足所述第一最近时段的所述第一文本述当前评估记录的所述第一文本字段和所述第二文本字段提取出来作为对应的当前任务对带入预设的第二模型评估函数进行计算得到对应的第[0066]步骤111，根据预设的第二分割比例对所述第二数据集进行子数据集分割处理得训练集的记录总数与所述第二评估集的记录总数的比值满[0068]步骤112，将所述第二训练集的第一个所述第二数据记录提取出来作为对应的当[0069]步骤113，将所述当前训练记录的所述第二目标文本输入所述第二大语言模型进行处理并将模型输出的生成文本作为对应的第[0070]步骤114，将所述第三预测文本和所述当前训练记录的所述第二标签文本带入所小值的方向对所述第二大语言模型的所述文本生成模块的模型参数进行一轮微调；[0072]步骤115，对所述当前训练记录是否为所述第二训练集的最后一个所述第二数据记录的所述第二目标文本输入所述第二大语言模型进行处理并将模型输出的生成文本作签对带入预设的第三模型评估函数进行计算得到对应[0075]步骤117，对所述第三评估值是否满足预设的第三评估值范围进行识别；若不满[0076]本发明实施例第二方面提供了一种用于实现上述第一方面所述的引入稠密向量[0077]所述大语言模型选配模块用于将一类基于Transformer模型架构实现并已完成预[0078]所述稠密向量数据库准备模块用于将所述第一大语言模型在对应的定向NLP任务[0079]所述大语言模型改造与训练模块用于在所述第一大语言模型中增加稠密向量检密向量数据库为参考来处理所述定向NLP任务；并定期对所述稠密向量数据库进行数据更[0085]本发明实施例提供了一种引入稠密向量检索器的大语言模型的处理方法、装置、模型架构实现并已完成预训练和一类定向NLP任务(诸如机器翻译任务、智能问答任务)微调的大语言模型作为对应的第一大语言模型；并将第一大语言模型在对应的定向NLP任务由第二大语言模型以稠密向量数据库为参考来处理定向NLP任务；并定期对稠密向量数据过向大语言模型中引入一个能对稠密向量数据库进行信息查询的稠密向量检索器来解决/[0086]图1为本发明实施例一提供的一种引入稠密向量检索器的大语言模型的处理方法[0087]图2为本发明实施例一提供的引入稠密向量检索器前的第一大语言模型的模块结[0088]图3为本发明实施例一提供的引入稠密向量检索器后的第二大语言模型的模块结[0089]图4为本发明实施例二提供的一种引入稠密向量检索器的大语言模型的处理装置[0092]本发明实施例一提供一种引入稠密向量检索器的大语言模型的处理方法，如图1为本发明实施例一提供的一种引入稠密向量检索器的大语言模型的处理方法示意图所示，[0093]步骤1，将一类基于Transformer模型架构实现并已完成预训练和一类定向NLP任模型等；该第一大语言模型用于根据模型输入的第一任务文本进行对应的NLP任务文本生[0095]如图2为本发明实施例一提供的引入稠密向量检索器前的第一大语言模型的模块码模块用于对第一分词序列进行词嵌入编码和词位置编码处理得到对应的第一嵌入编码向量向特征提取模块发送；3)特征提取模块基于Transformer模型Encoder或Decoder组件文本和第一标签文本分别为对应的问题目标文本和答[0108]步骤222，对第一数据集的所有第一数据记录进行一轮遍历；并在本轮遍历过程目标文本特征向量和当前标签文本特征向量进行稠密向量转换得到对应的当前目标文本__[0110]步骤3，在第一大语言模型中增加稠密向量检索器和特征融合模块构成对应的第并根据模型输入的第二任务文本进行对应的NLP任务文本生成处理并输出对应的第二生成[0113]如图3为本发明实施例一提供的引入稠密向量检索器后的第二大语言模型的模块[0117]2)嵌入编码模块用于对第二分词序列进行词嵌入编码和词位置编码处理得到对[0118]3)特征提取模块用于根据第二嵌入编码向量对第二任务文本中各个分词文本与其他分词文本的关联特征进行深度学习得到对应的第二特征向量向稠密向量检索器和特[0119]4)稠密向量检索器用于按稠密向量格式对第二特征向量进行稠密向量转换得到本次查询到的各个第一向量数据记录的第一稠密向量字段与第二特征向量的向量特征近似度作为对应的第一相关系数，并按第一相关系数从高到低的顺序对A个第一向量数据记一记录序列的各个第一向量标识字段匹配的第一文本数据记录的第三向量标识字段提取本特征向量格式对各个第一参考稠密向量进行对应的文本特征向量转换得到对应的第一考记录，并按第一相关系数从高到低的顺序对A个第一参考记录进行顺序排序组成对应的量特征近似度的算法可为余弦近似度(CosineSimilarity)算法、还可以为内积(Inner低的顺序对第一参考记录序列的A个第一参考特征向量进行顺次向量拼接得到对应的第一到的A个第一加权特征向量进行均值向量计算得到对应的第一平均特征向量，并对第二特征向量和第一平均特征向量进行顺次向量拼接并将得到的拼接向量作为对应的第一融合参考记录序列的各个第一参考特征向量的注意力权重进行预测得到对应的第一注意力权将各个归一化注意力权重与其对应的第一参考特征向量的内积计算结果作为对应的第一注意力特征向量，并对得到的A个第一注意力特征向量进行均值向量计算得到对应的第二[0123]6)文本生成模块用于根据第一融合特征向量进行文本特征解码和文本生成处理[0127]步骤322，将第一训练集的第一个第一数据记录提取出来作为对应的当前训练记[0128]步骤323，将当前训练记录的第一目标文本输入第二大语言模型进行处理并将模[0129]步骤324，将第一预测文本和当前训练记录的第一标签文本带入预设的第一模型预设的第一模型优化器朝着使第一模型损失函数达到最小值的方向对第二大语言模型的模型优化器朝着使第一模型损失函数达到最小值的方向对第二大语言模型的特征融合模[0132]步骤326，对第一评估集的所有第一数据记录进行一轮遍历；并在本轮遍历过程型输入的当前任务文本进行对应的NLP任务文本生成处理；并将模型输出的生成文本作为NLP任务的文本语料进行大数据采集得到对应的第一采集数据集；并基于人工或其他机器公开的技术标准/教材/文献/杂志/期刊目标文本和第一采集标签文本分别为对应的问题目标文本和答[0145]步骤423，将当前采集记录的第一采集目标文本和第一采集标签文本作为对应的当前标签文本特征向量进行稠密向量转换得到对应的当前目标文本稠密向量和当前标签[0146]步骤424，对稠密向量数据库的第一向量数据库中第一稠密向量字段与当前目标文本稠密向量的向量特征近似度最大的第一向量数据记录进行查询并将查询得到的第一二向量标识字段与第一查询记录的第一向量标识字段匹配的第一文本数据记录作为对应向量字段和当前标签文本稠密向量的向量特征近似度进行计算得到对应的第一标签近似文本高度近似(甚至相同的)的翻译/问题文本已经在译/答案标签文本已经更新，所以此时需要转至426对标签文本相关的记录字段进行更新；第一目标近似度未超过第二近似度阈值说明：当前采集目标文本对应的翻译/问题文本并度和第一标签近似度都超过第二近似度阈值说明：与当前采集目标文本高度近似(甚至相同的)的翻译/问题文本已经在稠密向量数据库中存在了且对应的翻译/答案标签文本并未[0150]步骤427，在第一向量数据库中新增两个第一向量数据记录作为对应的第一新增增记录的第一向量标识字段和第一稠密向量字段设为对应的第一新增标识和当前目标文[0151]步骤428，对当前采集记录是否为第一采集数据集的最后一个第一采集记录进行束时间，并将第一结束时间减去一个预设的第一时长得到的时间作为对应的第一起始时第一文本数据库中所有第一更新字段满足第一最近时段的第一文本数据记录提取出来组当前任务文本输入第二大语言模型进行处理并将模型输出的生成文本作为对应的当前预[0160]步骤432，并在当次评估结果为不合格时基于稠密向量数据库进行模型训练数据言模型的文本生成模块的模型参数进行一轮微[