CN119204234B 一种长文本处理方法以及相关装置 （中昊芯英(杭州)科技有限公司）

信息分别存储到外部记忆模块的不同存储区域用于存储多个会话中重复出现的第二上下文信一上下文信息以及第二上下文信息输入到大语2对于当前会话中待处理的长文本数据，从所述长文本数据中提取将各个上下文信息分别存储到外部记忆模块的不同存储区域中将各个上下文信息分别存储到外部记忆模块的不同存储区域中之后将所述第一上下文信息以及所述第二上下文信息输入到大语言通过自注意力机制，获取当前会话中各个上下文信息对应的重选取当前会话中重要性评估值满足预设条件的第一上下文信息，并将将当前会话中各个上下文信息与所述长期记忆区域中存储的第二上下文信息进行匹选取当前会话中访问频次高于设定访问频次阈值的第一上下文信息，并基于所述目标文本信息生成对应的检索请求；所述检索请求中基于所述检索请求从所述外部记忆模块中检索与所述目标文本信息匹配的第一上下将检索到的第一上下文信息以及第二上下文信息进行融合处理，3获取所述外部记忆模块中的第一上下文信息以及第二上下文信选取余弦相似度符合预设条件的第一上下文信息以及第二上下标文本片段匹配的第一上下文信息以及第二将检索到的第一上下文信息以及第二上下文信息按照余弦相似度从高到低进行排序，以选取相似度处于预设位次或达到预设相似度阈值的第一上下文信息以及第二上下文信将选取出的第一上下文信息以及第二上下文信息进行多级记及第二上下文信息按照各自的文本内容特点和/或文本格式类型分别关联到对应的动态索所述获取所述外部记忆模块中的第一上下文信息以及第二上下识别所述目标文本片段的文本属性特征；所述文本属性特征用基于文本内容特点和/或文本格式类型构建所述目标文本片段的文本检基于所述文本检索前置条件，确定所述外部记忆模块中与为所述外部记忆模块中的第一上下文信息以及第二上下文信息分别设置对应的记忆采用最近最少使用策略LRU，基于记忆衰减系数对所述外部记忆模块中存储的第一上衰减系数对所述外部记忆模块中存储的第一上下文信息以及第二上下文信息进行记忆管若所述外部记忆模块满足管理条件，则基于所述外部记忆模块所部署的模型应用场4基于所述信息替换策略，对所述外部记忆模块中存储的第一上下文获取所述模型应用场景中的模型运行参数和基于模型运行参数和/或场景环境参数，对所述外部记忆模块的信息替换策略进行参提取单元，被配置为对于当前会话中待处理的长文本数据，从所述长文存储单元，被配置为将各个上下文信息分别存储到外部记忆模块的不同存储区域中；执行单元，被配置为将所述第一上下文信息以及所述第二上下文信567过所述大语言模型实现对所述长文本数据的自期记忆区域用于存储多个会话中重复出现的上下文信息，有助于模型积累和利用长期知8成和理解文本时能够获得更为全面和连贯的上下文支持，生成内容更加自然和符合逻辑。个区域的划分使得模型能够灵活应对不同类型的上下文信息，提升整体处理效率和准确[0034]其中，短期记忆区域用于存储当前会话中重要性达到预设条件的第一上下文型的长期知识积累和上下文连贯性，使得模型在处理复杂和多会话内容时更加准确和高9[0041]203、将当前会话中各个上下文信息与所述长期记忆区域中存储的第二上下文信阈值的上下文信息存储到短期记忆区域，以便在当前会话中快速访问和利用这些关键信的重要性评估值。自注意力机制通过计算上下文信息与当前长文本数据之间的注意力得达到或超过0.8的上下文信息才会被存储到短期记忆区域。自注意力机制能够精准评估上对i从0到n的所有概率项的自信息值p(x,)logp(x,)进行求和。通过计算所有可能结果的自[0051]203中，将当前会话中各个上下文信息与所述长期记忆区域中存储的第二上下文[0052]与步骤202类似，可以结合实际应用场景中长期记忆区域对上下文信息的存储需设条件筛选并存储当前会话中的关键信息，提高了短期记忆区域的访问速度和处理效率。[0061]303、基于所述检索请求从所述外部记忆模块中检索与所述目标文本信息匹配的计算公式计算目标文本片段与每个上下文信息之间的余弦相似度。目标文本片段向量为按照各自的文本内容特点和/或文本格式类型分别关联到对应的动态索引中。基于此，在[0080]在这个实施例中，外部记忆模块中的上下文信息按照各自的文本内容特点和/或条件，确定外部记忆模块中与目标文本片段匹配的动态索引。假设动态索引1：关键词=体地，将检索到的第一上下文信息以及第二上下文信息按照余弦相似度从高到低进行排[0086]在304步骤中，将检索到的第一上下文信息和第二上下文信息按照余弦相似度从行排序，选取相似度达到预设阈值或处于预设位次的上下文信息，使用自然语言处理技术[0096]作为一个可选实施例，在103中将各个上下文信息分别存储到外部记忆模块的不外部记忆模块中存储的第一上下文信息以及第二上下文信息进部记忆模块中的第一上下文信息以及第二上下文信息分别设置对应的记忆衰减系数。即，[0101]采用最近最少使用策略LRU，基于记忆衰减系数对所述外部记忆模块中存储的第一上下文信息以及第二上下文信息进行记忆管理。访问记录为维护一个双向链表和哈希下文信息2的访问频次最低（3次综合评分为：存入时间+记忆衰减系数=10:15+1.2=11:部记忆模块的信息替换策略之前，还可以识别所述外部记忆模块所部署的模型应用场景；[0127]事件触发更新为设定触发条件为当用户访问量超过1200个或系统资源利用率超[0131]动态调整操作为，待管理的上下文信息类型为优先管理FA[0133]作为一个可选实施例，103中将各个上下文信息分别存储到外部记忆模块的不同[0134]作为一个可选实施例，103中将各个上下文信息分别存储到外部记忆模块的不同[0135]作为一个可选实施例，103中将各个上下文信息分别存储到外部记忆模块的不同[0144]作为一个可选实施例，103中将各个上下文信息分别存储到外部记忆模块的不同的设计使得该技术不仅适用于长文本处理，还能在其他需要上下文记忆的任务中发挥作[0153]将当前会话中各个上下文信息与所述长期记忆区域中存储的第二上下文信息进行匹配，并将当前会话与历史会话中重复出现的上下文信息作为新增的第二上下文信息，[0160]基于所述检索请求从所述外部记忆模块中检索与所述目标文本信息匹配的第一述目标文本片段匹配的第一上下文信息以及第[0167]将检索到的第一上下文信息以及第二上下文信息按照余弦相似度从高到低进行[0171]基于文本内容特点和/或文本格式类型构建所述目标文本片段的文本检索前置条的目标动态索引，并获取与所述目标动态索引关联的第一上下文信息以及第二上下文信[0173]为所述外部记忆模块中的第一上下文信息以及第二上下文信息分别设置对应的[0174]采用最近最少使用策略LRU，基于记忆衰减系数对所述外部记忆模块中存储的第[0181]基于模型运行参数和/或场景环境参数，对所述外部记忆模块的信息替换策略进行参数配置以及参数更新管理，以动态维护所述外部记忆模块中待管理的上下文信息类间的通信；存储器302用于存放计算机程序；处理器301用于执行存储器302中所存放的程[0184]