CN119514598A 数据处理方法及装置、电子设备、计算机可读存储介质 （北京灵汐科技有限公司）

类型的键值缓存数据以及第二类型的键值缓存免第一存储空间中的键值缓存数据的数据量持2一存储空间用于存储所述第一网络模型针对历史输入数据生成二存储空间用于在所述第一存储空间中已存储的键值缓存数据的数据量达到预设数值的根据所述第一类型的键值缓存数据以及所述第二类型的键值缓每当检测到第一存储空间中已存储的键值缓存数据的数据量达到预设数值的情况下，在所述第二网络模型第i次接收到所述第一存储空间中已存储的键值缓存数据的情况将所述第i次处理结果更新存储至所述第二存储空间，以覆盖所述第i_1次处理结果；所述第一网络模型为包括注意力模块的文本转换模型，则所述对当所述注意力模块根据所述第一类型的键值缓存数据以及所述第二类型的键值缓存数7.根据权利要求6所述的方法，其中，所述将所则所述注意力模块根据所述第一类型的键值缓存数据以及所述第二类型的键值缓存所述注意力模块根据所述第一类型的键值缓存数据、所述第二类型的键值缓存数据、3通过预设的训练数据集，对初始状态下的数据处理模型进行训练，得其中，每当检测到第一存储空间中已存储的键值缓存数据的数所述初始状态下的数据处理模型包括：预训练得到的第一网络模型、以第一获取模块，适于根据第一网络模型对应的第一存储空4第二获取模块，适于根据第二网络模型对应的第二存储空处理模块，适于根据所述第一类型的键值缓存数据以及所述第二类型的键值缓存数所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机在被处理器执行时实现如权利要求1_145述第一存储空间用于存储所述第一网络模型针对历史输入数据生成的键值述第二存储空间用于在所述第一存储空间中已存储的键值缓存数据的数据量达到预设数所述第一存储空间；通过所述第二网络模型对所述已存储的键值缓存数据进行预设处理，6[0020]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特7[0032]在相关技术中，Transformer架构的语言模型在进行数据处理时，若数据长度很能够借助第二网络模型对应的第二存储空间，对第一存储空间中的键值缓存数据进行转中存储的第一网络模型针对历史输入数据生成的键值缓存数据的数据量随输入数据的长中已存储的键值缓存数据清空并转存至第二存储空间，从而减少第一存储空间的存储压8数据进行处理，还进一步结合第二存储空间中存储的第二类型的键值缓存数据进行处理，第二网络模型对已存储的键值缓存数据进行预设处理，将处理结果存储至第二存储空间。进行预设处理：在第二网络模型第i次接收到第一存储空间中已存储的键值缓存数据的情9网络模型的输出端进一步连接至位于下一层的注意力模块所对应的循环神经网络模型的的输出端进一步连接至位于第m+1层的注意力模块所对应的循环神经网络模型的输入端；线性变换层组成，第一层线性变换层的作用类似于key构成的矩阵，在输入向量(类似于query)的查询下，输出匹配程度，再对第二个线性变换层的解码过程中，过去已处理的token在各层的key和value向量可以保存下来，避免重新计应用中，进一步增加了对大语言模型中短期记忆转换为长期记忆的需求。另一方面，kv过去token的注意力时(即计算当前的token的query与其他token的key的线性比对)，不是一次接收到的来自transformer模型的已存储的键值缓存数据执行预设处理后得到的处理[0066]本示例的核心在于：将transformer模型(即第一网络模型)和RNN模型(即第二网不同的transformer层之间的RNN模型之间无连接的情况，图2中的(b)示出了不同的网络模型的情况下，多个RNN层中的最后一个RNN层的输出结果或状态结果将参与对应的个RNN层的输入端用于接收对应的transformer层产生的键值[0071]在图2中的(b)示出的不同的transformer层对应的RNN模每个transformer层对应的RNN模型的输入除包括该transformer层产生的kvcache之外，在该transformer层为第m+1个transformer层的情况下，该transformer层的前一个用于参与该RNN模型对应的transformer层预设的transformer模型对应的kvcache的最大存储量(即第一存储空间的预设最大存储量)。例如，若第一存储空间的预设最大存储长度为1024，即第一存储空间中的最大kvcache长度为1024，且kvcache的维度为4096(该维度通常与transformer隐层的维度相层共享同一个RNN模型)，也可以采用不同的RNN模型进行压缩(即多个transformer层分别采用多个互不相同的RNN模型)，还可以采用部分相同的RNN模型进行压缩(即多个transformer层中的部分transfor模型，LSTM(longshorttermmemory)模型，GRU(gatedRecurrentunit)模型等各种变理token时，不仅需要与transformer模型本身产生的kvcache进行注意力操作的kvcache，既包括RNN模型的隐层状态(对应于第二类型的kvcache数[0078]由此可见，在本示例的执行过程中，在第一存储空间中未清空的第一类型的kv间预设的最大kvcache容量)。该情况主要对应于数据处理模型处理首个token的时刻(此时第二类型的kvcache数据实际可能为空)，或第一存储空间刚刚执行完清空操作的时刻(此时第一存储空间中已存储的第一类型的一存储空间的预设最大存储量的情况下，需要进行注意力操作的kvcache的数据量最大，储空间中未清空的第一类型的kvcache(其最大数据量近似于第一存储空间的预设最大存储量)，即需要进行注意力操作的kvcache的数据量的最大值近似于第一存储空间的预设一个token产生的kvcache(即第一存储空间中未清空的第一类型的kvcache数据)做注意还可以包括一定时间窗内的RNN隐层状态，例如当前RNN状态和上一次迭代的RNN状态。其[0085]在又一种训练方式中，直接采用预训练的transformer，因此，只训练RNN即[0098]每当检测到第一存储空间中已存储的键值缓存数据的数据量达到预设数值的情[0099]在一种可选的实现方式中，在所述第二网络模型第i次接收到所述第一存储空间[0103]在一种可选的实现方式中，所述第二存储空间的空间尺寸根据所述预设数值确计算机程序在被处理器/处理核执行时实现上述的模型训练方法。计算机可读存储介质可可以分布在计算机可读存储介质上，计算机可读存储和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于随机存取存储器[0114]这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框