CN119396995A 一种基于近期查询注意力信息的大型语言模型KV Cache优化方法 （浙江大学）

一种基于近期查询注意力信息的大型语言本发明公开了一种基于近期查询注意力信以平均注意力分数作为阈值构建最近r个查询的预设的数量。本发明通过记录近期推理步骤中Query的注意力信息，对KVCache中的信息重要以上KVCache的情况下还能够保持模型的性能22)将拆分后的子词输入到大型语言模型中并进行3)进入大型语言模型的循环推理阶段推理下t以平均注意力分数作为阈值构建近期r个查询的注意力信息的记录表时，注意力得分小于其中，decision为用于决策不重要的键一值缓存并进行KVCa7.一种基于权利要求1所述大型语言模型KVCache优化方法的系统，其特征在于，包分词器，用于将准备输入到选定的大型语言模型中3记录表构建模块，用于以平均注意力分数作为阈值构建最近r个查询的注意力信息的注意力信息或运算模块，用于对记录的每个查询的理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1_6任一项所述的大型语言模型KVCache9.一种机器可读存储介质，其特征在于，所述机4化KVCache带来的显存开销，通过利用推理过程中近期查询(Query)的注意力信息，对KVCache进行优化以减少其带来的显存开销；最终提出了一种用于优化大型语言模型推理过5[0014]记录表构建模块，用于以平均注意力分数作为阈值构建最近r个查询的注意力信[0020]本发明根据相似的查询对于键值的关注情况较为类似的理论分析和实验观察的启发，同时大型语言模型注意力矩阵非常稀疏保证了可以在推理阶段优化掉大量的KV该信息决定键值对的保留及删除，可以在推理阶段仅记录近期查询的注意力信息以确定以此大量减少大型语言模型在推理阶段KVCache所[0022]本发明的优化方法无需额外的训练操作，同时在在优化超过70％KVCache的情[0023]本发明所提出的方法不仅适用于采用Transformer架构的大型语言模型，还同样适用于采用Transformer架构的视觉语言容的示范且不圈定限制范围。本发明中各个实施方式的技术特征在没有相互冲突的前提6不足0.1，这意味着大语言模型在推理过程中并不需要利用到所有的KVCache而只需要保存在整个推理过程中持续发挥作用的那一部分。然后通过理论分析和实验证明相似的Query在进行注意力计算时对各个键(键)的关注情况较为类似，具体来说对于两个相似的[0031]上述方法会存在一个显著的缺陷，即需要额外存储每个Query的注意力信息以保现上述模型中邻近的Query相似性非常高，例如当前Query和之前相邻的r个查询余弦相似[0032]本发明提出了一种基于推理步骤中近期Query的注意力信息对KVCache进行优化掉70％以上KVCache的情况下还能够保持模型的性能不受到[0033]当前主流大型语言模型主要采用Transformer结构，该结构中注意力计算发挥着t给第i个键向量分配的注意力分数可以被表示为：矩阵稀疏性非常高，其中索引值较大(深层)的注意力层稀疏性甚至超过了90同一层不行代表对应位置的Query对所有之前的Key的注意力，右侧的垂直条表示对应位置的Query7文本的Query向量余弦相似度进行可视化，并且还发现在主流大型语言模型中，邻近的[0050]经过注意力层的注意力计算之后本发明用一张表来记录近期r个Query的注意力为0的键值对(即不被r个Query中的任意一个视为重要)会被视为不重要的键值对而直接8