大模型核心技术与应用（微课视频版）课件 vllm

VLLMKVCache中国

的

历史

中国

的

历史

非常中国

的

历史

非常中国

的

历史

非常悠久中国

的

历史

非常悠久中国

的

历史

非常悠久，中国的历史QKVQKVQKVQKVQKVQKV中国的历史QKVQKVQKVQKVQKVQKVO中国的历史QKVQKVQKVQKVQKVQKV中国的历史QKVQKVQKVQKVQKVQKVO中国的历史QKVQKVQKVQKVQKVQKVO...非常中国的历史KVKVKVKVKVKV非常QKVQKV中国的历史KVKVKVKVKVKV非常QKVQKVO中国的历史KVKVKVKVKVKV非常QKVQKVO...悠久中国的历史KVKVKVKVKVKV非常KVKV悠久QKVQKV13BLLMonA100-40GBParameters(26GB,65%)KVCache(12GB,30%)Others利用率只有20%-40%造成三种类型的浪费：1.预分配，但不会用到。2.预分配，但尚未用到。3.显存之间的间隔碎片，不足以预分配给下一个文本生成。在大模型推理时，按照可生成最长序列长度分配显存。PageAttention借鉴操作系统中的虚拟内存和页管理技术Page1Page0Page3Page2Page5Page4Process1Process2Page6KVBlock1KVBlock0KVBlock3KVBlock2KVBlock5KVBlock4Request1Request2KVBlock6KVCache中国K的历史非常VKVKVKVKVKVKVKV悠久KVKVKVKV我K喜欢学习数学VKVKVKV和K英语。VKVKVKVBlock1Block2Block3Block4Block5KVCachePageAttention中国

的

历史

非常

悠久中国K的历史非常VKVKVKVKVKVKVKV悠久KVKVKVKV我K喜欢学习数学VKVKVKV和K英语。VKVKVKVBlock1Block2Block3Block4Block5KVCachePageAttention中国

的

历史

非常

悠久

，中国K的历史非常VKVKVKVKVKVKVKV悠久K，VKVKVKV我K喜欢学习数学VKVKVKV和K英语。VKVKVKVBlock1Block2Block3Block4Block5KVCachePageAttention中国

的

历史

非常

悠久

，中国K的历史非常VKVKVKVKVKVKVKV悠久K，充满VKVKVKV我K喜欢学习数学VKVKVKV和K英语。VKVKVKVBlock1Block2Block3Block4Block5KVCachePageAttention中国

的

历史

非常

悠久

，充满中国K的历史非常VKVKVKVKVKVKVKV悠久K，充满辉煌VKVKVKV我K喜欢学习数学VKVKVKV和K英语。VKVKVKVBlock1Block2Block3Block4Block5KVCachePageAttention中国

的

历史

非常

悠久

，充满

辉煌中国K的历史非常VKVKVKV的KVKVKVKV悠久K，充满辉煌VKVKVKV我K喜欢学习数学VKVKVKV和K英语。VKVKVKVBlock1Block2Block3Block4Block5KVCachePageAttention中国

的

历史

非常

悠久

，充满

辉煌

的按需分配，不提前占用中国K的历史非常VKVKVKVKVKVKVKV悠久KVKVKVKV我K喜欢学习数学VKVKVKV和K英语。VKVKVKVBlock1Block2Block3Block4Block5物理显存KVCachePageAttention中国

的

历史

非常

悠久中国K的历史非常VKVKVKVBlock1悠久KVKVKVKVBlock2KVKVKVKVBlock3KVKVKVKVBlock4逻辑KVCache物理Block已填充14--31--映射表中国K的历史非常VKVKVKVKVKVKVKV悠久KVKVKVKV我K喜欢学习数学VKVKVKV和K英语。VKVKVKVBlock1Block2Block3Block4Block5物理显存KVCache中国K的历史非常VKVKVKVBlock1悠久KVKVKVKVBlock2KVKVKVKVBlock3KVKVKVKVBlock4逻辑KVCache物理Block已填充14--31--映射表物理Block已填充44--53--映射表KVKVKVKVBlock3KVKVKVKVBlock4逻辑KVCache我K喜欢学习数学VKVKVKV和K英语。VKVKVKVBlock1Block2中国K的历史非常VKVKVKVKVKVKVKV悠久K，充满VKVKVKV我K喜欢学习数学VKVKVKV和K英语。VKVKVKVBlock1Block2Block3Block4Block5按需分配，不提前预分配。按Block分配，减少碎片大小。虚拟内存，方便实现调用。SharingKVBlocks用大语言模型同一个Prompt，希望生成多个Output时。Prompt：请把下边这句话翻译为英文：{item}请K把下边这句VKVKVKV空KVKVKVKV话K翻译为英文VKVKVKV：K色即是VKVKVKVKVKVKVKVBlock1引用：2Block2引用：2Block3引用：2Block4引用：2Block5请把下边这句话翻译为英文：色即是空

请把下边这句话翻译为英文：色即是空

逻辑KVCache物理显存KVCache逻辑KVCache请K把下边这句VKVKVKVKVKVKVKV话K翻译为英文VKVKVKV：K色即是VKVKVKV空KVKVKVKVBlock1Block5Block2Block3Block4请K把下边这句VKVKVKVKVKVKVKV话K翻译为英文VKVKVKV：K色即是VKVKVKV空KVKVKVKVBlock1Block5Block2Block3Block4KVKVKVKVBlock6请K把下边这句VKVKVKV空KVKVKVKV话K翻译为英文VKVKVKV：K色即是VKVKVKV空KColorVKVKVKVBlock1引用：2Block2引用：1Block3引用：2Block4引用：2Block5引用：1请把下边这句话翻译为英文：色即是空

Color请把下边这句话翻译为英文：色即是空

Matter逻辑KVCache物理显存KVCache逻辑KVCache请K把下边这句VKVKVKVKVKVKVKV话K翻译为英文VKVKVKV：K色即是VKVKVKV空KVKVKVKVBlock1Block5Block2Block3Block4请K把下边这句VKVKVKVKVKVKVKV话K翻译为英文VKVKVKV：K色即是VKVKVKV空KVKVKVKVBlock1Block5Block2Block3Block4KVKVKVKVBlock6CopyonWrite请K把下边这句VKVKVKV空KMatterVKVKVKV话K翻译为英文VKVKVKV：K色即是VKVKVKV空KColorVKVKVKVBlock1引用：2Block2引用：1Block3引用：2Block4引用：2Block5引用：1请把下边这句话翻译为英文：色即是空

Color请把下边这句话翻译为英文：色即是空

Matter逻辑KVCache物理显存KVCache逻辑KVCache请K把下边这句VKVKVKVKVKVKVKV话K翻译为英文VKVKVKV：K色即是VKVKVKV空KColorVKVKVKVBlock1Block5Block2Block3Block4请K把下边这句VKV