大模型时代的分布式推理平台

Xinference：大模型时代的分布式推理平台秦续业未来速度CEOLLM

推理概述AttentionisAllYou

NeedGPT

架构EmbeddingDecoderSampling简化成三个步骤LLM

推理概述EmbeddingDecoderSamplingToken

Embedding将

token

id

转成词向量PositionalEmbedding将位置信息加到编码中LLM

推理概述EmbeddingDecoderSampling计算量最大的一个步骤，主要是

attentionLLM

推理概述EmbeddingDecoderSamplingLLM

推理概述EmbeddingDecoderSamplingGreedy

searchBeam

search…Top-KTop-PLLM

优化技术Optimizations:KVCacheLLM

优化技术Optimizations:PagedAttentionLLM

优化技术Optimizations:Continuous

BatchingLLM

优化技术Optimizations:Speculative

DecodingLLM

推理后端高吞吐最好兼容性工作在端侧LLM

模型下载LLM

推理LLM

推理生产部署

个人部署

PromptTemplatesModelCachingUtilsModel

ManagementRESTful

APIResourceManagementThird-partyIntegrationMonitoringXinferenceisallyour

need多模型：汇集约80种开源模型，如GLM4、百川、Llama3、qwen2，还可以自由扩展自定义模型多硬件：支持

NVIDIA、Intel

多种硬件平台，按需选择高性能：使用多

backend

和投机采样等优化技术，大幅提升吞吐量，降低推理延迟低门槛：模型即服务，支持本地/云端部署等多种部署模式，降低开发和运维成本；支持从modelscope、huggingface

或

OpenCSG

下载模型Xinferenceisallyour

needXinferenceisallyour

needDify中唯一一个支持所有特性的模型供应商模型√√√√√DashboardPython

ClientRESTful

APIResponseOpenAI

SDK第三方集成（langchain、llama_index、Dify、FastGPT、chatchat…）模型和资源管理XinferenceserverApplicationsAPIrequestWebUIrequestrequestGPUGPUGPUCPUllamaResource

Poolllamachatglmgte-largechatglmvllmtensorRT-llmScalabilityScaleUp单机多卡（1张3090

与2张3090的数据对比），线性增长，throughput

随着卡的增加而线性增长,

latency

随着卡的增加线性降低ScalabilityScaleOut多机多卡（一台

A10G

显卡机器与两台A10G

显卡机器），throughput

随着机器的增加而线性增长,

latency

随着机器的增加线性降低。Xinference企业版案例1，NVIDIA

和昇腾混合部署某券商Xinference

提供了异构调度能力，将各种类型硬件纳管Xinference屏蔽了底层硬件的差异用户无需感知硬件不同，GPUvs.NPU透明的优化技术，对

NVIDIA

和昇腾使用不同的优化技术各种常见AI开发工具直接对接LangchainDify难点和优势NVIDIA

拥有了相对完备的生态，国产适配有相当大的难度Xinference对底层算子进行了适配，利用continuous

batching，整体吞吐提升3倍。得益于Xinference

底层的Xoscar

异构算力调度，用户对

NVIDIA还是国产芯片是透明的用户可以更加专注在业务侧案例