从推理爆发到具身智能 AI新时代对网络基础设施的重新定义_第1页
从推理爆发到具身智能 AI新时代对网络基础设施的重新定义_第2页
从推理爆发到具身智能 AI新时代对网络基础设施的重新定义_第3页
从推理爆发到具身智能 AI新时代对网络基础设施的重新定义_第4页
从推理爆发到具身智能 AI新时代对网络基础设施的重新定义_第5页
已阅读5页,还剩12页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

从推理爆发到具身智能:AI新时代对网络基础设施的重新定义英特尔数据中心事业部中国区网络与边缘总经理Agentic应用:多轮调用工具、长上下文,请求链显著变长AI模型从“单次响应”走向“AgenticAgentic应用:多轮调用工具、长上下文,请求链显著变长趋势 数据流变化对AI网络的要求 AgenticAI与工具调用多轮、并发、外部服务访问Sandbox隔离更关键,请求链更长更大参数/更长上下文权重与KVCache持续增大模型加载、缓存分层与远端访问P/D分离与分布式服务KVCache迁移、突发大数据量MoE与并行扩展Token跨Expert动态路由更高并发、更复杂东西向流量、低尾延迟AI感知网关按模型、队列、Cache命中路由池化存储与缓存权重/AI感知网关按模型、队列、Cache命中路由池化存储与缓存权重/KV从计算节点解耦承载突发与高消息率、智能体安全卸载用户/Agent请求用户/Agent请求访问控制·安全隧道·流量管控·AV/IPS推理集群GPU/CPU业务变化:大算力、高并发、低延迟•MoE多对多突发;尾延迟决定TTFT/TPOT•G3.5产生大量存储数据网络变化:承载多业务•不依赖无损网络·实时拥塞感知•仅重传丢失报文·突发下接近线速•多租户隔离、访问控制和QoSAI基础设施的重心正从训练转向推理,更关注性价比,推动网络往低尾延迟、更智能拥塞控制以及更弹性的存储吞吐演进。从“算力紧张”到“带宽与容量紧张”内存墙变宽:“数据墙”•推理吞吐先被带宽与容量卡住,不再只是算力问题从“算力紧张”到“带宽与容量紧张”内存墙变宽:“数据墙”•推理吞吐先被带宽与容量卡住,不再只是算力问题•HBM/DDR/MRDIMM分层供给,带宽决定token产出•KVCache与权重就近驻留,减少远端访问与等待单节点内存容量单插槽功耗预算内存与带宽,正在成为推理性价比的第一约束从“主机侧软件”到“卸载至独立可信域”基础设施处理器•网络、安全、存储策略由IPU独立执行,租户与云厂权责分离•线速加密、访问控制、QoS与多租户隔离全部下沉到硬件•400G接入承载突发流量与高消息率,释放主机算力400G+高性能core控制面核心线速加密安全卸载能力基础设施开销从主机搬走,算力全部留给推理从“CPU辅助”到“CPU重新成为主角”通用算力回归•Agentic流水线中的调度、RAG、预处理与安全仍•大容量Cache与直连内存直接服务KVCache分层力单路核心规模片上缓存容量高速互连代际推理集群里,CPU重新承担起编排与数据服务推理基础设施的效率,越来越取决于数据如何流动高吞吐网络速率400Gbps+存储加速AgenticAI需要全新的AI高吞吐网络速率400Gbps+存储加速多业务支撑Cloudinfraoffload·AI推理与Agent加速隔离与安全大规模高效网络时延拥塞控制·乱序容忍·选择性重传·多路径负载均衡现代拥塞技术有效提升网络吞吐现阶段以上技术已在超过百万节点的网络验1基于时延的拥塞控制测驱动算力最大化片上重排序引擎区分乱序与真实丢包,乱序不再当作丢包处理4多路径负载均衡线速包喷洒+拥塞感知选路,提升ECMP利用效率,标准以太网即可部署可预测的尾延迟保证AI推理的吞吐稳定性可预测的尾延迟保证AI推理的吞吐稳定性20%–33%↓解码更快·每个输出token的耗时25%–49%↑吞吐更高·每秒token数/并发用户••同样的GPU集群,多产出2•同样的TPOTSLO,多承载25%–49%的并发用户*数据参考GoogleLLC论文《Falcon:AReliable,LowLatencyHardwareTranspo机器人本体仅保留传感器与执行器英特尔边缘服务器具身智能平台展示(1.5倍速)实时控制面向模型的弹性GPU算力支持更高智能水平并兼容世界模型机器人本体仅保留传感器与执行器英特尔边缘服务器具身智能平台展示(1.5倍速)实时控制面向模型的弹性GPU算力支持更高智能水平并兼容世界模型一台服务器,多台机器人轻松实现协同作业算力池化共享,无需在本体重复配置更轻量的机器人本体仅保留轻量算力,续航提可靠传输通过SDN提升稳定性并简化升级边缘服务器+独立GPU·端到端编排网络/5G软件定义网

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论