智在边缘 边缘智能推理产品发布及场景实践

智在边缘：边缘智能推理产品发布及场景实践佘俊泉阿里云智能高级产品专家AI推理的云边协同趋势推理负载爆发增长训练推理推理负载爆发增长训练推理边缘推理典型场景与中心Region同源管控·同栈能力演进相比通算，更多推理任务需要云边协同完成中心中心Region训练/大模型/全局调度模型·策略下发特征·增量回传网络·云边协同关键载体带宽/时延/回传优化边缘云ENS推理/预处理/就近分发中心推理33%中心推理33%边缘推理67%③痛点与诉求数据不出域合规/隐私数据就近闭环处理通算-智算协同清洗/抽帧/特征提取CPU+③痛点与诉求数据不出域合规/隐私数据就近闭环处理通算-智算协同清洗/抽帧/特征提取CPU+GPU混部就近上传处理后降为20%-80%云边协同回传组网回传训练集群就近处理数据精简①典型数据来源互联网数据（多模态搜索）视频/图像/网页海量原始数据切片·抽帧·特征提取前置客户自构建数据（具身智能）真机数采/UMI/EGO/数据合成清洗·对齐·格式转换前置②共同链路：数据就近预处理数据预处理清洗数据预处理清洗·抽帧质控·标注·转换模型训练中心Region仿真测试中心Region模型部署中心Region/端侧合成/模型训练中心Region仿真测试中心Region模型部署中心Region/端侧就近预处理=边缘云算力及带宽主战场2024全球新增数据量2024全球新增数据量新增为视频/图像等非结构化数据数据来源：IDC《GlobalDataSphere预测,2024-2028》；非结构化数据占比为行业普遍估计中心Region中心侧消费训练仿真/检索/管控边缘节点ENS仅特征/增量回传就近接入120Gbps峰值读写带宽模型&策略下发中心Region中心侧消费训练仿真/检索/管控边缘节点ENS仅特征/增量回传就近接入120Gbps峰值读写带宽模型&策略下发4PB·特征数据数据源多源数据真机/互联网/客户IDC客户案例口径：具身智能数据工厂/搜索多模态索引行业趋势·小模型能力拉齐与就近部署小模型就近部署：细分行业金融医疗小模型就近部署：细分行业金融医疗智能分诊病历问答互联网AI社交深度搜索教育在线问答题库搜拍下一代小模型：原生能力拉齐上代旗舰大模型智力指数（分）智力指数（分）2026-09-034027B小尺寸模型：智力指数52，超越上代旗舰0GPT-6Astra(max)ClaudeOpus4.7本代旗舰本代小模型ClaudeSonnet4.62026-07-092026-04-162026-08-15482026-02-172026-08-13Qwen3.827B上代旗舰来源：ArtificialAnalysis·IntelligenceIndexvsReleaseDate（2026-08）ArtificialAnalysisIntelligenceIndexv4.1.1includes:GDPval-AAv2,τ³-Banking,Terminal-Benchv2.1,SciCode,Humanity'sLastExam,GPQADiamond,CritPt,AA-Omniscience,AA-LCR.SeeIntelligenceIndexmethodologyforfurtherdetails,includingabreakdownofeachevaluationandhowwerunthem.终端用户请求、推理API·会话流量全局调度GPU推理集群OSS模型存储请求终端用户请求、推理API·会话流量全局调度GPU推理集群OSS模型存储请求任务启动提速70%EOS模型存储热模型池·热数据缓存边缘ENS任务启动提速70%EOS模型存储热模型池·热数据缓存端到端耗时缩短30%100Mbps单实例访问存储集群带宽单客户单节点模型数量GPU推理集群端到端耗时缩短30%100Mbps单实例访问存储集群带宽单客户单节点模型数量GPU推理集群GPU容器·本地模型缓存模型加载命中率·边缘缓存命中分级缓存：热模型留边缘、冷模型留中心，命中率与回源带宽兼得行业趋势·推理性价比叠加技术拐点实时生成触手可及高LLM大集群推理中低单机小集群·数机中等集群大集群高LLM大集群推理中低单机小集群·数机中等集群大集群机器规模→边缘云部署红利区视图生成文生文·高并发大BatchAIGC小集群推理性价比↑性价比–机器规模曲线（示意）内容消费（播放）内容消费（播放）生成3s+分发0.5s=3.5s<播放5s→生成时长/每秒成本持续下降余量进一步扩大→更高帧率·更低单价·更长直播会话生成+分发分发余量1.5s代表案例：代表案例：FAL后训练版MiniMaxH3Max5s768P视频3s生成·实时视频生成直播间（7×24频道）产品实践·视图生成ArtNode全局调度结果回写资源层·边缘GPU全局调度结果回写资源层·边缘GPU逻辑分池EdgeWorker1EdgeWorker2存储层·用户免运维OSS中心存储边缘节点存储BYOS接入层·管理入口ArtNode控制台（Web）平台层·ControlPlane任务调度引擎RunHive模型管理·智能预热产品架构·ArtNode一站式生产闭环ComfyUI工作流引擎数据集管理·存储集成运维监控·故障冗余OpenAPI·异步批量/状态追踪CLI产品基础服务升级·智算IaaS关键指标提升①智算实例网络升级25G·现状①智算实例网络升级25G·现状100G性能倍数(×)200G性能倍数(×)1:6·现状26H1性能倍数(×)产品增值能力发布·LLM推理性能优化&视图生成ArtNode平台定位一站式平台定位一站式AIGC生成平台模型接入·工作流编排·自有存储·后处理分发全链路打通，边缘就近生成核心能力栈BYOK模型接入按需编排·专属GPU实例+MaaS自带密钥视频处理+分发一体化生成物后处理与分发无缝衔接工作流模板市场ComfyUI生态•一键复用BYOS集成自有存储数据迁移零成本·IaaS/PaaS随心切换ArtNode：更易用的AIGC生成EdgeAccEdgeAcc推理加速引擎：更快的小模型推理吞吐提升随机数据集吞吐提升长文本对话·缓存命中95%长文本对话NVFP4后精度损失下降吞吐