构建 Agent Ready 的企业云基础设施 在私有化基础设施中实现模型即服务并支撑大规模生产级智能体稳定运行

构建AgentReady的在私有化基础设施中，实现模型即服务，并支撑大规模生产级智能体稳定运行。CopyrightCopyright©2026北京志凌海纳科技股份有限公司(SmartX);保留所有权利。本文档和本文包含的信息受国际公约下的版权和知识产权的管辖。版权所有。未经SmartX事先书面许可,不得以任何方式,包含但不限于电子、机械或光学方式对本文档的任何部分进行复制,存储在检索系统中或以任何形式传播。所有非SmartX公司名称、产品名称和服务名称仅用于识别目的,可能是其各自所有者的注册商标、商标或服务标记。所有信息核心观点从模型推理到Agent运行，基础设施边界正在扩大。P0302趋势洞察Agent让AI从“模型调用”变成“持续运行的企业工作负载”。Agent运行特点让私有部署成为主流形态。P0403挑战解读生产级Agent基础设施：从模型推理到Agent运行的两大场景与落地挑战。P0604榫卯企业云平台方案一套云平台支撑从传统应用到Agent时代的无缝演进。P0905用户实践从企业云平台向AgentReady基础设施延伸。06博客与专题页。0201/核心观点03随着AgenticAI的快速发展，越来越多的企业正在通过私有部署，构建数据可控、性能稳定、成本可预测的企业级智能体（Agent）。当AI从模型调用变成持续运行的企业工作负载，AgentReady也对企业IT基础设施提出新的需求，并形成模型推理、Agent运行两大场景和不同挑战——前者更关注GPU、异构算力调度、模型管理和推理服务治理和全链路可观测；后者则进一步扩展到CPU、存储、网络、安全隔离、权限治理，并需要考虑如何与已有的传统应用、容器应用进行统一的管理。SmartX基于榫卯企业云平台，提供计算、存储、网络与安满足模型推理与Agent运行对基础架构提出的不同要求，帮助企业在一套架构中统一承载传统应用、容器应用、模型服务和Agent应用，构建AgentReady的基础设施。02/趋势洞察04Agent让AI从“模型调用”变成“持续运行的企业工作负载”企业AI正在从“模型调用”走向“Agent运行”，后者的本质是由模型驱动、能够在约束下自主完成任务的软件执行系统。随着Agent进入知识管理、研发、客服、数据分析和运维等场景，AI开始从一次性请求变成持续运行的企业工作负载。NVIDIA在EnterpriseAIFactory设计指南中指出，AgenticAI正在从静态Pipeline走向自主、有状态的工作流，这类Agent会围绕工具、记忆和策略进行多步骤协同，并依赖文件系统保存状态、Skills封装可复用动作、沙箱保障执行安全[1]。这一变化正在重塑企业AI基础设施的需求形态。随着企业级Agent数量增长、调用链路变长和Token用量上升，基础设施压力从模型推理和GPU进一步扩展到CPU、存储、网络、安全、权限治理和全链路可观测。AMD在《WhyisEveryoneTalkingAboutCPUsandAgenticAI?》中指出，AgenticAI的编排、工具调用、推理请求和指令执行主要发生在CPU侧。其引用的研究显示，CPU侧工具处理与编排可能占AgenticAIPipeline端到端运行时间的50%-90%[2]。Intel在《AgenticAIRequiresMoreCPUs》中也指出，AgenticAI会将推理从单次模型调用转变为类似分布式系统的多步骤工作流，编排、规划、分支、重试、多Agent协作和工具调用等环节主要由CPU执行；其金融文件异常检测和代码生成测试均显示，CPU侧任务会显著影响整体Pipeline效率。Intel还特别提到，真实生产系统通常会使用容器或VM运行沙箱环境，这将进一步带来额外CPU开销。[3]02/趋势洞察05企业级Agent的价值来自对企业知识库、数据库、业务系统、MCPServer、工具和模型服务的持续连接，也会在执行过程中产生上下文、工作目录、文件、中间结果和调用记录，这一特点让Agent的安全治理与数据主权成为企业用户关注的首要问题。同时，Agent运行对模型服务所需的海量Tokens消耗等问题也加速了用户私有部署的规划。VMwarebyBroadcom在《PrivateCloudOutlook2026:TheAITippingPoint》中指出，当AI推理嵌入应用、工作流和业务流程后，企业会更加重视成本可预测性、数据控制、安全和性能等生产运行要求，也需要比单纯公有云模式更稳定的性能预期和更紧密的治理能力[4]。HPE在与NVIDIA联合发布的HPEPrivateCloudAI方案中提出，PrivateCloudAI可帮助企业部署可信、企业级AgenticAI，并提供更强的控制、可观测和效率；其能力包括本地Agent注册、模型/技能/工具审批、统一模型网关、集中治理与安全策略，以及对Token成本和GPU利用率的优化[5]。这些趋势共同指向一个更务实的建设问题：这些趋势共同指向一个更务实的建设问题：企业需要在私有化基础设施中稳定、安全、规模化地运行Agent——基础设施不仅要让数据留在可控边界内，也要让Agent的访问、操作和调用链路可治理；不仅要让推理成本和GPU利用率可运营，也要为Agent编排、工具调用和沙箱执行提供充足CPU资源，并统一纳管不同架构的CPU、GPU与AI加速卡，适配企业常见的异构算力环境。同时，企业还需要复用既有VM、Kubernetes、存储、网络、安全和运维体系，降低重复建设和长期管理成本。03/挑战解读06生产级Agent基础设施：从模型推理到Agent从基础设施承载角度，生产级Agent落地可以重点拆解为模型推理与Agent运行两类典型场景。前者为Agent和其他AI应用提供模型服务，更依赖GPU、异构算力调度、模型管理和服务治理；后者承载AgentRuntime、编排、MCPServer、工具服务、业务系统连接和上下文处理等工作负载，更依赖CPU、存储、网络、安全隔离和访问治理。两类场景相互关联，共同决定了Agent能否稳定进入生产环境。重点解读在AI使用中，模型推理和Agent运行承担着不同的职责，因此两者对于基础设施的能力侧重也有所不同：前者更强调GPU、模型管理与服务治理，后者更强调CPU、存储、网络、安全和访问治理。03/挑战解读07模型推理基础设施挑战在构建模型推理基础设施的过程中，企业面临的挑战不只是GPU资源是否充足，更在于能否把异构算力、模型文件、推理服务和调用治理纳入统一体系。随着模型数量和AI应用增加，推理基础设施容易从单点验证走向分散建设，进而带来资源利用、模型迭代和服务质量管理上的压力。挑战一算力资源分散，难以统一调度和复用不同团队或供应商往往会围绕具体应用分别引入GPU服务器、AI一体机、工作站或独立模型服务，短期内可以加快应用上线，但长期会形成彼此割裂的资源池。算力无法统一纳管，模型无法跨应用复用，运维和监控也难以形成全局视图，容易造成重复建设和资源浪费。挑战二异构算力并存，资源分配精细度不足生产环境中通常会同时存在不同品牌、不同代际、不同架构的GPU，也可能叠加国产算力和既有GPU资源。不同模型对算力的需求差异很大：大模型可能需要整卡、多卡甚至跨节点调度，小模型、嵌入模型、重排序模型等轻量负载则更适合通过GPU切分或共享方式运行。如果缺少统一调度、配额管理和资源隔离能力，可能出现部分资源长期闲置、部分资源持续紧张的情况。挑战三模型文件和版本分散，影响上线效率与持续迭代模型文件体积大、版本多、格式不一，分散部署后容易造成重复下载、重复存储和重复上线。随着模型迭代加快，企业还需要在稳定底座上灵活接入、切换和更新模型，避免上层应用与某个模型、某个厂商或某套一体机深度绑定。挑战四推理服务缺少统一治理，难以保障生产级服务质量当模型推理进入生产环境，企业需要的不只是把模型“跑起来”，还要把模型发布为可治理、可观测、可运营的标准化服务。统一入口、鉴权、路由、限流、配额、调用日志和用量统计，决定了企业能否看清不同应用、不同模型的调用量、资源消耗和链路延迟。03/挑战解读08Agent运行基础设施挑战在构建Agent运行基础设施的过程中，企业面临的挑战来自工作负载形态的根本变化。Agent不再是典型的无状态应用，而是会围绕任务持续推理、调用工具、访问数据、生成文件，并在多Agent协作中沉淀上下文、执行轨迹和中间结果。这使Agent运行基础设施不仅要提供计算资源，还要同时支撑状态持久化、安全隔离、网络访问治理和端到端可观测。挑战一有状态运行带来存储与持久化压力Agent是一类有状态、持续执行的工作负载，会在运行过程中维护工作目录、上下文、记忆、文件和中间结果。长上下文、多轮推理和多Agent协作，会进一步放大KVCache、向量索引、高频读写和共享文件需求；沙箱快速拉起，也依赖存储的快速制备和配置能力。因此，Agent运行侧需要块存储、文件存储、缓存卸载、共享访问和权限控制等多元存储能力。挑战二不可信执行要求安全沙箱成为基础能力Agent的执行过程天然带有不确定性：它可能运行模型生成的代码、Shell命令或脚本，也可能处理来自网页、文档、邮件和外部系统的输入。不同任务的风险等级并不相同，基础设施需要提供从容器到MicroVM、VM等不同强度的隔离环境，让低风险任务获得轻量启动能力，也让高风险代码执行、外部文件处理和敏感数据访问具备更强边界，限制影响范围并保留审计依据。挑战三动态访问路径增加网络安全治理难度Agent的访问关系高度动态。它可能同时连接模型服务、MCPServer、数据库、代码仓库、企业API、SaaS工具和外部Web服务，Agent之间、Agent与模型、Agent与工具链之间也会产生大量东西向流量。基础设施需要以Workspace作为隔离域，对AgentRuntime、受控文件系统和隔离网络进行统一边界管理，并通过网关与策略组件治理工具调用、外部访问、凭证发放和策略决策。挑战四链路割裂导致端到端可观测不足Agent的运行链路跨越AgentRuntime、子Agent、模型服务、MCPServer、工具调用、数据库、文件系统和外部API。仅依赖单一组件日志，很难还原Agent实际发送了哪些上下文、调用了哪些工具、访问了哪些数据、消耗了多少资源。生产级Agent需要覆盖上下文、调用链、权限使用、文件生成、模型调用、Token消耗和链路延迟的端到端可观测能力，支撑问题定位、行为审计和持续优化。04/榫卯企业云平台方案09SmartX早期以分布式存储和超融合架构为基础，帮助企业构建稳定、高性能、可弹性扩展的私有化基础设施，承载传统业务与数据库等关键应用；随后通过SKS容器服务，将虚拟化、容器、存储、网络与安全能力融合在统一架构中，支持企业在同一平台上管理虚拟化与云原生负载；在此基础上，平台进一步扩展网络与安全、灾备、统一管理、自服务、文件存储以及AI平台等组件，面向模型推理与Agent运行补齐异构算力管理、模型服务、安全治理、可观测和多元存储等能力。这种演进路径的核心价值在于，AI能力不是被建设成一套割裂的新平台，而是成为既有云基础设施能力的延展，将企业云从传统应用与云原生应用的承载底座，升级为同时承载传统应用、容器应用、模型推理和Agent运行的企业云基础设施。基于榫卯企业云平台，用户可根据业务阶段模块化组合计算、存储、网络、安全、容器、灾备与AI能力，承载不同的业务类型，并复用已有基础设施投资，降低多平台并行带来的资源割裂和管理复杂度。面向AI落地，榫卯企业云平台并不是以单一产品形态覆盖所有需求，而是围绕模型推理与Agent运行两类关键场景提供不同能力组合。两类场景可以在同一云基础设施中协同承载，也可以根据用户现有资源和建设阶段按需组合。04/榫卯企业云平台方案模型推理服务场景：降低推理模型部署管理难度，提升资源使用效率在模型推理服务场景中，用户可主要基于榫卯AI平台结合SKS容器服务，为不同场景快速搭建生产级模型基础设施，保障模型服务高效上线、稳定运行：模型服务统一接入私有模型与内外部公有模型，支撑DeepSeek、Qwen、GLM等模型服务管理。融合vLLM、SGLang等推理引擎能力，面向长上下文和多轮对话等场景，提内置模型网关，统一内外部模型调用入口，通过用量统计、配额管理、访问控制和访问日志，精细化管理每一全链路可观测覆盖GPU硬件、推理实例健康状Agent运行场景：无缝支撑传统业务+Agent大规模运行在Agent运行场景中，用户可以榫卯企业云平台为底座，将虚拟机、容器、存储、网络安全和Agent原生文件共享能力整合在统一架构中：为Agent提供统一的运行时环境和安全沙箱能力，确保Agent可靠、安全运行。提供高性能块与文件存储，满足Agent并发读写、上下文私有数据存储和跨Agent数据共享需求。结合网络流量可视化能力，直观呈现Agent与MCP服务之间的调用拓扑；同时通过虚拟机与容器统一安全策略，保障Agent之间、Agent与MCP服务之间Agent友好提供面向Agent协作场景的原生文件共享组件，更好支持多Agent协同与数据流转。05/用户实践用户实践2实践亮点：同时承载Agent运行与模型推理，统一实践详情：某制造业用户基于榫卯企业云平台和榫卯AI平台，统一支撑内部规范查询助手、翻译、运维等Agent应用，并通过用户实践2实践亮点：同时承载Agent运行与模型推理，统一实践详情：某制造业用户基于榫卯企业云平台和榫卯AI平台，统一支撑内部规范查询助手、翻译、运维等Agent应用，并通过AI平台实现内部已有模型与自建模型的统一管理与治理。此外，通过统一算力管理、模型管理和可观测能力，用户可以掌握资源使用、模型实例性能和Token用量。用户实践4实践亮点：在统一底座上同时交付算力资源和模型资源，适配不同模型负载对运行环境、资源粒度和服务实践详情：某三级甲等综合性医院基于榫卯企业云平模型等不同类型模型负载。通过虚拟机、容器和GPU模型的统一管理与快速交付，支撑内部诊断、放射科用户实践1实践亮点：已有基础设施运行数据、运维知识和管理流程，进一步转化为Agent可调用、可执行、可审计实践详情：在某大型证券机构实践中，SmartX已支撑其大规模企业云基础设施长期运行。随着基础设施规模扩大，磁盘故障诊断和处理成为高频且复杂的运维场景。SmartX将产品运维Skills接入Agent智能分析流程，用于磁盘告警处理、日志分析和故障判用户实践3实践亮点：将分散的模型、算力和调用链路纳入统一建统一模型即服务平台，面向临床诊疗、病历书写、诊断质控和医疗问答等场景提供模型服务。借助GPU虚拟化和统一可观测能力，用户可以提升关键算力资源利用率，并降低模型服务故障定位和运维管理复杂写在最后随着企业级Agent进入更多生产场景，云基础设施的价值也将被重新放大。计算、存储、网络、安全、容器、灾备和AI能力的协同，将决定企业能否把Agent从试点工具变成可靠的生产力系统。SmartX榫卯企业云平台的演进方向，正是帮助企业在已有基础设施之上持续补齐这些能力，以一套平台支撑从传统应用到Agent时代的平滑演进。参考文献[1]NVIDIA,AgenticAIintheFactory,NVIDIAEnterpriseAIFactoryDesignGuideWhitePaper./ai-enterprise/planning-resource/ai-factory-white-paper/latest/agentic-ai-in-the-factory.html[2]AMD,WhyisEveryoneTalkingAboutCPUsandAgenticAI?,2025./content/dam/amd/en/documents/epyc-business-docs/other/why-is-everyone-talking-about-cpus-and-agentic-ai.pdf[3]Intel,AgenticAIRequiresMoreCPUs:AvoidingGPUIdleTimeinModernInferencePipelines,2026./content/www/us/en/content-details/916705/agentic-ai-requires-more-cpus.html[4]VMwarebyBroadcom,PrivateCloudOutlook2026:TheAITippingPoint,2026./docs/private-cloud-outlook-2026[5]HPE,HPEbringsagenticAIintoproductionwithNVIDIA,deliveringsecurity,governance,scale,andsovereignty,2026./us/en/newsroom/press-release/2026/06/hpe-brings-agentic-ai-into-production-with-nvidia-delivering-security-governance-scale-and-sovereignty.html06/更多资料↗□SmartX榫卯AI平台企业版正式发布：助力企业构建简