ODCC- OTII-E边缘AI推理一体机 2025

[编号ODCC-2025-01002]开放数据中心标准推进委员会ODCC2025年9月版权声明ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，编制单位共同享有著作权。转载、摘编或利用其它方式使用ODCC成果中的文字或销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。在全球数字化转型加速推进的浪潮中，边缘计算与人工智能技海量终端设备产生的数据呈指数级增长，传统"云端集中处理"的模式在实时性、带宽成本、隐私保护等方面的局限性日益凸显。在前所未有的挑战：既要满足AI推理对高性能算力的需求，又需在45℃宽温、高粉尘等恶劣环境，又要在空间受限的场景下实现低功耗与高密度集成；既要应对智慧城市、工业质检、医疗诊断等多样化场景的定制化需求，又要解决单一采购量有限导致的规模化成本组合，解决了传统硬件架构与技术方案难以应对这些复杂矛盾的问题。但灵活的模块组合提高了业务实施的复杂度，如何高效无缝的利用模块化异构算力提供可靠的AI服务成为了一个亟待解决的问本书立足边缘AI技术成熟落地的关键节点，聚焦"如何构建高性价比的边缘AI推理一体机"这一核心命题，通过剖析边缘场景的业务特性与技术痛点，从硬件设计、算力优化、成本控制、生书中不仅涵盖异构算力整合、软硬协同优化等技术细节，更通过行业案例展现本方案在智慧运维、智慧客服等场景的落地价值，为产业界提供从技术选型到部署实施的全流程参考，助力边缘AI在各 2 3 4 4 4 5 5 6 6 6 7 7 8 8 9 9 7 7 8 8 9 21 23 25 26 1一、概述2（二）ODCCOTII-E规范在边缘计算领域的发展进程中，ODCC（OpenDataCenterODCC由百度、腾讯、阿里巴巴、中国电信、中国移动、中国取得了长足发展。在过去数年中，OTII完成了从产业愿景、原型验3缘低成本5G解决方案的OTII1U和面向边缘的模块化融合方案的OTII-E（OpenTelecomITInfrastructure-Extension，面向电信应用OTII-E定义了基于插槽形式的模块化设计规范，可通过模块化设计实现多个服务节点在一台2U边缘服务器上融合部署，同时服存储和弹性扩展能力。OTII-E支持最新一代x86、ARM平台，以准进一步强化了环境耐受能力，引入内置交换板设计实现ICT合部署，扩展了节点形态类型，并支持国产CPU和消费级GP（三）异构AI推理框架器管理和调度机制，使得AI任务可以实现一次打包，多节点无缝迁4二、OTII-E边缘AI推理一体机.硬件性能和成本平衡的矛盾：边缘应用既需要强大的算力.高功耗和恶劣环境的矛盾：传统AI设备高能耗产生的大量热量，在高温、潮湿、多尘等恶劣环境中无处散发，极难以通过规模化生产降低成本，进一步加剧云尖信息，依托ODCC强大的技术协作生态，创新性地提出了基于用低成本消费级GPU作为算力核心，相比传统专业级GPU，可将5导致风道冲突的“老大难”问题，OTII-E标准创新优化GPU散热风道，开创性地支持180度调转风道设计，解决了风道方向矛盾。耗主流消费级GPU，在控制成本的前提下，为图像识别、语音处理应能力。其具备-5°C至45°C的宽温运行能力，部分机型更能在降低30%，即便部署在居民区、医院、写字楼等对噪音敏感的环境（四）配置需求多样性和单一采购数量由组合，同时提供通用计算型、存储密集型、I/O密集型、GPU型6融合，减少对外部交换机的依赖，网络架构复杂度降低40%，维护三、OTII-E边缘AI推理一体机模块设计OTII-E作为OTII系列标准中面向边缘的模块化融合方案，其OTII-E采用基于插槽形式的模块化架构，将计算节点与机箱分（二）OTII-E模块功能定义了通用计算模块、AI计算模块，存储模块、网络交换模块7来源：云尖信息（三）OTII-E模块组合举例以智能制造中的工业质检为例，可选用2U单宽GPU型节点搭来源：云尖信息在OTII-E2.0版本中，还创新性地引入内置交换板设计，这一8来源：云尖信息（五）OTII-E大容量存储模块来源：云尖信息四、边缘AI推理软件CPU/GPU/NPU的推理解决方案。边缘AI推理软件自底向上分别是ContainerPlatform为开源容器化平台提供了完善的硬件管理调度插件，将硬件能力透传给工作负载运行时。InteloneAPILibrary为AI推理框架提供统一的API接口。AIFramework针对不同业务场景和9来源：英特尔过单一的跨架构开发环境简化高性能计算与AI应用的开发，支持CPU、GPU及其他加速器的协同计算。它基于开放标准（如（二）AIInferenceFramework1.英特尔®ExtensionforPyTorchIPEX（Intel®ExtensionforPyTorch）是专门为优化PyTorch在Instructions）等英特尔®CPU指令集以及英特尔®GPU上的XMX（IntelXeMatrixExtensions）AI引擎对PyTorch进行优化，为2.英特尔®OpenVINO型优化与推理加速技术，将深度学习模型高效部署到多种硬件平台推理引擎（InferenceEngine）两大核心组件，可实现INT8/FP16量3.英特尔®xFastTransformer署，能充分利用硬件资源，提升推理性能。提供C++和Python两（三）推理服务器框架ktransformer凭借其对CPU和GP作为专为LLM推理设计的引擎，VLLM极大提升了推理效率；优配不同部署环境：既能够在本地服务器部署，也适用于2.SGLang和推理效率，能支撑高并发请求，适用于API服务、在线3.KTransformerKTransformers作为一款内存，GPU以及显存资源，降低硬件资源门槛，打破对多显卡，高五、LLM推理方案参考在边缘计算领域，不同场景对算力的需求千差万别。OTII-E边架构，能够灵活适配包括英伟达、AMD以及英特尔等不同厂家的GPU。这种开放兼容的设计，为部署不同规格的Deepseek-R1大模满足如小型企业智能客服、基础网络安全监测针对需要强大算力支持的高性能Deepseek-R1模型，例如在辅台进行复杂的知识图谱构建与推理时，OTII-E边缘服务器则可灵活配置多块高性能GPU，与英特尔®处理器形成强大的异构算力组合。通过英特尔®OneAPI统一编程模型和英特尔®DevicePlugin快速完成部署。OTII-E边缘服务器在保持高效性能的同时，具备出BBatch-size/TTFT/TPOTBBatch-size/TTFT/TPOTBBatch-size/TTFT/TPOTBatch-size/TTFT/TPOTBBatch-size/TTFT/TPOT来源：英特尔六、OTII-E边缘AI推理一体机异构管理平台（二）Kubernetes（三）英特尔®DevicePlugins随着Kubernetes成为容器编排领域的事实标准，如何在这一平英特尔®DevicePlugin正是为解决这一痛点而打造的开源工英特尔®DevicePlugin的核心工作机制基于对硬件设备的自数、可用资源量等）注册到Kubernetes资源管理系统中。这种自动（四）AI服务编排针对模块化的OTII-E服务器，在多个节点上部署边缘平台和来源：英特尔1.AI服务容器来源：英特尔2.模型并行来源：英特尔来源：英特尔（2）多节点并行来源：英特尔来源：英特尔七、OTII-E边缘AI推理一体机应用案例5G网络运维系统时基于本地知识库实现的针对5G运维的1.本地知识库方案介绍信息密集型的任务，RAG（Retrieval-AugmentedGeneration，检索增强生成）技术应运而生。RAG通过赋予大型语言模型访问本地知识2.基于本地知识库构建智能5G网络运维系统本地知识库能够有效整合3GPP规范文档与运维团队的实践经运营商内部运维手册、故障处理案例库等多类型文档，通过PDF（PortableDocumentFormat，便携式文档格式）匹配.运维智能助手：基于检索增强生成技术，当运维人员遇到网络故障诊断、参数配置优化等问题时，系统自动检索相.知识持续更新机制：支持动态添加新的规范文档和运维经验，通过增量索引技术保持知识库的时效性，同时提供知.安全合规保障：内置文档权限管理、数据脱敏处理审计日志等功能，确保敏感运维数据的安全性，符合行业3.OTII-E边缘AI推理一体机规格参考在本地知识库应用部署中，利用4块GPU来提供充足的AI算.4个全高全长单宽GPU槽位来源：云尖信息12加载模型，量化模型，向量数据库，Web4DeepseekDistill70B来源：英特尔（二）基于AI的视频搜索1.视频搜索背景2.视频搜索方案介绍监督语言图像预训练）和BLIP（Bootstrappin密联系，实现基于文本的精准视频检索；BLIP模型则专注于来源：英特尔3.OTII-E边缘AI推理一体机规格参考来源：云尖信息1视频解码，特征匹配，Web服务器，视频搜索pipeline111来源：英特尔1.智能客服背景AI智能客服是人工智能技术在客户服务领域的典型应用，通过2.智能客服方案介绍智能客服系统是一个完整的智能体，包括了传统的IT业务和AI来源：英特尔3.OTII-E边缘AI推理一体机规格参考.2个全高全长双宽GPU槽位来源：云尖信息1智能体，向量数据库，Web服务器，RAG2器12来源：英特尔八、结论与展望在智能边缘的全场景时代，基于OTII-E计算服务器的边缘AI推理一体机，凭借其灵活模块化架构、高环境适应性、低成本以及CPU/GPU异构AI推理效率优化.产业场景深度渗透，边缘智能爆发式增长。边缘AI将加断推陈出新、半导体技术的突破以及垂直行业需求的多样九、附录模块化设•1个CPU+1个全高全长双宽GPU槽位或2个全高全长单宽GPU槽位•2个全高全长双宽GPU槽位•4个全高全长单宽GPU槽位支持最多3个全高全长双宽GPU槽位支持单台服务器最多4颗CPU来源：云尖信息中文释信息技术涵盖计算机硬件、软件、网络、数据存储等领域，用于信息的获取、处理、存储和传输，常见应用如办公自动化系统、企业通信技术主要研究信息的传输、交换和处理，包括有线通信（如光纤通信）和无线通信（如运营技聚焦于工业生产、制造、能源等领域的设术备操作与流程管理，例如工业自动化控制系统、智能电网管理系统，通过对物理设备的监测与控制，保障生产运营的高效与信息和通信技术人工智能技术及应用系统，包括机器学习、计算机中央处计算机系统的运算核心与控制单元，负责解释和执行计算机指令、处理数据，是设图形处最初为图形渲染设计的处理器，因并行计算能力强，广泛用于AI训练、深度学习NeuralProcessingUnit神经网络处理器专为人工智能任务设计，擅长处理深度学习算法中的矩阵运算，加速AI模型的训现场可编程门用户可自行配置电路功能的半导体器件，能灵活适配不同算法需求，常用于定制化计算场景，如通信基带处理、算法原型验开放数据中心由中国信通院、中国移动，中国电信等企业联合发起的组织，致力于推动数据中心技术标准化、产业化，促进互联网产业发展，推动边缘计算、绿色数据中心等领域面向电信应用的开放础基础设施框架，支撑电信网络与服务的高面向电信应用规格开基础架构形态，适配电信机房空间紧凑需求，为边面向电信应用规格开基础架构内存满足电信核心网、大数据分析等面向电信应用的开放础设施ODCC推出的针对边缘计算的标准，在满足电信及边缘场景对计算、网络、存储的多样化需求，如OTII-E服务器支持灵高级矢量扩展展，通过加宽数据并行处理位宽、新增专AdvancedM高级矩英特尔推出的指令集扩展技术，专为加速矩阵运算设计，显著提升深度学习、科学计算等领域的矩阵处理性能，加速AI模矢量神经网络针对神经网络计算优化的整数运算指令集，加速卷积、矩阵乘累加等操作，大幅应用程序编程接口大语言基于深度学习训练的具有庞大参数量的语言模型，如GPT系列、文心一言等，通过学习海量文本数据，具备强大的语言理解与生成能力，可完成文本创作、知识问®®英特尔英特尔为优化PyTorch框架在其硬件平台上的性能而开发的扩展工具，通过对算子优化、内存管理等技术，加速PyTorch在英特尔CPU、GPU上的AI模型数据并行深度学习训练中，将数据集拆分到多设备张量并行将模型张量（权重、激活值）拆分到多设备，并行计算不同分片，突破单卡内存限流水线检索增结合检索技术与生成式模型的方法，在生再