TZSA 163-2023 人工智能应用创新智能边缘云技术规范

ICS35.240CCSL77团 体 标 准T/ZSA163-2023Artificialintelligenceapplicationinnovation—Technicalspecificationofintelligentedgecloudcomputing2023-10-20发布 2023-10-21实施中关村标准化协会发布T/ZSA163-2023T/ZSA163-2023II目 次前 言 II1范围 12规性用件 13术和义 14缩语 15总技架构 26技要求 3能缘资层 3基资整合 3基资服务 3缘点AI能层 3存能力 3AI模算能力 4应部资调能力 5数传能力 5边应能力 5缘节管层 5节管理 5云通管理 5应管理 6边控层 6任实生周管理 6协管理 6营维理 7监管理 7告管理 7租管理 7服目管理 7计计管理 8配管理 8全力 8智边云源安全力 8边云点AI层安能力 8边云点理安全力 8云管层全力 8T/ZSA163-2023T/ZSA163-2023IIII前 言本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。本文件起草单位：赛迪检测认证中心有限公司、中关村数智人工智能产业联盟、中国软件评测中心（工业和信息化部软件与集成电路促进中心）、上海东部科技成果转化有限公司、数动达观（北京中科软科技股份有限公司、上海亘岩网络科技有限公司、曙光云计算集团有限公司、腾讯云计算（北京）有限责任公司、瑞莱信创技术(北京)有限公司、统信软件技术有限公司、济南浪潮数据技术有限都静妍、谢宇杰、彭兴宇、王洋、张建、谢传宇、韩华珊、代威、刘海涛、朱金良、朱小龙、孟杰、T/ZSA163-2023T/ZSA163-2023PAGEPAGE1人工智能应用创新 智能边缘云技术规范范围本文件规定了应用于人工智能领域（以下简称AI）的边缘云的系统架构及技术要求，包括智能边缘云资源、边缘云节点AI能力、边缘云节点管理、云边管控、运营运维管理及安全能力六个部分。本文件适用于AI云服务提供商及第三方机构开展业务活动时，为产品及服务的设计、开发、测试、评估、维护及运营等提供参考依据。下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。T/ZAI3—2022人工智能应用创新智能云基础设施技术规范下列术语和定义适用于本文件。3.1边缘云 edgecloudcomputing构建在边缘基础设施之上的云计算平台，支持与中心云、终端的协同交互，通过中心云赋能及就近采集、处理业务负载，提升业务交付能力。3.2边缘节点 edgecloudnode边缘云中具备计算、存储、网络等资源，为人工智能服务提供基础设施支持的资源。3.3中心云 centralcloudcomputing相对于边缘云，构建于传统基础设施上的云计算平台，负责全局数据、应用的统一管理和协同。3.4容器部署 containerizingdeployment通过容器技术实现应用程序部署。3.5 安装部署 installationpackagedeployment通过程序安装包实现应用程序部署。缩略语下列缩略语适用于本文件。AI：人工智能（ArtificialIntelligence）AMQP：高消队协（AdvancedMessageQueuingProtocol） ARM：微理（AdvancedRISCMachine）CPU（CentralProcessingUnit）CVE（CommonVulnerabilities&Exposures）DDoS（DistributedDenialofService）GPU（GraphicProcessingUnit）HTTP：超文本传输协议（HyperTextTransferProtocol）HTTPS：超文本传输安全协议（HyperTextTransferProtocoloverSecureSocketLayer）I/O：输入/输出（Input/Output）MIPS：无内部互锁流水级的微处理器（MicroprocessorwithoutInterlockedPipelineStages）MQTT：消息队列遥测传输协议（MessageQueuingTelemetryTransport）ONNX：开放神经网络交换（OpenNeuralNetworkExchange）OpenVINO：开放式视觉推理和神经网络优化（OpenVisualInference&NeuralNetworkOptimization）RDMA：远程直接内存访问（RemoteDirectMemoryAccess）RoCE：聚合以太网上的远程直接内存访问（RDMAoverConvergedEthernet）SDK：软件开发工具包（SoftwareDevelopmentKit）SOX：萨班斯法案（Sarbanes-OxleyAct）TCP：传输控制协议（TransmissionControlProtocol）TVM：张量虚拟机（TensorVirtualMachine）VPC：虚拟私有云（VirtualPrivateCloud)如图1）AI图1 智能缘总技架图AIT/ZAI3—20225.2AIAIAIAIAIAIAIAI智能边缘云侧整体层计算资源池具体要求如下：a) T/ZAI3—20ARM、X86MIPS、LoongArchSW操作系统应支持软件包、CVE、内核补丁更新机制，系统软件包更新后应兼容原来的基础运存储资源池应符合T/ZAI3—2022中的要求。网络源应网设进行辑象集管，具要如a) 应合T/ZAI3—2022中要基础资源服务层应符合T/ZAI3—2022中6.1.2的要求。AI存储能力要求如下：AIAIAI模型管理要求如下：应支持模型仓库的管理和配置，包括但不限于模型存储（如自定义模型、订阅模型）ONNX、TensorFlowPytorch可支持模型适配云端、边缘端、终端等多种异构硬件、多种操作系统的能力，如通过TensorRT、OpenVINO、TVM等软件对模型进行适配优化。AIAI模型部署要求如下：SDKA/BTensorRT、openVINO、TVM）AIAI模型推理要求如下：TensorFlowServing（（（）应用部署资源调度要求如下：CPU、GPUCPU（）CPUGPUGPURDMAInfinibandRoCE数据传输能力要求如下：（TCP、HTTP、HTTPS、MQTTAMQP边缘云节点应提供不同行业领域的AI应用服务能力，具体要求如下：应支持边缘侧AI应用的统一管理及全生命周期管理，如应用部署（至少支持两种部署方式，如容器化部署、安装包部署等）、应用升级、应用迁移、应用运行监控、应用版本管理（包括版本号、应用名称、应用定义与描述、应用类型、功能类型、版本建立时间、操作记录AIAIAI节点管理要求如下：应支持AI云边通道管理要求如下：管理等业务流程管理和报文转发，支持将边缘侧的消息转发至云边管控层，如将AI应用的上镜像管理的要求如下：应用实例生命周期管理的要求如下：AIAI任务实例生命周期管理的要求如下：协同管理的要求如下：监控管理的具体要求如下：//CPU（）（CPUI/OI/O）（CPUI/OI/O）告警管理的具体要求如下：（CPU宜支持告警