T-ZSA 163-2023 人工智能应用创新智能边缘云技术规范

ICS35.240团体标准Artificialintelligenceapplicationinnovation—Technicalspecificationofintelligent中关村标准化协会发布IT/ZSA163-2023 12规范性引用文件 13术语和定义 14缩略语 15总体技术架构 26技术要求 3 23应用部署资源调度能力5 41任务实例生命周期管理6 61智能边缘云资源层安全能力8 62边缘云节点AI能力层安全能力8 63边缘云节点管理层安全能力86.6.4云边管控层安全能力 8T/ZSA163-2023本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由中关村数智人工智能产业联盟提出并归口。本文件起草单位：赛迪检测认证中心有限公司、中关村数智人工智能产业联盟、中国软件评测中心（工业和信息化部软件与集成电路促进中心）、上海东部科技成果转化有限公司、数动达观（北京）科技有限公司、北京秒如科技有限公司、浪潮电子信息产业股份有限公司、优刻得科技股份有限公司、中科软科技股份有限公司、上海亘岩网络科技有限公司、曙光云计算集团有限公司、腾讯云计算（北京）有限责任公司、瑞莱信创技术(北京)有限公司、统信软件技术有限公司、济南浪潮数据技术有限公司、上海泛微网络科技股份有限公司。本文件主要起草人：刘云龙、贾昊、邹叔君、李安伦、翟艳芬、陈云峰、冯黎、李宝然、韩君辉、都静妍、谢宇杰、彭兴宇、王洋、张建、谢传宇、韩华珊、代威、刘海涛、朱金良、朱小龙、孟杰、王磊、吕广杰、张百林、刘超、杨国生、谢姣。T/ZSA163-20231人工智能应用创新智能边缘云技术规范本文件规定了应用于人工智能领域（以下简称AI）的边缘云的系统架构及技术要求，包括智能边缘云资源、边缘云节点AI能力、边缘云节点管理、云边管控、运营运维管理及安全能力六个部分。本文件适用于AI云服务提供商及第三方机构开展业务活动时，为产品及服务的设计、开发、测试、评估、维护及运营等提供参考依据。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。T/ZAI3—2022人工智能应用创新智能云基础设施技术规范3术语和定义下列术语和定义适用于本文件。3.1边缘云edgecloudcomputing构建在边缘基础设施之上的云计算平台，支持与中心云、终端的协同交互，通过中心云赋能及就近采集、处理业务负载，提升业务交付能力。3.2边缘云节点edgecloudnode边缘云中具备计算、存储、网络等资源，为人工智能服务提供基础设施支持的资源。3.3中心云centralcloudcomputing相对于边缘云，构建于传统基础设施上的云计算平台，负责全局数据、应用的统一管理和协同。3.4容器化部署containerizingdeployment通过容器技术实现应用程序部署。3.5安装包部署installationpackagedeployment通过程序安装包实现应用程序部署。4缩略语下列缩略语适用于本文件。AI：人工智能（ArtificialIntelligence）AMQP：高级消息队列协议（AdvancedMessageQueuingProtocol）ARM：微处理器（AdvancedRISCMachine）T/ZSA163-20232CPU：中央处理器（CentralProcessingUnit）CVE：通用漏洞披露（CommonVulnerabilities&Exposures）DDoS：分布式拒绝服务攻击（DistributedDenialofService）GPU：图形处理器（GraphicProcessingUnit）HTTP：超文本传输协议（HyperTextTransferProtocol）HTTPS：超文本传输安全协议（HyperTextTransferProtocoloverSecureSocketLayer）I/O：输入/输出（Input/Output）MIPS：无内部互锁流水级的微处理器（MicroprocessorwithoutInterlockedPipelineStages）MQTT：消息队列遥测传输协议（MessageQueuingTelemetryTransport）ONNX：开放神经网络交换（OpenNeuralNetworkExchange）OpenVINO：开放式视觉推理和神经网络优化（OpenVisualInference&NeuralNetworkOptimization）RDMA：远程直接内存访问（RemoteDirectMemoryAccess）RoCE：聚合以太网上的远程直接内存访问（RDMAoverConvergedEthernet）SDK：软件开发工具包（SoftwareDevelopmentKit）SOX：萨班斯法案（Sarbanes-OxleyAct）TCP：传输控制协议（TransmissionControlProtocol）TVM：张量虚拟机（TensorVirtualMachine）VPC：虚拟私有云（VirtualPrivateCloud)5总体技术架构5.1如图1所示，“人工智能应用创新智能边缘云”（以下简称“智能边缘云”）总体技术架构包括智能边缘云资源、边缘云节点AI能力、边缘云节点管理、云边管控四个层次，同时以运营运维管理、安全能力贯穿各个层次。图1智能边缘云总体技术架构图T/ZSA163-202335.2智能边缘云资源层由基础资源整合模块、基础资源服务模块组成。该层利用云计算等技术，将底层服务器、存储设备、网络设备等基础资源通过调度、抽象、编排、池化等方法进行统一整合管理，生成基础资源服务，支撑上层边缘云AI服务能力。应符合T/ZAI3—2022中5.2的相关要求。5.3边缘云节点AI能力层由存储能力模块、AI模型算法能力模块、应用部署资源调度能力模块、数据传输能力模块、边缘应用能力模块组成。其中，AI模型算法能力模块应包括AI模型管理、AI模型部署、AI模型推理。该层提供智能边缘云侧节点AI业务核心能力。5.4边缘云节点管理层由节点管理模块、云边通道管理模块、应用管理模块组成。其中，应用管理模块应包括镜像管理、应用实例生命周期管理。该层提供智能边缘云侧流程、资源、技术等方面的维护与管理。5.5云边管控层由任务实例生命周期管理模块、协同管理模块组成。该层提供AI智能边缘云侧整体业务的维护与管理，同时支撑边缘云与中心云的业务协同与数据同步工作。5.6运营运维管理包括监控管理、告警管理、租户管理、服务目录管理、计量计费管理、配额管理。运营运维管理面向智能边缘云各层的服务运营及技术运维的需求，提供技术、管理等方面的支撑。5.7安全能力提供智能边缘云各层的安全技术与手段，加固和提升智能边缘云的安全防护能力。6技术要求6.1智能边缘云资源层6.1.1基础资源整合计算资源池计算资源池具体要求如下：a)应符合T/ZAI3—2022中的要求；b)应支持边缘资源池接入平台；c)应添加边缘云节点，完成添加后可向边缘云节点发放边缘应用；d)应支持删除边缘云节点，删除后不再针对该节点进行管理和调度；e)宜支持边缘云节点高可用，当边缘云节点重启后，业务应用正常拉起，应用正常运行；f)操作系统应支持的处理器架构包括但不限于ARM、X86、龙芯MIPS、LoongArch、申威SW等；g)操作系统应支持主流的虚拟化技术和容器技术；h)操作系统应支持软件包、CVE、内核补丁更新机制，系统软件包更新后应兼容原来的基础运行库、开发环境以及应用环境；i)操作系统可支持轻量化内核及容器操作系统。存储资源池存储资源池应符合T/ZAI3—2022中的要求。网络资源池网络资源池应对网络设备进行逻辑抽象和集中管理，具体要求如下：a)应符合T/ZAI3—2022中的要求；b)宜支持边缘网络自治，当边缘云节点网络离线时，业务应用不中断。6.1.2基础资源服务基础资源服务层应符合T/ZAI3—2022中6.1.2的要求。6.2边缘云节点AI能力层6.2.1存储能力存储能力要求如下：a)应支持多类型异构数据存储，包括结构化数据、半结构化数据、非结构化数据；b)应支持不同类型数据适用场景、持久化策略、存储时间、实时性要求等内容的配置；T/ZSA163-20234c)应支持数据存储容量可扩展，避免因容量限制而无法满足数据存储需求；d)应提供异构接口，支持异地分布的数据接入，建立以应用为导向的、不同数据来源间的关联关系模型，数据信息可回溯；e)应支持对数据存储的有效性检验，确保数据结构、语法、输入输出等符合设计要求；f)宜支持重要数据的冗余性存储，提供备份恢复功能。6.2.2AI模型算法能力AI模型管理AI模型管理要求如下：a)应支持模型仓库的管理和配置，包括但不限于模型存储（如自定义模型、订阅模型）、模型版本控制等；b)应支持多种模型文件格式，如ONNX、TensorFlow、Pytorch等；c)应支持模型文件的常见操作，包括但不限于查看、导入/导出、校验、修改、删除等；d)应支持模型文件的管理操作，包括但不限于查询、排序、分类、展示等；e)应支持模型文件的格式转化，如以标准模型格式为中介支持主流模型格式间的互相转换；f)应支持模型可视化，包括但不限于模型结构、网络层级、网络权重等的可视化；g)应支持模型溯源信息，如查看模型与数据集、算法间的关系；h)可支持基于任务维度的模型评估，如基于同一任务对模型进行对比；i)可支持模型压缩，可根据用户定义参数完成模型压缩，如模型量化、剪枝等；j)可支持模型适配云端、边缘端、终端等多种异构硬件、多种操作系统的能力，如通过TensorRT、OpenVINO、TVM等软件对模型进行适配优化。AI模型部署AI模型部署要求如下：a)应支持用户自定义推理服务使用的资源规格，如计算资源类型、资源数量等；b)应支持以容器镜像的方式部署模型；c)应支持将模型部署为在线服务；d)应支持将模型部署为批量服务；e)应支持以SDK的方式部署模型；f)应支持多种模型部署及测试策略，包括但不限于滚动更新、灰度测试、A/B测试等；g)应支持面向业务场景的多模型编排，将多模型编排后以统一接口提供模型推理服务；h)应支持查看模型部署的信息，如部署状态、失败信息、离线日志等；i)可支持推理加速框架模型的部署，如TensorRT、openVINO、TVM等；j)可支持边缘端、终端设备的模型部署；k)可支持面向业务场景的可视化模型编排；l)可支持模型热更新，如根据预设的条件（如模型评估结果）更新模型版本；m)可支持端云协同的服务部署管理，如云端支持对边缘端、终端设备的模型下发和更新；n)可支持模型适配云端等多种异构硬件、多种操作系统等能力；o)可支持模型适配边缘端、终端等多种异构硬件、多种操作系统等能力。AI模型推理AI模型推理要求如下：a)应支持深度学习推理框架，如TensorFlowServing等；b)应支持模型推理的弹性资源调度，如弹性扩容、缩容；c)应支持模型推理的基本操作，如任务启动、停止等；d)应支持模型推理的接口信息（如版本、实例数、接口格式等）查询及展示；e)应支持模型推理状态信息（如运行状态、调用量、调用成功率等）的查询及展示；f)应支持模型推理的管理操作，如流量分配、服务限流、负载均衡等；g)可支持异构计算资源推理，如不同架构的芯片和加速卡用于异构加速推理任务；T/ZSA163-20235h)可支持模型推理的过程采样（如新样本采集、难预测样本筛选支持模型升级迭代。6.2.3应用部署资源调度能力应用部署资源调度要求如下：a)应支持多种物理计算资源，包括但不限于CPU、GPU等；b)应支持CPU资源虚拟化；c)应支持镜像仓库，提供内置镜像、自定义镜像的存储和管理；d)应支持镜像的基本操作，包括镜像的查看、导入、删除、修改、排序、查找等；e)应支持多种存储资源，如对象存储、块存储、文件存储等；f)应支持异构计算资源（如不同的架构芯片、加速卡等）的管理和调度；g)应支持资源的逻辑隔离，如计算及存储资源基于任务、用户等维度的逻辑隔离；h)应根据任务弹性调度分配计算、存储等资源；i)应设置资源调度的颗粒度，如CPU核数、GPU卡数、内存数量等；j)宜支持GPU资源的虚拟化、池化等；k)可支持高速RDMA网络资源，如Infiniband网络、RoCE网络等。6.2.4数据传输能力数据传输能力要求如下：a)应针对不同类型的数据传输，实现主流协议（如TCP、HTTP、HTTPS、MQTT、AMQP等）的支持，确保应用互操作性和普适性；b)应支持数据传输加密，密码算法应符合相关行业要求；c)应支持在中心云与边缘云、边缘云节点之间、边缘云节点与终端建立安全传输通道，保障数据传输的完整性和不可篡改性。6.2.5边缘应用能力边缘云节点应提供不同行业领域的AI应用服务能力，具体要求如下：a)应支持边缘侧AI应用的统一管理及全生命周期管理，如应用部署（至少支持两种部署方式，如容器化部署、安装包部署等）、应用升级、应用迁移、应用运行监控、应用版本管理（包括版本号、应用名称、应用定义与描述、应用类型、功能类型、版本建立时间、操作记录）、应急管理、应用退出等；b)应提供各行业领域的通用型AI应用，如视频分析、音频分析、人脸检测、图像识别等；c)应监管AI应用的数据安全、信息安全、业务流程等；d)宜提供特定行业领域AI应用。6.3边缘云节点管理层6.3.1节点管理节点管理要求如下：a)应统一管理边缘区域的边缘云节点；b)应支持AI能力节点的设备影子管理，每个节点在边缘云节点管理层只有一个设备影子，可根据唯一标识存取或更新数据。设备影子应记录但不限于设备属性、业务能力、连接边缘云节点管理层的上线或下线信息、资源统计的上报信息等；c)应支持边缘云节点设备的远程管控，支持根据云边管控层的指令对边缘云节点进行启动、停止、配置变更等，提供可视化界面，支持用户在边缘侧管控边缘云节点设备；d)宜支持设备拓扑管理，提供设备网络拓扑结构和状态信息，包括节点的应用统计、设备的资源消耗统计、服务的调用统计等；e)宜支持报表统计，如边缘侧各节点部署的应用数量和资源消耗的统计。6.3.2云边通道管理云边通道管理要求如下：T/ZSA163-20236a)应支持链路连通性探测，可设置向云边管控层发起心跳消息的周期。当连续出现若干周期的心跳无回包时，可认为与云边管控层的链路异常；b)应支持消息的转发，根据云边管控层的控制指令进行相关的镜像管理、应用实例管理、节点管理等业务流程管理和报文转发，支持将边缘侧的消息转发至云边管控层，如将AI应用的上报数据或监控数据转发至云边管理层。6.3.3应用管理镜像管理镜像管理的要求如下：a)应根据云边管控层下发的镜像进行镜像存储；b)应支持镜像文件的上传；c)应支持镜像存储异常管理，对镜像传输过程中的安全异常、传输速度异常、网络错误等提供容错能力；d)应构建和部署边缘云节点的应用模板；e)应支持自定义镜像管理；f)宜支持对镜像传输过程中的各种中间状态进行处置，对镜像的全生命周期进行完整管理；g)宜支持镜像的查询、搜索；h)宜控制镜像的使用权限。应用实例生命周期管理应用实例生命周期管理的要求如下：a)应支持应用实例部署管理，根据资源需求匹配恰当的目标AI能力节点的资源并进行应用实例b)应支持应用实例升级管理，根据云边管控层的业务需求通知目标AI能力节点对应用实例进行c)应支持应用实例在满足特定的触发条件下，在边缘云侧内部进行迁移；d)应根据云边管控层的指令进行应用实例的启动、停止、重启、删除等；e)宜支持云边管控层调度应用实例跨边缘云节点、跨边缘云等进行迁移；f)宜支持在边缘侧进行应用实例的启动、停止、重启、删除等。6.4云边管控层6.4.1任务实例生命周期管理任务实例生命周期管理的要求如下：a)应支持任务实例的部署管理，支持任务实例部署的指令收发；b)应支持任务实例的升级管理，包括：边缘云服务需求方向中心云发送升级要求，以及边缘云接受中心云的升级指令等；c)应支持任务实例迁移，包括边缘云节点内部、跨边缘云节点以及跨边缘云的任务实例迁移；d)应支持任务实例启动、重启；e)应支持任务实例释放，同时删除相关数据；f)宜支持任务实例关停，同时保留相关数据。6.4.2协同管理协同管理的要求如下：a)应支持根据业务情况，云边端节点向中心云汇报与申请预留资源的变更；b)应支持云边端节点接收资源释放通知时，相应资源设备具备资源释放的能力；c)应支持云边端节点应根据资源调度信息分配或预留相应的资源；T/ZSA163-20237d)应提供边缘业务可靠性机制，保证边缘云节点数据流、业务流及控制流等地可靠性传输及交e)应支持边缘云节点的实时敏感任务处理。6.5运营运维管理6.5.1监控管理监控管理的具体要求如下：a)应支持集群监控，包括监控集群内主机/云主机/容器的运行状态等；b)应支持对主机/云主机/容器的资源（包括CPU、存储、网络、内存等）进行监控；c)应支持租户资源（包括但不限于计算资源、存储资源、网络资源等）的监控；d)应支持实时监控或历史监控结果的可视化展现；e)应对应用实例的状态（包括应用实例的运行状态、CPU和内存等资源的使用情况、存储I/O和网络I/O等指标情况）、资源用量等信息进行监控，并将监控信息上报给云边管控层；f)应对任务实例的状态（包括任务实例的运行状态、CPU和内存等资源的使用情况、存储I/O和网络I/O等指标情况）、资源用量等信息进行监控，并在云边管控层能够收集到监控信息；g)应采集边缘区域内的基础设施的资源使用信息，对资源的状态和使用情况进行监控和分析；h)应监控网络质量，包括对边缘区域的网络质量、各节点与边缘云节点管理层之间的链路、边缘云节点管理层与云边管控层之间的链路的监控；i)应统计分析边缘区域上报的监控信息，监控边缘区域的实例状态、资源用量等，向用户进行友好展示；j)应统计分析边缘区域上报的物理资源使用信息，向用户进行友好展示；k)应监控各区域与云边管控层的链路状态；l)应根据各区域上报的网络链路监控信息，向用户进行友好展示；m)宜支持监控数据的查询、统计；n)宜支持各种资源监控的统计报表展现与导出，包括但不限于物理主机性能统计报表、云主机性能统计报表、租户资源使用统计报表等；o)宜支持指定时间段的资源监控统计报表展现与导出；p)宜通过大屏幕的形式展示系统规模、资源使用率统计或排名等关键信息；q)宜根据云边管控层的监控管理要求，定时统计和上报相关资源的信息；r)宜根据用户监控需要向边缘云节点管理层发送指令，要求其上报指定的统计信息和日志信息。6.5.2告警管理告警管理的具体要求如下：a)应支持边缘区域内故障上报至云边管控层，故障上报的内容应包括但不限于序列号、时间、级别、源、原因、是否需要人工处理等；b)应支持异常情况（包括但不限于过大的网络流量、过高的CPU占用、过高的内存占用、过高的磁盘占用等）的监控报警；c)应支持向用户呈现边缘区域上报的告警信息，按告警级别和时间进行排序；d)宜支持告警事件的管理，包括但不限于告警阈值设置、告警通知（包括邮件通知、短信通知等）、告警查询等；e)宜支持告警原因的展示。6.5.3租户管理租户管理的具体要求如下：a)应支持多租户模式，不同租户之间的资源通过VPC网络及权限控制实现强隔离，保证租户的资源安全；b)应支持租户分级机制，能根据组织架构情况为租户定义子租户；c)应支持角色管理，为用户赋予权限可调用相关API并进行资源管理。6.5.4服务目录管理T/ZSA163-20238服务目录管理的具体