6G 网络 Al 关键指标需求

6G网络AI关键指标需求1.背景及目标6G网络的发展带来了不断丰富的用户场景，如沉浸式XR、自动驾驶和智能协同控制等，网络AI应运而生。网络AI通过AI算法优化网络资源配置，提高网络性能和可靠性，为用户提供就近泛在的AI服务，具有泛在普惠、移动性支持、带有用户属性、极致性能、内生安全隐私、可信等技术优势。现有的5G网络服务等级协议（SLA）聚焦于面向会话连接的服务，例如时延、抖动、误码率、峰值速率等，关注ToB业务的SLA，缺乏对6G网络AI的刻画与衡量。此外，云三类服务模式，对应不同的服务指标体系，不能相互兼容。云AI重点关注ToC业务的指标，也不再符合6G网络AI赋能千行百业的愿景。6G网络引入多样化AI能力与多维度AI资源，如何先扩展后收敛、量化、标准化AI相关的指标是6G网络提供高效AI服务的必要条件。2.关键指标设计原则和方法网络AI的KPI设计原则如下：定量性：KPI尽可能是可以度量的，具体而清晰，能够通过数据来验证。并且KPI应该具有明确的指标和测量方法，以便能够收集和分析相关数据，并对其进行评估。业务相关性：KPI应该与AI业务目标密切相关，并直接反映出AI服务对业务的影响。这有助于确保AI服务的价值与业务目标保持一致。可操作性：KPI应该能够为网络决策、执行、评估、保障提供指导，帮助网络检测识别问题并采取相应的措施。因此，KPI应该符合实际可操作测量和可改进优化的指标，而不仅仅是简单地度量性能。灵活性：面临业务和技术不断更新的变化，KPI可能存在频繁调整的问题。因此，KPI的设计应该具有一定的灵活性和适应性，以应对不断变化的需求和挑战。可定位性：KPI的变化应该能够追溯到特定的原因或事件，以便在需要时进行调查和分析。这需要建立有效的数据收集和记录机制，以便跟踪KPI的变化。基于上述关键指标的设计原则，潜在设计方法和路线如下：1.6G网络AI关键指标的潜在设计从典型场景的典型用例的出发，明确其需求和目的。2.明确不同6G网络指标的面向对象，包括面向单个用户的服务质量、面多个用户的服务质量、面向网络或系统的评估。3.通过分析现有ITU明确提出的6G的15个可量化的能力指标（连接数密度、移动性、时延、可靠性、定位精度、峰值速率、用户体验速率、频谱效率、区域流量密度、感知相关指标、AI相关指标、安全隐私韧性性能指标、可持续性性能指标、覆盖、互操作）与典型场景的典型用例的关系，从15个指标中先筛选出符合AI服务需求和目的的指标形成合集，并且分析每个指标能满足服务质量的定量描述，包括准确数值或者一定范围的数值。4.针对典型用例逐个分析，筛选出除15指标以外新的指标。新的指标可以针在不同颗粒度上的、不同维度的指标，例如针对在空口上、在整个AI服务质量上等，并研究起定义、评估方法等。3.典型场景及新KPI3.1场景一——网络辅助智能机器人机器人在工业、物流、医疗、教育等领域中有广泛应用，它们可以互相协作完成复杂任务，如搬运货物、制造商品等。协作机器人之间的任务规划对它们完成任务的效率和质量有重要影响。如果机器人各自决策并通过彼此协商来进行任务规划，当参与任务的机器人数量较多时，通常需要经过多轮协商，这将会非常消耗机器人的计算资源和电量。因此，6G网络可以为多个协作机器人规划任务，各机器人根据分配的任务进行运动控制以执行任务，这样可以节约机器人的电力和计算资源，并提升任务规划效率[1]。如图3.1所示，厂房内的机器人A，B，C，D，E，F需要协作将设备P1和P2搬到位置L。在这个用例中，我们假设机器人与6G网络相连，机器人之间可以直接通信。其业务流程如下：1.机器人管理员给多个协作机器人部署设备搬运任务，为了更高效地得出任务执行策略，机器人向网络发起任务分配和移动路线规划请求，提供任务需求（将设备P1、P2搬到位置L）、参与任务的多个机器人标识、每个机器人的能力信息。2.网络定位参与任务的机器人以及需要搬运的设备位置。3.网络感知设备P1和P2的形状和材质。4.网络收集工厂厂房的环境信息，进行3D环境建模，识别障碍物。5.网络决策每个机器人要执行的任务以及移动轨迹。6.网络将任务分配信息和移动轨迹发送给机器人。7.机器人根据部署的任务信息进行运动控制推理，并执行任务。●系统要求在网络辅助智能机器人场景中，对系统具有下列要求：1.机器人与6G边缘计算节点建立连接，机器人与机器人之间可以D2D通信；2.机器人具有感知能力、AI数据预处理能力、AI模型训练能力、AI分布式推理能力；3.各机器人利用本地数据分布式训练AI模型，周期性将本地模型参数上传到边缘计算节点，完成模型聚合，构成联邦学习；●实体和交互●新增使能服务基于上述对AI任务和网络辅助智能机器人场景的描述，网络的使能服务包括：√6G边缘计算节点的AI环境渲染服务；在经济价值方面，GGII预测显示，到2027年，中国的移动机器人将超过460亿元。根据GGII的统计数据，截至2022年，全球移动机器人市场的规模约为291.6亿元，同比增长35.31%，预计到2027年将上。此外，艾瑞咨询也预测，到2025年，中国的智能机器人市场规模图3.2开源证券预测2018-2027年全球与国内AGV市场规模图3.3艾瑞咨询2019-2025年中国智能机器人市场规模及预测在产业价值方面，随着AMR技术的不断成熟和市场需求不断提升，AMR机器人的应用场景也越来越多样化。除了传统的制造、物流领域，AMR机器预测在2027年，超过75%的公司将在其仓储运营中采用某种形式的智能物理自AMRs、AGVs、人形机器人、协作机器人等，以应对不同任务和工作环境。通相机、处理器和FPGA，能够在实时环境中做出决策。视觉能力得到提高，而智能城市等行业。机器人制造商提供多样化的解决方案，如自主移动机器人满足不同行业的需求。图3.4艾瑞咨询总结商业服务领域痛点需求与产品类型图3.5艾瑞咨询总结2012-2022年智能机器人行业相关政策（国家级）在移动性方面，3GPP提出的TR22.874协议指出，移动机器人需要在不断TR22.874协议要求：若机器人完全由云服务器控制，则行走任务往返时延需小于3ms；若采用分离控制，需小于25ms。而IMT20306G愿景白皮书提出，实现智能体对于人类的实时交互与反馈，传输时延要小于1ms，在隐私性方面，家庭机器人会涉及到更多的用户隐私保护需求。在端边协同方面，TR22.874协-边-云”协同架构，缓解终端数据处理压力，增强机器人对环境变化的实时响3.1.3新KPI要求基于上述价值场景和典型用例，可以归纳得出的新的网络如下AI关键指标：环境渲染准确性、D2D数据交互时延、模型聚合时延、模型聚合准确性、系统鲁棒性。1.环境渲染准确性：利用已训练好的AI模型进行环境渲染，与真实物理环境之间的误差；2.D2D数据交互时延：机器人之间D2D数据交互的时长；3.模型聚合时延：从机器人的局部模型参数上传给边缘计算节点，到完成模型聚合的4.模型聚合准确性：聚合后的全局模型推理准确性；系统鲁棒性：部分机器人的状态反馈或局部模型训练缺乏时，边缘计算节点的全局模型的可靠性。3.2场景二——XR智能场景XR技术在工业应用、医疗领域、教育、军事训练、电子商务、游戏娱乐、旅游文化、远程协作等多个场景中广泛应用，其中这些场景下的增强沉浸式体验、实时语音翻译、图像和物体识别、只能导航和地图、实时内容生成、数据分析和预测等功能上与AI技术结合，为用户带来更加丰富和深入的体验。充分发挥6G网络能够提供更低时延、高移动性、隐私性保护、灵活的端边协同的优势，在XR场景中的典型AR智能导航用例中，6G网络在提高效率、增强用户体验方面发挥着重要作用。其中涉及到的AI功能如下：1、地标识别：AR导航可以识别并高亮显示重要的地标，如建筑物、雕塑或其他显著特征，帮助用户更好地理解周围环境。2、步行路线规划：通过分析用户的当前位置和目的地，AR导航可以提供最佳的步行路线，并在用户行走时实时更新路径。3、紧急导航：在紧急情况下，如火灾或地震，AR导航可以提供快速疏散路径，指导用户安全撤离。4、个性化导航：基于用户的历史行为和偏好，AR导航可以提供个性化的路线建议，例如推荐风景优美的路线或避开用户不喜欢的区域。5、增强的旅游体验：在旅游领域，AR导航不仅可以指引方向，还可以提供关于景点的历史信息、图片和视频，增强用户的旅游体验。假设用户AI在城市的旅游中使用AR导航，并实时显示周围城市信息：其业务流程如下：1、用户启动应用：游客在智能手机或AR眼镜上启动专门的文旅AR导航应用。这个应用可能是旅游景点提供的，也可能是第三方开发的，专门为文旅导航设计。2、位置识别与环境感知：应用通过GPS、6G网络、wifi、蓝牙信标等技术确定用户的当前位置，并利用摄像头捕获周围环境的视觉信息。3、地图加载与融合：应用加载景点的数字地图，与用户的实际视野相融合。地图上可能会标记出各种兴趣点（POI如历史建筑、艺术雕塑、文化展览信息等。4、目标选择：游客可以通过语音命令、触摸屏幕或头部移动等方式选择他们感兴趣的目的地或景点。5、路径规划：应用根据用户的位置和偏好，利用AI算法计算出一条最佳路径。路径规划会考虑到景点的开放时间、游客流量、步行距离等因素。6、AR导航指引生成：识别图像，生成AR导航指引，如虚拟箭头、路径线、3D模型等，并将这些元素叠加在用户的实际视野之上。7、导航指引展示：AR指引在用户的设备屏幕上实时显示，引导游客沿着规划好的路径前进。指引可以根据用户的移动速度和方向动态调整。8、互动体验增强：在导航过程中利用AI算法，识别环境、可以提供额外的互动体验，如生成历史故事讲解、文化背景介绍、趣味问答等，增加游客的参与感和沉浸感。9、实时反馈与调整：游客可以对导航路径进行实时反馈，利用AI算法选择绕路以避开人多的地方或延长游览时间。应用根据反馈调整导航指引。10、结束导航：当游客到达目的地后，AR导航指引会消失或提示游客已经到达。游客可以对整个导航体验进行评价，提供反馈。●系统要求在AR职能导航场景中，对系统具有下列要求：4.AR眼镜或者移动终端与6G网络边缘计算节点建立连接；5.AR眼镜或者移动终端具有感知能力、AI数据预处理能力、和或AI模型推理能力。6.网络具有AI数据预处理能力、AI模型推理能力、AI模型训练能力；7.网络具有AI模型下发能力；8.网络具有扩展性和兼容性：网络系统能够支持未来的技术升级和与其他设备的兼容。9.安全性和隐私保护：确保用户数据安全，防止未经授权的访问和数据泄露，同时保护用户的隐私。10.系统冗余和容错能力（包括算法在关键组件（如传感器、执行器、计算平台）出现故障时，系统仍能保持一定程度的导航功能。●实体和交互新增实体与交互的需求包括：√网络与AR眼镜或者移动终端的交互具有低时延；√网络和移动终端能够协同算力和连接资源；√对于需要实时数据交互需要一定的稳定性，交互可靠，抖动时延低；●新增使能服务新增的使能服务包括：√文字、语音、图像、视频的AI生成内容√AI数据分析和预测√AI图像处理、识别、检测、渲染在经济价值方面，据IDC预计，2023年AR/VR耳机的总出货量将增长14%，并在2023-2027年的预测期内加速增长，五年复合年增长率（CAGR）为32.6%。图3.2.1IDC预测全球AR/VR头戴设备产量预测在产业价值方面，Gartner预测，到2025年，收入超过10亿美元的组织中，有15%将使用AR云，通过新的交互和商业模式从物理世界中获利。虽然AR云的许多机会还需要数年时间，但企业可以采取近期行动来利用这一新兴技术。此外，艾瑞咨询在《中国增强现实行业研究报告》中提出，在乐观预测下，预计2025年前，包括苹果在内的互联网企业、手机厂商等头部企业将陆续推出切入XR领域的新品刺激行业正向推动；2030年左右，AR产业或将突破现有技术瓶颈，推动供应链走向成熟，终端设备单价进一步降低。图3.2.22020-2036年中国AR终端设备出货量预测在战略意义方面，“十三五”首次提及虚拟现实，AR被视为具有重大战略价值和应用前景的创新先进技术。图3.2.3艾瑞咨询总结2016-2020年中国VR/AR行业相关政策艾瑞咨询在《中国增强现实行业研究报告》中指出，在生态成熟度方面，企业级和公共服务类应用仍在试探尝新阶段，AR产业生态整体处于试探性阶段。在技术成熟度方面，短期内（3-5年）可商业化落地的技术已实现较大飞跃，长期来看（5年后各关键技术的发展路径相对明确。在商业模式方面，AR消费级下游内容生态商业模式多基于已有成熟内容生态做延伸。短期内或将面临商业变现增长乏力问题。但在长期来看，随着技术不断迭代，B端场景将愈发走向专业化，C端场景或将进一步细分，AR市场的快速增长和规模上量仍将依赖于C端市场的推动与爆发。在政策支持方面，AR在“十四五”中被列为数字经济重点产业，为双千兆网络强应用场景。图3.2.4艾瑞咨询总结2021-2023年中国VR/AR行业相关政策在移动性方面，华为在《AR洞察与应用实践白皮书》中指出，AR具备强移动性，在移动场景的应用将为用户带来切实价值，这与移动网络完美结合。图3.2.5AR导航（来源：Shutterstock）在实时性方面，赛迪智库提出，新形势下高质量AR/VR业务对带宽、时延要求逐渐提升，时延降低到5ms以下。而在3GPPTR22.874协议中，对AR游戏、远程控制机器人、远程驾驶的图像识别时延要求在5ms以下。图3.2.6AR/VR应用场景参数指标在隐私性方面，根据Kaspersky提出的文章，增强现实的最大可见危险之一是隐私。用户的隐私面临风险，因为AR技术可以看到用户在做什么。AR收集了很多关于用户是谁以及他们正在做什么的信息，比社交媒体网络或其他形式的技术程度更深。在端边协同方面，3GPP在TR22.874协议中指出，AR计算密集型任务可以完全或部分卸载。基于上述价值场景和典型用例，可以归纳得出的新的网络如下AI关键指标：AI服务的时延、AI服务推理的准确度、系统的鲁棒性；3.4场景四——终端智能应用场景音频转文字包括语音识别和跨语言翻译，已广泛应用于视频通话配字幕，语音通话配字幕，以及会议直播配字幕等场景[2]。目前，在5G增强的IMS新通话已包含音频转文字功能。具体实现方式是通过在IMS调用第三方的媒体能力平台中的API完成[1]。由于语音流需要先传到第三方服务器进行AI模型推理，再反馈回IMS，因此，存在业务时延大的问题。此外，在线会议系统（例如，腾讯会议，微软Teams等）的应用中包括实时配字幕功能，但明显可以观察到出错现象，特别是在涉及一些领域专有名词，或者中英文混杂表达时，出错概率更高。如图3.3-1所示，假设由接收侧IMS调用第三方API接口，在5G增强的IMS新通话已实现的音频转文字功能的流程如下：1.发送手机将语音流透传到接收侧IMS。2.接收侧的IMS解码出语音流，并将语音流发送到媒体能力平台，由第三方的服务器完成AI模型的推理，获得语音识别结果或翻译结果，然后反馈给IMS.3.接收侧的IMS将文字流透传到接收手机。一种方式是将语音流和文字流分两路传输给接收终端；另一种方式是在接收侧的IMS将语音流和文字流合并为一路数据，合并发送给接收终端。图3.3-15G新通话实现音频转文字的示意图在6G，音频转文字可以在终端和IMS之间通过分割推理完成。例如，在接收IMS和接收终端进行分割推理。如图3.3-2所示，流程包括1.发送手机将语音流透传到接收侧IMS。2.接收侧的IMS解码出语音流，进行AI模型第一分量的推理后，获得分割层结果。3.接收侧的IMS将分割层结果透传到接收手机。一种方式是将语音流和分割层结果分两路传输给接收终端；另一种方式是在接收侧的IMS将语音流和分割层结果合并为一路数据，合并发送给接收终端。4.接收终端将分割层的结果作为AI模型第二分量的模型输入，进行模型推理后，获得推理后的文字。图3.3-2基于终端和IMS分割推理实现音频转文字的示意图●系统要求为了支持在6G系统内完成实时音频转文字功能，6G系统需要具有模型推理能力，模型部署能力，计算能力。可选的，6G系统需要具有模型监控能力和训练数据收集能力。●实体和交互对于在接收IMS和接收终端做分割推理实现音频转文字用例，涉及的实体包括终端和IMS。发送终端到接收IMS之间交互的是加密的语音流；接收IMS到接收终端之间交互的是加密的语音流和加密的文字流。其中，加密的语音流和加密的文字流可以分开传输，或者合并传输。●新增使能服务相比于5G增强系统，6G系统可以提供时延更低和准确率都更有保障的实时音频转文字/实时音频翻译服务。音频转文字中语音识别功能可以在视频或音频传输质量欠佳的情况下，通过文字信息帮助接收者获得更多有效的信息。此外，它还可以帮助听力残障人士通过文字信息获得有用信息。音频转文字中的跨语言翻译功能，可以帮助不同语言的人们进行更有效的沟通和交流。这些应用为人们提供了更多便利和可及性，促进了信息的传递和交流。相比于5G的实现方式，6G的实现方式的技术优势体现在提升推理精度、降低推理时延和保护用户隐私。提升推理精度：假设相比于5G系统，6G系统使用模型尺寸更大、精度更高的模型；另一方面，通过在IMS和终端分割推理的方式保证推理时延不大于5G系统的推理时延，则6G系统可以获得更高的推理精度。降低推理时延：假设6G系统和5G系统使用模型尺寸类似且精度类似的模型，则通过将推理节点部署在网络内部（IMS和终端而不需要将语音流发到第三方平台再传回IMS，即缩短了数据流转的路径，因此，可以获得更低的推理时延。保护用户隐私：相比5G的实现方式，6G的实现方式中AI的处理位于6G系统内部，不用把用户语音流发到第三方平台，可以更好地保护用户隐私。对于音频转文字用例，潜在需要的KPI包括AI服务的时延，推理精度，服务密度等。基于3.3.2小节的分析，6G实现方式相比于5G现有实现方式的技术优势包括了提升推理精度和降低推理时延。因此，可以将AI服务时延和推理精度作为潜在KPI。此外，考虑到存在多个用户同时触发音频转文字用例，即6G系统需要同时为多个用户提供AI服务的情况，因此，可以考虑将服务密度作为6G系统提供AI服务的KPI。4.网络AIKPI指标设计方案4.1网络AIKPI定义通信网络的KPI是网络在不同场景下所能提供的能力的关键量化指标。代际之间，典型场景演进的指标度量，乃至新场景的关键能力的定义都需要网络KPI。实际上，代际网络架构的规划是围绕网络KPI进行的。ITU-R愿景定义了6G网络的6类典型场景，其中之一就是integratedAIandcommunication。6类典型场景中有3个是5G原有典型场景的增强，如immersivecommunication就是eMBB场景的增强，因此在KPI指标方面更多考虑的是原有指标的数值变化。而integratedAIandcommunication是6G全新定义的场景，因此，对于新场景，更为紧迫的问题是如何定义能够度量新场景能力的指标[3]。IntegratedAIandcommunication场景，在通信方面，需要支持高区域流量容量和用户体验数据速率，以及低延迟和高可靠性。除了通信方面，该使用场景预计引入融合的计算和AI新功能，包括从不同来源进行数据采集、准备和处理，分布式AI模型训练，跨IMT系统的模型共享和分布式推理，以及计算资源编排和链接。综上，网络AIKPI是度量ITU-R愿景中IntegratedAIandCommunication场景的关键能力的指标或指标组合。前一章节讲了网络KPI的定义，实际回答了为什么需要KPI以及网络的哪些能力需要涉及KPI，涉及的方式可以是数值的变更也可以是新的指标定义。本章节主要围绕网络KPI的模型展开，想要回答的问题是，网络能力和KPI指标之间的关系，以及KPI指标之间的相互关系是什么。通过本章节，我们希望能够得出网络AIKPI模型乃至整个网络的KPI模型。4.2.15GITUKPI模型ITU-RM.2410-0报告中提到，最小技术性能需求首先需要包括EMBB/URLLC/MMTC三大典型场景。此外，需要从用户、制造商、应用开发商、网络运营商、服务和内容提供商的角度去设计KPI模型[4]。ITU-RM.2410-0最后形成的KPI模型如下：1.无线资源——速率/谱效/带宽（考虑CA）√峰值速率/峰值谱效√用户体验速率/第五百分位的用户谱效√平均谱效√区域通信容量√用户面时延√控制面时延3.用户数√连接密度（mMTC）4.运营效率类√能效5.可靠性√丢包率PDR（URLLC）6.移动性√终端移动性√切换时延和LTE的KPI进行对比，5G很明显的一个特征在于，淡化了小区的概念，强化了用户的概念[5]。除此以外，5G新增了区域通信容量/连接密度/可靠性这三个KPI指标。而新增指标则是由新的三类场景引入的。区域通信容量这一指标的设计思路是在原有带宽/速率/谱效公式之上引入一个TRxP密度系数。连接密度和可靠性则直接来自于mMTC和URLLC场景最核心的需求，前者要求海量连接，后者要求高可靠，这两者都直接和通信相关。最后，相比于LTE，5G的KPI新增能效这一效率类的指标，这里可以看出，虽然LTE和5G的ITU最小需求描述中都提到了“需要从用户、制造商、应用开发商、网络运营商、服务和内容提供商的角度去设计KPI模型”，但LTE只涉及谱效，5G在谱效之外新增能效（效率趋势）。综上，根据5GITU最小技术性能报告，可以总结出引入新场景后KPI指标设计的几个规律：●新场景KPI设计需要考虑对于连接的要求有没有新增的维度；●新场景KPI设计需要考虑指标是否需要面向新的对象；●新场景KPI设计需要考虑资源效率；4.2.2Hexa-XKPI模型在Hexa-XD1.2中的第五章节Keyvalueandperformanceindicators（KVIs/KPIsHexa-X定义了6G的KPI模型[6]。Hexa-X在报告中把KPI指标分为四个来源：第一类是现有5GKPI指标演进，包括速率，容量，定位精度和连接密度等。根据6G新的场景的业务需求来对既有指标进行数值上的更新和演进；第二类是现有5GKPI指标的重定义，包括服务可获得性，服务确定性，覆盖和网络能效。这类指标原有定义已经无法适配新的场景的业务需求的评估，比如网络能效的定义，5GITU-R定义的能效区分了负载场景和空载场景，在网络负载峰谷不同状态有不同的度量方式，而考虑到6G引入的新的场景，能效的度量可能会变为服务级的，甚至能效的度量会拓展到总体资源消耗的维度；第三类是是新的能力引入的新的KPI指标，新的能力包括通信感知融合，通信AI融合，本地计算集成等，以本地计算集成而言，新的KPI可能包括计算和存储的时延，但是Hexa-X也提到，也未必一定需要直接定义这些“底层”指标，可以通过场景层面的指标来间接表征这些底层的需求。而通信AI融合相关的指标包括收敛时间，新能力带来的额外能耗，错误率等，考虑到AI/ML的特点，这些指标必须是灵活的；第四类是KVI，包括可持续，可信，包容性和可依赖性等，这类KVI指标是比较上位抽象的概念，存在一定程度上的定义困难。综上，Hexa-X的KPI/KVI模型提供了如下KPI模型设计的思路：●KPI指标的分类设计，现有指标演进，现有指标重定义，新能力指标定义以及KVI；●现有指标重定义关注6G新场景对于现有指标度量方式的维度拓展；●指标设计从资源级向服务级演指标来隐式表达；4.2.35GPPP/6GSANDBOXKPI模型6GSANDBOX/5GPPP在KPI模型设计上都对于6GKPI指标进行了划分，通过对于KPIfamily的划分，可以实现代际网络核心能力的量化同时实现KPIfamily之间的正交。但是在涉及新能力的指标的划分方式上，5GPPP和6GSANDBOX之间存在一定的差异，6GSANDBOX把AI和计算单独列了出来作为一个family，而5GPPP则是把计算单独列为5GPPP6GSANDBOXcomputecomputeenergyenergychannelchannelEMFEMFsensing从时间的先后顺序来看，5GPPP的这个报告在6GSANDBOX之前，且两者报告中存在相关内容上的相互引用，且都采用了family的划分这种方式，然而AI的KPI是否单独列为一个family却存在分歧。从5GPPP的观点看，首先，AI虽然是新能力，但是并非是通信/计算之类的基础性的，底层的资源，无法遵从资源划分的范式；第二，能够让AI成为某个单独family的指标，比如accuracy/precision，这些指标超出了网络提供的服务范畴（尤human-in-the-loop的方式进行度量的，可能存在定量度量的困难。5GPPP中涉及AIKPIfamily包括：latency，compute，energy，security，channel，■Latency◆Newlatencycontributioncomponents◆Runtimedelay（LCM处理时延）■Compute■Security◆Anomalydetectionprecision6GSANDBOX总共分了11类KPIfamily，包括容量，时延，信道，EMF，可靠性，计算，能耗，安全，定位，服务可获得性，AI/ML，感知。因为AI被单独列为一个family，所以除了时延外和其他KPIfamily基本正交。AI的KPIfamily包括：AIMLaccuracy，AIMLprocessingresources。无论是5GPPP还是6GSANDBOX，KPIfamily的划分的方法，也就是KPI的模型，可以总结如下思路:■KPI模型尽可能和ITU-R的指标形式靠拢；■KPIfamily的划分（部分）解决指标之间相互正交的问题，比如，不同服务有不同时延构成（控制面/用户面/计算&AI处理■KPIfamily的划分包含基础资源，如频谱/计算/能耗等；从AIKPI模型来看，5GPPP不单独列出AIKPIfamily，而6Gsandbox单独列出了KPI。结合ITU-R从IMT-advanced到IMT-2020的KPI的演进来看，新增场景必然会有至少一个代表性的独立的KPI，而非仅仅只是对于既有KPI进行重新定义。从指标本身的角度，从时延维度，两者都包含了训练时延和推理时延，5GPPP在这两者之外还列了LCM处理时延；从精度而言，5GPPP是在availability（需求满足时间占比）一个异常检测precision的KPI，而6GSANDBOX中明确AIML就包含两种类型，分类和回归，因此在推理精度指标上细分了precision和accuracy。但是5GPPP和6GSANDBOX的指标维度的差异，前者通过vehicledensity这个指标表征了AI服务的用户密度或者服务密度，而后者则对于训练效率提供了一种度量思路。5GPPP6GSANDBOXNewlatencycontributioncomponentsRuntimedelay（LCM处理时延）AIMLprocessingtimeAIMLprocessingresourcesAIMLprecisionAIMLaccuracy4.2.46G网络AIKPI参考模型综合考虑ITU-R，Hexa-x，5GPPP和6Gsandbox的KPI模型，以及前文第三章场景化的新KPI的讨论，本章节试图归纳得出一种网络AIKPI参考模型。KPI模型首先必须覆盖所有场景中的关键能力，通信和AI融合场景中，ITU愿景中提到的网络关键能力，除了通信增强外，在非通信方面，包括融合的计算和AI新功能，包括从不同来源进行数据采集、准备和处理，分布式AI模型训练，模型共享和分布式推理，以及计算资源编排。同时，正如ITU-R的IMT-advanced和IMT-2020的最小需求报告中，都提到了“需要从用户、制造商、应用开发商、网络运营商、服务和内容提供商的角度考虑”。不同角色对于网络的需求是不同的，因此对应需求的KPI也是不同的。这两点可以作为KPI模型设计思考的起点。然而对于这一点，有一个问题需要额外考虑，从IMT-advanced到IMT-2020，网络提供服务的范式并没有非常显著的变化。假如将上述角色进行划分，分为服务提供者provider，服务使能者enabler和服务消费者consumer。以toC业务为例，终端用户是服务的消费者，而服务本身的提供者一般不是运营商，而是OTT（服务和内容提供商和应用开发商）。而运营商和制造商则是服务的使能者，通过网络提供的管道功能，使能OTT给终端用户提供个性化的服务。然而，6G引入的AI与通信融合场景，是否会突破上述的角色限制，比如，以运营商可能作为AI服务的提供者，使能者和消费者；OTT可能是AI服务的提供者，消费者，或部分使能者（如模型归属而这取决于未来6G时代，AI业务的商业模式究竟是什么样的。网络KPI模型设计必须考虑涵盖6G网络的关键能力和适配网络中不同的角色的需求。在此基础上，考虑到5G及之前的KPI模型实际还是围绕纯通信展开设计的，然而6G引入AI感知等新的网络能力之后，这些新能力和原有通信的KPI之间是什么关系？是直接把非通信KPI指标和通信KPI指标在结构上进行并列？还是参考Hexa-X的方式，对概念上相对重叠的指标诸如时延进行概念上的重定义，而新能力的KPI指标单独列出？这两种选项都有可能，但是从标准化的角度看，后者的可能性更大。在假设确定了新能力指标可能所属的指标结构后，对于网络AI这一新能力，KPI指标设计时需要涵盖三个不同的层次：第一个层次是用户SLA，这个层次是面向的是AI服务的消费者。这个层次的网络KPI需要涵盖最终用户可感知的服务质量。第二个层次是性能，这个层次面向的是AI服务提供者，可以理解为AI服务提供者对于AI服务使能者（比如运营商和设备商）的要求。这个层次的网络KPI需要从整网角度去评估网络的好与坏。第三个层次是效率，这个层次面向的是AI服务的使能者，可以理解是运营商对于设备商的要求。这个层次的网络KPI主要关注投资和运营的效率，用尽量少的投资，尽量少的运营成本，来承载更多的用户和业务。而这三个层次，都必须考虑到ITU-R提到的不同角色类型“用户、制造商、应用开发商、网络运营商、服务和内容提供商”和服务提供者，消费者，以及使能者之间的相互关系。从前文KPI模型角度出发，网络AIKPI指标需要：1）涵盖网络AI的各种关键能力；2）涵盖用户SLA，网络性能和网络效率这三个维度；3）涵盖网络中不同的角色类型。同时，结合第三章中从网络AI典型场景中推导得到该场景下所需要的新KPI，在此基础上进行一定的上位抽象或者裁剪，可得到最能代表网络AI业务本质的KPI。基于此，总结得出以下可能的网络AI的KPI指标，以下为这些指标的定义。■AI服务精度AI服务精度的定义是：在给定时延范围内，对给定的AI推理/训练任务进行高精度处理的能力，通过AI服务的输出与给定输入的真实值相同的程度来衡量。AI服务精度度量网络提供AI服务的质量。这里的AI服务精度并非仅仅由模型或设备内部实现决定，传输的带宽和丢包率也影响着AI服务的精度，而且此两者的相互影响并非单纯的线性叠加，通信和计算之间可以进行跨要素的协同实现整体AI服务精度。因此，虽然该指标是从业务实际结果层面进行定义的，但是其内涵是超越单一内部实现范畴的。■AI服务时延AI服务时延的定义是：在给定准确率要求下，网络执行给定的AI推理/学习任务的端到端时延。这里的端到端时延包括三个部分，分别是：1)部署时延2)处理时延3)传输时延部署时延指的是某一特定AI服务从触发到部署响应的时延，是原有控制面时延概念上的拓展；处理时延指的是AI服务执行过程中，所涉及的执行体的处理功能的时延；传输时延指的是AI服务的业务数据在网络内传递的时延，是原有用户面时延概念上的值得一提的是，处理时延（无论是在终端侧还是在RAN/CN侧）和设备内部实现相关，这部分内容可能最后并不会标准化，因此，如何在评估中对于处理时延进行建模还需要进一步研究。■AI服务密度AI服务密度的定义是：AI服务密度是指单位时间、单位算力（TFLOPS）、单位带宽（MHz）约束下，单位覆盖区域内可执行满足AI业务准确度和时延要求的AI业务数AI服务密度指标度量网络所能提供的AI服务的容量，区别于原先通信业务通过连接密度和传输容量来刻画网络提供服务的容量特征，因为AI服务本身的特殊性，容量的度量方式将从用户粒度转化为服务粒度。■AI服务效率AI服务效率（资源利用效率）的定义是：单位覆盖区域内，给定时延范围和AI推理/训练任务的数量和精度，网络通信资源、计算资源，数据资源的综合消耗。无论是从节能/可持续角度，还是从网络运维的成本角度，AI服务效率都是无法避免的指标。对于5G通信而言，ITU定义的效率指标包括谱效和能效两个方面。之所以通过两个独立的指标衡量，本质是因为频谱的稀缺性要远远大于能源的稀缺性，因此根本不存在谱效和能效之间的协同，实际上，无论什么时候，谱效都是第一位的。但是，在新业务背景下，除了谱效之外，计算效率/存储效率都具有远胜于能效的重要性，因此存在谱效和计算效率/存储效率之间协同的可能性。除此以外，从AI服务本身来说，单纯的谱效和计算效率是无法代表整个AI服务的效率的，因此需要一个统一的效率指标。■其他指标抖动（传输抖动&处理抖动）能效从定义来说，AI服务精度和时延属于用户SLA层面的指标，这两个指标是影响用户体验的最重要的指标，且覆盖了AI推理和训练两类AI服务内容。AI服务密度则属于网络性能层次，该指标实际反映了网络提供AI服务的容量和覆盖。而AI服务效率则属于网络效率层次，该指标实际反映了网络提供给定AI服务的资源利用效率。4.4网络AIKPI评估和计算方法4.4.1AI服务准确率（确定时延要求）步骤1：采用InH/DenseUrban-AIAC测试环境评估参数运行上行或下行系统仿真，获得上行或下行的：1）丢包率PDR；或2）时延预算T内成功传输的数据量；步骤2：根据PDR，或成功传输的数据量，运行AI处理仿真，得到AI服务精度，即在满足时延要求的条件下综合考虑了通信和AI模型的推理准确率；步骤3：统计小区内多用户的平均服务准确率，CDFY%的推理准确率；4.4.2AI服务时延（确定准确率要求）步骤1：采用InH/DenseUrban-AIAC测试环境AI相关配置，仿真不同PDR/数据量下的AI服务精度，获取AI服务精度满足要求的最大PDR/最小数据量；步骤2：采用InH/DenseUrban-AIAC测试环境评估参数（包括AI服务的计算时延，端到端时延预算PDB）运行上行或下行系统仿真，获得上行或下行的PDR/成功传输和端到端时延分布；步骤3：不断调整PDB，重复步骤2，知道PDR小于步骤1中的最大PDR或成功传输数据量大于步骤1中的最小数据量，获取的端到端时延为AI服务时延；4.4.3AI服务密度（确定精度&时延要求）步骤1：设置服务用户数为N；步骤2：采