中国移动核心网内生AI模型评测体系白皮书 2025

11.背景与驱动力 21.1.核心网内生AI模型发展现状 21.2.模型评测驱动力分析 22.核心网内生AI模型评测体系 42.1.愿景及目标 42.2.核心网内容AI模型评测技术体系 42.2.1.评测体系设计原则 42.2.2.评测体系总体架构 42.2.3.评测指标体系详解 62.2.4.评测实施体系构建 82.2.5.评测流程 3.核心网AI模型评测案例 3.1.无线小区资源负载预测模型 3.2.融合时空信息的用户画像模型 3.3.用户面业务识别模型 3.4.用户业务体验感知模型 4.总结与展望 5.产业推进倡议 2随着人工智能（AI）成为当前引领新一轮科技革命与产业变革的核心驱动引擎，智能化作为5G-A及未来6G通信网络的重要演进方向之一，是支撑网络应对愈加复杂多变的业务需求、全面提升运维运行效率的核心能力。当前国家高度重视AI与各行业的结合，连续两年×AI融智创新”行动计划，落实AI在通信网络中的应用，其中在核心网领域已经基本构建起从标准、架构到技术与产业应用的完整智能化体系，特别是在核心网内生AI模型的研发与落地方面取得了重要突破，为构建高效智能的新一代通信网络奠定了坚实基础，同时也对相应的评测工作提出了更高要求。1.1.核心网内生AI模型发展现状AI模型作为智能化建设的核心组件，当前已内生于NWDAF、UPF等智能化相关的核心网网元，并在多个业务领域发挥智能感知与预测等功能，例如网络状态精准预测、用户高精度画像，以及业务与质量实时感知。在网络状态预测方面，基于历史与实时数据，AI对PRB利用率、小区流量等指标进行分析，实现高精度负载与拥塞预测，从而动态优化资源分配，提升效率与用户体验。在用户画像方面，模型融合信令与用户面数据，通过行为建模构建多维度画像，支撑个性化业务引导和资源策略，提升智能运营水平。在业务与质量感知方面，通过对流量报文进行深度解析，AI可准确识别各类业务（如视频、游戏等），并实时监测卡顿、时延等关键体验指标，实现质量自动化评估与网络优化，为差异化服务提供依据。为支撑内生AI模型的运行，核心网已在架构与业务流程上实现深度演进。当前核心网智能化升级主要聚焦于NWDAF和UPF等网元：NWDAF作为3GPP定义的标准网络数据分析功能单元，承担数据分析、模型训练与推理等核心任务，可通过相应接口进行网络数据实时采集以获取模型输入，并将模型推理结果即时反馈至相应网元实现策略执行，从而实现AI模型深度嵌入于网络业务的实时运行流程中；UPF则通过引入智算硬件实现智能化升级，能够对用户面数据进行实时智能解析，并将业务识别、质差预测等结果经NWDAF反馈至相应策略执行网元，从而实现端到端的完整业务流程闭环。随着上述智能化应用的不断深入与拓展，可预见未来将有更多类型和更高复杂度的AI模型被引入核心网网元之中。为确保这些模型在实际部署中能够稳定、高效地运行，并真正发挥其在预测、感知与决策方面的效能，建立一套科学、系统、可落地的AI模型评测体系，已成为推动核心网智能化从“可用”走向“可信”、“可靠”的关键步骤。与此同时，由于核心网内生AI模型深度嵌入于网络架构与特定业务场景运行流程中，其评估方法论、工具建设、实施路径和通用大模型（如chatGPT、qwen、deepseek等）存在显著差异，需要设计专用评测体系。大模型通常致力于解决问答、翻译、推理等通用性任务，其输入输出形式具备较高的灵活性。因此，在其评测体系中往往能够构建标准化的公开数据集，依托各类通用评测框架，实现高效、统一的评估流程。相比之下，核心网模型专注于高度特定的通信网络场景，如小区拥塞预测、业务识别、3流量分类等。这些任务不仅功能明确，还需遵循严格的数据格式与规范。例如，流量分类模型需将原始流量报文映射为特定业务标签，拥塞预测模型则需基于历史PRB利用率数据准确预测未来资源使用状况。由于这些模型强依赖于现网环境与专业数据，其评估无法采用通用数据集，而必须结合具体功能，“一案一议”地设计针对性评测方案。这意味其评估数据往往需定制化采集，并需在符合真实网络规范的仿真或测试环境中实施验证。相应的，核心网内生AI模型的评估体系构建，需重点聚焦于如何结合具体模型特性和业务要求构建高质量评测数据集，以及如何研发符合核心网内生AI模型运行真实架构与流程的评测工具。总之，核心网内生AI模型与通用大模型在评估中的区别，本质上是“专用智能”与“通用智能”的评价体系差异，反映出不同人工智能应用领域在技术路径和业务要求上的分化，需要进行系统性的创新与研发。42.核心网内生AI模型评测体系针对上述与网络传统评测、通用大模型评测的区别，核心网内生AI模型评测体系建设旨在系统性地解决通信领域智能化转型中模型评估的专业化、可信性与效率问题，其核心目标可概括为以下四个方面：标准共建：构建覆盖数据集、评测指标、测试流程等维度的统一评测框架，形成行业通用的核心网AI模型评测标准，避免各自为政、重复建设的问题，为产业协作奠定共同语言。能力可信：通过设计多维度、多场景的评测方法，全面考察模型在准确率、可扩展性及鲁棒性等方面的表现，确保其在核心网复杂环境下能够稳定运行，打造可信的智能化能力。效率优化：建立自动化、可复用的评测平台，支持模型的快速验证与对比，加快模型上线与迭代速度，降低算力与人力成本，使模型评测与应用形成正向循环。生态协同：推动运营商、设备商、科研机构及垂直行业在评测体系下的协作，共同构建开放共享的模型生态，促进不同主体的模型成果能够在统一评测框架下互认互通，形成可持续演进的产业合力。面向未来，核心网内生AI模型评测体系将成为网络智能化发展的基石，为模型的引入、应用与优化提供权威依据，支撑智能网络的持续创新与高质量发展。2.2.核心网内容AI模型评测技术体系2.2.1.评测体系设计原则针对核心网AI模型的特殊性和评测挑战，设计评测体系时应遵循以下原则：l场景驱动原则：评测体系应紧密围绕核心网实际应用场景设计，确保评测结果与业务需求一致l多维度评估原则：从技术性能、业务价值、工程与运维、安全合规等多个维度进行全面评估l可扩展性原则：评测体系应具备良好的扩展性，能够适应未来技术发展和业务需求变化l实用性原则：评测方法应简单实用，避免过于复杂的操作和过高的资源消耗l自动化原则：尽可能实现评测过程的自动化，提高评测效率和准确性l安全合规原则：评测过程和方法需符合相关安全标准和法规要求2.2.2.评测体系总体架构基于上述设计原则，核心网AI模型评测体系总体架构如图1所示：5图1：核心网内生AI模型评测体系总体架构评测架构包括四个核心模块：业务场景、评测指标体系、评测实施体系和评测流程。各模块的主要功能如下：1.业务场景：完成业务场景分析，明确待评测核心网AI模型特征和评测目标，为后续评测活动提供指导和输入。2.评测指标体系：从模型性能、业务价值、工程及运维和安全合规四个维度构建全面的评测指标体系。3.评测实施体系：构建能够真实反映模型生产工作环境的评测实施环境，并以此为基础展开模型测试。主要包括评测环境，评测工具链以及高质量数据集构建等。(1)评测环境，指用于快速实现被测模型装载并开展测试的网络实体环境，例如实验室孪生环境或现网试点/灰度环境。(2)评测工具链，包括模型评测生命周期内所需的各类工具，如用于数据工程的自动化拨测和数据采集工具、数据预处理与特征工程工具、数据标注与合成工具；用于内场评测的测试用例与流量生成工具、模型行为监控与数据采集工具、自动化评测与报告分析生成工具；用于外场验证测试的端到端用户体验探针、统一数据采集器以及对比分析框架；用于模型上线后在网运维与持续监控平台等。(3)高质量数据集，是面向模型测试所构建的数据集。高质量数据集通过数据工程构建，需经过完整的数据质检和模型检验，是模型测试质量的关键。64.评测流程：模型评测活动中，总体上遵从需求分析——数据集准备——评测环境准备和执行——分析和报告——反馈调优这一典型流程。实际操作时，由于模型测试对数据具有较强的敏感性，并且所有评测流程活动中工作量最大、复杂度最高的工作也在于数据准备环节，所以在还需要规范测试数据集的生产流程，以保证数据集质量，从而确保评测过程的规范性和可重复性。2.2.3.评测指标体系详解核心网内生AI模型评测指标体系应从模型性能、业务价值、工程及运维、安全合规四个维度构建，兼顾通用AI模型评价指标与核心网AI模型相关业务的综合评价指标。其中模型性能部分指标属于基准测试指标，必须在模型业务上线前完成评估测试，指标满足技术要求后方可投入生产环境。业务价值、工程及运维、安全合规等指标总体属于后评估指标，较难在模型上线前期定量测试，一般通过模型上线后的周期性持续业务统计分析数据，结合其他系统采集相应的关联数据（如工程造价数据、性能监控系统数据、运维管理工单数据等）联合分析后作出评价。2.2.3.1.模型性能指标模型性能指标主要评估AI模型的算法性能和技术能力，是模型可用性的基础。核心网内生AI模型性能指标主要评测准确性、实时性、鲁棒性以及泛化能力等4类指标。每类指标定义和具体指标如表1所述。表1.模型性能指标一级指标分类指标定义二级具体指标准确性指标衡量模型预测或决策的准确程度，根据任务类型不同而有所差异-分类任务：准确率、精确率、召回率、F1-score、AUC-ROC等等-序列生成任务：BLEU、ROUGE等-异常检测任务：异常检测准确率、误报率、漏报率等实时性指标评估模型处理速度和响应能力-推理时延：模型从接收到输入到产生输出的时间-吞吐量：单位时间内模型能够处理的请求数量-资源利用率：模型推理过程中CPU、内存、GPU等资源的占用率鲁棒性指标评估模型在不同条件下的稳定性和适应性-不同输入条件下的性能波动-对抗样本攻击下的性能变化-边缘情况下的处理能力-长期运行中的性能衰减情况泛化能力指标评估模型对未见过数据的适应能力-跨场景性能一致性-数据分布变化下的性能稳定性-模型迁移学习能力2.2.3.2.业务价值指标7业务价值指标主要评估AI模型对核心网业务的实际贡献和价值。根据不同的AI模型的业务效果，总体上分业务性能提升、用户体验改善和业务创新3类评估指标。业务价值指标一般在模型上线后，通过A/B对比等方法进行评估。具体指标定义及内容见下表2。表2.业务价值指标一级指标分类指标定义二级具体指标业务性能提升指标衡量模型对核心网业务性能的改善，聚焦核心网运行效率与稳定性的优化效果-呼叫建立成功率提升-会话中断率降低-资源利用率提升-网络吞吐量提升-服务质量(QoS)指标改善用户体验改善指标评估模型对用户体验的提升，直接关联用户使用核心网服务时的感知与反馈-业务响应时间缩短-用户投诉率降低-用户满意度提升-服务可用性提高业务创新指标评估模型对核心网新业务和新功能的支持能力，助力业务拓展与差异化竞争-新业务部署周期缩短-业务定制化能力提升-差异化服务提供能力增强2.2.3.3.工程及运维指标工程及运维指标主要评估AI模型在核心网环境中的工程部署和运维相关的评价指标。实际工程及运维过程中，主要通过资源效率、可解耦性、可维护性以及可扩展性等4类指标对模型进行评估。该类指标一般不通过实验室测试测量，评估时，通常需要与其他系统相关数据进行联动评价，例如工程成本数据、运维数据等。具体指标定义及内容见下表3。表3.工程及运维指标一级指标分类指标定义二级具体指标资源效率指标评估模型运行对系统资源的需求，核心衡量模型部署的资源成本与收益性价比-开发与部署成本-运维与升级成本-投资回报率(ROI)-成本节约比例可解耦性指标评估模型与现有核心网系统的兼容程度，确保模型融入现有体系时的适配性-接口协议兼容性-数据格式兼容性-操作系统与硬件兼容性-与其他网元的协同工作能力可维护性指标评估模型日常运维的难易程度，直接影响长期运营效率与故障处理成本-模型监控与管理的便捷性-模型更新与升级的复杂度-故障诊断与恢复的难易度-日志与告警的可读性可扩展性指标评估模型适应未来业务增长、功能迭代的能力，保障长-水平扩展能力-垂直扩展能力-功能扩展能力8期使用价值-性能扩展能力2.2.3.4.安全合规指标安全合规指标主要评估AI模型在数据保护、安全防护和合规性方面的表现。安全合规指标涵盖了数据安全、模型安全、隐私保护、合规性以及安全审计等5类评估指标，具体指标定义及内容见下表4。表4.安全合规指标一级指标分类指标定义二级具体指标数据安全指标评估模型在数据全生命周期中对数据安全的保护能力，防范数据泄露、篡改等风险-数据加密与脱敏效果-数据访问控制机制有效性-数据完整性保护措施-数据泄露风险评估模型安全指标评估模型自身的安全性与抗攻击能力，保障模型功能不被破坏、规避恶意利用风险-对抗攻击防御能力-模型逆向工程防护能力-模型更新与部署的安全性-模型权限管理机制隐私保护指标评估模型对用户个人隐私的保护程度，确保用户隐私不被非法收集、使用或泄露-匿名化与去标识化效果-隐私影响评估报告-用户数据使用合规性合规性指标评估模型是否符合行业标准、法律法规及监管要求，规避合规风险-3GPP标准合规性-网络安全等级保护合规性-数据保护法规(如GDPR)合规性-行业特定合规要求安全审计指标评估模型操作的可审计性与责任追溯能力，便于安全事件复盘与责任界定-操作日志完整性-安全事件可追溯性-审计接口完备性-安全策略执行情况2.2.4.评测实施体系构建核心网AI模型评测实施体系，是从模型性能指标评测需求输入到完成落地评测的的完整实施过程，涉及到评测环境、评测工具链和高质量测试数据集等三大主体。2.2.4.1.模型评测环境核心网AI模型通常作为核心网节点内应用组件嵌入部署，评测时较难单独部署模型并测试。因此在模型评测活动中，首先需要部署被评测模型的所部署的网元节点，并按照业务逻辑配置部署所有周边交互网元，实现业务逻辑和数据流的接通。根据测试的阶段和目的不同，可采用实验室孪生环境或是现网灰度环境作为模型评测环境。因为评测环境的差异，这两种评测环境下所开展的评测内容也有所区分。9实验室内构建的核心网AI模型的数字孪生评测环境，是通过孪生与仿真的方式提供与生产环境高度相似的测试环境。主要功能包括：1.模型周边网元模拟：(1)除被测模型节点外，其余周边节点可全栈模拟。例如评估部署于NWDAF的模型时，周边AMF、SMF、UPF、PCF等核心网网元均可采用仿真方式模拟；(2)模拟网元间的接口协议和交互流程；(3)支持自定义网元行为和性能参数；(4)支持1：1孪生或按比例缩放的网络规模。2.场景复现能力：(1)支持模拟网络拥塞、故障、切换等场景；(2)按需生成符合统计特性的用户和业务流量；(3)能复现特定网络事件和异常情况。实验室孪生评测环境的优势在于能够提供高度可控且可重复的测试条件，不影响现网业务，特别适合进行压力测试、故障模拟和边界条件测试，以更准确评估模型性能指标。现网试点/灰度评测环境是在生产环境中划分出的特定区域，用于部署和测试AI模型。主要功能要求包括：1.部分网元部署：(1)选择特定区域或网元进行模型部署；(2)控制测试范围，降低风险；(3)便于与其他生产环境对比性能测试结果。2.流量分流：(1)将部分生产流量导向测试环境；(2)可灵活控制测试流量比例(如5%-10%)；(3)支持不同业务类型的差异化分流。3.实时监控：(1)同步采集模型输出与现网KPI；(2)对比分析测试结果与预期目标；(3)实时监测系统稳定性和性能变化。现网试点/灰度评测环境的优势在于能够获取真实的生产环境数据，测试结果更具参考价值。但需要严格控制测试范围和风险，确保生产环境安全稳定，因此不适用于指标测试、压力测试、故障测试等模型性能指标测试场景，更适用于业务价值、工程运维集安全合规等指标评估测试。2.2.4.2.自动化评测工具链自动化评测工具链是支持模型评测过程自动化的一系列工具集合。按照模型的评测流程需要主要包括：1.数据工程工具：用于产生和采集原始数据，并对原始数据进行预处理，经特征化后进行数据标注和数据合成，从而形成规范可用的数据集。l自动化拨测与数据采集工具：负责生产以及采集模型测试所需的基本数据，例如用户面应用报文流、用户信令数据、系统性能数据等l数据预处理与特征工程工具：对采集的数据进行规范化的清洗、去重、特征提取、数据增强等处理l数据标注与合成工具：对特征化后的数据进行自动标注，基于标注后数据生成测试集并对测试集进行质检2.内场评测工具：集合核心网业务、流量仿真、测试集样本注入、模型监控与数据采集、统计分析、报告生成等能力，要求高度自动化，保障测试过程一致性和规范性，以及测试结果的准确性。l测试用例与流量生成工具：真实模拟各种类型的信令和业务流量，生成符合特定分布的测试数据，支持自定义测试场景和数据模式，支持基于数据集的关联和注入l模型监控与数据采集工具：负责实时采集模型性能指标和系统状态l自动化评测与报告生成平台：定制自动化测试任务，采集工具侧生成流量和样本信息，同时采集模型监控采集数据，经过数据分析、指标计算后并最终自动化生成测试报告的测试平台，提供统一的指标存储和查询服务3.外场验证工具：用于现网试点/灰度环境下的评测，主要通过终端侧探针+统一服务端数据采集完成测试任务执行和数据采集及预处理，并通过对比分析框架完成指标计算和对比报告。l端到端用户体验探针：外场环境下，通过内置于终端的测试探针，定制发起并采集面向用户体验类别的测试，生成本地数据记录和原始数据l统一数据采集器：部署于公网服务端，负责连接并采集所有参与用户体验测试的数据记录，统一存储并进行数据处理lA/B测试与对比框架：提供基础数据对比分析的测试框架，通过对统一数据采集器存储的测试探针数据进行提取分析对，输出对比结果并生成对比报告4.运维与持续监控工具：在现网试点/灰度环境下，通过就近持续采集模型输入输出数据统计，周期性或事件性对模型的运行质量和健康情况进行评估，并进行趋势分析和告警提醒。l设置指标阈值和告警规则l指标超标时实时推送告警l进行指标对比和趋势分析自动化评测工具链贯穿于模型评测的上线前、后各个环节，其优势在于提高评测效率和准确性，减少人工干预，特别适合大规模和重复性的测试任务。2.2.4.3.高质量测试数据集作为模型评测的“试题”，构建高质量、可信的评测数据集是评测工作的核心。网络智能化业务场景多样复杂，涵盖控制面、用户面等多维异构数据，并且涉及到隐私保护等原因，模型数据集构建难度较高。需针对不同应用场景（如流量预测、业务识别、用户画像等）设计合理的数据获取方案，包括从实际网络环境中采集真实历史数据，以及在实验环境中构建和合成仿真数据，并完成数据清洗、预处理与质量检验，确保数据具备多样性、代表性和高质量，为后续评测奠定坚实基础。实践中，核心网内生产的原始数据主要有5类，分别为信令数据、流量数据、性能指标数据、配置数据、日志数据，每类数据具有各自的特征和适用场景：(1)控制面信令数据：包含网络实体间的交互信息，如会话建立、修改和释放过程。这类数据通常是结构化的，适合用于训练和测试与呼叫控制、移动性管理相关的AI模型。(2)用户面流量数据：主要指用户面的数据流、语音媒体流等。这类数据通常也是结构化的，适用于用户画像、网络优化等相关的AI模型。(3)性能指标：包括吞吐量、延迟、丢包率、资源利用率等统计数据，通常以时间序列形式存在。这类数据适合用于训练和测试与网络优化、容量规划相关的AI模型。(4)配置数据：描述网络设备的参数设置和拓扑结构，通常是静态或准静态的。这类数据适合用于训练和测试与网络规划、故障诊断相关的AI模型。(5)日志数据：记录网络设备的运行状态和异常事件，通常是非结构化或半结构化的。这类数据适合用于训练和测试与故障检测、安全分析相关的AI模型。从近期应用场景需求出发，核心网内生AI模型当前涉及的原始数据主要为信令数据、流量数据以及性能指标数据。原始数据需求确定后，需经一套科学严谨的采集、处理、标注、质检数据工程流程才能成为模型评测的可靠基准。评测体系应建立统一的数据集规范，依据核心网特定业务语义与场景需求，对流量类型、用户行为、事件类别等进行精准标注，并采用自动化标注工具与人工校验相结合的方式，不断提升标注效率与质量。用于模型测试的高质量数据集，是精准评估模型准确性、泛化能力、性能瓶颈和潜在风险的核心基础，其标准需围绕“真实反映应用场景、全面覆盖测试维度、严格控制数据质量”三大核心目标展开，从数据代表性、完整性、一致性、独立性、标注质量、时效性、可解释性7个关键维度来评估数据集。确保模型在测试阶段暴露的问题（如泛化能力弱、抗噪差、公平性不足）是真实落地时会遇到的问题，同时避免因数据缺陷（如代表性不足、标注错误）导致“误判模型性能”（如模型实际优秀但测试分数低，或测试分数高但落地失效）。实际工程中，应建立数据质检校验清单对测试集进行验收，验收通过后方可进入测试环节。2.2.5.评测流程核心网AI模型评测体系遵循“需求分析-评测数据集构建-环境搭建与评测执行-分析与报告-反馈调优”的总体流程，致力于构建一个覆盖全流程、可持续迭代的智能化评测框架。1.需求分析在模型评测启动前，需首先开展系统性的需求分析工作。应结合具体的业务场景（如网络状态预测、用户行为识别、业务质量感知等）和模型类型（分类、回归、序列预测等明确评测的核心目标与功能要求。在此基础上，针对性设计涵盖准确性、泛化性、性能效率、可扩展性及鲁棒性等多个维度的评测指标，并进一步细化各指标的定义、计算方式和达标阈值。此外，还需综合考虑实际部署环境中的实时性、资源约束和业务优先级等因素，确定评测的边界条件与约束要求，为后续数据集构建、测试环境搭建和指标统计提供明确依据，确保评测过程与实际应用需求紧密对齐。2.评测数据集构建评测数据集构建涉及数据采集、数据标注、数据清洗与预处理、数据质检等多个关键环节。在数据采集方面，需结合具体业务需求制定明确的数据内容与格式规范，从实际网络环境中系统采集真实历史数据。在无法获取真实数据或难以进行人工标注的场景下（如网络原始报文数据还需借助实验室仿真手段生成符合要求的合成数据。原始数据需经过严格的清洗与预处理，包括去噪、归一化、特征提取与格式统一等操作，以转化为模型可用的标准化输入。最终，通过系统化的数据质检流程，确保数据集具备多样性、代表性、高质量和一致性，为模型评测提供可靠的数据基础。3.环境搭建与评测执行该环节需基于标准化流程对AI模型进行全面检验。评测数据集需在配套评测系统中进行数据回放、注入，从而使模型能够在仿真环境下执行推理操作并抓取推理结果。尤其针对网络数据，评测工具需支持高并发、低时延的测试场景，能够模拟真实网络环境并支持各类通信协议接口，同时具备灵活的测试脚本管理和资源调度能力，以满足核心网复杂场景下的多样化评测需求。4.分析与报告评测过程中产生的各项量化指标将在本环节进行系统化整理与统计分析。体系应建立多维度指标体系与权重分配机制，生成结构化的评测报告，客观呈现模型性能表现，并与既有基准模型或标准阈值进行比对，帮助运营商与开发者直观把握模型能力与改进方向。5.反馈调优反馈调优环节将把评测中发现的模型缺陷、潜在风险及优化建议反馈至模型研发与训练端，推动模型迭代提升。同时，反馈信息也将反向驱动数据采集与标注环节的持续改进，形成闭环优化机制，保障整个评测体系不断演进和完善。其中，评测数据集构建与评测工具搭建是核心网AI模型评测体系中的最为关键的能力，具有鲜明的领域特殊性，因此也是最具挑战性的工作。3.核心网AI模型评测案例无线小区资源负载预测模型旨在为核心网策略控制提供精准的网络状态感知能力，以解决传统QoS策略因无法感知实时无线资源状态而导致的控制失效或资源抢占不合理的问题。该模型基于NWDAF与无线工作台连接获取的历史PRB利用率数据，采用循环神经网络（RNN）进行时间序列预测，输入为小区历史周期的PRB利用率序列，输出当前周期T及未来多个周期的PRB利用率预测值。其设计核心是通过RNN捕捉资源使用的时序依赖关系，实现对小区无线资源负载的准确预测，从而支撑核心网动态调整QoS策略，提升网络资源分配效率与用户体验。网络状态感知与预测模型的评估方案依赖于真实历史数据采集这一基础能力，此类模型的标注对象为网络未来的实际状态，属于典型的“自然标签”——即真实值可在预测时刻之后自动产生并采集得到，无需依赖人工标注，因此测试数据集的模型输入与真实标签均可直接从现网数据系统中获取。评测通过计算平均绝对误差（MAE）、平均绝对百分比误差（MAPE）等典型回归问题评估指标，量化预测值与实际PRB利用率之间的偏差。此外，还可通过交叉验证、滚动预测等方式，进一步增强评估结果的统计显著性和可信度。该模型主要主要依托于从网络信令数据中提取的用户移动性相关数据，引入多模态数据建模和时空大模型技术，同时结合其他信令数据、App使用行为及用户套餐等多维信息进行融合分析。模型以基站接入、时间戳等信令特征作为输入，通过时域增强模型学习用户轨迹的时间模式，并借助空域增强模型挖掘群体空间相关性，实现用户交通环境识别、场所分类等，为特定时空场景下的实时精准运营提供核心支撑。用户交通状态实时分析是该类模型的典型应用场景之一，其评测方法展示了真实历史数据采集+标签自标注的测试数据集构建模式。通过使用各类交通线路专用或临近基站的用相应的，其评测工作可通过采集用户接入对应基站后的前段基站切换数据作为测试输入，该方案的核心能力在于通过自标注方法获取用户真实标签，即事后基于用户长时间完整轨迹，通过移动线路、速度分析，或使用聚类算法实现群体性移动用户挖掘，获取用户真实状态，从而实现检出准确性及检出时间等定量评估。业务识别模型是为UPF提供准确识别用户正在使用业务的能力，相比于传统识别方式，具备加密流量识别，良好的泛化性，迭代更新频率低等优势。由于当前应用的多元性，一个应用很可能会涉及到多种业务方式，比如抖音，不仅支持开直播，还可以看直播、浏览购物信息等，不同的用户行为，其对应的业务流特征也存在差异。为了达到预期保障效果，业务识别不仅应能识别到用户正在进行的业务应用，还应细分识别到应用子类，比如能够识别到用户正在抖音看直播。由于现网流量难以标注无法直接作为测试样本，业务识别测试的数