TTAF 368-2026 私有化部署人工智能系统度量技术要求及测试方法

ICS33.040CCSL70团 体 标 准T/TAF368—2026私有化部署人工智能系统度量技术要求及测试方法Technicalrequirementsandtestingmethodsforthemeasurementofon-premisesdeployedartificialintelligencesystems2026-08-26发布 2026-08-26实施电信终端产业协会发布T/TAF368—2026T/TAF368—2026版权声明本文件的版权属于电信终端产业协会，任何单位和个人未经许可，传播、发行、合订和宣贯等，也不得未经允许采用其具体内容编制本团体以外各类标准和技术文件。如有以上需要请与本团体联系。邮箱：tafrb@电话：电话 次前言 II1范引文件 1语定义 1略语 2量标要求 2成效益 2智效能 2功质量 4服支持 5试法 6成效益 6智效能 6功质量 8服支持 9试求 9试具求 10参考献 11IT/TAF368—2026T/TAF368—2026前 言GB/T1.1—20201请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由电信终端产业协会（TAF）提出并归口。苏州IIT/TAF368—2026T/TAF368—2026私有化部署人工智能系统度量体系及测试方法范围本文件规定了私有化部署人工智能系统度量规范，并制定度量指标及要求、测试方法。本文件没有规范性引用文件。下列术语和定义适用于本文件。3.1私有化AI系统on-premisesdeployedartificialintelligencesystems即私有化部署人工智能系统，是指将人工智能核心软件（含模型、算法框架、工具平台等）与配套AIAIAI单位Token成本costpertoken单位TokenAI（）（TokenTokenAI式为单位Token成本数值@[模型参数:xx,模型精度:xx]，如0.002元/token@[模型参数:70B,模型精度:FP8]。3.3算力总量totalquantityofcomputationalpowerFLOPST/TAF291—2025，3.3]3.4私有化AI系统资源负载率on-premisesdeployedartificialintelligencesystemsresourceutilizationrate（）AICPUGPU3.51T/TAF368—2026T/TAF368—2026模型性能modelperformance（（QPStokentoken3.6模型稳定性modelstabilityAI如tokentoken3.7智算效能intelligentcomputingefficacy智算效能是指智算平台（含私有化部署等场景）在固定硬件配置下，综合体现硬件资源供给能力、模型运行效率、资源利用水平及输出结果质量的核心指标体系统称。3.8服务支持类约定文件servicesupport-relatedcontractualdocumentation（（缩略语下列缩略语适用于本文件。AI：人工智能（ArtificialIntelligence）CPU：中央处理器（CentralProcessingUnit）GPU：图形处理器（GraphicsProcessingUnit）FLOPS：每秒浮点运算次数（floatingpointoperationspersecond）QPS：每秒查询率（QueriesPerSecond）单位TokenAI（）AIAIAIAI应支持获取私有化AI系统可使用的理论算力总量。2T/TAF368—2026T/TAF368—2026应支持获取私有化AI系统可使用的磁盘容量。应支持获取私有化AI系统可使用的内存容量。应支持获取私有化AI系统可使用的显存容量。应支持获取私有化AI系统可使用的显存带宽。应支持获取私有化AI系统内置模型的名称及版本。应支持获取私有化AI系统内置模型的参数规模。应支持获取私有化AI系统内置模型参数精度。AIAICPUGPU（）。AI私有化AI系统内置模型的性能，如吞吐量、QPS、延迟时间、首token生成时间、每token输出时间等指标。私有化AI系统内置模型的稳定性，一般通过特定并发量下连续发起特定数量请求的测试场景衡量，核心聚焦测试周期内不同时间节点的首token生成时间、每token平均输出时间等指标的波动一致性。AIAIAI3T/TAF368—2026T/TAF368—2026基础业务功能及要求如下。a）调与优化、模型下架与归档等。/资源管理与监控功能及要求如下。a）应具备硬件资源监控功能：如算力资源监控、存储资源监控、网络资源监控等。b）应具备告警与可视化管理功能：如多级告警配置、可视化看板、报表生成等。c）宜具备软件服务与资源状态功能：如服务状态监控、资源关联监控、异常状态识别等。d）宜具备资源分配与管理功能：如细粒度资源配额、资源调度优化、资源限制与回收等。e）宜具备国产化资源适配功能：如国产化硬件、国产化操作系统等。智能运维管理功能及要求如下。a）应具备智能健康自检与故障预判功能：如多维度健康自检、故障精准定位等。b）应具备硬件资源统一管理功能：如硬件状态集中管控、硬件生命周期管理等。c）宜具备系统自动/业务集成功能及要求如下。APIAPI应具备易辨识性。如用户可通过界面、菜单、输入框等理解系统的具体功能。4T/TAF368—2026T/TAF368—2026AI应具备长时间不间断运行能力，在额定负载下应稳定通过7×24小时连续运行测试。信息安全性功能及要求如下。（）/2.5kV,±5次，1.2/50μs&8/20μs(2Ω1kV,±5，1.2/50μs&8/20μs(2Ω)雷服务支持类约定文件中宜明确说明智算效能相关信息。服务支持类约定文件中宜明确说明功能质量相关信息。服务支持类约定文件中宜明确说明的核心软硬组件相关信息，如名称、版本、配置参数、厂商等。5T/TAF368—2026服务支持类约定文件中宜明确说明的模型部署方式相关信息。（服务支持类约定文件中宜明确说明国产化适配相关信息，如软件、硬件等组件的国产化适配信息。单位Token成本测试方法如下：AI（AIAIAIAIAITokenToken@[模:xx:xx0.002/token@[:70B:FP8UcAcAtc

…………（1）式中：Uc——单位Token成本；Ac——全生命周期总成本，一般包括私有化AI系统价格、私有化AI系统运维费用等；Atc——全生命周期总Token量。TokenAtcDtYdcUyc

…………（2）式中：Atc——全生命周期总Token量；Dt——私有化AI系统日均吞吐量，一般由工具检测出私有化AI系统每秒吞吐量均值，再通过换算得出；Ydc——一年内总使用天数，一般取365天；Uyc——使用年限，一般取质保年限；6T/TAF368—2026算力总量的测试方法，参考T/TAF292—2025章节a）。进入私有化AI系统运行环境，检测磁盘容量并记录。进入私有化AI系统运行环境，检测内存容量并记录。进入私有化AI系统运行环境，检测显存容量并记录。进入私有化AI系统运行环境，检测显存带宽并记录。进入私有化AI系统运行环境，检测模型名称及版本并记录。进入私有化AI系统运行环境，检测模型参数规模并记录。进入私有化AI系统运行环境，检测模型参数精度并记录。AIAIAICPUGPUAIAIAIQPStokenAItokentoken模型适配能力测试方法如下。7T/TAF368—2026AIAIAI/AIAPIAIAIAI确定可靠性业务场景及对应接口，编写检测脚本，设置检测时长为7天，运行检测工具，查看系统是否运行正常并记录。8T/TAF368—2026AI:（1.2/50us&8/20us)AI私有化AI系统相关方需满足以下成本效益评估要求：应配合提供和确认用于性价比评估的必需数据，如私有化AI如1.5B、7B、8B、14B、32B70B、671B）也称计FP8、FP16）私有化AI系统及相关方需满足以下供给效能度量要求：应准确提供私有化AI私有化AI系统及相关方满足以下功能质量度量要求：）系统所在设备端口应具备雷击过电压过电流抗力。交流电源端口差模/共模应满足2.5kV,±5s&8/20μs(2Ω1kV,±5s&8/20μ