TTAF 327-2026 面向智能手机的端侧大语言模型技术要求

ICS33.050CCSM30团 体 标 准T/TAF327—2026面向智能手机的端侧大语言模型技术要求Technicalrequirementsforon-devicelargelanguagemodelforsmartphones2026-02-09发布 2026-02-09实施电信终端产业协会发布T/TAF327—2026T/TAF327—2026版权声明本文件的版权属于电信终端产业协会，任何单位和个人未经许可，传播、发行、合订和宣贯等，也不得未经允许采用其具体内容编制本团体以外各类标准和技术文件。如有以上需要请与本团体联系。邮箱：tafrb@电话 次前言 II引言 III1范引文件 1语定义 1略语 11置件 1术求标 2型能 2载延 2理度-词应 2词度 3存用 3量耗 4IT/TAF327—2026T/TAF327—2026前 言本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由电信终端产业协会（TAF）提出并归口。中国中国）（（）（）IIT/TAF327—2026T/TAF327—2026引言AI能力。III面向智能手机的端侧大语言模型技术要求范围本文件规定了面向智能手机的端侧大语言模型技术要求。本文件无规范性引用文件。下列术语和定义适用于本文件。3.1端侧大语言模型on-devicelargelanguagemodel缩略语下列缩略语适用于本文件：GB：吉字节（Gigabyte）INT：整数（Integer）NPU：神经网络处理器（NeuralNetworkProcessingUnit）概述本文件不规定端侧大语言模型部署方式和推理框架，智能手机内置大语言模型本文件不考虑。大语言模型体积指大语言模型部署在端侧时的空间占用。计算方法：记录模型文件在端侧所占用的存储空间大小，单位GB。1T/TAF327—2026T/TAF327—20261B-3B3BINT4与INT8表1大语言模型体积量化方式模型规模1B及以下1B-3B3B及以上INT4量化0.5GB1.5G≤RAM*80%大小INT8量化1GB3GB≤RAM*80%大小技术要求指标请见表2。表2技术要求指标一级指标二级指标三级指标模型性能加载时延加载时延推理速度首词响应时延出词速度内存占用内存峰值、平均内存占用增量功耗增量功耗模型加载时延指把大语言模型文件从存储设备加载到内存中所需的时间。计算方法：记录初始化开始的时间戳和初始化结束时的时间戳，两者之差即为模型加载时间，单位s，计算公式：

t=t1−t0 （1）下表3展示了参数量在1B及以下、1B–3B、以及3B及以上的模型，在INT4和INT8量化条件下，端侧加载延时的建议上限。所有数据均为模型在端侧加载20次后的平均耗时，指标要求请见表3。表3加载时延要求量化方式模型规模1B及以下1B-3B3B及以上INT8量化4s6s10sINT4量化2s4s8s2T/TAF327—2026T/TAF327—202601，单位s。t=t1−t0 （2）本文件的测试样本token长度分别为128、1024和4096。针对参数量在1B及以下、1B–3B、以及3B及以上的模型，规定在INT4和INT8量化条件下，经过20次测试所得的平均首词响应时延不宜高于表4所列上限。表4首词响应要求模型规模量化方式被测设备（内置NPU）128tokens1024tokens4096tokensINT81.5s2.0s3.0sINT41.2s1.8s2.5s1B–3BINT82.5s3.0s4.0sINT41.5s2.5s3.2s3B及以上INT85.0s5s5sINT45.0s5s5s出词速度表示大语言模型单位时间内生成的字符数是多少。ttokens/s。=Nt

…………（3）1B1B–3B以及3BINT4INT820表5出词速度要求模型规模量化方式被测设备（内置NPU）1B及以下INT816tokens/sINT420tokens/s1B–3BINT85tokens/sINT412tokens/s3B及以上INT84tokens/sINT46tokens/s3T/TAF327—2026内存占用为测试过程所需的内存值，包括内存峰值占用和内存平均占用。1mas=1−0 （4）式中：mas——内存峰值；1 ——0 ——avg=−0 （5）式中：avg——内存平均占用； ——0 ——本文件规定测试端侧大语言模型平均20次的内存峰值宜不超过智能手机内存的90%，内存平均占用宜不超过智能手机内存的80%。增量功耗测试为测试端侧大语言模型运行过程中的平均电流。计算方法如下：监控被测设备机中总量消耗1，平均电可以通过使用功耗试仪测设备在一时间内）1mAh。监控推理过中总电耗为，平均可以通使用功耗测仪测量在一段时内（）的耗电量计算得到，单位为mAh。（以4V电压下作为标准）。I=N2–N1t

…………（6）1B1B-3B3BINT4与INT8201h。表6增量功耗要求量化方式模型规模1B及以下1B-3B3B及以上INT4量化600mAh900mAh1100mAhINT8量化7