大模型词元服务性能监测报告（2026年）

大模型词元服务性能监测报告(2026年)版权声明及软硬件评测工业和信息化部重点实验室和中国人工智能产业发展联盟，并受法律保护。转载、摘编或利用其他方式使用本报告文字或者观点的，应注明“来源：中国信息通信研究院、人工智能大模型及软硬件评测工业和信息化部重点实验室和中国人工智能产业发展联盟”。违反上述声明者，将追究其相关法律责任。向应用的关键点，我国日均Token调用量持续攀升，2026年6月，过公有云API方式供给大模型Token服务。然而用户对Token服务息化部重点实验室（以下简称“实验室”），联合中国人工智能产业监测显示，大模型Token服务性能整体呈现提升态势，头部平台在每秒Token吞吐量等关键指标上持续优化，满足多数通用场景服务调用成功率、吞吐速度、首词时延、稳定性、价格、上下文窗所增长，但开源模型在第三方平台上时延持续优化。对比原厂大模型在第三方平台性能表现上的差异，并进一步分析影响Token服务网络环境、并发策略等因素影响，结果仅供技术参考，不构成对任何产品或服务的推荐、背书或商业评价。由于数据较多，报告整理可能存在疏漏之处，如有任何问题欢迎与我们沟通交流，后续将结 1 1 2 2 3 3 4 4 5 5 8 12 15 17 18 18 25 30 31 33 6 7 7 8 9 10 13 14 14 15 16 17 18 22 22 25 25 26 26 29 30 18 表2原厂模型监测清单（续表） 1一、核心观察（一）大模型Token服务吞吐与时延同步增加1.Token服务调用成功率相对平稳，保持较高水平失败被捕捉到的概率上升，成功率存在下降趋势，每月均值均高于2.Token服务每秒吞吐量较2025年翻倍，仍低于国外/秒），与2025年均值38.25（个/秒）相比实现翻倍。但8月份国外），（个/秒）相比，提升亦超过一倍，整体优于3.Token服务时延有所增加，国内外趋势一致加。但同时8月份国外典型模型TTFT平均值达到2.08秒，相比42（二）大模型价格回升明显，向“能力跃迁”发展演进1.2026年词元服务价格明显回升经历了过去两年价格战后，2026年国内外模型服务价格明显上元，涨幅接近1倍。但国外价格仍高于国内，2026年以来发布的典2.模型上下文长度不断向百万级长度扩展3.国产开源大模型成为全球诸多平台的主流选择（三）开源模型Token服务性能提升显著1.开源模型新版本性能较好，第三方MaaS平台服务性能持续提升3100（个/秒）。时延方面，5月份主要模型完成换代升级后，TTFT2.同一模型跨平台性能波动较大，平台侧工程优化差异显著同平台间的TPS差距最大可接近一倍。各平台对相同模型的推理加二、监测方法（一）监测对象其中国外模型选取GPT、Claude、Ge），模型（如Flash、Lite模型）未纳入监测与分析。对于发布时间较早45）：固定题库，每次请求的输入Token长度约为50~200个Token，属于（2）最大输出长度（max_tokens）：采用各平台默认设置，未），三、原厂大模型监测结果首词时延（TTFT）和服务稳定性指数等。由于不同模型上线时间、（一）调用成功率成功率(%):越高越好万亿参数量分割线500B参数量分割线中位数99.6%,平均值99.27%中位数98.5%,平均值98.13%中位数100%,平均值100%来源：中国信通院，2026年9月图18月份原厂大模型Token服务调用成功率平均值数据显示，8月份调用成功率达到100%的占比为44.4%,相比6、7测采样频率逐渐从此前每天15次提升至每5分钟1次，监测密度大71月2月3月4月5月6月7月8月99.83%99.80%99.90%Ermie-x1.GLM-5.3Spark-x2--=杏杏低来源：中国信通院，2026年9月图2各原厂大模型Token服务调用成功率(越高越好)值有所降低，但均保持在99%以上，相比成功率(%):越高越好98%99.97%99.98%99.97%99.97%99.79%96%98.95%来源：中国信通院，2026年9月(二)每秒输出词元数(TPS)图4为8月份国内外各原厂大模型Token服务TPS监测结果。国内方面，1款模型的TPS超过300(个/秒),500B以下模型TPS中位数为72.59(个/秒),500B-1T参数量模型TPS中位数为63.12(个/秒),1T以上参数量国内模型TPS中位数为57.12(个/秒),(个/秒)。TPS(个/秒):越高越好国内：中位数57.12,国内：中位数57.12,平均值87.67国外：平均值112.8万亿参数量分割线中位数63.中位数63.12,平均值63.4500B参数量分割线中位数72中位数72.59,平均值69.46来源：中国信通院，2026年9月图48月份原厂大模型Token服务TPS平均值9图5为国内各原厂大模型Token服务每月TPS监测结果。数据显示，多数新发布模型的Token服务TPS性能明显提升，而旧版本模型的TPS会逐渐下调并下线服务。同时，今年4月份开始已有模型TPS突破100(个/秒),5月份突破200(个/秒),8月份突破300(个/秒),Flash版本模型最高已突破500(个/秒)。M---------ubao-seed-1-842.6541.1244.28ubao-seed-1-639.9239.514133iMo-v2.5-Pro来源：中国信通院，2026年9月图5各原厂大模型Token服务TPS平均值(越高越好)图6为每月所有被监测大模型Token服务的TPS平均值。数据显示，1月至8月国内大模型TPS平均值稳步提升，8月份TPS均值达到78.23(个/秒),相比于2025年均值实现翻倍，但TPS中位数为62.36(个/秒),由于Ling2.6-1T模型TPS达到357.81(个/秒)远高于其他模型，因此平均值被整体拉高。而国外三款模型8月份TPS平均值提升至112.82(个/秒),是国内均值的1.4倍。TPS(个/秒):越高越好来源：中国信通院，2026年9月图6所有大模型Token服务月均TPS(三)首词时延(TTFT)TTFT(秒):越低越好万亿参数量分割线500B参数量分割线中位数0.77,平均值0.81来源：中国信通院，2026年9月图78月份原厂大模型Token服务TTFT平均值 Ernie- 图7为8月份国内外各原厂大模型Token服务TTFT监测结果。为0.69秒，最高为2.36秒，平均值为1.26秒，33.3%的模型TTFT低于1秒。国外方面，三款模型TTFT均超过1秒，GPT-Gemini-3.1-pro-preview均超过2秒。图8为国内各原厂大模型Token服务每月TTFT监测结果。数据TTFT大于1秒。0.86-5.3-Pro---------0.670.670.640.67---3平均值0.77,中位数10₂77--来源：中国信通院，2026年9月图8各原厂大模型Token服务TTFT平均值(越低越好)显示，1至8月Token服务的TTFT逐渐有所增加，8月份TTFT均TTFT(秒):越低越好0.002026年1月来源：中国信通院，2026年9月图9所有大模型Token服务的月均TTFT(四)服务稳定指数图10为8月份国内外各原厂大模型Token服务稳定指数监测结果。国内方面，最高稳定指数可达91.15分，约38.9%的模型达到80分以上优秀水平，Token服务的输出和时延相对平稳。国外方面，Gemini-3.1-pro-preview模型整体稳定性较好达到92分，而GPT-5.6稳定性指数也达到82.3分。稳定指数：越高越好(取值范围：0-100)稳定指数：越高越好(取值范围：0-100)万亿参数量分割线500B参数量分割线来源：中国信通院，2026年9月国内：中位数77.73,平均值77.21国外：平均值86.24中位数78.82,平均值79.06中位数81.71,平均值83.53高低QQQ高低QQQH ..=81.38- KiMi-k2.-----来源：中国信通院，2026年9月图12为每月所有被监测大模型Token服务稳定性指数平均值。80分以上的较好水平，但5月份开始降低，主要由于部分热门模型稳定指数：越高越好(取值范围：0-100)86.0082.0080.0078.0076.0074.002026年1月2026年2月2026年3月2026年4月2026年1月2026年2月2026年5月2026年6月2026年7月2026年8月国内平均稳定指数—国外平均稳定指数来源：中国信通院，2026年9月图12所有大模型Token服务月均稳定指数(五)服务价格与费用看，2024年以来每百万Token价格大幅度下降，国内上述5款原厂模型2026年以来新发布版本的Token价格普遍有所提国内大模型价格(元)变化趋势来源：中国信通院，2026年9月2023年112023年11GPT系列——Claude系列——Gemini系列日81日81

2025年4

2025年42025年2025年2025年模型发布日期2026年2月19日2026年5月28日2026年2月19日2026年5月28日来源：中国信通院，2026年9月图15为8月份开展Token服务性能监测过程中，原厂大模型平来源：中国信通院，2026年9月(六)模型上下文长度多数已达到1M(即100万Token),8月份47.8%的模型上下文2026年8月2026年5月2025年12月2025年6月来源：中国信通院，2026年9月四、开源大模型监测结果(一)开源模型上线率表1为典型开源大模型(不考虑版本)截至2026年9月份在国95%、86%,以上五款国内开源相较于5月份统计结果有所上升。而序号√√√√√√√Cloud√√√√√√√序号3√√√√√√√4√√√√√√√5√√√√√√√6√√√√√√√7√√√√√√√8√√√√√√√9√√√√√√√√√√√√//√√√////√√√√√//√√√√√//√√√√///√√√√√//√√√√√//√√√√√//√√√√√//√√√√///√√√√√//√√√√√//√√√√√//来源：中国信通院，2026年9月监测周期为2026年1至4月，5月更换为DeepSeek-V4-Pro,6月份保持在99%以上，6月份以后成功率稍降，8月份平均调用成功率达来源：中国信通院，2026年9月-高高低来源：中国信通院，2026年9月图18各平台的DeepSeek月均调用成功率(越高越好)(个/秒),提升较为明显。深度求索官方平台的TPS超过60。TPSTPS(个/秒):越高越好2025年平均2026年1月2026年2月2026年3月2026年4月2026年5月2026年6月2026年7月2026年8月高低高低硅基流动来源：中国信通院，2026年9月图20各平台的DeepSeek月均TPS(越高越好)根据下图数据，3月份各平台上DeepSeek模型TTFT均值明显模型后TTFT下降显著,8月份为0.9秒。深度求索官方平台的服务TTFT(秒):越低越好2026年6月来源：中国信通院，2026年9月1月2月3月4月5月6月7月8月来源：中国信通院，2026年9月图22各平台的DeepSeek月均TTFT(越低越好)监测对象为阿里云百炼、无问芯穹、百度云千帆、硅基流动4个平台上Qwen3-235B-A22B和Qwen3.5-397B-A17B的TokQwen3-235B-A22B监测周期为2026年1至4月，5月更换为100%,硅基流动平台自2月以来调用成功率波动较大，8月份成功率来源：中国信通院，2026年9月 1月2月3月4月5月6月7月8月高高低来源：中国信通院，2026年9月图24各平台的Qwen月均调用成功率(越高越好)根据下图数据，各平台上Qwen模型5月份TPS跌至低谷，5月份切换到Qwen3.5-397B-A17B后TPS显著提升，6月份平均值达到80.68(个/秒),8月份硅基流动、百度云千帆的TPS已达到100(个70.00来源：中国信通院，2026年9月图25所有平台的Qwen月均TPS1月2月3月4月5月6月7月8月高来源：中国信通院，2026年9月图26各平台的Qwen月均TPS(越高越好)根据下图数据，各平台上Qwen模型TTFT平均值前4个月保持下降趋势，处于0.7至0.8秒之间。5月份监测的模型更换为改善，8月份均值降至0.75秒，阿里云百炼降至0.74秒，百度云千来源：中国信通院，2026年9月 来源：中国信通院，2026年9月图28各平台的Qwen月均TTFT(越低越好)监测对象为智谱、无问芯穹、PPIO、百度云千帆、硅基流动5年2月至4月，5月更换为GLM-5.1。平台在4月调用成功率达到100%,5月份切换到GLM-5.1后，调用来源：中国信通院，2026年9月低图29所有平台的GLM月均调用成功率低3月无问芯穹来源：中国信通院，2026年9月图30各平台的GLM月均调用成功率(越高越好)2.每秒输出词元数(TPS)月份之前GLM-5处于49(个/秒)上下，5月份切换GLM-5.1后TPS稍有降低，均值为47.58(个/秒),6月份起开始逐步提升，8月份平均TPS达到62.75(个/秒),智谱官方平台TPS为PPIO最高达到71.2(个/秒)。TPSTPS(个/秒):越高越好40.006月4月8月来源：中国信通院，2026年9月2月3月4月5月6月7月8月高高低来源：中国信通院，2026年9月根据下图数据，自6月份以来GLM在各平台的TTFT较之前持续降低，8月份均值为1.05秒。但智谱官方平台的时延相对较高，8月份最高达到1.69秒。来源：中国信通院，2026年9月2月3月4月5月6月7月8月高高低来源：中国信通院，2026年9月图34各平台的GLM月均TTFT(越低越好)功率前三个月保持在100%,5月份切换为Kimi-K2.6后，调用成功2月3月4月5月6月7月8月来源：中国信通院，2026年9月 百度云千帆2月3月4月5月6月7月8月-高高低来源：中国信通院，2026年9月图36各平台的Kimi月均调用成功率(越高越好)4月份提升明显，达到52.19(个/秒),相比2月份涨幅20.8%,5的TPS保持较高，8月均值达到73.06(个/秒),而月之暗面官方服务的TPS相对较低，仅为44.87(个/秒)。TPS(TPS(个/秒):越高越好4月5月3月8月来源：中国信通院，2026年9月 百度云千帆2月3月4月5月6月7月8月高高低来源：中国信通院，2026年9月图38各平台的Kimi月均TPS(越高越好)根据下图数据，各平台上Kimi的月均TTFT自5月份切换为Kimi-K2.6后，TTFT呈现下降趋势，月均TTFT从1.26秒下降至8TTFTTTFT(秒):越低越好3月6月来源：中国信通院，2026年9月图39所有平台的Kimi月均TTFT 2月3月4月5月6月7月8月高来源：中国信通院，2026年9月图40各平台的Kimi月均TTFT(越低越好)五、总结在第三方MaaS平台上的性能优化尤为明显，部分平台的性能已超过附录A：其他事项说明1.本监测结果仅供参考，由于监测频率、监测时长等维度的限制，监测结果并不能作为衡量公有云大模型服务性能以及大模型Token2.监测基础大语言模型所使用的数据集来自常见的大语言模型基准模型Token服务持续的稳定性，包括TTFT和TPS。该方法选择位于不同国家和不同地区的云节点，于每日选择不同的5个时间Nt——输出的词元总数；RT——从请求开始到返回完全部词元之PRC=（A-2）Pi——输入每百万词元的价格；Po——输出每百万词元的价格。6.服务稳定指数，是指持续平稳输出Token服务的能力，取值范围CV——为变异系数，也称为离散系数，是标准差与平均值的7.所有大模型Token服务的调用统一采用流式输出，其余设置均采附录B：监测模型清单序号平台名称模型名称发布日期开始监测时停止监测时上下文长度模型参数量（B）公开模式1蚂蚁百灵Ring-1T2026年1月2026年4月128k1000开源Ling-1T2025年10月9日2026年1月2026年4月128k1000开源Ring-2.6-1T2026年5月9日2026年7月监测中256k1000开源Ling-2.6-1T2026年4月23日2026年5月监测中256k1000开源Ling-3.0-Flash2026年7月24日2026年8月监测中256k开源2阿里云百炼Qwen3-235b-a22b-thinking-25072025年7月25日2026年1月2026年3月128k235开源Qwen3-next-80b-a3b-thinking2025年9月12日2026年1月2026年3月128k开源Qwen3-max-thinking2025年9月24日2026年1月2026年3月256k1000开源Qwen3.5-plus2026年2月16日2026年4月监测中未公开Qwen3.6-Plus2026年4月2日2026年4月监测中未公开Qwen3.6-max-Preview2026年4月20日2026年4月监测中未公开开源Qwen3.5-397b-a17b2026年2月16日2026年4月监测中397开源Qwen3.7-max2026年5月20日2026年5月监测中未公开Qwen3.8-max2026年8月2日2026年8月监测中24003深度求索DeepSeek-V4-Pro2026年4月24日2026年4月监测中1600开源4书生Intern-s1-pro2026年2月4日2026年2月监测中256k1000开源Internvl3.5-241b-a28b2025年9月3日2026年1月监测中32K241开源5月之暗面Kimi-k2-thinking2025年7月11日2026年1月2026年4月256k1000开源Kimi-k2.52026年1月27日2026年2月监测中256k1000开源Kimi-k2.62026年4月20日2026年4月监测中256k1000开源6百度云千帆Ernie-x1.12025年9月9日2026年1月2026年4月64k300Ernie-5.0-thinking2026年1月2026年4月128k2400Ernie-5.1-thinking2026年5月9日2026年5月监测中128k8007商汤大装置SenseNova-V6-5-Pro2025年7月25日2026年1月2026年3月128k5608阶跃星辰step-32025年7月2