大模型词元服务性能监测报告（2026年）

I大模型词元服务性能监测报告（2026年）向应用的关键点，我国日均Token调用量持续攀升，2026年6月，过公有云API方式供给大模型Token服务。然而用户对Token服务息化部重点实验室（以下简称“实验室”），联合中国人工智能产业监测显示，大模型Token服务性能整体呈现提升态势，头部平台在每秒Token吞吐量等关键指标上持续优化，满足多数通用场景服务调用成功率、吞吐速度、首词时延、稳定性、价格、上下文窗所增长，但开源模型在第三方平台上时延持续优化。对比原厂大模型在第三方平台性能表现上的差异，并进一步分析影响Token服务网络环境、并发策略等因素影响，结果仅供技术参考，不构成对任何产品或服务的推荐、背书或商业评价。由于数据较多，报告整理可能存在疏漏之处，如有任何问题欢迎与我们沟通交流，后续将结 1 2 2 3 3 4 4 5 5 8 15 18 25 30 31 6 7 7 8 9 13 14 14 15 16 17 18 22 22 23 23 25 25 26 26 29 30 18 表2原厂模型监测清单（续表） 341一、核心观察（一）大模型Token服务吞吐与时延同步增加1.Token服务调用成功率相对平稳，保持较高水平失败被捕捉到的概率上升，成功率存在下降趋势，每月均值均高于2.Token服务每秒吞吐量较2025年翻倍，仍低于国外/秒），与2025年均值38.25（个/秒）相比实现翻倍。但8月份国外），（个/秒）相比，提升亦超过一倍，整体优于3.Token服务时延有所增加，国内外趋势一致加。但同时8月份国外典型模型TTFT平均值达到2.08秒，相比42（二）大模型价格回升明显，向“能力跃迁”发展演进1.2026年词元服务价格明显回升经历了过去两年价格战后，2026年国内外模型服务价格明显上元，涨幅接近1倍。但国外价格仍高于国内，2026年以来发布的典2.模型上下文长度不断向百万级长度扩展3.国产开源大模型成为全球诸多平台的主流选择（三）开源模型Token服务性能提升显著1.开源模型新版本性能较好，第三方MaaS平台服务性能持续提升3100（个/秒）。时延方面，5月份主要模型完成换代升级后，TTFT2.同一模型跨平台性能波动较大，平台侧工程优化差异显著同平台间的TPS差距最大可接近一倍。各平台对相同模型的推理加二、监测方法（一）监测对象其中国外模型选取GPT、Claude、Ge），模型（如Flash、Lite模型）未纳入监测与分析。对于发布时间较早45）：固定题库，每次请求的输入Token长度约为50~200个Token，属于（2）最大输出长度（max_tokens）：采用各平台默认设置，未（3）上下文窗口：采用平台默认上下文长度，未指定历史对话），三、原厂大模型监测结果首词时延（TTFT）和服务稳定性指数等。由于不同模型上线时间、（一）调用成功率6来源：中国信通院，2026年9月注：图中参数量的划分，来源于官方公开信息，以及网络推测信息 7来源：中国信通院，2026年9月图2各原厂大模型Token服务调用成功率（越高越好）来源：中国信通院，2026年9月8（二）每秒输出词元数（TPS）），），），），来源：中国信通院，2026年9月注：图中参数量的划分，来源于官方公开信息，以及网络推测信息9显示，多数新发布模型的Token服务TPS性能明显提升，而旧版本模型的TPS会逐渐下调并下线服务。同时，今年4月份开始已有模），来源：中国信通院，2026年9月图6为每月所有被监测大模型Token服务的TPS平均值。数据），），远高于其他模型，因此平均值被整体拉高。而国外三款模型8月份），来源：中国信通院，2026年9月（三）首词时延（TTFT）来源：中国信通院，2026年9月注：图中参数量的划分，来源于官方公开信息，以及网络推测信息数据显示，TTFT与模型参数量有直接关系，国内方面，最低TTFT为0.69秒，最高为2.36秒，平均值为1.26秒，33.3%的模型TTFT低于1秒。国外方面，三款模型TTFT均超过1秒，GPT-5.6和图8为国内各原厂大模型Token服务每月TTF显示，多数新发布的模型Token服务时延明显更高，大部分模型的来源：中国信通院，2026年9月来源：中国信通院，2026年9月（四）服务稳定指数分以上优秀水平，Token服务的输出和时延相对平稳。国外方面，Gemini-3.1-pro-preview模型整体稳定性较好达到92分，而GPT-5.6来源：中国信通院，2026年9月稳定性指数平均值为79.02。而国外方面，8月份稳定性指数均值达来源：中国信通院，2026年9月图12为每月所有被监测大模型Token服务稳定性指数80分以上的较好水平，但5月份开始降低，主要由于部分热门模型来源：中国信通院，2026年9月（五）服务价格与费用看，2024年以来每百万Token价格大幅度下降，国内上述5款原厂模型2026年以来新发布版本的Token价格普遍有所提升，归一化均国内模型Token服务价格仍低于国外主流模型价格，2026年以来上来源：中国信通院，2026年9月20262026年来源：中国信通院，2026年9月来源：中国信通院，2026年9月（六）模型上下文度不断扩展仍然为主流趋势。一方面，2026年新发布的模型上下文来源：中国信通院，2026年9月四、开源大模型监测结果（一）开源模型上线率台的主力模型，在调研的22个国内外平台中，DeepSeek、Qwen和1√√√√√√√2√√√√√√√序号3√√√√√√√4√√√√√√√5√√√√√√√6√√√√√√√7√√√√√√√8√√√√√√√9√√√√√√√√√√√√//√√√////√√√√√//√√√√√//√√√√///√√√√√//√√√√√//√√√√√//√√√√√//√√√√///√√√√√//√√√√√//√√√√√//95来源：中国信通院，2026年9月PPIO、百度云千帆、硅基流动7个平台，以及深度求索官方所提供1.调用成功率根据下图数据，各月DeepSeek在所有平台上的调用成功率多数来源：中国信通院，2026年9月来源：中国信通院，2026年9月图18各平台的DeepSeek月均调用成功率（越高2.每秒输出词元数（TPS）根据下图数据显示，3月份各平台上DeepSeek（个/秒），提升较为明显。深度求索官方平台的TPS超过60。来源：中国信通院，2026年9月来源：中国信通院，2026年9月图20各平台的DeepSeek月根据下图数据，3月份各平台上DeepSeek模型TTFT均值明显模型后TTFT下降显著，8月份为0.9秒。深度求来源：中国信通院，2026年9月来源：中国信通院，2026年9月图22各平台的DeepSeek月（三）Qwen监测结果1.调用成功率根据下图数据，阿里云百炼官方平台的调用成功率基本保持在来源：中国信通院，2026年9月来源：中国信通院，2026年9月2.每秒输出词元数（TPS）来源：中国信通院，2026年9月来源：中国信通院，2026年9月改善，8月份均值降至0.75秒，阿里云百炼降至0.74秒，百度云千来源：中国信通院，2026年9月来源：中国信通院，2026年9月（四）GLM监测结果监测对象为智谱、无问芯穹、PPIO、百度云千帆、硅基流动51.调用成功率根据下图数据，GLM模型调用成功率整体较为平稳，智谱官方来源：中国信通院，2026年9月来源：中国信通院，2026年9月图30各平台的GLM月均调用成功率（越2.每秒输出词元数（TPS）根据下图数据，GLM自6月份以来平均TPS保持上升态稍有降低，均值为47.58（个/秒），6月份起开始逐步提升，8月份来源：中国信通院，2026年9月来源：中国信通院，2026年9月来源：中国信通院，2026年9月来源：中国信通院，2026年9月（五）Kimi监测结果1.调用成功率月份各平台平均调用成功率为99.88%。月之暗面官方平台的调用成功率前三个月保持在100%，5月份切换为Kimi-K2.6后，调用成功来源：中国信通院，2026年9月来源：中国信通院，2026年9月2.每秒输出词元数（TPS）4月份提升明显，达到52.19（个/秒），相比2月份涨幅20.8%，5），务的TPS相对较低，仅为44.87（个/秒）。来源：中国信通院，2026年9月来源：中国信通院，2026年9月根据下图数据，各平台上Kimi的月均TTFT自5月份切换为月份的0.86秒，百度云千帆平台最低为0.56秒，月之暗面官方服务来源：中国信通院，2026年9月来源：中国信通院，2026年9月五、总结服务监测体系，共同推动我国大模型服务能力附录A：其他事项说明1.本监测结果仅供参考，由于监测频率、监测时长等维度的限制，监测结果并不能作为衡量公有云大模型服务性能以及大模型Token2.监测基础大语言模型所使用的数据集来自常见的大语言模型基准模型Token服务持续的稳定性，包括TTFT和TPS。该方法选择位于不同国家和不同地区的云节点，于每日选择不同的5个时间Nt——输出的词元总数；RT——从请求开始到返回完全部词元之PRC（A-2）Pi——输入每百万词元的价格；Po——输出每百万词元的价格。6.服务稳定指数，是指持续平稳输出Token服务的能力，取值范围Stabili（A-4）CV——为变异系数，也称为离散系数，是标准差与平均值的7.所有大模型Token服务的调用统一采用流式输出，其余设置均采附录B：监测模型清单序号平台名称模型名称发布日期开始监测时停止监测时上下文长度模型参数量（B）公开模式1蚂蚁百灵Ring-1T2026年1月2026年4月128k1000开源Ling-1T2025年10月9日2026年1月2026年4月128k1000开源Ring-2.6-1T2026年5月9日2026年7月监测中256k1000开源Ling-2.6-1T2026年4月23日2026年5月监测中256k1000开源Ling-3.0-Flash2026年7月24日2026年8月监测中256k开源2阿里云百炼Qwen3-235b-a22b-thinking-25072025年7月25日2026年1月2026年3月128k235开源Qwen3-next-80b-a3b-thinking2025年9月12日2026年1月2026年3月128k开源Qwen3-max-thinking2025年9月24日2026年1月2026年3月256k1000开源Qwen3.5-plus2026年2月16日2026年4月监测中未公开Qwen3.6-Plus2026年4月2日2026年4月监测中未公开Qwen3.6-max-Preview2026年4月20日2026年4月监测中未公开开源Qwen3.5-397b-a17b2026年2月16日2026年4月监测中397开源Qwen3.7-max2026年5月20日2026年5月监测中未公开Qwen3.8-max2026年8月2日2026年8月监测中24003深度求索DeepSeek-V4-Pro2026年4月24日2026年4月监测中1600开源4书生Intern-s1-pro2026年2月4日2026年2月监测中256k1000开源Internvl3.5-241b-a28b2025年9月3日2026年1月监测中32K241开源5月之暗面Kimi-k2-thinking2025年7月11日2026年1月2026年4月256k1000开源Kimi-k2.52026年1月27日2026年2月监测中256k1000开源Kimi-k2.62026年4月20日2026年4月监测中256k1000开源6百度云千帆Ernie-x1.12025年9月9日2026年1月2026年4月64k300Ernie-5.0-thinking2026年1月2026年4月128k2400Ernie-5.1-thinking2026年5月9日2026年5月监测中128k8007商汤大装置SenseNova-V6-5-Pro2025年7月25日2026年1月2026年3月128k5608阶跃星辰step-32025年7月25日2026年1月2026年4月64k3219腾讯云TokenHubHunyuan-2.02025年11月9日2026年1月2026年4月256k406Hy32026年4月23日2026年4月监测中256k295火山方舟Doubao-seed-1-82026年1月2026年5月256k200Doubao-seed-1-62025年6月11日2026年1月2026年4月256k200Doubao-seed-2.0-pro2026年2月15日2026年4月监测中256k未公开Doubao-seed-2.1-pro2026年6月28日2026年7月监测中256k未公开讯飞星辰Spark-x1.52025年11月6日2026年1月2026年3月192k未公开智谱GLM-4.72025年12月25日2026年1月2026年2月200k355开源GLM-52026年2月12日2026年2月2026年7月200k744开源GLM-5.12026年4月7日2026年4月2026年8月200k744开源GLM-5.22026年6月16日2026年6月监测中744开源序号平台名称模型名称发布日期开始监测时间停止监测时上下文长度模型参公开模式智谱GLM-5.32026年8月14日2026年8月监测中743开源GLM-5.32026年8月14日2026年8月监测中743开源小米MiMo-v2.5-Pro2026年4月28日2026年4月监测中1020开源美团LongCat-2.02026年6月30日2