《大模型词元服务性能监测报告（2026年）》

大模型词元服务性能监测报告（2026年）目 录一、核心观察 1（一）大模型服务吞吐与时延同步增加 1（二）大模型价格回升明显，向“能力跃迁”发展演进 2（三）开源模型服务性能提升显著 2二、监测方法 3（一）监测对象 3（二）监测指标 4（三）监测参数设置 4三、原厂大模型监测结果 5（一）调用成功率 5（二）每秒输出词元数（TPS） 8（三）首词时延（TTFT） 10（四）服务稳定指数 12（五）服务价格与费用 15（六）模型上下文 17四、开源大模型监测结果 18（一）开源模型上线率 18（二）DeepSeek监测结果 20（三）Qwen监测结果 22（四）GLM监测结果 25（五）Kimi监测结果 27五、总结 30附录A：其他事项说明 31附录B：监测模型清单 33图目录图1 8月份原厂大模型服务调用成功率平均值 6图2 各原厂大模型服务调用成功率（越高越好） 7图3 所有大模型服务月均调用成功率 7图4 8月份原厂大模型服务TPS平均值 8图5 各原厂大模型服务TPS平均值（越高越好） 9图6 所有大模型服务月均TPS 10图7 8月份原厂大模型服务TTFT平均值 10图8 各原厂大模型服务TTFT平均值（越低越好） 图9 所有大模型服务的月均TTFT 12图10 8月份原厂大模型服务稳定指数 13图原厂大模型服务月均稳定性指数（越高越好） 14图12 所有大模型服务月均稳定指数 14图13 国内原厂大模型发布时归一化价格趋势图 15图14 国外原厂大模型发布时归一化价格趋势图 16图15 8月份国内外大模型消耗量及费用对比图 17图16 国内大模型上下文长度占比情况 18图17 所有平台上DeepSeek月均调用成功率 20图18 各平台的DeepSeek月均调用成功率（越高越好） 20图19 所有平台的DeepSeek月均TPS 21图20 各平台的DeepSeek月均TPS（越高越好） 21图21 所有平台的DeepSeek月均TTFT 22图22 各平台的DeepSeek月均TTFT（越低越好） 22图23 平台的Qwen月均调用成功率 23图24 各平台的Qwen月均调用成功率（越高越好） 23图25 所有平台的Qwen月均TPS 23图26 各平台的Qwen月均TPS（越高越好） 24图27 所有平台的Qwen月均TTFT 24图28 各平台的Qwen月均TTFT（越低越好） 24图29 所有平台的GLM月均调用成功率 25图30 各平台的GLM月均调用成功率（越高越好） 25图31 所有平台的GLM月均TPS 26图32 各平台的GLM月均TPS（越高越好） 26图33 所有平台的GLM月均TTFT 27图34 各平台的GLM月均TTFT（越低越好） 27图35 所有平台的Kimi月均调用成功率 28图36 各平台的Kimi月均调用成功率（越高越好） 28图37 所有平台的Kimi月均TPS 29图38 各平台的Kimi月均TPS（越高越好） 29图39 所有平台的Kimi月均TTFT 29图40 各平台的Kimi月均TTFT（越低越好） 30表目录表1 典型开源大模型在国内外主流MaaS平台的上线率统计 18表2 原厂模型监测清单 33表2 原厂模型监测清单（续表） 34表3 不同平台上开源模型最新监测清单 34一、核心观察202618（一）大模型Token服务吞吐与时延同步增加Token服务调用成功率相对平稳，保持较高水平5失败被捕捉到的概率上升，成功率存在下降趋势，每月均值均高于99%，899.18%2025年。Token2025年翻倍，仍低于国外8月份国内各模型平均数个/秒），202538.25（个/秒）8月份国外TPS112.82（个/秒）20251251.35（个/秒）相比，提升亦超过一倍，整体优于国内。Token服务时延有所增加，国内外趋势一致今年以来，国内各模型的平均TTFT（）1.2620250.788TTFT2.0841.04（二）大模型价格回升明显，向“能力跃迁”发展演进1.2026年词元服务价格明显回升经历了过去两年价格战后，2026年国内外模型服务价格明显上20256.813.461倍。但国外价格仍高于国内，2026年以来发布的典元。模型上下文长度不断向百万级长度扩展1M（1的模型47.8%，200K95.7%202576200K国产开源大模型成为全球诸多平台的主流选择22个国内外主流MaaSQwenGLM100%，Kimi、MiniMax系列上线率分95%55（三）开源模型Token服务性能提升显著1.开源模型新版本性能较好，第三方MaaS平台服务性能持续提升54TPS持TTFT8月份DeepSeek-V4-Pro的TPS已达到DeepSeek-V3.228月份TPS突破100（个/秒）。时延方面，5月份主要模型完成换代升级后，TTFT683TTFT1秒。2.同一模型跨平台性能波动较大，平台侧工程优化差异显著4款模型在不同平台上的TPSTTFTTPS差距最大可接近一倍。各平台对相同模型的推理加二、监测方法（一）监测对象en，其GPT、Claude、Gemini三款系列模型，通过监测可横DeepSeekQwenGLM、Kimi4款开源模型在不同MaaS如MaxPro版型（Flash、Lite模型）测试结果，思考深度选择默认模式。其他参数通常采用平台默认设置。（二）监测指标1100%时并不代Per（/秒。首词时延FirstToken，TTFT），指从请求开始至返回首个词元之间的时延，单位为秒。TTFT和TPS的变化浮动的A。（三）监测参数设置公有云API输入长度（Prompt监测数据集来自基准测试集Token50~200Token，属于最大输出长度（max_tokens）：采用各平台默认设置，未上下文窗口：采用平台默认上下文长度，未指定历史对话/）。API三、原厂大模型监测结果202618月，监测对象为国内外主流原厂大型enen、首词时延（TTFT）（一）调用成功率1899.75%，899.18%。20269月注：图中参数量的划分，来源于官方公开信息，以及网络推测信息图18月份原厂大模型Token服务调用成功率平均值图2为每月国内外各原厂大模型8100%44.4%67551551次，监测密度大幅图2服务调用成功率（越高越好

2026年9月图3为所有被监测国内大模型699%2025图3

2026年9月（二）每秒输出词元数（TPS）48TPS监测结果。国内方面，1TPS300（个/秒），500BTPS72.59（个/秒），500B-1TTPS63.12（/秒），1T以上参数量国内模型TPS57.12（/秒），TPS69.31（个/秒）。20269月注：图中参数量的划分，来源于官方公开信息，以及网络推测信息图48月份原厂大模型Token服务TPS平均值5TPS监测结果。数据TPS性能明显提升，而旧版本TPS4月份开始已有模型TPS个/秒/300（个/秒），Flash版本模型最高已突破500（个/秒）。5TPS平均值（越高越好

2026年9月6TPS平均值。数据8月国内大模型TPS月份TPS均值78.23（个/秒）2025TPS中位数62.36（个/秒）Ling2.6-1TTPS357.81（个/秒）远高于其他模型，因此平均值被整体拉高。而国外三款模型8月份TPS/秒）1.4倍。2026年9月图6所有大模型Token服务月均TPS（三）首词时延（TTFT）20269月注：图中参数量的划分，来源于官方公开信息，以及网络推测信息图78月份原厂大模型Token服务TTFT平均值78服务TTFT数据显示，TTFTTTFT0.692.361.26秒，33.3%TTFT1秒。国外方面，三款模型TTFT均超过1和Gemini-3.1-pro-preview2秒。中位数1.35，平均值1.4平均值0.77，中位数0.778TTFT监测结果。数据服务时延明显更高，大部分模型的TTFT1中位数1.35，平均值1.4平均值0.77，中位数0.778TTFT平均值（越低越好

2026年9月9服务的TTFT显示，18TTFT逐渐有所增加，8TTFT均1.2620256TTFT22026年9月图9所有大模型Token服务的月均TTFT（四）服务稳定指数108服务稳定指数监测结91.1538.9%80分以上优秀水平，服务的输出和时延相对平稳。国外方面，Gemini-3.1-pro-preview模型整体稳定性较好达到9282.3分。108

2026年9月服务稳定性指数监测结果。数据显示，5服务波动性明显，8月份79.02。而国外方面，8月份稳定性指数均值达86.332026年9月图11原厂大模型Token服务月均稳定性指数（越高越好）12服务稳定性指数平均值。45月份开始降低，主要由于部分热门模型TPS和TTFT86.9912

2026年9月（五）服务价格与费用1314看，20245款原厂2026价格普遍有所提升，归一化均13.4620256.898%服务价格仍低于国外主流模型价格，2026年以来上3元。图13国内原厂大模型发布时归一化价格趋势图

2026年9月20262026年图14国外原厂大模型发布时归一化价格趋势图

2026年9月158服务性能监测过程中，原厂大模型平整体消费金额更高，如Claude和GPT果是在本轮性能测试数据集上的表现。2026年9月图158月份国内外大模型Token消耗量及费用对比图（六）模型上下文16为国内大模型上下文长度占比情况。数据显示，上下文长度不断扩展仍然为主流趋势。一方面，202610047.8%Qwen3.7DeepSeek-V4-Pro200K95.7%，128K4.3%Anthropic和Google1M。2026年9月图16国内大模型上下文长度占比情况四、开源大模型监测结果（一）开源模型上线率表1（2026922个国内外平台中，DeepSeek、Qwen和GLMMiniMax86%5、Llama表1典型开源大模型在国内外主流MaaS平台的上线率统计序号平台名称DeepSeekQwenGLMKimiMiniMaxGPT-OSSLlama1AWSBedrock√√√√√√√2GoogleCloudVertex√√√√√√√表1典型开源大模型在国内外主流MaaS平台的上线率统计（续）序号平台名称DeepSeekQwenGLMKimiMiniMaxGPT-OSSLlama3AzureFoundry√√√√√√√4OpenRouter√√√√√√√5TogetherAI√√√√√√√6FireworksAI√√√√√√√7HuggingFace√√√√√√√8DeepInfra√√√√√√√9CloudflareAIGateway√√√√√√√10PPIO派欧云√√√√√//11商汤大装置√√√////12无问芯穹√√√√√//13火山方舟√√√√√//14百度云千帆√√√√///15硅基流动√√√√√//16讯飞星辰√√√√√//17阿里云百炼√√√√√//18腾讯云TokenHub√√√√√//19华为云MaaS√√√√///20七牛云√√√√√//21优刻得√√√√√//22蓝耘云√√√√√//9月份上线率100%100%100%95%86%41%41%5月份上线率100%100%91%86%82%50%41%2026年9月为衡量同一模型在不同平台上的性能表现，下面选择了DeepSeekQwenGLMKimi202618和首（TTFT）。（二）DeepSeek监测结果、PPIO7个平台，以及深度求索官方所提供的DeepSeek-V3.2和DeepSeek-V4-Pro202614月，5DeepSeek-V4-Pro，6月份调用成功率根据下图数据，各月DeepSeek在所有平台上的调用成功率多数99%以上，6月份以后成功率稍降，8月份平均调用成功率达99.19%100%，2025来源：中国信通院，2026年9月图17所有平台上DeepSeek月均调用成功率图18各平台的DeepSeek月均调用成功率（越高越好）

2026年9月每秒输出词元数（TPS）根据下图数据显示，3月份各平台上DeepSeekTPS均值经5月份切换到eee-4ro模型后S/秒58.91（个/秒），提升较为明显。深度求索官方平台的TPS超过60。19DeepSeek

2026年9月20DeepSeekTPS（越高越好首词时延（TTFT）

2026年9月根据下图数据，3月份各平台上DeepSeek模型TTFT均值明显升高，达到1.23秒，之后持续回落，5月份切换到DeepSeek-V4-Pro模型后TTFT下降显著，8月份为0.9秒。深度求索官方平台的服务时延最低为0.56秒。21DeepSeek

2026年9月22DeepSeekTTFT（越低越好（三）Qwen监测结果

2026年9月4个Qwen3-235B-A22BQwen3.5-397B-A17B服务，Qwen3-235B-A22B监测周期为2026145月更换为Qwen3.5-397B-A17B。调用成功率根据下图数据，阿里云百炼官方平台的调用成功率基本保持在296%“”图23平台的Qwen月均调用成功率

2026年9月图24各平台的Qwen月均调用成功率（越高越好）每秒输出词元数（TPS）

2026年9月Qwen5月份TPS月Qwen3.5-397B-A17BTPS显著提升，6月份平均值达到个/秒TPS个/秒）以上，超过阿里云百炼官方平台。25Qwen

2026年9月2026年9月图26各平台的Qwen月均TPS（越高越好）首词时延（TTFT）Qwen模型TTFT4下降趋势，处于0.70.8秒之间。5月份监测的模型更换为Qwen3.5-397B-A17B，TTFT0.98改善，80.750.74秒，百度云千帆最低为0.72秒。27Qwen

2026年9月28QwenTTFT（越低越好

2026年9月（四）GLM监测结果监测对象为智谱、无问芯穹、PPIO、百度云千帆、硅基流动个平台上-5和-51的en-52624月，5月更换为GLM-5.1。调用成功率根据下图数据，GLM模型调用成功率整体较为平稳，智谱官方4100%，5月份切换到GLM-5.199.9%左右，8月份平均调用成99.88%。图29所有平台的GLM月均调用成功率

2026年9月图30各平台的GLM月均调用成功率（越高越好）每秒输出词元数（TPS）

2026年9月根据下图数据，GLM6TPS保持上升态势。4月份之前GLM-5/月份切换GLM-5.1后TPS47.58（个/秒），6月份起开始逐步提升，8月份平均TPS/TPS/秒PPIO71.2（/秒。31GLM

2026年9月32GLMTPS（越高越好首词时延（TTFT）

2026年9月根据下图数据，自6月份以来GLM在各平台的TTFT较之前持续降低，8月份均值为1.05秒。但智谱官方平台的时延相对较高，8月份最高达到1.69秒。33GLM

2026年9月34GLMTTFT（越低越好（五）Kimi监测结果

2026年9月PPIO4个MaaS平台，以及月之暗面官方所提供的Kimi-K2.5和Kimi-K2.6-.5监测周期为26年2月至45月更换为-.。调用成功率Kimi99.88%。月之暗面官方平台的调用成100%，5Kimi-K2.6后，调用成功100%。图35所有平台的Kimi月均调用成功率

2026年9月图36各平台的Kimi月均调用成功率（越高越好）每秒输出词元数（TPS）

2026年9月根据下图数据，各平台上Kimi的月均TPS52.19（个/秒）220.8%，5月份切换为Kimi-K2.6后TPS的TPS个/秒务的TPS44.87（/秒。37Kimi

2026年9月38KimiTPS（越高越好首词时延（TTFT）

2026年9月根据下图数据，各平台上KimiTTFT5月份切换为Kimi-K2.6后，TTFTTTFT1.2680.860.56秒，月之暗面官方服务的时延持续相对较高，8月份达到1.22秒。39Kimi

2026年9月2026年9月图40各平台的Kimi月均TTFT（越低越好）五、总结在第三方MaaS附录A：其他事项说明本监测结果仅供参考，由于监测频率、监测时长等维度的限制，监测结果并不能作为衡量公有云大模型服务性能以及大模型TokenTTFT和TPS监测基础大语言模型所使用的数据集来自常见的大语言模型基准TokenTTFTTPS。该方法选择5个时间整点，向所有大模型API连续发送多次请求，并计算其TTFT和TPS202655分钟Token服务TPS式中：

TPS= NtRT-TTFT

（A-1）Nt ——RT——从请求开始到返回完全部词元之间的时延。PRC=(3×Pi+Po)4

（A-2）式中：Pi——输入每百万词元的价格；Po——输出每百万词元的价格。Token服务的能力，取值范围为(0,100]100标的加权构成，计算公式如下：

CV=σμ

（A-3）Stability= 11+CV

×100 （A-4）i=1式中：i=1σ——为标准差；

S=\n ωi×Stability

（A-5）μ——为平均值；CV——为变异系数，也称为离散系数，是标准差与平均值的比值，服务稳定指数中，进行了数值归一化处理；ωi——TPS和TTFTToken服务的调用统一采用流式输出，其余设置均采B：监测模型清单

表2原厂模型监测清单序号平台名称模型名称发布日期开始监测时间停止监测时间上下文长度模型参数量（B）公开模式1蚂蚁百灵Ring-1T2025年10月14日2026年1月2026年4月128k1000开源Ling-1T2025年10月9日2026年1月2026年4月128k1000开源Ring-2.6-1T2026年5月9日2026年7月监测中256k1000开源Ling-2.6-1T2026年4月23日2026年5月监测中256k1000开源Ling-3.0-Flash2026年7月24日2026年8月监测中256k124开源2阿里云百炼Qwen3-235b-a22b-thinking-25072025年7月25日2026年1月2026年3月128k235开源Qwen3-next-80b-a3b-thinking2025年9月12日2026年1月2026年3月128k80开源Qwen3-max-thinking2025年9月24日2026年1月2026年3月256k1000开源Qwen3.5-plus2026年2月16日2026年4月监测中1M未公开闭源Qwen3.6-Plus2026年4月2日2026年4月监测中1M未公开闭源Qwen3.6-max-Preview2026年4月20日2026年4月监测中1M未公开开源Qwen3.5-397b-a17b2026年2月16日2026年4月监测中1M397开源Qwen3.7-max2026年5月20日2026年5月监测中1M未公开闭源Qwen3.8-max2026年8月2日2026年8月监测中1M2400闭源3深度求索DeepSeek-V4-Pro2026年4月24日2026年4月监测中1M1600开源4书生Intern-s1-pro2026年2月4日2026年2月监测中256k1000开源Internvl3.5-241b-a28b2025年9月3日2026年1月监测中32K241开源5月之暗面Kimi-k2-thinking2025年7月11日2026年1月2026年4月256k1000开源Kimi-k2.52026年1月27日2026年2月监测中256k1000开源Kimi-k2.62026年4月20日2026年4月监测中256k1000开源6百度云千帆Ernie-x1.12025年9月9日2026年1月2026年4月64k300闭源Ernie-5.0-thinking2025年11月13日2026年1月2026年4月128k2400闭源Ernie-5.1-thinking2026年5月9日2026年5月监测中128k800闭源7商汤大装置SenseNova-V6-5-Pro2025年7月25日2026年1月2026年3月128k560闭源8阶跃星辰step-32025年7月25日2026年1月2026年4月64k321闭源9腾讯云TokenHubHunyuan-2.02025年11月9日2026年1月2026年4月256k406闭源Hy32026年4月23日2026年4月监测中256k295闭源10火山方舟Doubao-seed-1-82025年12月18日2026年1月2026年5月256k200闭源Doubao-seed-1-62025年6月11日2026年1月2026年4月256k200闭源Doubao-seed-2.0-pro2026年2月15日2026年4月监测中256k未公开闭源Doubao-seed-2.1-pro2026年6月28日2026年7月监测中256k未公开闭源11讯飞星辰Spark-x1.52025年11月6日2026年1月2026年3月192k未公开闭源12智谱GLM-4.72025年12月25日2026年1月2026年2月200k355开源GLM-52026年2月12日2026年2月2026年7月200k744开源GLM-5.12026年4月7日2026年4月2026年8月200k744开源GLM-5.22026年6月16日