模型训推：从算力优化到应用落地

ChatGPTChatGPTAlphaFold2BP算法1986BP算法1986达特茅斯会议·1956年8月发起，提出了“人工智能”这一名词，汇集了一批日后AI·支持向量·支持向量AI进入AI进入·知识表征“大模型·知识表征达特茅斯会议达特茅斯会议1956模型在从未见过的数据上能表现出良好的性能能力模型能应用于快速处理数据并做出正确的决策通用领域大模型百花齐放，通用领域大模型百花齐放，但都不具备特定行业的独有知识和任务处理能力，欠缺行业属性导致无法落算法人员要投入超过60%时间进行高质量数据准备，针对大批量数据，进行数采购的算力资源有限，使用诉求远超可用算力，需要高效的算力资源调度管理系统，灵活分配算力使用，减少节点资源碎片，大规模模型训练需耗费大对训练平台的稳定性、故障隔离性、自动容错性等底座能力，以及任务长时模型评测模型评测模型发布数据清洗+切块模型发布模型训练模型训练TI-ONE覆盖环节TI腾讯云平台产品概述TI腾讯云平台腾讯云TI平台（TencentCloudTIPlatform）是基于腾讯先进AI能力和多年技术经验，面向企业提供的全栈式人工智能开从数据获取、数据处理、算法构建、模型训练、模型优化、模型评估、模型部署、应用和解决方案开发者基于腾讯云TI平台的开放能力，结合行业特点构建应用解决方案。充分发掘AI价值，助力各行各业数字化转型泛政府产业AI应用泛互联网AI应用金融产业AI应用企业AI应用数据采集数据标注数据服务提供商数据采集数据标注数据服务提供商智能设备提供商基础设施数据中心训练工坊边缘中心模型管理模型部署应用编排应用中心大模型精调管理中心训练平台TI-ONE应用服务平台TI-Matrix十大能力中心能力平台算法模型算法服务算法和模型开发者计算资源存储资源容器平台机器学习平台TI-ONE面向数据科学家，提供从数据预处理、模型训练、自动学习、模型评估到模型发布部署的全流程支持AIAITI应用服务平台-应用服务平台-面向AI应用开发者，快速接入模型、数据和智能设备。提供模型部署、应用工作流编排、云边端调度等功能，快速构建智能应用应用场景——一站式大模型精调解决方案大模型精调数据数据数据中心数据构建预置3大类精调数据处理pipeline数据标注u快速试一试：零代码一键部署大模型，网页问答体验推理效果训练工坊多种训练工具：具备周期调度能力的可视化建模，低门槛深度学习场景化工具，交互式代码开发工具，专业的通用任务调度工具分布式稳定训练：支持多机多卡大规模训练，故障自镜像制作：基于jupyter的高效自定义镜像制作工具训练指标监控：丰富的指标监控及告警，覆盖网络及GPU算力内置训练加速：全新升级Angel训练框架加速能力，性能提升30%大模型评测：提供轻量体验，客观评测，主观评测的三阶段评测工具部署低代码、灵活自定义两种精调模式自由选择部署模型部署内置推理加速：全新升级Angel推理加速能力，加大模型调用：统一的大模型调用API及体验工具，大AI资产管理u从零训练自主创新的通用大模型uDeepSeek/Llama/baichuan/Qutriton,vllm,sgla差异化竞争力：数据构建3大类数据处理pipeline3大类数据处理pipeline差异化竞争力：数据标注腾讯：灵活定义数据schema，自动生成多包括但不限于高质量文本问答对筛选.文本数据清洗包括但不限于高质量文本问答对筛选.文本数据清洗.图片问答对审核/修改，图片问答竞品评测.图片多轮问答.多模态阅读理解.图片文本描述等一个schema示例：针对多图的多轮问答业界通用做法：一种“标注场景”对应一种“标注操作台”同一个场景下的标注操作台能支持的标注内容有限.无法灵活扩展.无法满足大模型标注场景下各种真实繁 节点发生故障时：混合调度资源利用率提升策略在离线混部及调度方式binpackbinpackspread•低优任务尽量填满保证资源利用率spreadPod31/3GPUPod31/3GPU低优任务Pod1Pod22/3GPU高优任务低优任务Pod1高优任务Pod2低优任务低优任务GPU0GPU0GPU1…高优Pod1提交任务…低优Pod2低优Pod2低优Pod3低优Pod3时间低优Pods使用fix-share/burst调度策略软件调度周期默认20tick/可配产品特色能力：潮汐调度基于调度方案,以分时,抢占,弹性伸缩等调度策略,极致利用100%算力资源1.分时调度:根据白天和晚上推理业务场2.高低优抢占调度:针对上下班高峰等突发流量,自动伸缩推理服务,抢占训练卡3.负载,请求,延迟等弹性伸缩调度:将训练任务自动伸缩到低负载训练和推理卡,实现集群算力持续高效运行 推理任务 推理任务 推理任务GPU1推理任务推理任务GPU0工作日白天!1.分时调度!训练任务训练任务训练任务GPU1训练任务训练任务推理任务GPU0推理任务推理任务训练任务训练任务训练任务训练任务GPU1 推理任务推理任务GPU0突发业务流量,服务自动扩容2.抢占调度训练任务推理任务训练任务推理任务GPU1推理任务推理任务推理任务推理任务GPU0训练任务训练任务训练任务训练任务GPU1推理任务GPU0GPU0节点服务低负载 3.弹性伸缩调度训练任务训练任务训练任务训练任务GPU1训练任务训练任务训练任务推理任务GPU0面向DeepSeek提供行业领先的推理加速能力针对「DeepSeek-R1/V3满血版」模型，TI平台通过自主研发的加速引擎提供「量化降本+并行增效」双重优化.实现性能与能效的协同跃升。低比特量化采用更低精度的量化技术，减少存储空间和计算量，单机可部署MTP(Multi-TaskParallelDecoding)单步并行生成多个token提升生成速度提升单位时间内处理请求数提高吞吐量(QPS,QueriesPerSecond)TTFT缩短1倍优化高并发场景下的首字延时(TTFT,TimeToFirstTok提升单节点部署支持的量化加速，大幅减少单机模型权重显存占用注意：以上数据均为特定实验环境下(输入1k/输出3k轻量体验–效果无大偏差1轻量体验–效果无大偏差难例问题生成答案继续训练难例问题生成答案输入问题•方式：边迭代边自测•数据：用难例问题•用户：算法人员模型checkpoint客观评测–初步判断效果继续训练开源评测集评测任务生成评测报告继续训练一键勾选•方式：阶段性批量测•数据：用开源评测集•用户：算法人员模型checkpoint3难例问题结果打分3难例问题结果打分反馈模型效果•方式：发布前人工测•用户：业务人员模型标杆案例-某标杆案例-某互联网金融客户应用于某客户APP客服“i问财”，主要用来训练投顾、投研领域文本生成，对话大模型独有的纳管模式，快速将云服务器接入，享受训练平台稳定，高效的任务调度能力高稳定性任务调度，故障节点自动隔离，任务自动重试，稳定支持单任务2～3个月持续运行灵活的任务调度策略配置，提升小资源任务的并发处理能力完善的监控指标告警体系，简单配置，实时了解任务运行状态和算力资源健康状况，提升资源利用率涨跌分析应用场景年报问答模型层金融行业大模型交换机H800*8GPU服务器客户背景整体架构方案效果客服助手量化投资盘后总结基金问答智能尽调代码助手业务层智能编排专业会话数据分析中台应用平台层智能搜索客户背景整体架构方案效果客服助手量化投资盘后总结基金问答智能尽调代码助手业务层智能编排专业会话数据分析中台应用平台层智能搜索产品方案方案说明：在大语言模型精调场景中.面向算法开发工程师.提供涵盖数据管理、模型训练、评估测试、服务部署全流程的一站式服务。提供开箱即用的精调工具链.让算法人员专注于模型效果提升.提升精调效率优势点：可实战的数据构建能力：针对大模型精调提供3类全开源，可扩展的数据构建pipeline，同时提供30+数据过滤.改写方法灵活的多模态标注：灵活配置自动解析数据schema，自动生成多种大模型标注场景稳定的任务调度：故障节点自动隔离.任务自动重试.支持单任务2～3个月持续运行调度策略：提升小资源任务的并发处理能力.降低碎片化TKECOSIaaS层VPC网络硬件TKECOSIaaS层VPC网络硬件基础设施星脉RDMA网络泛互的典型应用场景：场景说明：基于开源/腾讯商用大语言模型精调专属模型典型用户画像：有大模型算法团队.具备通过预训练或精调基底模型迭代出满足业务指标要求模型的能力缺少能够搭建算力纳管调度.数据存储管理的工程人员推理加速案例标杆案例标杆案例-某互联销售管理公司客户为AI商品识别云服务提供商，商品识别业务场景对识别精度要求较高，使用了Detectron2框架；推理服务器有一定规模，但没有专门人力研发模型推理加速。整体耦合，粗粒度力度扩展，资源利用率低本身使用Detectron2框架、Python部署，高精度模型推理时延较高，希望低门槛接入优化服务调用存在固定波峰波谷期，但没有弹性伸缩机制轻量化接入：一键式模型推理加速，然后将加速后模型部署为在线服务，通过公网API接口调用的方式对接自身业务应用模型性能：平均推理延迟降低3-4倍，QPS提升2-3倍用户成本：使用低成本T4卡替换高配V100卡SLA不变，降低月成本降低4.5W，年成本降低54W，用户成本降低50%+业务逻辑与模型服务解耦，独立分布部署，按需独立扩容TI-ACC推理加速，提升模型推理性能，提高吞吐异步服务架构升级，提高实时性结合TI推理服务定时弹性伸缩能力，消峰填谷客户背景客户痛点方案效果解决方案产品方案客户背景客户痛点方案效果解决方案产品方案方案说明：在CV、NLP、OCR等模型推理场景中.提供一键式加速和弹性服务能力，助力客户降本增效。优势点：推理加速性能强大：使