腾讯大模型发展与应用分享

腾讯大模型发展与应用目录一、混元大模型整体能力概述二、混元大模型的实践与应用三、混元大模型生态及社会价值探索2一、混元大模型能力概述42023.02混元生成式大

模型启动研发2021-2022发布万亿混元

NLP大模型登顶各大权威榜单，始终处于模

型算法探索的最

前沿2020-2022推出百亿/千亿广告推荐大模型2024.9混元新一代旗舰大

语言模型turbo模型发布效率大幅提升，成本大幅下降2023.09混元大模型对外发布混元一站式面向业务全面开放2023.05广告

、

会议

、

文档

等

头

部

业务接入混

元初代大语

言模型2024.05混元开源业界首个中文DIT文生图模型

2024.05.30混元全面加持的原生大模型产品腾讯元宝发布2024.11混元开源Hunyuan-large模型2024.12混元开源Hunyuan-Video模型业内最大最强大的开源视频模型，弥补社区空白业界参数规模最大、效果最好的开源MoE大语言模型混元开源Hunyuan-3D模型业界生成最快效果最好的开源

3D生成模型2024.1混元升级高性能MOE

模型突破规模和性能的天

花板，应对资源紧张

成本高企等挑战2024.6混元多模态

MOE模型发布混元围绕需求持续迭代，实现了能力全面突破、应用广泛落地全链路自研

--

惊艳的模型效果，离不开底层算法和平台的支持自

主研

发自

主研

发自主研发框架

平台模型

算法算力

集群腾讯Angel机器学习平台针对低端卡算力低、显存小的不足自研训练/推理框架，高效利用数万张低端卡GPULAlGPULAGPULAGPULA8gropu……Block:1024

GPU构建自主可控的国产大模型全栈技术64…GPULCGPULC…GPULC………GPULCGPULCGPULCGPULC…2024年将达到单集群10万卡规模

低端卡也能训练万亿参数大模型单模型升级为MoE混合专家模型

统一的文本和多模态大模型结构GPULAGPULAGPULA8gropu…64groupGPU

Server1

GPU

Server128

…自研AI框架高效利用低端卡低端卡+自研高速网络互联Pod

nPod2研发MoE大模型基础结构万卡线性加速模型量化并行推理4D并行Angel

机器学习框架MoE

混合专家模型Block：

1024

GPUPod：64K

GPU单个模型GPU

Server1GPU

Server128SGLCSGLCSGLCSGLCGPULAGPULAGPULAGPULAGPULAGPULCGPULCGPULCGPULCGPULC16gropu………单节点3.2T带宽，通信性能提升30%成本比国外IB网络下降70%交换机、光模块、网卡全链路自研大规模算力需要高速互联互通，InfiniBand网络设备价格昂贵，是自研的3倍以上，且有被禁风险突破一：自研硬件、路由算法，构建星脉高速网络400G

400G自研硅光模块

自研算力网卡3

层网络架构可支持单集群

12.8

万卡51.2T

400G自研交换机星脉RDMA网络突破二：自研Angel大模型训练和推理平台，高效调度异构卡集群针对低端卡算力低、显存小的不足，自研训练/推理框架，高效利用万张低端卡集群•拓扑感知降低通信占比，多机多卡线性加速•显存+主存统一编址，增加单机容量•性能比微软开源DeepSpeed提升2.6倍•混合精度、模型量化和压缩算法•批处理优化计算和显存效率•万亿大模型的推理成本比开源下降70%70%2.6倍GPU国产AI芯片模型推理模型训练量化剪枝蒸馏异构硬件适配大模型压缩→→旗舰模型已扩展至万亿混合专家模型（MoE）1B

、3B

、7B

、13B等不同参数量下的Dense和MoE模型均有布局

【感知能力】

混元多模态理解模型

【思考能力】

混元文生文模型混元大模型的能力建设

【创造能力】

混元文生视频模型混元文生3D模型混元文生图模型!A：A：

在这种情况下，

人行横道

信号显示行人过街信号为绿色

时，

可以安全过街。根据信号

灯，

行人可以继续前进，继续

进行日常活动或前往下一个目

的地。重要的是要注意，即使

此时绿灯亮着，在人行横道上

行走也必须保持谨慎，因为行

人和机动车驾驶员都必须遵守

交通规则。混元的感知能力——混元多模态理解模

型A：

这件格子外套，既是一件保暖的夹克，又是一件时尚的衬衫。它由蓝色、棕色和白色制成，拥有格子图案和连帽设计。它的剪裁流畅而舒适，适合各种场合穿着。在白色的背景上，这件外套显得格外醒目，让人不禁想要拥有它。•支持多图&视频生文：一个模型处理文本、单图、多

图、短视频和长视频生文任务•支持更大分辨率Adapter：目前自适应分辨率视觉编码：

目前支持单图、最大7K分辨率Q：

这种情况下我可以步行吗？LLM语言模型:目前MoE架构•LLM基座支持更大参数量、更先进架构•更高的推理效率、更低成本•更大规模图文对、视频对•更丰富的长宽比、任意分辨率Q：

请把图片转为文本表格Q：

这是什么商品图表分析分析推理基础理解①【长窗口】无损256K～百万级长窗口输入；②【长文理解&记忆】上下文理解和长文记忆，流畅支持多轮对话；③【意图识别】准确识别用户意图、进行理解、分析的逻辑推理能力，内嵌安全识别能力，更精准判断是否存在潜在安全风险④【知识增强】有效增强事实性、时效性、无害性、提升内容生成效果；⑤【文本创作】支持文学创作、文本摘要的内容创作；⑥【AI搜索】整合腾讯优质内容生态（如微信公众号、视频号等）

和全网搜索能力⑦【多尺寸】提供多种尺寸Dense和MoE模型

，覆盖不同场景。•训练效率提升108%，

推理效率提升

100%，推理成

本降低

50%，解码速度提升

20%•除支持通用大模型能力外，也支持角色扮演、FunctionCall、代码生成和AI联网搜索等领域能力混元Turbo的核心能力混元的思考能力——混元文生文模型①Dit

架构，具备Scale

up

能力；②双向注意力

Refiner，文本理解更全

局；③Scaling

Laws，

计算资源利用更高效；④16通道编码隐空间，

细节编码能力强；①混合多粒度特征提取,

提升细节和相似度

。②自适应特征投影

、融合不同粒度的特征，

适配模型。混元的创造能力——混元文生图模型文生图模型图生图模型prompt：空中飞翔的自由女神prompt：一只猫，骑自行车①超大规模数据处理系统；②适配MLLM

为文本编码器，强大的语意遵从能力，安全意图识别更精准③基于自研Scaling

Law的全注意力

DIT——更大参数、更高性能；④自研3D

VAE，更强大的图像视频重

建能力⑤基于多模态理解的视频安全大模型，融合视频与标签进行安全对齐混元的创造能力——混元文生视频模型全面升级写实画质高质感画面、细节描述丰富语义遵从语意表现精准、

多主体交互合理动态流畅动作表达完整、动态内容迅捷原生转场主体保持直出多镜头切换混元的创造能力——混元文生视频模型全面升级视频链接•

几何与纹理解耦，兼容3D设计师建模流程•

速度跨进30s内，生成质量位于业界第一梯队•

自研3D-DiT几何大模型，业界最早之一，白模生成精细•

自研3D-Paint纹理大模型，纹理生成更丰富混元3D功能矩阵混元3D大模型混元的创造能力——混元文生3D模型•

已建设AI

3D功能18项，完备性高•全覆盖3D制作管线，让3D制作AI化，低门槛、一站式3D-DiT几何大模型3D-Paint纹理大模型3D白模

3D模型一位白发蓝衣东方道士Prompt混元3D创作引擎生成效果混元的创造能力——混元文生3D模型通过3D

AI生成资产，轻游戏的搭建耗时从1月缩短到2天视频链接视频链接中文大模型基准测评2024年8月报告腾讯混元Turbo在理科、文科均居于第一名多模态生成以太坊创始人称赞混元视频生成模型千题盲测国内领先特定场景表现更优3D生成混元3D模型生成素材，高效搭建小游戏提前布局，率先发布已应用于游戏管线多模态理解国内大模型排名第一

稳居卓越领导者象限能力全面突破：各模态模型稳居第一梯队混元的创造能力——多模态大模型SuperCLUE-V基准8月榜单大语言模型业界参数规模最大的开源MoE

大语言模型拥有3890亿总参数和520亿激

活参数，能够处理高达256k的文本序列采用领先架构，四大升级；

一线闭源模型水准，最优的开源视频生成底模业内参数量最大的开源视频生成模型130

亿参数通过技术共建、赋能行业、人才培训等方式全面拥抱开源、深度改变行业生态！业界首个同时支持文字、图

像生成的3D大模型

包含轻量版和标准版，轻量版仅需10s即可生成高质量3D资产业界首个中文原生DiT架构文

生图大模型DiT

的通用性、扩展性强，是最广泛使用的文生图基座24年12月3日开源Hunyuan-Video24年11月5日开源Hunyuan-Large混元大模型全面拥抱开源24年5月12日开源Hunyuan-DiT24年11月5日开源Hunyuan-3D二、混元大模型实践与应用工蜂Copilot微信支付腾讯客服公众号微保客服

信安内容审核%,腾讯招聘腾讯广告

腾讯招聘微信读书腾讯会议米腾讯游戏腾讯文档微信搜一搜FIT金融QQ浏览器

QQ智能体搜狗输入法

腾讯视频AI搜索AI写作分析提炼角色扮演代码

客服内容审核

工具调用广告翻译标签/内容理解产品创新业务提效腾讯混元已接入700+业务场景，用大模型助力产业创新业务举例混元能力AI广告：助力腾讯广告多场景提效，带来广告转化率的显著提升支持文生图、图生图和商品生图等能力，服务妙思工作台和妙思衍生，秒级出图立等即可投放，提升创意生成效率并且可延续爆量素材广告理解广告创作广告客服IDE编程场景：工蜂Copilot小程序编程场景：

小程序教育版AI助手代码补全5大语言生成率35%，

采纳率27%代码补全：基于注释和

代码的上下文智能补全代码代码Chat：

支持自然语言提问和生成代码内容小程序教育版上线AI编程助手，面向师生推广小程序开发

教育，累计650+所试用学校，

~200所已认证学校AI生成代码+

实时预览的交互形式，

适合面向教育场景AI工具：

代码场景支持客服多轮对话，相关能力也通过腾讯云对外输出，率先落地场景，

总量已切换52.97%已接业务喊人工率从27.3%降至20.2%值得信赖的帮手，为人工客服提供

推荐话术、历史工单摘要等支持AI话术采纳率

90%智能客服体验升级%。腾讯广告AI客服：体验效率双升级客服助手 QQ浏览器微信读书AI问书功能拓宽用户的阅读半径AI精读：

提升学习深度广度QQ网页阅读助手：

速读/摘要/提问AI阅读：

深度阅读能力持续升级，使得创新阅读体验成为可能

搜狗输入法AI帮写 腾讯文档智能助手

浏览器AI作文辅导覆盖多个写作场景种草笔记支持搜索增强的写作能力AI作文入口写作辅导AI写作：支持复杂场景、复杂指令的专业写作

•

覆盖30+任务：

PPT、思维导图、待办

清单等，

支持时新类和知识类的搜索增

强写作•

写作辅导：审题立意、写作大纲•

范文生成：覆盖小/初/高学段•

AI帮写覆盖21个写作场景，覆盖

130多种使用场景•

元宝AI角色支持《长相思2》等剧集的角色对话功能，成为腾讯视频剧集宣发新亮点，

其中长相思AI角

色对话总热度近2亿，“相柳”

单角色热度1.2亿•合作获新华社、21财经等主流媒体高度评价和官方权威报道AI智能体：腾讯视频IP角色对话，打造影视剧交互新玩法

剧情推进和角色对话《三角洲行动

》-

G.T.I.

AI《元梦之星》-好好鸭腾讯QQ-智能体•以PGC和PUGC为核心，

打造沉浸拟人的陪

伴式智能体平台•提供智能体对话、空间互动、UGC智能体、

安全能力接入等IEG游戏业务•

支持《三角洲行动》，《英雄联盟》，《元

梦之星》等业务AI智能体：

混元一站式角色扮演管线已支持司内多个业务智能体设定一键生成

腾讯视频QQ浏览器

浏览器搜索大微信搜一搜

微信搜一搜微信输入法-问AI•

需求：

用户输入query后即可通过AI搜索/大模型获取答案10%+•

需求：

用大模型来提升复杂问题、代码、数学、创作等生成类

query的AI问答效果元宝AI搜索调用量百万级•

需求：

用大模型来提高

问答类query的回答效

果和覆盖率搜索整体日均QV

增长量百万级•需求：

解决模糊的、口语化、场景化的用户找片需求，如“老

莫我想吃鱼了是什么剧

”搜索结果

合格率85%+AI搜索：大模型加持问答体验，还可满足模糊搜索、复杂推理等需求MAU渗

透率三、混元大模型生态及

社会价值探索生文能力共建生图能力共建通过腾讯云对外输出混元能力及场景能力共建多通路多场景的外部产品运营活动

协同合作，突破重点头部客户，建设快速POC链路混元大模型的外部生态建设

上架多尺寸文生文、代码和领域模型、多模态理解、以及生图、视频风格化和转译品

牌

智

能

体文本摘要代码助手游戏NPC内容纠错AI搜索文案生成图像风格化百变头像AI

写真少儿编程百变换装口语训练疾病推断图片跳舞图片唱演视频风格化内容打标文本翻译人脸融合视频转译运动笔刷线稿生图背景生成情感陪聊

腾讯与中国信息通信技术研究院(CAICT)的合作已经在人工智能领域取得了实

质性的共同成果，混元模型在“模型开发”和“模型能