2025大模型技术的重要特性与发展趋势

通用智能的大模型技术2023年12月1日大模型技术的重要特性与发展趋势人工智能核心命题—掌握完成复杂任务的知识1956达特茅斯会议1957感知器发明低谷1970-1980机器翻译项目失败证明感知器无法完成复杂任务1980年代多层神经网络五代机项目1986BP、PDP算法低谷1990-2000五代机失败政府投入缩减深度学习2010至今人脸识别

AlphaGo等人工智能核心命题—让机器掌握完成复杂任务的知识AI诞生 专家系统1人工智能发展路线—符号智能专家规则库/知识库、Noam

Chomsky（语言学巨擘）20世纪50年代后，词法句法、语法规则被广泛应用于自然语言理解Edward

Feigenbaum（图灵奖获得者）专家系统由知识库与推理机构成，知识库存储事实和规则，推理机则基于知识库进行推理19601980问：青蒿素抑制什么？答：疟原虫问：疟疾是什么？答：疾病问：疟原虫是什么？答：无法回答符号知识手工总结2符号智能：专家手工构建规则库和知识库，以规则库和知识库解决具体问题局限：规则与知识难以穷尽式枚举，无法解决规则库和知识库未覆盖的任务人工智能发展路线—专用智能问：计算机英文是什么？答：Computer问：计算机法文是什么？答：Ordinateur问：1+2=？答：无法回答Judea

Pearl（图灵奖获得者）概率与统计方法被引入自然语言处理，模型从符号系统推演转变为数据驱动学习Yann

LeCun（图灵奖获得者）2010年后神经网络兴起，将数据驱动的效果推到新高位，成为当前自然语言处理主要范式19902010中文：中国首都是北京

English:The

capital

ofChina

is

BeijingFrançaise：La

capitalede

la

Chine

est

Pékin…中国首都BeijingPékin北京神经网络参数结构特定任务带标注数据 机器学习 任务专用小模型 专用知识专用智能：利用数据驱动机器学习从特定任务带标注数据之中自动学习知识，以小模型参数存储知识局限：要针对特定任务

标注数据，标注代价高，无法解决标注数据未能覆盖的任务3人工智能发展路线—通用智能自监督预训练学习问：计算机英文是什么？答：Computer.问：如何治疗疟疾？答：青蒿素。问：1+2=？答：3通用大模型 通用知识书籍新闻论文

报告通用域无标注数据通用智能：采用自监督预训练方法从海量通用域无标注数据中自动学习知识，以大模型参数存储知识优势：无标注数据廉价易得近乎无限；大模型有力支持知识的学习和存储2020年1750亿参数大模型GPT-3发布，具备解决数十种文本任务的能力，人工智能进入通用智能时代LLM42023年发布的ChatGPT和GPT-4

具有通用认知能力，可通过文字、视觉、语音信号与人类交互，可使用人类工具处理复杂任务，已被用于政务、商务等众多领域进行智慧赋能人工智能发展路线—小结符号智能时间：1950-1990知识来源：领域专家获取方法：手工总结知识形式：以知识库等符号系统存储专家知识专用智能时间：1990-2018知识来源：特定任务带标注数据获取方法：机器学习（自动）知识形式：以任务专用小模型存储任务知识通用智能时间：2018至今知识来源：通用域无标注数据

获取方法：预训练学习（自动）知识形式：以通用大模型存储通用知识自1956年达特茅斯会议至今，人工智能经历三个主要发展阶段呈现从手工总结到自动学习，从离散符号到连续参数，从专用智能到通用智能的趋势5通用智能—通用模型架构使用Transformer通用架构对各类数据进行建模循环神经网络（

RNN

）

擅长

处理一维序列化使用Transformer进行文本建模文本、语音数据卷积神经网络（

CNN

）

擅长

使用Transformer处理二维平面图片数据进行图片建模图神经网络（

GNN

）

擅长处理结构化、半结构化图数据使用Transformer进行图结构建模6通用智能—通用学习方法Causal

Language

ModelingLLM翻译正误判断相似度评分摘要使用预测下一个字符（Token）的语言建模任务（LanguageModeling），从无标注数据中学习通用知识各类自然语言处理任务均可转化为序列生成任务进行处理语言建模过程翻译、正误判断、相似度评分、摘要等文本任务均可转为语言建模形式7通用智能—通用模型能力机器翻译信息检索文本生成智能问答预训练大模型文本任务评测基准GLUE8单个预训练大模型可同时处理多种任务在若干权威评测上达到或超过人类水平，远超传统任务专用小模型的水平通用智能—大数据+大算力获取通用知识需要大数据，存储通用知识需要大参数，训练大参数模型需要大算力过去4

年间，训练数据增长500

倍，参数规模增长5000

倍，计算量增长10000

倍大数据+大算力使大模型具备大规模通用知识，可处理复杂任务包括美国三院院士

Li

Fei-Fei、美

国

文

理

学

院

院

士

Christopher

Manning

和

Dan

Jurafsky

在内斯坦福大

学100多位学者联名发表长达

160页的观点文章，提出超大规模预训练模型将是实现通用人工智能的“基础模型”训练数据数量级（Tokens）模型发布时间（红色为千亿级模型）预训练计算量（FLOPs）模型发布时间图片生成代码生成智能问答9机械控制大模型是人工智能前沿制高点里程碑事件主要特点基于大数据和人类反馈进行学习，与用户通过对话进行交互，能够处理多任务，深层推理与常识运用能力大幅度提升2022/11/30:

OpenAI发布文本对话模型ChatGPT2023/01/31:

ChatGPT月活用户突破1亿2023/02/07:微软产品全线整合ChatGPT2023/03/15:

OpenAI发布图文对话模型GPT-42023/05/15:

OpenAI发布人工智能助手AutoGPT2023/10/05:

OpenAI发布多模态模型GPT-4V大模型发展历程10ChatGPT标志着人工智能进入新时代，加速引领新一轮科技革命大模型将成为智能时代基础设施数据管理接口抽象信息治理接口抽象知识获取接口抽象高效数据索引分布式计算预训练、微调、推理SQL数据库Map-Reduce分析系统大模型系统用户逻辑层物理执行层数据

Data信息

Information知识Knowledge智慧

Wisdom数据管理（1970s）信息管理（2010s）知识管理（2020s）归纳智能（2023后）Russell

Ackoff（工程系统巨擘）“From

Data

to

Wisdom”通用人工智能11大模型将成为科技革命必争之地大模型研究长期为美国主导，且对中国实行较为严格的封锁数据、算力、算法自主可控迫在眉睫Transformer(谷歌,2017)所有基础模型的基石参数规模：1.68亿A100加速芯片(英伟达,2020)同期性能最优加速芯片FP16：312

TFLOPSGPT-3(OpenAI,

2020)首个超大规模基础模型参数规模：1750亿V100加速芯片(英伟达,2017)同期性能最优加速芯片FP16：125

TFLOPSH100加速芯片(英伟达,2022)当前性能最优加速芯片FP16：1000

TFLOPSGPT-4(OpenAI,

2023)通用人工智能重大突破参数规模：16000亿Megatron(英伟达,2019)大模型分布式训练框架千卡级并行加速Deepspeed(微软,2020)大模型分布式训练框架万卡级并行加速PyTorch(Meta,

2017)深度学习框架被80%的研究工作采用英伟达高端芯片对中国禁售OpenAI

技术闭源且对中国禁用中文母语者全球最多，但英语实际主导全球信息交流，数据量最大2大模型能力与特点需求期望世界价值大模型能力和特点随着计算量和数据量的增大，大模型会涌现出解决复杂任务的能力大模型可以与人类的需求、期望、价值观、伦理道德等进行深度对齐大模型技术能够对任何可以被序列化的事物进行压缩和学习复杂深度

推理语言理解建模计算量伦理道德压缩与学习知识筑基能力激发范式拓展程序代码

工具使用生物序列大模型技术实现从无标注大数据萃取世界知识的通用范式能力涌现

人类对齐

序列化世界14能力与特点—智能涌现涌现：量变引起质变，多个小实体相互作用产生了呈现全新性质的大实体智能涌现：当计算量突破一定规模，大模型表现出新智能，部分困难任务迎刃而解15能力与特点—智能涌现学习大数据需要大参数，训练大参数模型需要大算力，计算量增长使模型涌现智能16大模型随计算量增长而不断生出新能力大模型随计算量增长而产生能力阶跃16能力与特点—人类对齐大模型从无标注数据中获取知识，涌现通用智能，但仍需与人类期望输出对齐回复质量隐私保护大模型需要确保在处理隐私信息时能够充分保护用户的隐私，避免任何形式数据泄露或滥用伦理道德大模型应遵循广泛接受的伦理和道德标准，不应产生有害、冒犯或误导的内容，避免潜在的道德陷阱共情能力模型在回应用户时应能够展现出理解和同情的能力，通过对用户情感的敏感反应，提供人性化、有温度的互动体验事实依据大模型的回复必须基于真实、准确的信息，具有检测和纠正错误信息的能力，保证回复有可靠的事实依据。逻辑能力大模型生产的内容时应展现出连贯性、一致性和推理深度，理解基本的逻辑准则且能够深入推理基于预训练数据中的海量背景知识给出具有深度、广度、详细、有信息量的回复17能力与特点—人类对齐通过“思维链”一步步推理对齐后，大模型可衔接数字空间和人类社会逻辑提升情绪关怀专业能力对用户产生情绪关怀使用代码来阐释专业问题18能力与特点—序列化世界在文本之外，可通过序列化方法抽象、学习物理世界中的万事万物语言在大模型中，它们都是字符（Token）的序列图像DNA电磁波工具使用任何可被序列化的信息均可被大模型学习MagneticFieldElectricField['Founded',

'in',

1988,',

Huawei,

'is']..['class',

'SCLASS',

$INT',

'=',

';']..['(',

'(',

'10',

'+',

'4',

')',

'^',

'2',

')'].[检索,'翻页','摘取,','翻译','总结']..19能力与特点—序列化世界序列化方法可将海量世界信息高效压缩到大模型中，获取知识、归纳智能GZIP压缩大模型（最右）对图片的压缩率远高于普通压缩算法OpenAI等机构认为大模型本质上可以等价于Kolmogorv压缩“压缩即智能”20原始图片大模型3迈向通用的人工智能迈向通用的人工智能高效的大脑思考世界、敏锐的感官感知世界灵活的双手操作工具、有效的沟通形成文明22迈向通用的人工智能方面深度学习小模型大模型重要特性稀疏激活稠密半稠密稀疏(<5%)术业有专攻多模态智能/语言偏向语言主导博学而多才工具智能//具备善假于物也群体智能//初步具备团结即力量重要的人类能力：高效大脑、敏锐感官、灵活双手、沟通交流

通用的人工智能：稀疏激活、多模态智能、工具智能、群体智能23迈向通用的人工智能方面深度学习小模型大模型重要特性稀疏激活稠密半稠密稀疏(<5%)术业有专攻多模态智能/语言偏向语言主导博学而多才工具智能//具备善假于物也群体智能//初步具备团结即力量重要的人类能力：高效大脑、敏锐感官、灵活双手、沟通交流

通用的人工智能：稀疏激活、多模态智能、工具智能、群体智能24稀疏激活：让大模型实现类脑高效The

search

for

true

numbers

of

neurons

and

glial

cells

in

the

human

brain:

A

review

of

150

years

of

cell

counting.

Journal

of

Comparative

Neurology,

2016.神经元稀疏连接使大脑形成功能模块语言认知需要视觉、听觉、注意力等多模块协同处理人脑的模块化结构：高效性、可复用性、可解释性高效性：人脑的神经元连接高度稀疏形成若干功能模块，功能模块的定向激活使得人脑计算极为高效可复用性：模块的复用与组合是人脑复杂认知能力的重要基础可解释性：模块的激活、复用与组合模式可用于人脑思维过程解读亟需融合神经科学前沿进展，突破现有基础模型架构局限性2022年，图灵奖获得者YannLeCun和Yoshua

Bengio

联合发布NeuroAI白皮书，指出神经科学可为下一代人工智能提供指导人脑

vs.

GPT-3参数规模1750亿100%参数参与计算初始神经元2000亿激活比例<5%单次推理能耗<15瓦反应时间<100毫秒单次推理能耗400瓦推理时间约2000毫秒The

cost

of

cortical

computation.

Current

biology,

2003.25LLM中神经元功能分化，各个神经元各司其职：理解概念、控制情绪与行为…LLM中神经元稀疏激活，80%的输入只激活大模型前<5%神经元稀疏激活：打开大模型黑盒的关键钥匙通过控制神经元来操控大模型的行为概念神经元

情感神经元RepresentationEngineering:

A

Top-Down

Approach

to

AI

Transparency.

arXiv

2023.26四两拨千斤：优化小参数实现全参数微调效果27大模型参数高效微调（Delta

Tuning）：保持模型大部分参数不变，仅更新极 少参数（<1%）实现适配下游任务，显著降低计算和存储成本训练节省50%~70%显存，显著节省模型存储开销对于百亿以上规模的基础模型，优化任意参数即可达到全参数微调的效果Delta

Tuning只需训练和保留轻量级参数集，可以视为特定能力插件Delta

Tuning发表在Nature

Machine

Intelligence2023年封面文章高效微调：OpenPrompt/OpenDelta28OpenPrompt工作流支持实现各类提示学习算法OpenDelta

不修改模型源码，即插即用模块化：Prompt

Template处理输入/Delta优化模型/Verbalizer处理输出统一性：不修改模型代码，即插即用，支持Huggingface和BMTrain模型库扩展性：灵活的框架设计，易于实现最新的科研进展高效部署：基于推理接口的黑盒解码微调29Decoder

Tuning:

Efficient

Language

Understanding

asDecoding.

ACL

2023.仅用模型推理API在输出端进行增量微调，对下游任务进行适配中心大模型和增量模块分离，保护用户隐私与已有黑盒微调方法相比实现200倍加速，接口调用次数减少10倍以上大模型模块1模块2模块3文本分类信息抽取文本生成本地云端模块化模型：可配置的高效大模型MoEfication:

Transformer

Feed-forward

Layers

are

Mixtures

of

Experts.

Findings

of

ACL

2022.功能分化

+

稀疏激活

模块化分区选择部分参数计算，将计算降低至20%稠密模型This

morning

I

ateapplesThis

morning

I

ateapples功能分区30模块化模型：可配置的高效大模型Plug-and-Play

Document

Modules

for

Pre-trained

Models.

ACL

2023.Variator:

Accelerating

Pre-trained

Models

with

Plug-and-Play

Compression

Modules.

Findings

of

EMNLP

2023.功能分化

+

稀疏激活

模块化分区选择部分参数计算，将计算降低至20%外部能力插件化为模型补充更新的世界知识与能力结合模块化分区，打造模块化基础模型能力插件模块化基础模型功能分区任务插件知识插件工具插件模态插件稠密模型This

morning

I

ateapplesThis

morning

I

ateapples功能分区31模块化模型：低成本大模型云服务可配置：根据任务与指令需求，动态选择模块，组建模型支持万余种能力毫秒级线上切换，大幅降低AI研发算力、人力、数据成本可扩展：通过对模块的增加、更新，来实现基础模型的持续学习不断学习新知识的同时，不遗忘已有能力，实现高效持续学习云端协同：仅用模型推理API在输出端进行增量微调，对下游任务进行适配中心大模型和外部插件分离，保护用户隐私，与已有黑盒微调方法相比实现200倍加速功能分区云服务器本地文本分类信息抽取文本生成32插件大模型大模型云侧服务端侧应用迈向通用的人工智能方面深度学习小模型大模型重要特性稀疏激活稠密半稠密稀疏(<5%)术业有专攻多模态智能/语言偏向语言主导博学而多才工具智能//具备善假于物也群体智能//初步具备团结即力量重要的人类能力：高效大脑、敏锐感官、灵活双手、沟通交流

通用的人工智能：稀疏激活、多模态智能、工具智能、群体智能33多模态智能：让大模型走进物理世界面包在哪里面包在餐桌上任务规划视觉模态任务执行如何切面包用刀切面包如何烤面包用面包机烤面包文本模态任务输入多模态智能是拓展大模型能力边界，迈向通用人工智能的必由之路单模态智能 多模态智能 通用人工智能音频模态请帮我烤一个面包34多模态智能：让大模型走进物理世界GPT-4v可以进行精准的图片文字识别，准确理解图片中物体

GPT-4v可以进行十分逼真的对话，具备语气、重音、迟疑、呼吸

DALL-E

3可以根据人类需求，绘制出多样、精美的图片GPT-4v可以将图片中的物体与菜单照片中的文字进行对应，并算出总消费价格GPT-4v可以与用户进行实时对话，解决用户提出的问题DALL-E

3可以在对话中进行图片生成，并且可以根据反馈建议进行修改35多模态智能：前沿研究方向精细视觉语义分割与识别应用领域：自动驾驶遥感图像分析实时视频检测代表：Meta、Microsoft36复杂视觉语义理解与推理应用领域：文档理解智能助手智能机器人代表：OpenAI、Salesforce精准可控的图像生成应用领域：内容创作3D建模智能制造代表：Midjourney、Adobe案例：开源中英双语多模态大模型VisCPM

基于CPM-Bee基座的百亿参数量多模态大模型

涵盖图文双向生成，支持中英双语交互

VisCPM-Chat：面向图像的多模态对话模型，达到中文最佳水平VisCPM-Paint：文本到图像生成模型，达到中文开源最佳水平

37多模态智能：以语言模型为枢纽的统一建模以语言模型为枢纽核心，实现涉及多种模态复杂任务的统一建模语言模型语义核心知识枢纽文本图片音频视频更多模态输入：各种模态数据38字幕生成海报生成语音合成智能交互更多任务输出：各种任务形式多模态智能：代表智能应用多模态能力的提升可以让许多智能应用走入现实自动驾驶：结合图像、声音、雷达等多模态信号实现智能驾驶智能家居：利用视觉、音频等模态融合技术实现智能家居系统AI数字人：构建实时交互数字人，应用于行业播报、电商直播等场景39迈向通用的人工智能方面深度学习小模型大模型重要特性稀疏激活稠密半稠密稀疏(<5%)术业有专攻多模态智能/语言偏向语言主导博学而多才工具智能//具备善假于物也群体智能//初步具备团结即力量重要的人类能力：高效大脑、敏锐感官、灵活双手、沟通交流

通用的人工智能：稀疏激活、多模态智能、工具智能、群体智能40创造和使用工具是人类智能的关键特性工具改善人类生活条件，提高生产效率，推动科技和文明的进步纵观历史，人类一直是发明和使用工具的主体问题：人工智能是否具备与人类同样创造工具和使用工具的能力？41工具智能：前沿研究方向2021.12WebGPT使用搜索引擎2022.10Mind

'

sEye使用物理引擎2023.01PAL使用编程工具2023.08ToolLLM使用16000+API2022.07WebShop使用购物网站OpenAI、Google等陆续发布WebGPT、ToolFormer等项目，证明大模型能够模仿人类使用搜索引擎、计算器等外部工具，达到了超越人类用户的工具使用性能42工具智能：实现路径模仿学习：通过记录人类使用工具行为数据，大模型模仿人类行为习得工具学习能力教程学习：通过让模型阅读工具使用手册（教程），理解工具功能及其调用方式强化学习：模型能够通过自主探索，基于强化学习，根据环境反馈纠正错误1.

模仿学习

2.

教程学习3.强化学习（用户点击序列：下翻页面、点击、键入等）（API手册、工具文档等）（API调用成功率，用户反馈等）人类监督逐渐减少，模型自主化程度逐渐提高43案例：WebCPM使用搜索引擎工具通过用户行为克隆，WebCPM在30%+情况下与用户使用搜索引擎水平持平或超越模型从人类行为数据中学习到了类人的搜索策略行为数据收集平台WebCPM搜索流程Qin,

Yujia,

et

al.

"WebCPM:

Interactive

Web

Search

for

Chinese

Long-form

Question

Answering."

ACL

202344工具智能：利用工具提升智能水平ToolLLM:大模型能够学习掌握16000+真实API，通过多轮多工具调用解决复杂问题+搜索引擎+做饭机器人+扩散模型回复以下为推荐书籍：《优秀的投资人》《简单致富》…回复这是根据您的要求绘制的埃菲尔铁塔水彩画作，由扩散模型生成。规划1/剥香蕉。2/搅拌香蕉和酸奶。稳定扩散模型Stable

Diffusion使用扩散模型提示词：埃菲尔铁塔，水彩投资类书籍基础模型请帮我做一碗香蕉酸奶。请给我推荐一些适合理财小白的理财相关书籍。请帮我画一幅水彩风格的埃菲尔铁塔图片。搜索执行XAgent:大模型智能体实现通用复杂任务处理（例如自动数据分析）Yujia

Qin,

et

al.

ToolLLM:

Facilitating

Large

Language

Models

to

Master

16000+

Real-world

APIs.

PreprintXAgent:

/45工具智能：赋能业务自动化工作流通过自动化执行提高工作效率，但工作流的构建需要花费大量人力物力财力工作流的本质是固化的工具使用过程，可以基于大模型自动化设计构建工作流自动构建工作流业务流程自动化46迈向通用的人工智能方面深度学习小模型大模型重要特性稀疏激活稠密半稠密稀疏(<5%)术业有专攻多模态智能/语言偏向语言主导博学而多才工具智能//具备善假于物也群体智能//初步具备团结即力量重要的人类能力：高效大脑、敏锐感官、灵活双手、沟通交流

通用的人工智能：稀疏激活、多模态智能、工具智能、群体智能47群体智能：智能的第二次涌现个体智能涌现群体智能涌现神经元数量增加带来生物个体的智能涌现参数增加带来单个大模型的智能涌现生物体群聚带来生物群体智能涌现AI群聚带来AI群体智能涌现()100大90脑80神70经60元50数40量30十20亿1001101001000100001000001000000BERT

GPT-2

GPT-3

PaLM

(模型参数量百万)48群体智能：自主语言交互的群体协作新范式语言交互搭建沟通桥梁，通过任务分工和协作执行处理复杂任务集体协作实现多方优势互补、配合无间，有效提高解决问题的准确率群体智能与语言交互相得益彰，智能体合作实现各异其韵，协作其歌49群体智能：前沿研究方向实现多智能体间的方案提议、决策研讨、分工执行在协同编程、数据库运维等场景验证效果双智能体三智能体多智能体议题辩论信息互验第三方裁判社会群体协同工作50群体智能：智能时代协同创新引擎群体智能：划分为社会模拟型与任务完成型两类形式实现“人类-环境-机器”无缝链接，孕育并引领下一代人机协作范式社会模拟型斯坦福的SmallVille小镇：基于层次规划的智能体社会小镇，实现人类社群行为的可信模拟任务完成型清华NLP的ChatDev数字团队：基于语言交互的智能体软件开发，实现群体交互协作式任务完成案例：智能群体交互式软件开发ChatDev数字团队：由大语言模型驱动的多角色智能群体协同进行需求分析、系统设计、程序编码、集成测试、文档编制组织管理：交流链将软件开发分解为原子任务组成的“生产线”技术思路：通过角色化、记忆流、自反思实现智能体间的方案提议和决策研讨过程降本增效：软件制作平均时间小于7.0分钟且制作成本约$0.3美元Chen

Qian,

et

al.

Communicative

Agents

for

Software

Develo