AI眼镜：多模态大模型的纽北赛道

AI眼镜——

多模态大模型的纽北赛道邢孝慈

豆包大模型产品解决方案总监一、大模型技术发展趋势多模态AI应用ChatBot、Copilot、Agent、AI助手、Act时代慢思考大模型技术发展趋势长文本企业软件

互联网企业软件

互联网AppsDevice

苹果

联想

三星

OPPODeveloperDataSecurityInfra判断1：大模型对基础设施变革明确

，但AI应用依然处在发展初期豆包大语言模型

豆包视觉大模型

豆包语音大模型AI云原生

AI+数据

AI+安全中

国

全

球*Source：红杉、Statista、财报、火山引擎整理联想火山方舟vivoHiAgentOPPO扣子AI行业分类头部公司总估值(亿美金)头部公司总融资额(亿美金)头部公司总收入(亿美金)头部公司数量营销48937销售1197110客服125221116代码11829213舆情6452医药872827法律52825金融712244GPU

云300146244机器人361314工具类(如LLM

训练/

微调

/

推理工具)199421115生成类(视频生成、3D生成、虚拟人生成等)10019617数据/

网络安全551325其他22043516Total153640579125判断1：大模型对基础设施变革明确

，但AI应用依然处在发展初期10000350650650640033$350B软件市场$6B

云软件市场$650B软件市场$400B

云软件市场$650B软件市场$3BAI软件市场$10T+软件和服务市场$3BAl

软件市场判断2：AI应用逐步从替代工具

，到替代服务SoftwareServiceas

a

SoftwareSoftwareas

a

ServiceAIas

a

Software*Source：红杉、火山引擎整理生成式人工智能支出2023vs2024150001380010000

65005000

22501200

16000

Total

FoundationmodelsVerticalAI

HorizontalAI12.0X

400004000020000130005000120005月

7月

9月

12月33倍判断3：24年调用量在快速发展

，25年AI应用市场依然会保持10倍速增长豆包大模型日均tokens调用量100

300

*Source：Menlo

Ventures，单位USD

Millions；右图为豆包5-12月真实调用量6.1X

6.5X

5.3X

10009月日均Tokens调用量6.2%

AI工具8.3%

学习教育36.7%互动娱乐8.3%客服与销售11.6

%

硬件助手29.0

%信息处理12月日均Tokens调用量4.0%

其他旅游规划、金融风险评估、法律事务处理、历史研究

医疗临床试验、汽车运营等场景41.0%信息处理14.0

%

AI工具23.0

%互动娱乐判断3：24年调用量在快速发展

，25年AI应用市场依然会保持10倍速增长3.0%

学习教育7.0%

硬件助手9.0%客服与销售企业数据与知识融合Fine-tuning提示词工程GraphRAGAI搜索与推荐成本

、延时性能优化延时优化的推理训推一体KV

Cache模型蒸馏数据与模型安全PCC私密云操作审计

环境隔离AI

checks建立和编排Agents工作流智能体开发模型选择多模态模型多尺寸模型导入自有模型模型评估AI应用/AI

Agent

落地需要打破更多壁垒构建AI应用/AI

Agent的关键路径模型市场

PD分离架构

企业知识库二、大模型落地的挑战与应对挑战1：在业务落地中选择更强的模型举例：

豆包·

视觉理解模型更细腻的视觉描述能力细节描述、指令遵循、多种文体创作更强内容识别能力图像知识、动作情绪、位置状态、中国传统文化、文字信息

基于图片生成爆款文案更强理解和推理能力数学、逻辑、代码

拍照搜索

金融投资研究

手写批改

拍照解题

金融直播质检

作文批改

儿童拍照对话

照片故事生成

购物小票识别

自动驾驶训练

文档图片识别

智能手机助手

图像搜索

图片打标

电商直播质检

报告图表解读

图片审核

金融票据

具身智能电商营销场景教育场景旅游场景模型优势应用场景应用场景微剧本（音乐MV、微电影、短剧等）豆包·

视频生成模型，精准语义理解、强大动态及运镜能力通过精准语义理解

、

强大动态及运镜能力创作高质量视频

，

支持文本和图片生成两种模式模型优势多动作多主体交互

一致性多镜头生成强大动态与炫酷运镜多风格多比例高效的DiT融合计算单元更充分地压缩编码视频与文本深度优化的Transformer结构大幅提升视频生成的泛化能力全新设计的扩散模型训练方法一致性多镜头生成城市文旅动画教育电商营销Sess

ion

cache助力短时效、上下文记忆场景……客服助手缓存命中部分2折，节省高达80%未使用cache费用使用cache费用减少多轮对话的延迟，改善用户体验延迟下降

50%某客户前缀命中的场景中，端到端延迟从2.7s降低到1.14s无须重复对话，即可保留上下文Context上下文缓存：更快，更省挑战2：

实现成本

、延时和性能优化Prefixcache助力一致性、高频命中场景输入

输出社交陪聊信息抽取数据分析输入（miss）输入（hit）存储

输出……充沛的公有云GPU资源池，资源潮汐调度，保障流量高峰业务稳定创建模型接入点后瞬时可用，路由信息持久化保存，即用即达分钟级完成千卡扩缩容，有效支撑突发流量和业务高峰，为企业降低成本强劲的系统承载力，是充沛算力、推理层优化、系统调度能力的乘积海量资源瞬时可用极致弹性03、环境强隔离通过多维度强制隔离，杜绝外部风险入侵和内部数据泄露02、数据高保密实现对用户数据的机密性保护保证用户数据非本人不可见密文从安全沙箱直写至分布式存储支持用户自定义密钥01、链路全加密保证从用户到方舟安全计算环境之间是“端到端”的加密通信通道，防止用户数据在传输链路中被截获网络层的传输加密应用层的会话加密04、操作可审计影响用户数据资产的所有操作均有日志记录，验证安全策略生效，识别潜在风险沙箱连接日志沙箱容器逃逸日志接入点访问日志数据唯你可见，唯你所用，唯你所有挑战3：保障全周期安全可信

、会话无痕可信数据访问代理白屏化运维细粒度网络隔离vArmor拦截日志沙箱登录日志可信容器沙箱KMS访问日志有很多高价值的问题是没有标准答案的模型越强提示词越重要挑战4：实现算法驱动的自动化Prompting

Eng

ineering相同问题在不同模型上得到的效果有差异模型越强

，

问出好问题的价值越大电商场景满分比例60.86%

91.80%验证数据量46条招聘满分比例72.12%

81.25%验证数据量35条汽车智能助手满分比例50.94%

75.50%验证数据量53条实现算法驱动的自动化Prompt

ing

Eng

ineer

ing尺码表抽取+历史会话理解+推荐合适尺码识别车舱内用户指令+理解车舱操作函数+激活函数参数职位信息抽取+简历关键信息抽取+匹配等级分级30.95%

24.56%

9.13%

挑战5：

实现基座模型与企业数据和知识的融合大模型+企业数据和知识

大模型+

多模态搜索与个性化推荐强大的AI搜索+强大的AI推荐

，1+1>2AI搜推，发现更多，推荐更准，搜索无限可能人与信息的一体两面，搜索+推荐三、所有的智能硬件都可以用AI

重塑一遍智能家居传感器终端无处不在

，模型无处不在

消费者

手机

手表

音响玩具...VLMVLA3DLLM电视/大屏会议屏机器人无人机学习机平板汽车耳机空调电视拟人度差豆包角色扮演大模型人设稳定角色高度可定制，扮演更有温度智能度差豆包大模型多个维度性能领先全面提升智能度应用生态差Coze具有海量的AI应用字节丰富的应用生态行业痛点coze垂类AI服务身份管理火山引擎基础服务应用插件跨端抽象层应用框架系统管理安全组件AI服务终端和数据应用底座系统组件基础组件硬件抽象层：OSAL，HAL，MAL蓝牙

WiFi场景化AI配置终端管理终端管理连接组件个性化AI管理安全管理数据安全通道基础AI服务数据管理AI增强多媒体音频组件AI增强图形组件豆包大模型家族字节应用生态4G

Cat.1/4次对接无限扩展嵌入式AI引擎提供了一套端边云一体的AI基础设施，并结合豆包大模型家族、coze、字节应用生态提供场景化业务能力，使客户产品快速实现高质量的AI目标，其主要特性包括：Hardware

As

A

Serv

ice

极原生端边云AI通道，快速打通云端场景化的AI服务，一

端侧能力完备，让客户快速具备AI应用场景的各底层基础极低的资源占用，典型如AI耳机RAM占用低于40