版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
阿里云行业AI大模型解决方案1大模型技术的发展趋势2行业大模型落地的整体解决方案3行业大模型的应用实践案例目录
大模型带来新一轮的技术革命
大模型的核心优势
随着模型参数规模的增加,模型的准确率、推理能力、泛化能力在持续的提升非线性增长
,达到某个临界值(在百亿参数规模会)会产生涌现(emergentabilities):例如思维链能力、情景学习能力涌现效应EmergentAbility下图展现了大模型的涌现能力,即语言模型的性能随着参数量增加并不是线性关系,而是突然跃升,即涌现。在未达到
门槛之前,性能一直在随机的水平徘徊来源:
Language
Modelsare
Few-Shot
Learners世界知识&常识Worldknowledge足够大量的数据才能让模型学会「常识,即世界
知识」,如上图所示,横坐标为数据量。思维链能力Chain-of-Thought情景学习(
ICL)能力(In-context
Learning)©
2009-2025
Copyright
byAlibaba
CloudAll
rights
reservedAI原生应用架构ToolsPerception
ActionsPromptResponseInstructionsPromptAI原生应用架构模式单
应
用
多
应
用单Agent高代码/零代码单任务Workflow低代码/高代码多Agent高代码/零代码应用趋势:
AI原生应用架构模式基于模型,Agent驱动,以数据为中心,整合工具链具象(Code编排)泛化(LLM编排)PlanningReasoningMemoryAgentLLMRetrieveRAG|Apsara
StackStore5阿里从2018年开始大模型研发长期投入、持续演进、保持前沿
2025Qwen3系列模型QwQ-32B模型能力Grok32022通用多模态模型OFAmPLUG多模态理解生成模型通义大模型Instruct
GPTPaLMChatGPT2024Qwen1.5-MoEQwen2.0Qwen2.5…GPT-4oGPT-o1Llama
3Claude
3Gemini
Live2023通义千问通义听悟通义灵码通义千问VLGPT-4BardPaLM-2LLaMa2021中文PLUG十万亿M6SwitchTransformerCPM-22020AliceMind深度语言模型GPT-3GshardmT52019万亿参数多模态大模型M6GPT-1
(151Z)BARDT52018StructBert深度语言模型BERT2017Transformer阿里云智算技术架构随着大模型发展不断迭代阿
里
巴
巴开始MoE架构探索全球Qwen3-235B登顶全球最强开源模型5
Omni
7B-Qwen3-235B-A22B仅
1/3参数超越DeepSeek
R1登顶LiveBench开源模型榜(2025/05/06)国内首款“混合推理模型”同时支持快慢思考模式2025年5月数据,来源:
https://livebench.ai/#/Qwen衍生模型数量
10w+
,
Top1Qwen2.5-1.5B占HuggingFace2024开源模型下载量
26.6%
,Top12025/05/06OpenLLM
LeaderBoard排名https://huggingface.co/spaces/HuggingFaceH4/open
_llm_leaderboard通义Qwen是全球领先的大模型家族
Qwen系列衍生模型数量全球Top1HuggingFace排名前十的开源大模型
均为Qwen72B的衍生模型
Qwen2.5-1.5B单模型下载量全球Top1Qwen2.
-
全模态性能领先阿里云大模型体系规划:
智能时代的云智一体技术体系 通义灵码实时记录阅读助手通义法睿通义晓蜜
PPT创作
翻译助手
语音通话
、通义星尘
、…深度推理多模态AudioVL
Omni
Math
Coder局部重绘
图生视频场景模型模型社区基础模型模型应用模型服务文生视频文生图大语言模型垂直领域Qwen-PlusWanx-T2I
Wanx-T2VQWQ
QVQQwen-TurboQwen-Max涂鸦作画配乐生成目录
1大模型技术的发展趋势2
行业大模型落地的整体解决方案3行业大模型的应用实践案例大模型解决方案架构智能算力底座AIstack大模型应用开发大模型服务数据知识中心大模型场景化应用阿里云大模型解决方案架构
中间件&
数据库异构算力统一纳管平台APG
智能算力集群大模型训练推理大模型服务管理通用CPU
算力智能体设计编排智能体发布智能体调试工具箱注册能力应用模板知识库数据接入知识加工数据集生成数据处理GPU的性能应该基于大模型训练、推理、应用开发进行综合评估GPU性能≠单卡算力,而是指综合的软硬件能力•GPU能够直接处理的数据量•决定训练过程的并行计算策略的灵活性•决定推理过程中的模型装载能力•决定训练和推理过程中的缓存能力连接带宽•片间互联带宽•PCIe带宽•
决定并行计算的通信开销•决定数据读取、显存卸载的装载开销•FP16的TFlops数值,主要体现在计算Core的数量•
决定训练和推理过程中执行具体的矩阵浮点计算的能力机内其他GPU•芯片的架构设计决定编程实现方式(指令集)•
决定是否兼容CUDA,从而广泛地共享各类加速框架GPU的部件构成
GPU的能力构成CPUPCIe总线HBMHBM显存容量高性能网卡内存1
计算Core(含L1/L2缓存)参考行业公开资料和PPU设计架构图
片间互联总线
4
线程管理器4
算法加速单卡算力3322231GPGPU路线:应对各种路况的“SIMT”NPU路线:
软件定义一切“SIMD”…T1T2Thread
ThreadThreadT3设计哲学:应对不同的路况,要对路况有普遍适用性。GPGPU的SIMT模型就像一台功能强的“多用途车”。可以在市区、高速、碎石路上形式
(ML/AL、各种开源算子),驾驶简单(算子开发)•访存时延可控:GPGPU通过高效灵活的warp调度,当计算任务需要等待数据时,硬件会
自动切换到其他准备好的任务,保持“引擎”(计算单元)始终处于高效运转状态•开发者友好:
开发者无需关心底层硬件的复杂时序和资源管理,可以专注于算法创新本身。这极大地降低了开发门槛,提升了迭代效率。•动态访问内存适应性高:
GPGPU的多级Cache(如L1/L2)
可动态适配不规则内存访问模式设计哲学:只适应特殊路况,驾驶技术要求极致DSA为了将更多芯片面积用于计算单元(一个更大的引擎),
在特定的路上追求单一的速度
•软件定义一切:“操作”的全部责任都落在了开发者和编译器身上。开发者必须通过软件
手动编写指令,精确控制数据在何时、何地、如何流动,
以避免“引擎熄火”或“转速不
匹配”。•高昂的“驾驶成本”:
这种模式对“驾驶技术”要求极高。为一款新模型进行适配,就像
要求赛车手为一条全新赛道重新学习所有的换挡时机和刹车点,
过程极其痛苦、耗时且容
易出错。•内存使用复杂:
Buffer通常针对特定数据流静态优化,在通用并行任务中灵活性较低,
矩阵计算需要三个buffer处理,并且输出buffer不能给输入使用,
需要大量数据搬移,
开发难度大,数据移动的功耗大于数据计算。结果:
驾驶体验轻松,适应各种路况。虽然在赛道场景速度不是最快,为驾驶员提供了简单、
一致的接口,在各种路况下都能提供平顺且高效的性能。结果:
理论性能顶尖,对路况要求严格,特定场景、驾驶员才能发挥性能。只有顶级的专业车手在一条完美的、为其量身定制的赛道上,才能开出它的极限速度。对普通开发者和多变的应用场景极不友好。面对软件开发,
GPGPU的“并行设计”和DSA的“软件控制”
复杂度不会消失,只会转移。面对大模型带来的复杂性,GPGPU选择用更灵活的硬件设计换取软件的性能发挥与开发便捷性;而DSA则将硬件做到极致简化和专用,将巨大的调度复杂性转移给了软件和开发者。WarpAI
CPUCUDA
CoreCUDA
CoreCUDA
CoreT2
DataT3
DataT2
DataT2
DataT3
DataT3
DataT1
DataT1
DataT1
DataAI
Core
AI
CoreDataDataData自上而下通过兼容CUDA接口复用丰富的生态软件软件生态丰富、应用适配速度快Tensor
Flow
共paddle
paddleNwh
DeepSpeedParrotsApexMegBrain
oneflou
MMdetectionMMCV
Detectron2wk
erasFastMoE自下而上修改算子通过框架屏蔽应用差异算子适配难度大、周期长、依赖原厂CUDA市场几乎垄断,兼容CUDA千篇一律,
自研生态各种不同全球超过90%的开源AI项目基于CUDA开发,其生态已成为AI训练与推理的行业标准。主流深度学习框架(如PyTorch、TensorFlow)深度依赖CUDA进行加速CUDA已经成为事实标准,从整个生态来看,其他的标准会导致软件生态碎片化和割裂严重自研生态的底层加速引擎,通过支持相应框架,实现模型与应用迁移天数华为寒武纪沐曦阿里海光类CUDA编译
(高水平兼容)基于CUDA的算法代码绝大多数框架类CUDA接口APG
指令集国产化GPU(GP-GPU)目前国产GPU对CUDA生态有三种策略
ROCm兼容框架ROCm指令集国产化GPU(GP-GPU)•由于硬件构造不同,难以直接通过转译/wrapper进行兼容,•
技术路线封闭,业务改造成本高•
通过开发独立框架,培养独立生态•
硬件构造相似,且依托ROCm体系进行指令集构造•
原生支持ROCm,可通过转译支持
CUDA•
硬件构造相似,且自研指令集,与CUDA在软件实现上高度相似•
可直接通过wrapper进行代码重编译,不需改代码CANN指令集国产化GPU(NPU)独立于CUDA生态(不兼容)CUDA代码翻译(兼容)基于CUDA的算法代码基于CUDA的算法代码ROCm原生代码CANN原生代码少部分兼容框架独立框架人工改写转译器算子名称vectorA
dd_nvrtcsimpleVtf32TensoteIntrinorCoreGsics
emmbf16Ten
sorCore
GemmbandwidmatrixM
thTest
ulmatrixM
ulDrvp2pBandwidthLatencyTestsimpleCudaGraphssimpleIP
CsimplePr
intftopolog
yQueryvectorA
ddvectorA
ddDrvscalarPr
odinlinePT
XsimpleM
PImergeSortconvolut
fastWalsionSepa
hTransfrable
orm算子解释使用NVRTC编译向量加法。演示如何使用投票原语使用
使用TF32张
BF16张量核心执量核心执行矩阵乘行矩阵乘法
法。使用驱动测试内存矩阵乘法
API进行带宽性能
计算
矩阵乘法计算测试点对点通信带宽和延迟CUDA图的基本用法进程间通在设备上信示例打印信息。使用驱动查询系统
向量加法
API进行
标量积计
内联PTXMPI与CUDA结合使用。归并排序分离卷积快速沃尔算法
算法什变换拓扑结构
计算
向量加法计算算
代码是否通过通过通过通过通过通过通过通过通过通过通过通过通过通过通过通过通过通过通过通过通过PPUCUDASamples测试通过率88.3%CUDA
Samples是官方提供的一系列示例程序
,
示例覆盖了从基础到高级的各种主题
,
一般用于考究其他芯片对CUDA算子库的兼容能力。PPU已在人工智能公司算法部测试CUDA
12.3版本
,
总共188项大语言模型算法相关的CUDA
sample中,
PPU芯片仅fail
16项,支持率达到92.2%2.执行测试脚本,查看测试结果1.下载CUDASamples,编写自动化测试脚本典型示例:
摘出20项大语言模型算法典型CUDA
sample中,通过率100%,如下:编译完成:
188编译失败:
16
通过率:
92.2%GPU服务器显存容量显存带宽卡间互联单台FP16算
力CUDA兼容APG服务器96GB
*
162762GB/s700GB/s123
*
16
TFLOPS类GPU模式
高度兼容A800服务器80GB
*
82000GB/s400GB/s312
*
8TFLOPS——用户自研算法代码CUDA
SDKPPU
SDK
(基于CUDA
API)CUDA指令集PPU芯片推理场景DeepSeek-R1模型的推理部署只需要一台PPU服务器即可部署满血版基于阿里云训推加速框架,满血版DeepSeek-R1在BF16精度,
256并发,总吞吐达到3708Tokens/s训练场景在服务器数量相同情况下(卡数两倍),
PPU在典型大模型的训练吞吐约基本为A800
1.1-1.2倍
(64-1024卡规模)
,
为
H20
1.6-1.7倍CUDA兼容基于类GPU的设计理念,实现相似的硬件构造和编程模型,在自研指令集的基础上,实现与CUDA的高度兼容投入巨大资源实现对CUDA生态软件库的适配实现,直接通过wrapper进行代码重编译,代码无修改APG服务器:高度兼容CUDA并极具性价比的国产化GPUDeepSeek-R1671B满血版部署所需设备数PPU单机成本
1x
成本4x昇腾910B单机昇腾910B单机昇腾910B单机昇腾910B单机16©
2009-2025
Copyright
byAlibaba
CloudAll
rights
reserved
兼容易用可集成钉钉、通义灵码、阿里云百炼专属版、QuickBI、工业智驱平台等一方、三方智能应用;高度兼容CUDAAPI,CUDA应用代码无需修改,可直接
使用CUDAAPI和自研编译器实现编译兼容
云边一体单机版可作为边缘站点接入飞天企业版,
打造云边一体解决方案
弹性扩展无中心化横向扩展GPU与CPU服务器,支持业务扩容,支持多模型并发场景和训练推理一体化调度阿里云AIStack一体机(16卡版)单机
1.5T+超高显存纵向扩展卡间互联带宽700GB横向扩展机间带宽
1.6Tbps来源:
IDC,
中国AI训推一体机技术能力评估,
2025.(发布时间:
2025年6月)17
开箱即用预装Qwen、
DeepSeek等多款主流模型,
内置模型秒級启动、开箱即享模型服务
轻快好省基于阿里云APG服务器,用户可根据需求灵
活选择在本地轻量化部署
极速性能基于在开源vLLM,
SGLang基础上提供的软硬
一体优化推理框架AsLLM
,并整合了FlashInfer、
FlashMLA、
MTP、
MLA等性能优化算子单机支持DeepSeek大模型满血版部署
国产自主研发,AI落地轻快好省支持单机部署Qwen全尺寸、
DeepSeek-R1/V3满血版,国产自研企业级AI创新基座超值之选Stack大模型一体机IDC中国AI训推一体机能力评估获六项满分,性能领先支持多种扩展模式灵活解锁AI无限可能阿里云AI|Apsara
Stack产品规格AI
Stack一体机(APG-PG1_A910E)AI
Stack一体机(APG-PG1_A710E)应用场景有国产化要求的行业
,落地大模型私部场景,需部署满血无损版DeepSeek企业预算较低,希望快速体验大模型对模型参数要求量低,小参数量即可满足需求模型DeepSeek-R1-671BDeepSeek-V3-671BQwen3-235B-A22B…参数32B及以下模型QwQ-32BQwen-14Bllama-8B参数72B及以下模型Qwen-72BQwen-VL-72BLlama-80B参数120B及以下模型Qwen-110BQwen-VL-72B…
.……推荐方APG高性能服务器配置显存:
96G*
16卡显存带宽:
2756GB/s海光(64C*
2)显存:48G*
2卡显存带宽:
1382GB/sCPU:海光(48C*
2)显存:48G*4卡显存带宽:
1382GB/sCPU:海光(48C
*
2)显存:48G*
8卡显存带宽:
1382GB/sCPU:海光(48C*
2)案内容AI软件栈AI云原生基座、深度优化模型框架、满血无损版DeepSeek、一方/三方生态应用、AI
PaaS组件、模型调度平台(可选)AI云原生基座、深度优化模型框架、
72B/32B/14B/7B小参数模型、
一方/三方生态应用、AI
PaaS组件、模型调度平台(可选)APG服务器:
多规格硬件选择,满足业务不同场景需求百炼专属版大模型开发应用平台架构
异构算力纳管训推平台百炼专属版:异构算力纳管训推平台•定制化的混合精度量化算法:支持多种技术压缩LLM
,精度损失低•执行优化:大尺度算子融合、高性能算子库、优化库融合•
服务调度优化:动态批处理机制
,流化技术
,上下文缓存机制、动态并行技
术模型低精度量化提升性价比相同GPU数量下吞吐提升比例4.3.2.1.0.
fp16int8int4A100(80GB)
V100(32GB)
A10(24GB)国产GPU适配性能验证和测试异构物理计算技术软硬协同推理加速国内外GPU定制化适配和调优异构计算技术、适配国内外芯片CANN910B/310P
…CUDAA800/H800/A10
…DCUK100/K100_AI/Z100L
…MLU370-S4/370-X8
…模型转换验证吞吐量验证训练精度验证镜像环境适配上下文长度验证模型代码适配厂家SDK适配运行参数适配Prefill-Decode分离推理(71m->
63ms)模型量化:混合精度低秩误差补偿
3bpw下模型的精度OpenTrek-LLM推理框架加速
Draft-MTP投机采样多令牌预测提升吐字效率MLA
MatAbsorb多头注意力融合降低显存占用
通过利用Draft-LLM模型对主推理大模型进行辅助,根据已经生成的文本提前预测后续可能生成的文字,再交给主模型进行判断核心关键点在于如何提升草稿模型预测的接受率•在与对齐主模型Token
logits和草稿模型Feature
loss,使得两个训练模型能够更加一
致。•让草稿模型能够接收上下文信息进行推理,•相比于传统方法草稿模型只给出TOP
1,可以一次给出TOP
K多个字交给主模型判断接受率达到70%,相比vllm-eagle提升50.3%•解耦后线程增多,重点优化线程模型以解决突刺效应(TTFT均值降低17%)
,实现无干扰分离解耦•通过优化缓存结构布局、块分配器以及合并收发策略,传输次数降低99%
(以8K长度的Prompt为例从500次减少到1-2次),
传输时延降幅97.8%•提出一套节点算力的弹性调度分配方案,实时感知节点负载、动态切换节点角色、转发存量请求,使得高请求率下TPOT优化11.2%精度损失不超过0.5%,最低BPW可到3.7bit,效果优于GPTQ/AWQ
1~4%•权重重要性(channel-wise):考虑到不同层的权重对量化误差影响不同,不同层可以采用不同的精度表示•混合精度:采用2,3,4,5,6,8,16bits表示,对于某一层,不同比例+不同精度的组合将得到不同大小的量化权重。在给定bpw条件
下,可快速搜索到误差最小的混合精度组合•低秩量化误差补偿:通过额外1%的参数量,对量化误差进行误差重建,大幅提升2-•通过将MLA多头注意力当中的矩阵计算过程进行融合合并,通过矩阵乘法的结合律,将某些参数矩阵合并到其他参数矩阵中,以减少计算量和内存占用国际顶会ACL-2025收录一键式模块化行业模型微调一站式模型服务中心,内置模型以及相关服务已经做过异构GPU完美适配可以一键启动/部署。内置模型涵盖主流大模型,支持自定义模型镜像上传Step1:上传工程文件Step2:配置镜像环境Step3:上传基础模型文件全尺寸Qwen国产适配+第三方模型接入
选择基础大模型
一
接入并部署模型
一
模型微调及推理Llama
Gemma
Grok-1Mistral…微调训练模型部署及推理对齐(RLHF)训练Qwen-AudioQwen-VL
…
Qwen-CoderQwen-14B
Qwen-32BQwen-72BChatGLM零一万物书生BaichuanStep4:试运营并发布Hunyuan…Qwen-7B异构算力精细化分配管理•
基于GPU
资源池化支持算力集
群、
资源池、
工作空间3级资源
分配•
不同工作空间灵活复用资源池
GPU资源
,最大化利用算力资源•
支持异构GPU混合资源池创建,
支持异构GPU混合推理支持集群/资源池/工作空间三级资源分配授权机制整体可观测能力集群运维
将计算/存储/网络用户资源与运
维链路资源/集群映射
支持算力及网络策略变更Pod列表平台服务训练任务模型(推理)服务集群(GPU、CPU)资源池(算力池)集群-资源池-推理训练-服务调用四层全栈可观测诊断分析
任务到基础设施分层诊断能力,分钟级定位资源管理与监控
监控管理整机/GPU卡/存储资源可视化监控告警
集群、池化资源、任务/服务3
级可感知可观测
按作业粒度的精准监控运维日志管理
作业路径算存网日志一键联动收集百炼专属版:大模型数据知识加工平台深加工解析专题知识库训练语料集多模态任务微调特定图文对/任务标注多模态理解模型微调图像//视频+文本描述多模态QA结果排序、正反例大语言模型微调文本QA对文本QA结果排序、正反例→完成从数据知识接入、处理加工到知识转化的全流程,提供大模型训练和应用的数据语料支持。知识加工大模型数据知识加工平台融合关联跨模态Embeding模型知识结构构建行业企业知识库业务基础模型训练行业企业行业模型训练微调结构化数据视频类文本类音频类图像类版面分析多模态语料文本语料样本库知识服务知识数据规则对比案例经验回答要点指标计算规则规范处理流程…….名词解释QA提取Chunk切分图像理解扩写文档结构树要素识别提取视频理解扩写标准化处理音频预采样关键帧提取场景切分规则标准去重采样字段注释视频解码裁剪匀色维度注释格式转换噪声过滤降噪处理分辨率调整视频OCR视频分类图像解析ASR图像分类图表理解语义过滤表格解析公式解析语义描述富文档解析能力•
功能全面,支持版面分析、
OCR、表格识别、公式识别、图片图表识别,段落切分、阅读顺序排序等能力•
多场景/类型支持,支持论文报告、政务资料、金融财报、电力、医疗、教育等多种领域多类型文件。•
多排版支持,支持单栏、多栏、混合分栏等不同的文档排版类型。•
公式支持,能够处理单行与行内的复杂公式并生成
latex•
表格支持,能够处理有线、无线、合并、旋转表格等复杂表格,生成html。音视频解析能力•
支持音频、视频内容解析•
强化视频场景理解能力,对于教学、访谈、演出等多场景自适应场景切分解析•
针对主题、背景、风格、人物等多维度内容理解;智能多模态解析引擎融合高精度富文档解析与智能音视频理解能力,支持多行业复杂文档的版面分析,适配多样排版。音视频解析具备场景自适应能力,实现主题、人物、背景等多维度语义理解,全面支持国产化环境部署,满足政企客户多样化、安全化、智能化需求。具备多模版智能解析,提升知识处理的准确率类型解析速度pdf3.5069
pages/sdoc3.0059
pages/sdocx3.1761
pages/s三种格式混合3.1962
pages/s在复杂排版,标题、段落、表格识别率,复杂表格解析效果上优于闭源商业服务和开源方案富文档解析综合效果优于闭源商业服务和开源方案解析性能:单卡可部署以上速度测试基于A10多模态多模型知识数据加工
内置包括50+数据格式的解析、多种数据清洗方法,多种数据增强如Q&A生成/多模态图文对构造可通过工作流做自定义编排与大批量数据并行处理与存储压缩•支持由大语言模型(LLM)与多模态模型(VLM)驱动的自动标注能力,具备图片与文本数据的自动化标注功能;•可导入百万级数据集进行高效标注处理;•
支持多人协同人工质检;•支持对多次标注结果导出为多个版本子集,便于训练效果对比与模型迭代优化,提升数据标注质量与训练效率;•支持自定义LLM&VLM数据标注合成一键转为批量自动数据加工合成任务大模型驱动的新一代数据标注合成工具
大模型数据知识加工平台
百炼专属版:智能体开发应用平台一站式智能体应用编排、调试、发布
智能体设计搭建到策略优化一站式服务,根据行业需求提供特色服务,提升业务流程效率、优化决策支持并增强用户互动体验。智能体搭建与记忆库管理•支持智能体快速创建模式,零代码完成智能体搭建。•支持智能体融合编排模式,低代码完成多种框架链路智能体搭建。•支持智能体实时调试,在新建过程中调试,实时获取反馈,快速识别和修复问题。•支持记忆库管理、记忆插入、记忆引用,借用记忆优化智能体整体效果。自定义工具注册与平台工具•支持注册API至工具箱,直接由智能体完成调用。•
支持输入Python脚本,直接进行某项任务运行。•支持配置知识库工具,召回知识辅助智能体处理。•
丰富的平台内置工具供开发者直接调用。OpenAPI对外透出•支持注册API至工具箱,直接由智能体完成调用。•
支持输入Python脚本,直接进行某项任务运行。•支持配置知识库工具,召回知识辅助智能体处理。•
丰富的平台内置工具供开发者直接调用。创建工具
发布智能体
Step1基本信息
Step2任务规划策略Step3添加工具执行任务调试实验室
工具执行任务O
注册工具O
调试工具创建智能体
调试实验室
智能体调试
智能体配置工具注册
模板化的配置快速完成通用智能体生成(文档问答为例)
低代码编排完成智能化应用设计,赋能业务场景
编排
串联
执行优化
联调OP-HUB内置AI增强MCP工具Browser
Python其他MCP工具CLI&FileTerminal安全沙箱资源隔离丨进程隔离丨数据隔离虚拟机智能体工具箱MCPServerMCP
Server智能体工具箱拓展MCPServer,内置
20+MCP工具,可对接魔搭MCP开放社区拓展自定义MCP工具Browser-use核心技术:智能感知技术(元素识别+噪声过滤)结合多模型强化学习算法场景效果:信息获取成功率90%,复杂操作场景(如OP)准确率94%性能提升:优化多步操作逻辑,执行效率提升30%,错误率显著降低•
支持自定义API升级为MCP协议服务•
支持基于SSE模式,接入三方MCP服务•
支持用户上传包部署,基
于虚拟机环境构建自有MCP服务(2.1-hotx版本)•
支持长RT服务异步调用,提高交互效率和体验PythonAgent自修复系统:代码自修复/环境自配置/错误自溯因记忆增强:API调用优化10步迭代达成90%解决率动态排版:元素布局自组织实现网页&PDF智能生成智能体MCPServerMCP
HostOP-Hub新发布OP-HUB
MCP虚拟机终端服务工具箱SDK目录
1大模型技术的发展趋势2行业大模型落地的整体解决方案3
行业大模型的应用实践案例不同参数规模和类型的通用基础大模型语言大模型
语音大模型多模态理解大模型
多模态生成大模型技术实现1——提示词工程(Prompt)
通过提示词工程有效激发基础大模型自身已经具备的优秀能力。AI通用工具提示词优化工具不同场景提示词模板例如:生成某场景的智能调查问卷构建场景Prompt工程调用基础模型服务能力生成场景结果技术实现2——内容检索增强(RAG链路)可针对性的做数据预处理、提可利用高阶向量碰撞和文本的混合索引,结合精排模型发挥大数据引擎组件的能力。可随时更新数据库,保持数据鲜活。同时有效地避免幻觉。
通常为基础大模型可随着基模能力“水涨船高”示词、专家模型优化。LLM+RAG多轮对话识别问答响应管理制度问答人事规定问答企业文化问答IT系统问答产品知识问答…行政
-智能小秘书针对员工客服面对高频重复咨询响应不及时、人力占用大等问题,建设智能小秘书,实现7
×24小时自动、快速、准确解答考勤/假期/制度/系统使用等咨询|
问题挑战
|
解决方案
|
业务价值自然语言问答解答办公问题构建企业知识资产体系高频重复咨询响应不及时考勤/假期/制度/差旅等问题存在高频重复现象,占据行政人员大量时间,同时员工咨询人数较多,排队时间较长,影响员工满意度。人力资源占用多行政人员需要花费大量时间处理重复的考勤制度类咨询问题,导致行政人员难以抽身开展正常行政工作,对公司正常运营带来诸多影响。人工答复难满意相关制度政策存在相互引用、背景不一致等情况,常规人员解读错误率高,或者初级人员难以全面掌握相关内容,咨询效果难以保障。80%高频常见问题智能分流500%行政问询响应速度提升80%员工满意度达•数据准备成熟度•技术实现成熟度•行业案例成熟度★★★★★低~中(≥1,
≤16卡):
32B级别模型,算力需考虑企业员工使用并发l标准问答库制度规范库企业文化库IT系统使用库行业通识库
…用户提问20%复杂问题80%重复简答问题|
算力需求(参考)|
建设成熟度:高人工处理专家知识推荐提示(LLM+RAG)企业问答效果智能小秘书转人工政务服务——知识问答——上海徐汇政务咨询聚焦政务服务全生命周期的咨询业务,专注涉企服务场景,高频事项咨询准确率超90%技术实现3——数据智能分析(AI4BI)
大模型写SQL自动查询数据表使用示例Task1-拒识Query转交至Task2提示词工程Task1-拒识检测query意图识别与反馈Task2-语义改写Augment
promptTask3-表列召回匹配召回数据字段Task6-图表加工原生图表Agent生成返回结果输出Task2-改写2023年4-6月H5、
H7、
H9..销售量和目标量,完成率等于销售量除以目标量Task3-召回字段1:
H5、
H7..字段2:销售量字段3:目标量Task4-SQL生成SELECTSUM
(AAK月销量)
FROM
memberWHERE
source...Task5-SQL执行返回4-6月销售量总和返回4-6月目标量总和Task6-图表加工返回结果输出NL2SQL
结果生成Task5-数据查询SQL执行,返回查询数据Task4-SQL生成NLto
SQL用户提问:2季度分车型零售完成率输入用户提问输入需求痛点新型电力系统源荷双侧呈现
“强不确定性”、“弱可控性”。AI技术基于电网运行监控数据
,
利用大模型的自然语言转换SQL及检索增强生成技术。业务成效帮助调度员快速获取所需数据及信息
,加快决策过程。能源电力——数据分析——
山东电力智能问数
在金融行业投研业务场景中
,需要对大量数据进行汇总、分析,对决策进行指导与辅助。面对庞大量级的数据,
以人工方式处理所有数据需求无法快速形成决策参考,迫切希望能引入大模型场景化工具,对庞大数据进行汇总、分析。项目以大语言模型技术为核心,结合中金研究部多年沉淀的数据资产,
7x24小时协助分析师开展在宏观经济、市场策略、固定收益、大宗商品、行业主题、公司个股等各领域的投研工作。
技术层面:接入中金研究部沉淀的文档库、指标库,依赖大语言模型的理解、总结、摘要等能力,为分析师以问答的形式提供观点、指标的智能分析。
业务层面:接入中金点睛系统,在web页面中以智能问答的形式为分析师提供投研方向的观点、指标的智能分析,为分析师编写研
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 阅读题分层赋分
- 2026-2027学年滨州市高三下学期联合考试高考物理试题(含答案解析)
- 陕西省安康市2027年高三下学期第六次检测高考物理试卷(含答案解析)
- 十五五智能导盲眼镜教育场景:特殊学校辅助教学创新模式
- 智能音乐创作玩具2.0时代:从硬件销售到内容订阅的跃迁
- 十五五前瞻:智能安全格栅在能源行业的标准化落地实践
- Vue框架下的数据可视化解决方案设计与实现
- 2026年珠宝行业市场趋势与消费者洞察报告
- 2026年食品加工行业组织架构优化与人员效能报告
- 2026年区块链技术在金融领域应用研究报告及未来五年展望
- 江苏常州市常州花园中学等校2026-2027学年八年级上学期数学期中试卷(含答案)
- 2026年消防设施操作员(初级)实操考核试题及答案
- 儿童情绪调节量表
- 2026年教师遴选备考试题及答案
- 高盛-全球半导体:芯片系列第四篇:中国半导体自给自足建设推进-Global Semis CHIPS IV:China Semis self-sufficiency builds-20260824
- 2026年新教材人教版九年级上册英语Unit 2 Inspiring people 教案
- 学校校务公开及信息发布管理办法
- 预制管桩雨季施工方案
- 人教版川教版 三年级上册《生命生态安全》简述式教案
- 2026年前程无忧性格测试题目及答案
- 2025-2026学年北京市大兴区四年级(上)期中数学试卷
评论
0/150
提交评论