版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
智能纽带:AIAgent在解决大模型应用方案目录•
LLM落地应用-长板和短板,及当前解决方案•
AI
Agent的整体框架•
AI
Agent
的应用案例LLM落地应用-长板和短板及当前最优解决方案ChatGPT
的探索,被认为是强人工智能拐点的到来、是超级人工智能雏形,即:LLM
to
AGIAGI被认为是人工智能的更高层次,它可以实现自我学习、自我改进、自我调整,解决任何问题而不需要人为干预。20232016未来195020221997pikaocoa
e,AGI发展回顾GPTSG-g
le图灵机&图灵测试的提出AlphaGo
战胜李世石深蓝战胜卡斯帕罗夫ChatGPT发布AGI
&
More
…我们以为的GeminiGemini:你在玩石头、剪刀、布。实际的Gemini问题1:告诉你看到什么Gemini:我看到一个人的右手。手掌张开,手指分开Gemini:一个人敲木门Gemini:我看到一只手伸出两个手指,这是数字二问题2:你觉得我在做什么?提醒:这是一个游戏。Gemini:你在玩石头、剪刀、布。Gemini
:·再强大的模型
,也不万能Gemini演示中并没有直接采用Agent,但是实际流程并没有两样Jasper,CopyAI
,QuillbotCanvaAI,ClipDrop
,PikaNew
Bing,Perplexity,You,P
hindChat
Doc,Ask
PDF你可以轻易地让任何一个GPT生成一首诗、计算一道奥数题。然而工作中你不需要作诗,也不需要算奥数题。工作中面对是写不完的方案,做不完的报告,和看不完的邮件1
写作2
绘画3
搜索4
阅读AI生产力大模型应用的能力长板——搜、读、写、画71
生成的幻觉问题2
记忆和行业知识问题3
提示词工程难度问题4
与现有信息化系统的协同问题我们需要一个工具平台,让大模型“扬长避短
”
,实现大模型实际落地的“最后一公里
”商业场景使用对内容生成质量容错率极低,只通过简单
知识问答,无法生成满意的内容和答案参数再多、再强的模型,都无法也无法深入的了解一个行业。“海莲花常用的攻击方式是什么?
”面对复杂问题,我们发现除了IT类员工,绝大部份企业员工没有兴趣去学习怎么写提示词企业不可能将现有信息化系统推倒重来大家的共同诉求是大模型能增强、协同、而非取代LLM应用·的能力短板——幻觉
、知识/记忆
、交互8任务规划存储外部上下文和行业知识接口对齐对接外部系统LLM的落地工具:长期记忆、接口对齐、任务规划复杂任务规划调度堆提示词技巧长期记忆9工具可以有效拓展LLM的能力边界解决靠堆参数、堆提示词无法解决的复杂推理等问题特定复杂任务
:多工具使用开放复杂任务
:
自主性协同广州国庆七日游的亲子游计划,工具使用+多步执行自主规划和决策的树状复杂问题,路径优解汇率问题,调用工具获取实时数据领域任务10用LLM作为大脑或这些智体控制者的主要组成部分,并通过多模态感知和工具利用等策略扩展其感知和行动空间比照行业发展,我们做的就是AI
AgentAIAgent的整体架构①
LLM大脑:核心控制器。模型一键适
配,Prompt模版降低写提示门槛。②
Planning:将任务拆解,流程具象化,就像工厂流水线一样,在这个流水线中
,可以放置不同的工具完全任务的处理。③Tools工具:让Agent学会调用各种
外部工具,涵盖搜索、文档检索、数据
分析、代码编写、教育、投资、出行
、
娱乐等各种应用。④
Memory记忆:获取、存储、保留和
后续检索信息的过程。包括知识库使用、长短期记忆。使用外
部向量存储和快速检索。SensoryMemory搜索资讯天气Tools(
工具箱)汇率long-termMemoryPlanning(任务规划)LLM辅助规划规划调用LLMAI
Agent的架构:一套以LLM作为核心控制器的应用开发工具以LLM为核心控制器,结合Planning
、Tools工具、Memory记忆等组件,解决实时数据获取、复杂任务等各类应用落地问题。Agent协作任务分解LLMToolsMemoryshort-term
MemoryMemory
(记忆体)AgentsLLM(大脑)
代码执行…ReAct*本架构与经典Agent架构略有区别FunctionCallPrompt…Planning任务规划能力,实现方法主要两类:
人类参与:复杂任务,需要拆解为更小、更易于处理的子目标,需要人类进行辅助规划、结果校准。
自动编排:简单任务,通过Prompt
Engine来引导LLM实现规划,主要方式ReAct,FunctionCallingAI
Agent·:Planning规划能力
,即任务分解和编排能力
ReAct框架,发挥LLM推理和执行能力的协同作用,通过问题分解+依靠外部能力来解决问题。
ReAct框架,在可解释性和可信赖性等方面,优于其他先进的基线。AI
Agent·:ReAct
,增强LLM的推理和执行能力整理返回结果辅助后续流程整理参数及调用API根据输入规划后续及流程何时终止观察行动
思考
可以让开发者在调用语言模型时,通过用户提问和描述函数让模型智能地输出一个包含调用这些函数所需参数的JSON对象。
这种功能可以更可靠地将模型的能力与外部工具和API进行连接。System
o定
ptAssistant生成最终答案AI
Agent·:FunctionCallAssistant选择调用函数,例如:API
:CallSearchParam:北京要哪些景点?Action调用对应的ToolsCallSearch(“北京要哪些景点?”)User
o提
p,
如北京要哪些景点Observation获取结果:?First
of
all,人类擅长拥有不同类型记忆能力,而
LLM很难理解新概念或者少量新数据。1.
感知记忆可以作为
LLM
或者多模态的
Embedding
输入表示(包括文本、图像等)。2.短期记忆
STM使用
In-context
Learning,受到Transformer有限
Seq
Len
长度限制(2K
to
8K
)3.长期记忆
LTM借助外部向量存储,Agent
可以快速查询、快速检索,从而进行访问。
Embedding
上下文学习
向量数据库AI
Agent·:Memory记忆
,是LLM的内存和硬盘AI
Agent·:Tools
,学会使用工具是LLM进化的分水岭Tools是LLM的武器库,学会使用工具,大模型获得了行动能力,打破大模型的应用边界。搜索增强实时信息数据库办公格式代码业务系统SQL
DB通用搜索OfficeJSON股票ShellPower
BIRedisSpark
DBSQL
liteCassandraMongoDBEmailWord新闻搜索地图搜索JiraCSV图片搜索ConfulencePDFAirTablePPTOnebox搜索ZapierExcel新闻搜索热搜GOOauthPowerShell汇率CRMPythonERP天气百科EHR热搜BATIMJS
多模态的Agent
:多元化的交互感知(图像、视频、表单、代码)
是Agent智能化方向之一。
万物皆可Agent:垂类Agent,通过分布式决策,实现自组织自决策
从LLM中来,到LLM中去:会有更多专业LLM服务
AgentAI
Agent的未来AI
Agent
更多给我们呈现了一种AGI的可能性,将LLM的能力延伸到更复杂的任务和更多的业务领域。AIAgent应用案例1
业界进展GPTs:智能体的新纪元,普通人的AI以模型能力为核心,支持记忆和外部API,在无需编码的情况下,可以构建个性化智能体,实现全民AI。微软Copilot:在TOC和TOB同时落地Agent框架Microsoft
Copilot
EverythingTOB:
Graph、Office365、ConnectorTOC:
浏览器、搜索、桌面Copilot化1
业界进展微软Copilot:在TOC和TOB同时落地Agent框架仅大模型:无法获得个人预算账单
解法:创造Flow“对话式插件卡
”发布“个人账单总结
”对话式插件从SAP里读某一行Action类别
连接到数据源1
业界进展Copilot构建示例-查账单Copilot:即Agent能力打通配置Action1
业界进展GenerativeAgents:智能体的互动涌现出复杂行为斯坦福“西部世界
”虚拟小镇,在一个Smallville沙盒世界里住着25个小人
(GPT
agents),互相自由沟通交互,出现了一系列的人类社会行为
(信息传播、关系记忆和协作)。AutoGPT
以LLM作为主控制器来建立AI
Agents
,作者提供了很多API
代码来解析数据格式,帮助AI
Agents
更好地理解和
处理自然语言输入,虽然
目前还处于试验的阶段。AutoGPT
的核心逻辑是
一个
Prompt
Loop1
业界进展AutomaticAgents:任务规划的早期探索者给Agents
一个/多个目标,独立地执行这些目标。这些应用程序结合了工具使用和长期内存。典型的有AutoGPT,BabyAGI。1
业界进展HuggingGPT:垂类Agent的典型代表LLM作为中心Agent,模型作为Tools
or
Action,执行分为四个阶段:1.
任务规划(
Task
Planning)
:LLM把用户请求分解成任务集合,决定执行顺序和任务之间的资源依赖;2.
模型选择(
Model
Selection
)
:根据HuggingFace模型描述,LLM把任务安排给对应的模型;3.
任务执行(
Task
Execution
)
:HuggingFace上的模型执行指派的任务;4.响应生成(
Response
Generation
)
:LLM集合模型输出结果,生成workflow日志摘要返回给用户。2
360Agent进展——场景解决搜、读、写
、画四大核心场景问题TOC大模型应用四大核心场景搜
读写
画AgentLLM通过Agent框架,可以先让用户减少重复性工作,将日常工作自动化起来,让人来解决AI无法解决的问题:决策、创意、复杂逻辑360智脑+Agent360AI搜索360AI浏览器360AICopilot写作Agent搜索Agent客服Agent文档Agent数据分析Agent日程Agent搜索增强AI浏览器邮件助手文档分析助手写作助手高校行业医疗行业石油xxx电信xxx零代码Builder低代码BuilderTOB零代码Agent
Studio零代码Builder,简单几步完成工具使用2
360Agent进展——能力test.agent.30.cn平台优点:•
低代码配置大模型工作流,加快大模型应用创作•复杂任务可分解、可干预、可编辑、可迭代。•任务执行过程可控,可调试,结果稳定,高质量•专家经验可以化作工作流训练到大模型•
外部工具可化作API训练到大模型里。2
360Agent进展——能力低代码Agent
Studio拖
拉
拽降
低
Ag
e
nt
研
发
成
本LLM模块网页读取执行API执行脚本知识库网页搜索FunctionCall搜索增强传统搜索:关键字匹配onebox2
360Agent进展——能力360Agent:FunctionCall“汇率API
”实现传统搜索:换个说法可能就匹配不上了阅读全文东京旅游计划出发时间?几天十一东京5日游返回38,556个网页读取前10个网页
LLM-生成
提炼观点
总分总,结构化输出八股文方式输出结论2
360Agent进展——能力带追问能力的搜索增强撰写报告总结观点意图识别追问搜索改写批量搜索调用阅读N网页
LLM-理解
信息抽取循环执行人在回路LLM-总结LLM-生成LLM-思考LLM-提炼搜索工具LLM-理解论文AI助手的阅读方式标题
、摘要
、小标题
、摘要
、结论等重点内容
、图表
、插图
、参考文献等理解深层
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 第14课 金鸡报晓-光敏传感器和多任务的应用 教学设计 -2023--2024学年清华大学版(2012)初中信息技术九年级下册
- 第10课 古代的村落、集镇和城市 教学设计高二历史统编版(2019)选择性必修2
- 武都区桔柑乡招聘社区网格员真题附答案详解
- 高中政治民族精神暑假预科精讲|新年级新课提前学
- 通信原理第六版(樊昌信)第5章-模拟调制系统
- 复习检测教学设计中职中职专业课餐饮类74 旅游大类
- 2025-2026学年走路不摔跤教案
- 西固区先锋路街道招聘社区网格员考试试题附答案详解
- 阜南县地城镇招聘社区网格员真题附答案详解
- 2025-2026学年阅读绘本教学设计
- 2026年时事政治测试题库100道附答案【满分必刷】
- 专题09 几何压轴四种题型(原卷版)【2025数学常考压轴题上册七年级人教版】
- 北京市通州区2023-2024学年六年级下学期语文期末试卷(含答案)
- 刻印的乐趣(教学设计)-2024-2025学年人美版(2012)美术四年级上册
- NB/T 11446-2023煤矿连采连充技术要求
- 珠海横琴粤澳深度合作区执行委员会招聘笔试真题2022
- SY-T 6966-2023 输油气管道工程安全仪表系统设计规范
- 施工日志(模板)
- 麻醉科手术室消防灭火应急预案
- 财税2016年第36号文
- LY/T 3319-2022草原征占用审核审批现场查验技术规范
评论
0/150
提交评论