360（张锋）：智能纽带：AI+Agent在解决大模型应用难题中的关键作用

应用难题中的关键作用张锋奇虎360AI研究院技术总监“请插入您的照片请插入您的照片奇虎360AI研究院技术总监360人工智能研究院认知引擎负责人天津大学硕士毕业后，任职华为技术有限公司，先后从事计费产品的研发、设计及项目管理工作，主持参与参数AILab的建设，负责大数据平台、推荐平台和建模平台的建设和实施。其中推荐平台在四川电信落地后，显著提升了用户观看时长，大数据平台作为标品，落地数百个据点，成为部门主要现金流来源后续加入360公司，深耕于人工智能在互联网、物联网、数字化等领域的落地，带领团队图谱平台等产品开发、设计及管理工作，相关成果落地于安全大数据、互联网、企业数字化、AIoT等360集团全量业务场景，支持千万级硬件设备，服务亿级用户”•LLM落地应用-长板和短板，及当前解决方案•AIAgent的整体框架LLM落地应用-长板和短板及当前最优解决方案AGI发展回顾AGI被认为是人工智能的更高层次，它可以实现自我学习、自我改进、自我调整，解决任何问题而不需要人为干预。20232023pikaGemini演示中并没有直接采用Agent，但是实际流程并没有两样问题2：你觉得我在做什么？提醒：这是一个游戏。AIAI生产力234你可以轻易地让任何一个你可以轻易地让任何一个GPT生成一首诗、计算一道奥数题。然而工作中你不需要作诗，也不需要算奥数题。工作中面对是写不完的方案，做不完的报告，和看不完的邮件7823344我们需要一个工具平台，让大模型“扬长避短我们需要一个工具平台，让大模型“扬长避短”，实现大模型实际落地的“最后一公里”9堆提示词技巧堆提示词技巧任务规划任务规划存储外部上下文和行业知识接口对齐对接外部系统复杂任务规划调度长期记忆解决靠堆参数、堆提示词无法解决的复杂推理等问题特定复杂任务特定复杂任务：多工具使用开放复杂任务开放复杂任务：自主性协同工具可以有效拓展工具可以有效拓展LLM的能力边界用LLM作为大脑或这些智体控制者的主要组成部分，并通过多模态感知和工具利用等策略扩展其感知和行动空间AIAgent的架构：一套以LLM作为核心控制器的应用开发工具以LLM为核心控制器，结合Planning、Tools工具、Memory记忆等组件，解决实时数据获取、复杂任务等各类应用落地问题。short-termlong-termshort-termlong-termAgent协作Agent协作AgentsLLM辅助规划规划调用……PromptPromptPlanning任务规划能力，实现方法主要两类：ReAct框架，发挥LLM推理和执行能力的协同作用，通过问题分解+依靠外部能力来解决问题。ReAct框架，在可解释性和可信赖性等方面，优于其他先进的基线。根据输入规划后续及流程何时终止整理返回结果辅助整理参数及调用整理参数及调用API可以让开发者在调用语言模型时，通过用户提问和描述函数让模型智能地输出一个包含调用这些函数所需参数的JSON对象。这种功能可以更可靠地将模型的能力与外部工具和API进行连接。SystemptAssistantUser:?p:?ObservatioAssistantAction哪些景点？”)Firstofall，人类擅长拥有不同类型记忆能力，而LLM很难理解新概念或者少量新数据。1.感知记忆可以作为LLM或者多模态的Embedding输入表示（包括文本、图像等）。2.短期记忆STM使用In-contextLearning，受到Transformer有限SeqLen长度限制（2Kto8K）3.长期记忆LTM借助外部向量存储，Agent可以快速查询、快速检索Tools是LLM的武器库，学会使用工具，大模型获得了行动能力，打破大模型的应用边界。新闻搜索地图搜索Onebox新闻搜索地图搜索Onebox搜索新闻搜索通用搜索百科股票热搜汇率天气热搜CassandraSparkDBMongoDBJiraConfulenceAirTableZapier新闻搜索通用搜索百科股票热搜汇率天气热搜CassandraSparkDBMongoDBJiraConfulenceAirTableZapierOfficeWordJSON办公WordJSON格式JSPythonPowerShellJSPythonPowerShell代码CRMOauthCRMOauthAIAgent更多给我们呈现了一种AGI的可能性，将LLM的能力延伸到更复杂的任务和更多的业务领域。表单、代码）是Agent智能化方向之一。现自组织自决策从LLM中来，到LLM中去：会有更1.业界进展以模型能力为核心，支持记忆和外部API，在无需编码的情况下，可以构建个性化智能体，实现全民AI。1.业界进展1.业界进展Copilot构建示例-查账单从SAP从SAP里读某一行1.业界进展斯坦福“西部世界”虚拟小镇，在一个Smallville沙盒世界里住着25个小人(GPTagents)，互相自由沟通交互，出现了一系列的人类社会行为(信息传播、关系记忆和协作)。1.业界进展给Agents一个/多个目标，独立地执行这些目标。这些应用程序结合了工具使用和长期内存。典型的有AutoGPT，BabyAGI。AutoGPT以LLM作为主作者提供了很多API代AIAgents更好地理解和处理自然语言输入，虽然目前还处于试验的阶段。AutoGPT的核心逻辑是1.业界进展执行分为四个阶段：1.任务规划（TaskPlanningLLM把用户请求分解成任务集合，决定执行顺序和任务之间的资源依赖；HuggingFace模型描述，LLM把任务安排给对应的模型；3.任务执行（TaskExecutionHuggingFace上的模型执行指派的任务；4.响应生成（ResponseGenerationLLM集合模型输出结果，生成workflow日志摘要返回给用户。大模型应用四大核心场景LLM360AICopilot零代码Builder，简单几步完成工test.agent.30.cntest.agent.30.cn拖拉拽降低Agent研发成本平台优点：•低代码配置大模型工作流，加快大模型应用创作•专家经验可以化作工作流训练到大模型•外部工具可化作API训练到大模型里。LLMLLM-思考人在回路人在回路LLMLLM-提炼搜索工具搜索工具 返回38,556个网页 LLM-理解循环执行循环执行 LLM LLM-理解 读取前10个网页 LLM-生成 LLM-总结LLM-生成LLM-生成重点内容、图表、插图、参考文献等理解深层次意义，内容重构，假设论证等 按照段落、按照主题进行分析输出思维链，论文AI助手自主学习提炼问题与答案效果极佳传