AI 原生应用开源开发者沙龙·杭州站分享材料

如何开发Agent？应该怎么发布、部署？怎么让Agent变得聪明？如何开发Agent？高效工具调用AgentScopeJavaRuntimeAgent在执行工具调用或自动化任务时，极有可能访问敏感Agent在执行工具调用或自动化任务时，极有可能访问敏感AgentScopeJavaRuntimeAgent与真实世界交互的最通用工久化数据存储和企业级安全等核心Agent与真实世界交互的最通用工客户数据客户数据手机手机手表手表耳机耳机AI原生AI原生应用架构（智能化）AgentAgent1AgentAgent2AgentAgent3AgentAgent4知识库知识库短期记忆短期记忆长期记忆长期记忆解析器解析器•Session机制管理用户请求上下文StreamableHTTPTools动态组装StreamableHTTPTools动态组装Tools智能路由后端服务鉴权消费者鉴权后端服务鉴权消费者鉴权倍AgentScopeStudioAgentScope有强大的生态和信心帮助用户让Agent越用越好用QAIGatewayAPIGatewaySupervisorAgentBusinessAgentFeedbackAgentConsultAgentSupervisorAgentBusinessAgentFeedbackAgentConsultAgentmem0长期记忆A2A协议协议采集数据管理数据 lAgentScopeAgent调试评估Agent动态更新AgentScopeAgent调试评估Agent动态更新动态灰度生效评估调试Trace数据动态生效基于Agent原生的模型后训练方案发布，让AgentScope基于Agent原生的模型后训练方案发布，让扫码加入微信群/agentscope-ai/agentscope-java欢迎给我们点个Star，也可以加入我们一起构建面向未来的Agent体系企业落地AI应用架构的最短路径于怀01AI开放平台，顺势而生从云原生架构到AI原生架构02HiMarket构建AI场景、AI市场、AI治理模型、MCP、Agent、安全，全方位的能力进化帮助企业构建AI应用协作机制，实现AI应用货币化Himarket作为开源产品欢迎大家来共建人工智能+即将大规模爆发技术持续迭代面相未来,企业需要在人工智能+结合提效技术持续迭代computercomputerprogramsprogramscomputercodebecameprogrammablein~1940sweightsweightsprogramsprogramsfixedfunctionneuralnete.g.AlexNet:forimagerecognition~2012programsprogramsagent政策面目标清晰90%企业落地面相全员做AI场景加速创新，会遇到的一些通用问题AI不是技术开发独享的能力，面相横向企业多个团队如何协同，权限如何管理，成本如何分摊？让AI创新安全合规HiMarket开源新版本发布，定位AI开放平台链接企业内部最短路径标准API开放平台易于企业定制化快速落地AI应用和验证企业级AI接入管理能力链接企业内部最短路径标准API开放平台易于企业定制化快速落地AI应用和验证企业级AI接入管理能力AI场景AI治理AIagentHiMarketAI开放平台Chat搜索/联网搜索/文生图/文生视频统一监管/统一权限/统一计量/统一接入API开放平台HiMarket快速验证AI场景，便捷结合企业线上业务，构建标准化创新平台AI场景：沉淀AI高频场景，面相全员加速创新落地Al高频场景,首要是chat场景,HiMarket定义Hichat可以让用户快速交互模型、MCP、Agent进行多模态创新HiChat：全员创新管理者合规审计HiChat：全员创新管理者合规审计Agent市场AI市场：Agent市场帮助企业内部管理规模化加速全员AI创新模型市场AIAgent市场模型市场AIAgent市场市场Marketplace数据API模型Marketplace数据API模型API市场A2AAPI在线业务A2AAPI在线业务APIMCPAPIAI市场：多市场共享能力、共享资源Agent市场Agent市场A2A协议兼容企业级Agent架构AgentGateway跨语言、跨框架其他市场模型市场模型市场公有云模型管理公有云模型管理模型重试模型重试模型协议转换模型调用fallbackAlAl市场快速上架-面相开发者生产Hichat(快速体验)-面相全员消费Agent市场：跨语言、跨框架统一Agent管理AgentAgentGatewayAgentAgent市场消费者订阅消费者订阅企业级Agent架构跨语言、跨框架ASAS-Java-CoreAS-Java-RuntimeASAS-Python-CoreAS-Python-RuntimeAutogenADKADK-CoreADK-RuntimeAgentRegistryAI治理：AI市场的治理必要性HiMarket可以进行集中化管理,并企业在安全合规内进行快速创新认证与权限管理混乱认证与权限管理混乱认证生态混乱，权限边界模糊，企业与个人数据混合使Prompt投毒、工具投毒Prompt投毒、工具投毒MCP协议缺乏对工具来源的真实性验证，导致信任锚点缺日志审计与行为监控缺失日志审计与行为监控缺失AI治理：通过统一开放平台，解决AI发展管理问题统一解决内部Al使用的权限问题、观测问题、计量问题、内容审核、合规校验统一开放平台、集中AI治理统一权限管理AlAl场景(内外)权限统一、可定制企业sso、消费者级别鉴权、统一防护统一内容审核统一可观测全局观测大盘,全局观测大盘,展示AIAPI的调用趋势、热门产品排行、异常流量预警多种计量模式多种计量模式(Token、次数等)、支持成本核算、可对外HiMarket架构：AI开放平台私有化定制opensourceHiMarketAIopenplatform帮助企业构建AI开发者门户开发者开发者门户开放平台后台管理者AI网关HiMarket架构：AI开放平台opensourceHiMarketAlopenplatformoverallArchitectureAIAI开放平台门户开放平台门户Developer注册SSO集成Consumer注册凭证管理Product开放展示/订阅/调试Developer注册SSO集成Consumer注册凭证管理Product开放展示/订阅/调试观测分析观测分析Developer维度调用AI开放平台后台 Portal管理域名/样式/审批策略API/Document/PolicyDeveloper/Developer/Consumer管理身份认证/RBAC/订阅管理观测分析多维度调用观测AI网关Model/MCP/Agent开源Higress网关AI网关Model/MCP/Agent开源Higress网关MCPServerAPI网关REST/HTTPAPINacosMCP/AgentAI网关/Nacos基础设施：集成与统一管理HiMarket架构：构建AI中台，加速AI创新速度Al中台为Al供给侧和消费侧进行高效匹配,屏蔽选型差异,提供统一Al场景、市场、管控支持Al生态(消费侧)数字人数字人机器人机器人智能外呼智能玩具智能手表智能座舱智能眼镜服务来源服务来源Nacos认证鉴权认证鉴权计量计费HiMarket(HigressAl开放平台)开放门户开放门户流量额度安全AIAI供给侧AgentAgent流量监控数据分析安全审计合规预警GitHub：/higress-group/hHiMarket生态：AI原生应用架构全景图Al原生应用架构最佳实践,HiMarket事件驱动ApacheRocketMQ端&生态Token流控安全护栏AIGateway语义缓存智能路由流量防护APIGatewayAPI端&生态Token流控安全护栏AIGateway语义缓存智能路由流量防护APIGatewayAPI管理服务发现通义模型…AIAIAgentAgentScopeAgentAgent标准智能体定义范式WorkflowWorkflow/Multiagent工作流与多智能体编排上下文与状态管理A2AA2A分布式智能体协作AI观测&评估AI观测&评估LLMObservability工具集MCPMCPServerHiMarket坚持开源开放，欢迎一起共建，让天下企业没有难用的AI开放平台HiMarket1.0HiMarket0.1起始版本，支持MCP市场HiMarket0.5当前重大版本，AI市场，体验中心，企业级平台能力HiMarket0.6Prompt市场新增、agent市场持续增强HiMarket0.7HiChat支持丰富agent模式，支持manus、deepresearch等类型复杂agent支持多模态体验，可以文生图，文生视频HiMarket坚持开源开放，欢迎一起共建，让天下企业没有难用的AI开放平台HiMarketAI开放平台，保持开源开放核心参与者包括阿里云、蚂蚁数科、高德、淘天等团队，面向开源可以助力企业快速构建AI开放平台，提供开箱即用的能力！感谢淘天IdeaLAB团队为HiMarket提供的基础，期待更多企业一起参与共建！/higress-group/HiMarket•DockerCompose部署：HiMarketDocker部署指南。•Kubernetes部署：HiMarketHelm部署指南。HiMarket钉钉社区群（2群）：163370001036AI治理：AI开放平台API货币化面相API调用实现细粒度可观测、可计量,拓展可计费,完整封装API产品企业能力实现实现API和AI的无缝连接Firecrawl通过引入MCP协议，使其网页爬取能力能够被分层订阅或按量付费分层订阅或按量付费费基于Agent基于Agent实现API增值AgentScope可观测性原理与实践AgentScopeAgentScope×LoongSuite可观测实践张铭辉LoongSuiteMaintainerOpenTelemetryMember01初探AgentScope可观测02LoongSuite:端到端可观测的利器03AgentScopeStudio:一站式debug工作台初探初探AgentScope可观测IntroduceofobservabilityforAgentScope性能问题性能问题成本问题账单增长这么快，token消耗在哪里？时序数据指标仪表盘告警/审计时序数据指标仪表盘模型训练/微调链路追踪分析知识库建设对象存储对象存储AIOps智能运维标准化数据驱动AI应用能力持续迭代@trace_llm@trace_reply@trace_toolkit@trace_format@trace(name=“simple_function”)ChatModelBaseAgentBaseAbstractBaseFormatterLoongSuite:端到端可观测的利器LoongSuite:端到端可观测的利器LoongSuite:Anend-to-endobservationsuite推理服务部署模型调优AIAgent推理服务部署模型调优AIAgent移动端Web端智能终端基础设施(GPU)车机终端工具集车机终端MCPServer其他ToolMCPServer其他Tool应用网关流量分析和控制高可用攻击防护用户体验监控应用网关流量分析和控制高可用攻击防护用户体验监控首包延迟、流畅度千人千面会话分析推理服务监控模型引擎性能瓶颈定位模型微调/强化学习数据质量评估/审计token分析流量录制&回放token分析流量录制&回放多Agent调用优化端到端全链路数据打通端到端全链路数据打通AuthModerationAuth内容审查原始QueryChatService前端ChatService前端UI/端侧Controller提示词防御ConversationManagerConversationManager意图识别增强PromptManager静态编排动态编排静态编排PromptPromptTemplateManager生成生成Agent生成Chain生成生成Agent生成Gateway规划使用检索知识Gateway规划使用嵌入生成管理知识库FunctionCalling嵌入生成管理知识库FunctionCalling检索知识LLM服务平台/外部服务CPUGPUMemoryCPUGPU东西向打通东西向打通TraceContext南北向打通南北向打通环境探测All-in-oneDataCollectorSuite？LoongSuite进程探针特性LoongSuite进程探针特性•迭代速度，插件丰富度优于开源，支持国内众多框架GocompiletimeInstrumentationsemanticconventionJavaInstrumentation源于OTel社区贡献与回馈源于OTel社区贡献与回馈开源存储开源控制台开源存储OTLPLoongSuitePythonAgentOTLPOTLPLoongSuiteGoAgentAIAgentOTLPLoongSuiteGoAgentAIAgent成本分析LoongCollectorOTLP云服务OTLP云服务云服务控制台质量分析Node.js,IOS,AndroidAgent(敬请期待)ll免开发、零侵入：基于编译时/运行时代码增强快速集成l易扩展：CustomizerProvider、InstrumentationExtension等多种扩展机制，高度自定义l多语言支持：提供Java、Golang、Python等语言无侵入组件支持，覆盖大多数场景javajava-jaryour-application.jarjavajava-javaagent:opentelemetry-javaagent.jar-Dotel.traces.exporter=otlp-Dotel.metrics.exporter=prometheus-Dotel.instrumentation.messaging.enabled=true-jaryour-application.jarAgentScopeAgentScope语言与框架LoongSuite商业版LoongSuite开源版OpenInferenceOpenTelemetryAgentScopeStudio:Aone-stopdebugstudioAgentScopeStudio开源、轻量、易部署、框架无关的可视化工作台。未未来规划括AgentScopeJava括AgentScopeJava在内标准化采集。评估体系开源评估体系开源图，支持Langchain、LoongSuitePythonAgentLoongSuiteGoAgentLoongSuiteJavaAgent LoongCollectorAgentScope×RocketMQ构建A2A智能体通信新基座赵科阿里云智能云原生技术工程师1、基于RocketMQ的AI领域新范式传统应用场景•传统业务中，逻辑编排由人工预先约定。•消息生产方无需关注后续处理逻辑。AI应用场景•AI场景中，编排规则由大模型动态生成。•消息生产方需处理响应结果，以驱动后续逻辑。应用的响应时常基本是分钟级以上。•AI应用一次业务的运行时间不可预测性更昂贵的计算资源•AI推理依赖昂贵的GPU资源，瞬时高并发流量可能冲击推理服务稳定性，导•AI应用的的多轮对话持续时间长，历•上下文的传输可能达到几十甚至上百更精细化的事件驱动•因为计算能力有限，异步事件驱动需要•分级的事件驱动策略，确保高优先级任轻量化通信模型•轻量级的资源管理，低开销的资源创建支持海量Session场景。•更细粒度的的订阅管理。•适用于长时Session、AI工作流和Agent-to-Agent交互等场景。上下文管理•以连续的消息保存Session上下文。•支持大消息体。•顺序、互斥消费保证上下文的完整。•基于百万队列的方案，本质上是一个个queue。•一个轻量级Topic在分配和发送时和顺序Topic的发送一样。•Queue的消息是某个broker专属的，一个轻量级topic的发送在只会到一台broker，而不是轮询发送。原业务流程•任务提交：将任务写入Redis。•任务处理：Worker扫描并处理任务，发送多条顺序消息至RocketMQ。•结果持久与通知：集群顺序消费消息，将结果存入Redis，并基于RocketMQ广播通知所有Gateway节点。•结果推送：Gateway收到广播后，仅当结果归属自身连接时，才从Redis获取并推送给客户端；否则忽略。基于LiteTopic通信模型LiteTopic通信流程•网关机器在发起请求时带上身份标识，并开始订阅该身份标识对应的消息（无需预创建group、topic）。•智能应用根据请求的标识，发送对应的消息（同样无需•网关机器各自接收属于自己的response消息。续传场景•网关机器在发起请求时带上当前request的session，并开始订阅该session对应的消息。•智能应用回复对应session的消息（同样无需预创建）。•网关机器各自接收自己负责处理的session的消息。•在网关机器下线/宕机时，端上重连，新的网关机器可以动态订阅session的消息，自动恢复session。•低延迟：面向实时交互，要求快速响应。•时序性：严格按对话时间顺序组织内容。•单会话隔离：保障不同用户/会话间的数据隔离。•上下文压缩：通过截断或摘要控制长度，避免溢出。核心价值:将“Session”从内存易失状态转化为可持久、可追溯、可恢复的事件流，为多智能体系统提供企业级会话韧性。会话状态持久化•消息天然持久化存储于CommitLog，即使应用宕机或网络中断，会话上下文（如对话历史、任务状态）可通过消息重放完整重建。消息回溯与重放•支持按时间/Offset回溯消费，应用重启后可从断点精确恢复会话，实现无缝续场景示例•用户中断后重新连接→Agent从消息队列恢复完整对话上下文。场景示例•智能体服务升级重启→自动从最后消费位点继续处理任务。应用A将响应输出的TaskEvent/TaskUpdateEvent转换为RocketMQLiteTopic中存储的Message。•应用宕机后启动，可以指定某个Session(LiteTopic)中的具体位点开始继续消费/从上次消费成功的位点开始消费。Session隔离与路由•通过最新的轻量级LiteTopic实现会话级隔离（如sessionId作为LiteTopic），确保多用户/多会话并行无干扰。流量削峰与缓冲•高并发会话请求被缓冲至Broker，避免下游Agent过载崩溃，提升系统整体稳场景示例•多用户多Session→从RocketMQLiteTopic数据源端实现数据隔离。•用户流量突发→RocketMQ消息堆积能力，保护下游Agent避免雪崩。多用户多Session的消息存储于不同的LiteTopic，在数据存储维度实现数据隔离。应用A发出的任务请求可在Broker中持久化堆积，下游应用B依据实际消费能力拉取消费，保证系统稳定性。•Agent-to-Agent（简称A2A）是一项由Google于2025年发起、并随后贡献至Linux基金会的开源通信协议。其核心目标是建立跨厂商、跨框架的标准化互操作机制，使异构AI智能体（Agents）能够自动发现彼此、可靠通信并高效协作，从而构建开放、可组合、可扩展的多智能体系统生单智能体vs.多智能体架构：能力边界与协同范式的演进维度单智能架构多智能体架构协作价值能力边界单一模型承担所有任务，能力受限于训练数据与上下文窗口专业化分工：天气Agent、规划Agent各司其职能力可组合、可扩展任务复杂度难以处理多步骤、跨领域、长周期任务任务分解与编排：复杂目标拆解为子任务，由不同Agent协同完成支持高阶智能行为可靠性与容错单点故障即整体失效局部失败不影响全局：某Agent异常可重试、替换或绕过系统韧性显著提升知识更新灵活性模型需整体重新训练/微调模块化演进：仅更新特定Agent（如接入新API），无需重构全局快速迭代、低成本维护可解释性与调试黑盒决策，难追溯中间逻辑角色清晰、流程可见：每步操作归属明确，便于审计与优化提升可信度与可控性通信与状态管理无（仅用户Agent）结构化对话+上下文共享：通过消息队列实现可靠、可追溯的A2A通信支持复杂会话状态维度同步RPCRocketMQ(异步通信)通信模型同步请求-响应（阻塞式）异步发布-订阅/点对点（非阻塞）解耦性紧耦合：调用方需知道被调方地址与接口松耦合：通过Topic解耦，无需感知对方存在可靠性无内置重试/持久化，网络抖动即失败消息持久化+自动重试+死信队列流量削峰无法缓冲突发请求，易雪崩消息堆积能力，平滑应对流量高峰事务一致性需外部协调，复杂度高原生支持分布式事务消息可观测性依赖链路追踪中间件内置消息轨迹、全链路TraceID透传扩展性水平扩展需服务发现+负载均衡天然支持多消费者组，弹性扩缩容基