Alagents在电商平台中的应用

王卓隽-阿里1688-AI创新应用负责人•曾主导了1688运营平台化和智能化0到1的建设，以及1688电商内容化的oLLM在电商的价值位应用架构介绍o预期与规划Agents解决方案AI创新范式•大模型赋予的新特性1.1大模型赋予的新特性生成提取电商中深度应用•电商中深度应用•感知能力：意图理解的能力•决策能力：检索、归纳和推理的能力•生成能力：多模态内容生成能力总结分类检索挑询付履营销询盘商家工具挑询付履营销询盘商家工具销售后台外投找导购供给图谱供给图谱商家商品*供应链服务需求图谱用户画像×需求矩阵智能决策匹配用户画像行业知识用户画像行业知识用户实时意图SessionB类需求的非结构化、差异性无法通过搜索&推荐完整表达交互会话+AIAgent的模式，未来可以和现有产品深度融合2.1基于LLM的应用模式成本：解决时间&资源成本解题：利用模型实现新功能规模：实现边际效益提升场景：新的用户交互体验2.1LLM应用的研发方式数据集算法模型资源要求预训练数据集算法模型资源要求预训练基础模型算法研发监督微调SFT模型1-100GPU业务评估模型1-100GPU业务算法研发Prompt调试一旦尝试SFT，模型能力就退化成定向解决方案考虑用更大的模型尺寸泛化解决问题（scalingLaw）2.2模型能力的选择判断通义千问-72B•模型能力：评测任务（涵盖常识推著超越现有的开源模型•上下文：32k的上下文长度•推理性能：配套较低成本部署和加速策略2.2Agent模式电商例举嵌入模式客服工具-商品说明商品反馈-评价润色Agent模式源宝AI助手-采购建议2.21688Agents示例2.21688Agents示例2.21688Agents示例2.3Agent模式电商的演进：从计划到自主基于计划的代理(Plan-basedAgent)•原理：遵循预设流程执行任务•工作方式：遵循工程师设计的pipline执行任务•特点：易于管理，但灵活性低•适合结构化任务，类似新员工。•原理：自主决定执行路径，根据需求灵活调整•工作方式：自动识别重要数据源，根据实际情况调整查询策略•特点：高度自适应，理解复杂需求•适应复杂场景，类似经验丰富专家2.4模型能力与应用设计优化模型在知识上的表现，优化模型在知识上的表现，采用WebGPT以及RAG等技术，通过外部知识索引或内部知识增强的方式，进一步提升模型知识的能力。从而提升Agent的能力2.5Agent实际开发应用挑战力2.5Agent实际开发应用挑战Prompt编写，从先手逻辑往后手逻辑转移使用能力强的大模型，可以让用先手逻辑编写prompt，让agent适配任务，从而进行应用开大模型能力不够时，需要反复修改编写prompt进行，观察任务适配情况，从而找到可以执行的promptprompt是在固定模型下试出来的2.5Agent实际开发应用挑战Agent结果测评•格式测评（简单）•内容测评（非常难）内容测评（非常难）1.外包人力评估（时间成本和人力成本）2.用GPT-4评估（数据安全以及api费用)3.训练专用模型评估（效果质量)技术方案训练模型来评价Agent结果3.1Agent架构总览Agent平台知识库平台gAgent系统业务测评平台Agent系统业务测评平台3.2Agent交互流程3.3Agent知识增强知识库架构：知识库架构：•异构数据源接入：接入更多内外部数据源，如1688行业知识图谱、夸克引擎；知识问答知识检索场景知识业务配置域数据接入知识编辑数据标注•ETL知识问答知识检索场景知识业务配置域数据接入知识编辑数据标注Query改写文档索引向量检索父文档检索语句窗口融合检索场景规则重排模型Query改写文档索引向量检索父文档检索语句窗口融合检索场景规则重排模型基础服务3.3Agent多轮交互介绍多轮交互的实现流程介绍多轮交互的实现流程核心能力：•多轮会话记忆•问题持续构造•知识信息汇总动态号笔记行业知识3.4Agent部署架构弹性部署模型热更新弹性部署模型热更新算力分配流量预测优先级保障虚拟化Dockercontainercontainercontainercontainer训练结果生成服务开发服务状态监测状态采集监测利用率资源画像…Prompt模型训练模型预览模型部署效果确认数据平台数据平台•数据样本库•数据标注•训练集生成模型服务平台•统一LLM接口•在线链路排查模型调度平台•LLM任务队列•弹性部署•模型热更新资源管理平台•算力资源分组•物理卡资源3.4Agent推理优化高性能服务管理弹性部署模型热更新服务状态监测算力分配流量预测优先级保障服务部署自研模型推理引擎加速container状态采集监测利用率资源画像服务管理弹性部署模型热更新服务状态监测算力分配流量预测优先级保障服务部署自研模型推理引擎加速container状态采集监测利用率资源画像服务管理•WeightOnlyINT8量化，加载时自动量化;WeightOnlyINT4量化，支持GPTQ/AWQcontainer•框架上对动态凑批的overhead进行了细致优化container高级加速•剪枝后的不规则模型加载•多轮对话上下文PrefixCache•SystemPromptCache•SpeculativeDecoding部署模型•千问72B模型单机4xL40s方式部署，20台机器30Qps首token响应rt3.5Agent质量保障3个重点切切面：•功能测试全域保障：针对不符合用户场景动线、不满足用户期待的各类体验问题，产出•稳定性&风险感知：不同的模块、不同的阶段产出的异常进行及时识别并上报预警。•全链路日志埋点•大模型效果测评：客观评价和主观评价并行的方式对效果进行评估，其中客观指标作为主观指标的参考数据。3.5Agent质量测评•大模型评测语料库：通过AI构造冷启数据和回流线上数据来作为评测的用例。客观性：测试构造的prompt+线上抽样采集的prompt•评测系统：在对评测用例生成结果后，客观评测评分+人工对回答结果质量进行主观打分。针对主观和客观的评测分数及归因分析，得出质量报告。•研发流程SOP4.1产品驱动模式传统互联网的模式技术实施技术实施业务 特性•模型能力决定产品方案新AI趋势下的模式•职能边界逐渐模糊化•Agent工程能力需完善模型应用实践模型应用实践产品设想验证模型能力边界产品方案迭代技术实施业务4.2研发流程SOP配置平台流量监控异常排查配置平台流量监控异常排查研发容器模型部署数据监控数据服务资源调度效果统计开发态运维态观察态纵向Agents敏捷迭代，横向提供基础服务4.3技术趋势影响创新+借鉴：了解面向不同领域的Agents创新+借鉴：了解面向不同领域的Agents应用平台化：深入研发工具、架构方案、数据体系的解决方案适配性：关注模型的尺寸、维度测评、推理性能、上下文、新特性Agent产品模型应用生态基础模型能力数字供应链•在柔性供应链方向上的应计数字供应链•在柔性供应链方向上的应计•提升供应链效率和成本，对平台供应链系统的进一步Agents改造产业生态集成•在企业ERP对接的体系中，用AI解决系统链接和同步的能力。•在工业品等源头产业链上，进一步用AI和生态力量去融合服务能力消费电商•