郑岩-华为云客服AI助手的大模型实践与思考

郑岩@华为云此图片为AI生成Aboutme–郑岩，from华为云BP&IT团队2通过本次分享，你可以了解到：•华为云客服AI“养成之路”•华为云客服AI落地过程中，遇到的“三道坎”及解题方法•在企业中应用AI大模型的“避坑指南”1.探路篇：华为云客服AI助手工作复盘2.避坑篇：在企业内部应用AI大模型的思考痛点1客户官网智能客服华为云客服业务背景：最重要的客户触点之一，如何持续提升用户体验和问题闭环效率？痛点1客户官网智能客服客服坐席痛点2痛点25客服业务的技术演进历程：期待能够面向客户和坐席，提供更“有用”的客服AI助手作业数字化6客服AI助手的“养成之路”：跨过“三道坎”，依然还在路上…NOW：最新模型NOW：最新模型，客服AI助手方案沉淀，孵化AICore，复制到SRE、营销、SMB辅销•覆盖客服全员，组建客服AI运营团队•落地DataGrounding、多模态解析，探索语音场景阶段⑤：盘古38B阶段⑤：盘古38B+提示词工程+RAG+人工标注+SFT微调+作业即标注Plus+AI萃取经验知识+持续运营问题：日调用超100w次，资源和性能瓶颈凸显，如何高效使用资源？如何解决复杂问题？•客服AI助手融入作业流程，AI萃取历史工单经验第③道坎：阶段④：盘古11B+提示词工程+RAG+人工标注+SFT微调+作业即标注+AI萃取经验知识问题：部分产品存量知识不够，冷启动效果差、周期长•客服AI插件版上线，试点团队推广第②道坎：•认证AI训练师第②道坎：阶段③：盘古11B+提示词工程+阶段③：盘古11B+提示词工程+RAG（向量索引）+人工标注+SFT微调问题：人工标注效率低、标注质量差，谁来标、谁来检？•联合EI服务，早期试用CSS向量索引及盘古大模型SFT能力阶段②：盘古11B+提示词工程+RAG问题：模型能力不足、上下文过短、关键词检索不准•联合EI服务，早期试用盘古大模型阶段①：POC阶段①：POC，盘古11B内测，直接作答问题：通用大模型不理解垂域知识、信息安全如何保障？72023.112023.032023.052023.072023.092024.Q172023.11①让AI大模型能“做事”，当前仅靠简单的R+A+G还远远不够，还需要3个关键配套本质上是一种工程化“代偿”方案Source:codeconductor.ai8难，还需要几个关键配套•配套1：工程化实现•配套2：企业知识管理•配套3：全链路监控/评估附：RAG工程化实现方案，初看是搜索，越做越是Agent/wiki/wiki…+盘古+盘古+盘古+盘古Y：输出标准答案+盘古+盘古Y：输出标准答案+盘古9②只有让AI飞轮“低功耗”转起来，才能让“AI养成”这个游戏持续的玩下去•企业场景用户量有限（k级反馈率极低（<5%拿不到足够的反馈，就无法支撑AI持续迭代，怎么破？我们的解题思路：“作业即标注”，重新设计作业过程，将AI反馈流程与作业流程融合，以驱动AI飞轮作业循环作业循环AI答的差×AI答的好√经验经验③持续提升领域AI大模型能力的“秘方”是什么？•如何让AI大模型的能力提升符合预期：理解垂域知识，执行垂域任务，有更多数据和算力来持续投入训练我们的解题思路：1、一套企业级的L1大模型•集中资源和精力，打磨一个“懂行”的企业级L1基模型（也可能是开源的行业大模型）↓↓↓练练2、深刻理解数据，才能持续提升数据质量•对训练数据集建模，本质上是在对业务任务建模（尝试弄清楚AI到底缺啥数据？缺多少？--“实习生测试”）•持续改进训练数据和提示词（多看数据+评测体系）•不断research（当然，得先做search）客服AI应用试点情况：过去一年时间，在AI辅助下，工单平均处理时长下降35.11%最终，你会发现：AI大模型落地不仅仅是IT挑战，还是一场业务变革…第一阶：场景第二阶：流程层一重新定义第一阶：场景第二阶：流程层一重新定义智能业务要到第四阶：数据层二交付第四阶：数据层二交付第五阶：IT层三持续运营智能应用1.探路篇：23年AI辅助华为云业务工作复盘2.避坑篇：在企业内部应用AI大模型的思考思考：在企业中应用AI大模型的几个“坑”1.AI大模型的“代偿”一时爽，一直“代偿”能一直爽吗？2.我的IT团队能“适应”AI大模型应用时代吗？应该从哪儿开始搞起？沿着AI大模型的第一性原理，一切才刚刚开始，别在AI大模型前进的车轮下“绣花”OpenAIGPTGoogleGeminiAnthropicClaude思考：AI技术“大变局”下，哪些是不变的？--更快、更准、更长、更便宜、更多模态因地制宜，选择合适的“游戏模式”，组建GenAI应用团队，与AI大模型共同成长 1思考：与传统IT团队人员配置差异很大；从应用角度，用好ICL，辅以SFT，按需做增量预训练，是不错的选择以终为始，用“AI+”思想设计，以“+AI”来逐步改变，当下正是“春耕时节”Source:SpaceX-Missions:Ma思考：当下是与业务建立统一认知、组建团队、练兵的好时机；应当甄选“好”场景，小处着手，低垂的果子先摘•我们的“探路”报告①为了让AI大模型能“做事”，RAG有用，但远远不够，需要三个配套（工程化实现、企业知识管理、全链路评测）②为了让AI飞轮“低功耗”转起来，重新设计业务流程和IT交互，让AI大模型融入作业（“作业即标注”）③为了持续提升领域AI大模型能力，需要建立企业级L1，并对训练数据建模，以改进数据质量④加餐：企业AI变革的“三层五阶八步”方法