【专家】郑岩-华为云客服AI助手的大模型实践与思考

郑岩@华为云此图片为AI生成•山东人@深圳•

4年SAP

，9年华为•

华为云数智使能团队负责人•

AI

+知识

+数据

+TA•

终身学习者About

me–郑岩

，

from华为云BP&IT团队2通过本次分享

，

你可以了解到：•华为云客服AI

“养成之路”•华为云客服AI落地过程中

，遇到的

“三道坎”及解题方法•在企业中应用AI大模型的“避坑指南”目录1.探路篇：

华为云客服AI助手工作复盘2.避坑篇

：在企业内部应用AI大模型的思考官网智能客服

客服坐席客户SRE华为云客服业务背景：

最重要的客户触点之一

，

如何持续提升用户体验和问题闭环效率？1.

坐席专员流失率高

，经验沉淀困难2.

业务复杂、变化快

，赋能周期长痛点2痛点1随业务量增长

，坐席人数线性增加5客服业务的技术演进历程

：期待能够面向客户和坐席

，

提供更

“有用”的客服AI助手作业数字化•

工单处理线上化•

官网智能客服（QA•

知识库建设阶段2：2019~2022年核心诉求：借助知识及“传统”AI手段

，沉淀经验资产

，提升人效官网智能客服升级

|客服坐席AI助手核心诉求：AI大模型驱动生产力跃迁阶段1：2017~2019年核心诉求：业务作业过程线上化阶段3：2023~（探索中）Bot）6阶段⑤：

盘古38B+提示词工程+RAG+人工标注+SFT微调+作业即标注Plus+AI萃取经验知识+持续运营问题：

日调用超100w次

，资源和性能瓶颈凸显

，如何高效使用资源？

如何解决复杂问题？•

客服AI助手融入作业流程

，AI萃取历史工单经验阶段④：

盘古11B+提示词工程+RAG+人工标注+SFT微调+作业即标注+AI萃取经验知识问题

：部分产品存量知识不够

，冷启动效果差、

周期长•

客服AI插件版上线

，试点团队推广•

认证AI训练师

，发布AI标注规范和流程阶段③：

盘古11B+提示词工程+RAG（向量索引）

+人工标注+SFT微调问题

：人工标注效率低、

标注质量差

，谁来标、

谁来检？•联合EI服务

，早期试用CSS向量索引及盘古大模型SFT能力阶段②：

盘古11B+提示词工程+RAG问题

：模型能力不足、

上下文过短、

关键词检索不准•

联合EI服务

，早期试用盘古大模型第②道坎：如何让AI飞轮

“低功耗”转起来？17%第①道坎：如何让AI大模型能

“做事”？81%NOW：

最新模型

，客服AI助手方案沉淀

，孵化AI

Core

，复制到SRE、

营销、

SMB辅销客服AI助手的

“养成之路”

：跨过

“三道坎”

，依然还在路上

…2%2023.032023.052023.072023.092023.112024.Q1•

覆盖客服全员

，组建客服AI运营团队•落地Data

Grounding、

多模态解析

，探索语音场景

68%阶段①：

POC

，盘古11B内测

，直接作答问题

：通用大模型不理解垂域知识、

信息安全如何保障？第③道坎：如何让AI能力持续提升？48%56%71、

RAG是当下性价比最高的LLM落地方案，本质上是一种工程化

“代偿”方案Source:

codeconductor.ai2、

但是

，

RAG搞Demo容易、

落地难

，还需要几个关键配套•配套1：

工程化实现

•配套2

：企业知识管理•配套3

：全链路监控/评估①让AI大模型能

“做事”

，

当前仅靠简单的R+A+G还远远不够

，还需要3个关键配套8开卷问题解答+盘古标注、反馈

知识整理后

，入知识库BadCase分析官网资料上下文补充意图理解融合搜索+盘古

+盘古案例/wiki

…知识语义化&切片+盘古向量知识湖①

自动客服坐席N：输出TOPN知识片段优质QS拦截Y：输出标准答案原始问题附：

RAG工程化实现方案

，初看是搜索

，

越做越是Agent9提出问题接收答案

AI循环

AI作答冷启动

人工坐席坐席作答过程记录资料团队、知识运营AI检索增强

AI模型微调RAG

SFTAI答的差

×修改AI结果后发给客户标注AI训练师AI答的好√直接发给客户作业即标注作业循环经验客户知识②只有让AI飞轮

“低功耗”转起来

，

才能让

“AI养成”这个游戏持续的玩下去•企业场景用户量有限（k级）

，反馈率极低（<5%）

；拿不到足够的反馈

，

就无法支撑AI持续迭代

，

怎么破？我们的解题思路：

“作业即标注”

，

重新设计作业过程

，将AI反馈流程与作业流程融合

，

以驱动AI飞轮102、

深刻理解数据

，

才能持续提升数据质量•对训练数据集建模

，本质上是在对业务任务建模（尝试弄清楚AI到底缺啥数据？缺多少？

--“实习生测试”）•持续改进训练数据和提示词（多看数据

+评测体系）•不断research（当然

，得先做search）③持续提升领域AI大模型能力的

“秘方”是什么？•如何让AI大模型的能力提升符合预期

：理解垂域知识

，执行垂域任务

，有更多数据和算力来持续投入训练我们的解题思路：1、

一套企业级的L1大模型•集中资源和精力

，打磨一个

“懂行”的企业级L1基模型（也可能是开源的行业大模型）L0.FL1.FL1.CL2企业/行业数据增量预训练通用指令数据SFT场景指令数据SFT11客服AI应用试点情况：

过去一年时间

，在AI辅助下

，

工单平均处理时长下降35.11%12第三阶：

组织④组织变革•

业务专家•

数据专家•

技术专家•

数据工程师•

知识工程师/专家•

提示工程师（初阶）•

AI训练师（中高阶）•

AI研究员（高阶）•

作业人员具备AI初阶技能和数据工程师•

业务专家向AI高级训练师和Kmer转变最终

，

你会发现

：AI大模型落地不仅仅是IT挑战

，还是一场业务变革

…华为AI变革“

3层5阶8步法”

：以业务价值目标为牵引

，流程

+组织

+数据

+

IT

，端到端变革⑦AI融入业务应用1.

AI评测上线2.

大小模型编排3.

SAL治理⑧AI持续运营1.

获得反馈2.对数据和知识刷新和修正。3.对模型持续校准和训练第五阶：

IT⑥AI建模与发布初阶：模型选型，

Prompt中阶：微调，外挂知识库，

Botmaker高阶：AI数据集，领域模型训练第二阶：

流程③重塑流程1.业务流程重构2.信息流设计闭环，作业即标注1.

生产力、竞争力和客户体验提升2.防控关键风险与安全3.

提升业务效率降低成本第四阶：数据⑤数据和知识工程第五阶：

IT 第一阶：

场景①明确目标②场景识别层三持续运营智能应用层二AI开发与交付层一重新定义智能业务1.

识别高能耗点2.

业务数据技术三个准备度评估3.

机会点优先级选择1.

高质量数据的采集清洗转换2.

模式数据集的专家撰写和扩增目录1.探路篇：

23年AI辅助华为云业务工作复盘2.避坑篇

：在企业内部应用AI大模型的思考思考

：在企业中应用AI大模型的几个

“坑”1.AI大模型的

“代偿”一时爽

，

一直

“代偿”能一直爽吗？2.我的IT团队能

“适应”AI大模型应用时代吗？应该从哪儿开始搞起？3.AI大模型应用到底是

“

+AI”还是“AI

+”？15SBIGIDEAS

2

24

ARKI沿着AI大模型的第一性原理

，

一切才刚刚开始

，

别在AI大模型前进的车轮下

“绣花”16

思考

：AI技术

“大变局”下

，

哪些是不变的？

--更快、

更准、

更长、

更便宜、

更多模态AnthropicClauderouce:

《

0

》

bynvestGoogleGeminiOpenAI

GPTSource:Gemini-

GoogleDeepMindSource:Models-

OpenAIAPISource:Claude

\AnthropicIT产品运营

AI助手运营（运营AI助手

&AI训练师）IT

SE

AI

SE（提示词工程/算法/训练）IT

SA

AI

SA

（AI加持的解决方案）AI训练师

（评估/标注）IT产品经理业务BA213因地制宜

，选择合适的

“游戏模式”

，

组建GenAI应用团队

，

与AI大模型共同成长GenAI应用团队与传统IT应用团队差异很大•

面向AI大模型的应用设计和开发•人才第一、数据第二、算力第三（英雄出少年

，关注优秀GenAI团队的构成）思考

：与传统IT团队人员配置差异很大；

从应用角度

，

用好ICL

，辅以SFT

，按需做增量预训练

，是不错的选择三种“游戏模式”

，该选哪个？Source:byBijitGhosh

|Medium17Source:

SpaceX

-Missions:Mars思考：

当下是与业务建立统一认知、

组建团队、

练兵的好时机；

应当甄选

“好”场景

，

小处着手

，低垂的果子先摘以终为始

，

用

“AI

+”思想设计