云小蜜对话机器人背后的核心算法

云小蜜对话机器人背后的核心算法唐呈光/蒽竹阿里巴巴-智能服务事业部-算法专家DM智能服务事业部DialogState

TrackingPolicy对话系统框架NLUNLG对话系统UserDM智能服务事业部PolicyDialogState

Tracking对话系统框架MLUNLGMLGNLU对话系统ServiceUserDM智能服务事业部对话系统框架对话系统DialogState

TrackingPolicyMLGMLUNLUNLGUserSimulatorServiceUser智能服务事业部用户模拟器自然语言理解对话管理核心算法智能服务事业部北京的天气明天的天气杭州气温查询明天北京天气情况请问一下明天北京天气如何

请问后天上海天气怎么样….{0,2}[请问[一下]][${日期}某省市市}][的](天气|气温)[如何|怎么样].{0,2}•

全场景覆盖的语言理解方案可表示144个句子(不包含实体和通配符)自然语言理解多样本无样本小样本高效知识归纳自然语言理解•

全场景覆盖的语言理解方案智能服务事业部成千上万tasks，见多识广Few-shot

LearningModel多样本无样本小样本SupportSet

(3-Way3-Shot)QuerytaskLossTrainingSetPredictionset智能服务事业部Memory-based

InductionNetworkfor

Few-shot

Learning当前效果最好的模型•

全场景覆盖的语言理解方案Induction

Networkfor

Few-shot

Learning当前效果最好的模型自然语言理解多样本无样本小样本样本信息Induction

归纳Memory

记忆类信息MatrixTransformationd

⇥

dC

⇥

K

⇥

dEncoderInductionRelationNeuralTensorNetwork+

SigmoidSampleCapsule

C

⇥

K

⇥

dClassCapsule

C

⇥

dclass3class2Class

1QuerySample

CapsuleQuery

CapsuleRelation

ScoreDynamicRoutingOne-hot

VectorCapsuleClass自然语言理解•

全场景覆盖的语言理解方案智能服务事业部MatrixTransformation

前后数据可分性对比(a)Before

Transformation

(b)

After

TransformationInduction

Network多样本无样本小样本智能服务事业部•

全场景覆盖的语言理解方案Intent

recognizationPairwiseSimilarityLexicon

Encoder(word,

positionandsegment)Inputembeddingvectors,one

eachtoken.Transformer

Encoder(contextualembedding

layers)X:asentence

or

a

pair

of

sentencesContextembeddingvectors,one

eachtoken.自然语言理解企业模型多任务学习多样本无样本小样本知识蒸馏迁移学习

行业模型

通用模型Soft

predictionsSoft

labelsHard

predictionHard

labelyLoss

FnLoss

FnInputxTeacher

modelStudent

model智能服务事业部.BERT模型预训练

.知识蒸馏.多任务学习.引入Few-shot框架

.提出lnduction网络

.当前业界最好效果.参考JSGF国际协议

.封装简洁用户语法.加入缓存剪枝优化.

扩展“非”等逻辑符.

全场景覆盖的语言理解方案Few-ShotLGF规则引擎BERT自然语言理解多样本无样本小样本智能服务事业部用户模拟器自然语言理解对话管理核心算法智能服务事业部平台视角下的对话管理具备鲁棒性持续学习业务建模TaskFlow业务建模智智能能服服务务事事业业部部衔接NLU

，提供样例式描述支持逻辑分支、赋值、

API调用等提供回复并衔接下轮触发业务建模梳理业务流程对话样例描述外部API集成可编程性智能服务事业部业务建模：两个层面的状态机FunctionExecution

StepRouteStepFinishStepResponseGenerate

Step机器说用户说NLUStepStartStep机器说函数节点用户说函数节点执行状态机业务状态机机器说机器说U:

我想充点话费R:

请问您要充多少钱？U:

我想查一下我账户里还有多

少钱？R:

您好，您的账户余额为18.3

元U:

充100块钱R:

好的，系统已经为您充值完

成，您目前的话费余额为118.3

元智能服务事业部R：您好，请问您要办什么业

务？U：流量包业务R：请问您是要开通流量包还

是退订流量包呢？U：请帮我取消一下流量包R：好的，流量包已经退订成功，请问还有什么可以帮您？U：没有了，R：不客气，感来电，

祝您生活愉快，再见！U：开发票R：请问您开纸质的还是电子

的？U：电子的R：请问您开个人还是单位？U：算了，还是开纸质的吧打断恢复模糊澄清个性化拒识信息修改错误一次怎么回

错误两次怎么回

错误三次怎么回鲁棒性…R：您好，请问您要办什么业务？U：流量包业务R：请问您是要开通流量包还是

退订流量包呢？U：请帮我取消一下流量包R：好的，流量包已经退订成功，

请问还有什么可以帮您？U：没有了，R：不客气，感来电，祝

您生活愉快，再见！智能服务事业部重听模糊澄清个性化拒识…通过系统内置TaskFlow实现对话鲁棒性可执行taskflow模糊澄清系统内置模糊澄清

TaskFlow鲁棒性对话管理引擎用户定制TaskFlow+联合编译低频

多样业务TaskFlow高价值的智能智能服务事业部可持续学习-动机让Bot从交互中持续学习场景自适应？用户自适应？更细化的类人行为？对话多样性高频

确定出现频次Model&

Data-Driven预置基本

类人能力智能服务事业部RL-trainingSimulator-RLGoalGeneratorEvaluatorNeuralAgentSL-training

PolicyNet

BatchExampleProducer

DST

使可微

可控强化学习可交互学习蒸馏（Distillation)增强提升（

RL-Boosting)可学习在线学习持续学习覆盖详尽业务逻辑的

对话数据收集用户目标（Goal

Collecting)UserGoalsSimulator-SLStrategyBot-DM学术界人和对话系统（two

agents）slots离散可枚举1次交互主体state定义slotvalue假设一轮对话中tracking次数我们multi-agentsvariable（含slots）无约束多次智能服务事业部DialogStateTracking（DST）

我要和会

Policy

DST

同事

’

’和以下同事重名DSTapi_call-工号()api_return()toClarify={}PolicyDSTapi_call-工号()-1，-2

…

那就-2

Policy

DST

请问您要约几点开始的会？api_return()

clarified={-2}PolicyDialogStateTracking（DST）user

Dialogue

Manageragents智能服务事业部agent

1agent

1智能服务事业部DialogStateTracking（DST）slots：……variable：……slots：……variable：……Operator:KeepDeleteModify……Utterance

(t)SysAct

(t-1)Api-return

(t)DST

modelOperatorState

St-1State

St智能服务事业部Policy:A2C-ERwithTaskFlow

bootstrappingEpisode-nexperience

1:s(1),act(1),r(1),s(2),v(1),

u(1)experience2:s(2),act(2),r(2),s(3),v(2),

u(2)…..experiencet:s(t),act(t),r(t),s(t+1),

v(t),u(t)s(t+1)where:Episode-2(IS)

Weight:t＝π(au|bt)/μ(au|bt)Behior

Policy(e-greedy)Episode-1FeatureVectorGeneratoruseract(t+1)belief(t+1)Experiencebufferuseract(t-1)user

act(t)act(t+1)Reward

EvaluatorPolicyNetGradient:ValueNetGradient:belief(t-1)turn(t+1)turn(t-1)belief(t)act(t-1)act(t)turn(t)act(t)v(t)where:r(t)s(t)智能服务事业部用户模拟器自然语言理解对话管理核心算法智能服务事业部SimulationSystem抽样生成树用户状态追踪Ssim(t-1)用户策略sys

act(t-1)user

act(t)系统状态

&用户状态DMAssuming

thatsystemtalks

firstSdm(t)Utt实体2话术模板1话术模板2意图3触发节点Sdm(1)Ssim(t)Sdm(t-1)Ssim(1)Sdm(0)Ssim(0)user

act(1)sys

act(1)user

act(t-1)实体1意图2意图1SimulatorLGF

sys

act(0)

智能服务事业部GoalGeneratorUserStateTracker