人机对话技术及动态

张伟男哈尔滨工业大学计算机科学与技术学院社会计算与信息检索研究中心人机对话关键技术及挑战本科生对话理解与对话生成对话主导朱才海冯梓娴推荐主导胡景雯一致性张家乐张开颜连贯性个性化多样性朱庆福马龙轩宋皓宇刘元兴李凌志多轮建模朱泽圻风格化Conversational

Intelligence(CI)张伟男副教授对话式推荐个人简介HIT-SCIR刘挺教授博士生

硕士生

智能人机对话系统“笨笨”•

HIT-SCIR-CI组主导研发•

平台•

微信公众号：

2016年6月6日上线•

实体机器人•

主要功能

•闲聊•

问答•

任务型对话•

推荐3笨笨系统结构ZhangW

N,

LiuT,etal.

Benben:

AChinese

IntelligentConversational

Robot[C]//ACL2017,System

Demonstrations.2017:13-18.4“聊天”示例5“知识问答”示例6“任务执行”示例7“推荐”示例8笨笨访问统计9智能人机对话系统“笨笨”10•

主办方•中国中文信息学会(CIPS)•

承办方•

哈尔滨工业大学社会计算与信息检索研究中心•

科大讯飞(数据支持)•

赞助方•

华为公司中文人机对话技术评测(SMP-ECDT

III)11SMP

ECDT

III委员会•

主席•

张伟男•

哈尔滨工业大学•

委员•

陈志刚，科大讯飞•

车万翔，哈尔滨工业大学•

张轶博，华为•

黄民烈，清华大学12SMP-ECDT

III•

（深度）自然语言理解评测•

领域-意图-语义槽•

例如：“我想订上海飞往北京的航班”•

评测指标：•

SentenceACC•领域、意图识别和语义槽填充全做对！•

特点（难点）•

符合任务型对话的真实应用场景•

多领域性、多意图性/smp2019/evaluation.html13任务一结果排名（2019.07.15）SMP-ECDT

III•个性化对话生成评测•

给定特定用户属性，生成符合

该属性的个性化对话回复•

特点•

百万级数据集•

客观+主观评价•

BLEU

、Perplexity

、Distinct•

Fluency

、Personality

、

Appropriateness/smp2019/evaluation.html

15任务二结果排名（2019.07.15）人机对话主要技术方向特定域内输入和输出的空间有限尽快完成任务结束对话为了完成某项任务而达到某个目标输入和输出空间无限大尽可能延续对话没有明确的对话目标任务型对话（任务执行）（Task-oriented

Dialogue）开放域聊天（聊天）（Open

Domain

Chatting）VS典型应用：聊天机器人典型应用：智能助手17VS开放域聊天（聊天）（Open

Domain

Chatting）典型应用：聊天机器人人机对话主要技术方向特定域内输入和输出的空间有限尽快完成任务结束对话为了完成某项任务而达到某个目标输入和输出空间无限大尽可能延续对话没有明确的对话目标任务型对话（任务执行）（Task-oriented

Dialogue）典型应用：智能助手18对话状态跟踪...自然语言生成...开放域对话(聊天)系统构成隐式反馈跟踪确认状态跟踪澄清状态跟踪词法、句法、语义分析拒识回复确认及澄清回复多领域用户对话意图识别多领域对话状态跟踪上下文建模情感回复个性化回复风格化回复.

.

.对话质量评估情感分析拒识、确认、澄清、隐式反馈...TTS领域内分析及处理ASR多领域对话状态分布自然语言理解文本或语音文本或语音状态更新特征表示特征表示中间结果终端19...聊天技术的前沿研究点Zhanget

al.

(2018)Orabyet

al.

(2018)Zhanget

al.

(2018)

Mazaré

etal.

(2018)

Moet

al.

(2018)Yanget

al.

(2017)Joshiet

al.

(2017)

Wanget

al.

(2017)个性化&风格化Zhanget

al.

(2018)Serbanet

al.

(2017)Zhaoet

al.

(2017)

Wuet

al.

(2017)Tianet

al.

(2017)上下文建模Huberet

al.

(2018)Zhouet

al.

(2018)Asgharetal.

(2018)

Sunet

al.

(2018)Zhouet

al.

(2017)情感对话Zhuet

al.

(2018)Xingetal.

(2017)Yuetal.

(2017)Songetal.

(2017)Li

etal.

(2017a,b)Ghazvininejadetal.(2018)Liuetal.

(2018)

Zhou

et

al.

(2018)Zhuet

al.

(2017)模型优化知识扩展内容控制20Zhanget

al.

(2018)Yaoetal.

(2017)Keetal.

(2018)Xinget

al.

(2017)Zhanget

al.

(2018)

Luanet

al.

(2017)机器人画像Qianet

al.

(2018)特色

功能对话

生成Ghazvininejadetal.(2018)Liuetal.

(2018)

Zhou

et

al.

(2018)Zhuet

al.

(2017)对话

生成模型优化知识扩展内容控制21Zhuet

al.

(2018)Xingetal.

(2017)Yuetal.

(2017)Songetal.

(2017)Li

etal.

(2017a,b)Zhanget

al.

(2018)Yaoetal.

(2017)Keetal.

(2018)Xinget

al.

(2017)Qianet

al.

(2018)

Orabyet

al.

(2018)Zhanget

al.

(2018)

Mazaré

etal.

(2018)

Moet

al.

(2018)Yanget

al.

(2017)Joshiet

al.

(2017)

Wanget

al.

(2017)个性化&风格化Zhanget

al.

(2018)Serbanet

al.

(2017)Zhaoet

al.

(2017)

Wuet

al.

(2017)Tianet

al.

(2017)上下文建模Huberet

al.

(2018)Zhouet

al.

(2018)Asgharetal.

(2018)

Sunet

al.

(2018)Zhouet

al.

(2017)情感对话聊天技术的前沿研究点Zhanget

al.

(2018)Luanet

al.

(2017)机器人画

复质量Zhanget

al.

(2018)特色

功能•

M：你今年多大了？•

R：我不知道•

M：你怎么不知道？•

R：我也是•

M：呵呵好吧•

R：好的•

M：我考试没及格•R：我的天！•

M：我该怎么告诉妈妈？•

R：快去给她个惊喜•

M：我考试得了满分•

R：太棒了•

M：我该怎么告诉妈妈？•

R：快去给她个惊喜回复质量上存在的挑战22局部学习上下文无关•

M：你今年多大了？•

R：我不知道•

M：你怎么不知道？•

R：我也是•

M：呵呵好吧•

R：好的万能回复相关性差•

M：我考试没及格•R：我的天！•

M：我该怎么告诉妈妈？•

R：快去给她个惊喜•

M：我考试得了满分•

R：太棒了•

M：我该怎么告诉妈妈？•

R：快去给她个惊喜回复质量上存在的挑战23优化初始的解码过程•

动机：解码的第一个输出对后面的整句起决定性作用QingfuZhu,WeinanZhang,Ting

Liu.

Learningto

Start

for

Sequenceto

Sequence

based

Response

Generation.

CCIR

2018

24更好地利用检索结果提高对话生成质量•检索式对话模型流畅性好•

生成式对话模型多样性强•

如何将两者有效结合？•

大规模数据训练容易导致万能回复•

利用标准回复“判别”检索结果•

将判别后的检索结果“生成”回复•

发表于ACL2019QingfuZhu,Lei

Cui,Wei-NanZhang,FuruWei,TingLiu.

Retrieval-EnhancedAdversarial

Training

forNeural

Response

Generation[C].ACL201925基于可控内容生成提升对话回复多样性•

动机：万能回复的特点是无信息量，

通过控制回复中生成的内容能够提升生成质量QingfuZhu,Wei-NanZhang,Lei

Cui,TingLiu.Retrieval-EnhancedAdversarial

Training

forNeural

Response

Generation[C].ACMTALLIP201926知识嵌入序列到序列单轮聊天-

回复生成技术benben

<EOS>amI模型优化内容优化Ghazvininejadet

al.(2018)AAAIareyou<EOS>内容控制Zhanget

al.

(2018)ACLShanget

al.

(2015)ACLbenbenWho27amI更好地建模多轮对话历史的语义•

动机：利用Attention获取多轮对话历史语义信息，避免循环式神

经网络的梯度衰减问题Wei-NanZhang,YimingCui,YifaWang,QingfuZhu,LingzhiLi,LianqiangZhou,Ting

Liu.

Context-Sensitive

Generation

of

Open-Domain

Conversational

Responses[C].

COLING2018

28动态建模多轮对话的策略•

动机：多轮对话过程是动态变化的，

不能用单轮的贪心方式来建宋皓宇,张伟男,刘挺.基于DQN的开放域多轮对话策略学习.SMP2017

Best

Paper模多轮的过程29挖掘用户隐式反馈延长对话轮次•

动机：用户的回复内容中通常包含了一些隐式反馈，如立场、情

绪等的潜在信息，能够反映对话生成的质量Wei-NanZhang,LingzhiLi,Dongyan

Cao,Lianqiang

Zhou,

Ting

Liu.

Exploring

Implicit

Feedback

for

Open

Domain

Conversation

Generation[C].AAAI201830重排序模型多轮聊天-

回复生成技术Serbanet

al.

(2017)AAAI层次化模型强化学习模型深度学习强化学习Sordoniet

al.

(2015)

NAACLZhanget

al.

(2018)AAAI31Zhanget

al.

(2018)Qianet

al.

(2018)

Orabyet

al.

(2018)Zhanget

al.

(2018)

Mazaré

etal.

(2018)

Moet

al.

(2018)Yanget

al.

(2017)Wanget

al.

(2017)Zhanget

al.

(2018)Serbanet

al.

(2017)Zhaoet

al.

(2017)

Wuet

al.

(2017)Tianet

al.

(2017)上下文建模Ghazvininejadetal.(2018)Ke

et

al.

(2018)聊天技术的前沿研究点Zhuet

al.

(2018)Xingetal.

(2017)Yuetal.

(2017)Songetal.

(2017)Li

etal.

(2017a,b)模型优化知识扩展内容控制32Zhanget

al.

(2018)Yao

etal.

(2017)Xinget

al.

(2017)Zhouet

al.

(2018)Sunet

al.

(2018)Zhouet

al.

(2017)Liuetal.

(2018)

Zhou

et

al.

(2018)Zhuet

al.

(2017)Huberet

al.

(2018)Asgharetal.

(2018)Zhanget

al.

(2018)

Luanet

al.

(2017)机器人画像Joshiet

al.

(2017)个性化&风格化特色

功能对话

生成用户体验情感对话个性化回复生成自由文本描述的个性信息显式建模个性化信息客观评价个性化属性回复准确率给定带有个性化属性信息的

结构化数据隐式建模个性化信息人工评价回复是否包含个性给定带有个性化偏好信息的

自然语言描述性段落VS结构化个性信息表示33VS显式建模个性化信息客观评价个性化属性回复准确率给定带有个性化属性信息的

结构化数据给定带有个性化偏好信息的

自然语言描述性段落人工评价回复是否包含个性隐式建模个性化信息个性化回复生成代表性工作自由文本描述的个性信息结构化个性信息表示Zhanget

al.

(2018)ACLQianet

al.

(2018)

IJCAI34NIPSConvAI2个性化聊天回复生成35•

聊天机器人的目标是“像”人•人的一个特性是具备个性化•

属性信息•

说话风格•机器人能否模拟人的个性生成回复•

将个性化信息加入到对话生成模型中•

实现生成回复的个性化和多样性•

发表于IJCAI2019引入个性化信息提高对话生成的多样性Haoyu

Song,Wei-NanZhang,YimingCui,DongWang,TingLiu.ExploitingPersonaInformationforDiverseGeneration

of

Conversational

Responses[C].IJCAI201936风格化回复的直观印象Iwant

acupof

americano.Having

hereortakeaway?Takeaway,

Thanks!Can

I

helpyou?You’rewelcome.37风格化回复的直观印象OK!Thesameas

usualandalsotake

away

hah?Hibuddy!

Whatwouldyou

liketodrink

today?Iwant

acupof

americano.Iwant

acupof

americano.Welcome,

havea

niceday!Having

hereortakeaway?YehSure,Thanks!Takeaway,

Thanks!Can

I

helpyou?You’rewelcome.38已有风格化文本生成工作39已有风格化文本生成工作40词/短语替换模型规则学习对抗学习41风格化生成技术对抗生成模型编码解码模型Prabhumoyeetal.

(2018)

ACLLiet

al.

(2018)

NAACLFuet

al.

(2018)

AAAI风格化回复：

一个初步的尝试•

首次利用迁移学习进行风格化回复生成•

首次提出类图灵测试的回复风格人工评价方法42VS任务型对话（任务执行）（Task-oriented

Dialogue）典型应用：智能助手人机对话主要技术方向特定域内输入和输出的空间有限尽快完成任务结束对话为了完成某项任务而达到某个目标输入和输出空间无限大尽可能延续对话没有明确的对话目标开放域聊天（聊天）（Open

Domain

Chatting）典型应用：聊天机器人43对话状态（Dialogue

state）出发地=NULL到达地

=北京出发时间=NULL对话管理（DM）知识库(KB)及

APIs自然语言理解（NLU）任务型对话系统的结构语义帧（Semanticframe）领域：机票意图：订机票语义槽：到达地=北京状态追踪

（DST）策略优化

（DPO）假设/观测（Hypothesis/Observation）帮我订一张去北京的机票自然语言生成（NLG）对话动作（Dialogue

action）询问(出发地)语音识别（ASR）语音合成（TTS）

领域识别

意图识别

语义槽填充

（Text

response）请问您从哪里出发？用户文本回复语音信号44任务型对话NLU的研究热点•意图识别与槽填充联合建模•标注数据不足条件下的NLU45任务型对话NLU的研究热点•意图识别与槽填充联合建模•标注数据不足条件下的NLU46意图识别与槽填充联合建模•意图识别与槽填充不是相互独立而是紧密联系的•

传统独立的建模意图识别和槽填充，既会引出错误级联，也无法

利用共有的知识。•

例如：如果这句话意图是WatchMovie，那么这句话包含的Slot槽值应该

是电影相关而不是音乐相关47已有工作[ZhangandWang,2016][Liuand

Lane,

2016][Gooet

al,

2018][Li

etal,

2018]48•系统架构图StoryFishFindencesSent基于Stack-propagation的联合学习•

Stack-propagation•

一种多任务学习框架•

任务之间有层次依赖关系[Ongoingwork]

49Sentences

FindFishStoryIntentDetectionEncoderTaskBTaskBEncoderTask

ATask

A(a)Multi-taskframework(b)Stack-propagationdifferentiablelinkIntents

SearchSESearchSEPlay_musicPlay_musicGatedmechanismOOI_music_nameI_music_nameB_music_nameB_movie_nameOOI_movie_nameI_movie_nameB_movie_nameB_movie_name(b)Our

Synchronous

Intent-Augmented

mechanism(a)The

prior

work

intent-gated

mechansimIntentDetectionPredicted

SlotsPredicted

SlotsGold

SlotsGold

SlotsIntents实验结果50任务型对话NLU的研究热点•意图识别与槽填充联合建模•标注数据不足条件下的NLU51•

动机•

对话技术平台需要用户上传大量的标注数据•

能否帮助用户自动扩充标注数据，减小标注工作量？标注数据的自动扩充whereisthe

<distance>

<poitype>canyoufindthe<distance><poitype>

to

megivemetheaddresstothe

<distance>

<poitype>Seq2Seq

Generationwhereisthe

nearestshopping

mallcanyoufindthenearest

reststop

to

megivemetheaddressto

the

near

groceryshowmethe<distance>

<poi

type>#1showmethe<distance>

<poi

type>#2showmethe<distance>

<poi

type>#3showmethe

[closest]<distance>[restaurant]<poitype>Yutai

Hou,Yijia

Liu,WanxiangCheandTing

Liu.

DataAugmentationfor

Dialogue

Language

Understanding.

COLING

2018.showmethe

<distance>

<poitype>

Diverse

Ranks

Incorporation

Surface

Realisation

Delexicalisation

Augmented

UtteranceOne

Utterance52•

模型•

Seq2Seq模型•

相似的训练数据构成“复述”对find

methe

<distance>

routeto

<poi

type>(5

.

0)

istherea

<distance>

<poi

type>(1.

0)

give

methe

<distance>

routeto

<poi

type>(4

.

4)

l

'

m

desiring

to

eatatsome

<poi

type>

isthere

any

in

<distance>find

methe

<distance>

routeto

<poi

type>

＃1→

is

there

a

<distance>

<poi

type>find

me

the

＜dis