智能对话系统中的个性化

智能对话系统中的个性化来也来也联合创始人&CTO来也个人简介为企业和个人打造智能助理·2000-2007：清华大学本硕·2008-2011：宾夕法尼·2011-2012：今晚看啥联合创始人·2013-2015：百度资深架构师·2015至今：来也联合创始人&CTO为企业和个人打造智能助理来也来也专注于智能对话技术老让每个人拥有助理六百万用户正在使用的对话式在线个人助理服务·理解-交互-咨询-任务完成，实现交·日均需求会话数超百万，AI交互占比98%·对接超过150个服务商，日程AI准确率99%·主动交互DAU及新增用户数维持高速自增长吾来wul.ai领先的企业智能助理智能对话解决方案赋能企业提升效率•具有AI能力的机器人平台和智能对话解决方案·基于大数据挖掘的用户画像，实现个性化推荐·超过95%的AI准确率，人效优化60%·2-3倍的销售转化率提升为企业和个人打造智能助理来也适合智能对话系统的场景来也为企业和个人打造智能助理3种不同的对话类型用户希望得到特定问题的答案问答型对话机器人回复来自特定领域的知识库什么是人工智能?以准确率为评估指标用户希望完成特定的任务任务型对话机器人通过多轮对话满足用户需求帮我订·以需求完成率为评估指标用户没有明确目的闲聊机器人也没有标准答案我好无聊啊以相关性、趣味性为评估指标为企业和个人打造智能助理来也基于知识库的智能问答知识库如何成为会员会员有什么权益怎么查询积分怎么注册会员会员有特权吗我有多少积分知识库由若干个知识点组成，每个知识点都包含若干个语义相同的问题，这些问题可以被同样的答案来回答。我想成为会员会员能干什么如何查看积分会员怎么申请会员有啥好处哪里能查积分用户问题问答机器人机器人回答怎么看还剩多少积分命中知识点“如何查询积分”问答机器人将用户的问题匹配到知识库中最相近的知识点上，用该知识点的答案回答用户。基于分类模型的问答系统·基本思路·每个知识点是一个分类·将整个知识库作为训练数据·传统机器学习模型·TFIDF+LR·n-gram+Adaboost·神经网络模型·LSTM·N·fastText为企业和个人打造智能助理基于检索和排序的问答系统·检索·以知识库中的问题为粒度建立索引，每个问题都对应一个知识点·对用户问题进行分词、去停用词、同义词扩展等操作·返回知识库中若干个相关性最高的问题对应的知识点·排序·通过一个语义匹配模型计算用户问题和检索返回问题的语义相似度，选择语义相似度最高的问题对应的知识点为企业和个人打造智能助理为企业和个人打造智能助理来也基于句向量的语义检索知识库知识点1知识点2知识点3句向量向量搜索检索结果编码器命中知识点“如何查询积分”用户问题怎么看还剩多少积分为企业和个人打造智能助理来也句向量编码器和向量搜索通过标注数据训练句向量编码器标注数据为句对：语义相同的句对、语义不同的句对句向量编码器的结构:Bi-LSTM+max-pooling向量搜索使用Faissu:x十xx3-waysoftmaxmax-poolingxfully-connectedlayersx寸(u,v,|u—v|,u*v)\bar{h_{1}}\bar{h_{2}}\bar{h_{3}}\stackrel{\leftarrow}{h_{4}}uv\overrightarrow{h_{1}}\overrightarrow{h_{2}}\overrightarrow{h_{3}}\overrightarrow{h_{4}}sentenceencoder

withpremiseinputsentenceencoder

withhypothesisinputw_{1}w_{2}w_{3}w_{4}Themoviewasgreat[Conneau2017]来也为企业和个人打造智能助理问答型对话技术小结·问答的本质是找到和用户问题语义匹配的知识点·基于分类模型的问答系统效果好，但需要较多的训练数据，且重新训练的成本较高·基于检索和排序的问答系统能较好的弥补以上问题，但仍然存在检索召回问题·基于句向量的语义检索能实现在全量数据上的高效搜索，从而解决传统检索的召回问题·实际系统中会根据具体情况选择不同的方案为企业和个人打造智能助理来也3种不同的对话类型用户希望得到特定问题的答案问答型对话机器人回复来自特定领域的知识库什么是人工智能?以准确率为评估指标·用户希望完成特定的任务任务型对话▼机器人通过多轮对话满足用户需求帮我订·以需求完成率为评估指标·用户没有明确目的闲聊·机器人也没有标准答案我好无聊啊以相关性、趣味性为评估指标任务型对话系统的架构·Automaticspeechrecognition(ASR)•将语音信号转为文本·Naturallanguageunderstanding(NLU)·将文本映射成结构化的语义表示·Dialoguemanagement(DM)·维护对话状态并决定系统动作·Naturallanguagegeneration(NLG)•根据系统动作生成自然语言·Text-to-speechsynthesis(TTS)•基于自然语言生成语音信号输出为企业和个人打造智能助理为企业和个人打造智能助理来也任务型对话系统中的NLU和DMUserInputNLUUserDialogActDialogStateUserDialogActDMSystemDialogAct为企业和个人打造智能助理来也基于有限状态机(FiniteStateMachine)的对话管理●每一个状态都对应一个系统动作状态之间的跳转以用户当前输入为条件通过有限状态机将(当前状态，用户输入)映射到下一状态只适合特定的对话类型状态太多时难以维护[Pilson2014]老为企业和个人打造智能助理基于帧(Frame)的对话管理●Frame是槽位(Slots)的集合，定义需要用户提供什么信息●对话状态：哪些槽位已被填充●动作选择：下一步该填充哪个槽位难以应对复杂的场景缺少层次SlotOptionalQuestionFromAirport"Fromwhatcityareyouleing?"ToAirport"Whereareyougoing?"Deptime"Whenwouldyouliketolee?"Arrtime"whendoyouwanttoarrive?"FareclassAirlineOneway为企业和个人打造智能助理来也基于计划(Agenda)的对话管理·对Frame进行改进，支持树状的层次结构·树中的节点称为handler，用于理解并处理用户输入·从左到右、深度优先遍树中的handler·树的结构可动态调整，支持话题切换、回退、退出[Rudnicky1999]为企业和个人打造智能助理来也基于深度强化学习的对话状态跟踪·通过神经网络将对话上文映射到系统动作，无需显示定义对话状态·网络的输入是NLU结果和上一步系统动作·网络的输出是下一步系统动作的概率分布·可通过有监督学习或强化学习的方法训练·需要大量真实的、标注的对话数据[Williams2016]来也为企业和个人打造智能助理任务型对话技术小结·任务型对话将用户的输入和系统的输出都映射为对话动作·通过对话状态来实现上下文的理解和表示·对话管理模块是任务型对话的大脑，它决定系统动作并维护和更新对话状态·传统的对话管理方法包括基于FSM、Frame、Agenda的，适用于不同的场景·基于统计的对话管理方法更加灵活，但需要大量真实的、标注的对话数据来训练为企业和个人打造智能助理㖝3种不同的对话类型用户希望得到特定问题的答案问答型对话机器人回复来自特定领域的知识库什么是人工智能?以准确率为评估指标用户希望完成特定的任务任务型对话机器人通过多轮对话满足用户需求帮我订●以需求完成率为评估指标·用户没有明确目的闲聊、机器人也没有标准答案我好无聊啊以相关性、趣味性为评估指标为企业和个人打造智能助理来也检索式的闲聊对话系统MessageRetrievedmessage-responsepairsMessage-response

pairswithfeaturesRankedresponsesRetrievalFeature

GenerationRankingonlineofflineIndexofmessage-responsepairsMatching

ModelsLearningto

Rank[Zhou2016]为企业和个人打造智能助理老生成式的闲聊对话系统EncoderDecoderx_{1}x_{2}x_{m}y_{1}y_{2}y_{n}\mathrm{h}_{1}h_{2}\mathrm{h}_{\mathrm{m}}\mathbf{S}_{1}\mathbf{S}_{2}\mathbf{S_{n}}Decoder

StateEOSy_{1}y_{n-1}\mathbf{C}_{1}C_{2}\mathbf{C}_{\mathrm{n-1}}Context

VectorAttention[Huang2016]为企业和个人打造智能助理来也闲聊型对话技术小结·通常以来自互联网的大量句对作为训练数据·有检索式和生成式两大类方法·检索式的方法效果可控，但缺乏多样性·生成式的方法使用更灵活的框架，可以对生成的对话进行更好的控制为企业和个人打造智能助理智能对话系统中的个性化为企业和个人打造智能助理对话机器人的个性化-情绪·机器人的回复不仅在内容上有相关性，在情绪上也要有一致性·将回复的情绪分为不同类型，作为特征进行训练·生成时可根据不同情绪生成不同回复[Zhou2018]为企业和个人打造智能助理来也对话机器人的个性化-情绪PostPostModelModel承诺，就是一个骗子说给一个傻子听的。Apromiseiswhatacheater

saystoafool.承诺，就是一个骗子说给一个傻子听的。Apromiseiswhatacheater

saystoafool.Seq2SeqSeq2SeqECMECM知道真相的我眼泪笑下来Knowingthetruth,Ilaughed

myselftotears知道真相的我眼泪笑下来Knowingthetruth,Ilaughed

myselftotearsSeq2SeqSeq2SeqECMECM[Zhou2018]为企业和个人打造智能助理来也对话机器人的个性化-身份属性GenericDialogueDataforTrainingPre-specifiedChatbotProfileUserA:howoldareyou?ProfilekeyProfilevalueUserB:Iamsix.Name(WangZai)Age三岁(3)UserA:doyouliketoplaypiano?Gender男孩(Boy)Hobbies动漫(Cartoon)UserB:Iplayviolin.Speciality钢琴(Piano)GeneratedDialoguesUser:howoldareyou?Identity-coherent

ChatbotMachine:Iamthreeyearsold.User:doyouliketoplaypiano?Machine:Yes,Iplaypiano.[Qian2018]为企业和个人打造智能助理对话机器人的个性化-身份属性机器人的身份属性在对话过程中要保持一致姓名、性别、年龄、爱好等等用ProfileDetector判断回复中是否需要包含身份属性根据身份属性来生成回复来也[Qian2018]吾来wul.ai领先的行业智能助理旅游管家视频demo旅游目的地对话机器人·行程路线·厦门半天的行程路线·求推荐厦门3到7日景点游线路·交通出