第18周问答系统二

1、2017-2018学年-春季学期: 自然语言处理问答系统（二）赵军 （jzhao）中国模式识别自动化概述n 问答系统概述n 问答式检索系统n 社区问答系统n 基于大规模知识库的问答系统n 阅读理解式问答系统nn系统与2开放n 非结构化：网页，百科，互动百科n 结构化：YAGO2，DBpedia，Freebase3任务：基于大规模知识库的问答系统versionApache_Licenselicense2(Integer)AndroidAnswerSoftwaretypedeveloperprogrammedInJavaSELECT DISTINCT ?uriWHERE ?uri rdf:type

2、 dbo:Software.?uri dbo:developer ?x1.?x1 rdf:type dbo:CompanydeveloperOraclefoundationplace自然语言问句到结构化语句 （SPRAQL）的4问答系统Which software has been developed by organizations founded in California, USA?相关评测：QALD-单知识库问答n CLEF: Cross-Language Evaluation Forumn Task: Question Answering over Linked Data (QALD

3、)5评测时间会议任务参与QALD-12011ESWCMultilingual QA Music QA22QALD-22012ESWCMultilingual QA4QALD-32013CLEFMultilingual QA Music QAOntology lexicalization610QALD-42014CLEFMultilingual QA QA on interlinked dataHybrid QA630QALD-52015CLEFMultilingual QA Hybrid QA（KB+Text）任务: 单知识库问答n 对于给定的自然语言问句和关键字，返回确定的(SPARQL语句

4、)。或对应形式化语句：Which books by Kerouac were published by Viking Press?：book, Kerouac, publish, Viking Pressppp 形式化：SELECT DISTINCT ?uri WHERE ?uri rdf:type dbo:Book .?uri dbo:publisher res:Viking_Press .?uri dbo:author res:Jack_Kerouac .n 知识任何： 组织方提供DBpedia和MusicBrainz知识库，另外可以使用和数据，YAGO, Freebase, WordNe

5、t等n集： QALD-5中，训练集340个需要知识库就能回答，有少部分需要，测试集60个。其中，大部分仅知识库和文本进行回答(训练集40个，测试集10个）。6任务：多知识库问答n 知识分布于多个不同的知识库中，仅仅依靠一个知识库不能给出的。需要各个知识库中的知识或者利用知识库之间已有的联系来回答。p 知识库：DrugBank(), Sider (副作用), Diseasome (疾病)：25个训练，25个测试p7：符号 vs 数值基于符号逻辑的技术基于数值运算的技术语析的任务n 语析: 把自然语言句子成逻辑形式的表：x . city(x) next_to(x, new_york)p Lambd

6、a-演算逻辑表（有哪些城市靠近纽约）(variable-free logical expression)：变量表panswer(state(next_to(new_york)p9语义表达形式：Lambda-calculus expression知识库问答中的问句语析可以是某种简化的逻辑形式，例如变量表，SPARQL等。10语析语法：组合范畴语法n Combinatory Categorial Grammar (CCG）n 自然语言句子转换为逻辑表达形式的一种常用工具n CCG两个主要部分：p 语义辞典：将自然语言词语为知识库中的语义单元（实体、类别和）n 语义词典把语义单元的句法和语义起来p

7、语义组合规则：将小粒度的语义单元组大粒度的语义单元n 把细粒度的语义单元组更大粒度的语义单元11语析语法：组合范畴语法12组合范畴语法：语义词典n 自然语言的词语：New Yorkn 词语的句法范畴：NPn 对应知识库的语义单元：nyn 从句法到语义转换是有歧义的，用概率化组合范畴语法PCCG进行消歧13组合范畴语法：组合规则语义组合过程歧义，用概率化组合范畴语法PCCG进行消歧14问句语析的n 词汇鸿沟p 问句中短语与知识库中语义单元的n 实体匹配(Entity Linking)：大姚-n 类别匹配(WSD)：movie-Film匹配(Relation Extraction)：wife of

8、-Spousenp 语义单元的消岐n 结构鸿沟p 问句的自然语言结构与知识库中语义单元的结构进行匹配n 例如：A beats B. / B is beaten by A. Win(A, B)n 实体、类别、n 多个三元组如何组成一致的什么样的三元组巨大的组合空间np 语义单元组合法的形式化语句需消歧15语析的n 大规模知识库，人工构建/概念的文本描述很：p Freebase：4000多万实体，上万个属性p DBpeida：400多万实体，48,293种属性p YAGO2 ：35多万实体，超过100个属性，24多亿个事实三元组，4.7亿个事实三元组， 1亿多个事实三元组n 在这样规模的知识库上进

9、行语义单元消歧和结构消歧很。16当前：Pipeline17SELECT DISTINCT ?uri WHERE ?uri rdf:type dbo:Software.?uri dbo:developer ?x1.?x1 rdf:type dbo:Company. ?x1 dbo:foundationPlace dbr:California. SPARQLSemantic Tripledbo:Software, dbo:developer , dbo:Company, dbo:foundationPlace, dbr:California.Semantic Itemsoftware, devel

10、oped by, organizations,founded in, CaliforniaPhraseWhich software has been developed by organizations founded inCalifornia, USA?Question当前：基于模板或规则的结构消岐n 规则1: 短语句法类别与语义单元类型的p NN|NNP：实体p NN：类别 |p VB：p n 模板2: 短语之间依存句法p 动词及其论元p 形容词及其论元p 介词及其论元与语义单元结构的1 Template-based Question Answering over RDF DataUniv

11、ersity of Bielefeld, Germany, WWW 20122 Natural Language Questions for the Web of DataMax Planck Institute for Informatics, Germany, EMNLP 201218的n 人工模板或规则的：不能有效扩展到其他的领域和语言n Pipeline的：没有考虑消歧过程中的相互影响19自动学习的：(Shizhu He, EMNLP 2014)n 是否能够进行消歧，消岐是否比分步骤消歧好n 能够自动学习匹配模板和规则，自适应到其他领域和语言p 规则：短语句法类别与语义单元类型的p 模

12、板：短语之间依存句法与语义单元结构的20模型和：基本假设n 目标：p 确定问句中短语对应的语义单元Mean_Hamster_Softwaren gamesdbo:Game“dbo:Gamedbo:publishern published byn Mean Hamster Software“p 确定语义单元之间的组合dbo:publisher“dbr:Mean_Hamster_Software短语：published by语义单元类型：语义单元：n dbo:Gamedbo:publisherdbr:Mean_Hamster_Software“1_1“2_1n dbo:publisher短语：ga

13、mes2n 基本假设：语义单元类型：类别语义单元：1p 语义单元的与语义单元之间的组合相互影响p 短语的句法类别会影响语义单元类型的选择p 短语之间的依存路径会影响语义单元的组合n 上述影响是非确定性的，因此采用MLN对各部分之间的关系进行建模21短语：Mean Hamster Software语义单元类型：实体语义单元：MLN: 谓词n 隐含谓词n 观察谓词22hasPhrase(i)第i个候选短语是否被选中hasResource(i, j)第i个短语是否对应第j个hasRelation (i, j, r)i和j是否具有rMLN: 公式n 硬公式23系统框架问句预处理：类型、Focus、去除

14、无用词等DBpedia Wikipedia Word2vec Reverb&Patty 统计信息问句短语检测&特征提取&候选结构匹配候选消岐MLN模型谓词和公式MLN结果结构匹配结果构造图图生成SPARQL语句24In which movies directed by Garry Marshall was Julia Roberts starring?系统框架问句预处理：类型、Focus、去除无用词等DBpedia Wikipedia Word2vec Reverb&Patty 统计信息问句短语检测&特征提取&候选结构匹配候选消岐MLN模型谓词和公式MLN结果结构匹配结果构造图图生成SPARQ

15、L语句25movies directed by Garry Marshall was Julia Roberts starring inIn which movies directed by Garry Marshall was Julia Roberts starring?系统框架问句预处理：类型、Focus、去除无用词等hasCandidateResourcehasHeadPos movies directedDBpedia Wikipedia Word2vec Reverb&Patty 统计信息“movies directed by bydbo:Film“ dbo:director“ d

16、bo:publisherNNS“ VBN“问句Garry Marshall NNP“Garry Marshall dbr:Garry_Marshall“短语检测&特征提取&hasResourceTypehasDepPath movies directed bydirected bynsubj-prepdbo:Film dbo:directorConcept“ Property“Garry Marshall pobj-nn“isTypeCompatible候选结构匹配候选消岐dbr:Garry_MarshallConcept“dbo:Film dbo:directordbo:directordb

17、r:Garry_Marshall 1_12_1“MLN模型谓词和公式MLN结果结构匹配结果构造图图生成SPARQL语句26movies directed by Garry Marshall was Julia Roberts starring inIn which movies directed by Garry Marshall was Julia Roberts starring?系统框架问句预处理：类型、Focus、去除无用词等hasCandidateResourcehasHeadPos movies directedDBpedia Wikipedia Word2vec Reverb&P

18、atty 统计信息“movies directed by bydbo:Film“ dbo:director“ dbo:publisherNNS“ VBN“问句Garry Marshall NNP“Garry Marshall dbr:Garry_Marshall“短语检测&特征提取&hasResourceTypehasDepPath movies directed bydirected bynsubj-prepdbo:Film dbo:directorConcept“ Property“Garry Marshall pobj-nn“isTypeCompatible候选结构匹配候选消岐dbr:G

19、arry_MarshallConcept“dbo:Film dbo:directordbo:director1_1dbr:Garry_Marshall 2_1“MLN模型谓词和公式MLNhasResource movies directed by hasRelation dbo:Film dbo:Filmdbo:Film dbo:directordbo:director dbo:starring1_11_1结果结构匹配结果Garry Marshall dbr:Garry_Marshalldbo:director dbr:Garry_Marshall 2_1 dbr:Julia_Roberts

20、dbo:starring 1_2Julia Roberts starring indbr:Julia_Roberts dbo:starring“构造图图生成SPARQL语句27movies directed by Garry Marshall was Julia Roberts starring inIn which movies directed by Garry Marshall was Julia Roberts starring?系统框架问句预处理：类型、Focus、去除无用词等hasCandidateResourcehasHeadPos movies directedDBpedia

21、Wikipedia Word2vec Reverb&Patty 统计信息“movies directed by bydbo:Film“ dbo:director“ dbo:publisherNNS“ VBN“问句Garry Marshall NNP“Garry Marshall dbr:Garry_Marshall“短语检测&特征提取&hasResourceTypehasDepPath movies directed bydirected bynsubj-prepdbo:Film dbo:directorConcept“ Property“Garry Marshall pobj-nn“isTy

22、peCompatible候选结构匹配候选消岐dbr:Garry_MarshallConcept“dbo:Film dbo:directordbo:director1_1dbr:Garry_Marshall 2_1“MLN模型谓词和公式MLNhasResource movies directed by hasRelation dbo:Film dbo:Filmdbo:Film dbo:directordbo:director dbo:starring1_11_1结果结构匹配结果Garry Marshall dbr:Garry_Marshalldbo:director dbr:Garry_Mars

23、hall 2_1 dbr:Julia_Roberts dbo:starring 1_2Julia Roberts starring indbr:Julia_Roberts dbo:starring“构造图图生成SPARQL语句28movies directed by Garry Marshall was Julia Roberts starring inIn which movies directed by Garry Marshall was Julia Roberts starring?系统框架问句预处理：类型、Focus、去除无用词等hasCandidateResourcehasHead

24、Pos movies directedDBpedia Wikipedia Word2vec Reverb&Patty 统计信息“movies directed by bydbo:Film“ dbo:director“ dbo:publisherNNS“ VBN“问句Garry Marshall NNP“Garry Marshall dbr:Garry_Marshall“短语检测&特征提取&hasResourceTypehasDepPath movies directed bydirected bynsubj-prepdbo:Film dbo:directorConcept“ Property“

25、Garry Marshall pobj-nn“isTypeCompatible候选结构匹配候选消岐dbr:Garry_MarshallConcept“dbo:Film dbo:directordbo:director1_1dbr:Garry_Marshall 2_1“MLN模型谓词和公式MLNhasResource movies directed by hasRelation dbo:Film dbo:Filmdbo:Film dbo:directordbo:director dbo:starring1_11_1结果结构匹配结果Garry Marshall dbr:Garry_Marshall

26、dbo:director dbr:Garry_Marshall 2_1 dbr:Julia_Roberts dbo:starring 1_2Julia Roberts starring indbr:Julia_Roberts dbo:starring“构造图SELECT DISTINCT ?uri WHERE?uri rdf:type dbo:Film .?uri dbo:starring res:Julia_Roberts .?uri dbo:director res:Garry_Marshall .29图生成SPARQL语句movies directed by Garry Marshall

27、 was Julia Roberts starring inIn which movies directed by Garry Marshall was Julia Roberts starring?实验设置n集：p QALD中的三个集n QALD1， QALD3， QALD4n 知识库：p DBpedia, YAGOn MLN: thebeast工具p 推理算法: cutting plane approach3p 权重学习算法: MIRA3 Cutting Plane MAP Inference for Markov Logic. University of Massachusetts, U

28、SA, SRL workshop 200930实验结果n消岐n 模板学习31Our method vs state-of-the-art32：符号 vs 数值基于符号逻辑的技术基于数值运算的技术基于数值运算的What does Jamaican people speak?English问句表示13/63文本、知识的分布表示n词的化Word Embeddingp NNLM, C&W, Skip-gramn句子（文本）的p 直接累加p 卷积神经p 递归神经p 循环神经化（Convolutional Neural Network）（ Recursive neural network ）（ Recur

29、rent neural network ）n知识（事实、命题）的p REACALp TransE化Recursive NN第 j 个实体p NTN第 i 个实体Recurrent NN第 k 个35An End-to-End Mfor Question Answering over Knowledge Basewith Cross-Attention Combining Global Knowledge Hao.ACL2017关注机制关注机制 一个问句在给定不同的候选的时候，问句的表示应该是不一样的，应该根据候选答案的不同来改变问句的表示。 如果候选是paris的话，它与实体France的是c

30、apital，实体类型是citytown，与目前问句的president不大，所以会得到更低的得分；相反，macron与France的是president，实体类型也是，会得到更高的分数。38计算得分知识库全局信息问句表示表示生成候选实体确定实体Macron实验结果和现有基于神经的系统的比较不同模型之间的比较关注程度热图，此图展示的是候选“斯洛伐克”的四个方面对于问句中各个词的关注程度；以及问句对候选各个方面的关注程度39概述n 问答系统概述n 问答式检索系统n 社区问答系统n 基于大规模知识库的问答系统n 阅读理解式问答系统nn系统与40阅读理解式问答给出的信息来源只有一篇相关文档，而知识库

31、问答系统的知识库很大nDocument候选已经给出，一般由几个选项。nQuestion形式多种多样，n主要问句语义理Answer Candidate解和推理41数据集：MCTest (EMNLP 2013, Microsoft)p 早期阅读理解任务的一个典型的数据集n文档：660个短故事nn：2640个人工提出的（每个文档对应4个）：四选一的选择题形式p被限定在7岁儿童可回答的范围，在该层次的推理能力n 优点：难度较大，包含很多常识性n 缺点：数据规模非常小，深度学习模型难以应用42数据集：SQuAD (EMNLP 2016, Stanford University)p 近两年来最经典且最被广

32、泛关注的阅读理解数据集n文档：从536篇Wikipedia的文章中抽取2万多个段落nn：基于文档，人工生成的10万个：原文中的一个区间（一个词或几个词组成）SQuAD引领了近两年阅读理解任务的发展：n优点：数据规模较大，适用于深度学习并且数据质量较高。n缺点：(1)段落文档均出自536篇Wikipedia文章，词汇和表达的多样性不足。(2)被限定为必须能被原文区间回答，导致可提问的角度受限，多样性不足。43数据集：MS MACRO (NIPS2016, Microsoft)p 代表了阅读理解任务向开放域发展的新趋势nnn文档：100万篇由搜索引擎搜索得到的文章：10万个Bing搜索中出现的真实

33、：根据文档，人工总结得到(不一定是原文区间)p 所谓“开放域”：n 特点：更加贴近真实的问答场景，即只有，事先没有准备好的文档。n MACRO的近似处理：该数据集并没有要求m直接根据去开放的搜索文档，而是去搜索并整理出文档供m做了一个近似处理，即事先根据已有的阅读，这种根据找文档的方式与之前根据文档提的数据集还是有本质的区别的。44给定要求SQuAD等任务，文档开放域数据集：DuReader (2017,Baidu)p DuReader数据集是一个比较有代表性的中文数据集：nnn文档：100万篇由搜索引擎搜索得到的文章：20万个Baidu搜索中出现的真实：根据文档，人工总结得到p DuRead

34、er形式上与MS_MARCO很相似，最大的特点是引入观点型(opinion)：n 将按照事实性(fact)和观点型(opinion)两个角度划分，之前其他数据集只有这里的fact类型，此处引入opinion型。但是，该类型的引入使得评判更难，中了引入情感倾向的评判，这里不再展开。45阅读理解的n 传统特征工程的p 文本分析p 问句p 匹配n 神经的p 文档和问句的表示学习p 文档和问句的匹配计算p 深度推理机制46基于传统特征工程的ing Biological Processes for Reading Comprehension，by Jonathan BerantM. EMNLP14-St

35、anford 之间 的类分47抽取、分类元素的分类提取|语义标注（SRL）基于传统特征工程的ing Biological Processes for Reading Comprehension，by Jonathan BerantM. EMNLP14-Stanfordn 优点p 对过程进行建模，清晰明了，各个部分的作用可以显式地表示p 对进行了同样的过程处理，最后的结果是确定的p 语义建模方式非常明显，类似于标准的Semantic Parsing，每一部分的语义都能很直观地表示出来。n 缺点p 由于是基于传统特征工程的，非常耗时耗力，训练样本有限。p 领域适应能力差，生物过程和普通的过程会有差

36、别，在这个训练集上面训练的模型会有领域倾向性（domain specific）48基于神经的n 文章表示：p 第法：将文章看作单词序列，在这个序列上使用RNN对文章进行建模，每个单词对应RNN序列中的一个时刻t的输入，RNN的隐层状态是融合了当前词义和上下文语义的编码。BiRNN49基于神经的n 文章表示：p 第二种：引入Attention机制，该也是采向RNN对每个单词及其上下文信息进行建模，得到隐层状态表示。不同点在于，得到隐层表示的每一维都要乘以某个系数，该系数代表该单词对于整个文章语义表达的重要程度。DocumentEmbedding+*BiRNN这里的权重系数，可以由文档本身计算，即

37、所谓的“self attention”，也可以和进行交互得到，比如经典BiDAF。50a4a3a2a1基于神经的n 问句表示：p 有与文章表示类似的两种建模p 还有另外一种建模：首先使向RNN对其进行表示。将这双向RNN首尾词节点的隐层状态拼接起来，就得到了整个句子的最终表示。BiRNN其中，正向RNN的尾部单词（句尾词）隐层节点（图中绿色节点）正向融合了整 个句子语义信息；相对的，反向RNN的尾部单词（局首词）隐层节点（图中橙色 节点）则逆向融合了整个句子的语义信息。51基于神经的n 文章与问句的匹配：p 一维匹配模型：Y 轴n 双向RNN对文章和表示后，通过某种匹配函数来计算文章中每个单词

38、Di和度。Q的语义信息的匹配程n 之后，对每个单词的匹配程度通过SoftMax函数进行归一化，这样就形成了一种Attention的操作，将更Word1可能是的单词凸显出来。Word3QuestionBiRNNWord2Answer52X 轴SoftMaxDocument BiRNNF(D1,Q)F(D2,Q)F(D3,Q)F(D4,Q)基于神经的n 文章与问句的匹配：二维匹配模型：p其整体结构和一维匹配模型是类似的，最主要的区别体现在如何计算Doc-Qes MatrixF(Di,Q)n文章和的匹配程度上。一维匹配模型在匹配过程中，形成一维线性结构模型；而二维匹配模n型在进行和文章的匹配时，形成

39、二维矩阵结构。WordBiRNN1二维匹配模型使得Q中的每个WordnBiRNN3词都可以和文档D中的词进行交互，粒度更细。Word2QuestionAnswer53Document基于神经的n 一些复杂的模型通过匹配来更新文章的表示，从而模拟深度推理过程p 典型模型GA Reader的推理过程：f(D,Q)LayerLayer2Layer3n 其中，每层推理的表达保持不变。而文章的表达doc-exp会随着表达和文章表达来更新文章表达。逐层变化。匹配函数f结合原始n 需要说明的是，当前这些基于深度神经的模型，在推理能力层面虽然有了一定的进步，但距离使真正具有推理认知能力还有很大的差距。54qu

40、e-expf(D,Q)que-expf(D,Q)que-exp1doc-exp0doc-exp0doc-exp0基于神经Teaching machines to read and comprehend .,的DeepMind（ Karl Moritz Hermanny.) NIPS 2015n 可视化：p 通过可视化的可以观察到模型在推理过程中哪些词被重点关注了，一定程度上为模型提供可解释性：55基于神经的Ming Biological Processes for Reading Comprehension by Jonathan Berant. EMNLP14-Stanfordn 可视化：p

41、 问句不同，文档被关注的部分也不同：56基于神经的n对抗负样本：p Adversarial Examples for Evaluating Reading Comprehension Systems (Percy Liang, EMNLP2017)原本模型能够得到正确p。在文档后面一句和包含的线索句子形式上相似的负样本句子(图中部分)。结果，模型受到干扰，得出错误。，这种负样本句子并不p能对人的造成影响。57基于神经的n对抗负样本：p Adversarial Examples for Evaluating Reading Comprehension Systems (Percy Liang,

42、EMNLP2017)p 测试16个之前在SQuAD数据集上表现良好的模型。p 在文章中 都大幅下降负样本后，这些模型的性能p 这篇工作强的证明了：当前阅读理解模型只具有识别浅层模式的能力，而并没有真正的语言理解能力。因此要达到真正理解语言的目标，研究者们还有很长的路要走。58概述n 问答系统概述n 问答式检索系统n 社区问答系统n 基于大规模知识库的问答系统n 阅读理解式问答系统nn系统与59系统 (AKA)n Conversational Agentsn Dialogue Systemsn Human conversationn Spoken Language Systemsn Speech

43、 Dialogue Systems60典型应用 (Applications)n 旅行安排nn 智能辅导n人n 个人助理n 61ATIS task （1997）- 订机票，信息咨询上下文问答：后续与前面的问答是相关的62Restaurant booking（2016）- 订餐馆,完成任务：调用API上下文 与前面的关的：后续是相63Chatbot 聊器人 , Microsoft, 天猫精灵64al Assistants - 个人助理(Apple Siri,Now, )65al Assistants 个人助理66系统发展历史及其展望nnnn90年代末：聊天性质，没有实质内容，基本采用人工书写模板的

44、2009年开始：逐步开始用统计学习的进行管理2013年开始：智能终端上的个人助理逐步支持智能有人预计到2037年：将有类似虚拟医疗这样的更实用的系统问世。大纲（Outline）n系统基础n管理/状态跟踪n聊器人n系统的评价68大纲（Outline）n系统基础n管理/状态跟踪n聊器人n系统的评价69基本架构nnnnn语音识别 （Speech recognition）自然语言理解 （Natural language understanding）管理 （Dialogue management）自然语言生成 （Natural language generation）语音（Speech synthesi

45、s）70分类：Initiative (谁发起任务?)n 系统主导（System Initiative）pp Booking Ticketsn 用户主导（User Initiative）p Question Answering Systemal Assistantspn 混合模式（Mixed Initiative）p Human-human Conversationp Chatbot71分类：使用语言是否受限n 受限语法（Restrictive grammar）p Language mwhich strongly constrains the ASRsystem, based on dialog

46、ue staten 非受限语法（Non-restrictive grammar）p Open language mwhich is not restricted to aparticular dialogue state72不同系统类型的比较73Non goal DialogGoal-Oriented DialogAcquiringInformationTaking ActionInitiativeMixed InitiativeUser InitiativeSystem InitiativeDomainOpenCloseKnowledgeNo-External KBsExternal KBs

47、LanguageUnconstrainedPartly ConstrainedConstrainedUtterance LengthMixedShortGoalChat (emotional needs)SpecifiksChallengeLanguage Understanding and GenerationLanguage Understanding and ParsingState Tracking and Task Management（系统特有的任务）ApplicationChatbotContextual QAal Assistants大纲（Outline）n系统基础n管理/状态跟踪n聊器人n系统的评价74