BERT模型实现自动问答机器人

2021.5.252021.5.252021.5.252021.5.252021.5.25昇腾AI应用

第五章基于MindSpore建模实践

——BERT模型实现自动问答机器人

案例应用场景

案例规划部署

案例演示操作

案例相关知识案例应用场景案例演示操作案例规划部署案例相关知识

在NLP（自然语言处理）领域，与我们生活息息相关的就是问答系统（QA），它是机器与人交互最常见的方式，探索问答系统背后的技术。问答系统是人与机器交互最常见的形式，随着知识图谱技术的不断完善，基于知识库的问答系统越来越多的开始应用在各种问答场景中。基于知识库的问答（knowledgebasequestionanswering,KBQA）即给定自然语言问题，通过对问题进行语义理解和解析，进而利用知识库进行查询、推理得出答案。具体的，从应用领域的角度划分，知识库问答可以分为：开放域的知识问答，如百科知识问答；特定域的知识问答，如金融领域，医疗领域，宗教领域等，以客服机器人，教育/考试机器人或搜索引擎等形式服务于我们的日常生活。问答系统应用场景案例应用场景案例演示操作案例规划部署

案例相关知识演示操作流程——下载数据数据准备：演示操作流程——安装依赖演示操作流程——实体识别加载数据演示操作流程——实体识别构建处理器加载数据构建预处理器演示操作流程——实体识别测试输出测试输出演示操作流程——实体识别模型构建演示操作流程——实体识别模型训练演示操作流程——实体识别模型评估与模型保存演示操作流程——实体识别模型加载与预测演示操作流程——属性映射加载数据演示操作流程——属性映射测试输出演示操作流程——属性映射定义配置参数演示操作流程——属性映射构建预处理器演示操作流程——属性映射模型构建演示操作流程——属性映射模型训练演示操作流程——属性映射模型评估、保存与预测演示操作流程——问答系统构建整合以上两个步骤，就可以完成一个简单的基于知识库的问答系统。下面为具体说明：1.命名实体识别：输入问题，使用BERT模型得到问题中的实体，在知识库中检索出包含该实体的所有知识组合。2.属性映射：在包含实体的知识组合中，进行属性映射寻找答案，又可分为非语义匹配和语义匹配。非语义匹配：如果一个知识三元组的关系属性是输入问题的子集（相当于字符串匹配），则该三元组对应的答案匹配为正确答案。非语义匹配步骤可以大大加速匹配。<详见技术文档>案例应用场景案例演示操作案例规划部署

案例相关知识案例规划部署案例应用场景案例演示操作案例规划部署

案例相关知识相关知识概述本节主要任务：了解自然语言处理基本知识掌握循环神经网络算法掌握自然语言处理关键技术了解自然语言处理的应用以及应用系统第一节：自然语言处理介绍第二节：预备知识2.1语言模型2.2文本向量化2.3常用算法第三节：键技术3.1分词3.2词性标注3.3命名实体识别3.4关键词提取3.5句法分析3.6语义分析第四节：应用系统第一节：自然语言处理介绍第二节：预备知识语言模型文本向量化常用算法第三节：键技术分词词性标注命名实体识别关键词提取句法分析语义分析第四节：应用系统什么是自然语言？什么是自然语言？以语音为物质外壳，由词汇和语法两部分组成的符号系统。文字和声音是语言的两种属性。语言是人类交际的工具，是人类思维的载体；人类历史上以语言文字形式记载和流传的知识占人类知识总量的80%以上。是约定俗成的，有别于人工语言，比如Java、C++等程序设计语言。什么是自然语言处理？什么是自然语言处理（NaturalLanguageProcessing,NLP）？自然语言处理就是，利用计算机为工具对人类特有的书面形式和口头形式的自然语言的信息，进行各种类型处理和加工的技术。冯志伟自然语言处理可以定义为研究在人与人交际中以及在人与计算机交际中的语言问题的一门学科。自然语言处理要研制表示语言能力和语言应用的模型，建立计算框架来实现这样的语言模型，提出相应的方法来不断完善这样的语言模型，根据这样的语言模型设计各种实用系统，并探讨这些实用系统的评测技术。BillManaris自然语言处理的基本方法(1)能力模型通常是基于语言学规则的模型，建立在人脑中先天存在语法通则这一假设的基础上，认为语言是人脑的语言能力推导出来的，建立语言模型就是通过建立人工编辑的语言规则集来模拟这种先天的语言能力。又称“理性主义的”语言模型，代表人物有Chomsky、Minsky。建模步骤：

语言学知识形式化形式化规则算法化算法实现自然语言处理的基本方法(2)应用模型根据不同的语言处理应用而建立的特定语言模型，通常是通过建立特定的数学模型来学习复杂的、广泛的语言结构，然后利用统计学、模式识别和机器学习等方法来训练模型的参数，以扩大语言使用的规模。又称“经验主义的”语言模型，代表人物有Shannon、Skinner。建模步骤大规模真实语料库中获得不同层级语言单位上的统计信息。依据较低级语言单位上的统计信息运用相关的统计推理技术，来计算较高级语言单位上的统计信息。自然语言处理的基本方法(3)在NLP的发展过程中，其方法大致分为以下几类：基于规则的方法基于统计的方法自然语言处理研究方向自然语言处理是计算机科学领域以及人工智能领域的一个重要的研究方向，是一门交叉性学科，包括了语言学、计算机科学、数学、心理学、信息论、声学……NLP自然语言理解音位学形态学词汇学句法学语义学语用学自然语言生成自然语言文本自然语言处理研究方向自然语言处理是计算机科学领域以及人工智能领域的一个重要的研究方向，是一门交叉性学科，包括了语言学、计算机科学、数学、心理学、信息论、声学……NLP自然语言理解音位学形态学词汇学句法学语义学语用学自然语言生成自然语言文本自然语言处理的三个层面词法分析：包括分词、词性标注、命名实体识别等。句法分析：包括句法结构分析和依存关系分析等。语义分析：最终目的是理解句子表达的真实语义。源语言句子目标语言句子第1步分析源语言句子的含义第2步生成目标语言语义分析（SemanticAnalysis）句法分析（SyntaxAnalysis）词法分析（LexicalAnalysis）[Intheroom],hebrokeawindow<withahammer>.介词冠词名词代词动词冠词名词介词冠词名词状语主语谓语宾语补语自然语言处理的难点(1)词法歧义：分词：词语的切分边界比较难确定。严守一/把/手机/关/了严守/一把手/机关/了词性标注：同一个词语在不同的上下文中词性不同。我/计划/v考/研/我/完成/了/计划/n命名实体识别：人名、专有名称、缩略词等未登录词的识别困难。高超/nr/a华明/nr/nt移动/nt/v自然语言处理的难点(2)句法歧义：句法层面上的依存关系受上下文的影响。咬死了猎人的狗那只狼咬死了猎人的狗咬死了猎人的狗失踪了那

只狼咬死了猎人的狗rq

nvvununRootHEDVOBATTATTSBVCMPRADRADATT咬死了猎人的狗失踪了vv

ununvuRootHEDCMPRADRADATTSBVRADCOO自然语言处理的难点(3)语义歧义Atlast,acomputerunderstandsyoulikeyourmother.含义1：计算机会像你的母亲那样很好的理解你。含义2：计算机理解你喜欢你的母亲。含义3：计算机会像理解你母亲那样去理解你。自然语言处理的难点(4)语用歧义“你真坏”当对干了坏事的成年人说时，是一种严厉的苛责。当妈妈对淘气的儿子说时，实际表达的是对儿子的一种疼爱。当恋爱中的女孩对男友说时，则是女孩在男友面前撒娇的一种表现。自然语言处理的发展现状已开发完成一批颇具影响的语言资料库，部分技术已达到或基本达到实用化程度，并在实际应用中发挥巨大作用。北大语料库、HowNet。许多新研究方向不断出现阅读理解、图像（视频）理解、语音同声传译。许多理论问题尚未得到根本性的解决未登录词的识别、歧义消解的问题、语义理解的难题。缺失一套完整、系统的理论框架体系。知识小考1.什么是自然语言处理?2.自然语言处理的基本方法有哪些？

本节介绍了自然语言处理的概念，自然语言处理的方法，自然语言处理的难点以及自然语言处理的发展现状。第一节：自然语言处理介绍第二节：基础知识2.1语言模型2.2文本向量化2.3常用算法第三节：关键技术3.1分词3.2词性标注3.3命名实体识别3.4关键词提取3.5句法分析3.6语义分析第四节：应用系统什么是语言模型神经网络语言模型(1)

…………softmaxMostcomputationheretanh

…

…

……

Tablelook-upinC

MatrixC神经网络语言模型(2)Softmax层RNN层Embedding层大海蓝色颜色的是的：0.3是：0.2…深度：0.3颜色：0.15温度：0.05…是：0.4很：0.2…的：0.5…蓝色：0.7绿色：0.15透明：0.1…N-gram语言模型

<s>IamLily</s><s>LilyIam</s><s>Idonotlikegreeneggsandham</s>p(I|<s>)=2/3=0.667p(am|I)=2/3=0.667p(</s>|Lily)=1/2=0.5NN语言模型与统计语言模型的关系

第一节：自然语言处理介绍第二节：基础知识2.1语言模型2.2文本向量化2.3常用算法第三节：关键技术3.1分词3.2词性标注3.3命名实体识别3.4关键词提取3.5句法分析3.6语义分析第四节：应用系统文本向量化(1)文本向量化：将文本表示成一系列能够表达文本语义的向量。常用的向量化算法有：one-hotTF-IDFword2vecCBOW模型Skip-gram模型doc2vec/str2vecDM（DistributedMemory）DBOW（DistributedBagofWords）文本向量化(2)manwomankingqueenthreefouronetwodogcatfishapplegrapeorangeword2vec-CBOW模型

InputlayerHiddenlayerOutputlayer

word2vec-Skip-gram模型

InputlayerHiddenlayerOutputlayer

doc2vec-DM模型onDWWWParagraphidthecatsatClassifierAverage/ConcatenateParagraphMatrixdoc2vec-DBOW模型thecatsatonDParagraphidClassifierParagraphMatrix第一节：自然语言处理介绍第二节：基础知识2.1语言模型2.2文本向量化2.3常用算法第三节：关键技术3.1分词3.2词性标注3.3命名实体识别3.4关键词提取3.5句法分析3.6语义分析第四节：应用系统HMM模型(1)HMM模型(2)D61D86D83D65D42D87D63D65D42D84

隐马尔可夫模型示意图图例说明：D61一个隐含状态一个可见状态从一个隐含状态到下一个隐含状态的转换从一个隐含状态到下一个可见状态的输出HMM模型(3)

HMM模型(4)

贝叶斯公式

观测独立性假设，链式法则齐次马尔科夫假设

条件随机场

线性链条件随机场

条件随机场(2)

RNN不同于传统的机器翻译模型仅仅考虑有限的前缀词汇信息作为语义模型的条件项，递归神经网络（RNN）有能力将语料集中的全部前序词汇纳入模型的考虑范围。Colah，2015，UnderstandingLSTMsNetworksosVUWxWWUV

WUV

WUV

LSTM长短期记忆网络（LongShortTermMemory，LSTM）：一种特殊的RNN类型，可以学习长期依赖信息。Colah，2015，UnderstandingLSTMsNetworks

A

AGRUColah，2015，UnderstandingLSTMsNetworks

l-+双向RNN在经典的循环神经网络中，状态的传输是从前往后单向的。然而，在有些问题中，当前时刻的输出不仅和之前的状态有关系，也和之后的状态相关。这时就需要双向RNN（BiRNN）来解决这类问题。例如预测一个语句中缺失的单词不仅需要根据前文来判断，也需要根据后面的内容，这时双向RNN就可以发挥它的作用。双向RNN是由两个RNN上下叠加在一起组成的。输出由这两个RNN的状态共同决定。hanbingtao，2017，卷积神经网络osx知识小考1.词袋模型的缺点有哪些?2.常见的网络模型有哪些？

本节介绍了自然语言处理的语言模型，文本向量化以及常用算法。第一节：自然语言处理介绍第二节：基础知识2.1语言模型2.2文本向量化2.3常用算法第三节：关键技术3.1分词3.2词性标注3.3命名实体识别3.4关键词提取3.5句法分析3.6语义分析第四节：应用系统中文分词的定义中文分词(ChineseWordSegmentation)：指的是将一个汉字序列切分成一个个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。例如：一九九八年/中国/实现/进出口/总值/达/一千零九十八点二亿/美元规则分词(1)规则分词：是一种机械分词方法，主要是通过维护词典，在切分语句时，将语句中的每个字符串与词表中的词进行逐一匹配，找到则切分，否则不予切分。按照匹配切分的方式，主要有：正向最大匹配法（MaximumMatchMethod,MM法）逆向最大匹配法（ReverseMaximumMatchMethod,RMM法）双向最大匹配法（Bi-directctionMatchMethod,MM法）特点：简单高效，词典维护困难。网络新词层出不穷，词典很难覆盖到所有词。规则分词(2)正向最大匹配法：待切分字串S1；输出词串S2=“最大词长MaxLen初始化S1是否为空输出结果S2从S1左边开始，取出候选字串W，W的长度不大于ManLen将W最右边一个字去掉W是否为单字查词典，看W是否在词典中S2=S2+W+”/”S1=S1-W规则分词(2)正向最大匹配法：待切分字串S1；输出词串S2=“最大词长MaxLen初始化S1是否为空输出结果S2从S1左边开始，取出候选字串W，W的长度不大于ManLen将W最右边一个字去掉W是否为单字查词典，看W是否在词典中S2=S2+W+”/”S1=S1-W统计分词主要思想：将分词作为字在字串中的序列标注任务来实现的。每个字在构造一个特定的词语时都占据着一个确定的构词位置，如果相连的字在不同的文本中出现的次数越多，就证明这相连的字很可能就是一个词。步骤：建立统计语言模型。对句子进行单词划分，然后对结果进行概率计算，获得概率最大的分词方式。如隐马尔科夫（HMM）、条件随机场（CRF）等。四个标记：B=词首M=词中E=词尾S=单独成词两个标记：B=词首I=非词首输入：中华民族是不可战胜的中华民族是不可战胜的标记：BMMESBEBESBIIIBBIBIB输出：中华民族/是/不可/战胜/的

深度学习分词使用word2vec对语料的词进行嵌入，得到词嵌入后，用词嵌入特征输入给双向LSTM，对输出的隐层加一个线性层，然后加一个CRF得到最终实现的模型。B-PER

E-PER

o

S-LOC

Wordembeddings混合分词在实际工程应用中，多是基于一种分词算法，然后用其他分词算法加以辅助。最常用的是先基于词典的方式分词，然后再用统计分词方式进行辅助。第一节：自然语言处理介绍第二节：基础知识2.1语言模型2.2文本向量化2.3常用算法第三节：关键技术3.1分词3.2词性标注3.3命名实体识别3.4关键词提取3.5句法分析3.6语义分析第四节：应用系统词性标注的定义词性标注：是指为句子是指为分词结果中的每个单词标注一个正确的词性的程序，也即确定每个词是名词、动词、形容词或者其他词性的过程。例如：迈向/v充满/v希望/n的/uj新/a世纪/n。词性：是词汇基本的语法属性。目的：是很多NLP任务的预处理步骤，如句法分析、信息抽取，经过词性标注后的文本会带来很大的便利性，但也不是不可或缺的步骤。方法：基于规则的方法、基于统计的方法、基于深度学习的方法。第一节：自然语言处理介绍第二节：基础知识2.1语言模型2.2文本向量化2.3常用算法第三节：关键技术3.1分词3.2词性标注3.3命名实体识别3.4关键词提取3.5句法分析3.6语义分析第四节：应用系统命名实体识别(1)命名实体识别（NamedEntitiesRecognition,NER）：又称作“专名识别”，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。例如：冶金/n工业部/n洛阳/ns耐火材料/l研究院/n。分类：NER研究的命名实体一般分为3大类（实体类、时间类和数字类）和7小类（人名、地名、组织机构名、时间、日期、货币和百分比）。作用：与自动分词、词性标注一样，命名实体识别也是自然语言中的一个基础任务，是信息抽取、信息检索、机器翻译、问答系统等技术必不可少的组成部分。步骤：实体边界识别确定实体类别（人名、地名、机构名等）命名实体识别(2)难点：各类命名实体的数量众多。命名实体的构成规律复杂。嵌套情况复杂。长度不确定。深度学习NER字/词向量Bi-LSTMCRF小强去培训中心学习WordembeddingsLSTMLSTMLSTMLSTMLSTMLSTMLSTMLSTMLSTMLSTMLSTMLSTMLSTMLSTMLSTMLSTMLSTMLSTMB-PERE-PEROB-ORGI-ORGI-ORGE-ORGOO第一节：自然语言处理介绍第二节：基础知识2.1语言模型2.2文本向量化2.3常用算法第三节：关键技术3.1分词3.2词性标注3.3命名实体识别3.4关键词提取3.5句法分析3.6语义分析第四节：应用系统关键词提取关键词是代表文章重要内容的一组词，现实中大量文本不包含关键词，因此自动提取关键词技术能使人们便捷地浏览和获取信息，对文本聚类、分类、自动摘要等起重要的作用。关键词提取算法一般也可以分为有监督和无监督两类。有监督：主要是通过分类的方式进行，通过构建一个较为丰富和完善的词表，然后通过判断每个文档与词表中每个词的匹配程度，以类似打标签的方式，达到提取关键词的效果。无监督：不需要人工生成、维护的词表，也不需要人工标准语料辅助进行训练。例如，TF-IDF算法、TextRank算法、主题模型算法（LSA、LSI、LDA）。TF-IDF算法(1)词频-逆文档频率算法（TermFrequency-InverseDocumentFrequency，TF-IDF）:是一种基于统计的计算方法，常用于评估在一个文档集中一个词对某份文档的重要程度。例如：

世界献血日，学校团体、献血服务志愿者等可到血液中心参观检验加工过程，我们会对检验结果进行公示，同时血液的价格也将进行公示。其中，“献血”、“血液”、“进行”、“公示”等词出现的频次均为2，如果从TF算法的角度，他们对于这篇文档的重要性是一样的。但是实际上明显“血液”、“献血”对这篇文档来说更关键。TF-IDF算法(2)TextRank算法(1)TextRank算法的基本思想来源于Google的PageRank算法。PageRank算法是Google创始人拉里.佩奇和谢尔盖.布林于1997年构建早期的的搜索系统原型时提出的链接分析算法，该算法是用来评价搜索系统覆盖网页重要性的一种方法。其基本思想有两条：链接数量。一个网页被越多的其他网页链接，说明这个网页越重要。链接质量。一个网页被一个越高权值的网页链接，也能表明这个网页越重要。TextRank算法(2)TextRank算法(3)当TextRank算法应用到关键词抽取任务时，与在自动摘要任务中应用相比，主要有两点不同：词与词之间的关联没有权重。每个词不是与文档中所有词都有链接。由于第一点不同，此时TextRank中的分数就退化为与PageRank一致；对于第二点不同，链接关系可以通过窗口来界定。LSA/LSI/LDA算法主题模型认为在词与文档之间没有直接的联系，它们应当还有一个维度将它们串联起来，这个维度称为主题。每个文档都应该对应着一个或者多个主题，而每个主题都会有对应的词分布，通过主题就可以得到每个文档的词分布。LSA\LSI算法

LDA算法(1)LDA算法假设文档中主题的先验分布和主题中词的先验分布都服从狄利克雷分布。然后通过对已有数据集的统计，就可以得到每篇文档中主题的多项式分布和每个主题对应词的多项式分布。训练过程一般如下：随机初始化，对语料中每篇文档中的每个词w，随机地赋予一个topic编号z。重新扫描语料库，对每个词w按照吉布斯采样公式重新采样它的topic，在语料中进行更新。重复以上语料库的重新采样过程直到吉布斯采样收敛。统计语料库topic-word共现频率矩阵，该矩阵就是LDA的模型。LDA算法(2)经过以上的步骤，就得到一个训练好的LDA模型，接下来就可以按照一定的方式针对新文档的topic进行预估，具体步骤如下：随机初始化，对当前文档中的每个词w，随机地赋予一个topic编号z。重新扫描当前文档，按照吉布斯采样公式，重新采样它的topic。重复以上过程直到吉布斯采样收敛。统计文档中的topic分布即为预估结果。TopicdistributionofwordsTopicprobabilityTopicassignmentToken

第一节：自然语言处理介绍第二节：基础知识2.1语言模型2.2文本向量化2.3常用算法第三节：关键技术3.1分词3.2词性标注3.3命名实体识别3.4关键词提取3.5句法分析3.6语义分析第四节：应用系统句法分析句法分析的主要任务是识别出句子所包含的句法成分以及这些成分之间的依存关系，分为句法结构分析和依存关系分析。一般以句法树来表示句法分析的结果。你有个优惠券快要过期了rvqndvuRootHEDSBVCOOVOBATTADVRADROOTIPNPVPNPNPNPNPNPNPNPNPNPNP你有个优惠券快要过期了句法分析的重要性机器翻译是NLP的一个主要领域，而句法分析是机器翻译的核心数据结构，是对语言进行深层次理解的基石。对于复杂语句，标注样本较少的情况下，仅仅通过词性分析，不能得到正确的语句成分关系。第一节：自然语言处理介绍第二节：基础知识2.1语言模型2.2文本向量化2.3常用算法第三节：关键技术3.1分词3.2词性标注3.3命名实体识别3.4关键词提取3.5句法分析3.6语义分析第四节：应用系统语义分析语义分析是编译过程的一个逻辑阶段。语义计算的任务：解释自然语言句子或篇章各部分（词、词组、句子、段落、篇章）的意义。语法处理句子主干提取修饰词语义提取部分语法过滤句型识别生成语义信息自然语句语义信息语义分析过程语义分析的重要性仅仅知道句子的结构，是否就可以了？

例如：三段论：所有人都得死，苏格拉底是人，所以苏格拉底也要死。推论：不可能一天读完鲁迅的作品，《药》是鲁迅的作品，所以一天不能读完《药》。通过上述案例可知，结构上是合乎语法的，但语义上不合实际。因此，仅仅分析出句子的结构，并不能妥善的解决机