CN114282592B 一种基于深度学习的行业文本匹配模型方法及装置 （清华大学）

一种基于深度学习的行业文本匹配模型方本发明公开了一种基于深度学习的行业文预设个数的跨行业数据作为训练集以得到待匹2将所述待匹配语句输入基于深度学习的行业文本匹配模型NERB，经过基于所述优化后的预训练模型，经过所述优化后的预训练模型匹根据所述三个文本匹配结果进行综合判断，当存在任意两种文所述方法，还包括：对所述优化后的预训练模型NEZHA、RoBERTa和ERNIE-G对于所述行业文本匹配模型NERB，当存在任意两种或两种以上预训若所述三个语义匹配模型在包含第一预设数量个样本的数据集中都能做到正确判断3训练模块，用于将所述待匹配语句输入基于深度学习的输出模块，用于基于所述优化后的预训练模型，经过所述优化后的对于所述行业文本匹配模型NERB，当存在任意两种或两种以上预训4若所述三个语义匹配模型在包含第一预设数量个样本的数据集中都能做到正确判断5而降低一部分用户的学习和工作效率，对社会的发展和人们的日常生活造成不必要的麻6[0007]对于一个服务于千万级乃至亿级用户的系统在特别是随着深度学习的提出以及广泛应用，语言信息处理过程可以从传统的词语的向量空间转变到词语Embedding层向量个字符串向量融入进词向量对匹配方法进行改进，提出了基于中文的字符特征增强模型，模型(BidirectionalEncoderRepresentationsfromTransformers)的中文语义匹配算进行匹配。经过与传统的语义匹配模型BiLSTM(Bi-directionalLongShort-TermMemory)、ESIM(EnhancedSequentialInferenceModel)、BiMPM(BilateralMulti-PerspectiveMatching)的对比实验，基于BERT的中文语义匹配算法在测试集上的表现均7行句向量表示可以更好地表征上下文信息,但由于BERT模型在设计时没有考虑太多中文语[0016]为此，本发明的一个目的在于提出一种基于深度学习的行业文本匹配模型方法，[0018]为达到上述目的，本发明一方面提出了基于深度学习的配模型NERB，经过数据预处理后分别输入优化后的预训练模型NEZHA、RoBERTa和ERNIE-述预训练模型NEZHA通过采用函数式相对位置编码，输出与注意力得分的计算涉及到相对8[0029]文本编码，所述预训练模型RoBERTa，在文本编码过程中使用预设级别的byte的[0037]若所述三个语义匹配模型在包含第一预设数量个样本的数据集中都能做到正确9用于基于优化后的预训练模型，经过优化后的预训练模型匹配后输出三个文本匹配结果；[0041]本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得[0046]图5为根据本发明实施例的连续n-gram掩码语言模型vs显式n-gram掩码语言模型[0055]下面参照附图描述根据本发明实施例提出的基于深度学习的行业文本匹配模型统计发现，在训练集中的样本数目(句子对数目)达到了238766对，在验证集中共有样本整个模型在跨行业句子匹配的不错表现作了基在Transformer中词与词之间因为互不知道相隔的距离引发的[0071]全词覆盖；通过Pre-TrainingwithWholeWordMaskingforChineseBERT研略被证明比BERT中的随机覆盖训练(即每个符号或汉字都被[0072]在NEZHA的WWM实现中，研究者使用了一个标记化工具Jieba2进行中文分词(即寻其长度的12随机替换的占1.5尽管这样预测整个词运算难度有所增加，但最终取得适应策略为每个参数调整learningrate，能够在BatchSize很大的情况下不损失模型的[0076]实验通过对各种自然语言理解(NLU)任务进行微调来测试预训练模型的性能，并将NEZHA模型和其他顶尖的汉语预训练语言模型包括谷歌BERT(汉语版)，BERT-WWM以及[0082]更大的模型参数量(在CloudTPUv3-256上训练了24小时，相当于在TPUv3-8[0087]动态掩码。原版的BERT通过在数据预处理期间执行一次掩码而得到一个静态掩[0088]使用了全词掩码(wholewordmask)。在全词Mask中，如果一个完整的词的部分挑战集65.5(64.4)/84.5(84.0)70.0(68.7)/87.0(86.3)65.4(643)/84.7(84.2)69.4(68.2)/86.6(86.1)66.3(65.0)/85.6(84.7)70.5(69.1)/87.4(86.7)BERT-wwm-ext67.1(65.6)/85.7(85.0)71.4(70.0)/87.7(87.0)24.0(20.0)/47.3(44.6)RoBERTa-wwm-ext67.4(66.5)/87.2(86.5)72.6(71.4)/89.4(88.8)26.2(24.6)/51.0(49.1)[0094]最近几年来，无监督文本的深度神经网络预训练模型大幅提升了各个NLP任务的[0095]尽管是语义表示能力更强的BERT模型，其建模对象也主要聚焦在原始语言信号在对话语境中往往存在着相同回复对应的Query语义相似的情况，因此对话数据的学习和建模成为了提高语义表示能力的一条重要途径。基于该假设，ERINE采用DLM(DialogueLanguageModel)建模Query-Response对话结构，将对话Pair对作为输入，引入Dialogue答匹配任务等，这里我们以BERT和ERNIE模型分别在语义相似度任务LCQMC上的表现为例。其中LCQMC是哈尔滨工业大学在自然语言处理国际顶会COLING2018构建的问题语义匹配数型现存的难点痛点，百度文心ERNIE开源了最新预训练模型：多粒度语言知识增强模型度掩码学习，具体结构如图6所示，利用two-stream双流自注意力机制，实现同时学习n-gram语言单元内细粒度(fine-grained)语义知识和n-gram语言单元间粗粒度(coarse-个模型在包含100个样本的数据集中都能做到正确判断其中的90个样本是否匹配，剩下的10个无法正确判断的样本经排序处理后在一个连续的子序列中，首先考虑一种极限情况，条样本，按照综合模型的判断法则(存在任意2种或2种以上预训练模型的结果判断正确)，[0127]本发明实验环境如下：操作系统为Windows10，CPU是Intel(R)Core(TM)i7-值值30.010.1[0134]将本发明所用的NEZHA、ERNIE-Gram和RoBERTa模型和基础版BERT、Tiny-BERT和本匹配模型NERB，经过数据预处理后分别输入优化后的预训练模型NEZHA、RoBERTa和[0143]其次参照附图描述根据本发明实施例提出的基于深度学习的行业文本匹配模型术人员可以将本说明书中描述