CN114398855B 基于融合预训练的文本抽取方法、系统及介质 （北京快确信息科技有限公司）

质本发明公开了基于融合预训练的文本抽取通过预训练模型对所述待抽取文本进行预训练的至少部分进行邻近文本的语义提取以学习文2选取所述字符向量中的至少部分对邻近文本进行语义提取，并拼接得到语义特征向对所述语义特征向量进行特征选择并融合得到有效所述通过预训练模型对所述待抽取文本进行预训练编码，得到相应的字符向量之前，所述选取所述字符向量中的至少部分对邻近文本进行语义提取，并选取所述预训练模型中若干个预设位置的编码层作为目标将所述目标编码层的输出结果分别输入至一一对应连接的文本分类模型中进行邻近将所述有效词语特征向量分别输入至已完成训练的实体识别任务层和通过LSTM网络结构对全连接层的输出进行长距离语义特征的提取，将LST通过CRF解码器对全连接层的输出进行解码，输出所述有效词语特征向量中的字符标根据所述对抗样本对所述预训练模型进行对抗训练以更新模型参3根据累加后的梯度对所述预训练模型进行参数更新，直到更新次数达到预设通过全连接层对所述语义特征向量进行特征选择并融合得到有效词语所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被理器执行，以使所述至少一个处理器能够执行权利要求1-6任一项所述的基于融合预训练8.一种非易失性计算机可读存储介质，其特述一个或多个处理器执行权利要求1-6任一项所述的基于融合预训练的4[0011]对所述有效词语特征向量进行分流解码，分别得到词语分割结果和实体识别结5t表示t时刻预训练模型的梯t-1为t-1时刻预训练模型的梯度，vg[0025]在一个实施例中，所述选取所述字符向量中的至少部分对邻近文本进行语义提[0027]将所述目标编码层的输出结果分别输入至一一对应连接的文本分类模型中进行[0030]通过全连接层对所述语义特征向量进行特征选择并融合6[0041]图2为本发明实施例提供的基于融合预训练的文本抽取方法的一个模型框架示意言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的MLM进行预训练，获得每个字符的向量编码，当然在其它实施例中还可采用例如Albert或7构造对抗样本，并将对抗样本加入到预训练模型的输入embedding层即输入嵌入层中进行t表示t时刻预训练模型的梯[0062]得到累加的梯度后则对预训练模型进行参数更新，当更[0064]本实施例中，在编码得到相应的字符向量后，由于Bert系列的预训练模型构建8[0067]将所述目标编码层的输出结果分别输入至一一对应连接的文本分类模型中进行[0069]本实施例中，预训练模型通常包含多个编码层，即包含多个Transformers的具体可选取所有编码层中位于最后的25％-50％的编码层，例如当预训练模型中编码层即卷积神经网络的文本分类模型TextCNN，例如采用12个Transformers层时，选取最后6层邻近文本进行语义提取，并且，为了更好地捕捉局部相关性，本实施例中各个TextCNN的型的泛化能力和语义理解能力且提高了边界识别能力，本实施例通过TextCNN可以很好地[0071]并且在通过TextCNN对邻近文本进行语义提取后则采用向量融合的方式对每个TextCNN输出的提取结果进行融合拼接，得到语义特征向量，通过融合拼接将n个hidden_式可以使得模型保留不同的TextCNN通过不同角度学习到语义信息，进一步增强模型学习[0075]通过全连接层对所述语义特征向量进行特征选择并融合[0078]本实施例中，通过全连接层对目标编程层融合文本分类模型的输出结果concat9实体识别任务，将全连接层的输出通过LSTM(LongShort-TermMemory,长短期记忆)网络述有效词语特征向量中的字符标记以得到词语分割结果，所述字符标记包括实体开始标加入FreeLB对抗训练对输入embedding进行扰动以增加模型的鲁棒性，Bert预训练模型则模块选择最后6层Transformers层融合TextCNN模块对邻近文本进行语义提取，即在最后6采用向量融合模块对每个TextCNN输出进行融合，将6个hidden_size维的向量转化成1个连接层的输出进行分流解码，词语分割任务中将全连接层的输出通过CRF解码器进行解码器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、单片机、ARM(AcornRISC[0093]存储器120作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程[0094]存储器120可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系中所描述的操作环境的所公开的存储器组件或存储器旨在包括这些和/或任何其他适合类[0099