CN113836891B 基于多元标注策略的结构化信息抽取方法和装置 （北京智谱华章科技股份有限公司）

基于多元标注策略的结构化信息抽取方法本申请提出一种基于多元标注策略的结构过正则表达式匹配句子并将句子中不同格式的2通过正则表达式匹配每个句子，以获取所述主页中不同格式的日期，通过预设的短文本分类模型对所述每个句子进行分类，筛选出包含基于多元标注策略对所述文本进行多标签序列标注，以获得标基于所述训练集中的数据训练基于转换器的双向编码表征-双向长短记忆网络-条件通过训练完成的所述BERT-Bi-LSTM-CRF模型预测多标签序列标注计算所述训练后的所述BERT-Bi-LSTM-CRF模型预测的结果根据所述精准率、所述召回率和所述综合评价值评测所述训练后的所述BERT-Bi-将所述主页的页面语言转换为轻量级标记语言Mar对所述主页中的每个字符的字体和大小写进通过预设的工具包将主页中的内容划分为多3.根据权利要求1所述的抽取方法，其特征在于，所述短文本分类模型包括向量表示3通过BIO序列标注对文本中的每个字进行位置将训练集中的每个句子转换为字级别序列，并将每个所述字级别序列输入至BERT模将所述第一尺寸的向量输入至双向长短记忆网络Bi-LSTM中进行特征提取，输出第二将所述第二尺寸的向量经过全连接层后输入至条件随机场CRF模型进行解码，基于所述CRF模型输出的与所述字级别序列对应的标签序列的分数进行模型训练，并计算目标标注序列。6.根据权利要求5所述的抽取方法，其特征在于，其中，X表示所述字序列，y表示所述CRF模型对所述字级别序列进行预测后的标签序i,j表示输入的所述字级别序列中第i个字对应所述表示所述字级别序列中的连续字由标签i到标通过以下公式计算目标标注序列：*是条件概率最大的输出序列。4语句分类模块，用于通过预设的短文本分类模型对所述每个句多元标注模块，用于通过基于多元标注策略对所述模型训练模块，用于基于所述训练集中的数据训练基于转换器的双向编码表征-双向长短记忆网络-条件随机场BERT-Bi-LSTM-预测模块，用于通过训练完成的所述BERT-Bi-LSTM-CRF模型其中，所述预测模块，具体用于计算所述训练后的所述BERT-Bi-L根据所述精准率、所述召回率和所述综合评价值评测所述训练后的所述BERT-Bi-机程序被处理器执行时实现如权利要求1-7中任一所述的基于多元标注策略的结构化信息5[0003]相关技术中，对教育或工作经历抽取主要采用基于规则/正则的文本匹配方法或者使用基于传统的序列标注方法，但是这些研究未考虑将时间线和经历信息进行一一对转化句子中不同格式的日期；通过预设的短文本分类模型筛选出表示学者的履历的文本；6[0013]基于所述训练集中的数据训练基于转换器的双向编码表征-双向长短记忆网络-所述BERT-Bi-LSTM-CRF模型的预页面语言转换为轻量级标记语言Markdown；将所述主页中的非ASCII字符转换为统一码上下文信息的第一尺寸的向量；将所述第一尺寸的向量输入至双向长短记忆网络Bi-LSTM标签序列，Pi,j表示输入的所述字级别序列中第i个字对应所述标签数据集第j个标签的概分数后，通过最大对数似然函数定义损失函数，利用梯度下降法训练所述BERT-Bi-LSTM-7签序列；征-双向长短记忆网络-条件随机场BERT-Bi-LSTM-8的页面语言转换为轻量级标记语言Markdown；将所述主页中的非ASCII字符转换为统一码标注对文本中的每个字进行位置部分标注；对所述文本中的每个字进行实体类型部分标文信息的第一尺寸的向量；将所述第一尺寸的向量输入至双向长短记忆网络Bi-LSTM中进i,j表示输入的所述字级别序列中第i个字对应所述标签数据集第j个标签的概率，Ti,j表示所述字级别序列中的连续字由标签i签序列；9[0065]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得[0066]图1是本申请实施例提出的一种基于基于多元标注策略的结构化信息抽取方法的[0068]图3是本申请实施例提出的一种基于BERT-Bi-LSTM-CRF的结构化信息抽取模型的[0071]图6是本申请实施例提出的一种具体的基于多元标注策略的结构化信息抽取方法[0072]图7是本申请实施例提出的一种基于多元标注策略的结构化信息抽取装置的结构[0074]下面参考附图描述本发明实施例所提出的一种基于多元标注策略的结构化信息[0075]图1为本申请实施例提出的一种基于基于多元标注策略的结构化信息抽取方法的[0086]通过该正则表达式将从各分句提取的年份和月份统一转换为YYYY年或者YYYY年-[0089]在本申请的一个实施例中，可以先基于文本卷积神经网络TextCNN构建短文本分退和随机使一些TextCNN当前层的神经过BIO序列标注对文本中的每个字进行位置部分标注；对文本中的每个字进行实体类型部[0095]位置部分：采用传统的BIO序列标注方法对每个字在一个实体的位置信息进行编[0096]实体类型部分：将每个字与实体的类型信息联系起来，实体的类型信息包括：[0102]其中，本申请预先构建了基于转换器的双向编码表征(BidirectionalEncoderRepresentationsfromTransformers，简称BERT)-双向长短记忆网络(Bi-LSTM)-条件随机场Bi-LSTM中进行特征提取，输出第二尺寸的向量batch_size*max_seq_len*(2*hidden_[0107]为了更加清楚的描述本申请的BERT-Bi-LSTM-CRF模型训练过程，先对BERT-Bi-个特殊标记[CLS],句子间用标记[SEP]分隔.此时序列的每个字的输出Embedding由3部分联合，Attention函数可以被描述为将一个查询query和一组键key-值value映射到一个输应的键计算。多头注意力的基础是自注意力机制,原理是通过同一个句子中的字与字之间]+bf)]+bi)]+bo)表示输入的字级别序列中第i个字对应标签数据集第j个标签的概率，Ti,j表示字级别序列定义损失函数，即将损失函数定义为-log(p(y|X))，利用梯度下降法训练BERT-Bi-LSTM-签序列。评测BERT-Bi-LSTM-CRF模型的预测[0132]在本申请的一个实施例中，将序列标注的结果输入至训练完成的BERT-Bi-LSTM-[0133]具体评测模型的预测效果时，作为一种可能的实现方式，先计算微调后的BERT-验证集、测试集。基于训练集中的数据训练基于转换器的双向编码表征-双向长短记忆网[0139]为了更加清楚的说明基于多元标注策略的结构化信息抽本的页面，对其进行清洗、分句，生成包含个人简介的数据集，包括非ASCII字符转换为的SentenceSpliter包对文本进行作经历的文本，在向量表示层通过word2vec将筛选出的文本中的每个字映射成100维的向Bert预训练模型抽取丰富的文本特征得到batch_size*max_seq_len*emb_size的输出向量，利用Bi-LSTM提取实体识别所需的特征，得到batch_size*max_seq_len*(2*hidden_[0147]图7为本申请实施例所提出的一种基于多元标注策略的结构化信息抽取装置的结[0148]如图7所示，该基于多元标注策略的结构化信息抽取装置包括主页生成模块100、[0153]模型训练模块500，用于通过基于训练集中的数据训练基于转换器的双向编码表征-双向长短记忆网络-条件随机场BERT-Bi-LSTM-[0154]预测模块600，用于通过训练完成的BERT-Bi-LSTM-CRF模型预测多标签序列标注言转换为轻量级标记语言Markdown；将主页中的非ASCII字符转换为统一码Unicode字符，出第二尺寸的向量；将第二尺寸的向量经过全连接层后输入至条件随机场CRF模型进行解注序列。表示输入的字级别序列中第i个字对应标签数据集第j个标签的概率，Ti,j表示字级别序列签序列；网络-条件随机场BERT-Bi-LSTM-CRF模型；通