CN110781276A 文本抽取方法、装置、设备及存储介质 （平安科技（深圳）有限公司）

道福安社区益田路5033号平安金融中则调用多线程处理脚本将待抽取文本切分成句对句子向量进行拼接获得目标句子向量后输入第一预测结果采用精确匹配检索算法从待抽取条件随机场模型进行文本抽取使文本抽取更具2在检测到所述抽取类型标识为字段抽取时，调用多线程处理通过所述多线程处理脚本将所述句子集合中将所述目标句子向量输入至第一条件随机场模型，获根据所述第一预测结果采用精确匹配检索算法从所述待抽通过所述多线程处理脚本将所述句子集合中的句子获取各句子在所述待抽取文本中所处的文本位置信获取若干个用户标注文档，对所述用户标注文将所述标注文本向量输入至初始条件随机场模型，以使对所述待验证条件随机场模型进行模型评估，在评估结在检测到所述抽取类型标识为词汇抽取时，调用多线程处理基于所述相似度从切分后的句子中筛选出所述样本句子根据所述目标句子构建候选句子集，将所述候选句子集获取所述第二条件随机场模型输出的第二预测结果，根据所根据所述词频-逆文本频率指数值确定各词汇所属句子所对应的3基于所述句子关键词获取各词汇所属句子与样本句通过所述多线程处理脚本对所述标签句子进行分词处理，计算所述词汇字典中每个词汇的词频-逆文本频率指数值，并根据计算结根据所述词频-逆文本频率指数值矩阵获取所述标将所述句子向量输入至待训练的条件随机场模型进行训练，获从所述奇异值集合中选取预设数量的目标奇异值，根据所述目标奇异值对所述词频-模型预测模块，用于将所述目标句子向量输入至第一文本抽取模块，用于根据所述第一预测结果采用程序被处理器执行时实现如权利要求1至7任一项所述的4档)中的非结构化数据自动提取转换为结构化数据的过程，例如将租赁合同中签约双方的度划分主要包括词汇抽取和字段/段落抽取。另外，也分开放域信息抽取和封闭域信息抽同业务场景下的文本信息抽取。这种信息抽取方式并未针对不同的抽取长度进行分类抽[0004]上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技[0012]根据所述第一预测结果采用精确匹配检索算法从所述待抽取文本中抽取目标字5[0019]获取若干个用户标注文档，对所述用户标注文档进行向量化以获得标注文本向[0029]对切分后的句子进行分词处理，并获取分词后各词汇对应的词频-逆文本频率指[0035]计算所述词汇字典中每个词汇的词频-逆文本频率指数值，并根据计算结果构建[0038]优选地，所述根据所述词频-逆文本频率指数值矩阵获取所述标签句子对应的句67[0060]如图1所示，该文本抽取设备可以包括：处理器1001，例如中央处理器(Central通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(Random[0062]如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模[0063]在图1所示的文本抽取设备中，网络接口1004主要用于与网络服务器进行数据通取工具根据这些样本文档对未训练的初始条件随机场(ConditionalRandomField，CRF)抽取和词汇抽取这两类不同的应用场景，用户只需要标注少量(几篇或十几篇)样本文档，8对此不作具体限制。[0076]进一步地，考虑到BERT模型(一种预训练语言表示的方法，它是在大量文本语料9例中条件随机场模型求取的标识序列能够使其对应的观察序列与样本文档中用户预先标[0083](1)按照以下方式对样本文档中需要抽取的字段或词汇进行标注，例如需要抽取[0086](2)将标注后的样本文档输入至初始CRF模型进行训练，以使初始CRF模型通过多个包含上述标注的样本文档进行条件概率(函数)的自学习，使得训练后的CRF模型可以通列利用OBIE(ontology-basedinformationextraction)方法自动生成的文本序列，上述P2:95字段3的条件概率P3:90％等。[0089]步骤S60：根据所述第一预测结果采用精确匹配检索算法从所述待抽取文本中抽[0091]具体的，文本抽取工具可以将第一预测结果中的条件概率按第一预测结果；根据第一预测结果采用精确匹配检索算法从待抽取文本中抽取目标字段。样需要通过文本抽取工具基于事先标注的样本文档(文档中包含被标注的字符或词汇)进中优选通过使用词频-逆文本频率指数(TermFrequencyInverseDocumentFrequency，词汇所属句子的词频向量与样本句子的词频向量之间的余弦相似度。余弦相似度值越大，[0109]需要说明的是，本实施例将预先训练的专用于词汇抽取的CRF模型作为第二条件本抽取工具即可将这些句子向量输入至第二条件随机场模型来进行确定出的目标词汇通过精确匹配检索算法从待抽取文取工具在获取到奇异值集合后，还可从奇异值集合中选取预设数量(例如奇异值较大的60[0127]在具体实现中，文本抽取工具可在对词频-逆文本频率指数值矩阵进行SVD降维通过每个词汇的词频-逆文本频率指数值构建的矩阵来获取标签句子对应的句子向量，然所述文本抽取程序被处理器执行时实现如上文所述的[0136]向量转化模块503，用于通过所述多线程处理脚本将所述句子集合中的句子转化[0139]文本抽取模块506，用于根据所述第一预测结果采用精确匹配检索算法从所述待第一预测结果；根据第一预测结果采用精确匹配检索算法从待抽取文本中抽取目标字段。出贡献的部分可以以软件产品的形式体现出来，