CN114708595B 图像文献结构化解析方法、系统、电子设备、存储介质 （灵犀量子(北京)医疗科技有限公司）

司述LX-BioLayoutLM模型基于BERT模型和2其中，所述LX-BioLayoutLM模型基于BERT模型和LayoutLM模其中，所述LX-BioLayoutLM模型中的BERT模型部分，以待解其中，所述LX-BioLayoutLM模型基于BERT模型和LayoutLM模通过所述BERT模型完成对图像文献语义的理解，通过所述Layout将所述解析文档中文本的长度和所述待解析图中文本的长度若完整度超过预定阈值，将所述解析文档确认为所述图像文献的结构化解析后的文基于所述解析文档中的结构化标签，选中需要的若干标签，将标签自定义信息剔除模块，所述自定义信息剔除模块基于预定的待剔除的文本内容信息，3解析模块，所述解析模块将待解析图输入LX-BioLayoutLM模型，获得带其中，所述LX-BioLayoutLM模型基于BERT模型和LayoutLM模其中，所述LX-BioLayoutLM模型中的BERT模型部分，以待解其中，所述LX-BioLayoutLM模型基于BERT模型和LayoutLM模通过所述BERT模型完成对图像文献语义的理解，通过所述Layout7.一种电子设备，包括存储器、处理器及程序被处理器执行时实现如权利要求1-5中任一项所述图像文献结构化解析4人工智能的计算机视觉(ComputerVision)任务的相关算法技术蓬勃发展，利用AI技术进行图像文本内容解析是一个十分具有价值和意义[0004]目前，对图像文献进行文本解析可以有多种不同的方式，比如可以通过使用过上传图像文件进行图像的拆分与内容识别，这种方式往往只是针对特定类型的图像有[0013]根据本发明提供的一种图像文献结构化解析方法，所述将待解析图输入LX-[0016]根据本发明提供的一种图像文献结构化解析方法，所述5解的文本向量和表征文本段落与图像间映射关系的位置嵌入向量作符级的2D位置嵌入向量和体现图像特征信息的图像嵌计算机程序被处理器执行时实现如上述任一项所述图像文献结器执行时实现如上述任一项所述图像文献结构化6python语言的内置PIL包和cv2包结合图像拼接[0042]步骤200、基于预定的待剔除的文本内容信息，对合成图中对应部分进行遮盖处[0046]步骤400、将待解析图输入LX-BioLayoutLM模型，获得带有结构化标签的解析文7[0053]需要说明的是，LX-BioLayoutLM模型通常用来批量处理多个图像文献，LX-[0054]基于进入LX-BioLayoutLM模型的图像文本长度和最终输出文件中文本的长度判[0060]进一步地，另一实施例中，本实施例提供一种图像文献结构化解析方法，LX-BioLayoutLM模型的训练数据集为结构[0064]进一步地，另一实施例中，本实施例提供一种图像文献结构化解析方法，LX-8面的问题，通过两部分结合利用医学图像与文本数据预训练得到了LX-BioLayoutLM模型，成的矩阵，然后对矩阵进行逐行扫描(将矩阵与扫描区域对应的矩阵进行相乘再相加再取[0069]此外LX-BioLayoutLM模型训练时加入多任务学习目标，包括遮罩视觉语言模型MVLM(MaskedVisual-LanguageModel)损失与多标签文档分类MDC(Multi-label[0072]图2为本发明还提供的一种图像文献结构化解析系统的结[0074]自定义信息剔除模块，自定义信息剔除模块基于预定的[0079]通过训练微调，系统准确率可以达到96.5实际推理结果经人工校验确定准确率为93通过本发明提供的系统对图像文献进行结构化解析可较为完美地解决人工提取9以包括：处理器(processor)810、通信接口(CommunicationsInterface)820、存储器[0086]此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单以对前述各实施例所记载的技术方案进行修改，或者对其