CN114868192B 信息处理装置、信息处理方法及程序 （富士胶片株式会社）

2022.06.21PCT/JP2020/0408612020.10.30WO2021/131324JA2021.07.01JoshuaStaker.MolecularStExtractionFromDocumentsUsing本发明提供一种能够从表示结构式的图像识别结构式的各构成要素并将其识别结果用于合物的结构式中的构成要素中各区域所表示的中的构成要素的要素信息与对象化合物相关联式中的一个构成要素的学习用图像的机器学习2通过识别模型并基于表示对象化合物的结构式的对象图像中的各区域的特征所述对象化合物的结构式中的构成要素中所述各区域所表与所述对象化合物相关联地存储关于识别出的所述对象化合物的结构式中的所述构所述识别模型是通过使用了表示化合物的结构式中的一个构成要素的学习用图像的在所述机器学习中，在使用了表示化学结构相同而记载方式不基于所述输入信息和与所述对象化合物相关联的所述要素信息的所述对象化合物中检索与所述检索化合物对基于所述输入信息和与所述对象化合物相关联地存储的所述要从存储有所述要素信息的所述对象化合物中检索所述相似度满足检索条件的所述对所述处理器获取与所述检索化合物的结构式中包含的所述构成要素相关的所述输入通过将检测到的所述对象图像输入所述识别模型中，识别所述对象所述处理器利用目标检测算法从所述文档中检测所述要素信息包括表示识别出的所述对象化合物的结构式中的所述构成要素的种类所述要素信息还包括表示识别出的所述对象化合物的结构式中的所述构成要素在相3表示所述构成要素的种类的信息是表示与所述构成要素对应的原子或原子间的键的表示所述构成要素的种类的信息是表示与所述构成要素对应的官能团的化学式的信表示所述构成要素的种类的信息是由分子指纹的一部分构成的信息所述构成要素的每个种类表示所述对象化合物的结构式中的所述构成要通过识别模型，基于表示对象化合物的结构式的对象图像中的各区域的特征所述对象化合物的结构式中包含的构成要素中所述各区域所表示的所述构成要素的步骤；与所述对象化合物相关联地存储关于识别出的所述对象化合物的结构式中的所述构所述识别模型是通过使用了表示化合物的结构式中的一个构成要素的学习用图像的在所述机器学习中，在使用了表示化学结构相同而记载方式不4[0004]专利文献1所记载的技术对化学结构图中的字符信息(例如，构成化学物质的原号的像素分配表示原子符号的属性的值，对表示键符号的像素分配表示键符号的属性的5物中检索相似度满足检索条件的对象化合物来述分子指纹按构成要素的每个种类表示对象化合物的结构式中的构成化合物的结构式中的一个构成要素的学习用图像的6[0036]图6是表示使用了本发明的一实施方式所涉及的信息处理装置的信息处理流程的象化合物例如是结构式表示在文档中的图像中且该图像中的各区域所表示的构成要素由[0048]信息处理装置将化合物的结构式中的一个构成要素(详细而言，为构成要素的标签信息)和表示一个构成要素的学习用图像用作学习数据集来实施机器学习。通过该机器7[0052]表示构成要素的配置位置的信息是表示相对于对象图像设定的坐标空间(例如，将对象图像的横向设为X方向、将纵向设为Y方向的二维坐标空间)中的构成要素的配置位[0053]针对对象化合物的结构式中所包含的多个构成要素中的每一个，获取要素信[0055]信息处理装置对于各种对象化合物重复执行上述一系列处理(具体而言，从文档对象化合物的结构式中的各构成要素的要素信息作为与对象化合物相关的信息。其结果输入表示检索化合物的结构式的图像信息。信息处理装置获取该图像信息作为输入信息，单地找出登载有表示设为目标的化合物的结构式[0060]识别模型M1是用于从表示对象化合物的结构式的图像(对象图像)中识别该结构8[0061]特征量导出模型Ma是通过输入对象图像来导出对象图像的各区域的特征量的模[0063]从特征量导出模型Ma输出的图像的特征量是卷积神经网络CNN中的学习特征量，的各区域的特征量按每个区域输入到构成要素输[0064]构成要素输出模型Mb是通过将用特征量导出模型Ma导出的各区域的特征量输入[0065]本实施方式所涉及的构成要素输出模型Mb在输出与对象图像的各区域的特征量了归一化指数函数的n个(n为自然数)输出概率的总和图像所表示的结构式中的各构成要素从基于对象图像的各区域的特征量特定的多个候补合物的结构式中的一个构成要素的学习用图像和该构成要素的标签(正确标签)作为学习9相同的构成要素的多个学习用图像来实施机器[0073]在如上所述的案例中，从多个学习用图像中导出共同的特征量的识别模型M1(严[0075]接下来，对图5所图示的信息处理装置(以下为信息处理装置10)的结构例进行说[0078]处理器11构成为执行后述的程序21并实施用于发挥上述的信息处理装置10的功[0079]构成处理器11的硬件处理器不限于CPU，也可以是FPGA(FieldProgrammableGateArray)、DSP(DigitalSignalProcessor)、ASIC(ApplicationSpecific器11也可以是以SoC(SystemonChip)等为代表，发挥信息处理装置10整体的功能的一个IC(IntegratedCircu[0080]此外，上述的硬件处理器也可以是将半导体元件等电路元件组合成的电路[0081]存储器12由ROM(ReadOnlyMemory)及RAM(RandomAccessMemory)等半导体存[0082]在存储器12中存储有用于使计算机作为本实施方式的信息处理装置10发挥功能过经由因特网或内联网等网络进行接收(下[0092]储存器16例如由闪存、HDD(HardDiscDrive)、SSD(SolidStateDrive)、FD(FlexibleDisc)、MO盘(Magneto-Opticaldisc)、CD(CompactDisc)、DVD(DigitalVersatileDisc)、SD卡(SecureDigitalcard)及USB存储器(UniversalSerialBus[0095]如图2所示，存储于数据库22中的构成要素的种类是用识别模型M1计算出的输出[0108]第二机器学习S012是用于构建从登载有表示化合物的结构式的图像的文档中检测算法从文档中检测结构式的图像的模型。作为目标检测算法，可以利用R-CNN(Region-basedCNN)、FastR-CNN、YOLO(YouonlyLookOnce)、及SDD(SingleShotMultibox[0109]用于第二机器学习S012的学习用数据(教师数据)通过对表示化合物的结构式的[0112]第三机器学习S013是用于构建从要素信息被存储在数据库22中的多个对象化合物中检索与检索化合物对应的对象化合物的模型(以下为检索模索化合物的结构式的至少一部分的内容(即，可成为用数据库22检索检索化合物时的关键的种类及该构成要素的结构式中的配置位置的信息)用作输入信息。而且，也可以通过如ChemDraw(注册商标)及RDKit那样的公知的结构式绘图软件绘制检索化合物的结构式的一[0117]相似度评价模型在由检索化合物特定模型特定的检索化合物的结构式与各构成要对记录在数据库22中且对于相同的化合物用不同的记载方式记载的多个结构式中的每[0121]第三机器学习S013使用关于按每个对象化合物存储在数据库22中的结构式中的[0124]数据库构建阶段S002是对于文档中包含的图像(对象图像)所表示的对象化合物的要素信息与登载有由各构成要素构成的结构式的图像(对象图像)的文档的信息等绑定[0134]检索阶段S003是从要素信息被存储在数据库22中的对象化合物中检索与检索化检索模型，基于获取到的输入信息和与对象化合物相关联地存储在数据库22中的要素信[0141]本实施方式的信息处理装置10可利用通过第一机器学习S01的构成要素的要素信息并将其数据库化，所以自此以后能够将要素信息作为检索关键字，Provider)、SaaS(SoftwareasaService)、PaaS(PlatformasaService)或IaaS