CN119404105A 通过以球棍图像的形式生成用rgb（红、绿、蓝）颜色系统着色的所述分子的二维（2d）结构表示从原子力显微镜图像中识别有机分子的计算机实施的方法 （马德里自治大学）

P2022303962022.04.22024.12.13PCT/ES2023/0702752023.04.28WO2023/209263ES2023.11.02示从原子力显微镜图像中识别有机分子的计算法用于从原子力显微镜(AFM)图像中识别有机分子，并使用条件生成对抗网络(CGAN)生成用RGB特别是以原子和所述原子之间距离的球棍图像形式的用RGB彩色系统着色的二维结构表示。因学反应相关的领域，并且因此是AFM用户和制造2(c)将使用在步骤(a)中获得的所述原子力显微镜灰度图像的训练的CGAN的生成器网2.根据权利要求1所述的方法，其中，在步骤(a6.根据权利要求5所述的方法，其中，步骤(a)中使7.一种频率调制原子力显微镜，包括官能化化金属尖端顶端被配置为执行根据权利要求1至6所述的方法的步骤(a)，所述数据处理装据处理设备，并被配置为显示在根据权利要求1至6所述的方法的步骤(c)中获得的球棍图9.根据权利要求7和8中任一项所述的FM_AFM显微镜3处理设备在所述数据处理设备中执行根据权利要求1至6所4[0001]本发明涉及一种用于从原子力显微镜(AFM)图像中识别有机分子的计算机实施的[0004]结合动态操作模式的原子力显微镜(AFM)已经成为在纳米尺度上成像和操纵材料分辨率提供了对分子内部结构的访问。具有惰性尖端(例来越精确的AFM模拟模型已经被开发来解释观察到的图像对比度。它们有助于阐明CO倾斜以及短程化学相互作用和静电学在键序鉴别和分子间键成像中的相互作生的中间物(包括自由基)和最终产物的成像中也很关键，它揭示了形成过程和反应途径5但是分子系统的完全识别，即结构和组成的确定仅仅基于HR_AFM图像而没有任何先验信的结构。Gordon等人(O.M.Gordon[0007]这种复杂性使得分子识别的任务超出了最优秀的人类专家的能力范围，如图2中的示例所示。环基和侧基方面的分子结构完全被化学成分及其非平面构型所隐藏。[0008]在我们之前的工作中(J.Carracedo_Cosme，C.Romero-Muiiz,R.Pérez，一组60个平面分子(包括有机化学中最常见的原子种类)进行非常精确的自动分子分类的[0010]本发明的目的是提供一种计算机实施的方法，所述方法用于从原子力显微镜(AFM)图像中识别有机分子，该方法通过使用训练的条件生成对抗网络(CGAN)生成所述有机分子的二维(2D)彩色RGB结构表示。本发明的计算机实施的方法以球棍图的形式生成有[0012]生成对抗网络(GAN)是一种机器学习框架，其依赖于学习从输入图像的噪声表示(通常是向量)到输出图像的映射的生成器以及学习区分生成器生成的图像和目标图像的6[0021]ii)向生成器网络馈送已知或预先确定的有机分子的多个恒定高度的AFM灰度图图的形式生成有机分子中原子的位置和大小的2D彩色RGB结构表示以及所述原子之间的距表示的每个球都以其在AFM图像中代表的原子所占[0022]iii)向鉴别器网络馈送与步骤(ii)中用于馈送给生成器的已知或预先确定的有子之间的距离匹配的图像和图(优选为16[0024]QuasarScienceResources有限公司_马德里大学_原子力显微镜(QUAM_AFM)[0025]QUAM_AFM是一个公开可用的数据集，理论上使用AFM操作参数(10个尖端_样品距金属尖端顶端的细节)的240种不同的组合，从68.6万个分离的分子中生成1.65亿张AFM图不同的吸附构型，不是仅通过AFM方法识别的良好候选者，因此不包括在QUAM_AFM数据库7中。此外，具有不适合边长为24A的基于正方形的细胞的结构的非常大的分子也不形成[0028]数据库QUAM_AFM仅限于准平面分子，这些准平面分子沿z轴仅显示高达的[0031]具有编码器_解码器结构的生成器由一系列类似的块组成，其中主要区别在于每以及最后的修正线性单元激活函数(ReLU)激活(除了最后一个块，最接近输出的块用双曲8为AFM图像上由结构和组成引起的特征高度依赖于局部化学环境，并且平稳地依赖于全局[0035]使用标准梯度反向传播算法将生成器和鉴别器的预测中的成功或失败纳入生成[0036]在CGAN训练期间，随机选择QUAM_AFM中每个输入堆栈可用的AFM操作参数(6个不验图像不能显示有机分子的完全对称性。给定有机分子的实验和理论AFM图像之间的这些是由于与基底的相互作用有机分子松弛和变形，而我们正在考虑用于训练的模拟AFM图像[0041]在训练过程中应用IDG提供的变形模拟了这些效果，并显著地赋予了CGAN网络从IDG的实际应用中，重要的是要记住QUAM_AFM中包含的球棍图与AFM图像成比例(共享相同图像的相应原子位置不匹配，并且CGAN将无法(从像素环境)学习AFM图像的形状和强度以9在预先确定的卷积层块中的丢弃层，该丢弃层被配置为在用理论AFM图像训练期间防止过测已知或预先确定的的有机分子的球棍图是真实的(真)还是生成器网络生成的球棍图其任何组合中选择的不同随机变形，从而为它[0052]因此，本发明的第一方面涉及一种用于从AFM图像中识别有机分子的计算机实施的方法，并以球棍图的形式生成所述有机分子的2D彩色RGB结构表示(此处为本发明的方[0053](a)通过频率调制原子力显微镜(FM_AFM)使用官能化金属尖端顶端，在所述有机[0060]以及(c)将使用在步骤(a)中获得的AFM灰度图像的训练的CGAN网络的生成器网络[0061]以频率调制动态模式(FM_AFM)运行的AFM通过测量振荡尖端与有机分子样品相互机分子的电荷密度控制。有机分子的电荷密度定义了有机分子中原子的3D位置和大小(化于O原子的正前方并且对样品分子中的电子具有排斥性，这提供了垂直和横向的快速变化[0069]在本发明方法的另一个优选实施例中，步骤(a)中使用的官能化金属尖端顶端用[0070]为了采集多个恒定高度的AFM灰度图像，必须通过FM_AFM显微镜获得所述有机分高度的变化包含了关于原子的3D位置和大小(化学性质)以及所述原子之间距离的所有信[0072]在本发明方法的另一个优选实施例中，步骤(a)在至少10个不同的高度距离处进[0080]步骤(c)是指将使用在步骤(a)中获得的AFM灰度图像的训练的CGAN的生成器网络化金属尖端顶端用Xe原子或CO分子官能化。所述官能化金属尖端顶端极大地提高了AFM图[0085]本发明的另一方面涉及一种包括指令的计算机程序(本文为本发明的计算机程[0086]本发明的最后一个方面涉及一种其上存储有本发明的计算机程序的计算机可读[0089]图2：图像数据生成器(IDG)应用于AFM输入图像和分子6,14,22一三乙炔基四环二十二碳2,4,6,9(21),10,12,15,17,19壬烯8,14,22三酮的实验AFM图像。第5张根据本发明的方法获得的所述分子的2D彩色RGB结构表示，代表化学物质的球的颜色代码氯苯基)1,3噻唑4基]1(5甲基呋喃2基)丙2烯1酮以及(c)N(5溴2碘苯基)5甲基1H咪唑2胺的真实结构以及高度图。底部面板提供了第5张和第6张图像的[0093]我们选择了一组已经在文献(N.J.vanderHeijden等人，ACSNano10，8517法适用于不包括在训练集中的其它分子的能力的完美示例。本文仅公布了对应于不同尖[0094]图3示出了在恒定高度拍摄的且是用CO封端的尖端采集的吸附在Cu(111)表面上19壬烯8,14,22三酮分子的实验AFM图像。这些实验AFM图像示出了不完美的三重对称[0097]第二个示例证明了我们的方法能够识别有机化学中包括大多数相关的化学种类[0099]图4(a)示出了2(2氨基乙氧基)n(个非常困难的示例。相应的AFM图像的特征是由氧原子周围的强电荷积累