CN113962887B 一种二维冷冻电镜图像去噪模型的训练方法、去噪方法 （中国科学院计算技术研究所）

(19)国家知识产权局(12)发明专利(10)授权公告号CN1139628(65)同一申请的已公布的文献号(73)专利权人中国科学院计算技术研究所地址100190北京市海淀区中关村科学院南路6号李锦涛(74)专利代理机构北京泛华伟业知识产权代理有限公司11280专利代理师王勇modelingandtransfer”.《Bioinforma.2022,第38卷(第7期),2022-2029.审查员罗煜川一种二维冷冻电镜图像去噪模型的训练方本发明提供一种二维冷冻电镜图像去噪模数据集，从原始图像数据集中提取每个图像对应的纯噪声区域以获得纯噪声样本并组成纯噪声数据集；S2、采用步骤S1获得的纯噪声数据集训练生成式模型获得噪声生成模型，并采用训练的噪声生成模型生成多个新的纯噪声样本以扩充纯噪声数据集获得新的纯噪声数据集；S3、将新的纯噪声数据集中的纯噪声样本迁移到模拟生成的无噪声图像中以获得无噪声-带噪声样本组的无噪声-带噪声数据集训练卷积神经网络至收获取原始图像数据集，从原始图像数据集中提取每个图像获取原始图像数据集，从原始图像数据集中提取每个图像对应的纯噪声区域以获得纯噪声样本并组成纯噪声数据集采用步骤S1获得的纯噪声数据集训练生成式模型获得噪声生成模型，并采用训练的噪声生成模型生成若干新的纯噪声样本以扩充纯噪声数据集获得新的纯噪声数据集将新的纯噪声数据集中的纯噪声样本迁移到模拟生成的无噪声图像中以获得无噪声-带噪声样本组成的无噪声-带噪声数据集采用上一步骤获得的无噪声-带噪声数据集训练卷积神经网络至收敛获得去噪系统21.一种二维冷冻电镜图像去噪模型的训练方法，其特征在于，所述方法包括：S1、获取原始图像数据集，从原始图像数据集中提取每个图像对应的纯噪声区域以获得纯噪声样本并组成纯噪声数据集；所述步骤S1包括：S11、基于真实成像参数采用模拟工具生成成对的模拟无噪声-带噪声样本组成模拟无噪声-带噪声数据集；S12、采用模拟无噪声-带噪声数据集训练卷积神经网络至收敛获得粗粒度去噪器；S13、采用粗粒度去噪器对原始图像数据集中的图像进行初步去噪以实现衬度增强，获得衬度增强的数据集；S14、提取衬度增强的数据集中的每个图像中的纯噪声区域；S2、采用步骤S1获得的纯噪声数据集训练生成式模型获得噪声生成模型，并采用训练的噪声生成模型生成多个新的纯噪声样本以扩充纯噪声数据集获得新的纯噪声数据集；S3、将新的纯噪声数据集中的纯噪声样本迁移到模拟生成的无噪声图像中以获得无噪声-带噪声样本组成的无噪声-带噪声数据集；S4、采用步骤S3获得的无噪声-带噪声数据集训练卷积神经网络至收敛。2.根据权利要求1所述的方法，其特征在于，所述步骤S11中采用InSilicoTEM模拟生成成对的模拟无噪声-带噪声样本，其中，采用真实图像数据采集过程中的试验参数设置InSilicoTEM的模拟条件。3.根据权利要求1所述的方法，其特征在于，所述步骤S12中采用模拟无噪声-带噪声数据集训练U-net架构的卷积神经网络至收敛获得粗粒度去噪器。4.根据权利要求3所述的方法，其特征在于，所述U-net架构的卷积神经网络包括五个最大池化降采样层和五个最近邻上采样层，每个空间分辨率等级均有一个降采样与上采样之间的跳跃链接，通过采用模拟无噪声-带噪声数据集训练所述U-net架构的卷积神经网络去学习最佳去噪函数获得粗粒度去噪器，其中，所述U-net架构的卷积神经网络的损失函数噪声图像数据集。5.根据权利要求1所述的方法，其特征在于，所述步骤S14包括对衬度增强的数据集中的每个图像执行以下操作：S141、将图像按照预设块大小和预设步长划分为有重叠的图像块集合；S142、将每一个图像块划分为预设个数的局部块形成局部块集合，计算局部块集合中任意两个局部块之间的结构相似性，其中，任意两个局部块之间的结构相似性大于预设相似性阈值的图像块为原始图像中的纯噪声区域；S143、基于纯噪声区域在衬度增强的图像中的坐标定位纯噪声区域在原始图像中的位置以提取原始图像中的纯噪声区域。6.根据权利要求5所述的方法，其特征在于，所述预设的块大小为320*320或640*640,所述预设的步长为预设块大小的一半，所述预设个数为4。7.根据权利要求5所述的方法，其特征在于，预设相似性阈值为0.7。38.根据权利要求1所述的方法，其特征在于，所述步骤S2中采用纯噪声数据集训练GAN模型获得噪声生成模型，所述GAN模型包括：生成式网络和判别式网络；其中，所述络包括五个全连接层，所述判别式网络包括三个全连接层；所述生成式网络和判别式网络其中，D(*)是判别式网络函数，Pr是纯噪声数据集的分布，Pg是生成式网络的分布，9.根据权利要求8所述的方法，其特征在于，所述GAN模型的超参数设置为10。10.根据权利要求1所述的方法，其特征在于，在所述步骤S3中，将噪声生成模型生成的纯噪声样本和模拟工具生成的模拟无噪声-带噪声样本中的模拟无噪声样本，以模拟无噪声样本对应的模拟带噪声样本为参考，进行重新加权，获得纯噪声样本与模拟无噪声样本的重新加权结果表示的新的带噪声样本，并与无噪声样本组成新的成对无噪声-带噪声样新的带噪声样本表示为：噪声迁移的目标为：其中，F(·)是调制函数，α,β和Y是标量系数，d是图像块大小，{Vi}是噪声生成模型生成的纯噪声样本，{Si}是模拟工具生成的无噪声图像，{Xi}是模拟工具生成的与无噪声图像对应的带噪声图像。11.根据权利要求1所述的方法，其特征在于，所述步骤S4包括：采用步骤S3获得的无噪声-带噪声数据集训练粗粒度去噪器以对粗粒度去噪器进行微调获得去噪模型。12.根据权利要求11所述的方法，其特征在于，针对获取所述粗粒度去噪器以及微调获得去噪模型的过程中采用Adagrad优化器训练模型参数且学习率为0.001。13.一种二维冷冻电镜图像去噪方法，其特征在于，所述方法包括：T2、采用如权利要求1-12任一所述的方法训练的去噪模型对所述二维冷冻电镜图像进行去噪处理。14.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序可被处理器执行以实现权利要求1至12任一所述方法的步骤。一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如权利要求1至12中任一项所述方法的步骤。4一种二维冷冻电镜图像去噪模型的训练方法、去噪方法技术领域[0001]本发明涉及图像处理领域，具体来说，涉及冷冻电子成像技术领域，更具体地说，涉及一种二维冷冻电镜图像去噪模型的训练方法以及去噪方法。背景技术[0002]冷冻电子显微镜是一项在结构生物学领域被广泛使用的技术，它可以从一系列二维(2D)显微照片中解析蛋白质和高分子复合物的高分辨率三维(3D)结构。但是，由于原始冷冻电镜图像的信噪比(SNR)仅能到达0.01～0.1,在所有成像领域中是最低的，这极大地影响了冷冻电镜图像下游分析的精度和效率，并降低了结构确定的可信度。因此，通常需要进行图像质量恢复操作，然后再进行颗粒挑选、结构分割和其他冷冻电镜图像分析过程，以实现高分辨率的冷冻电镜3D重建。[0003]目前已有多种传统方法来改善冷冻电镜图像的对比度并降低噪声水平，例如带通的图像信息，由于噪声一般为高频信息，所以通过频率截断可以在一定程度上实现信号增强。维纳滤波是一种基于最小均方误差准则、对平稳过程的最优估计器，这种滤波器的输出与期望输出之间的均方误差为最小，因此，它是一个最佳滤波系统，可用于提取被平稳噪声所污染的信号。BM3D的基本思想来自于自然图像中本身有很多相似的重复结构的观察结果，采用图像块匹配的方式对这些相似的结构进行收集聚合，然后对其正交变换，得到它们的一个稀疏表示，充分利用稀疏性和结构相似性，进行滤波处理，再将处理结果聚合到原图图像恢复算法，需要引入图像先验知识以修复丢失和退化的信息，通常使用从自然图像中总结得出的知识。但是，冷冻电镜图像中的噪声模型通常是未知而且是非常复杂的，并且因为实验参数的不同会导致噪声模型有所不同。即使是同一批数据，每张图像之间的噪声模型也会有所差异。因此，在这些传统方法中使用的预定义的图像先验知识不能正确地拟合冷冻电镜中的噪声模型，从而导致传统去噪方法应用于冷冻电镜数据时性能受限。[0004]近些年来，基于深度学习的去噪方法已经显示出它们的优点。受益于卷积神经网络(CNN)强大的学习能力，很多研究者基于卷积神经网络提出了很多相关技术，例如：有人提出了一种具有对称卷积反卷积层的编码-解码框架，用于图像恢复；有人提出了一种用于图像超分辨率(SR)的生成对抗网络(GAN),该技术可从大量降采样的图像中恢复逼真的纹理。然而，大多数现有的基于深度学习的方法都需要训练时使用成对的无噪声-带噪声数据集，因此难以应用于无法获得无噪声图像的冷冻电镜领域。为了克服对无噪声-噪声图像对的数据限制，近几年，有几种从成对的带噪声图像或单个噪声图像中学习的去噪方法被提出。例如：有人提出的一种通用的机器学习(ML)框架，称为Noise2Noise(N2N),用于从成对学习去噪模型，其中GAN用于构建配对的训练数据集，然后使用卷积神经网络进行去噪。且值得注意的是，基于N2N架构并使用了成千上万张图像进行训练，称为Topaz-Denoise的去5训练时使用成对的无噪声-带噪声数据集，因此无法应用于无法获得无噪声图像的冷冻电会限制用户对公开数据集或者其他人的数据集的使用，因为原始成像帧序列经常不被公以获得纯噪声样本并组成纯噪声数据集；S成的无噪声图像中以获得无噪声-带噪声样本组成的无噪声-带噪声数S3获得的无噪声-带噪声数据集训练卷积神经网络至收敛。模拟条件。[0009]优选的，所述步骤S12中采用模拟无噪声-带噪声数据集训练U-net架构的卷积神6[0012]优选的，所述步骤S14包括对衬度增强的数据集中的每个图像执行以下操作：为0.7。全连接层，所述判别式网络包括三个全连接层；所述生成式网络和判别式网络均采用模拟工具生成的模拟无噪声-带噪声样本中的模拟无噪声样本，以模拟无噪声样本对应的果表示的新的带噪声样本，并与无噪声样本组成新的成对无噪声-带噪声样本以实现噪声粗粒度去噪器以及微调获得去噪模型的过程中采用Adagrad优化器训练模型参数且学习率[0023]根据本发明的第二方面，提供一种二维冷冻电镜图像去噪方法，所述方法包7T1、获取待处理的二维冷冻电镜图像；T2、采用如本发明第一方面所述的方法训练的去噪模型对所述二维冷冻电镜图像进行去噪处理。[0024]与现有技术相比，本发明的优点在于：本发明是根据冷冻电镜图像中噪声的真实统计特性进行去噪，实现了对二维冷冻电镜图像中噪声的准确建模与迁移，不再受通用噪声模型的限制，从而实现了对噪声的去除和样本信号的恢复。其中，本发明利用图像中的纯噪声区域和深度学习技术的建模方法，来实现对噪声准确建模，该方法基于图像相似性来区分背景区域与样品区域，从而实现纯噪声图像区域的提取，并结合深度学习领域的生成式模型，完成对冷冻电镜领域噪声的准确建模，不受单一噪声模型的限制，可以根据不同的噪声模型针对性的准确建模。本发明采用了一种信号与噪声的重新加权方案，将无噪声信号与真实噪声分布叠加在一起，得到带噪声的数据。从而实现了有监督的去噪数据集的构建，使得有监督的深度学习去噪模型的训练成为可能。附图说明[0026]图1为根据本发明实施例的二维冷冻电镜图像去噪模型的训练方法原理示意图；[0027]图2为根据本发明实施例的二维冷冻电镜图像去噪模型的训练方法主要流程示意[0028]图3为根据本发明实施例的二维冷冻电镜图像去噪模型的训练方法图像数据变化过程示意图；[0029]图4为根据本发明实施例的二维冷冻电镜图像去噪模型的训练方法中采用的U-net网络架构示意图；[0030]图5为根据本发明实施例的二维冷冻电镜图像去噪模型的训练方法采用的GAN模型结构示意图；[0031]图6为根据本发明实施例的二维冷冻电镜图像去噪模型的训练方法训练的去噪模型对T20S蛋白酶体数据的去噪结果示意图；[0032]图7为根据本发明实施例的二维冷冻电镜图像去噪模型的训练方法训练的去噪模型对恶性疟原虫80s核糖体与抗原生动物药物结合的结构数据的去噪结果示意图。具体实施方式[0033]为了使本发明的目的，技术方案及优点更加清楚明白，以下通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。[0034]需要说明的是，下面实施例中提到的原始冷冻电镜图像、原始图像、原始带噪声的图像块指代的都是原始未经去噪处理的冷冻显微照片，有的地方为了描述方便，初步去噪的图像块、初步去噪的冷冻电镜图像、初步去噪的二维冷冻电镜图像均是指用粗粒度去噪器对原始的冷冻显微照片进行初步去噪后的图像，纯噪声块和纯噪声区域均指代纯噪声数[0035]首先介绍一下本发明的基本思想和原理。[0036]如背景技术所述，冷冻电子显微镜是一种用于超微结构测定的广泛使用的技术，8它从一组二维显微照片中构建蛋白质和高分子复合物的三维结构。但是，受电子束剂量的限制，冷冻电镜中的显微照片通常会遭受极低的信噪比，这会影响下游分析的效率和有效性，尤其是，冷冻电镜中的噪声不是简单的加性或乘性噪声，其统计特性与自然图像的统计特性完全不同，这极大地影响了传统降噪方法的性能，所以在二维冷冻电镜图像领域非常需要有效的去噪算法。[0037]发明人在进行冷冻电子显微镜图像去噪算法的研究时，发现现有深度学习方法主要存在两个问题：[0038]第一，现有方法未能准确估计电镜图像中的噪声模型。由于冷冻电子显微镜成像原理的复杂性以及数据采集过程中各种因素的影响，图像中的噪声模型很难用数学公式准确描述，这也导致现有的基于噪声先验知识的去噪方法的性能受到了限制。[0039]第二，缺少成对的有监督的无噪声-带噪声图像训练集。深度学习方法具有强大的学习能力，可以从大量的数据中学习到噪声特性，从而不需要噪声统计特性的先验知识就可以完成去噪声的去除。然而冷冻电镜领域并不存在无噪声图像，从而导致基于学习的方法受到了限制。虽然有基于成对噪声图像和单个噪声图像的去噪算法，但是这些算法从原理上就因为缺乏无噪声图像，去噪性能受到了限制，而且数据的获取也并不简单。[0040]发明人在研究过程中发现，冷冻电子显微镜图像(简称冷冻电镜图像，后续均以冷冻电镜图像展开描述)中是存在有纯噪声区域的，因此，可以利用深度学习技术和冷冻电镜图像中的纯噪声区域来对噪声建模。由于冷冻电镜图像中的噪声模型过于复杂，而且电镜图像过程中各种实验参数的变化都会引起噪声模型的变化，甚至同一批次的图像之间的噪声也会存在差异。而这种抽象的特征可以利用具有强大建模能力的深度学习技术来提取，但是深度学习又需要大量的训练集。考虑到冷冻电镜图像的特性，只要选择合适的大小，可以把电镜图像中的区域划分为两种区域，纯噪声区域和包含生物样品信号的区域。这样就可以获取到很多纯噪声的图像块，结合深度学习技术可以得到准确估计的噪声模型。如在背景技术提到的问题，目前限制基于深度学习的去噪算法在冷冻电镜领域的性能的主要因素就是有监督的无噪声-带噪声图像训练集的缺失，因此，本发明采用噪声迁移的手段将噪声迁移到与真实成像参数一致的模拟无噪声图像中生成具有真实噪声分布的成对的无噪声-带噪声训练集。具体来说，通过提取真实图像数据集中的纯噪声区域对冷冻电镜噪声进行建模，然后将噪声特性迁移到无噪声图像中，得到具有指定噪声的带噪声图像以及对应的无噪声图像，以构建有监督的无噪声-带噪声数据集，基于这样的有监督数据集，结合深度学习，可以训练得到针对某特定数据集中的噪声的去噪模型并对该数据集进行去噪得到去噪结果。概括说来，本发明的方法如图1所示，基于真实冷于模拟工具生成无噪声-带噪声成对模拟数据，由此组成模拟数据集训练一个粗粒度去噪器，并采用粗粒度去噪器对真实冷冻个电镜图像进行衬度增强得到初步去噪的显微图像，在初步去噪的显微图像中定位纯噪声区域获得纯噪声块的坐标，基于该坐标从原始的真实冷冻电镜图像中提取纯噪声图像块，基于纯噪声图像块通过噪声生成器生成具有多样性的噪声样本，并将噪声迁移到无噪声图像中获得具有真实噪声分布的无噪声-带噪声图像对，用具有真实噪声分布的无噪声-带噪声图像对训练卷积神经网络获得细粒度去噪器，细粒度去噪器对真实冷冻电镜图像去噪获得去噪结果。[0041]下面结合附图详细说明本发明。9[0042]如上面描述内容提到的，本发明的目的是解决冷冻电镜图像去噪中噪声模型未知且难以估计，以及缺乏可以用于深度学习的有监督的成对无噪声-带噪声训练集的问题，如图2所示，本发明提供一种二维冷冻电镜图像去噪模型的训练方法，所述方法包括步骤S1、[0043]在步骤S1中，获取原始图像数据集，从原始二维冷冻电镜图像数据集中提取每个冷冻电镜图像对应的纯噪声区域以获得纯噪声样本并组成纯噪声数据集。由于原始冷冻电镜图像信噪比极低，很难直接从原始冷冻电镜图像中分辨出颗粒和背景区域，由此，根据本发明的一个实施例，先对原始的真实冷冻电镜图像数据集做一个预处理，即初步去噪，以分辨颗粒和背景区域(纯噪声区域)。考虑到冷冻电镜图像领域并不存在完全无噪声的图像，因此，根据本发明的一个实施例，采用模拟工具根据真实冷冻电镜图像成像参数生成模拟数据集用于训练粗粒度去噪器，采用训练好的粗粒度去噪器对原始真实冷冻电镜图像数据集进行初步去噪的衬度增强，从而更容易定位到真实冷冻电镜图像中的纯背景区域和颗粒，基于块相似性定位纯噪声块的坐标，利用定位到的坐标，在原始的真实冷冻电镜图像数据集中可以提取到纯噪声区域。根据本发明的一个实施例，所述步骤S1包括如下步骤：[0044]步骤101:基于真实成像参数生成模拟数据。如背景技术提到的，缺乏有监督的训练数据阻碍了基于深度学习的降噪方法在冷冻电镜中的应用，为了解决这个问题，如图3中“a.噪声提取”部分所示，首先进行基于真实试验参数的数据模拟，即采用模拟工具基于真实成像参数模拟带噪声图像块和模拟无噪声图像块。根据本发明的一个实施例，采用模拟软件InSilicoTEM生成成对的无噪声-带噪声数据集，该模拟数据生成软件基于物理原理来模拟冷冻电镜的整个成像过程。根据本发明的一个实施例，采用模拟数据生成软件InsilicoTEM根据真实冷冻电镜图像成像参数生成的模拟数据集包含成对的无噪声-带噪声图像，且和真实的冷冻电镜图像数据集具有相同的成像参数，因此，模拟数据集中的模拟图像和真实冷冻电镜图像具有相似的噪声分布。其中，利用真实数据集采集过程中的实验参数设置模拟条件，包括像素大小，散焦，电压，电子剂量和检测器类型等，通过这种方式，可以使模拟数据在分辨率限制、对比度传递函数和调制效果等方面非常接近真实数据。另外，根据本发明的一个实施例，从蛋白质数据库(PDB)中下载与真实样品大小相似的同源蛋白质，作为模拟数据的样品，这样的模拟有可能产生具有和真实数据噪声统计特性相似的数据集。[0045]步骤102:训练粗粒度的去噪器。如上所述，步骤101可以生成成对的无噪声-带噪声模拟图像对组成的无噪声-带噪声模拟数据集，如图3中“a.噪声提取”部分所示，将无噪声-带噪声模拟数据集输入到卷积神经网络中，即使用该模拟数据集训练CNN可以得到一个粗粒度去噪器(也叫稀疏CNN去噪器),可以实现对原始的真实冷冻电镜图像数据集的衬度增强，这是由于模拟生成的训练集与原始的真实冷冻电镜图像数据集具有一样的成像参数，所以该模型可在真实数据上实现一定水平的降噪和对比度增强，以简化背景和颗粒的[0046]根据本发明的一个实施例，本发明的粗粒度去噪器基于U-net架构，如图4所示，其中包含五个最大池化降采样模块和五个最近邻上采样层，在每个空间分辨率等级都有一个降采样与上采样之间的跳跃连接，由于U-net架构是本领域常用技术，此处不再赘述其结构细节，重点描述寻找去噪函数的原理。在给定一系列无噪声-带噪声的图像对{无噪声图像的图像块中提取纯噪声块(纯噪声块对应的区域是纯噪声区域)以获得纯噪声样本组成纯步去噪的图像，基于块相似性的噪声提取方案，如果将冷中的分布是均匀的，而包含生物信号的图像区域具[0052]步骤1031:给定数据集中的显微照片I,利用步骤102训练得到的粗粒度去噪器对[0053]步骤1032:将衬度增强后的图像I′划分成有重叠的块集合Θ={P},且每个图像块的大小为d×dpixel²,步长设置为s。算这个集合局部块集合{P₁,}中任意两个子块Pi,k₁,Pi,k₂(k₁≠k₂)之间的结构相似[0055]步骤1034:对于每一个图像块P,如果Vk₁,k₂(k₁=k₂),SSIM,那么可以认定P是背景块，也就是纯噪声区域，其中，SSIM(P₁,k₁,Pi,k₂)的计算公式如下：定位坐标，但是纯噪声块的提取是基于定位到的纯噪声块的坐标在原始的冷冻电镜图像I[0060]在步骤S2中，采用步骤S1获得的纯噪声数据集训练生成式模型获得噪声生成模的扩充实现噪声模型估计与数据增强。冷冻电镜中的噪声模型过的初始化使用标准的高斯分布，标准差σ=0.02,生成器和判别器中使用的LeakyReLU激活重更新参数β₁=0.999,学习率为0.0002。新计算噪声与信号之间的权重，得到的无噪声-带噪声图像对可以用于最终的去噪器的训像衬度的信号与噪声的叠加算法，将GAN噪声生成器中生成的噪声迁移到模拟的无噪声图[0068]根据本发明的一个实施例，基于图像衬度的信号与噪声的叠加算法的输入是GAN中生成的纯噪声图像块{V}以及模拟工具模拟生成的只包含样品信号的无噪声图像块的实验参数与真实数据一致，所以可以使用{X}的图形衬度作为参考，将加权后的结果记为Yi=F(a*Si+β*Vi+γ)(F(·)是[0070]其中a,β和γ是标量系数，而d是图像块大小。这样的最小化问题可以通过最小二乘法容易地解决。然后，利用解出的系数，将对信号进行重新加权和调噪声的图像对。[0071]在步骤S4中，采用步骤S3获得的无噪声-带噪声数据集训练卷积神经网络至收敛获得去噪模型。根据本发明的一个实施例，本发明将将构建的无噪声-带噪声的图像对输入到细粒度的去噪器中，以训练可捕获真实噪声统计信息并从噪声中恢复样本信号的去噪模型。根据本发明的一个实施例，为了节约训练时间，可以直接在粗粒度去噪器模型参数的基础上进行网络微调，而不是重新训练，如图3中的“c.去噪器训练”部分所示，采用训练数据集微调前面得到的稀疏CNN去噪器获得去噪模型，然后对原始图像进行去噪处理获得去噪结果。优选的，基于粗粒度-细粒度去噪器微调的网络训练模式，在本发明中一共涉及到两个去噪器，粗粒度去噪器和细粒度去噪器：(i)粗粒度去噪器用于对原始电镜图像数据进行初步去噪，大致增强图像的衬度，便于区分背景区域和生物样本所在的区域，以实现纯噪声图像区域的提取，该粗粒度去噪器使用成对的无噪声-带噪声模拟数据集进行训练，这里模拟数据的生成使用与真实数据一致的成像参数；(ii)细粒度去噪器是本发明最终要得到的可以对真实数据去噪的去噪器，由步骤S3中重新加权得到的数据集训练得到，以捕捉真实数据中的噪声统计特性并恢复真实的样本信号。在这里细粒度去噪器通过在粗粒度去噪器的权重上进行微调得到，而非从头开始训练。由于粗粒度去噪器的训练集与真实数据集有相同的成像参数，所以可以相信粗粒度训练集可以提供一个相对准确的初始权重。其中，用于真实数据图像衬度增强的粗粒度CNN去噪器，使用模拟数据集进行训练，初始权重为默认值。用于最终去噪的细粒度CNN去噪器使用纯噪声和无噪声图像重新加权得到的数据集训练，初始化参数为粗粒度去噪器的权重，两种模型都是用Adagrad优化器训练模型参数，学习率为0.001。[0072]为了验证本发明的效果，下面结合具体的试验数据来详细说明。[0074]发明人使用两套真实数据集：一套共191张、大小为7420*7676的T20S蛋白酶体数据(EM25)和一套600张、大小为4096*4096的恶性疟原虫80s核糖体与抗原生动物药物结合的结构数据(EM28)来验证本发明的实际效果。[0075]首先，采用本发明的方法使用真实的数据集训练去噪模型。其中，为了训练粗粒度的去噪器，发明人使用冷冻电镜模拟数据生成软件InsilicoTEM生成对应的具有相同参数的一套250张，大小为4096*4096的模拟数据。在训练细粒度去噪器的时候，所有电镜图像切分为大小为320*320的图像块，切割的步长为160,随机选取10%的数据作为验证集。[0076]然后，采用评估方法评估本发明与其他不同方法之间的效果。SNR是最常用的图像图像中选择10个配对的信号和背景区域，其中背景区域尽可能靠近相应的信号区域。给定N[0