CN120219902A 一种基于多模态融合的结构变异过滤方法、装置及设备

(19)国家知识产权局地址410073湖南省长沙市开福区德雅路(72)发明人崔英博夏泽宇唐滔杨灿群黄春彭林张鹏方建滨周桐庆张文喆齐星云有限公司43225一种基于多模态融合的结构变异过滤方法、本申请涉及一种基于多模态融合的结构变变异类型对结构变异位点特征图片与ESF值组成的图像文本对设置标签，得到带标签图像文本的多模态融合模型对预处理的结构变异数据与21.一种基于多模态融合的结构变异过滤方法，其特征在于，所述方法包括：对结构变异位点的变量信息进行编码，生成结构变异位点特征图片；计算所述变量信息的ESF值后，根据结构变异类型对所述结构变异位点特征图片与所述ESF值组成的图像文本对设置标签，得到带标签图像文本对；根据预设配置参数对CLIP多模态模型进行训练，得到训练好的多模态融合模型，通过训练好的多模态融合模型对预处理的结构变异数据与所述带标签图像文本对进行变异位2.根据权利要求1所述的方法，其特征在于，对结构变异位点的变量信息进行编码，生提取比对文件中结构变异位点的深度信息，根据所述深度信息记录每个染色体所在位置的覆盖深度；以及对所述比对文件的读段序列进行预处理，得到预处理信息；将所述覆盖深度与所述预处理信息作为每个所述结构变异位点的变量信息，根据所述变量信息生成结构变异位点特征图片；所述结构变异位点特征图片中每个像素点的高度等于所述变量信息中变量的值。3.根据权利要求2所述的方法，其特征在于，计算所述变量信息的ESF值后，根据结构变异类型对所述结构变异位点特征图片与所述ESF值组成的图像文本对设置标签，得到带标计算所述变量信息中预处理信息的ESF值，检查所述结构变异位点特征图片与所述ESF值的总数量与所述结构变异位点的总数量是否一致，若一致，则根据结构变异类型对所述结构变异位点特征图片组成的图像文本对设置标签，得到带标签图像文本对；否则，重新获取变量信息生成结构变异位点特征图片。4.根据权利要求3所述的方法，其特征在于，根据预设配置参数对CLIP多模态模型进行根据预设配置参数、标准图片数据以及标准文本数据对CLIP多模态模型进行训练，得到训练好的多模态融合模型。5.根据权利要求4所述的方法，其特征在于，通过对所述结构变异数据的结构变异位点的变量信息进行编码，生成待处理特征图片，并计算ESF值，得到预处理的所述结构变异数6.根据权利要求5所述的方法，其特征在于，通过训练好的多模态融合模型对预处理的结构变异数据与所述带标签图像文本对进行变异位点的过滤，得到过滤结果数据，包括：通过训练好的多模态融合模型在每个待处理变异位点对预处理的结构变异数据与所述带标签图像文本对分别对应的特征图片与ESF值进行分类，得到模型分类结果，根据所述模型分类结果过滤所述结构变异数据的假阳性结果，得到过滤结果数据。7.根据权利要求6所述的方法，其特征在于，根据所述模型分类结果过滤所述结构变异在所述结构变异数据中保留与所述模型分类结果一致的条目，删除或者修改与所述模型分类结果不一致的条目，得到过滤结果数据。8.一种基于多模态融合的结构变异过滤装置，其特征在于，所述装置包括：特征图片生成模块，用于对结构变异位点的变量信息进行编码，生成结构变异位点特3征图片；多模态数据标注模块，用于计算所述变量信息的ESF值后，根据结构变异类型对所述结构变异位点特征图片与所述ESF值组成的图像文本对设置标签，得到带标签图像文本对；过滤模块，用于根据预设配置参数对CLIP多模态模型进行训练，得到训练好的多模态融合模型，通过训练好的多模态融合模型对预处理的结构变异数据与所述带标签图像文本对进行变异位点的过滤，得到过滤结果数据。9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。4一种基于多模态融合的结构变异过滤方法、装置及设备技术领域[0001]本发明属于基因序列结构变异检测技术领域，尤其涉及一种基于多模态融合的结背景技术[0002]结构体变异通常指基因组中较大范围的序列变异，通常涉及大于50个碱基长序列于短的插入和缺失(INDELs)以及单核苷酸变异(SNV),结构变异有更高的概率导致癌症、遗传性疾病、神经发育障碍等疾病。例如9号染色体和22号染色体的易位会形成所谓的“费城染色体”,引起慢性髓性白血病。7号染色体上的缺失会引发威尔第症。21号染色体的三体性会导致唐氏综合症。[0003]现有的结构变异检测工具从实现原理进行区分，可分为基于统计数据的方法和深度学习的方法。前者通过判断数据中哪些特征发生了异常从而推断结构变异，后者依托深度神经网络的特征提取和模式识别能力来发现结构变异。等。这些工具通常基于比对结果中的统计信息，如读段深度(RD)、不一致的读段对(RP)、拆分读段比对(SR)、局部组装或其组合来实现结构变异的识别和检测。DELLY综合利用不一致的读段对和拆分读段比对两种信号实现了对应短读序列的结构变异检测。LUMPY通过结合不一致的读段对、拆分读段比对和读段深度等多种信号，进行短读序列结构变异的综合检测。Manta通过结合不一致的读段对和拆分读段比对对疑似结构变异区域进行局部组装，以验证短读序列的结构变异事件。SvABA综合利用不一致的读段对和拆分读段比对信号，同时结合局部组装方法，增强对短读序列复杂结构变异的检测能力。然而，短读序列较短的读长限制了这些工具在检测时的灵敏性，导致结果中存在大量的假阳性。[0005]三代测序，也称长读测序技术的快速发展，如PacificBiosciences(PacBio)和0xfordNanoporeTechnology(ONT)平台，能够提供更长跨度范围的比对信息，这为更全面、准确的检测结构变异提供了机会。然而，长读测序技术更高的错误率以及更长的读长也导致基于短读的结构变异检测算法无法适用，促使研究人员开发新的结构变异检测工具。[0006]现有的很多长读结构变异检测工具大多基于统计方法，例如PBSV、Sniffles2、SVIM和cuteSV等。这些结构变异检测工具沿用了基于短读序列结构变异检测工具基于比对结果中统计信息的思想。通过整合多种统计信息，并依托与长读测序的优势，实现高精度结配对末端信息等)来检测结构变异。Sniffles2基于长读序列的不一致的读段对和拆分读段比对信号生成潜在结构变异事件的候选区域，通过进一步分析和统计评估，验证候选结构变异事件的真实性。SVIM分析长读序列中的不一致的读段对和拆分读段比对，识别潜在的结构变异断点，使用概率模型评估不同结构变异类型的可能性，区分真实的结构变异与噪声信号。cuteSV兼容短读长和长读长测序数据，综合分析比对结果中的不一致的读段对、拆5分读段比对和读段深度等信号，识别不同类型的结构变异。[0007]随着深度学习技术的快速发展，涌现出了一批基于深度学习的结构变异检测工具，包括DeepSVFilter、SVision、SVcnn和cn种信号转化为二维图像，然后利用深度神经网络的强大特征提取和模式识别能力，实现对于结构变异检测的高精度检测。DeepSVFilter将比对数据中的读段深度、不一致的读段对、拆分读段比对编码为RGB图像，并采用CNN网络进行分类，可以实现对于短读结构变异结果异特征，实现对于复杂结构变异的检测。SVcnn设计了一个候选变异区域算法，根据候选区域中的CIGAR字符串和拆分读段比对信息生成特征图片，利用CNN网络实现对于长读序列结构变异类型的分类。cnnLSV融合了多个长读检测工具的检测结果，基于CIGAR字符串和拆分读段比对信息提出一种图片编码策略，采用CNN网络去除结果中的假阳性，提升检测性能。[0008]基于统计信息的方法依赖于预先定义的特征，这导致可能无法全面捕捉到数据中存在的复杂模式和潜在的非线性关系，限制了检测能力。并且该方法通常基于固定的检测模式，泛化能力较差。而基于深度学习的方法通常基于通用的CNN模型，如MobileNet、ResNet模型等进行训练，存在对于特征信号信息获取不全面的问题。另外模型的识别结果可能受数据集或者比对工具的影响，对于跨平台数据模型性能可能出现下降。发明内容[0009]基于此，有必要针对上述技术问题，提供一种能够提高基因序列结构变异检测精度的一种基于多模态融合的结构变异过滤方法、装置及设备。[0010]一种基于多模态融合的结构变异过滤方法，所述方法包括：对结构变异位点的变量信息进行编码，生成结构变异位点特征图片。[0011]计算变量信息的ESF值后，根据结构变异类型对结构变异位点特征图片与ESF值组成的图像文本对设置标签，得到带标签图像文本对。[0012]根据预设配置参数对CLIP多模态模型进行训练，得到训练好的多模态融合模型，通过训练好的多模态融合模型对预处理的结构变异数据与带标签图像文本对进行变异位[0013]一种基于多模态融合的结构变异过滤装置，所述装置包括：特征图片生成模块，用于对结构变异位点的变量信息进行编码，生成结构变异位点特征图片。[0014]多模态数据标注模块，用于计算变量信息的ESF值后，根据结构变异类型对结构变异位点特征图片与ESF值组成的图像文本对设置标签，得到带标签图像文本对。[0015]过滤模块，用于根据预设配置参数对CLIP多模态模型进行训练，得到训练好的多模态融合模型，通过训练好的多模态融合模型对预处理的结构变异数据与带标签图像文本对进行变异位点的过滤，得到过滤结果数据。[0016]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：对结构变异位点的变量信息进行编码，生成结构变异位点特征图片。6[0017]计算变量信息的ESF值后，根据结构变异类型对结构变异位点特征图片与ESF值组成的图像文本对设置标签，得到带标签图像文本对。[0018]根据预设配置参数对CLIP多模态模型进行训练，得到训练好的多模态融合模型，通过训练好的多模态融合模型对预处理的结构变异数据与带标签图像文本对进行变异位[0019]上述基于多模态融合的结构变异过滤方法、装置及设备，通过对结构变异位点变量信息编码生成特征图片，将其转化为二维特征图片，突破了传统固定特征模式的束缚，以可视化、结构化的方式呈现数据中的复杂关系和潜在模式，相较于单纯依赖预先定义的特片组成图像文本对，通过这种多模态数据组合，从不同维度刻画结构变异位点，弥补了基于深度学习的通用CNN模型在特征信号获取上的不足。此外，根据结构变异类型对图像文本对设置标签，结合预处理的结构变异数据，利用训练好的CLIP多模态模型构建多模态融合模型，进而利用训练好的多模态融合模型进行变异位点过滤，显著增强了模型对不同数据的适应性和鲁棒性，实现了基因序列高精度结构变异识别，降低假阳性结果，提升检测精度且能与现有检测工具集成。附图说明[0020]图1为一个实施例中基于多模态融合的结构变异过滤方法的流程示意图；图2为一个实施例中基于多模态技术并融合结构变异特征图片信息和ESF值实现基因序列的结构变异识别与过滤的流程示意图；图3为一个实施例中基于多模态融合的结构变异过滤装置的结构框图；图4为一个实施例中计算机设备的内部结构图。具体实施方式[0021]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。[0022]在一个实施例中，如图1所示，提供了一种基于多模态融合的结构变异过滤方法，包括以下步骤：步骤102,对结构变异位点的变量信息进行编码，生成结构变异位点特征图片。[0023]步骤104,计算变量信息的ESF值后，根据结构变异类型对结构变异位点特征图片与ESF值组成的图像文本对设置标签，得到带标签图像文本对。[0024]步骤106,根据预设配置参数对CLIP多模态模型进行训练，得到训练好的多模态融合模型，通过训练好的多模态融合模型对预处理的结构变异数据与带标签图像文本对进行变异位点的过滤，得到过滤结果数据。[0025]上述基于多模态融合的结构变异过滤方法中，通过对结构变异位点变量信息编码生成特征图片，将其转化为二维特征图片，突破了传统固定特征模式的束缚，以可视化、结构化的方式呈现数据中的复杂关系和潜在模式，相较于单纯依赖预先定义的特征，能更全7文本对，通过这种多模态数据组合，从不同维度刻画结构变异位点，弥补了基于深度学习的通用CNN模型在特征信号获取上的不足。此外，根据结构变异类型对图像文本对设置标签，结合预处理的结构变异数据，利用训练好的CLIP多模态模型构建多模态融合模型，进而利用训练好的多模态融合模型进行变异位点过滤，显著增强了模型对不同数据的适应性和鲁棒性，实现了基因序列高精度结构变异识别，降低假阳性结果，提升检测精度，且能与现有检测工具集成。[0026]在其中一个实施例中，提取比对文件中结构变异位点的深度信息，根据深度信息记录每个染色体所在位置的覆盖深度；以及对比对文件的读段序列进行预处理，得到预处理信息。将覆盖深度与预处理信息作为每个结构变异位点的变量信息，根据变量信息生成结构变异位点特征图片。结构变异位点特征图片中每个像素点的高度等于变量信息中变量的值。[0027]在其中一个实施例中，计算变量信息中预处理信息的ESF值，检查结构变异位点特征图片与ESF值的总数量与结构变异位点的总数量是否一致，若一致，则根据结构变异类型对结构变异位点特征图片组成的图像文本对设置标签，得到带标签图像文本对。否则，重新获取变量信息生成结构变异位点特征图片。[0028]在其中一个实施例中，根据预设配置参数、标准图片数据以及标准文本数据对CLIP多模态模型进行训练，得到训练好的多模态融合模型。[0029]在其中一个实施例中，通过对结构变异数据的结构变异位点的变量信息进行编[0030]在其中一个实施例中，通过训练好的多模态融合模型在每个待处理变异位点对预处理的结构变异数据与所述带标签图像文本对分别对应的特征图片与ESF值进行分类，得到模型分类结果，根据模型分类结果过滤结构变异数据的假阳性结果，得到过滤结果数据。[0031]在其中一个实施例中，在结构变异数据中保留与模型分类结果一致的条目，删除或者修改与模型分类结果不一致的条目，得到过滤结果数据。[0032]在其中一个实施例中，如图2所示，提供一种基于多模态技术并融合结构变异特征图片信息和ESF值实现基因序列的结构变异识别与过滤步骤，基于多模态技术，融合结构变异特征图片信息和ESF(EmbeddingSequenceFeature,堆叠序列特征)文本信息实现基因序列的结构变异识别与过滤。(Delete,删除)和S(Softclipping,软剪切)字符串信息生成特征图片，并融合CIGAR信号均方根值、调和平均值、均值、标准差和变异系数),采用多模态模型CLIP进行训练，实现基因序列的结构变异识别，并过滤掉结构变异结果文件(VCF格式，VariantCallFormat)中步骤1:获取原始数据文件，对数据文件进行预处理；步骤1.2:比对文件预处理：序列比对文件预处理；步骤2:基于结构变异位点对数据文件进行预处理；8步骤2.1:变异位点信息获取：遍历结构变异结果文件，获取染色体变异位点信息；步骤2.2:比对信息预处理：根据变异位点对比对信息进行预处理；步骤2.2.1:申请变量空间all_img、all_img_mids、all_list用于存储统计信息图步骤2.2.2:为三种统计信息：左分裂读段、右分裂读段和读段深度申请内存空间split_read_left、split_read_right步骤2.2.3:为四种CIGAR信号Match、Insert、Delete和SoftClipping申请内存空步骤2.2.4:载入染色体深度信息文件，记录每个结构变异位置的读段序列覆盖深步骤2.3:reads筛选；步骤2.3.1:遍历比对结果文件中的读段序列，判断并统计左侧(softclipped)和右侧(softclipped)的读段，将结果存入变量split_read_left和split_readClipping信号出现的数量，存入变量conjugate_m、conjugate_i、conjugate_d和步骤3:基于预处理信息进行结构变异位点特征图片编码并计算ESF值；步骤3.1:初始化图片：预处理信息初始化；步骤3.1.1:申请变量args_list用于存储生成的图片索引、起始和结束位置；步骤3.1.2:根据不同结构变异类型为其准备变量；步骤3.1.3:统计不同结构变异类型对应的数量；步骤3.2:特征图片生成：根据不同的变异类型以及数量生成特征图片；步骤3.2.1:载入变量split_read_left、split_read_right、rd_count、步骤3.2.2:计算每张图片的维度的最小值；步骤3.2.3:定义图像高度为每个维度的最大值减去最小值加2;步骤3.2.4:初始图像(长度等于每个维度的长度，高度为上述定义的图像高度)填充0;步骤3.2.5:根据变量信息，生成初始图像，图像的长度为变异区域的长度，每个像素点的高度等于变量的值；步骤3.2.5.1:获取变量信息中每个维度长度，将该长度作为图像像素点的横坐步骤3.2.5.2:根据变量信息中每个位点的值计算与最小值的差值，该差值作为图片每个位置对应的纵坐标；步骤3.2.5.3:遍历每个位点，计算所有位点的值，生成初始图像；步骤3.2.6:将图像进行变换，尺寸调整为244×244;步骤3.2.7:将生成的统计信息图片存入all_img.pt文件中，生成的CIGAR信号图片存入all_img_mids文件中；9步骤3.3.1:为ESF变量申请内存空间conjugate_esf_list;步骤3.3.2:载入变量conjugate_m、conjugate_i、conjugate_d和conjugate_s;步骤3.3.3:根据每个变量计算四种CIGAR信号的长度，并计算其最小值，第一四分结果存入变量conjugate_esf_list;步骤3.3.4:生成完毕：将变量conjugate_esf_list结果存入all_list.pt文件中；步骤3.4:生成完毕：检查特征图片与ESF值数量是否与变异位点数量一致，如果数量不一致则返回步骤3.2,如果一致则进入步骤4;步骤4:根据结构变异类型对相应的特征图片设置标签；步骤4.1:新建图片存储文件夹：为每种结构变异类型建立文件夹；步骤4.2:设置生成图片/ESF训练标签：遍历每张图片，根据args_list中的索引和变异类型为其打上结构变异类型标签，供后期模型训练使用；步骤4.3:相关文件存入文件夹：将打好标签的图片按照变异类型存入对应变异类型的文件夹中；步骤5:采用CLIP多模态模型进行训练，得到训练好的模型；步骤5.1:配置模型参数：配置模型训练参数；步骤5.2.1:设置随机数生成器种子；步骤5.2.2:将训练列表的元素根据随机数生成器种子顺序随机打乱；步骤5.2.3:随机选取80%的数据作为训练数据，20%的数据作为验证和测试数据；步骤5.3:载入CLIP模型训练；步骤5.4:保存训练好的模型；步骤6:处理待过滤VCF生成特征图片/ESF:获取待处理的结构变异结果，依据结构变异位点生成特征图片并计算ESF值；步骤6.1:采用与步骤1.2同样的方式处理待处理的结构变异VCF文件；步骤6.3:采用与步骤2同样的方式对数据文件进行预处理；步骤6.4:采用与步骤3同样的方式生成特征图片并计算ESF值；步骤7:模型结果分类写入过滤结果：使用训练好的模型进行过滤，得到过滤后的VCF文件；步骤7.1:载入训练好的模型对每个待处理变异位点的图片和ESF进行分类；步骤7.1.1:载入训练好的模型，并设置模型参数；步骤7.1.2:使用模型对待处理变异位点的图片和ESF进行分类；步骤7.1.3:根据模型分类结果保留与模型分类结果一致的条目，删除/修改不一致的条目；步骤7.2:将过滤后的结果写入VCF文件中。[0034]值得说明的是，基于多模态技术，融合结构变异特征图片信息和ESF文本信息，并采用CLIP模型进行训练，适用于第二代和第三代测序，实现基因序列高精度结构变异识别，并能与现有结构变异检测工具集成，显著降低假阳性结果。[0035]应该理解的是，虽然图1-图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。[0036]在一个实施例中，如图3所示，提供了一种基于多模态融合的结构变异过滤装置，包括：特征图片生成模块302、多模态数据标注模块304和过滤模块306,其中：特征图片生成模块302,用于对结构变异位点的变量信息进行编码，生成结构变异位点特征图片。[0037]多模态数据标注模块304,用于计算变量信息的ESF值后，根据结构变异类型对结构变异位点特征图片与ESF值组成的图像文本对设置标签，得到带标签图像文本对。[0038]过滤模块306,用于根据预设配置参数对CLIP多模态模型进行训练，得到训练好的多模态融合模型，通过训练好的多模态融合模型对预处理的结构变异数据与带标签图像文本对进行变异位点的过滤，得到过滤结果数据。[0039]关于基于多模态融合的结构变异过滤装置的具体限定可以参见上文中对于基于多模态融合的结构变异过滤方法的限定，在此不再赘述。上述基于多模态融合的结构变异过滤装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。[0040]在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于多模态融合的结构变异过滤方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可[0041]本领域技术人员可以理解，图3-图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布[0042]在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处