CN118537705B 一种使用多模态模型进行齿轮图像精准识别的方法及系统 （北京航空航天大学）

一种使用多模态模型进行齿轮图像精准识本发明公开了一种使用多模态模型进行齿ResNet和Llama2的多模态Transformer模型实现数据采集和预处理；从各类开源的零件图库和/或零件标准文件中收集图像数据和文本数据，2步骤S100：数据采集和预处理；从各类开源的零件并应用hardnegativemining方步骤S400：高级融合策略；通过向量拼接将图像的特要求但标签不同的样本对；对于两个特征向量xa和xz，欧几里得距离的计算公式为：,其中分别是两个特征向量在第个维度上的取步骤S101：收集齿轮图像数据；从各类开源的零件3步骤S401：融合向量特征融合；通过向量拼接将图像首先，定义自注意力模块，自注意力允许模型在序列中不同随后，构建以自注意力为核心的Transformer模块；包含12个TraTransformer模块包含一个多头自注48.一种使用多模态模型进行齿轮图像精准识别的数据整合与优化模块：从多种来源收集齿轮图像数据和文本数动态样本调度模块：通过知识图谱整合正负样本对，并应用hard多模态架构设计模块：建立了包含两个分支的框架：一个高级特征融合模块：通过向量拼接将图像特征和文本嵌入向深度训练与性能评估模块：通过对比学习方法，结合三元5类型的齿轮仅从图像上难以精确区分，亟需研发具有高精度识别功能的齿轮图像识别方技术结合了图像处理和文本信息处理，通过深度学习模型实现多模态特征的融合与建模，[0004]为实现上述目的，本发明提供一种使用多模态模型进行齿轮图像精准识别的方所述图像处理分支使用ResNet模型进行图像嵌入和模型训练；所述文本处理分支使用LlaMa2模型获取文本嵌入并进行深层6齿轮的专有术语和关键描述)，以及尺寸数据和工艺信息(描述齿轮的具体尺寸和制造工71i和x2i分别是两个特征向量在第i个维个Transformer模块包含一个多头自注意力机[0043]动态样本调度模块：通过知识图谱整合正负样本对，并应用hardnegative8[0051]图3示出了根据本发明的多模态Transformer模型对图像和文本特征向量进行高术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、[0056]本发明提供了一种融合ResNet和Llama2的多模态Transformer模型用于齿轮图像[0057]本发明展示了一种结合ResNet和Llama2技术的多模态Transformer模型，这种模[0059]这两种技术的数据输入到多模态Transformer模型中，模型通过一个创新的融合9[0060]根据本发明的使用多模态模型进行齿轮图像精准识别的系统，包括以下5个功能[0062]动态样本调度模块：通过知识图谱整合正负样本对，并应用hardnegative机制和人工筛查选择最准确和最全面的答案。样本之间的区分能力，并最终增强模型的泛化性能和准确度，具体包括以下步骤S201，(涵盖齿轮的专有术语和关键描述)，以及尺寸数据[0092]步骤S403：设计多模态Transformer模型；首先，定义自注意力模块，该模块是Transformer架构的基础。自注意力允许模型在序列中不同位置的特征间分配不同的注意评估将决定是否需要增加层数来捕获更复杂的数据结[0097]整个多模态Transformer模型的设计兼顾了效率与准确性，从而为齿轮图像的精心是建立从简单到复杂的训练序列，确保模型在识别齿轮图像时的逐步学习和泛化能力。围内能够帮助模型在保持足够识别正样本的同时，也能有效识别并排除错误的齿轮类型，策略是采用结合了三元组损失和对比性损失[0107]三元组损失函数关注于一个锚点样本，一个正样本和一个负样本之间的相对距[0115]这种复合损失函数允许模型在多模态空间中同时学习到样本之间的绝对和相对ofpositivetonegativesamples)。训练期间，模型采用多模态融合策略(multimodal一化折损累计增益(NDCG)、对比损失(contrastivelos[0134]利用评估之后确定的最佳的模型，实现对测试集中的齿轮图像进行精准识别任[0137]在规范化过程中将图像调整至统一的224x224像素，然后使用公式来处理图像数机制和人工筛查选择最准确和最全面的答案。以下表格2展示了调整prompt生成文本描述分支。图像处理分支使用ResNet模型提取图像特征，并进行规范化。文本处理分支使用[0158]其中，V是融合后的多模态特征向量，Vimage代表从齿轮图像中提取的特征向量，[0172]集成视觉和语言模型的多模态融合架构：本发明通过集成前沿的视觉和语言模[0174]高质量样本生成与递进式训练策略：本发明利用知识图谱和hardnegative