CN116433969B 一种零样本图像识别方法、系统及可存储介质 （安徽大学）

质同一个可见类别的所有图像做均值操作以获得类之间的语义属性关系来获得不可见类的视觉以及类别之间的语义关系获得所有类的视觉原2S5、利用类视觉原型之间的关系构建一个视觉原型利用GloVe模型获取每个类的属性的词向量表示a,eR300，将该类所有属性的词向量表示堆叠为一个矩阵TeRlAlx300,Al表示类属性的个数，再和该类语义向量相乘获得首先，通过卷积操作学习得到K个掩码块MxeRWXH：Z相乘得到图像的K个区域块：3述中每张图像的鉴别性视觉特征后，对属于同一个可见类别的所有图像做一个均值操作见类和不可见类的属性向量之间的余弦相似度获得可见类和不可见类之间的关系矩阵：通过迁移可见类和不可见类之间的语义关系来获得不可见类的视觉原型;即根据可见。的邻接矩阵B和所有节点的初始化表示堆叠成的矩阵E输入到编码器中进行节点信息的传型图上更新后的嵌入向量组成的矩阵ueR(c"+c")xd，其中uyeRd表示节点i的嵌入表4将上述得到的潜在表示矩阵输入到解码器，解码器通过嵌入向量的内积来重构邻接构造重构损失来最小化经节点向量表示重构出的邻接矩阵与原始邻接矩阵之间的差。空间之后，将可见类图像经过注意力机制提取的视觉N表示可见类样本的个将上述重构损失和分类损失相加获得整体的损失函数，通过梯度反。8.一种采用如权利要求1至7中任一项所述零样本图像识别方法的系统，其特征在于，5可见类的视觉原型提取模块：对属于同一个可见类别的所有图像不可见类的视觉原型提取模块：通过迁移可见类和不可见类之间视觉原型图的节点初始化模块：利用类视觉原型之间潜在空间获取模块：通过设计编码器进行节点信息的传播和聚合以获得一得所述处理器执行如权利要求1至7中任一项所述零样本图像识别6码器零样本图像识别方法。该方法首先将通过卷积神经网络提取到的图像特征通过VAE编[0004]公开号为CN113505701A的发明专利申请中的方法使用从知识图谱中获取到的知7[0011]S4、通过迁移可见类和不可见类之间的语义属性关系来获得不可见类的视觉原[0023]R(z)=z&Reshape(MX),k=1,2,..,k度获得可见类和不可见类之间的关系矩阵seRC"xc":8u代表不可见类的个数；可见类和不可见类之间的语义关系矩阵获得不可见类的视觉原型矩阵[0043]具体为，编码器利用图卷积神经网络在构建好的视觉原型图G上进行信息聚合和[0046]将上述得到的潜在表示矩阵U输入到解码器，解码器通过嵌入向量的内积来重构Lrec=IIB-B⃞9[0067]视觉原型图的节点初始化模块：利用类视觉原型之间的关系构建一个视觉原型数据集SUNAttribute(SUN)以及APascalandYahoo(aPY[0090]S4、通过迁移可见类和不可见类之间的语义属性关系来获得不可见类的视觉原[0095]本实施例通过注意力机制以及类别之间的语义关系获得[0097]不同于公开号为CN113505701A的发明专利申请中的方法仅使用预先训练好的网络提取图像特征，本实施例提出的通过一个注意力机制获得可见类图像的鉴别性视觉特征，以去除一些背景等类无关信息，使得视觉表征更具鉴别性。同时不同于公开号为CN113505701A的发明专利申请中的使用知识图谱进行构图，本实施例通过利用所有类别[0105]R(z)=z&Reshape(MX),k=1,2,..,k[0111]在一具体的实例中，在步骤S3中，在获取到上述中每张图像的鉴别性视觉特征v余弦相似度获得可见类和不可见类之间的关系矩阵seRC"xc":u代表不可见类的个数；[0128]具体为，编码器利用图卷积神经网络在构建好的视觉原型图G上进行信息聚合和[0131]将上述得到的潜在表示矩阵U输入到解码器，解码器通过嵌入向量的内积来重构将不可见类与k个最近的可见类连接起来以获得不可见类的嵌入表示。KG_VAE将类别语义更新后编码生成新的语义向量。我们提出的方法利用类别的视觉原型之间的关系进行建助于提高分类精度的，如对比于公开号为CN113505701A的发明专利申请中的KG_VAE方法，[0160]视觉原型图的节点初始化模块：利用类视觉原型之间的关系构建一个视觉原型[0164]本实施例的零样本图像识别系统与上述零样本图像识别方法相对于现有技术所(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)