CN114708461B 基于多模态学习模型的分类方法、装置、设备及存储介质 （平安科技（深圳）有限公司）

道福安社区益田路5033号平安金融中将所述图像特征和文本特征集映射在预构建的特征融合模型的维度空间中，得到特征融合空向量输入预先训练完成的分类模型中执行分类2在预构建的特征融合模型的维度空间中确定所述图像特征的全连接层分别计算所述特征融合空间内图像特征与每个文本特征的融将所述融合特征向量输入预先训练完成的分类模型中执行分类操理图像的目标类别。利用预构建的基于DenseNet算法的卷积神经网络模型对所述标准化图像进行卷积池根据所述分类标签得到所述待处理图像的目标类3特征融合模块，用于在预构建的特征融合模型的维度空间分类模块，用于将所述融合特征向量输入预先训练完成的分类模型中执行分类操作，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述器执行时实现如权利要求1至6中任意一项所述的基于多模态学4[0001]本发明涉及人工智能技术领域，尤其涉及一种基于多模态学习模型的分类方法、[0002]传统的图像处理，往往仅仅利用图像中较为凸显的图像特征进行一系列业务操特征融合空间，并分别计算所述特征融合空间内图像特征与每个文本特征的融合特征向述待处理图像的目标类别。[0011]利用预构建的基于DenseNet算法的卷积神经网络模型对所述标准化图像进行卷5[0025]可通过下述公式计算所述特征融合空间内图像特征与每个文本特征的融合特征[0028]可选地，所述将所述融合特征向量输入预先训练完成的分类模型中执行分类操6[0044]图3为本发明一实施例提供的实现所述基于多模态学习模型的分类方法的电子设服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery[0048]参照图1所示，为本发明一实施例提供的基于多模态学习模型的分类方法的流程7于bert网络的词向量转化模型将从待处理图像中提取到的文字转[0077]本发明实施例可通过下述公式计算所述特征融合空间内图像特征与每个文本特8[0082]详细地，所述将所述融合特征向量输入预先训练完成的分类模型中执行分类操理图像的目标类别。[0086]如图2所示，是本发明一实施例提供的基于多模态学习模型的分类装置的功能模[0087]本发明所述基于多模态学习模型的分类装置100可以安装于电子设备中。根据实[0089]所述特征获取模块101，用于获取待处理图像，并提取所述待处理图像的图像特9于bert网络的词向量转化模型将从待处理图像中提取到的文字转[0109]所述特征融合模块102，用于将所述图像特征和文本特征集映射在预构建的特征[0116]本发明实施例可通过下述公式计算所述特征融合空间内图像特征与每个文本特[0119]所述分类模块103，用于将所述融合特征向量输入预先训练完成的分类模型中执[0121]详细地，所述将所述融合特征向量输入预先训练完成的分类模型中执行分类操理图像的目标类别。[0125]如图3所示，是本发明一实施例提供的实现基于多模态学习模型的分类方法的电处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control[0128]所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。[0129]所述通信总线12可以是外设部件互连标准(peripheralcomponentinterconnect，简称PCI)总线或扩展工业标准结构(extendedindustrystandard总线被设置为实现所述存储器11以及至少一个处理器1接口。可选地，所述网络接口可以包括有线接口和[0134]所述电子设备1中的所述存储器11存储的基于多模态学习模型的分类程序是多个特征融合空间，并分别计算所述特征融合空间内图像特征与每个文本特征的融合特征向[0141]本发明还提供一种计算机可读存储介质，所述可读存储