CN119478445A 一种多模态数据的生成方法、装置及存储介质 （山东极视角科技股份有限公司）

质练效果。获取预训练多模态模型的多模态数据块并根据标签信息在图像数据素材上确定若干一个特征区域进行特征增强处理，生成标签特2获取预训练多模态模型的多模态数据集，所述多模态数据集根据所述多模态数据集的标注信息获取所述文字数据和所述音频根据所述标签信息从图像数据集提取出若干图像数据素材，将所述图像数据素材输入卷积神经网络模型中，通过标签特征增根据所述标签信息之间的层级参数对每一个特征区域进行特征通过正态分布采样为所述标签特征生成若干组通过编码器将若干组所述正态分布参数和对应的标签信息进行重构，生成在根据所述标签信息之间的层级参数对每一个特征区域进行在将所述标签特征输入噪声网络，通过所述噪声网络向所述标签特征添加预设噪声，根据所述标签信息和图像数据库为所述图像数据素材生成若干个根据所述标签特征、所述标签信息特征和优先级参数进行选择强在根据所述标签特征、所述标签信息特征和优先级参数进增强的标签特征之后，通过正态分布采样为所述标签特征生成若干组正态分布参数之前，根据当前的标签特征中不同特征区域的特征区域面积和层级参数生成根据所述层级补偿值对标签特征对应的特征区域3对所述图像数据素材中每一个特征区域的像素点进行注意力计算，生成注意力值数根据所述特征区域和所述层级参数对所述注意力值数据进行注意将所述注意力值数据和所述图像数据素材的若干个特征区域按通6.根据权利要求1至5中任一项所述的生成方法，将所述图像数据进行数据标注后保存到多模态第一获取单元，用于获取预训练多模态模型的多模态数第二获取单元，用于根据所述多模态数据集的标注信息获提取单元，用于根据所述标签信息从图像数据集提取出若干图像数据素确定单元，用于将所述图像数据素材输入卷积神经网络模型中，第一生成单元，用于根据所述标签信息之间的层级参数对每第三生成单元，用于通过编码器将若干组所述正态分布参4特定特征进行研究，这时需要使用特定层级以及特定特征的数据进行多模态模型的训练。征的图像数据数量少，现有的多模态数据生成技术只能针对整张图的特征进行整体重构，根据多模态数据集的标注信息获取文字数据和音频5根据标签信息和图像数据库为图像数据素材生成若干个根据当前的标签特征中不同特征区域的特征区域面积和层级参数生成层级补偿根据层级补偿值对标签特征对应的特征区域对图像数据素材中每一个特征区域的像素点进行注意力计算，生成注意力值数根据特征区域和层级参数对注意力值数据进行注意[0011]可选的，在根据标签信息之间的层级参数对每一个特征6对图像数据素材中每一个特征区域的像素点进行注意力计算，生成注意力值数根据特征区域和层级参数对注意力值数据进行注意78特定特征进行研究，这时需要使用特定层级以及特定特征的数据进行多模态模型的训练。征的图像数据数量少，现有的多模态数据生成技术只能针对整张图的特征进行整体重构，中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施9合）能够使得从图像数据库中提取出符合文字数据和音频数据细粒度的特定图像。本实施例中的图像数据库是指生物类的图像数据库（图像数据集收纳了不同生物的图像信息，并且在收录时也进行了标注的生成或者标签的生成，即图像数据库中的每一张图像都有对频数据和文本数据的标签信息能够从图像数据库中采集到标签接近的图像，例如：根据音[0043]但是图像数据库中不同生物或是不同生物特征的图像的数量不一定满多模态模签信息在图像数据素材上确定若干个特征区域，卷积神经网络模型包括标签特征增强模401、根据当前的标签特征中不同特征区域的特征区域面积和层级参数生成层级[0066]本实施例中，终端先对图像数据素材中每一个特征区域的像素点进行注意力计[0073]接下来，终端将注意力值数据和图像数据素材的若干个特征区域按通道对应相[0076]请参阅图7，本申请提供了一种训练预训练多模态模型的方法的一个实施例，包第二获取单元802，用于根据多模态数据集的标注信息获取文字数据和音频数据第一生成单元805，用于根据标签信息之间的层级参数对每一个特征区域进行特对图像数据素材中每一个特征区域的像素点进行注意力计算，生成注意力值数根据特征区域和层级参数对注意力值数据进行注意第四生成单元807，用于根据标签信息和图像数据库为图像数据素材生成若干个第六生成单元810，用于根据当前的标签特征中不同特征区域的特征区域面积和第三生成单元814，用于通过编码器将若干组正态分布参数和对应的标签信息进[0088]所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，read_only