CN115203375B 图文跨模态模型的数据增强方法、装置、设备及存储介质 （平安科技（深圳）有限公司）

道福安社区益田路5033号平安金融中US2021232620A1,2021.07.292获取图文跨模态模型的训练数据集，其中，所述训练数据集对所述训练数据集中的图像数据集按业务场景进行分类，得到图像类将所述第一图像增强数据集按照预设规则分为多个初步图像增强数个初步图像增强数据子集选取一组四张图像，对所述四张图像进行马赛克数据增强处理，从所述训练数据集中的文本数据集中选取预设数量的文本数据，对所其中，所述对所述预设数量的文本数据进行回译及语句原始语言文本数据、所述预设数量的第一预处理文本数据及所述多个第二预处理文本数基于所述图像类别，从预设算法库中择选择图像增强处理算法，对随机改变所述平滑灰度化图像集的亮度、对比度、饱和度根据所述图像类别，从预设算法库中择选择灰度化算法对所述图根据所述图像类别，从预设算法库中择选择锐化算法，对所述初根据预设规则，对所述灰度化图像集中灰度化图像的不同位置的像素赋予不同的权3在预设区域内随机选择拼接中心坐标，根据所述拼接中心提取所述训练数据集中的图像数据集的特征向量将所述特征向量集与预设业务场景库中的业务场景图片集进行匹配，从所述匹配相似度集中选择满足相似度阈值的匹配相似度，将所述7.一种图文跨模态模型的数据增强装置，用文本数据增强处理模块，用于从所述训练数据集中的文本所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述器执行时实现如权利要求1至6中任意一项所述的图文跨模态模4[0001]本发明涉及人工智能技术领域，尤其涉及一种图文跨模态模型的数据增强方法、答(VAR)任务中至关重要的技术手段，图文跨模态预训练模型的学习过程中需要大量的图于海量数据会导致模型识别效率低；对于图文跨模态双塔模型针对图像进行单点数据增[0004]本发明提供一种图文跨模态模型的数据增强方法、装置[0011]利用预设机器翻译模型，将所述预设数量的文本数据翻再将所述第一语言的文本数据翻译为原始语言5[0029]当所述四张随机缩放图像没有填充满所述预设区域时，6[0036]图像增强处理模块，用于对所述训练数据集中的图像数据集按业务场景进行分像增强数据集；将所述第一图像增强数据集按照预设规则分为多个初步图像增强数据子强数据集。所述图文跨模态双塔模型的泛化能力。因此本发明提出的图文跨模态模型的数据增强方[0045]图2为图1所示图文跨模态模型的数据增强方法中其中一个步骤的详细实施流程7[0046]图3为图1所示图文跨模态模型的数据增强方法中其中另一个步骤的详细实施流[0048]图5为本发明一实施例提供的实现所述图文跨模态模型的数据增强方法的电子设服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery[0052]参照图1所示，为本发明一实施例提供的图文跨模态模型的数据增强方法的流程[0054]本发明实施例中，所述图文跨模态模型可以为CLIP(ContrastiveLanguage–89[0082]S3、将所述第一图像增强数据集按照预设规则分为多个[0088]当所述四张随机缩放图像没有填充满所述预设区域时，据，例如所述原始语言文本数据为“threeyoungmenandayoungwomanwearingyoungwomanwearingsneakersareleapingininmidairmidairattheto所述图文跨模态双塔模型的泛化能力。因此本发明提出的图文跨模态模型的数据增强方[0102]如图4所示，是本发明一实施例提供的图文跨模态模型的数据增强装置的功能模[0103]本发明所述图文跨模态模型的数据增强装置100可以安装于电子设备中。根据实[0106]所述图像增强处理模块102，用于对所述训练数据集中的图像数据集按业务场景[0107]所述文本数据增强处理模块103，用于从所述训练数据集中的文本数据集中选取[0108]详细地，本发明实施例中所述图文跨模态模型的数据增强装置100中所述的各模块在使用时采用与上述图1至图3中所述的图文跨模态模型的数据增强方法一样的技术手[0109]如图5所示，是本发明一实施例提供的实现图文跨模态模型的数据增强方法的电处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control[0112]所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。[0113]所述通信总线12可以是外设部件互连标准(PeripheralComponentInterconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandard总线被设置为实现所述存储器11以及至少一个处理器10等之间接口。可选地，所述网络接口可以包括有线接口[0118]所述电子设备1中的所述存储器11存储的图文跨模态模型的数据增强程序是多个[0125]本发明还提供一种计算机可读存储介质，