CN114021646B 一种图像描述文本确定方法及其相关设备 （北京有竹居网络技术有限公司）

本申请公开了一种图像描述文本确定方法数据和该待理解图像的参考信息表征数据；然本生成处理，得到该待理解图像的图像描述文2在获取到待理解图像之后，对所述待理解图像进行视觉特征提根据所述视觉特征，分别确定所述待理解图像的视觉信息表对所述视觉信息表征数据和所述参考信息表征数据进行融合处理，得对所述图像信息表征数据进行文本生成处理，得到所述待理解图像的图像描述文本，将所述视觉特征输入预先构建的分类表征模型，得到所述分类表征将所述视觉特征输入预先构建的目标检测表征模型，得到所述目将所述视觉特征输入预先构建的分割表征模型，得到所述分割表征将所述视觉特征输入预先构建的视觉信息表征模型，得到所述视将所述图像信息表征数据输入预先构建的文本生成模型，得到所将所述样本图像输入待训练模型，得到所述待训练模型输出的所述3根据所述样本图像的预测描述文本和所述样本图像的实对所述样本图像的待使用标签进行文本转换处理，得到所述样本图像的实际描述文所述标签信息包括多个参考标签，所述多个参考标签包括图像分类标签对各个所述参考标签分别进行文本转换处理，得到各个所述参考标签所述标签信息包括图像描述文本标签和至少一个参考标签，所述对各个所述参考标签分别进行文本转换处理，得到各个所述参考标签按照所述待使用标签对应的文本转换规则，对所述样本图像的待使用标签进将所述样本图像和所述样本图像的标签类型表征数据输入待训练模4确定单元，用于根据所述视觉特征，分别确定所述待理解图像所述待理解图像的参考信息表征数据，所述参考信息表征数据包括图像分类结果表征数融合单元，用于对所述视觉信息表征数据和所生成单元，用于对所述图像信息表征数据进行文本生成处像目标检测标签和图像分割标签中的部分或者全部，所述图像描述文本标签所属的类型、所述处理器用于根据所述计算机程序执行权利要求1-11中任一项得所述终端设备执行权利要求1-11中任5[0004]为了解决上述技术问题，本申请提供了一种图像描述文本确定方法及其相关设[0011]在一种可能的实施方式中，所述参考信息表征数据包括图像分类结果表征数据、输出的所述待理解图像的图像目标检测结果6[0031]对各个所述参考标签分别进行文本转换处理，得到各个所述参考标签的描述文[0033]对各个所述参考标签分别进行文本转换处理，得到各个所述参考标签的描述文[0034]在一种可能的实施方式中，所述对所述样本图像的待使用标签进行文本转换处7表征层的输出数据；所述参考信息表征层的输入数据包括所述视觉特征提取层的输出数[0047]融合单元，用于对所述视觉信息表征数据和所述参考信息表征数据进行融合处[0051]所述处理器用于根据所述计算机程序执行本申请实施例提供的图像描述文本确8表征数据和该参考信息表征数据进行融合处理，得到该待理解图像的图像信息表征数据；9表征模型输出的该待理解图像的图像分类结以利用现有的或者未来出现的任意一个图像分类模型中除了分类结果输出层(也就是，该表征模型输出的该待理解图像的图像分割结以利用现有的或者未来出现的任意一个图像分割模型中除了分割结果输出层(也就是，该Y12”用于描述大海在图1所示的图像数据中的实际Y34Y12233445Y78899Y12233445X10[0133]基于上述情况2的相关内容可知，当样本图像的标签信息只包括该样本图像的图确定过程的任一实施方式进行实施，只需将上文情况2所示的“样本图像的实际描述文本”图像的实际描述文本，以使该实际描述文本能够以文字描述的方式说明该样本图像的R个确定过程的任一实施方式进行实施，只需将上文情况2所示的“样本图像的实际描述文本”文字描述的方式说明该样本图像的T个参考标签以及图像描述文按照预先设定的文本生成模板从这些标签数据的描述文本以及该图像描述文本标签中提训练模型600具体可以包括：视觉特征提取层601、视觉信息表征层602、参考信息表征层数据；融合层604的输入数据包括参考信息表征层603的输出数据和视觉信息表征层602的表征层602的输入数据包括视觉特征提取层601的[0150]视觉特征提取层601用于针对一个图像数据进行视觉特征提取处理；而且本申请可以包括图像特征提取层(ImageFeatureExtractor)和视觉编码层(Visual[0151]需要说明的是，图像特征提取层用于针对一个图像数据进行图像特征提取处理；征提取模型”的模型结构进行实施。视觉编码层用于针对该视觉编码层的输入数据进行视[0152]视觉信息表征层602用于针对该视觉信息表征层602的输入数据进行视觉信息表[0153]参考信息表征层603用于针对该参考信息表征层603的输入数据进行参考信息表息表征层603的输入数据”)进行图像目标检测结果表征处理；而且本申请实施例不限定该层”针对视觉编码层的输出数据进行图像分割结果表征处理得到的图像分割结果表征数络针对一个图像数据进行图像说明文字提取处理，得到并输出该图像数据的图像描述文用GPT进行实施时，可以先根据样本图像的标签信息，确定该样本图像的标签类型表征数据；再由该GPT以该标签类型表征数据以及该样本图像的图像信息表征数据作为参考条件[0186]融合单元803，用于对所述视觉信息表征数据和所述参考信息表征数据进行融合[0188]在一种可能的实施方式中，所述参考信息表征数据包括图像分类结果表征数据、所述目标检测表征模型输出的所述待理解图像的图像目标检测结果表所述视觉信息表征模型输出的所述待理解图像的视觉信息表征层的输出数据；所述参考信息表征层的输入数据包括所述视觉特征提取层的输出数像的标签类型表征数据是根据所述样本图像的标[0211]基于上述图像描述文本确定装置800的相关内容可知，对于图像描述文本确定装[0215]所述处理器用于根据所述计