CN117726808B 一种模型生成方法、图像处理方法及相关设备 （书行科技(北京)有限公司）

备法及相关设备，通过基于预训练的视觉语言模初始提示特征用于与预设类别组合形成自然语得到第一目标提示特征；基于第一目标提示特2基于预设的多个可学习的第一初始提示特征、各预设类别的类别提示特征用于与预设类别组合形成自然语言的基于所述第一训练样本的所述预测分割掩码和所述真实分割基于所述第一目标提示特征，生成零样本语义分割模型；所述括基于第一目标提示特征和各类别特征生成所述基于预设的多个可学习的第一初始提示特征、各预设类别将每个所述第一初始提示特征与各所述预设类别的类别特征拼接，得到多个分割特将第一训练样本的特征图像分别输入每个被赋予分割特征作为参数的预设卷积核中针对每一所述第一初始提示特征，根据所述第一初始提示基于预设的可学习的第二初始提示特征、各所述类别特征，始提示特征用于表征每个图像中各所述预设基于所述第一分割掩码与每个所述预设类别出现的概率，得到所根据所述第一训练样本的所述真实分割掩码和所述预测分割掩码基于所述分割损失函数和所述分类损失函数，对所将所述第二初始提示特征分别与各所述预设类别的类别特征拼接，得到多个分类特基于各所述分类特征分别对所述第一训练样本的特征图像3基于所述第一训练样本的所述预测分割掩码和所述真实分割掩码若调整后的所述第一初始提示特征满足第一预设条件以及预设正交限制条6.根据权利要求1所述的模型生成方法，其特征在于，所述基于所述第一目标提示特基于所述第一目标提示特征、所述视觉语言模型，获得所述未标注或基于所述第一训练样本、所述第二训练样本以及所述第一目标基于所述第一目标提示特征和各所述预设类别的类别特征，生成目标将所述目标分类器和所述特征提取网络组成初始语根据所述初始语义分割模型分别对所述第一训练样本、所述第二基于所述第一训练样本、所述第二训练样本的所述预测基于零样本语义分割模型对所述待处理图像进行语义分割，4程序运行时控制所述可读存储介质所在电子设备执行权利要求1至8任一项所述的模型生5[0002]语义分割任务是指输入一张图像，为图像中的每一个像素点分配一个类别标法对未标注的类别的图片进行语义分割。为了实现语义分割模型具有识别更多类别的能[0003]然而，现有技术中提出了视觉语言模型(对比语言_图像预训练(ContrastiveLanguage_ImagePre_training，CLIP)模型、大规模图像和噪声文本嵌入(ALarge_scale视觉语言模型应用在语义分割任务中以实现零样本的语义分6二初始提示特征用于表征每个图像中各所述预[0018]基于所述分割损失函数和所述分类损失函数，对所述第二初始提示特征进行调将调整后的所述第一初始提示特征设置为第一7本语义分割模型，一方面将视觉语言模型应用在语义分割任务中以实现零样本的语义分8这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的意识到其他工艺的应用和/或其他材料的使9及相关设备，通过预训练的视觉语言模型获取标注有真实分割掩码的样本图像的特征图为手机、平板电脑、智能蓝牙设备、笔记本电脑、游戏机、或者个人电脑(Personal可以用于执行本实施例所述的模型生成方法以得到用于零样本语义分割的零样本语义分[0075]在本实施例中，可以将第一训练样本输入至预训练的视觉语言模型的图像编码[0081]在本实施例中，可以随机生成k个可学习的prompt作为第一初始提取特征pi,其[0082]可以理解的是，随机生成k个可学习的prompt作为第一初始提取特征只需在步骤到该预设类别的类别特征，然后将每个预设类别c的类别特征与各第一初始提示特征进行[0088]可选的，可以通过视觉语言模型的文本编码器对预设类别的类别词进行特征提预设卷积核。该预设卷积核的数量与分割特征的数量相同，例如：3个分割特征：从预先设置的多个卷积核中选择3个卷积核作为上述预设卷积核(包括：预[0100]上述预设正交限制条件为各第一初始提示特征的平均特征点乘积为0。由上述实将每个第一初始提示特征与各预设类别的类别特征进行拼接的实施例，在此不再加以赘满足第二预设条件的第二初始提示特征作为第二[0140]上述第二预设条件可以是满足预设损失函数值和/或达到训练次数，在此不再加二初始提示特征的情况下，在得到第二目标提示特征后同样可以参照第一目标提示特征，得到特征提取后的分割特征以及分类特征s":同时，将第一训练样本A输入理后的概率P和归一化处理前的概率P进行加权求和，得到调整后的第一训练样本A出现每,训练样本A的第一分割掩码SM；将第一训练样本A的第一分割掩码SM与第一训练样本A出现,,,分割模型不会仅关注图像中最具有差异性的区域，能够使得生成的分割掩码覆盖整个目[0147]本申请实施例还提供了一种图像处理方法，图8为本实施例提供的图像处理方法以为智能手机、平板电脑、笔记本电脑、触控屏幕括一个或者一个以上处理核心的处理器910、有一个或一个以上计算机可读存储介质的存[0153]处理器910是电子设备900的控制中心，利用各种接口和线路连接整个电子设备以上的应用程序对应的指令加兹安到存储器920中，并由处理器910来运行存储在存储器[0161]针对每一第一初始提示特征，根据第一初始提示特征和[0198]触控显示屏930可用于显示图形用户界面以及接收用户作用于图形用户界面产生式来配置显示面板。触控面板可用于收集用户在其随后处理器910根据触摸事件的类型在显示面板上提供相应的视觉输出。在本公开实施例显示屏930也可以作为输入单元960的一部分实[0199]射频电路940可用于收发射频信号，以通过无线通信与网络设备或其他电子设备[0213]针对每一第一初始提示特征，根据第一初始提示特征和得该电子设备执行上述实施例中的各种可选实现方