CN113705307B 图像处理方法、装置、设备及存储介质 （腾讯科技（深圳）有限公司）

Classifying,segmenting,andtrackingComputerVisionandPatternReco提取目标帧图像中的实例信息对应的第一条件参数信息以及相邻帧图像中的实例信息对应的2提取所述目标帧图像中的实例信息对应的第一图像特征和第一条件参数信息以及所通过所述第一条件参数信息分别对所述第一掩码特征信息和第二掩码特征信息进行通过所述第二条件参数信息分别对所述第一掩码特征信息和第二掩码特征信息进行计算所述第一掩码信息、第一交叉掩码信息、第二掩码信根据所述第一差异值对预设模型的网络模型参数进行迭代调整，基于所述训练后的预设模型对待识别视频序列进行掩例信息对应的第一条件参数信息以及所述相邻帧图像中的实例信息对应的第二条件参数对所述目标帧图像和相邻帧图像进行全卷积处理，得到相应的第一图通过预设尺寸的卷积层对所述第一图像特征进行卷积处理，得到第通过预设尺寸的卷积层对所述第二图像特征进行卷积处理，得到第将所述第一条件参数信息、所述第二条件参数信息输入至预设模型4.根据权利要求1至3任一项所述的图像处理方法，其特获取视频序列样本下间隔时间不超过预设时间阈值的目标5.根据权利要求1至3任一项所述的图像处理提取所述待识别图像中的实例信息对应的第三条3基于训练后的预设模型识别出视频序列样本下每一帧的样本图像中的实例信息对应将所述样本掩码信息输入至预设分类模型进行分类训练，得到训练后的预设分类模将所述样本掩码信息转化为对应的预设维度的根据所述向量表征空间之间的相似度对每一帧的样本图像中的实根据分类结果与标签分类结果之间的第二差异值，对所述预根据所述训练后的预设分类模型对待识别视频序列中的实例信息进提取单元，用于提取所述目标帧图像中的实例信息对应的第一图像输入单元，用于通过所述第一条件参数信息分别对所述第一掩码特对所述目标帧图像和相邻帧图像进行全卷积处理，得到相应的第一图通过预设尺寸的卷积层对所述第一图像特征进行卷积处理，得到第通过预设尺寸的卷积层对所述第二图像特征进行卷积处理，得到第第一处理子单元，用于对所述第一图像特征进行掩码卷4第二处理子单元，用于对所述第二图像特征进行掩码卷以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求15[0008]提取所述目标帧图像中的实例信息对应的第一条件参数信息以及所述相邻帧图[0015]识别单元，用于基于所述训练后的预设模型对待识别视频序列进行掩码识别处6[0028]根据所述向量表征空间之间的相似度对每一帧的样本图像中的实例信息进行分7样适用。成在具备储存单元并安装有微处理器而具有运8[0054]可以理解的是，视频实例分割通常指把视频中的视频帧中每一实例信息分割出[0058]在步骤102中，提取目标帧图像中的实例信息对应的第一条件参数信息以及相邻受任意尺寸的输入图像，采用反卷积层对最后一个卷基层的特征图(featuremap)进行上息的第二条件参数信息，该卷积处理可以通过卷积神经网络(ConvolutionalNeural[0063]人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机控9[0065]计算机视觉技术(ComputerVision,CV)计算机视觉是一门研究如何使机器“看”[0066]其中，本申请实施例结合计算机视觉技术进行相应的图像语义处理，该掩码第一条件参数信息和第二条件参数信息输入至预设模型，以该第一条件参数作为卷积核，[0067]在一些实施方式中，该将第一条件参数信息和第二条件参数信息输入至预设模[0074](1.1)通过该第一条件参数信息分[0075](1.2)通过该第二条件参数信息分[0077](1.4)根据该第一差异[0079]进一步的，该标签信息为目标帧图像和相邻帧图像中实例信息的真实掩码信息，状态下的掩码信息，使得该训练后的预设模型相对于单帧图像进行掩码识别的方案而言，[0091]在步骤201中，服务器获取视频序列样本下间隔时间不超过预设时间阈值的目标帧图像和相邻帧图像通过全卷积网络进行全卷积处理，两者的全卷积网络共享相同的权控制头)对该第二图像特征进行卷积处理，得到第二图像特征中用于表达实例信息的特征[0097]在步骤204中，服务器对第一图像特征进行掩码卷积处理，得到第一掩码特征信[0100]在步骤205中，服务器通过第一条件参数信息分别对第一掩码特征信息和第二掩特征信息和第二掩码特征信息际(t8)进行多次卷积处理，得到目标帧图像和相以以该第二条件参数信息θx,，y,(t+δ)作为卷积核，分别对该第二掩码特征信息际(t9)像中的实例信息对应的第三条件参数信息，将第三条件参数信息输入至训练后的预设模[0111]在步骤208中，服务器基于训练后的预设模型识别出视频序列样本下每一帧的样表征空间之间的余弦相似度对每一帧的样本图像中的实例信息进行分类，该余弦相似度，[0116]以此，该标签分类结果为人工预先将同一类型的掩码信息归为同一类的分类结该训练后的预设分类模型可以掩码信息识别得到准确的N维的向[0117]在步骤210中，服务器根据训练后的预设分类模型对待识别视频序列中的实例信[0126]提取单元302，用于提取该目标帧图像中的实例信息对应的第一条件参数信息以[0128]输入单元303，用于将该第一条件参数信息和该第二条件参数信息输入至预设模[0134]识别单元304，用于基于该训练后的预设模型对待识别视频序列进行掩码识别处列样本下连续的目标帧图像和相邻帧图像；提取单元302提取目标帧图像中的实例信息对303将第一条件参数信息和第二条件参数信息输入至预设模型，对目标帧图像和相邻帧图[0144]该服务器可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计[0145]处理器401是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个[0146]存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402服务器中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可例信息对应的第一条件参数信息以及该相邻帧图像中的实例信息对应的第二条件参数信和第二条件参数信息输入至预设模型，对目标帧图像和相邻帧图像进行交叉掩码识别训