CN115349139B 图像分割方法、装置、设备及存储介质 （广州视源电子科技股份有限公司）

2022.09.27PCT/CN2020/1378582020.12.21WO2022/133627ZH2022.06.30上述方法可以解决现有技术无法准确地对在线2将所述当前帧图像输入至训练好的图像分割模型，以得到基于所述目将所述视频数据中下一帧图像作为当前帧图像，并返回执行将所述根据所述训练数据集构建标签数据集，所述标签数据集包含多张根据所述训练数据集和所述标签数据集训练所述图分别将各层所述图像特征输入至对应的通道混淆模块，以除分辨率最高的混淆特征外，将其他每层的混淆特征进行上分别将各层所述融合特征输入至对应的残差模块，以得到分别将各层所述第一解码特征输入至对应的多倍上采3根据各所述第二解码特征、边缘结果图像、对应的分割标签图像和选择下一原始图像，并返回执行将所述原始图像输入至所述归一化模块的操作所述分别将各层所述融合特征输入至对应的残差模块，以得到多层第一解码特征之将分辨率最高的第一解码特征输入至所述解码模块，以得到对应的新的第一解码特分辨率最高的第二解码特征和对应的分割标签图像计算得到的子损失函数，表示根在所述图像分割模型不是前向推理框架可识别的网络模型时，将对所述分割标签图像和所述腐蚀图像进行布尔操作，以得到所述根据所述分割标签图像和所述边缘标签图像得到标签4根据所述目标背景图像和所述第二分割图像对所述当前帧图像进行背景替第一分割模块，用于将所述当前帧图像输入至训练好的图像第二分割模块，用于对所述第一分割图像进行平滑处理重复分割模块，用于将所述视频数据中下一帧图像作为当前帧5着计算机和网络技术的发展，对在线的视频数据进行基于人像的图像分割具有重要的意特征的不连续性(如人脸边缘的像素突变)得到人像区域的边界，其缺陷在于计算复杂度67图像进行分辨率转换，以使第一分割图像的分辨8像中的特征，解码器用于对提取的特征进行解码以9像相乘后，当前帧图像中像素点对应于第二分割图像中像素值为1的像素点，其被保留下[0053]训练数据是指训练图像分割模型时使图像分割模型进行练数据集中选择大量的原始图像供图像分割模型进行学习，以提高图像分割模型的精确割模型的过程便是使图像分割模型输出的结果与对应的标签数据在对应的分割标签图像和边缘标签图像，各分割标签图像和边缘标签图像组成标签数据[0066]腐蚀操作可以理解为将分割标签图像中像素值为255的白色区域(即人像区域)进割标签图像和腐蚀图像进行相减后得到的布尔对象为在分割标签图像的白色区域中除去上采样模块25、输出模块26以及边缘模块27。在本实施例中，步骤230包括步骤231_步骤一层)图像特征的分辨率为112×112(图3中该层图像特征记为Feature112×112)，次高层(第二层)图像特征的分辨率为56×56(图3中该层图像特征记为Feature56×56)，次低层(第三层)图像特征的分辨率为28×28(图3中该层图像特征记为Feature28×28)，最低层(第四层)图像特征的分辨率为14×14(图3中该层图像特征记为Feature14×14)。可理解，[0082]步骤233、分别将各层图像特征输入至对应的通道混淆模块，以得到多层混淆特[0084]一个实施例中，通道混淆模块由1×1卷积层、批归一化(BatchNor高一级分辨率的混淆特征进行融合以得到高一级征通过跳跃连接(SkipConnection)与其低一级分辨率对应上采样后的混淆特征进行融率(即次低层)的混淆特征Center28×28通过跳跃连接与最低层二倍上采样后的28×28特(即次高层)的混淆特征Center56×56通过跳跃连接与次低层二倍上采样后的56×56特征[0091]步骤235、分别将各层融合特征输入至对应的残差模块，以得到多层第一解码特为56×56。最高层的融合特征输入至残差模块后输出的第一解码特征记为RSBlock112×5为本申请实施例提供的分割结果图像示意图，将图4所示的训练数据输入至图3所示的图[0106]为了提高图像分割模型对人像区域和背景区域之间边缘辨率最高的第一解码特征可一得到更为准确入至图3所示的图像分割模型后得到边缘结果图像，之后，将边缘结果图像的各像素值乘[0113]其中，Loss表示分割网络模型的损失函数，n表示第二解码特征对应的总层数，表示根据分辨率最高的第二解码特征和对应的分割标签图像计算得到的子损失函loss⃞,-l-lou,,An表示分辨率最低的第二解码特征，B表示对应的分割标签图[0119]在上述实施例的基础上，根据训练数据集和标签数据集若将pytorch框架下的图像分割模型运行在图像分割设备的某个应用程序中，会大大增加应用程序所占用的存储空间。同时，pytorch框架下运行图像分割模型时对图形处理器转换成openvino框架下的图像分割模型时具体的手段可以为：利用现有的pytorch转换工具将图像分割模型转换为开放神经网络交换(OpenNeuralNetworkExchange，ONNX)模型，再利用openvino转换工具将ONNX模型转换成openvino框架下的图像分割模型。其中，像时消耗大量工作量以及制作成本的问题，且不同场景下的原始图像之间的重复内容少，降低图像分割模型对GPU的依赖程度低，且减小运行图像分割模型的应用程序占用的存储割装置包括：数据获取模块301、第一分割模块302、第二分割模块303以及重复分割模块帧图像作为当前帧图像，并返回执行将该当前帧图像输入至训练好的图像分割模型的操高一级分辨率的混淆特征进行融合以得到高一级分辨率对应的融合特征，如图3中除最高x其二解码特征和对应的分割标签图像计算得到的子损失函数，表示根据分辨率最低的第二解码特征和该分割标签图像计算得到的子损失函数，loss⃞,=l-lou,,An表示分辨率最低的第二解码特征，B表示对应的分割标签图像，Ioun表示An和B的重叠相似数据集训练图像分割模型之后，在该图像分割模型不是前向推理框架可识别的网络模型可执行指令在由计算机处理器执行时用于执行本申请任意实施例所提供的图像分割方法实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或络接口和内存。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各