CN114419086B 边缘提取方法、装置、电子设备及存储介质 （北京字跳网络技术有限公司）

像增强处理根据图像增强处理后的样本初始待提取图像和样本初始边缘掩膜图像对初始深度样本初始待提取图像以及样本初始边缘掩膜图2将所述目标待提取图像输入至目标边缘提取模型中，得到与所述目获取样本初始待提取图像以及与所述样本初始待提取图像对应的样本初始边缘掩膜对所述样本初始待提取图像进行图像增强处理，得到目标尺寸的样本目标待提取图根据所述样本目标待提取图像以及与所述样本目标待提取图像对应的样本目标边缘所述根据所述样本目标待提取图像以及与所述样本目标待提取图像对应的样本目标将所述样本目标待提取图像输入至初始深度学习模型中，分别得到模型中每一个边缘提取层所输出的与所述样本目标待提取图像对应的层输出边缘掩膜图根据每一个边缘提取层所输出的所述层输出边缘掩膜图像、与所述像对应的样本目标边缘掩膜图像以及所述初始深度学习模型的损失函数确定所述初始深基于所述目标损失对所述初始深度学习模型进行模型参数调整，以根据最近邻插值方法对所述第一尺寸的样本初始待提取图像进行根据预设尺寸变换范围分别对所述样本初始待提取图像进行长度和宽度进行缩放处对所述样本初始边缘掩膜图像进行缩放处理，得到第二尺寸的样本初始边缘掩膜图3根据最近邻插值方法对所述第二尺寸的样本初始边缘掩膜图在所述根据最近邻插值方法对所述第二尺寸的样本初始边缘掩膜图像进行插值处理针对每一个边缘提取层所输出的所述层输出边缘掩膜图像，根据所型的损失函数计算所述层输出边缘掩膜图像和与所述样本目标待提取图像对应的样本目根据各边缘提取层对应的层输出损失确定所述初始深度学习模型的将所述样本目标边缘掩膜图像中的边缘像素点作为正样本像素点，缘掩膜图像中除边缘像素点之外的像素点作为负确定所述正样本像素点在所述样本目标边缘掩膜图像中的正样根据所述正样本像素点数量、所述负样本像素点数量和所述总像本目标待提取图像中的每个像素点对应的像素点分别根据每个像素点对应的像素点损失权重对所述分别得到所述初始深度学习模型中每一个边缘提取层所输出的与所述样本目标针对所述初始深度学习模型中每一个边缘提取层，通过所述边缘述层输出边缘掩膜图像与所述样本目标边缘掩膜图像的尺基于预设的颜色查找表对所述目标边缘掩膜图像进行图4基于预设的轮廓识别算法对所述目标边缘掩膜图像中的边缘像素边缘提取模块，用于将所述目标待提取图像输入至目标边缘提取样本获取模块，用于获取样本初始待提取图像以及与所述样本初始样本增强模块，用于对所述样本初始待提取图像进行图像增强处理模型训练模块，用于根据所述样本目标待提取图像以及与所述样本目将所述样本目标待提取图像输入至初始深度学习模型中，分别得到模型中每一个边缘提取层所输出的与所述样本目标待提取图像对应的层输出边缘掩膜图根据每一个边缘提取层所输出的所述层输出边缘掩膜图像、与所述像对应的样本目标边缘掩膜图像以及所述初始深度学习模型的损失函数确定所述初始深基于所述目标损失对所述初始深度学习模型进行模型参数调整，以5[0009]获取样本初始待提取图像以及与所述样本初始待提取图像对应的样本初始边缘[0011]根据所述样本目标待提取图像以及与所述样本目标待提取图像对应的样本目标6[0032]图7为本公开实施例五所提供的目标边缘提取模型输出的目标边缘掩膜图像的示[0034]图9为本公开实施例六所提供的一种边缘提取装置和模型训练装置的结构示意7[0037]应当理解，本公开的方法实施方式中记载的各个步骤可义将在下文描述中给出。[0040]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性[0042]图1为本公开实施例一所提供的一种边缘提取方法的流程示意图，本实施例可适件和/或硬件来实现，可配置于终端和/或服务器中来实现本公开实施例中的边缘提取方[0048]其中，目标边缘掩膜图像可以是与目标待提取图像对应的具有边缘信息的图缘掩膜图像可以是与样本初始待提取图像相对应的用于表征提取图像进行边缘信息标注，得到与样本初始待提取图像相对应的样本初始边缘掩膜图8边缘掩膜图像进行图像增强处理，以对样本初始边缘掩膜图像附加一些信息或变换数据，9算法可以是用于确定轮廓中各边缘像素点的层次关系的算法，例如：OpenCV中的括边缘像素点的位置以及边缘像素点的下一边缘像素点[0069]具体的，基于预设的轮廓识别算法对目标边缘掩膜图像中的边缘像素点进行识[0072]图2为本公开实施例二所提供的一种目标边缘提取模型训练方法的流程示意图，[0084]具体的，使用最近邻插值方法对第一尺寸的样本初始待值方法对裁剪处理后的样本初始待提取图像进行[0088]具体的，根据预设长宽比可以对第一尺寸的样本初始待[0095]图3为本公开实施例三所提供的一种目标边缘提取模型训练方法的流程示意图，属的范围，设置预设尺寸变换范围的好处在于避免尺寸变化过大导致图像质量损失的情[0105]S340、根据最近邻插值方法对第二尺寸的样本初始边缘[0106]具体的，使用最近邻插值方法对第二尺寸的样本初始边缘掩膜图像进行插值处插值方法对裁剪处理后的样本初始边缘掩膜图像进行[0110]具体的，根据预设长宽比可以对第二尺寸的样本初始边缘掩膜图像进行裁剪处像对应的样本目标边缘掩膜图像对初始深度学习模型进行训练，得到目标边缘提取模型，解决了由于样本初始边缘掩膜图像的边缘信息不够明显导致的模型训练效果不佳的问题，[0118]图4为本公开实施例四所提供的一种目标边缘提取模型训练方法的流程示意图，以通过下述方式分别得到初始深度学习模型中每一个边缘提取层所输出的与样本目标待前边缘提取层为初始深度学习模型中的第二个边缘提取层或第二个边缘提取层之后的边样处理后的层输入图像通过激活函数和二值化处理得到与样本目标待提取图像对应的层图像对应的样本目标边缘掩膜图像以及初始深度学习模型的损失函数确定初始深度学习型的目标损失可以是用于表示初始深度学习模型的各层输出边缘掩膜图像与样本目标待习模型的损失函数计算层输出边缘掩膜图像和与样本目标待提取图像对应的样本目标边膜图像和与样本目标待提取图像对应的样本目标边缘掩膜图像通过初始深度学习模型的[0137]步骤二、根据各边缘提取层对应的层输出损失确定初始深度学习模型的初始损可以对初始损失进行放缩处理和/或添加其余项的处理，将处理后的初始损失作为目标损标边缘掩膜图像中除边缘像素点之外的像素点作为负样标待提取图像中的每个像素点对应的像素点比值作为样本目标待提取图像中的每个负样本像素点对度学习模型中每一个边缘提取层所输出的与样本目标待提取图像对应的层输出边缘掩膜对应的样本目标边缘掩膜图像以及初始深度学习模型的损失函数确定初始深度学习模型并对样本初始待提取图像集合A’中的每一个样本初始待提取图像进行裁剪处理和最近邻处理和最近邻插值处理并做细化处理，得到目标尺寸的样本目标边缘掩膜图像集合B”[B”2.0)(长度和宽度做0.5到2倍范围的随机缩放)->nearsetresize(最近邻插值)->初始深度学习模型处理，根据第一个边缘提取层的层输出边缘掩膜图像Am1和目标边缘掩提取图像对应的样本初始边缘掩膜图像集合，对各样本初始待提取图像进行图像增强处样本目标待提取图像以及与各样本目标待提取图像对应的各样本目标边缘掩膜图像对初[0178]图9为本公开实施例六所提供的一种边缘提取装置和模型训练装置的结构示意可配置于终端和/或服务器中来实现本公开实施于根据所述样本目标待提取图像以及与所述样本目标待提取图像对应的样本目标边缘掩还用于对所述样本初始待提取图像进行缩放处理，得到第一尺寸的样本初始待提取图像；还用于根据预设尺寸变换范围分别对所述样本初始待提取图像进行长度和宽度进行缩放[0185]在本公开实施例中任一可选技术方案的基础上，可选地，模型训练装置52还包[0187]在本公开实施例中任一可选技术方案的基础上，可选地，模型训练装置52还包模型的损失函数计算所述层输出边缘掩膜图像和与所述样本目标待提取图像对应的样本[0192]在本公开实施例中任一可选技术方案的基础上，可选地，边缘提取装置51还包[0193]在本公开实施例中任一可选技术方案的基础上，可选地，边缘提取装置51还包transformer模型以及pidine[0197]值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分示出了适于用来实现本公开实施例的电子设备(例如图10中的终端设备或服务器)600的结[0200]如图10所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)600操作所需的各种程序和数据。处理装置601、ROM602以及RAM603通过总线605彼此相[0203]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性[0204]本公开实施例提供的电子设备与上述实施例提供的边缘提取方法属于同一发明[0208]在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperTextTransfer[0214]获取样本初始待提取图像以及与所述样本初始待提取图像对应的样本初始边缘[0216]根据所述样本目标待提取图像以及与所述样本目标待提取图像对应的样本目标[0217]可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、[0220]本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例[0226]获取样本初始待提取图像以及与所述样本初始待提取图像对应的样本初始边缘[0228]根据所述样本目标待提取图像以及与所述样本目标待提取图像对应的样本目标[0231]对所述样本初始待提取图像进行缩放处理，得到第一尺寸的样本初始待提取图[0235]根据预设尺寸变换范围分别对所述样本初始待提取图像进行长度和宽度进行缩[0246]在所述根据最近邻插值方法对所述第二尺寸的样本初始边缘掩膜图像进行插值[0250]所述根据所述样本目标待提取图像以及与所述样本目标待提取图像对应的样本学习模型中每一个边缘提取层所输出的与所述样本目标待提取图像对应的层输出边缘掩取图像对应的样本目标边缘掩膜图像以及所述初始深度学习模型的损失函数确定所述初目标待提取图像对应的样本目标边缘掩膜图像以及所述初始深度学习模型的损失函数确习模型的损失函数计算所述层输出边缘掩膜图像和与所述样本目标待提取图像对应的样标边缘掩膜图像中除边缘像素点之外的像素点作为负样述样本目标待提取图像中的每个像素点对应的像素[0266]所述分别得到所述初始深度学习模型中每一个边缘提取层所输出的与所述样本[0285]