CN119516199A 图像分割方法、装置及电子设备、存储介质 （智道网联科技(北京)有限公司）

含待分割目标的图像数据以及所述弱标签目标像分割模型中得到的二值图经过根据所述目标函数是基于概率图和再处理的所述二值图计算得到的；根据所述经过预先训练的图像分割模2将所述包含待分割目标的图像数据以及所述弱标签目标框，输图像分割模型中的LOSS函数是基于概率图和再处理的对图像分割模型中得到的二值图提取每个连通区域的外轮廓，获取3.如权利要求1所述方法，其中，所述经过预先所述MaskDecoder，用于将所述ImageEncoder以及所述PromptEncoder编码后提取行再处理得到新的Teacher分支的二值图和Anchor分支的二所述目标的自身特性至少包括如下之一：目标的封闭区域特性、目个实例特征，计算Teacher分支和Anchor分支在征图Ft是Teacher分支在所述ImageEncoder中编码后生成得到的，所述特征图pe是所述Anchor分支使用所述ImageEncoder的原始结构并且先进行结构冻结再编在所述ImageEncoder中对所述Teacher分支和所述Student分支增加LoRA参数进行训3所述MaskDecoder分别接收来自所述ImageEncoder的三个分支和所述Prompt所述经过预先训练的图像分割模型把训练得到的LoRA参数合并到所述ImageEncoder对输入的图像基于最长边和最短边执行预设处理操作，同时对弱标签目标框做将图像输入到合并后的所述ImageEncoder网络中，将弱标签目标框输入到所述将所述目标像素坐标信息转换到世界坐标系下，得到目标在世界坐标系下的坐标信根据所述目标在世界坐标系下的坐标信息以及路侧相机中的目标像处理模块，用于将所述包含待分割目标的图像数据以及所述弱标签被安排成存储计算机可执行指令的存储器，所述可执行指令在被4图像分割模型，所述图像分割模型中得到的二值图经过根据所述目标的自身特性再处理，所述图像分割模型中的LOSS函数是基于概率图和再处理的所述二值图PromptEncoder以及Mask5[0017]所述MaskDecoder，用于将所述ImageEncoder以及所述PromptEncoder编码后性进行再处理得到新的Teacher分支的二值图和Anchor分支的二值图FtmsmtFtIeFtmsmtFtIe[0025]基于二值图获取在特征图上每个实例特征，基于二值图获取在特征图上每个实例特征，计算Teacher分支和Anchor分支在实例特征和上的相似性所述Anchor分支使用所述ImageEncoder的原始结构并且先进行结构冻结再编码后得到[0028]在所述ImageEncoder中对所述Teacher分支和所述Student分支增加LoRA参数进[0030]所述MaskDecoder分别接收来自所述ImageEncoder的三个分支和所述Prompt[0032]所述经过预先训练的图像分割模型把训练得到的LoRA参数合并到所述Image[0033]对输入的图像基于最长边和最短边执行预设处理操作同时对弱标签目标框做预[0034]将图像输入到合并后的所述ImageEncoder网络中，将弱标签目标框输入到所述6[0038]根据所述目标在世界坐标系下的坐标信息以及路侧相机介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行图经过所述目标的自身特性再处理并且所述图像分割模型中的LOSS函数是基于概率图和7[0060]预先训练的图像分割模型优选采用weSAM分割大模型，weSAM继承了SAM的整体思[0061]进一步地，所述图像分割模型中得到的二值图经过所述型需要同时学习多个相关或不相关的任务。每个任务的损失函数可以有一个特定的权重，这样可以根据任务的重要性或难度来调整它们weSAM分割大模型中图像输入的合并后的ImageEncoder网络中，弱标签矩形框输入到8[0076]在本申请的一个实施例中，所述经过预先训练的图像分割模型，至少包括ImageMaskDecoder，用于将所述ImageEncoder以及所述PromptEncoder编码后提取的特征进[0077]具体而言，在图像分割模型中，ImageEncoder对图像信息进行编码提取特征。并给出预测结果。weSAM有三个ImageEncoder分支，分别为Anchor分支、Teacher分支、9增强weakaug和强数据增强strongaug。弱数据增强使用了包括但不限于概率为0.5的水身特性进行再处理后得到新的Teacher分支的二值[0083]在本申请的一个实施例中，所述Teacher分支和Student分支分别输出概率图mt特征图pe是所述Anchor分支使用所述ImageEncoder的原始结构并且先进行结构冻结再编st。获取在特征图pa上每个实例特征。把所有loss增加指定系数求和，计算梯度。梯度在[0088]可以理解，FocalLoss是一种专门为类别不均衡设计的loss，在《FocalLoss这是一种无关特定领域的思想，可以应用到任何类别不均衡的数据中。DiceLoss来自[0089]在本申请的一个实施例中，所述方法还包括：在所述ImageEncoder中对所述Teacher分支和所述Student分支增加LoRA参数进行训练，同时将LoRA参数共享且原有取；所述MaskDecoder分别接收来自所述ImageEncoder的三个分支和所述Prompt及Anchor分支。本申请的实施例中增加了对Student分支、Teacher分支的LoRA参数，在Ft[0091]首先，ImageEncoder网络中对Teacher分支和Student分支增加LoRA参数进行训Ft[0095]对斑马线矩形框信息，输入到PromptEncoder结构中，进行特征提取；MaskDecoder网络分别接收来自三个ImageEncoder分支和PromptEncoder分支输出的特征信Encoder上；对输入的图像基于最长边和最短边执行预设处理操作同时对弱标签目标框做段，只包含Student分支，对输入的包含待分割目标的图像数据以及弱标签目标框进行处[0099]在图像分割模型进行推理时，图像分割模型会把训练的LoRA参数合并到Image后的ImageEncoder网络中，弱标签矩形框输入到PromptEncoder网络结构中，经过MaskRTK信息和车载摄像头感知数据中识别到的斑马线信息，通过结合VSLAM技术（Visual[0109]预先训练的图像分割模型优选采用weSAM分割大模型，weSAM继承了SAM的整体思[0110]进一步地，所述图像分割模型中得到的二值图经过所述型需要同时学习多个相关或不相关的任务。每个任务的损失函数可以有一个特定的权重，这样可以根据任务的重要性或难度来调整它们weSAM分割大模型中图像输入的合并后的ImageEncoder网络中，弱标签矩形框输入到二值图经过所述目标的自身特性再处理至少[0122]所述MaskDecoder，用于将所述ImageEncoder以及所述PromptEncoder编码后性进行再处理得到新的Teacher分支的二值图和Anchor分支的二mtmsmtmsmsmtmsmtFtFt[0130]基于二值图获取在特征图上每个实例特征，基于二值图获取在特征图[0133]在所述ImageEncoder中对所述Teacher分支和所述Student分支增加LoRA参数进[0135]所述MaskDecoder分别接收来自所述ImageEncoder的三个分支和所述Prompt[0137]所述经过预先训练的图像分割模型把训练得到的LoRA参数合并到所述Image[0138]对输入的图像基于最长边和最短边执行预设处理操作同时对弱标签目标框做预[0139]将图像输入的合并后的所述ImageEncoder网络中以及将弱标签目标框输入到所[0143]根据所述目标在世界坐标系下的坐标信息以及路侧相机[0146]处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(IndustryStandardArchitecture，工业标准体系结构）总线、PCI(Peripheral图像分割模型，所述图像分割模型中得到的二值图经过根据所述目标的自身特性再处理，所述图像分割模型中的LOSS函数是基于概率图和再处理的所述二值图[0152]上述如本申请图1所示实施例揭示的图像分割装置执行的方法可以应用于处理器网络处理器（NetworkProcessor，NP）等；还可以是数字信号理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完行时，能够使该电子设备执行图1所示实施例中图像分割装置执行的方法，并具体用于执图像分割模型，所述图像分割模型中得到的二值图经过根据所述目标的自身特性再处