CN114332797B 一种带自评测机制的道路场景语义分割方法及系统 （率为科技(重庆)有限责任公司）

镇卓越路19号2幢（数创园一楼102房一种带自评测机制的道路场景语义分割方本发明公开了一种带自评测机制的道路场模型，进而得到较为客观的语义分割结果的评信度，进而为智能驾驶系统提供有效的决策依2语义分割：获取车辆行驶环境中的道路场景视频，并将预设帧数评测结果：将所述街景原始图像、所述分割掩膜图像以及所述运动选取所述视频物体分割数据集中多种已知算法预测得到的掩膜图像和光所述视频物体分割数据集中选取数据进行标注计算得到的分割结果将所述掩膜图像和光流信息以及所述分割结果评分作为训练数据对所述评测网络进将所述语义分割步骤中预测得到的分割掩膜图像和运动光流信息作为调优数据对训将所述RGB分割结果图与所述运动光流信息均输入所述自评测模型，得到语义分割结分别将所述单类别的掩膜图像以二值掩膜点乘所述街景原始图像的形式，得到多个将各个所述RGB分割结果图与对应的运动光流信息分别输入所述自评测模型，得到各无监督调优：基于所述语义分割结果的评分构建损失函数，并使3场景分割模块，用于获取车辆行驶环境中的道路场景视频模型构建模块，用于构建评测网络，使用视频物体分割数据集对所述选取所述视频物体分割数据集中多种已知算法预测得到的掩膜图像和光所述视频物体分割数据集中选取数据进行标注计算得到的分割结果将所述掩膜图像和光流信息以及所述分割结果评分作为训练数据对所述评测网络进将所述语义分割步骤中预测得到的分割掩膜图像和运动光流信息作为调优数据对训45分可以在客观上评价语义分割结果的置信度，进而为智能驾驶系统提供有效的决策依据，[0015]步骤3：选取所述视频物体分割数据集中多种已知算法预测得到的掩膜图像和光[0016]步骤4：将所述掩膜图像和光流信息以及所述分割结果评分作为训练数据对所述[0017]步骤5：将所述语义分割步骤中预测得到的分割掩膜图像和运动光流信息作为调[0019]将所述分割掩膜图像以二值掩膜点乘所述街景原始图像的形式，得到RGB分割结[0020]将所述RGB分割结果图与所述运动光流信息均输入所述评测模型，得到语义分割[0024]将各个所述RGB分割结果图与对应的运动光流信息分别输入所述自评测模型，得6[0037]进一步地，上述带自评测机制的道路场景语义分割系统图像和光流幅值图分别作为分割结果在空间和时间上的参考项，对分割结果进行自动评[0041]图2为本发明实施例中一种带自评测机制的道路场景语义分割系统的结构架构示7[0051]步骤3：选取视频物体分割数据集中多种已知算法预测得到的掩膜图像和光流信[0052]步骤4：将掩膜图像和光流信息以及分割结果评分作为训练数据对评测网络进行[0053]步骤5：将语义分割步骤中预测得到的分割掩膜图像和运动光流信息作为调优数8络的输入为连续两帧的车载摄像头拍摄的道路场景视频中街景原始图像(假设为第t和t+1街景数据集(如Cityscapes数据集)和带标注的光流数据集(如SINTEL数据集)上进行交替[0076]场景分割模块主要负责对获取的驾驶中摄像头获取道路场景图像进行像素级别(ConvolutionalNeuralNetworks,简称CNN)，比起场景分割模块为丰富特征而设计的多[0078]自评测模块引入空域和时域两种参考信息，该部分的输入为街景原始图像(空域参考)和运动光流信息(时域参考)以及待评测的分割掩膜图像，待评的分割测掩膜图像以选取该数据集上数十种现有算法的预测掩膜及其评分(即数据集标注计算得到的Jaccard[0081]预训练完成后，使用场景分割模块的输出作为输入对网络进行进一步的调优(仍类别的分割掩膜，将预测得到的不同类别的掩膜拆分开进行一一评测(比如N中分割类别，给决策部分的算法作为参考，决策算法可根据自评测得分来对分割信息的可信度进行加9监督调优模块用于基于语义分割结果的评分构建损失函数，并使用损失函数进行微调优[0084]下面对上述带自评测机制的道路场景语义分割系统在智能驾驶系统中的工作过[0089]下面对上述带自评测机制的道路场景语义分割系统在实用场景中进行无监督调[0091]2)网络直接采用1减去评测得分作为损失函数进行微调训练，可以直接进行无监[0