CN114898243B 基于视频流的交通场景解析方法以及装置 （超级视线科技有限公司）

东大街28号河北国控北方硅谷高科新本申请公开一种基于视频流的交通场景解离最近的关键帧图像以及对应的关键帧特征图与每个非关键帧图像输入至特征映射网络中进射特征图输入至语义分割分支网络与实例分割2获取视频流，并对所述视频流进行全景分割标注，获得对所述视频流进行关键帧抽取，获得多个关键帧图像与多个非关将每个所述非关键帧图像的时间距离最近的所述关键帧图像以及所述关键帧图像对应的所述关键帧特征图与每个所述非关键帧图像输入至所述全景分割模型的特征映射网将每个所述非关键帧图像的时间距离最近的所述关键帧图像对应的所述关键帧特征图与每个所述非关键帧图像对应的所述非关键帧映射特征图输入至所述全景分割模型的语义分割分支网络与实例分割分支网络中进行预测，获得所述视频流的预测全景分割结根据所述预测全景分割结果与所述真实全景分割结果，构建空间特征约束损失函数，根据所述空间特征约束损失函数与所述时间特征约束损失函数对所述全景分割模型述非关键帧图像的时间距离最近的所述关键帧图像以及所述关键帧图像对应的所述关键帧特征图与每个所述非关键帧图像输入至所述全景分割模型的特征映射网络中进行特征将每个所述非关键帧图像的时间距离最近的所述关键帧图像与每个所述非关键帧图将每个所述特征光流图与时间距离最近的所述关键帧图像对应的所述关键帧特征图述特征光流图与时间距离最近的所述关键帧图像对应的所述关键帧特征图进行特征映射，获得每个所述非关键帧图像对应的所述非关键帧映射特征图中，第i个非关键帧图像对应i非关键帧图像的时间距离最近的第k个关键帧图像在位置q处的特征，G(q,p+δp)表示双线i→k(p)表示所述第k个关键帧图像中位置q处映射到所述第i个非关键帧图像3述非关键帧图像的时间距离最近的所述关键帧图像对应的所述关键帧特征图与每个所述非关键帧图像对应的所述非关键帧映射特征图输入至所述全景分割模型的语义分割分支将每个所述关键帧特征图与每个所述非关键帧映射特征图输入至所述全景分割模型将每个所述关键帧特征图与每个所述非关键帧映射特征图输入至所述全景分割模型的实例分割分支网络中进行实例预测，获得所述视频流的多个预测可数目标检测框类别、多个预测可数目标检测框位置以及多个预测可将所述多个预测不可数目标类别与所述多个预测可数目标检测框类像输入至所述全景分割模型的骨干网络中进行关键帧特征提取，获得多个关键帧特征图，对所述视频流中每间隔K帧进行抽取，获得所述多个关键帧图像与所述多个非关键帧将所述多个关键帧图像输入至所述骨干网络中进行特征提取，特征提取模块，用于对所述视频流进行关键帧抽取，获得多特征映射模块，用于将每个所述非关键帧图像的时间距离所述关键帧图像对应的所述关键帧特征图与每个所述非关键帧图像输入至所述全景分割预测模块，用于将每个所述非关键帧图像的时间距离最近的所述关述关键帧特征图与每个所述非关键帧图像对应的所述非关键帧映射特征图输入至所述全4损失函数构建模块，用于根据所述预测全景分割结果与所述真模型生成模块，用于根据所述空间特征约束损失函数与所述时间特征特征光流图获取模块，用于将每个所述非关键帧图像的时间非关键帧映射特征图获取模块，用于将每个所述特征光流图与时间i非关键帧图像的时间距离最近的第k个关键帧图像在位置q处的特征，G(q,p+δp)表示双线i→k表示所述第k个关键帧图像中位置q处映射到所述第i个非关键帧图像语义分割模块，用于将每个所述关键帧特征图与每个所述非关键数目标类别；实例分割模块，用于将每个所述关键帧特征图与每个目标检测框类别、多个预测可数目标检测框位置以及多个预测可数目标检测框二值化掩5融合模块，用于将所述多个预测不可数目标类别与所述多个预测可数目标检测框类关键帧特征图获取模块，用于将所述多个关键帧图像输入至所述6各个方面都具有积极地促进作用。[0009]将每个所述非关键帧图像的时间距离最近的所述关键帧图像以及所述关键帧图像对应的所述关键帧特征图与每个所述非关键帧图像输入至所述全景分割模型的特征映[0010]将每个所述非关键帧图像的时间距离最近的所述关键帧图像对应的所述关键帧特征图与每个所述非关键帧图像对应的所述非关键帧映射特征图输入至所述全景分割模7[0012]根据所述空间特征约束损失函数与所述时间特征约束损失函数对所述全景分割像以及所述关键帧图像对应的所述关键帧特征图与每个所述非关键帧图像输入至所述全[0014]将每个所述非关键帧图像的时间距离最近的所述关键帧图像与每个所述非关键[0015]将每个所述特征光流图与时间距离最近的所述关键帧图像对应的所述关键帧特像对应的所述关键帧特征图与每个所述非关键帧图像图对应的所述非关键帧映射特征图[0022]将每个所述关键帧特征图与每个所述非关键帧映射特征图输入至所述全景分割[0023]将每个所述关键帧特征图与每个所述非关键帧映射特征图输入至所述全景分割8[0026]对所述视频流中每间隔K帧进行抽取，获得所述多个关键帧图像与所述多个非关以及所述关键帧图像对应的所述关键帧特征图与每个所述非关键帧图像输入至所述全景的所述关键帧特征图与每个所述非关键帧图像对应的所述非关键帧映射特征图输入至所[0034]损失函数构建模块，用于根据所述预测全景分割结果与9不可数目标类别；[0059]S30，将每个非关键帧图像的时间距离最近的关键帧图像以及关键帧图像对应的关键帧特征图与每个非关键帧图像输入至全景分割模型的特征映射网络中进行特征映射，[0060]S40，将每个非关键帧图像的时间距离最近的关键帧图像对应的关键帧特征图与每个非关键帧图像对应的非关键帧映射特征图输入至全景分割模型的语义分割分支网络[0062]S60，根据空间特征约束损失函数与时间特征约束损失函数对全景分割模型进行通过高位视频摄像机获得。高位视频摄像机为安装于路侧的拍摄交通场景信息的摄像机。真实全景分割结果可以包括不可数目标的类别、可数目标的类别以及每个可数目标的实[0064]在S20中，通过骨干网络进行特征提取。骨干网络包括卷积神经网络结构，例如[0066]在S40中，一个非关键帧图像分别对应着一个时间距离最近的关键帧图像与一个关键帧图像，并将多个关键帧图像输入至全景分割模型的骨干网络中进行关键帧特征提[0070]S210，对视频流中每间隔K帧进行抽取，获得多个关键帧图像与多个非关键帧图[0072]其中，多个关键帧图像与多个非关键帧图像形成视频流，K为3至8范围内的正整通场景解析方法能够实现对视频流的精细准确且流畅连贯的键帧图像对应的关键帧特征图与每个非关键帧图像输入至全景分割模型的特征映射网络[0079]非关键帧映射特征图体现了非关键帧图像与时间距离最近的关键帧图像之间的键帧图像的时间距离最近的第k个关键帧图像在位置q处的特征，G(q,p+δp)表示双线性插将每个非关键帧图像的特征光流图与时间距离最近的关键帧图像的关键帧特征图进行特关键帧特征图与每个非关键帧图像对应的非关键帧映射特征图输入至全景分割模型的语可数目标检测框位置以及多个预测可数目标检特征之间的融合，从而提高语义分割的分割精度。高低层特征融合包括但不限于使用FPN例分割方法。首先将每个关键帧特征图与每个非关键帧映射特征图输入区域提取网络RPN得的多个候选区域框输入检测和掩码预测层产生每个ROI的类别信息及其检测框的位置信征融合处理，获得全景分割输出。在进行特征融合处理时，通过启发式算法(heuristic[0101]Ltemporal表示时间特征约束损失函数。时间特征约束损失函数采用L2范数损失函解为非关键帧图像对应的非关键帧映射特征图)与真实的非关键帧的特征图之间的差别。[0105]根据多个预测可数目标检测框类别与多个真实可数目标检测框类别构建可数目instance表示实例分割分支损失函数。c表示真实的标签类别分布。cls表示可数目标检测框分类损失函[0117]在一个实施例中，可数目标检测框位置损失函数采用IoULoss损失函数。IoULoss损失函数是基于预测可数目标检测框位置与真实可数目标检测框位置之间的IoU交并min[0121]其中，P表示预测可数目标检测框二值化掩码为真实可数目标检测框二值化掩码[0124]请参见图2，在一个实施例中，本申请提供一种基于视频流的交通场景解析装置最近的关键帧图像以及关键帧图像对应的关键帧特征图与每个非关键帧图像输入至全景征图与每个非关键帧图像对应的非关键帧映射特征图输入至全景分割模型的语义分割分征提取模块20的相关描述可参考上述实施例中S20的相关描述。特征映射模块30的相关描模块60的相关描述可参考上述实施例中S6[0128]特征光流图获取模块用于将每个非关键帧图像的时间距离最近的关键帧图像与块用于将每个特征光流图与时间距离最近的关键帧图像对应的关键帧特征图进行特征映键帧图像的时间距离最近的第k个关键帧图像在位置q处的特征，G(q,p+δp)表示双线性插[0138]语义分割模块用于将每个关键帧特征图与每个非关键帧映射特征图输入至全景分割模型的语义分割分支网络中进行语义预测，获得视频流的多个预测不可数目标类别。实例分割模块用于将每个关键帧特征图与每个非关键帧映射特征图输入至全景分割模型预测可数目标检测框位置以及多个预测可数目标检测框二[0140]本实施例中