CN113139896B 基于超分辨重建的目标检测系统及方法 （波音公司）

何子航王伟刚李凤男赵家凤本申请公开了一种基于超分辨重建的目标图像数据的检测结果映射至组合后的图像数据2超分辨率重建模块，被配置为接收所述数据采集模块所采集的图像数据及划分和融合模块，被配置为将经过目标检测的所述图像数据裁剪为多个子图像数据，其中，所述超分辨率重建模块是经训练的时空亚像素卷所述时空亚像素卷积网络在进行端到端训练时的总Loss公其中θΔ为所述运动估计部分的参数，θ为所述超分辨率部分的参数，f"表示图像帧，表示经过扭曲处理的图像帧。融合模块中，对经过目标检测的所述图像数据进行裁剪的步长是基于边缘检测得到的数3超分辨率重建步骤，接收所采集的图像数据，并对所述图像数据进行划分和融合步骤，将经过目标检测的所述图像所述时空亚像素卷积网络在进行端到端训练时的总Loss公其中θΔ为所述运动估计部分的参数，θ为所述超分辨率部分的参数，f"表示图像帧，表示经过扭曲处理的图像帧。融合步骤中，对经过目标检测的所述图像数据进行裁剪的步长是基于边缘检测得到的数45[0002]图像超分辨率技术是在现有成像设备基础上提高图像或目标空间分辨率的信号进行视频超分辨率的处理中，有时需要首先通过上采样将低分辨率图像映射到高清网格“Real-TimeSingleImageandVideoSuper-ResolutionUsinganEfficientSub-PixelConvolutionalNeuralNetwork."(2016):1874-1883文章中，提出一种实时的图像超分辨率算法ESPCN(EfficientSub-PixelConvolutionalNeuralNetwork)，在网络输出层之前进行上采样。网络的前e-1层均为设置了激活函数层的普通(整数像素)卷积层，W×C×r2的特征图重新排列为(r×H)×(r×W)×C作为输出。为进一步提高速度，Caballero，Jose等人在2016年发表了“Real-TimeVideoSuper-Resolutionwith出了一个端到端联合训练运动补偿和视频超分辨率算法，引入时空亚像素卷积网络来达到实时的视频图像超分辨率。该网络主要利用早融合(earlyfusion)和慢融合(slowfusion)来处理时间维度，然后基于空间转换建立了运动补偿框架，再与ESPCN时空网络结合实现视频超分辨率重建的实时计算。在实现视频超分辨率重建的现有技术中，存在以下超越，传统的超分辨率重建(插值)及目标检测方法的重建质量较低，且基于模板的检测方问了解决传统的超分辨率重建(插值)及目标检测方法的上述问题，已经提出了针对通过增加context(上下文)的信息来提高目标检测的准确率的方法，DSSD里面尝试通过加入6定位，即，目标检测(objectdetection)是分类(classification)任务和定位议(regionproposal)阶段，直接产生物体的类别概率和位置坐标值，比较典型的算法如[0005]尺度(缩放)不变性(scaleinvariant)表示对于识别和定位对象是至关重要的，提到的几种方法检测结果都存在不足，导致该问题的原因在于卷积网络结构存在以下矛盾:网络浅层的特征图(featuremap)大但语义(context)信息不够，网络深层的语义信息[0007](2)基于深浅层包含互补的信息这一事实，将浅层特征和深层特征(上下文信息)7[0025]其中θΔ为所述运动估计部分的参数，θ8[0042]其中θΔ为所述运动估计部分的参数，[0048]图2示出了根据本发明实施例的基于超分辨重建的目标检测系统中的超分辨率重[0049]图3示出了根据本发明实施例的基于超分辨重建的目标检测系统中的目标检测模[0050]图4示出了根据本发明实施例的基于超分辨重建的目标检测系统中的划分和融合9员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范[0059]目标检测：目标检测(objectdetection)是分类(classification)任务和定位标注出物体的类别。[0062]本发明中提出的基于超分辨重建的目标检测系统和方法可用于实际应用中针对[0064]图2是示出了根据本发明实施例的基于超分辨重建的目标检测系统中的超分辨率体的位置可能发生了变化，通过扭曲(warp)可以使和中物体的位置差[0076]图3是示出了根据本发明实施例的基于超分辨重建的目标检测系统中的目标检测的卷积预测器(Convolutionalpredictorsfordetection)：每一个新添加的层(或者在认框和纵横比(Defaultboxesandaspectratios)：每一个框相对于与其对应的特征图[0078]SSD训练的目标函数(Trainingobjective)可以处理多个目标类别。用端=1表示第i个默认框与类别p的第j个真实框(groundtruthbox)相匹配，若不匹配的话，则(loc)与confidenceloss(conf)加权[0080]下面对参数含义进行解释，其中：N是与真实框相匹配的defaultboxes个数。negativemining。因此本文先将每一个物体位置上对应预测框(defaultboxes)为负几个，保证最后负样本和正样本的比例在3∶1。(此算法位于bbox_util.cpp中的函数使用原始的图像。(2)采样一个补丁(patch)，与物体之间最小的杰卡德重叠(jaccard[0082]图4示出了根据本发明实施例的基于超分辨重建的目标检测系统中的划分和融合模块的示意图。图4中所示的划分和融合模块400可以作为图1中所示的划分和融合模块留图像中完整的检测结果(子图像)，其学习标签是每张图中物体的边缘坐标(预测出此数[0084]图5示出了根据本发明实施例的基