CN112784711B 运动物体检测方法和装置 （清华大学）

AU2008255220A1,2010.0本公开提供了一种运动物体检测方法和装用调制信号集中的调制信号依序对成像光信号运动物体检测方法能够在无需高速相机的情况2接收来自待测场景的光信号，并利用所述光信号对所述待测场景进在预定时间段内，利用调制信号集中的调制信号依成被调制光信号，利用图像探测器在所述预定时间段内对所述被调制光信号进行持续采获取训练数据集，所述训练数据集包括训练图像序列以及所述训练图像所包含的一个或多个运动物体的标注位置其中，在预定时间段内利用调制信号集中的调制信号依序对所述依序选择所述调制信号集中的第一数量的调制信号中的每个调制信号，并进行调制以在第二时长内得到与所述调制信号对应的被调制4.如权利要求1所述的运动物体检测方法，利用与所述调制信号集相匹配的运动物体基于所述编码图像，确定分别与所述调制信号集中的各个调制信确定所述待检测物体在所述多个解码图像中的位3及将所述编码信号集中的编码信号分别与所述训练图像序列中的对应的训练图像进行成像透镜，被配置为接收来自待测场景的光信号，并编码单元，被配置为在预定时间段内，利用调检测单元，被配置为利用与所述调制信号集相匹配的运动物体检测获取训练数据集，所述训练数据集包括训练图像序列以及所述训练图像所包含的一个或多个运动物体的标注位置依序选择所述调制信号集中的第一数量的调制信号中的每个调制信号，并4所述待检测物体在所述编码图像中的位置和类别。基于所述编码图像，确定分别与所述调制信号集中的各个调制信确定所述待检测物体在所述多个解码图像中的位及利用所述标注位置信息和标注类别对所述检将所述编码信号集中的编码信号分别与所述训练图像序列中的对应的训练图像进行成像透镜，被配置为接收来自待测场景的光信号，并在预定时间段内，将所述调制信号集中的调制信号依序控制所述空间光调制器利用所述调制信号对所述成像光信号进行调制以生成被调制光信获取训练数据集，所述训练数据集包括训练图像序列以及所述训练图像所包含的一个或多个运动物体的标注位置5生成包括运动物体的视频信号，并对视频信号进行逐帧的物体检测来实现运动物体检测，预定时间段具有第一时长，每个调制信号对所述成像光信号进行调制的时长为第二时长，在第一时长内依序得到分别与所述第一数量的调制信号对应的第一数量的被调制光信号；的所述多个子单元；以及利用被调节的多个子单元对所述成像光信号的空间分布进行调6述训练图像序列中的每个训练图像所包含的一个或多个运动物体的标注位置信息和标注预定时间段具有第一时长，每个调制信号对所述成像光信号进行调制的时长为第二时长，7述待检测物体在所述多个解码图像中的位置和类述训练图像序列中的每个训练图像所包含的一个或多个运动物体的标注位置信息和标注8编码图像，并从单个编码图像中检测出运动物体的类别和按照时间顺序的多组位置信息，从而实现对运动物体尤其是高速运动物体的高效检测，大大提高了运动物体的检测效率，[0035]根据本公开实施例的运动物体检测方法和装置例如可以实现为包括硬件部分和软件部分的运动物体检测系统。图1示出了根据本公开实施例的示例运动物体检测系统的像系统110，软件部分可以包括用于对编码图像进行检测以识别待检测物体的运动物体检9本公开实施例的运动物体检测方法200的测场景进行光学成像以生成待检测场景的成像光信号。成像透镜可以是成像系统的一部第二时长的调制时间内得到与输入的调制信号对应的被调[0042]需要说明的是，虽然在上述示例中采用了空间光调制器来对成像光信号进行调码图像的数量可以等于调制信号的第一数量。分别对所获得的多个解码图像进行物体检[0047]下面参照图3进一步描述对运动物体检测算法进行训练以得到编码信号集的方过对包括运动编码模块310的运动物体检测算法进行机器学习训练，来得到适用于运动物运动物体检测系统中的成像系统的调制信号集来对成像光信号进行调制。如图3中的示例[0050]随后，利用运动物体检测模块320对训练编码图像进行物体检测，以获得检测结果例如可以是一个或多个运动物体的类别和在多个解码图像中的多组位置信[0051]由于训练图像序列中的各个训练图像所包括的一个或多个运动物体的类别和位[0052]在对运动物体检测算法进行机器学习训练得到最优的编码信号集以及最优的网[0053]图4A-4C示出了利用根据本公开实施例的运动物体检测方法得到的检测结果的示S220中的调制信号集的第一数量为8。在利用根据本公开实施例的运动物体检测方法对编码图像进行检测后，可以从单个编码图像中识别出自行车的类别以及相应的八组位置信(i)所示的检测结果，其中在各图像中以矩形框标注了自行车的不同位置并标注了自行车[0054]在图4B的示例中，(a)为利用根据本公开实施例的运动物体检测方法得到的编码骤S220中的调制信号集的第一数量为8。在利用根据本公开实施例的运动物体检测方法对编码图像进行检测后，可以从单个编码图像中识别出汽车的类别以及相应的八组位置信述步骤S220中的调制信号集的第一数量为8。在利用根据本公开实施例的运动物体检测方[0056]从上文的描述以及图4A-4C的示例可知，在利用根据本公开实施例的运动物体检[0058]成像透镜510被配置为接收来自待测场景的光信号，并利用光信号对待测场景进[0059]编码单元520被配置为在预定时间段内，利用调制信号集中的调制信号依序对成进行机器学习训练以确定调制信号集的细节与上文参照图3描述的过程类似，因此这里省时长的调制时间内得到与输入的调制信号对应的被调制[0063]需要说明的是，虽然在上述示例中采用了空间光调制器来对成像光信号进行调[0065]检测单元530被配置为利用与调制信号集相匹配的运动物体检测算法对编码图像[0066]根据本公开实施例的示例，检测单元530在利用运动物体检测算法对编码图像进体的类别，例如可以使用边框来选定所识别出的待检测物体，并在边框处标注其类别(例解码图像的数量可以等于调制信号的第一数量。检测单元530分别对所获得的多个解码图[0070]成像透镜610被配置为接收来自待测场景的光信号，并利用光信号对待测场景进述的运动物体检测方法的步骤S210、以及参照图5描述的成像透镜510的功能的细节类似，2描述的运动物体检测方法的步骤S220、以及参照图5描述的编码单元520的功能的细节类[0071]一个或多个处理器640被配置为在预定时间段内，将调制信号集中的调制信号依个或多个处理器640还被配置为利用与所述编码信号集相匹配的运动物体检测算法对所述与上文参照图2描述的运动物体检测方法的步骤S230、以及参照图5描述的检测单元530的