CN112052704B 用于检测时序动作的方法和装置 （北京京东尚科信息技术有限公司）

本申请实施例公开了用于检测时序动作的方式利用高斯时间感知网络检测动作视频中的2将所述动作视频输入至预先训练的高斯时间感知网络，得到所述动其中，所述将所述动作视频输入至预先训练的高斯时间感将所述动作视频的特征图输入至多个级联的一维时间卷积层，得到对于所述多个不同时间分辨率的特征图的单元格，学习高斯核来预将所述单元格对应的动作提名的聚合特征分别输入多个并行的将所述动作视频输入至所述三维卷积神经网络，得到所述动作将所述动作视频的特征图输入至所述一维卷积层和所述最大若存在所述彼此高度重叠的高斯核，利用高斯核聚合算法将所述计算所述高斯核中的彼此重叠的高斯核的时间基于所述彼此重叠的高斯核的时间交集的长度与所述彼此重叠的高斯核的时间并集若不大于所述预设阈值，则确定所述彼此重叠的高斯核不是所述3检测单元，被配置成将所述动作视频输入至预先训练的高斯时将所述动作视频的特征图输入至多个级联的一维时间卷积层，得到对于所述多个不同时间分辨率的特征图的单元格，学习高斯核来预将所述单元格对应的动作提名的聚合特征分别输入多个并行的4的时序动作检测方法都是从图像目标检测方法(例如SSD和FasterR-CNN)中受到启发，并5[0011]在一些实施例中，在学习高斯核来预测单元格对应的动6一个或多个处理器实现如第一方面中任一实现计算机程序被处理器执行时实现如第一方面中7[0038]图1示出了可以应用本申请的用于检测时序动作的方法或用于检测时序动作的装[0040]视频采集设备101可以通过网络102向服务器103发送其采集的动作视频。视频采测服务器可以对获取到的动作视频等数据进行分析等处理，生成处理结果(例如动作视频[0043]需要说明的是，本申请实施例所提供的用于检测时序动作的方法一般由服务器[0045]继续参考图2，其示出了根据本申请的用于检测时序动作的方法的一个实施例的[0050]在本实施例中，高斯时间感知网络(GaussianTemporalAwarenessNetworks，8[0052]进一步参考图3，其示出了根据本申请的用于检测时序动作的方法的又一个实施[0056]在本实施例中，步骤301的具体操作已在图2所示的实施例中步骤201中进行了详[0062]进一步参考图4，其示出了根据本申请的用于检测时序动作的方法的另一个实施积层(conv1和conv2)和一个最大池化层(pool1)。图5的右半部分示出了8个级联的具有高[0066]在本实施例中，步骤401的具体操作已在图2所示的实施例中步骤201中进行了详9维卷积神经网络可以从动作视频的视频片段中提取动作视频[0074]在本实施例中，上述执行主体可以将动作视频中的视频[0093]在本实施例中，上述执行主体可以确定高斯核中是否存在彼此高度重叠的高斯要生成一组新的高斯核来预测这个长动作的中心位置和彼此重叠的高斯核不是彼此高度重叠的高斯核，这些彼此重叠的高斯核分别对应一个动[0096]在本实施例的一些可选的实现方式中，给定两个相邻的高斯核G(t1,σ1)和G(t2,将彼此高度重叠的高斯核合并成混合高斯核，来预测单元格对应的长动作提名的时间尺和G(t2,σ2)之间的交并比H/L超过预设阈值ε,则[0110]在本实施例的一些可选的实现方式中，动作类别的分数可以以表示相对于默认时间边界的中心位置ac和默认时间边界的宽度aw的时间偏移，其通和α2可以设置为1.0。[0124]其中，giou为动作提名的默认时间边界与其对应的最接近的标注区域之间的交并w为动作提名对应的最接近的标注区域的宽度。[0130]给定具有精细边界的预测动作提名以及完善的边界[0133]继续参见图7，其示出了扩展图像目标检测方法和高斯时间感知网络的动作定位体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201和步骤202的相关说[0143]在本实施例的一些可选的实现方式中，定位子单元还包括：确定模块(图中未示[0146]下面参考图9，其示出了适于用来实现本申请实施例的服务器(例如图1所示的服存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而的计算机程序根据需要被安装入存储部分9申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，[0151]可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该服务器执行时，