CN112509015B 物体跟踪方法和记录介质 （松下电器（美国）知识产权公司）

一种物体跟踪方法和记录介质。该方法包到姿势预测器，预测当前帧中的第1物体的预测姿势位置各自的分布即预测分布；估计步骤中映现的第2物体各自的位置的集合；输出步骤并输出表示第2物体分别相当于第1物体中的哪别信息以及位置信息，更新表示从在预测步骤(S1)中预测出的预测分布得到的第1物体各自的2预测步骤，将姿势的时间序列数据输入到姿势预测器，从而使所述数据包含表示在时间序列上连续的2个以上的过去帧中映现的1个以上的物体各自的姿势估计步骤，将所述当前帧输入到第2神经网络，从而使所述第输出步骤，通过将所述1个以上的第2物体各自的位置的集合和所述预测分布进行匹更新步骤，基于在所述输出步骤中取得的所述识别信息以及示从在所述预测步骤中预测出的所述预测分布得到的所述1个以上的第1物体各自的姿势在所述输出步骤中，通过将所述1个以上的第2物体各自的位置于计算出的所述组取得并输出所述识别信息和在所述输出步骤中，通过将所述1个以上的第2物体各自的位置在所述预测步骤中，所述第1神经网络使用用于考虑所述不确定性的1个以上的模型，所述预测分布是考虑了所述不确定性的分布，是包含预测出的所述第1神经网络具有循环神经网络和形成所述1个以上的模型的规所述1个以上的模型通过对所述规定的神经网络应用丢弃，使构成所述规定的神经网8.一种记录介质，是记录有程序的非暂时性的预测步骤，将姿势的时间序列数据输入到姿势预测器，从而使所述3数据包含表示在时间序列上连续的2个以上的过去帧中映现的1个以上的物体各自的姿势估计步骤，将所述当前帧输入到第2神经网络，从而使所述第输出步骤，通过将所述1个以上的第2物体各自的位置的集合和所述预测分布进行匹更新步骤，基于在所述输出步骤中取得的所述识别信息以及示从在所述预测步骤中预测出的所述预测分布得到的所述1个以上的第1物体各自的姿势4专利文献1)。这里，2阶段的方案是如下方案：1)使用deepCNN(ConvolutionalNeuralNetwork：卷积神经网络)来估计每个帧的姿势，2)按每帧进行贪婪二分图匹配(greedy相同的ID。另外，在该匹配中，使用估计出的姿势和预测出的姿势的对象关键点相似性势的时间序列数据包含表示在时间序列上连续的2个以上的过去帧中映现的1个以上的物体各自的姿势的坐标，所述姿势预测器包含第1神经网络且进行考虑了不确定性的姿势预5的所述预测分布得到的所述1个以上的第1物体各自的姿势的坐标的数据追加到所述姿势[0016]图2是表示通过软件实现实施方式中的物体跟踪装置的功能的计算机的硬件结构[0030]图12是表示将实施例3中的姿势预测器的组件无效化等的情况下的性能评价实验[0031]图13是在视觉上表示基于本公开和比较例中的物体跟踪方法的物体跟踪结果的[0032]图14是在视觉上表示基于本公开和比较例中的物体跟踪方法的物体跟踪结果的6[0045]本公开的一个方式的物体跟踪方法是由计算机进行的影像的物体跟踪方法，包据包含表示在时间序列上连续的2个以上的过去帧中映现的1个以上的物体各自的姿势的所述当前帧输入到第2神经网络，从而使所述第2神经网络估计在所述当前帧中映现的1个得到的所述1个以上的第1物体各自的姿势的坐标的数据追加到所述姿势的时间序列数据，确定性的1个以上的模型，通过使所述1个以上的模型分别根据所述姿势的时间序列数据，[0052]另外，例如也可以是，所述1个以上的模型通过对所述规定的神经网络应用丢弃7的1个以上的物体各自的识别信息以及作为表示该物体各自的姿势的位置的位置信息在内示通过软件实现实施方式中的物体跟踪装置10的功能的计算机1000的硬件结构的一例的[0064]RAM1005是随机存取存储器(RandomAccessMemory)，在执行程序或应用程序时[0065]读取装置1007从USB(UniversalSerialBus，通用串行总线)存储器等记录介质8[0071]物体跟踪装置10跟踪输入的影像中映现的1个以上的物体的姿势。在本实施方式预测的预测分布是考虑了后述的2种不确定性的至少一方的分布，是包含预测出的预测姿预测构成当前帧中的1个以上的人物的姿势的关键点的位置位于当前帧内的哪个边。这样从影像取得的当前帧输入到第2神经网络，使第2神经网络估计当前帧中映现的1个以上的9第2物体各自的位置的集合。在本实施方式中，第2神经网络是非专利文献1所公开的deep势的关键点的位置的集合，则可以是任意结构的DNN(DeepNeuralNetwork：深度神经网[0082]匹配部13将姿势估计部12估计出的1个以上的第2物体各自的位置的集合和姿势[0083]在本实施方式中，匹配部13使用对象关键点相似性(OKS)对姿势预测器11预测出关键点相似性(OKS)是表示关于被注释的关节点的估计坐标与正确坐标的相似度的平均的计部12估计出的关键点的位置的集合的所有组，使用对象关键点相似性(OKS)来计算匹配的匹配得分的组由通过姿势预测器11预测而在分布中的关键点的位置与通过姿势估计部的人物的姿势的位置信息例如是构成1个以上的人物的姿势的多个关键点的位置坐标。另中预测出的预测分布得到的1个以上的第1物体各自的姿势的坐标的数据追加到姿势的时[0092]更详细而言，数据更新部15也可以使用粒子滤波器来更新姿势的时间序列数进行误差反向传播算法(backpropagation)和对数似然度的误差函数的计概率行为的多种姿势(也称为多个假设)。在此，2种不确定性是认知不确定性(EpistemicUncertainty)和异方差偶然不确定性(HeteroscedasticAleatori[0098]认知不确定性是起因于与模型以及模型所使用的参数相关的知识或者信息的不[0099]偶然不确定性是起因于在观测中本来存在的差异或变动即观测中固有包含的噪异方差偶然不确定性是在观测中固有地包含的噪声量根据输入而不同的情况下的不确定[0102]输入处理部111从输入到姿势预测器11的姿势的时间序列数据中提取并输出例如表示10帧量等规定的时间所包含的在过去帧中映现的1个以上的人物各自的姿势的坐标、据中提取表示时间长度的参数L所包含的数量的过去帧中各自的构成姿势的关键点的集合[0107]循环NN113是具有回溯并输入某一层的输出的递归耦合，并处理随着时间的经过而值发生变化的时间序列数据的神经网络。循环NN113例如也可以是LSTM(LongShortTermMemory：长短期记忆)。此外，循环NN113并不限于LSTM，也可以是GRU(Gated[0110]全耦合NN114是由全耦合层构成的神经网络，也被称为全耦合型的神经网络(前型进行概率采样(也称为概率模型)的同时按照每个模型输出1个姿势预测。并且，全耦合NN114将姿势预测的结果近似为高斯分布[0112]这样，全耦合NN114能够将从概率模型得到的多个姿势近似为高斯分布并作为预[0117]输出处理部115基于从第1神经网络112输出的分布(上述的预测分布)，进一步生[0119]更具体而言，输出处理部115将包含从第1神经网络112输出的分布和生成的多个网络112输出的高斯分布和从姿势的时间序列数据提取出的最新的眼睛可见的关键点的坐作有助于有效地利用粒子滤波器的样本集合中使用的有预测结果的情况、和作为比较例使用非专利文献1中公开的姿势跟踪技术来估计当前帧的~图7C中，虚线的区域表示当前帧中预测的关键点的位置的分布(相当于上述的预测分入到姿势估计部12的影像中的在时间序列上连续的2个以上的过去帧中映现的1个以上的的物体的位置信息是构成当前帧中的物体的姿势的多个关表示从在步骤S1中预测出的预测分布而得到的当前帧的物体的姿势的坐标的数据追加到具的TensorFlow来安装，除了最外侧的循环以外的循环的重复和全部独立的线程由GPU并示的算法相当于物体跟踪装置10的姿势估计部12的姿势估计处理。由“(3)贪婪匹配子更新(ParticleUpdate)”表示的算法相当于物体跟踪装置10的数据更新部15的更新处t[0143]此外，在时刻t＝1即针对构成影像的最初的当前帧t或者没有激活滤波器的情况x(j)tt(j)t[0153]图11是表示实施例3中的物体跟踪性能的评价结果的图。在图11中，使用Pose-文献1中公开的姿势跟踪方法的MOTA作为比较例表示，将其他现有的姿势跟踪方法的MOTA[0156]图12是表示将实施例3中的姿势预测器11的组件无效化等的情况下的性能评价实然不确定性进行模型化的情况下进行检查。另外，在图12中，认知不确定性表现为间变量的num_Switches。另外，MOTA由num_Switches、num_misses以及num_false_为例如A这样的人物的关键点，但在其他帧中误识别为例如B这样的人物的关键点。num_misses是表示在某帧内未识别出本来应该识别的关键点的位置的姿势估计错误的总数的指标。num_false_positives是表示在某帧内错误地识别出本来不应该识别的关键点的姿种不确定性的姿势预测器11中，通过参照表示姿势的时间序列数据的时间长度的参数L的定性的姿势预测的姿势预测器11来进行影像中映现的人物的姿势跟踪，能够抑制跟踪失[0163]图13和图14是在视觉上表示基于本公开和比较例中的物体跟踪方法的物体跟踪思的范围内实施本领域技术人员想到的各种变形而得到的变形例也包及上下文信息。由此，本公开的物体跟踪方法例如有能够应用于SLAM(SimultaneousLocalizationandMapping：同步定位与地图创建)这样的各种各样的SMC(Sequential[0174](2)构成上述装置的构成要素的一部分或全部也可以由1个系统LSI(LargeScale[0175](3)构成上述装置的构成要素的一部分或全部也可以由能够装卸于各装置的IC卡述IC卡或所述模块也可以包含上述的超多功能LSI。通过微处理器按照计算机程序进行动[0177](5)另外，本公开也可以将所述计算机程序或所述数字信号记录在计算机可读取[0180]另外，也可以通过将所述程序或所述数字信号记录在所述记录介质中并进行移[0182]本公开能够利用于记录有物体跟踪方法以及程序的非暂时性的计算机可读取的记录介质，特别是能够利用于记录有对在影像中映现的多个人物的2维的人物姿势进行跟踪的物体跟踪方法以及程序的非暂时性的计算机可读取的