CN119418392A 广播视频中运动员再识别的系统及方法 （斯塔特斯公司）

202080017540.42020.02.28本公开提供了一种再识别广播视频馈送中踪迹包括与至少一个运动员相关联的多个图像2基于所述历史体育赛事数据以及所述帧子集中所述第一运动员的一个或多个运动员由所述计算系统在一个或多个用户界面上显示所述第一运动员的所述预测轨迹的视将所述帧子集中所述第一运动员的一个或多个运动员轨迹作为附加训练数据提供给在提供所述帧子集中所述第一运动员的一个或多个运动员轨迹作为附加训练数据之基于所述身体姿势数据，由所述计算系统从所述多个可跟踪帧的至少6.根据权利要求1所述的方法，其中经过训练的神经网络配置成分析多个帧以确定所8.根据权利要求7所述的方法，其中基于地面真实运动员轨迹的集预测所述一个或多经由所述神经网络生成所述多个可跟踪帧中所述第一运经由所述神经网络基于所述运动场向量预测所述一个配置成访问所述存储器并执行所述处理器可读指令的一个或可读指令在被所述一个或多个处理器执行时配置所述一个或多个处理器以执行多个功能，3接收体育赛事的多个可跟踪帧和相应的可跟踪帧数据，其中所述多识别在所述帧子集中所述第一运动员的一个或基于所述历史体育赛事数据以及所述帧子集中所述第一运动员的一个或多个运动员在一个或多个用户界面上显示所述第一运动员的所述预测生成包括所述第一运动员在内的一个或多个运动员将所述帧子集中所述第一运动员的一个或多个运动员轨迹作为附加训练数据提供给在提供所述帧子集中所述第一运动员的一个或多个运动员轨迹作为附加训练数据之基于所述历史体育赛事数据以及所述帧子集中所述第一运动员的一个或多个运动员由所述计算系统在一个或多个用户界面上显示所述第一运动员的所述预测轨迹的视将所述帧子集中所述第一运动员的一个或多个运动员轨迹作为附加训练数据提供给4在提供所述帧子集中所述第一运动员的一个或多个运动员轨迹作为附加训练数据之18.根据权利要求16所述的非暂时性计算机可读介质，其中经过训练的神经网络配置20.根据权利要求19所述的非暂时性计算机可读介质，其中基于地面真实运动员轨迹经由所述神经网络生成所述多个可跟踪帧中所述第一运经由所述神经网络基于所述运动场向量预测所述一个5[0003]本申请要求申请日为2019年02月28日、申请号为U安装硬件以及维护此类硬件的相关成本而为体育分6关联的多个图像补丁。多个图像补丁中的每个图像补丁是多个视频帧中的对应帧的子集。一个实施例中公开的元素可适宜地用于其他实[0026]本公开的一种或多种技术改进常规系统的具体方式是提供一种尽管运动员遮挡技术可能涉及在先前已在别处观察到某人之后辨识和关联该人随着时间推移处于不同物服)信息来帮助识别运动员来克服这一挑战。然而，由于运动员在比赛过程中不断改变方7[0027]图1是示出根据示例实施例的计算环境100的框图。计算环境100可以包括经由网[0029]网络105可以包括任何类型用于交换数据或信息的计算机网络布置。例如，网络计算环境100中的组件能够在环境100个球员112的体育赛事。相机系统102可以配置为捕捉赛场(playingsurface)上所有球员[0031]相机系统102可以配置为经由网络105与组织计算系统104进行通信。组织计算系统104可以配置为管理和分析相机系统102捕获的广播馈送。组织计算系统104可以至少包一个或多个软件模块可以是存储在介质(例如，组织机器指令可以是组织计算系统104的处理器解译实施指令的实际计算机代码，也可以是解[0032]数据存储118可以配置为存储一个或多个比赛文件124。每个比赛文件124可以包[0033]自动剪辑代理120可以配置为解析给定竞赛的广播馈送以识别竞赛的统一视图。8播馈送(例如，视频)剪辑或分割成其组成部分置为将在可跟踪帧中检测到的运动员投影到现实世界坐标以供进一步分析。相机系统102[0036]运动员跟踪代理126可以配置为针对赛场上的每个运动员生成踪迹(track)。例[0037]界面代理128可以配置为生成与由运动员跟踪代理126生成的每个运动员的踪迹组织计算系统104相关联的实体顾客，例如已获得、将获得或可获得来自与组织计算系统[0039]客户端设备108可以至少包括应用132。应用132可以代表允许访问网站或独立应户端应用服务器114管理的内容。显示给客户端设备108的内容可以从Web客户端应用服务9[0042]网络205可以包括任何类型用于交换数据或信息的计算机网络布置。例如，网络计算环境200中的组件能够在环境200[0043]自动剪辑代理120可以包括主成分分析(PCA)代理202、聚类模型204和神经网络择前一个分量子集(例如，前120个分量)来生成PCA模型。主分量并保存每帧前100个分量以确保准确[0048]神经网络206可以配置为将每一帧分类为可跟踪或不可跟踪。可跟踪帧可以代表自动剪辑代理120可以如下减少(例如，最小化)样本的预测标签与真正标签yj之间的二帧皆为可跟踪。另外，如果自动剪辑代理120确定集群中少于阈值数目的帧视为不可跟踪可以剪辑或分割可跟踪帧。自动剪辑代理120可以将可跟踪帧的片段存储在与之相关联的实施开放姿势(OpenPose)以生成身体姿势数据来检测广播馈送和可跟踪帧中的运动员。在一些实施例中，姿势检测器212可以实施定位于运动员身上的传感器以捕捉身体姿势信势信息。来自姿势检测器212的输出可以是存储在与数据集生成器122相关联的数据库215些实施例中，球检测器214可以利用快速区域卷积神经网络(FasterR_CNN)来检测和跟踪测器214的输出可以是存储在与数据集生成器122相关联的数据库215中可以是存储在与数据集生成器122相关联的数据库215可以配置为将图像帧中的坐标投影到现实世界坐匹配一个或多个帧。在一些实施例中，关键帧匹配模块224可以实施互相关(cross_[0057]空间变换网络(STN)224可以配置为从关键帧匹配模块224接收所识别的关键帧作[0058]光流模块226可以配置为识别对象从一个可跟踪帧到另一帧的运动模式。在一些实施例中，光流模块226可以接收每个可跟踪帧中运动员的可跟踪帧信息和身体姿势信息其可以用于将运动员的位置从图像坐标投影到赛场上的[0060]运动员跟踪代理126可以配置为针对竞赛中的每个运动员生成踪迹。运动员跟踪代理126可以包括神经网络232和再识别代理232。运动员跟踪代理126可以接收可跟踪帧、色直方图相似度将这些踪片(trackl中。运动员跟踪代理126可以使用巴氏距离(BhattacharyyaDistance)测定颜色直方图相[0072]神经网络232可用于鉴于真实运动员轨迹而预测运动员轨迹。鉴于真实运动员轨场以供学习。例如，鉴于真实运动员轨迹集Xi，运动员跟踪代理126可以配置为生成集合[0076]踪迹生成器236可以配置为生成踪迹图库。踪迹生成器236可以接收来自数据库[0081]在一些实施例中，条件自编码器240可以是三层卷积自编码器(convolutional网络242以基于它们的特征表示f(I)来测定两个图像补丁之间的相似度。鉴于两个图像补[0085]可以针对无时间重叠的每两个踪迹计算该相似度分值。[0086]图3是示出上下文根据示例实施例结合图2和图4至图10论述的操作方面的框图300。框图300可以说明组织计算系统104在生成运动员跟踪信息时的整体工作流程。框图[0087]图4是示出根据示例实施例生成运动员踪迹的方法400的流程图。方法400可以始理120可以配置为解析广播馈送中的多个数据帧以从不可跟踪帧中分割出可跟踪帧。一般成器122可以向姿势检测器212提供存储在数据库205中的可跟踪帧以及广播视频馈送作为输入。来自姿势检测器212的输出可以是存储在与数据集生成器122相关联的数据库215中些实施例中，球检测器214可以利用FasterR_CNN来检测和跟踪可跟踪帧中和广播视频馈送的球。来自球检测器214的输出可以是存储在与数据集生成器122相关联的数据库215中可以是存储在与数据集生成器122相关联的数据库215[0094]在步骤408，组织计算系统104可以基于在步骤406中所生成的数据集而每个可跟单应矩阵而在每个可跟踪帧中校准相机。单应矩阵允许相机校准器124获取给定帧中每个配置为鉴于每个运动员的先前运动而预测运[0096]图5是示出根据示例实施例生成可跟踪帧的方法500的流程图。方法500可以对应分量子集(例如，前120个分量)来生成PCA模型。自动剪方式求解主分量并保存每帧前100个分量以确保准确剪辑。这样的压缩帧子集可以视为用剪辑代理120可以利用神经网络将每一帧分类为可跟踪或不可跟踪。可跟踪帧可以代表包不可跟踪。更进一步，如果自动剪辑代理120确定集群中特定数目的帧视为可跟踪(例如，[0105]然而，如果在步骤510中组织计算系统104确定集群中小于阈值数目的帧为可跟[0106]图6是示出根据示例实施例如上结合方法500论述的操作方面的框图600。如图所中提取帧。自动剪辑代理120可以使用视频特定PCA模型来压缩由自动剪辑代理120提取的[0109]在一组操作606，可以将压缩帧和预选数目的期望集群提供给自动剪辑代理12校准器124可以从数据库205中检索给定竞赛的可跟踪帧和每个可跟踪帧中运动员的姿势器124可以解析从数据库205中检索到的每个可跟踪帧以识别其中所含的一个或多个运动校准器124可以解析该组可跟踪剪辑以识别提供清晰赛场图片和其中标记的那些剪辑。基准器124可以利用在步骤706中所识别的流场和每个关键帧的单应矩阵来生成每一帧的单矩阵表示的几何变换，相机校准器124可以使用其变换来将图像上运动员的位置投影到赛[0119]图8是示出根据示例实施例如上结合方法700论述的操作方面的框图800。如图所216可以配置为利用神经网络来识别赛场标记。这样的分割信息可以预先执行并从数据库[0123]第一组操作804和第二组操作806可导致单应性插值816。光流模块226和STN224[0124]图9是示出根据示例实施例跟踪运动员的方法900的流程图。方法900可以对应于和如下关联任何检测对：[0134]运动场可以是一种测定运动员经过一段时间λ后在赛场x上某个点会处何方向的轨迹。鉴于真实运动员轨迹集Xi，运动员跟踪代理126可以配置为生成集合D(,),其中D(r,n可以是预测的运动场。运动员跟踪代理126小化)运动员跟踪代理126则可以如下针对任何跟踪差距大小λ生成近邻分值：配置为生成与由运动员跟踪代理126生成的每个运动员的踪迹相对应的一个或多个图形表的运动员可能不再处于相继的第二或第三可跟踪帧中。运动员跟踪代理126可以经由再识的图像中辨识出队服号码，从而可以在自编码器中学习预期的特征。在一些实施例中，f来学习与第一踪迹相关联的第一队服特征集。再识别代理234还可以识别可最初对应于第或与之相关联的第二图像补丁集来学习与第二踪迹相关联的第二队服特隐藏单元。这样的网络可用于测定无时间重叠的两个踪迹的每对图像补丁之间的相似度sj[0154]继续上述示例，再识别代理234可以利用Siamese网络242来计算第一学习的队服234可以确定第一踪迹中的第一运动员和第二踪迹中的第二运动员确[0161]图12是示出根据示例实施例的重识别代理234的Siamese网络242的架构1200的框(I2[0164]图13A示出根据示例实施例的计算系统架构1300的系统总线。系统1300可以代表组织计算系统104的至少一部分。系统1300的一个或多个组件可以使用总线1305彼此电通1315(诸如只读存储器(ROM)1320和随机存取存储器(RAM)1325)的各种系统组件耦合到处储器的高速缓存。系统1300可以将数据从存储器1315和/或存储设备1330复制到高速缓存些情况下，多模式系统可以使用户能够提供多种类型的输入以与计算设备1300进行通信。[0168]图13B示出具有可表示组织计算系统104的至少一部分的芯片组架构的计算机系可以例如包括磁性介质和固态介质。芯片组1360也可以从RAM1375读取数据以及向RAM1375写入数据。可以提供用于与各种用户接口组件1385对接的桥接器1380以便与芯片组于生成、显示和使用本文公开GUI的方法的应用可以包括通过