CN113164098A 人类步态分析系统和方法 （林德拉有限责任公司）

PCT/EP2019/07711320WO2020/108834EN2020.06一种用于人类步态分析的计算机实现的方行走的多个帧。系统的骨架运动提取器(120)通过从获得的视频流中推断三维步态信息从视频过针对每个帧将对应帧的二维坐标与个体的身统的步态参数确定模块(130)基于局部极值帧中的个体的脚位置来确定个体的一个或多个步态21.一种基于从单目相机设备(201)获得的视频流(202)进行人类步态分析的计算机实从所述获得的视频流中推断(1100)三维步态信息，计是通过针对每个帧将对应的帧的二维关节坐标与所述个体的身体的对应的三维模型信基于所述个体的脚在局部极值帧中的位置来确定(1200)所述个体的一个或多个步态通过使用在三维人类姿态数据集上训练的卷积神经网络来推导(1110)用于关节位置接收(1120)所述视频流的至少一帧序列的选择，在此期间，所通过在每个空间坐标中为所选序列的每个帧确定使用所述调整后的骨架模型对每个视频帧执行(11对于每个所识别的像素，在与所识别的像素相邻的预定区域中对热图值积分(1113)；选择(1115)具有最高积分值的所识别的像素作为与对应4.根据权利要求1至3中任一项所述的方法，其中，所述一计算(1210)所述个体的脚在所确定的局部最大帧(flma*)中的位置之间的距离(sl*)7.根据权利要求4至6中任一项所述的方法3基于所确定的步长和在所述视频流中识别的局部最大帧数，8.根据前述权利要求中任一项所述的方法，其从自局部最大帧(flma*)识别的所述个体的脚的地板接触点(cp*)外推(1240)步行地确定(1250)另外的局部最大帧(flma*')，9.根据权利要求1至7中任一项所述的方法，其中确定(1270)局部最小帧，所述局部最小计算(1280)在局部最小帧中所述个体的两只脚12.一种包括指令的计算机程序产品，当被加载到计算设备的存储器中并且由所述计接口(110)，被配置为从单目相机设备(201)获得视频流(202骨骼运动提取器(120)，被配置为通过从所述获得的视频流中推断三维步态信息来从述估计是通过针对每个帧对对应帧的二维关节坐标与所述个体的身体的对应三维模型信步态参数确定模块(130)，被配置为基于所述个体的脚在局部极值帧中的位置(311，二维关节坐标估计器模块，被配置为针对每4通过应用针孔投影模型确定所述相机与针对至少第一和第二帧表征所述个体的当前将所定义的视频流序列中的步数确定为局部最大帧数，5及Hendrich跌倒风险模型I和II是用于评估跌倒风险的众所周知的现有技术工具。在此类复杂度比上述工具更低的设备客观地评估与跌是被直接实时地处理(流处理)还是帧序列被存储在存储设备中并随后离线处理是无关紧不需要立体相机技术。单目相机设备用于在人类个体(例如患者)行走时从该个体获得视本领域技术人员可以使用多种方法来从单目相机的图像或视频中推断三维步态6这种实现(请参阅FedericaBogo等人“保持SMPL：从单个图像自动估计3D人类姿势和形被转换为这种传感器数据的视觉表示)的任何数字数据处理步骤(例如，图像处理步骤)总ResNet家族的其他CNN作为个体关节位置估将默认骨架与确定的关节位置拟合时与默认骨架模型相关联的关节位置与CNN确定的关节7定步共同反映了个体的脚之间的距离。然后可以通过针对多个诚实局部极值(例如诚实局基于所引用的SMPLify方法的替代实施例使用二维关节坐标的估计作为输入。该估计例如可以使用诸如VNect或DeepCut等方法或卷积姿势机或为此目的提供二维关节坐8算设备的存储器中并由计算设备的至少一个处理器执行时执行本文所公开的计算机实现为运行计算机程序产品。该计算机程序产品允许执行所公开的计算机实现的方法的步骤。9本发明的其他方面将通过所附权利要求书中具体描绘的要素和组合来实现和获图1包括根据实施例的基于从单目相机设备获得的视频流用于人类步态分析的计图9是示出可以与本文描述的技术一起使用的通用计算机设备和通用移动计算机图1包括根据实施例的用于基于从单目相机设备201获得的视频流202进行人类步示出了根据各种实施例的具有用于人类步态分析的计算机实现的方法的步骤的简化流程计算机系统100包括被配置为获得由单目相机设备201提供的视频流202的接口系统100进一步包括骨架运动提取器120。骨架运动提取器120被配置为从视频流实现中，可以将估计的二维坐标与通过使用卷积神经网络(VNect方法)得出的位置图组合在可选的改进的VNect实现中(虚线框)，提取器120的推断模块121使用在三维人类姿态数据集上训练的卷积神经网络CNN。如在第4.1节中引用的VNect参考文献中所提取器120的骨架模型估计器模块122可用于改进VNect的实现，以获得个体的推的每个关节的损失并通过将默认骨架模型调整为补偿确定的损失以提供调整后的骨架模节位置还包括指示个体在每个帧上的脚位置的个体的关节。运动学骨架拟合可以根据VNect参考文献第4.2节中描述的方法执行，其中将VNect方法中的默认骨架模型替换为估积分值的像素选择作为与对应关节位置相关联的像素(11简要地转向图5，以从侧面观察的角度针对个体10示出了个体10的估计的骨架模关节坐标的二维数据经由优化程序来推断人类姿势的三维信息。除了三维人类姿势信息SMPLify实现允许从单个不受约束的图像自动估计人体(例如，个体的身体)的三SMPLify将三维人体模型(蒙皮多人线性模型(SMPL))拟合到二维关节(1160)。该模型可以SMPLify实现需要二维关节坐标的估计作为输入。该估计例如可以从VNect、DeepCut、卷积姿势机或任何其他为此提供二维关节坐标的方法获得。与VNect实现相比，以实时执行，而SMPLify则需要大约两分钟的时间才能在具有GPU的最新PC上处理单个图然后，由提取器120确定的关节位置被系统100的步态参数确定模块130用来基于的参考位置是个体的第二只脚在对应的局部极大值帧flma*中的位置。个体10开始在图7A可以根据本发明的可选实施例使用的人类步态中的诚实极值的概念。进行以下假于个体的脚距离与诚实局部极值(即诚实局部极大值/诚实局部极小值)有关的多个1.固定使得其中和是分别接受的有助于极小和极大步2.设是分别包含诚实极小值帧和诚实极大值帧的集合。每个这样的集合包括与个体的运动相关联的帧的簇其中个体的或者可以选择第k个诚实极大值/极小值的值作为中的数量的某种平均值图1的步态参数确定模块130计算在确定的局部极大值帧flma*中个体的脚位置之(或从诚实局部极大值簇推导出)将很可能与前一和后一局部极大值帧中的距离略有不同。单目相机装置201的距离针对对应的局部极大值帧间接测量在用于获得步长步态参数(1210)的替代实现中，假设相机201在视频记录期间不图8示出了根据图4C和图4D所示的实施例中的任何一个可以如何基于视频流中提在图4C的实施例中，系统从识别自局部极大值帧flma*的个体的脚的地板接触点cp*外推行走地板平面(WFP)(1240)。局部极大值帧flma*对应于也可用于步长确定的帧。个体的脚位置与行走地板平面WFP的距离d'的另外的局部极大值Ima*'。局部极大值帧帧，系统就可以计算局部极小值帧中个体的两只脚之间的距离的平均值作为步长(1280)。140可以将一个或多个确定的步态参数与表征个体跌倒风险的评分相关联。受过医学训练的人员20熟悉用于评估跌倒风险的这种评分方案。例如，这样的评分方案可以从文档“ExpertenstandardSturzprophylaxeinderPflege,1.Aktualisierung2013,DeutschesNetzwerkfürQualititsentwicklunginderPflege”获得。图9是示出可以与本文描述的技术一起使用的通用计算机设备900和通用移动计扩展端口910的高速接口908以及连接到低速总线914和存储设备906的低速接口912。组件储在存储器904或存储设备906上的指令，以在外部输入/输出设备(例如耦合到高速接口高速控制器908管理计算设备900的带宽密集型操作，而低速控制器912管理较低图形处理器或加速器)耦合到存储器904、显示器916以及可以容纳各种扩展卡(未示出)的可以包含一个或多个计算设备900、950，并且整个系统可以由彼此通信的多个计算设备处理器952可以在计算设备950内执行指令(包括存储在存储器964中的指令)。处处理器952可以通过耦合到显示器954的控制接口958和显示器接口956与用户通他信息的适当电路。控制接口958可以从用户接收命令并且将其转换以提交给处理器952。样的扩展存储器984可以为设备950提供额外的存储空间，或者还可以为设备950存储应用许安全使用设备950的指令进行编程。此外，可以通过SIMM卡以及附加信息来提供安全应产品有形地体现在信息载体中。计算机程序产品包含在被执行时执行一种或多种方法(例如上述方法)的指令。信息载体是可以例如通过收发器968或外部接口962接收的计算机或设备950可以通过通信接口966进行无线通信。通信接口966在必要时可以包括数设备950还可以使用音频编解码器960以听觉方式通信。音频编解码器960可以从用户接收语音信息并将其转换为可用的数字信息。音频编解码器960可以类似地为用户生