CN114201985B 一种人体关键点的检测方法及装置 （魔门塔(苏州)科技有限公司）

城南天成路88号天成信息大厦601-US2020098128A1,2020.本发明实施例公开一种人体关键点的检测体内所采集的图像；获得从前N帧舱体图像每一图像中检测出的各人体的人体关键点的二维位点的二维位置信息，前N帧舱体图像中各人体的N帧舱体图像之间的时序信息及图像采集设备的实现对目标场景中人体的人体关键点的三维位2获得从前N帧舱体图像每一图像中检测出的各人体的人体关键点的二维位置信息，其基于所述当前舱体图像中各人体的人体关键点的二维位置信息，所述前N帧舱体图像关键点对应的检测可见度信息以及所述当前舱体图像和所述前N帧舱体图像之间的时序信息，依次确定所述当前舱体图像和所述前N帧舱体图像中每相邻两图像之间各人体关键点基于所述当前舱体图像和所述前N帧舱体图像中每相邻两图像之间各人体关键点之间基于所述当前舱体图像和所述前N帧舱体图像中每一人体的各人体关键点的二维位置从所获得的当前舱体图像中，确定出各人体所在区域并截取，得基于各人体对应的人体区域图像以及目标人体关键点检测模型基于各人体对应的人体区域图像中各人体关键点对应的热力图获得多组样本人体图像对及其对应的标定信息，其中，所述人体图像对的各图像中各人体关键点对应的标定位置信息以及所对应样本人体图像对中利用所述多组样本人体图像对以及所述标定信息中所对应样本人体图像对的各图像3中各人体关键点对应的标定位置信息和所对应样本人体图像对中两图像之间的标定平移标定信息中所对应样本人体图像对的各图像中各人体关键点对应的标定位置信息以及所针对每一批次内每组样本人体图像对，将该批次内该组样本人体图像对中每一图像，基于该批次内该组样本人体图像对的每一图像中人体图像中存在对应关系的人体关键点之间的预基于该批次内所有样本人体图像对的每一图像中人体关键点的预测位置信息和标定若判断所述初始人体关键点检测模型对应的当前损失值超过所到该组样本人体图像对的每一图像中各人体关键点对应的热力若判断所述初始人体关键点检测模型对应的5.如权利要求1所述的方法，其特征在于，所体图像中每一人体的各人体关键点的二维位置信息、目标三维人体关键点位置预测模型、基于所述当前舱体图像和所述前N帧舱体图像中每一人体的各人体关键点的二维位置针对每一人体，基于该人体的各人体关键点对应的在该人体所对维位置信息，所述图像采集设备的参数信息以及该人体对应的预设人体活动范围约束条检测模块，被配置为从所获得的当前舱体图像中，检测出各人体4获得模块，被配置为获得从前N帧舱体图像每一图像中检测出的各人体的人体关键点所述第四确定单元，被配置为基于所述当前舱体图像中各人体的所述第五确定单元，被配置为基于所述当前舱体图像和所述前N帧舱体图像中每相邻两图像之间各人体关键点之间的相似度值，确定所述当前舱体图像和所述前N帧舱体图像所述第六确定单元，被配置为基于所述当前舱体图像和所述前N帧舱体图像中每一人点按时序排序的二维位置信息及其对应的标定三维位置信息第二确定单元，被配置为基于各人体对应的人体区域图像以及第三确定单元，被配置为基于各人体对应的人体区域图像中模型训练模块，被配置为在所述基于各人体对应的人体区域图像以定信息包括所对应样本人体图像对的各图像中各人体关键点对应的标定位置信息以及所训练单元，被配置为利用所述多组样本人体图像对以体图像对的各图像中各人体关键点对应的标定位置信息和所对应样本人体图像对中两图5样本人体图像对的每一图像中各人体关键点对应的基于该组样本人体图像对的每一图像中人体关键点对应的热基于该组样本人体图像对的每一图像中人体关键点的预测位置信息和标定位置信息，以及该组样本人体图像对中两图像中存在对应关系的人体关键点之间的预测平移值和标若判断所述初始人体关键点检测模型对应的当前损失值超过所若判断所述初始人体关键点检测模型对应的6包含各人体的人体关键点在二维图像中的二维坐标。随着各场景对检测精度的要求的提所述当前舱体图像为图像采集设备针对目标舱体内[0008]获得从前N帧舱体图像每一图像中检测出的各人体的人体关键点的二维位置信[0009]基于所述当前舱体图像中各人体的人体关键点的二维位置信息，所述前N帧舱体图像中各人体的人体关键点的二维位置信息，所述当前舱体图像和所述前N帧舱体图像之7[0014]可选的，在所述基于各人体对应的人体区域图像以及目样本人体图像对的各图像中各人体关键点对应的标定位置信息以及所对应样本人体图像[0018]利用所述多组样本人体图像对以及所述标定信息中所对应样本人体图像对的各图像中各人体关键点对应的标定位置信息和所对应样本人体图像对中两图像之间的标定图像对的各图像中各人体关键点对应的标定位置信息以及所对应样本人体图像对中两图[0023]基于该批次内所有样本人体图像对的每一图像中人体关键点的预测位置信息和[0025]若判断所述初始人体关键点检测模型对应的当前损失值[0026]若判断所述初始人体关键点检测模型对应的当前损失值未超过所述预设损失阈8[0028]基于所述当前舱体图像中各人体的人体关键点的二维位置信息，所述前N帧舱体人体关键点对应的检测可见度信息以及所述当前舱体图像和所述前N帧舱体图像之间的时序信息，依次确定所述当前舱体图像和所述前N帧舱体图像中每相邻两图像之间各人体关[0029]基于所述当前舱体图像和所述前N帧舱体图像中每相邻两图像之间各人体关键点之间的相似度值，确定所述当前舱体图像和所述前N帧舱体图像中同一人体的各人体关键[0030]基于所述当前舱体图像和所述前N帧舱体图像中每一人体的各人体关键点的二维[0031]可选的，所述基于所述当前舱体图像和所述前N帧舱体图像中每一人体的各人体[0032]基于所述当前舱体图像和所述前N帧舱体图像中每一人体的各人体关键点的二维[0036]获得模块，被配置为获得从前N帧舱体图像每一图像中检测出的各人体的人体关所述前N帧舱体图像之间的时序信息以及所述图像采集设备的参数信息，确定各人体的人体关键点对应的在所述目标舱体所对应舱体坐标系下的9人体关键点检测模型为：基于多组样本人体图像对及其对应的标定信息训练所得的模型，键点检测模型，确定出各人体对应的人体区域图像中各人体关键点的二维位置信息之前，述标定信息包括所对应样本人体图像对的各图像中各人体关键点对应的标定位置信息以及所对应样本人体图像对中两图像之间的标本人体图像对的各图像中各人体关键点对应的标定位置信息和所对应样本人体图像对中[0051]基于该批次内所有样本人体图像对的每一图像中人体关键点的预测位置信息和[0053]若判断所述初始人体关键点检测模型对应的当前损失值[0054]若判断所述初始人体关键点检测模型对应的当前损失值未超过所述预设损失阈[0057]第五确定单元，被配置为基于所述当前舱体图像和所述前N帧舱体图像中每相邻两图像之间各人体关键点之间的相似度值，确定所述当前舱体图像和所述前N帧舱体图像[0058]第六确定单元，被配置为基于所述当前舱体图像和所述前N帧舱体图像中每一人点按时序排序的二维位置信息及其对应的标定三维位置信息[0060]基于所述当前舱体图像和所述前N帧舱体图像中每一人体的各人体关键点的二维为图像采集设备针对目标舱体内所采集的图像；获得从前N帧舱体图像每一图像中检测出的三维位置信息，实现对目标场景即目标舱体中人体的人体关键点的三维位置信息的确像中各人体的人体关键点的二维位置信息以及当前舱体图像和前N帧舱体图像之间的时序定得到各人体的人体关键点对应的在所述目标舱体所对应舱体坐标系下的三维位置信息，实现对目标场景即目标舱体中人体的人体关键点的三维[0066]2、目标人体关键点检测模型通过每一样本人体图像对以及每一样本人体图像对目标人体关键点检测模型可克服平移抖动造成的所检测的人体关键点的位置出现偏差的[0068]4、从当前舱体图像以及前N帧舱体图像中人体的人体关系下的三维位置信息，并结合图像采集设备的参数信息以及预设人体活动范围约束条件，[0071]图2为本发明实施例提供的目标人体关键点检测模型的训练过程的一种流程示意[0076]图1为本发明实施例提供的人体关键点的检测方法的一种流程示意图。该方法可[0084]S102：获得从前N帧舱体图像每一图像中检测出的各人体的人体关键点的二维位中各人体的人体关键点的二维位置信息，当前舱体图像和前N帧舱体图像之间的时序信息图像包括当前舱体图像以及前N帧舱体图像。进而基于按图像之间的时序信息排序的各人的三维位置信息，实现对目标场景即目标舱体中人体的人体关键点的三维位置信息的确息训练所得的模型，每一样本人体图像对为同一人体对应的存在不同平移值的人体图像，标定信息中包括所对应样本人体图像对中两图像之间的标定位置信息以及所对应样本人体图像对中两图中各人体关键点对应的标定位置信息和所对应样本人体图像对中两图像之间的标定平移人员手动或通过特定标注工具在每一样本图像中再次标注出每一人体所在区域对应的新所在区域的矩形框进行随机平移后所得的新的矩形框为第二矩取出相应的区域图像，将存在对应关系的第一矩形框和第二矩形框各自对应的区域图像，人体图像对各图像中各人体关键点对应的标定位置信息和该样本人体图像对中两图像之[0114]通过每一样本人体图像对及其对应的标定信息中包括的样本人体图像对中两图[0119]024：基于该批次内所有样本人体图像对的每一图像中人体关键点的预测位置信应的热力图进行处理，得到该组样本人体图像对的每一图像中人体关键点的预测位置信应热力图的第i个像素点的响应值，即在样本人体图像对中一图像所对应热力图中位置信pp样本人体图像对中该图像所对应热力图的第p个像素点的响应值，表示该热力图的[0127]样本人体图像对中每一图像所对应热力图在经过soft-argmax操作之后，可以被中第j个人体关键点的预测位置信息，nmw表示样本人体图像对中一图像所对应热力图中第j个人体关键点的标定位置信息，H和W为样本人体图像对中该图像所对应热力图的尺寸定出各样本人体图像对的每一图像中人体关键点在其所对应样本图像中的预测位置信息；有样本人体图像对的每一图像中人体关键点在其对应的样本图像中的预测位置信息和标基于该图像中存在对应关系的人体关键点之间的预测平移值和标定平移值以及第三损失[0139]电子设备将初始人体关键点检测模型对应的当前损失值与预设损失阈值进行比关键点对应的检测可见度信息以及当前舱体图像和前N帧舱体图像之间的时序信息，依次确定当前舱体图像和前N帧舱体图像中每相邻两图像之间各人体关键点之间按时序排序的二维位置信息及其对应的标定三维位置信息训练所得[0146]本实现方式中，电子设备需要从不同帧图像即当前舱体图像和前N帧图像的各人体关键点对应的检测可见度信息以及当前舱体图像和前N帧舱体图像之间的时序信息，依次确定当前舱体图像和前N帧舱体图像中每相邻两图像之间各人体关键点之间的相似度目标人体对应的人体区域图像的像素面积以及该目标人体的该人体关键点对应的检测可帧中的该目标人体的各人体关键点，与第M+1帧中每一人体中与该目标人体的各人体关键人体关键点，与第M+1帧中每一人体中与该目标人体的各人体关键点对应同一语义信息的帧中的该目标人体的各人体关键点为同一人体的人体关键点，即从第M+1帧中的所有人体标人体的第j个人体关键点的序号，dj表示第M帧中目标人体的第j个人体关键点的二维位置信息和第M+1帧中的当前计算的人体的第j个人体关键点的二维位置信息之间的欧式距a为预设值，根据训练得到目标人体关键点检测模型的样本人体图像对的图像中各人体关[0153]举例而言，当前舱体图像和前N帧舱体图像中包括依据采集时间先后顺序依次排[0156]若图像1中的人体A的人体关键点1与图像2中人体C的人体关键点1之间的相似度值，大于图像1中的人体A的人体关键点1与图像2中人体D的人体关键点1之间的相似度值，可以认为图像2中人体C的人体关键点1与图像1中的人体A的人体[0157]若图像2中人体C的各人体关键点，均与图像1中的人体A体C的各人体关键点与图像1中的人体A的各人体关键点为同一人体的人[0160]电子设备确定出当前舱体图像和前N帧舱体图像中同一人体的各人体关键点之标三维人体关键点位置预测模型的训练过程可以参见相关技术中三维人体关键点位置预[0163]0331：基于当前舱体图像和前N帧舱体图像中每一人体的各人体关键点的二维位帧舱体图像的采集时间的先后顺序，排序该人体的各人体关键点在当前舱体图像和前N帧舱体图像中的二维位置信息，得到按当前舱体图像和前N帧舱体图像的采集时间的先后顺息，需要将人体的每一人体关键点对应的在该人体对应的人体坐标系下的三维位置信息，点对应的在目标舱体所对应舱体坐标系下的三所在人体坐标系的坐标原点的移动范围为该人体所在座椅平面的特定区图像采集设备的设备坐标系之间的位置转换关系以及该人体所在人体坐标系与图像采集在人体坐标系与图像采集设备的设备坐标系下之间的位置转换关系以及该人体所在人体坐标系与图像采集设备的设备坐标系之间的放[0172]即在上述针对当前舱体图像中所检测出的每一人体，计通过调整人体所在人体坐标系与图像采集设备的设备坐标系之间的位置转换关系以及该各人体关键点对应的在该人体对应人体坐标系下的空间点在当前舱体图像中的投影点的采集设备的设备坐标系下的三维位置信息为最优接作为人体的各人体关键点对应的在目标舱体所对应舱体坐标系下[0176]为了便于确定出人体的各人体关键点对应在图像采集设备的设备坐标系下的三之间的位置转换关系；vj表示该人体的第j个人体关键点在其人体所在人体坐标系的三维[0179]通过该人体对应的预设人体活动范围约束条件f(o)＝a1x+b1y+c1z+d1＝0，对上置信息，并基于该人体的各人体关键点在图像采集设备的设备坐标系下的三维位置信息，确定出该人体的各人体关键点在目标舱体所对应舱体坐标[0185]第一确定模块330，被配置为基于所