CN110705448A 一种人体检测方法及装置 （北京市商汤科技开发有限公司）

2基于所述待检测图像，确定用于表征人体骨骼结构的骨骼关键点的位置基于所述骨骼关键点的位置信息、以及所述轮廓关4.根据权利要求1至3任一所述的人体检测方法，其特征包括所述骨骼关键点的位置信息以及所述轮廓基于所述人体检测结果，执行下述操作中一种或者多基于所述待检测图像，进行骨骼特征及轮廓特征的基于所述待检测图像，进行至少一次骨骼特征及轮廓所述基于特征融合结果，确定用于表征人体骨骼结构的骨基于最后一次特征融合的特征融合结果，确定所述3检测模块，用于基于所述待检测图像，确定用于表征45[0029]所述基于特征融合结果，确定用于表征人体骨骼结构的骨骼关键点的位置信息、[0033]使用预先训练的第一特征提取网络从待检测图像中提取用于表征人体骨骼特征6[0043]该实施方式中，基于预先训练的特征融合网络对骨骼特征以及轮廓特征进行融[0048]使用第一特征提取网络从待检测图像中提取用于表征人体骨骼特征的骨骼关键骼特征矩阵，并从所述第一骨骼特征提取网络中的第一目标卷积层获取第二骨骼特征矩7同、且所述第一目标骨骼特征矩阵与所述第一目标轮廓特征矩阵在相同维度上的维数相[0058]该实施方式中，将第一骨骼特征矩阵以及所述第二骨骼特征矩阵进行拼接处理，第一拼接特征矩阵；并使用所述第一变换神经网络对所述第一拼接特征矩阵进行维度变8第二拼接特征矩阵，并使用所述第二变换神经网络对所述第二拼接特征矩阵进行维度变[0067]使用所述第一定向卷积神经网络对所述第一目标骨骼特征矩阵进行定向卷积处[0068]使用所述第二定向卷积神经网络对所述第一目标轮廓特征矩阵进行定向卷积处9过该人体检测模型能够得到兼顾表征精细度以及计[0104]使用预先训练的第一特征提取网络从待检测图像中提取用于表征人体骨骼特征骼特征矩阵，并从所述第一骨骼特征提取网络中的第一目标卷积层获取第二骨骼特征矩同、且所述第一目标骨骼特征矩阵与所述第一目标轮廓特征矩阵在相同维度上的维数相第一拼接特征矩阵；并使用所述第一变换神经网络对所述第一拼接特征矩阵进行维度变第二拼接特征矩阵，并使用所述第二变换神经网络对所述第二拼接特征矩阵进行维度变[0134]使用所述第一定向卷积神经网络对所述第一目标骨骼特征矩阵进行定向卷积处[0135]使用所述第二定向卷积神经网络对所述第一目标轮廓特征矩阵进行定向卷积处[0154]图2b示出了本公开实施例所提供的一种主轮廓关键点及辅助轮廓关键点的位置[0155]图2c示出了本公开实施例所提供的另一种主轮廓关键点及辅助轮廓关键点的位[0156]图2d示出了本公开实施例所提供的另一种主轮廓关键点及辅助轮廓关键点的位[0163]图9a示出了本公开实施例所提供的一种使用散射卷积算子进行迭代更新过程的[0164]图9b示出了本公开实施例所提供的一种使用聚集卷积算子进行迭代更新过程的[0168]图13示出了本公开实施例所提供的对二维特征矩阵中的元素值进行位移变换的[0179]针对以上方案所存在的缺陷，均是发明人在经过实践并仔细[0204]可以使用预先训练的第一特征提取网络从待检测图像中提取用于表征人体骨骼能会造成最终得到的用于表征人体骨骼特征的骨骼关键点的第一目标骨骼特征矩阵不够那么该第一目标骨骼特征矩阵表示为64*32*14；第一目标轮廓特征矩阵的也可以表示为[0253](3)将单独训练和融合训练相结合得到第一特征提取网络的过程，可以采用上述[0254]或者还可以先采用(1)中的过特征和骨骼特征之间是具有相互的关联关系的；将轮廓特征和骨骼特征进行融合的目的，是要建立通过特征提取过程分别提取的骨骼特征和轮廓特征之间的相互影响关系；另外，[0261]本公开实施例提供一种将提取得到的骨骼特征和轮廓特征进行特征融合的具体[0265]将特征融合神经网络与第一特征提取网络进行联合训练的过程，可以参见上述[0267]对骨骼特征和轮廓特征进行特征融合的过程可以包括但不限于下述m1～m3中至[0287]步骤3.2：使用第一基础卷积[0288]步骤3.3：使用第二基础卷积[0289]步骤3.4：将第一样本中间轮廓特[0290]步骤3.5：将第一样本中间骨骼特[0299]S801：使用第一定向卷积神经网络对第一目标骨骼特征矩阵[0300]S802：使用第二定向卷积神经网络对第一目标轮廓特征矩阵[0313]在使用第一定向卷积神经网络对第一目标骨骼特征矩阵进行定向卷积处理的情图9a所示，提供了一种使用散射卷积算子FiS对网格大小为5的子矩阵中元素的元素值进行[0321]如图9b所示，提供了一种使用聚集卷积算子FiG对[0324]图9a和图9b中的示例，仅仅是使用散射卷积算子FiS和聚集卷积算子FiG对子矩阵[0329]步骤4.2：使用第一基础定向卷[0332]步骤4.3：使用第二基础定向卷[0334]步骤4.4：使用第三基础卷[0337]步骤4.6：使用第四基础卷配对的另一关键点对应的三维特征矩阵中，获取与配对的另一关键点对应的二维特征矩对应的二维特征矩阵中的元素值进行位置变换，得到与该当前关键点对应的位移特征矩二维特征矩阵中的元素值进行位置变换后，得到的与P对应的位移特征矩阵如图13中b所[0370]步骤5.2：对第一样本目标骨骼特对应的各个样本位移特征矩阵进行拼接处理，得到该骨骼关键点的样本拼接二维特征矩对应的各个样本位移特征矩阵进行拼接处理，得到该轮廓关键点的样本拼接二维特征矩[0389]使用该第二特征提取网络进行本次特征提取的生一次特征融合的特征融合结果[0391]使用第二骨骼特征提取网络对上一次特征融合得到的第二目标骨骼特征矩阵进[0392]使用第二轮廓特征提取网络对上一次特征融合得到的第二目标轮廓特征矩阵进[0393]具体的处理方式与上述A中使用第一骨骼特征提取网络从待检测图像中提取第一置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述人体检测方法相似，[0405]一种可能的实施方式中，所述轮廓关键点包括主轮廓关[0422]使用预先训练的第一特征提取网络从待检测图像中提取用于表征人体骨骼特征[0434]所述检测模块152，用于采用下述方式使用第一特征提取网络从待检测图像中提骼特征矩阵，并从所述第一骨骼特征提取网络中的第一目标卷积层获取第二骨骼特征矩同、且所述第一目标骨骼特征矩阵与所述第一目标轮廓特征矩阵在相同维度上的维数相[0446]所述检测模块152，用于采用下述方式使用特征融合神经网络对所述第一目标骨第一拼接特征矩阵；并使用所述第一变换神经网络对所述第一拼接特征矩阵进行维度变第二拼接特征矩阵，并使用所述第二变换神经网络对所述第二拼接特征矩阵进行维度变[0451]所述检测模块152，用于采用下述方式使用特征融合神经网络对所述第一目标骨[0452]使用所述第一定向卷积神经网络对所述第一目标骨骼特征矩阵进行定向卷积处[0453]使用所述第二定向卷积神经网络对所述第一目标轮廓特征矩阵进行定向卷积处[0457]所述检测模块152，用于采用下述方式使用特征融合神经网络对所述第一目标骨及与硬盘等外部存储器122交换的数据，处理器11通过内存121与外部存储器122进行数据[0473]所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用的情况本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器