CN116311518B 一种基于人体交互意图信息的层级人物交互检测方法 （北京工业大学）

一种基于人体交互意图信息的层级人物交本发明公开了一种基于人体交互意图信息测输入图像中的所有对象实例。2)人物交互检的距离特征作为引导视觉距离特征的优化，提22)人物交互检测：利用多粒度人体信息构建人物交互检测方法的输入为RGB图像xi、人的检测框信息Br物体的检测框信息B,,输其中，为图像3中m个人的集合，为图像3中n个物体的集合；层级化网络结构由空间布局层、交互意图层和客观外表层构2.根据权利要求1所述的一种基于人体交互意图信息的层级人物交互检测方法，其特活函数对<人物体>对空间特征进行人物交互分类,f表示空间3.根据权利要求1所述的一种基于人体交互意图信息的层级人物交互检测方法，其特34.根据权利要求1所述的一种基于人体交互意图信息的层级人物交互检测方法，其特将输入图像I和由人类姿势估计网络计算的人眼中心的位置作为输入，输出固定区域的注xp)8H(x))(6)hc是目标分类器特征向量；no)(8)在该阶段输出的二维概率向量中，第一维度是交互作用存在的概4构建一个维度为HXW的2通道距离图；使用余弦距离来反映身体和物体之间方向的相使用现有的姿势估计方法来获得关键点的位置，然后根据关键点确定相应的人体部获取的矩形区域就用作身体部位所在的区域；获得表示人体各部分的区域的边界框之后，5.根据权利要求4所述的一种基于人体交互意图信息的层级人物交互检测方法，其特6.根据权利要求5所述的一种基于人体交互意图信息的层级人物交互检测方法，其特56[0001]本发明属于计算机视觉和人物交互检测领域，研究了一种新的人物交互检测方进一步理解场景中的人与物体之间的交互方式。人物交互检测(HOIDetection)就是进一用于人物交互检测任务中。Li等人使用姿势估计网络和人类姿态分支来构建交互检测网FrameworkAugmentedbyHumanInteractiveIntention),实现基于多粒度互补的人体7[0005]在现有的人物交互检测数据集HICO_DET和MicrosoftCOCO数据集的子集V_COCO检测算法PMFNet相比，其相对增益分别为7.56％和9.62在V_COCO数据集上获得了和物体之间的距离_特征作为引导视觉距离特征的优化提升人物交互检互距离_特征网络的构建，以通过人体部位与物体间交互关系抽象出人物之间距离位置信8与者注视的区域信息，利用人体的注视线索来在复杂场景中引导人体关注的上下文区域。[0012]人物交互检测算法HII_框信息B,,输出为图像中所有的<人_物>对实例的交互行为得分sho,用公式描述如下：[0018]空间布局层：空间布局层的目的是在宏观交互层面上获得交互式空间布局信由于在HOI检测任务中需要实例之间的位置信息，因此可以借助空间位置关系来定位场景9经网络进行特征提取，利用两个最大池化卷积层(MaxPooling)和两个全连接层来提取空个全连接层进行特征增强后计算人流特征和物流特征在交互类别上的概率得分Sh和Sh,用像I和由人类姿势估计网络计算的人眼中心的位置作为输入，输出固定区域的概率密度图z))(6)cywc是目标分类器得分向量。＞，合获得的人体部位与物体之间位置信息可以反映中观层面的将获取到的所有人体部位的距离_特征图连接起来，并使用FC层将其转换为身体部位支流[0049]j=CE(Y,sj)au=Aj+LC(12)[0058]交互判断模块和交互分类模块的人和物体流由具有全局平均池的残差块和输出法使用Tensorflow实现，并部署在具有单个Nvidia3090GPU的机器上。随机梯度下降法[0063]为了验证HII_Net的实际效果，我们使用公开的人物交互检测数据集HICO_DET和[0064]对于图像中的一个人_物体对实例，如果人的检测框和物体的检测框与各自的真mAP(Sc.1)mAP(Sc.2)40.047.9844.0_45.352.448.3Xuet.al45.9_47.854.252.0_52.54的人流分支(HumanStream)、物体流分支(ObjectStream)、空间布局流分支(Spatial表述方便，我们将HII_Net的Baseline、GazeStream、Joint_poseStream和BodypartmAP(Sc.1)49.7650.8351.3752.54与者注视的区域，利用人类的注视信息来在复杂场景中引导人体关注的上下文区域。与忽视无关位置特征，我们提出使用人和物体之间的距离_特征作为引导视觉分支的特征优[0076]综上分析，本发明所提出的人物交互检测算法HII_Net通过在视觉特征中融入真化，共同完成了对人物交互检测性能的进一步提升。HII_Net在HICO_DET数据集及其罕见29.0637.3342.5226.0431.6243.2661.9066.2872.3826.4932.2535.6374.4076.8746.1352.5953.4537.7339.1442.688.269.4051.4553.8352.6422.4029.5753.5953.8932.0240.8242.7440.6243.2744.6747.6148.3848.6937.1841.6343.3234.7640.1438.68work_on_comp56.2965.5166.4341.6949.9547.2477.1579.7078.7579.