人体姿态检测人体姿态检测

2021.5.252021.5.252021.5.252021.5.252021.5.25昇腾AI应用

第二章智慧园区视觉模块开发

——基于HiLens人体姿态检测

案例应用场景

案例规划部署

案例演示操作

案例相关知识案例应用场景案例演示操作案例规划部署案例需求方案案例相关知识人体姿态检测，主要在于研究描述人体姿态以及预测人体行为,其识别过程是在指定图像或视频中,根据人体中关节点位置的变化,识别人体动作的过程。在人体姿态检测方面，有些小得难以看见的关节点，遮蔽的关节点，无法进行很好的识别，但是利用深度学习技术就可以根据上下文判断的关节点。人体姿态检测概述人体姿态是人体重要的生物特征之一，有很多的应用场景，如：步态分析、视频监控、增强现实、人机交互、金融、移动支付、娱乐和游戏、体育科学等。姿态识别能让计算机知道人在做什么、识别出这个人是谁。特别是在监控领域、在摄像头获取到的人脸图像分辨率过小的情况下是一个很好的解决方案，还有在目标身份识别系统中可以作为一项重要的辅助验证手段，达到减小误识别的效果。人体姿态检测应用场景在家庭智能安防方面，固定场景下的人体姿态检测技术可以应用于家庭监控,比如为了预防独居老人摔倒情况的发生,可以通过在家中安装识别摔倒姿态的智能监控设备,对独居老年人摔倒情况进行识别,当出现紧急情况时及时做出响应。在人机交互方面，人体姿态检测可以对人体关键部位比如手肘、脚踝、膝盖等位置做到实时识别，以提供无接触人机交互。目的是为了进一步实现复杂的无接触人机交互，提升用户体验。人体姿态检测应用场景案例应用场景案例演示操作案例规划部署案例需求方案案例相关知识演示操作流程准备工作：（1）配置网络（2）注册、配置HiLensKit流程（3）查看设备状态人体姿态检测开发：（1）申请HiLensStudio公测（2）新建人体姿态检测技能（3）开发人体姿态检测技能（4）安装人体姿态检测技能（5）启动人体姿态检测技能（6）发布人体姿态检测

演示操作流程——准备工作准备工作：演示操作流程——准备工作准备工作：演示操作流程——准备工作准备工作：演示操作流程——准备工作准备工作：演示操作流程—新建人体姿态检测技能演示操作流程—开发人体姿态检测技能演示操作流程—开发人体姿态检测技能演示操作流程—开发人体姿态检测技能演示操作流程—开发人体姿态检测技能演示操作流程——安装人体姿态检测技能演示操作流程——启动人体姿态检测技能演示操作流程——运行人体姿态检测技能演示操作流程——运行人体姿态检测技能演示操作流程——运行人体姿态检测技能案例应用场景案例演示操作案例规划部署案例需求方案案例相关知识案例规划案例应用场景案例演示操作案例规划部署案例任务实施

案例相关知识掌握华为云账号的实名认证流程掌握HiLens设备注册掌握修改HiLensKit设备掌握HiLensKit设备固件升级掌握HiLensKit市区设置掌握人脸技能开发（1）申请HiLensStudio公测（2）新建人体姿态检测技能（3）开发人体姿态检测技能（4）安装人体姿态检测技能（5）启动人体姿态检测技能（6）运行人体姿态检测技能案例任务实施目标案例任务实施任务一：注册设备到HiLens管理控制台

准备工作（1）开通HiLens服务（2）修改设备连接（3）HiLensKit登录系统（4）HiLensKit固件升级（5）HiLensKit时区设置（6）SSH远程连接HiLensKit（7）注册设备至华为HiLens管理控制台任务二：人体姿态检测技能开发（1）申请HiLensStudio公测（2）新建、开发、安装、启动及运行人体姿态检测技能•

已注册华为云账号，并完成实名认证。•

注意使用华为HiLens前，检查账号不能处于欠费或冻结状态。账号准备•

HiLens

Kit设备1台、笔记本电脑1台、路由器1台、显示屏1台、HDMI线1根、网线1根。硬件准备•

SSH登录工具，如Putty、MobaXterm等•

SSH登录、HiLens管理平台登录、固件升级、时区设置软件准备环境准备1.2.注册华为云账号，并完成实名认证登录HiLens管理控制台https://www.huaweicloud.com/product/hilens.html

。环境准备：（1）开通HiLens服务将笔记本电脑和HiLens

Kit用网线直连，单击“打开网络和共享中心”，修改本地连接属性，将IPV4的IP改为192.168.2.X（2-255,其中111除外），保证电脑和HiLensKit在同一网段。环境准备：（2）修改设备连接1.2.登录HiLens

kit

管理平台https://192.168.2.111，进入硬件管理平台首页。初始登录用户名：admin，密码：Huawei12#$，确保安全请修改密码环境准备：（3）HiLensKit登录管理系统1.检查：在升级之前先检测版本号，若低于2.2.100.31，则需要在HiLens帮助文档或论坛先下载升级包进行固件升级。升级：选择下载后的升级文件，点击升级，注意在升级的过程中勾选重启。2.2.2.0.031环境准备：（4）HiLensKit固件升级环境准备：（4）HiLensKit固件升级HiLensKit时间若与网络时间不匹配，则技能无法推理，所以要保持时间一致。新购买的设备时间需设置，如下环境准备：（5）HiLensKit时区设置1.2.使用SSH远程连接HiLens

Kit，推荐SSH使用工具MobaXterm。默认IP：192.168.2.111；初始登录用户名：admin，密码：Huawei12#$；进入develop模式，密码：Huawei@SYS3环境准备：（6）SSH远程连接HiLensKit1.网络连接3.技能选择5.技能查看4.技能部署6.结果演示2.设备注册任务一：注册设备到HiLens管理控制台HiLensKit组网，默认IP：11（1）无线网络连接路由器（推荐）；（2）有线网络直连路由器；普通用户技能使用流程①HiLens

Kit连网Web登陆HiLens硬件管理平台登陆HiLensKit管理系统②云侧技能使用网络设置1.2.登录HiLens

kit

管理平台https://192.168.2.111，进入硬件管理平台首页。初始登录用户名：admin，密码：Huawei12#$，确保安全请修改密码HiLensKit管理系统登录注意：配置前，先检查默认网关是否为空。若不为空，请先删除默认网关，再配置WIFI。网络连接-无线连接登录硬件管理平台https://192.168.2.111，用户名：admin，默认密码：Huawei12#$修改默认网关，保证和路由器IP在同一网段的IP地址。网络连接-有线连接1.登陆HiLens管理系统，查看网络是否已连接。2.SSH登录HiLensKit

,ping

8.8.8.8功，其提示信息显示如下图类似信息：或者pingwww.huawei.com，如果设备连接成注意：修改DNS域名解析（echo

“nameserver

8.8.8.8”>/etc/resolv.conf）检测网络1.2.登录HiLenskit

管理平台https://192.168.2.111

，进入硬件管理平台首页。初始登录用户名：admin，密码：Huawei12#$，填入账号信息（1）设备名用户自定义（2）若是普通账号登录，账号名和用户名一致；若是IAM账号登录，账号名和用户名不一致，填写相应的名称（3）密码为华为云账号密码注册HiLensKit登录华为云HiLens官网，查看是否完成注册检查注册结果任务二：HiLens人体姿态检测技能开发后端人脸技能开发HiLensStudio使用流程申请HiLensStudio公测新建人体姿态检测技能远程连接HiLensKit开发人体姿态检测技能安装人体姿态检测技能启动人体姿态检测技能运行人体姿态检测技能《详见实验文档》案例应用场景案例演示操作案例规划部署案例具体实施

案例相关知识基于计算机视觉的人机交互一般可分为四个部分：有没有人；人在哪；这个人是谁；这个人在做什么；人机交互过程中涉及的关键技术点如下：人体姿态检测概述关键技术点解决问题目标检测图片中找到目标的位置，一般输出目标的位置信息语义分割图片中找到目标的位置，一般输出目标的具体形状掩码人脸识别识别出人脸的具体类别（身份、性别年龄等属性）人体骨骼关键点检测定位人再图像中的位置，人体各关键点的位置动作识别检测出图像中的人在哪里，在做什么行人重识别以人的身体属性识别出人的十分，不需要高的分辨率步态识别以人的身体轮廓信息识别出人的身份，不需要高的分辨率人脸识别可以完成1、2、3部分的实现，但是第4部分的这个人在做什么，人脸识别就失效了。还有第3部分的这个人是谁，当图片的分辨率太小以至于人脸识别失效，或者图片中的人只有背景的时候，人脸识别就没法识别出这个人是谁了：人体姿态检测概述姿态识别流程人体姿态检测应用场景人体分割人体分割使用的方法可以大体分为人体骨骼关键点检测、语义分割等方式实现。这里主要分析与姿态相关的人体骨骼关键点检测。人体骨骼关键点检测输出是人体的骨架信息，一般主要作为人体姿态识别的基础部分，主要用于分割、对齐等。一般实现流程为：人体姿态检测应用场景人体姿态识别人体姿态识别包括动作识别、身份识别两个方面，关键在人体特征提取，人体特征提取主要完成动作特征提取、身份特征提取。一般实现流程为：人体姿态检测应用场景身份识别人体姿态识别包括动作识别、身份识别两个方面，关键在人体特征提取，人体特征提取主要完成动作特征提取、身份特征提取。一般实现流程为：人体姿态检测应用场景人体骨骼关键点检测人体骨骼关键点检测也称为姿态估计（PoseEstimation），主要检测人体的关键点信息，如关节，五官等，通过关键点描述人体骨骼信息，常用来作为姿态识别、行为分析等的基础部件人体姿态检测应用场景人体骨骼关键点检测的挑战：1.每张图片中包含人的数量是未知的，图像中人越多，计算复杂度越大（计算量与人的数量正相关），这使得处理时间变长，从而使realtime变得困难。2.人与人之间会存在如接触、遮挡等关系，导致将不同人的关键节点区分出来的难度增加，有可能会将骨骼关键点误认为是另一个人的。人体姿态检测难点人体骨骼关键点检测的挑战：3.关键点区域的图像信息比较难区分，也就是说某个关键点检测时容易出现检测位置不准或者置信度不准，甚至将背景的图像当成关键点图像的错误。4.人体不同关键点检测的难易程度是不一样的，对于腰部、腿部这类没有比较明显特征关键点的检测要难于头部附近关键点的检测，需要对不同的关键点区别对待。根据输出的关键点数据是2D还是3D的，分为2D人体骨骼关键点检测、3D人体骨骼关键点检测。人体姿态检测难点2D人体关键点检测：人体姿态检测难点3D人体骨骼关键点检测：根据输入图像数据是RGB还是RGBD可分为2D+人体骨骼关键点检测、3D人体骨骼关键点检测。人体姿态检测难点2D人体骨骼关键点检测实现2D人体骨骼关键点检测的算法模型基本上都遵循自顶向下（TopDown）、自底向上（BottomUp）两种思路来实现：人体姿态检测难点2D人体骨骼关键点检测实现2D人体骨骼关键点检测的算法模型基本上都遵循自顶向下（TopDown）、自底向上（BottomUp）两种思路来实现：2D人体骨骼关键点检测实现人体姿态检测难点自顶向下自顶向下（Topdown）的人体骨骼关键点检测算法包含两个部分：目标检测和单人人体骨骼关键点检测，目标检测算法完成人体boundingbox的输出，目前目标检测方法的精度跟速度已经很高，算法模型有YOLO系列、SSD系列、RCNN系列、RFCN系列等，本文重点研究关键点检测的算法。2D人体骨骼关键点检测实现-1（1）RMPE该模型主要解决了自顶向下人体骨骼关键点检测中的目标检测boundingbox可能会出现定位误差、对同一个物体重复检测等问题。boundingbox定位误差，会导致关键点检测的区域出错，关键点检测区域出错会造成对同一个人会生成不同的关键点。该模型提出了一种方法来解决目标检测产生boundingbox所存在的问题，即通过空间变换网络将同一个人体的产生的不同裁剪区域（Proposals）都变换到一个较好的区域，这样就不会因为一个人体产生不同的裁剪区域从而出现不同关键点检测效果。具体流程如下图所示。2D人体骨骼关键点检测实现-2（2）STNSPPESDTNSTN从一个不准确的边框中提取一个高质量的单人候选框，SPPE产生各种姿态，SDTN产生候选姿态,同时引入一个并行的ParallelSPPE分支进行优化。2D人体骨骼关键点检测实现-32D人体骨骼关键点检测实现-4自底向上自底向上（BottomUp）的人体骨骼关键点检测算法主要包含两个部分：关键点检测和关键点聚类连接，关键点检测目的是将图片中所有人的所有关键点全部检测出来。关键点检测完毕之后需要对这些关键点进行聚类处理，将每一个人的不同关键点连接在一块，从而连接产生不同的个体。2D人体骨骼关键点检测实现-5（1）PartAffinityFields该方法通过对人体的不同肢体结构进行建模，使用向量场来模拟不同肢体结构，解决了单纯使用中间点是否在肢干上造成的错连问题。2D人体骨骼关键点检测实现-6

如上图所示，如果只使用中间点对肢干进行建模，如果中间点都在对应的肢干上，则判断两个关键点处在该肢干的两端，这样就会出现如上图所示的错连情况。而PAFs则不仅使用中间点来建模肢干，而且在中间的位置之外还给每个中间点加上了方向的信息，这样就能解决出现的错连问题。具体如下图所示。2D人体骨骼关键点检测实现-7（1）openpose使用PAFs的模型为openpose，openpose是目前速度、精度都比较高的人体骨骼关键点检测模型。openpose的整体思路如下：先识别出关键点和关节点热图（也就是关节的区域、方向），然后通过PAFs算法组合成个体的姿势图。2D人体骨骼关键点检测实现-8openpose检测流程openpose的检测流程为：计算出所有关键点（头部，肩膀，手肘，手腕...）如上图(b)所示；计算出所有关联区域，如上图(c)所示；根据关键点和关联区域进行矢量连接，由前两步得到的关键点和关联区域，而后需要依据关联区域将关键点连接以组成人体真正的骨骼结构。作者提出了以一个最小限度的边数量来获得个体姿势的生成树图（用了二分图+匈牙利算法等），在保证不错的准确度的同时，大大减少了复杂度，提高了实时性，解决了对关键点聚类配对时需要每对点都试验一遍然后找到最优的划分和组合结构的难题。2D人体骨骼关键点检测实现-92D人体骨骼关键点检测实现-10自底向上检测算法：人体骨骼关键点检测算法有：PartSegmentation、PartAffinityFields、AssociativeEmbedding、Mid-RangeOffsets、CPM（ConvolutionalPoseMachines）等。当需要3D的人体姿态信息时，2D人体骨骼关键点检测并不能满足要求，这时需要3D人体骨骼关键点检测。2D人体骨骼关键点检测实现-112D+人体骨骼关键点检测实现2D+人体骨骼关键点检测多使用3D重建的方法，一般输入都是RGB的2D图像数据，首先使用2D人体骨骼关键点检测的方法检测出2D的人体骨骼关键点后，再使用3D重建的方式，将2D的关键点信息转到3D的空间中，输出的就是3维人体骨骼关键点信息。这种方法使用的图像数据不是真的3D数据，输出的3维的信息主要是通过2D到3D重建的方式实现的，当然这种方法也能解决一定的问题，在动作识别、身份识别等领域都有一定的作用。2D+人体骨骼关键点检测输出的人体骨骼关键点信息是3D数据，即每个关节都是一个3D坐标（x,y,z），如下图所示：2D+人体骨骼关键点检测实现2D+人体骨骼关键点检测实现2D+人体骨骼关键点检测的模型速度比较快的是DensePose，能在GPU上达到每秒多帧的运行速度，基本能在实际环境中使用。2D+人体骨骼关键点检测实现DensePose主要在目标检测平台（Detectron）搭建起来的模型，称为DensePose-RCNN，模型的结构如下图所示：2D人体骨骼关键点检测实现DensePose-RCNN采用的是金字塔网络（FPN）特征的RCNN结构，区域特征聚集方式ROIalignpooling以获得每个选定区域内的密集部分标签和坐标。将2D图像中人的表面图像数据投影到3D人体表面上，将人体的3D表面模型切分为24个部分，然后为每一部分构建一个UV坐标系，将2D图像上的人体部分的每一个点映射到相应的3D表面部分。也可以在估计出图像中人体的UV之后，将3Dmodel通过变换，将空间坐标转换为UV坐标之后，贴到图像上。DensePose借鉴了Mask-RCNN的结构，同时带有FeaturePyramidNetwork（FPN）的特征，以及ROI-Align池化。整体流程为：首先使用Faster-RCNN得到人物区域boundingbox，然后使用CNN网络模块分块，分块后用CNN网络模型处理每一个分块，最后得到目标的热力图IVU。2D人体骨骼关键点检测实现3D人体骨骼关键点检测实现（1）前面分析的2D+人体骨骼关键点检测，模式上基本能总结为2D的人体骨骼关键点检测+3D重建的过程。这里分析使用RGBD图像数据的3D人体骨骼关键点检测实现。（2）图像数据是RGBD的一种方式就是使用深度图像来获取人体骨骼关键点数据，虽然使用的只是RGBD中的深度数据D（DepthImage），但是DepthImage实际上也是一幅真实的3D图像数据，DepthImage包含了深度信息、图像的高宽信息。很多硬件设备的SDK都带有该功能，如微软的Kinect、英特尔实感3D摄像头、Mo-Cap解决方案等。3D人体骨骼关键点检测实现-1（3）自从2011年Shotton,J等人在[Real-timehumanposerecognitioninpartsfromsingledepthimages.In:CVPR(2011)]中提出随机森林算法后，利用深度信息获取人体骨骼关键点数据的算法逐渐出现，如微软的Kinect深度相机自带SDK的骨骼提取算法用的就是随机森林算法，并且得到市场的认可。然而后面CNN的崛起，并在CV、NLP等各个领域取得显著的成绩，下面分析基于CNN+RNN结构的人体骨骼关键点获取模型，模型的网络结构如下3D人体骨骼关键点检测实现-2（4）该模型的结构如上图所示，输入一张深度图，对深度图片进行多次迭代处理，每一个迭代包含两个输入，即原图处理生成的一个patch（称为Glimpses）和之前生成的人体骨骼关键点信息。（5）该模型的输入深度图片并不直接输送到网络中去，而是先通过提取图片中的不同的patch，其中每个patch都以每个预测的身体部位为中心，并且将其转化成为Glimpses。Glimpse是一种对原始输入的特殊编码形式，它的中心分辨率高，周围分辨率逐渐降低，这就使得中心的特征得到重点的学习，同时又保留了部分空间信息。3D人体骨骼关键点检测实现-33D人体骨骼关键点检测实现-4人体姿态关键点是计算机视觉的一个主要的组成部分，是计算机理解人体语言、肢体语言的一个主要方式。解决了人体分割、人体定位、人体查找等问题，通过人体骨骼关键点检测可以完成动作识别分析、身份识别等内容，当然在动作识别、身份识别的过程中可以将人体骨骼关键点检测的技术融合，并没有输出人体骨骼关键点信息。3D人体骨骼关键点检测实现-5人体姿态检测的应用领域：视觉游戏（例如天天跳绳等应用）安全行为识别（根据人体的监测点识别是否符合安全行为）安全行为检测对视频中人体的姿势进行分析，对非安全的行为进行预警或响应。非安全行为有多种情况，例如身体跌倒、发生肢体械斗等等，因此不同领域对于安全行为有着不同界定。在课后作业中我们通过人体关节的夹角以及关键关节位置来定义最简单的安全行为识别功能。3D人体骨骼关键点检测实现-6人体姿态识别人机交互的识别过程中挑战性比较大之一就是人体姿态识别，主要解决：身份识别问题：图片分辨率太低导致人脸识别失效的情况；辅助验证问手段：配合人脸识别等识别方法提高识别准确率；图像检索等；其他。人体姿态识别人体姿态识别现状姿态识别主要完成识别出这个人这一段时间在做什么，或者根据其姿态信息、运动规则来完成身份验证功能。姿态识别需要单帧或者多帧连续的姿态数据，通过算法模型计算得出人在做什么或者是谁。下面从动作识别分析、身份识别两个方面进行分析。人体姿态识别动作识别视频逐帧分析，采用连续的动作识别出人物动作，如走路、跑步、蹲下等。在计算机视觉中人机交互中有很大的应用，主要处理模型大概分为两个大类：卷积神经网络（3D-CNN）、基于循环神经网络与其扩展模型（CNN+LSTM）。动作识别分析的应用场景有：3D个人健身教练、3D试衣、游戏人物动作设计、古画分析、人体绘画教学、游戏的交互、照相馆拍照姿势指南等等。人体姿态识别人体姿态识别身份识别行人重识别、步态识别是身份识别的实现方法。行人重识别（Personre-identification，简称ReID）

也称行人再识别，是