任务6.4：行为分类的数据可视化

项目六《行为分类的数据服务》主讲教师:候佳丽Dataserviceforbehaviorclassificatio任务四：行为分类的数据可视化CONTENTS目录数据可视化需求01Datavisualizationrequirements骨骼关键点标注数据可视化02Visualizationofskeletalkeypointannotationdata行为分类标注数据可视化03Visualizationofbehaviorclassificationannotationdata1.数据可视化需求数据可视化需求：可视化骨骼关键点标注结果与行为分类标注结果。在数据标注与模型训练阶段，共进行2个阶段的数据标注。图像数据

标注图像中的人体骨骼关键点在图像上显示骨骼关键点标注信息统计图像中的关键点标注的分布情况，即每张图像上标注了多少个人体?统计标注图像的分辨率分布情况。统计标注框的覆盖范围。(标注阶段为两步标注，通过标注框筛选符合要求的人体)

可视化不同类别的视频统计不同类别的视频数量

统计不同类别的视频总帧数视频数据对视频中的行为分类2.骨骼关键点标注数据可视化操作1:打开“任务4:行为分类的数据可视化”中的skeleton_show.ipynb,运行“查看数据集数量”和“获得数据集类别”的程序。训练集原图像训练集COCO格式json文件测试集原图像测试集COCO格式json文件直接使用引用数据集(人体行为分类-数据可视化),其中存储了人体骨骼关键点标注数据，也可以使用标注阶段生成的数据。主要分析训练集的情况2.骨骼关键点标注数据可视化数据集中有哪些类别?回顾pycocotools相关方法。思考如何获取该类别下所有图像信息和标注信息?2.骨骼关键点标注数据可视化数据集中只有1个类别：person使用pycocotools方法获取类别信息trainjs.json中的category字段2.骨骼关键点标注数据可视化pycocotools

库的常用方法getImgIds(imgIds=[],catIds=[])获取图像id（可选参数为imgIds,catIds）。若设置catIds参数,则可以根据类别id获取该类别下的图像idloadImgs(ids=[])根据图像id获取图像信息getCatIds(catNms

=[])获取类别id（主要参数catNms）,可根据类别名获取类别idloadCats(ids

=

[])根据类别id获取类别信息getAnnIds(imgIds=[],catIds=[])获取标注id(主要参数imgIds，catIds)，可根据图像id,类别id获取标注idloadAnns(ids=[])根据标注id获取标注信息showAnns(anns)显示标注信息getImgIds(catIds

=

[1]）获取所有图像的id;getAnnIds(imgIds=[]，catIds

=

[1]）根据图像id获取标注id；由于只有一个类别，可以省略catIds=[1]参数。2.骨骼关键点标注数据可视化操作2:

完成“选取图像可视化”部分的程序，可视化图像上的关键点信息。2.骨骼关键点标注数据可视化图像中有不同的标记人数，统计图像中关键点标注的分布情况，包括：图像中最多有多少条标注信息；有哪几种标记情况，每种标记情况下有多少张图像。有5个人被标记有3个人被标记2.骨骼关键点标注数据可视化如何统计每张图像上的标注数量?2.骨骼关键点标注数据可视化操作3:

运行“统计图像上标注信息的个数”部分的程序，阅读并理解程序的实现过程。numberofannsnumberofimages第一种方法：统计每张图像上的标记信息的个数。2.骨骼关键点标注数据可视化

4.1第一种方法：统计图像上标注信息的个数。获取每一张图像的标注id,有多少个标注id,就有多少个标注信息。数据去重，统计有几种标注情况。统计每种分布情况中的图像个数2.骨骼关键点标注数据可视化第二种方法：统计每张图中哪些人标注了骨骼关键点第一种方法和第二种方法有什么差异?2.骨骼关键点标注数据可视化在骨骼关键点数据标注阶段分为2步标注：标注框标注与关键点标注。标注框标注：可能会将像素值小于30*80的人体也标注出来。关键点标注：像素值小于30*80的人体不需要标注。2.骨骼关键点标注数据可视化在骨骼关键点数据标注阶段分为2步标注：标注框标注与关键点标注。第一种方法：统计图像上所有标注信息，包括有标注框标注，无关键点标注的人体。无关键点标注有标注框标注2.骨骼关键点标注数据可视化在骨骼关键点数据标注阶段分为2步标注：标注框标注与关键点标注。第二种方法：统计每张图中哪些人标注了骨骼关键点，需要过滤掉无关键点标注的标注信息。过滤掉该标注信息2.骨骼关键点标注数据可视化提示：过滤标注信息中num_keypoints等于0的标注信息操作4:

参考“第一种方法”的程序，完成第二种方法”部分的程序，并将结果进行可视化。2.骨骼关键点标注数据可视化操作5:

运行“统计图像的分辨率”和“统计标注框的像素覆盖范围”的程序，

阅读并理解程序。程序中是如何计算图像的分辨率的?图像分辨率范围是多少?程序中如何计算标注框的像素覆盖范围?最小的标注框覆盖像素范围是多少?3.行为分类标注数据可视化直接使用引用数据集(人体行为分类-数据可视化),其中存储了人体行为视频分类标注数据以及pkl文

件，也可以使用标注阶段生成的数据。存储了不同类别视频的pkl文件记录了所有视频的关键点，总帧数等信息3.行为分类标注数据可视化讨论：如何统计训练集中不同类别视频的数量?3.行为分类标注数据可视化分别统计三个视频文件夹中的视频数量分别统计三个pkl文件夹中的pkl文件数量读取train.pkl文件，统计不同类别的视频数量（注意pkl文件格式）3.行为分类标注数据可视化操作6:

任选一种方法，在“video_show.ipynb”文件中完成程序，统计不同类别的视频数量。首先统计不同类别的视频数量然后利用条形图进行可视化3.行为分类标注数据可视化train.pkl文件以字典的形式存储每个视频的信息，并以列表形式存储所有的字典。3.行为分类标注数据可视化train.pkl文件以字典的形式存储每个视频的信息，并以列表形式存储所有的字典。['keypoint',

'keypoint_score',

'frame_dir',

'img_shape',

'original_shape',

'total_frames',

'label'][{视频1信息},{视频2信息},{视频3信息},…..{}]字典中的键值包括:视频的帧数视频的类别（0代表walk,1代表sauqt_down,2代表fall_down）3.行为分类标注数据可视化操作7:

完成程序，读取train.pkl文件中的内容，统计不同类别的视频帧数。计算每个类别中的最大总帧数和最小总帧数统计每个类别的视频总帧数，并用条形图可视化提示：可以通过label的值区分类别，通过total_frames的值获取视频的帧数3.行为分类标注数据可视化操作8：

阅读并运行“可视化不同类别的视频”程序，对不同类别的视频进行可视化展示。使用moviepy对视频进行可视化3.行为分类标注数据可视化MoviePy是一个用于视频编辑的Python模块（http:///）它可被用于一些视频基本操作（如拼接、插入标题等）、视频合成、视频处理和创建高级特效等。如显示人体行为视频中关键点，显示标题项目总结ProjectSummary本项目通过行为分类数据的采集、处理、标注以及可视化操作，完成基于骨骼关键点的人体行为分类，通过分析视