数据服务实践 课件 项目六 行为分类综合实践

项目六Dataserviceforbehaviorclassification《行为分类数据综合实例》项目导入CONTENTS目录项目背景及需求01Projectbackgroundandrequirements项目分解02Projectbreakdown职业岗位介绍03JobIntroduction项目背景及需求人体行为分类与识别在计算机视觉中是一个极具有吸引力和前沿性的研究问题。通过识别图像或视频中的人体姿态和动作，可以实现运动捕捉，检测动作是否规范，纠正运动姿态；也可以实现人机交互，控制虚拟人物的行为；也可以检测一些特殊行为，如在社区商场里摔倒检测、危险动作检测等。

要实现人体行为分类与识别有多种方法，本项目中将对其中一种方法探索视

频中的人体行为识别，即基于骨骼关键点的人体行为分类，根据人体骨骼关键点的位置信息训练人体行为分类模型，主要对社区中出现的摔倒、行走和下蹲动作进行分类识别。项目背景及需求本项目为人体行为分类模型的训练提供可用的数据，成功训练出模型。在此项目中了解基于骨骼关键点的行为分类模型训练过程，为骨骼关键点检测模型和行为分类模型训练提供可用数据集。项目分解01根据《行为分类的数据采集需求》文档采集数据集02根据《行为分类的数据处理需求》文档完成视频数据裁剪和格式转换操作03根据《骨骼关键点数据集标注需求》文档完成人体骨骼关键点标注任务，训练出骨骼关键点检测模型，根据《人体行为分类数据集标注需求》文档完成人体行为分类标注任务，处理训练数据，训练出人体行为分类模型04对标注数据进行可视化处理，获取更多的标注数据信息职业岗位介绍研发基于骨骼关键点的人体姿态估计和行为识别算法优化2D/3D关键点检测模型（如OpenPose、MediaPipe等）设计并实现时空行为分类模型（ST-GCN、LSTM、Transformer等）开发多模态融合方案（结合RGB、深度、IMU等传感器数据）部署轻量化模型到边缘设备（如摄像头、移动端）计算机视觉算法工程师（人体行为识别方向）岗位职责：CONTENTS目录知识目标01Knowledgeobjectives能力目标02Abilitygoals素养目标03Literacygoals知识目标掌握视频格式转换的方法，根据要求完成视频格式转换3了解行为分类训练数据集的处理方法5能灵活使用pycocotools库和matplotlib库完成标注数据可视化7掌握视频裁剪的方法，能根据要求完成裁剪任务2了解关键点标注的方法，掌握利用标注工具labelbee完成关键点标注的方法4了解pkl文件的作用，能根据要求将人体关键点信息存储到pkl文件中，完成模型训练6能根据可视化任务的需求编写Python程序，提升Python编程能力8了解基于骨骼关键点的行为分类模型训练过程

1能力目标分析问题，确定问题的解决方法，利用Python程序实践该方法，提升问题解决的能力能总结模型训练的过程，将其迁移至其他任务中，为其他任务提供数据解决方法分析标注需求，能根据标注需求确定标注方法，合理规划标注任务，高质量完成标注与质检

0102培养学生的生命安全意识启发学生积极思考，培养勇于探索、敢于创新的精神，推动社会不断向前发展目标素养目标感谢观看主讲教师:侯佳丽Thankyouforwatching项目六《行为分类的数据服务》主讲教师:候佳丽Dataserviceforbehaviorclassificatio任务一：行为分类的数据采集CONTENTS目录行为分类的任务背景01BackgroundofBehaviorClassificationTask数据采集需求分析02Datacollectionrequirementanalysis行为分类数据采集03Behaviorclassificationdatacollection1.行为分类任务背景人体行为分类与识别在计算机视觉中是一个极具有吸引力和前沿性的研究问题，如识别常见的走、坐、躺、跑、跳等行为。运动捕捉，检测运动状态是否规范1.行为分类任务背景人机交互，实现虚拟人物运动控制安全监控，检测社区危险行为1.行为分类任务背景实训项目需求某社区居住的老人和小孩较多，发生摔倒后若救助不及时将发生难以预料的结果，因此该小区需要借助人工智能技术实时识别社区的人体行为，重点识别行走、蹲下、摔倒三种行为。行走蹲下摔倒1.行为分类任务背景本任务要求对视频中的行为进行分类识别，为了实现行为分类识别功能，我们的主要任务是为该模型训练提供可训练的数据，可将该任务拆分为如下几个阶段性任务：数据采集数据处理数据标注与质检我们首先需要完成行为分类项目的：“数据采集”2.数据采集需求分析操

作

1

:

阅读《行为分类的数据采集需求》,分析采集需求，接下来将按照此需求进行采集。采集项目[行为分类]采集项目[视频数据]采集数据集描述[视频中需包含一种行为]采集数量[至少30个视频]采集方法摄像头拍摄、开源数据集等2.数据采集需求分析采集方法开源数据集：从网络上寻找一些行为视频数据集摄像头拍摄：利用手机等设备拍摄行为视频其他途径：如录制电影、电视剧等视频中的行为摄像头拍摄的摔倒行为视频3.行为分类数据采集行为视频开源数据集-JHMDBJHMDB中共有21类人体行为，包括sit、run、pullup、walk、jump等行为，每个视频中只有一种行为。官网：http://jhmdb.is.tue.mpg.de/dataset。其中视频资源也来源于电影片段。该视频截取于电影《Three

Stories》3.行为分类数据采集行为视频开源数据集-ntuNTU数据集包含多个个种类的动作，其中包括82种日常行为动作，12种与健康相关的动作，26种双人相互动作。视频录制采用了多个角度的摄像机进行拍摄。官网：.sg/dataset/actionRecognition/。该数据集仅用作科学研究，需要申请后才能使用。A1:drink

waterA2:eat

mealA3:brush

teethA4:brush

hairA5:dropA6:pick

upA7:throwA8:sit

downA9:stand

upA10:clappingA11:readingA12:writingA13:tear

up

paperA14:put

on

jacketA15:take

off

jacketA16:put

on

a

shoeA17:take

off

a

shoeA18:put

on

glassesA19:take

off

glassesA20:put

on

a

hat/capA21:take

off

a

hat/capA22:cheer

upA23:hand

wavingA24kicking

somethingA25:reach

into

pocketA26:hoppingA27:jump

upA28:phone

callA29:play

with

phone/tabletA30:type

on

a

keyboardA31:point

to

somethingA32:taking

a

selfieA33:check

time

(from

watch)A34:rub

two

handsA35:nod

head/bowA36:shake

headA37:wipe

faceA38:saluteA39:put

palms

togetherA40:cross

hands

in

frontA61:put

on

headphoneA62:take

off

headphoneA63:shoot

at

basketA64:bounce

ballA65:tennis

bat

swingA66:juggle

table

tennis

ballA67:hushA68:flick

hairA69:thumb

upA70:thumb

downA71:make

OK

signA72:make

victory

signA73:staple

bookA74:counting

moneyA75:cutting

nailsA76:cutting

paperA77:snap

fingersA78:open

bottleA79:sniff/smellA80:squat

downA81:toss

a

coinA82:fold

paperA83:ball

up

paperA84:play

magic

cubeA85:apply

cream

on

faceA86:apply

cream

on

handA87:put

on

bagA88:take

off

bagA89:put

object

into

bagA90:take

object

out

of

bagA91:open

a

boxA92:move

heavy

objectsA93:shake

fistA94:throw

up

cap/hatA95:capitulateA96:cross

armsA97:arm

circlesA98:arm

swingsA99run

on

the

spotA100:butt

kicksA101cross

toe

touchA102:side

kick1.1

Daily

Actions(82)3.行为分类数据采集操作2:

按照采集需求，使用手机设备拍摄符合要求的视频。

1.分组合作，每种行为拍摄10个视频；2.拍摄场景尽量选择空旷的区域，能将整个人体拍摄进去；3.使用手机横拍，拍摄过程中保持设备稳定。感知传感器包括视觉传感器、激光传感器、雷达传感器等类型。视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。任务思考题思考如何利用这些数据训练行为分类模型?感谢观看主讲教师:侯佳丽Thankyouforwatching项目六《行为分类的数据服务》主讲教师:马玲DataAnnotationService任务二：行为分类的数据处理任务导入行为分类的数据处理是计算机视觉任务中的核心环节，其意义在于为模型训练提供高质量的数据基础。通过系统清洗原始数据，可消除噪声干扰和错误标注，确保数据纯净度；标准化处理则统一数据格式与维度，提升模型训练效率。数据增强技术能模拟多样场景，如光照变化、视角转换，增强模型泛化能力，使其更适应复杂真实环境。此外，有效数据处理不仅优化模型性能，更推动技术落地，如智能监控中的异常行为识别、运动分析中的动作纠正，均依赖于此。它为人机交互、健康监护等领域注入技术活力，助力实现更智能、精准的应用服务。任务知识目标21理解行为分类处理需求，并根据处理需求完成数据处理了解视频裁剪的原因和方法，并利用python程序完成裁剪了解视频格式转换的方法，利用Python代码完成视频格式转换3任务能力目标01具备分析行为分类任务需求的能力，确保数据质量满足算法要求。02掌握视频裁剪的核心概念，熟悉不同裁剪场景的应用策略，能基于Python编程实现视频片段截取、尺寸调整及构图优化，提升视频处理的精准度与效率。03能编写Python脚本实现多格式互转、参数配置及批量处理，保障视频兼容性与传输效率。任务思政目标目标01强调数据收集、整理、分析的全过程体验，培养学生的实际操作能力02强调数据真实性、隐私保护，例如在统计过程中不泄露个人信息，这与行为分类中可能涉及的敏感数据处理原则相通CONTENTS目录视频裁剪的定义01Definitionofvideocropping视频裁剪的场景应用02Sceneapplicationofvideocropping视频裁剪的要求03Requirementsforvideocropping视频裁剪的方法04Methodsforvideocropping视频裁剪的定义视频裁剪‌是指通过编辑工具对视频进行区域选择并去除不需要的部分，使得剩余的部分更加集中和有针对性。裁剪不仅能帮助去除视频中的杂乱内容，还能改变视频的画面构图，强化观众对重点内容的关注‌。视频裁剪的场景应用02调整视频比例以适应不同的播放平台或设备，提升观看体验。‌适应不同播放平台04通过调整画面比例或使用遮罩工具，去除视频中的黑边‌。去除黑边01通过裁剪去除视频边缘的杂乱背景，使画面更加聚焦和整洁‌。去除边缘杂乱背景‌03如创建电影感十足的宽银幕效果或适合社交媒体分享的方形视频‌。制作特殊效果‌视频裁剪的要求将视频变短，降低模型训练时视频处理的难度（如将一个10秒的视频裁剪为5秒视频）。裁剪掉视频中行为无关的准备动作，可以避免后期行为分类出现模糊不清的情况。0102要求视频裁剪的方法可以使用视频裁剪工具。如剪映等使用python程序进行裁剪，需指定裁剪起始点和终点。裁剪出视频中三种行为片段（行走、蹲下、摔倒），保证单个视频中只有某一种行为视频裁剪规则：视频中若出现多种行为，可将不同的行为视频裁剪成多个视频，每个视频中只有一种行为。视频中如果有重复动作，需要将每个重复动作单独进行裁剪形成独立的视频。裁剪掉录制视频中出现的与该行为无关的准备动作；如站立、跑等。裁剪掉视频中不完美的动作，如行为不明显，身体占满整个屏幕等。感谢观看主讲教师:马玲Thankyouforwatching项目六《行为分类的数据服务》主讲教师:马玲DataAnnotationService任务二：行为分类的数据标注任务导入数据标注在行为分类中扮演着至关重要的角色，它是连接原始数据与智能模型的桥梁，为机器学习算法提供了可理解的语义信息。通过对视频或图像中的人体行为进行精细标注，如行走、跳跃、跌倒等动作类别及其时空特征，标注数据为模型训练提供了带有明确标签的样本，使算法能够学习不同动作的关键特征与模式。高质量的标注不仅能提升模型分类的准确性和鲁棒性，还能规范研究领域的标准，减少因主观理解差异导致的数据偏差，确保不同研究成果的可比性。此外，标注数据作为评估模型性能的基准，通过对比预测结果与真实标签，帮助研究者发现模型的不足并进行针对性优化，推动算法在智能监控、医疗康复、体育训练等实际场景中的落地应用。可以说，数据标注是行为分类任务的核心基础，其质量直接决定了模型的泛化能力和应用价值。任务知识目标2.掌握利用标注工具labelbee完成标点的方法，并根据需求文档

完成人体区域标注和骨骼关键点标注。1.理解基于骨骼关键点的行为分类模型训练的流程。3.掌握视频分类标注的方法，并能根据标注需求完成标注。4.掌握利用骨骼关键点模型获取视频中人体行为关键点的方法。任务能力目标01能够依据给定的行为分类标准，准确识别视频或图像中的动作，并进行精确标注。​02具备对标注后的数据进行初步处理与分析的能力，能从数据中提取有价值的信息，为后续模型训练提供支持。03在标注过程中，面对复杂动作难以判断类别、标注工具出现故障等问题，能够迅速分析问题产生的原因并解决。任务思政目标目标01在标注过程中严格遵守相关法律法规与行业规范，妥善处理涉及个人隐私或敏感信息的数据，不泄露、不滥用标注数据。​02养成严谨、细致、负责的工作习惯，对待每一个标注任务都认真对待，确保标注结果的准确性与可靠性。CONTENTS目录骨骼关键点数据标注定义01Definitionofskeletalkeypointdataannotation标注流程02Labelingprocess骨骼关键点数据标注定义人体行为分类识别的常用方法是将人体的骨骼关键点作为特征训练人体行为分类模型，人体不同的行为，其骨骼关键点的相对位置也是不同的。摔倒走路骨骼关键点数据标注定义骨骼关键点数据标注是指在图像或视频数据中，准确标记出人体或动物骨骼上特定关键点的位置信息，这些关键点能够表征物体的姿态、动作和结构信息。标注流程数据准备：收集包含人体或动物的图像或视频数据，并进行预处理，如调整图像大小、裁剪等。确定关键点：根据具体的应用场景和需求，确定需要标注的骨骼关键点。例如，对于人体姿态估计，常见的关键点包括头部、肩部、肘部、手腕、髋部、膝盖和脚踝等。标注操作：使用标注工具在图像或视频帧上逐个标记关键点的位置。在标注过程中，需要确保标注的准确性和一致性。质量检查：对标注好的数据进行质量检查，检查标注的关键点是否准确、完整，是否存在错误或遗漏。数据存储：将标注好的数据保存为特定的格式，以便后续的模型训练和评估。感谢观看主讲教师:马玲Thankyouforwatching项目六《行为分类的数据服务》主讲教师:候佳丽Dataserviceforbehaviorclassificatio任务四：行为分类的数据可视化CONTENTS目录数据可视化需求01Datavisualizationrequirements骨骼关键点标注数据可视化02Visualizationofskeletalkeypointannotationdata行为分类标注数据可视化03Visualizationofbehaviorclassificationannotationdata1.数据可视化需求数据可视化需求：可视化骨骼关键点标注结果与行为分类标注结果。在数据标注与模型训练阶段，共进行2个阶段的数据标注。图像数据

标注图像中的人体骨骼关键点在图像上显示骨骼关键点标注信息统计图像中的关键点标注的分布情况，即每张图像上标注了多少个人体?统计标注图像的分辨率分布情况。统计标注框的覆盖范围。(标注阶段为两步标注，通过标注框筛选符合要求的人体)

可视化不同类别的视频统计不同类别的视频数量

统计不同类别的视频总帧数视频数据对视频中的行为分类2.骨骼关键点标注数据可视化操作1:打开“任务4:行为分类的数据可视化”中的skeleton_show.ipynb,运行“查看数据集数量”和“获得数据集类别”的程序。训练集原图像训练集COCO格式json文件测试集原图像测试集COCO格式json文件直接使用引用数据集(人体行为分类-数据可视化),其中存储了人体骨骼关键点标注数据，也可以使用标注阶段生成的数据。主要分析训练集的情况2.骨骼关键点标注数据可视化数据集中有哪些类别?回顾pycocotools相关方法。思考如何获取该类别下所有图像信息和标注信息?2.骨骼关键点标注数据可视化数据集中只有1个类别：person使用pycocotools方法获取类别信息trainjs.json中的category字段2.骨骼关键点标注数据可视化pycocotools

库的常用方法getImgIds(imgIds=[],catIds=[])获取图像id（可选参数为imgIds,catIds）。若设置catIds参数,则可以根据类别id获取该类别下的图像idloadImgs(ids=[])根据图像id获取图像信息getCatIds(catNms

=[])获取类别id（主要参数catNms）,可根据类别名获取类别idloadCats(ids

=

[])根据类别id获取类别信息getAnnIds(imgIds=[],catIds=[])获取标注id(主要参数imgIds，catIds)，可根据图像id,类别id获取标注idloadAnns(ids=[])根据标注id获取标注信息showAnns(anns)显示标注信息getImgIds(catIds

=

[1]）获取所有图像的id;getAnnIds(imgIds=[]，catIds

=

[1]）根据图像id获取标注id；由于只有一个类别，可以省略catIds=[1]参数。2.骨骼关键点标注数据可视化操作2:

完成“选取图像可视化”部分的程序，可视化图像上的关键点信息。2.骨骼关键点标注数据可视化图像中有不同的标记人数，统计图像中关键点标注的分布情况，包括：图像中最多有多少条标注信息；有哪几种标记情况，每种标记情况下有多少张图像。有5个人被标记有3个人被标记2.骨骼关键点标注数据可视化如何统计每张图像上的标注数量?2.骨骼关键点标注数据可视化操作3:

运行“统计图像上标注信息的个数”部分的程序，阅读并理解程序的实现过程。numberofannsnumberofimages第一种方法：统计每张图像上的标记信息的个数。2.骨骼关键点标注数据可视化

4.1第一种方法：统计图像上标注信息的个数。获取每一张图像的标注id,有多少个标注id,就有多少个标注信息。数据去重，统计有几种标注情况。统计每种分布情况中的图像个数2.骨骼关键点标注数据可视化第二种方法：统计每张图中哪些人标注了骨骼关键点第一种方法和第二种方法有什么差异?2.骨骼关键点标注数据可视化在骨骼关键点数据标注阶段分为2步标注：标注框标注与关键点标注。标注框标注：可能会将像素值小于30*80的人体也标注出来。关键点标注：像素值小于30*80的人体不需要标注。2.骨骼关键点标注数据可视化在骨骼关键点数据标注阶段分为2步标注：标注框标注与关键点标注。第一种方法：统计图像上所有标注信息，包括有标注框标注，无关键点标注的人体。无关键点标注有标注框标注2.骨骼关键点标注数据可视化在骨骼关键点数据标注阶段分为2步标注：标注框标注与关键点标注。第二种方法：统计每张图中哪些人标注了骨骼关键点，需要过滤掉无关键点标注的标注信息。过滤掉该标注信息2.骨骼关键点标注数据可视化提示：过滤标注信息中num_keypoints等于0的标注信息操作4:

参考“第一种方法”的程序，完成第二种方法”部分的程序，并将结果进行可视化。2.骨骼关键点标注数据可视化操作5:

运行“统计图像的分辨率”和“统计标注框的像素覆盖范围”的程序，

阅读并理解程序。程序中是如何计算图像的分辨率的?图像分辨率范围是多少?程序中如何计算标注框的像素覆盖范围?最小的标注框覆盖像素范围是多少?3.行为分类标注数据可视化直接使用引用数据集(人体行为分类-数据可视化),其中存储了人体行为视频分类标注数据以及pkl文

件，也可以使用标注阶段生成的数据。存储了不同类别视频的pkl文件记录了所有视频的关键点，总帧数等信息3.行为分类标注数