任务6.1：行为分类的数据采集

项目六《行为分类的数据服务》主讲教师:候佳丽Dataserviceforbehaviorclassificatio任务一：行为分类的数据采集CONTENTS目录行为分类的任务背景01BackgroundofBehaviorClassificationTask数据采集需求分析02Datacollectionrequirementanalysis行为分类数据采集03Behaviorclassificationdatacollection1.行为分类任务背景人体行为分类与识别在计算机视觉中是一个极具有吸引力和前沿性的研究问题，如识别常见的走、坐、躺、跑、跳等行为。运动捕捉，检测运动状态是否规范1.行为分类任务背景人机交互，实现虚拟人物运动控制安全监控，检测社区危险行为1.行为分类任务背景实训项目需求某社区居住的老人和小孩较多，发生摔倒后若救助不及时将发生难以预料的结果，因此该小区需要借助人工智能技术实时识别社区的人体行为，重点识别行走、蹲下、摔倒三种行为。行走蹲下摔倒1.行为分类任务背景本任务要求对视频中的行为进行分类识别，为了实现行为分类识别功能，我们的主要任务是为该模型训练提供可训练的数据，可将该任务拆分为如下几个阶段性任务：数据采集数据处理数据标注与质检我们首先需要完成行为分类项目的：“数据采集”2.数据采集需求分析操

作

1

:

阅读《行为分类的数据采集需求》,分析采集需求，接下来将按照此需求进行采集。采集项目[行为分类]采集项目[视频数据]采集数据集描述[视频中需包含一种行为]采集数量[至少30个视频]采集方法摄像头拍摄、开源数据集等2.数据采集需求分析采集方法开源数据集：从网络上寻找一些行为视频数据集摄像头拍摄：利用手机等设备拍摄行为视频其他途径：如录制电影、电视剧等视频中的行为摄像头拍摄的摔倒行为视频3.行为分类数据采集行为视频开源数据集-JHMDBJHMDB中共有21类人体行为，包括sit、run、pullup、walk、jump等行为，每个视频中只有一种行为。官网：http://jhmdb.is.tue.mpg.de/dataset。其中视频资源也来源于电影片段。该视频截取于电影《Three

Stories》3.行为分类数据采集行为视频开源数据集-ntuNTU数据集包含多个个种类的动作，其中包括82种日常行为动作，12种与健康相关的动作，26种双人相互动作。视频录制采用了多个角度的摄像机进行拍摄。官网：.sg/dataset/actionRecognition/。该数据集仅用作科学研究，需要申请后才能使用。A1:drink

waterA2:eat

mealA3:brush

teethA4:brush

hairA5:dropA6:pick

upA7:throwA8:sit

downA9:stand

upA10:clappingA11:readingA12:writingA13:tear

up

paperA14:put

on

jacketA15:take

off

jacketA16:put

on

a

shoeA17:take

off

a

shoeA18:put

on

glassesA19:take

off

glassesA20:put

on

a

hat/capA21:take

off

a

hat/capA22:cheer

upA23:hand

wavingA24kicking

somethingA25:reach

into

pocketA26:hoppingA27:jump

upA28:phone

callA29:play

with

phone/tabletA30:type

on

a

keyboardA31:point

to

somethingA32:taking

a

selfieA33:check

time

(from

watch)A34:rub

two

handsA35:nod

head/bowA36:shake

headA37:wipe

faceA38:saluteA39:put

palms

togetherA40:cross

hands

in

frontA61:put

on

headphoneA62:take

off

headphoneA63:shoot

at

basketA64:bounce

ballA65:tennis

bat

swingA66:juggle

table

tennis

ballA67:hushA68:flick

hairA69:thumb

upA70:thumb

downA71:make

OK

signA72:make

victory

signA73:staple

bookA74:counting

moneyA75:cutting

nailsA76:cutting

paperA77:snap

fingersA78:open

bottleA79:sniff/smellA80:squat

downA81:toss

a

coinA82:fold

paperA83:ball

up

paperA84:play

magic

cubeA85:apply

cream

on

faceA86:apply

cream

on

handA87:put

on

bagA88:take

off

bagA89:put

object

into

bagA90:take

object

out

of

bagA91:open

a

boxA92:move

heavy

objectsA93:shake

fistA94:throw

up

cap/hatA95:capitulateA96:cross

armsA97:arm

circlesA98:arm

swingsA99run

on

the

spotA100:butt

kicksA101cross

toe

touchA102:side

kick1.1

Daily

Actions(82)3.行为分类数据采集操作2:

按照采集需求，使用手机设备拍摄符合要求的视频。

1.分组合作，每种行为拍摄10个视频；2.拍摄场景尽量选择空旷的区域，能将整个人体拍摄进去；3.使用手机横拍，拍摄过程中保持设备稳定。感知传感器包括视觉传感器、激光传感器、雷达传感器等类型。视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感