数据标注 课件 7.人脸关键点标注

人脸关键点标注培训课程目录01人脸关键点背景介绍03人脸关键点重难点示例02人脸关键点标注类型及属性04人脸关键点标注实操目录01人脸关键点背景介绍03人脸关键点重难点示例02人脸关键点标注类型及属性04人脸关键点标注实操人脸关键点标注是指给定人脸图像，定位出人脸面部的关键点，包括眉毛，眼睛，鼻子，嘴巴等关键部位。标注人员通过专业的标注软件，以极高的精确度确定这些点在图像中的二维坐标位置，从而构建出人脸的关键特征框架，为后续数据分析和模型训练奠定基础。人脸标注技术背景人脸标注定义分析结果

年龄：25岁性别：女表情：微笑头部姿态：中度偏航眼睛：睁眼眼镜：未戴眼镜面部特征提取、面部表情分析、推测人脸姿态人脸关键点标注是人脸识别技术的基石，通过精准的标记人脸关键点，为人脸识别系统提供丰富、准确的特征信息；人脸识别已广泛应用到安防，金融，交通，教育，医美等众多领域，成为人们生活中不可或缺的一部分；安防教育金融医美交通人脸标注技术背景人脸标注意义及应用DMS是DriverMonitorSystem“驾驶员监测系统”的简称。DMS标注是针对驾驶员监测系统相关数据进行的标记和注释工作。例如，在图像或视频数据中，标注出驾驶员的面部特征点、眼睛状态（睁眼、闭眼、斜视等）、头部姿态角度、手部位置等。人脸标注技术背景DMS标注定义及意义准确的DMS标注能够使驾驶员监测系统更有效地发挥作用，及时发现驾驶员的异常状态并发出预警，从而预防交通事故的发生，保障驾驶员、乘客以及道路上其他人员的生命财产安全，对于提高道路交通安全水平具有重要意义。人脸标注技术背景DMS标注定义及意义目录01人脸关键点背景介绍03人脸关键点重难点示例02人脸关键点标注类型及属性04人脸关键点标注实操关键点01矩形框02赋予图片属性，包括人脸角度，光照，遮挡，图片质量，是否出界等。图片属性03以打点的方式标注所需人脸部位，包括眼睛、鼻子，嘴巴，眉毛，耳朵等39个关键点。以矩形框的形式框出手部及所需物体，包括手部框、香烟框、水杯框、电话框。人脸标注类型及属性DMS标注类别概览编号说明1可见下巴边缘中心点2-10左眼外眼角、左眼左上1/4、左眼上眼睑中点、左眼右上1/4、左眼内眼角、左眼右下1/4、左眼下眼睑中点、左眼左下1/4、左眼瞳孔中心11-19右眼内眼角、右眼左上1/4、右眼上眼睑中点、右眼右上1/4、右眼外眼角、右眼右下1/4、右眼下眼睑中点、右眼左下1/4、右眼瞳孔中心20眉心：左右眉两个内端点连线的中间位置21-24鼻子与两个内眼角连线中点、鼻子左侧轮廓下交点、鼻子右侧轮廓下交点、鼻子鼻尖，面部最凸起点25人中：鼻子与人中的交点26-33嘴角左端点、嘴唇内轮廓左上１/４点、嘴唇内轮廓上中心点、嘴唇内轮廓右上１/４点、嘴角右端点、嘴唇内轮廓右下１/４点、嘴唇内轮廓下中心点、嘴唇内轮廓左下１/４点34-36左侧耳朵与脸部上交点、左侧耳朵与脸部下交点、左侧耳尖37-39右侧耳朵与脸部上交点、右侧耳朵与脸部下交点、右侧耳尖人脸标注类型及属性人脸39个关键点手部框出现司机的手就需框起来，出现两个手就都框起来。手部模糊或几乎完全遮挡时不框。香烟框水杯框出现水杯需框起来，喝袋装饮料不框，杯盖不框，但用杯盖/碗在喝水，需框起来给水杯，属性为喝水。出现抽烟画面时需要框起来，当因画面模糊或遮挡看不见时不用框，属性也不用给。电话框出现电话就要框起来，对讲机也需框起来给电话，且属性为打电话。手机盖不框，只框主体。人脸标注类型及属性手部及其附属物嘴巴嘴巴被完全遮挡，无法判断张嘴闭嘴的情况下按闭嘴脑补标注。如果在吃东西，喝水，抽烟，打哈欠的时候，嘴巴被遮挡了，按实际情况判定为张嘴。嘴巴有一小条缝隙，介于张嘴和闭嘴之间的，都按闭嘴标注(类似抿着嘴抽烟，可能存在一条小缝)。张嘴闭嘴眼睛眼睛由于反光或者被完全遮挡判断不出的情况下按睁眼脑补标注。眼睛有一条缝，介于睁和闭之间的，都按闭眼标注。闭眼左睁右闭左闭右睁睁眼图片质量不正常指模糊，图片不全，过暗，过曝只要脸部清晰，画质就算正常。明显马赛克的，画质就算模糊。画质模糊，但是关键点不需要脑补，正常标注。实在太过于模糊的，马赛克严重的直接废弃不标注。图片不全的概念是指一张图上突然缺了一块，不是指截断。画质正常不正常人脸标注类型及属性DMS标注图片属性抽烟图片中出现烟就算是抽烟，不管有没有在嘴巴里，有没有点燃。香烟和棒棒糖的杆子需要区分，容易框错。由于点然的烟会导致反光，反光到烟看不到了就不用标注烟了。烟斗和电子烟不需要框成香烟，也不需要标注为抽烟。未抽烟电话戴耳机不算打电话。图片中出现手机就算打电话，需要把手机框起来。别人拿手机给驾驶员听，这个手机也需要框起来。如果图片中的手机因为运动模糊了，那就不用框了。未打电话打电话喝水图像中出现水杯或者水瓶就算是喝水，并需要框起来。拿着碗喝水也算喝水，需要将碗框起来标注为喝水。牛奶瓶算是水杯，需要将牛奶瓶框起来标注为喝水。袋装的牛奶或者饮料不算是喝水，也不用框起来。喝水抽烟未喝水人脸标注类型及属性DMS标注图片属性光照阳光或灯光照射导致有明显明暗色差情况下算阴阳脸，不明显的不算。面积很小一块的不算阴阳脸。阳光或灯光照射在口罩上导致的有明显明暗色差的情况下也算阴阳脸。阴阳脸眼镜眼镜戴在头上或者挂在脖子里都不算戴眼镜墨镜有时候也能看到里面的眼睛，所以还是需要按照样子和颜色去区分眼镜和墨镜。未戴眼镜戴普通眼镜左右扭头一只眼睛大部分不可见，标注为大角度。扭头后导致不可见的点需要脑补标注。人脸是否出界

脸部关键点出边界才算出边界(和截断性质一样)左右大角度正常脸正常角度戴墨镜未出边界出边界人脸标注类型及属性DMS标注图片属性遮挡手部遮挡：遮挡到脸部算遮挡(不包括耳朵脖子)，遮挡到耳朵的关键点也算是手部遮挡。手机遮挡：a.遮挡到脸部就算遮挡(不包括耳朵脖子)，遮挡到耳朵的关键点也算是手机遮挡。b.手拿手机遮挡到脸部算手机遮挡，即使手的一小部分遮挡到脸了也算手机遮挡。其他遮挡：手拿其他物品遮挡到关键点，即使手的一小部分遮挡到了关键点也算其他遮挡。手拿很细小的东西，比如烟，棒棒糖的杆子，这种情况算手部遮挡。如果烟和杆子遮挡到了关键点，那就标注为手部遮挡+其他遮挡。手部遮挡未遮挡手机遮挡眼镜框遮挡方向盘遮挡帽子遮挡口罩遮挡其他遮挡人脸标注类型及属性DMS标注图片属性遮挡眼镜框遮挡：眼镜框遮挡只针对于遮挡住了眼睛周围的关键点，包括20和21点，墨镜的镜片也算是眼镜框遮挡，但普通眼镜的镜片不算。方向盘遮挡：方向盘遮挡到脸部就算遮挡(不包括耳朵脖子)。帽子遮挡：帽子遮挡了关键点才算是遮挡。口罩遮挡：a.遮挡了关键点才算是遮挡。b.口罩的带子遮挡了关键点算是其他遮挡，不算口罩遮挡。自身的遮挡（例如自身的鬓角和胡子）需要标注为脑补点，但是不需要标注遮挡属性。手部遮挡未遮挡手机遮挡眼镜框遮挡方向盘遮挡帽子遮挡口罩遮挡其他遮挡人脸标注类型及属性DMS标注图片属性目录01人脸关键点背景介绍03人脸关键点重难点示例02人脸关键点标注类型及属性04人脸关键点标注实操关键点要区分属于正常点or脑补点，脑补点和可见点不同标记眼球反光不需要标注成脑补点，按正常点标注眼睛由于模糊看不清的情况下也按正常点标注侧脸或被自身遮挡时需标成脑补点脑补关键点需满足透视关系(即脑补关键点应出现的位置)以图片本身来判断左右每个关键点的编号是固定唯一的编号34、编号37是耳朵和脸相交的地方，不是耳尖编号20为眉心中心，切勿标的过上或过下

编号21为眼角中心，切勿标的过上或过下人脸标注重难点讲解人脸关键点重难点闭眼关键点标注要求如下：a.左右都闭，删除左眼点9、8、7，右眼点18、17、16b.左睁右闭，删除右眼点18、17、16c.左闭右睁，删除左眼点9、8、7闭嘴关键点标注，如果嘴巴闭合，删除点33、32、31嘴巴的点和眼睛的点需贴紧边缘标注，切勿偏移所有关键点位要保证位置的准确性，切勿标的偏移

如果存在皱纹不用标注在皱纹上几层眼皮的时候按最内侧去标注人脸标注重难点讲解人脸关键点重难点遮挡a.眼镜反光导致眼睛被遮挡或眼睛被某物体遮挡，统一按睁眼脑补。b.模糊导致的不能明确判断睁闭眼的，也按睁眼去脑补。截断a.关键点被截断，整张图不需要标注关键点，只需要标注框和属性。b.关键点未被截断，仍需要标注整张图的关键点，框和属性。人脸标注重难点讲解遮挡截断注意事项若图片中有多个人，只针对司机进行标注。不能确定是不是司机时，若图片中只出现一个人，并且脸部关键点清晰可见就标注。若图片中有两个人，且不能确定谁是司机，则废弃。若图片中有两个人，另一个人只有胳膊、手部等，正常标注司机。若图片自带关键点或人脸框，这种图片废弃不标注。文字遮挡了关键点的情况下整个图片废弃不标