《数据标注实训（中级）》 教案ch03 语义分割标注实训

《数据标注实训（中级）》课程教案课题：语义分割标注实训教学目的：理解语义分割的原理及其在智慧交通中的作用；应用标注规范完成复杂场景的像素级分割；处理边缘模糊、遮挡物体等标注难点。课型：新授课课时：本章安排8个课时。教学重点：重点：应用标注规范完成复杂场景的像素级分割。教学难点：难点：处理边缘模糊、遮挡物体等标注难点。教学过程：教学形式：讲授课，教学组织采用课堂整体讲授和分组演示。教学媒体：采用启发式教学、案例教学等教学方法。教学手段采用多媒体课件、视频等媒体技术。板书设计：本课标题语义分割标注实训课次4授课方式理论课□讨论课□习题课□其他□课时安排8学分共2分授课对象普通高等院校学生任课教师教材及参考资料1.《数据标注实训（中级）》；电子工业出版社。2.本教材配套视频教程及学习检查等资源。3.与本课程相关的其他资源。教学基本内容教学方法及教学手段课程引入自动驾驶如何"看懂"道路？语义分割是关键！本章以交通场景为切入点，学习像素级物体分割标注技术，通过精细化区分车辆、行人、车道线，赋予机器环境感知能力。参考以下形式：1.衔接导入2.悬念导入3.情景导入4.激疑导入5.演示导入6.实例导入7.其他形式3.1认识语义分割标注语义分割是数据标注领域常见的任务类型，也是目前计算机视觉领域研究的关键任务之一。语义分割标注通常用应用于语义分割技术（简称语义分割）。从本质上来说，语义分割是从像素级别来理解图像的语义。所谓图像语义是指图像中各部分所表达的含义。当看到一张图片时，我们很容易地能理解图中所表述的场景，这就是图像语义的作用。图像与一句话或一篇文章一样，也是在通过其所具备的特有要素或信息来表达其含义。语义分割是基于图像语义实现的一项任务，它是图像分类、目标检测和图像分割的结合。在语义分割标注任务中，我们通过一定的方法将一张图片分割成不同含义的区域，并为每个区域标上语义类别标签，从而得到一幅分割图像。例如，将可行驶道路上的车辆、车道线、行人、广告牌等进行区分，并打上对应的类别标签。从智能实现的角度来讲，语义分割也是在将一张图像转换成机器可以理解的语言。由于应用到了语义信息，语义分割也成了图像分割的重要研究方向。语义分割通常有两种形式，一种是只关注整体语义的标准化语义分割，也叫作全像素语义分割，它会为图像中的每个像素指定一个类别，但是同一类别之间的对象不会区分。另一种是关注单个实体的实例分割，我们可以将其看作是标准化语义分割的演变类型，其与标准化语义分割的区别在于它会将图片中的语义按照个体分割开来。例如，对于一张图片中并排的三只小狗，标准化语义分割会将其统一处理成一个区域，标记为小狗，而实例分割会将其分开处理成3个区域，并分别标记为小狗。3.2语义分割应用场景语义分割的应用场景繁多，如卫星影像制图、自动驾驶、电子商务—服装解析、智慧农业、智慧医疗等领域，下面进行详细介绍。1．智慧农业对于我国而言，农业是国民经济的基础，农业的健康生态发展是关乎国计民生的大事。近年来，我国农业技术的发展可谓是突飞猛进，春种秋收的每个环节都能看见大量的人工智能的影子。层出不穷的智慧农业技术（例如农业专家系统、农业智能装备、农机自动导航驾驶等）更是以智能、先进的方式实现了农作物的增产增收，同时也节约了大量的人力劳动。智慧农业的实现同样需要语义分割标注。针对图片进行农作物品种、类型等的语义分割标注不仅让智慧农机设备具备了对基本农作物的辨别能力，也实现了因地制宜的种植操作，真正实现了科学种植。智慧农业应用场景。2．卫星影像制图卫星影像制图可用于智能地图测绘、航拍图像处理、地质检测等多个方面，例如通过对航拍图像的语义分割可以在洪水等重大灾难的救援中辅助无人机找到需要救援的人和动物。再比如，在地质检测中，往往需要通过语义分割方式将卫星图像中的土地按照不同类型进行分割，或对道路及建筑物等进行分割，从而确定目标地域的耕地面积、森林植被覆盖及砍伐情况等。卫星图像上的土地覆盖类型语义分割标注场景。3．电子商务—服装解析随着互联网技术的不断发展，人们对于互联网也逐渐变得依赖。这种依赖性首先体现在购物。通过各类电商平台，我们可以足不出户地采购我们想要的任何东西，例如衣服、鞋子、包等等。但在网购的过程中，每个人都会遇到一些苦恼，比如衣服不知道该选择多大码数、颜色不知道是否合适等等。AR试穿的出现可谓是为广大消费者开启了沉浸式购物的新体验。如果你想网购一套衣服，AR试穿可以让你直观生动地看到服装的上身效果，并基于对服饰的分析以及个人客观条件为你做形象设计。AR试穿的实现除了需要人工智能和增强现实技术以外，还有一项很重要的工作，就是服装解析。为了实现服装解析，我们往往需要对图片中的服装进行语义分割标注，如区分上衣、裤子、连衣裙、半裙等服饰类别以及太阳镜、帽子、围巾等配饰类别。服饰解析是一项非常复杂的任务，其呈现效果通常会受肢体动作、姿态、角度、遮挡等因素的影响。尽管如此，其在电子商务领域仍然得到了广泛的应用，并产生了巨大的商业价值。4．智慧医疗目前，AI技术与医疗的结合成为相关研究的热点之一。在通往智慧医疗的道路上，语义分割也起到了不小的作用。例如在影像医学中可以被用来判断人体组织的病灶类型，从而为医生提供诊断意见，既提升了医生诊疗的效率与准确性。智慧医疗应用场景示意图。5．自动驾驶自动驾驶需要车辆在不断变化的道路环境中进行持续地感知、运算、规划和执行。在自动驾驶技术落地过程中，出于对车辆行驶安全性的考虑，往往需要大量的道路数据来训练AI模型。经过将训练的AI模型可以对激光雷达、摄像头、超声波雷达等传感器探测得到的大量路面数据进行分类识别并发送出各项指令，从而令车辆实现自动导航驾驶、行人与车辆避让、障碍物识别与躲避等功能。在面向自动驾驶的标注任务中，语义分割是场景理解的关键。在自动驾驶语义分割标注中，需要区分的对象主要有人、可行驶区域、人行道、障碍物、绿植、车辆、标识、交通灯等。3.3交通场景语义分割标注规范（一）任务目标本次标注的任务目标为：利用多边形对图片中的交通要素（如车辆、人物、路面、车道线、交通信号灯、交通信号杆、交通标识标牌、广告牌、其他）进行语义分割并打上对应的标签，所画区域的框线要贴合要素轮廓，不要漏标、错标。（二）具体说明基本标注原则（1）建议标注顺序：车辆/人物→路面→共边→车道线→交通信号灯→交通信号杆→交通标识标牌→广告牌→其他。注意标注完路面后要对其进行“共边”，目的是让各要素之间“完全贴合”，切记进行共边操作后，无须再次操作，重复操作会导致个别边框缺失。共边：如果被标注的要素相互重合，则单击共边，会以先标注的要素的边界为主共用一条边。共边的作用：使相互重合的要素之间有明确的边界，并完全贴合。共边前：如果两个要素之间有重合区域，则可以脑补出汽车被遮挡的部位。但是这样的重合不符合机器识别的要求。共边后：车与人紧密贴合，符合机器识别。（2）语义分割要精准，分割线要尽量平滑且贴合物体轮廓，切记不可引用过多背景。（3）在标注过程中，如果遇到不方便将其绕开的要素，则无须绕开，将两个框叠加在一起标注均可，该要素属于哪个要素就标注为哪个要素。（4）图片中的事物不属于列表中的要素，整体标注为其他即可。（5）在标注过程中，如果图片中出现前挡风玻璃内部和其反射镜像可忽略不计。（6）在标注时要遵循由近到远、所见即所得的原则，切记无需过多发散联想，只标注肉眼可判别的要素。（四）注意事项（1）（2）在标注过程中，如果图片中的人物被拍摄视频的车辆及除车辆外其他要素（如交通信号杆）遮挡，则不需要脑补，将可见部位画出即可。当人物被汽车遮挡，且被遮挡部分小于80%，需要共边时。（3）如果人物被贴身物品遮挡，则需要将贴身物品画出，如挎着或背在身上的包（不包括拎着的包）、帽子、雨伞等。（4）如果人物外形尺寸过小、主体显示不清晰或遮挡过于严重，则无须标注（需要注意的是，在本次任务中，人物遮挡占比超过80%及以上即可算作严重遮挡。（5）从车窗透漏出来的人物可忽略不计，直接整体标注为车辆。（6）如果图片中出现骑行者或人推车的情况，则需要将人物和车辆分别标注。标注顺序为人物→车辆→共边。（7）如果车辆被骑行者、行人或其他物体等遮挡，且各物体轮廓均清晰，则需要分别标注。（8）如果车辆被栏杆、人物或其他物体遮挡，且透过空隙能大体判断出车辆轮廓，则需要标注。（9）分别标注交通信号杆与交通标志，广告牌和交通信号灯同上，广告牌或交通标志被遮挡显示不全或过于模糊不清，无需标注。（10）如果透过前挡风玻璃严重模糊，则无需标注，直接跳过整张图片即可。（11）在标注过程中，切记不要出现多个点聚集到一起的情况。同一要素也不要出现多个点交叉的情况。（12）如果自行车、三轮车被骑行，则需要标注；如果自行车、三轮车无人使用，则不需要标注，摩托及电动自行车任何情况均需标注。（五）系统使用本实训任务是通过数据标注实训平台完成的。本规范仅对进入实训任务的步骤及具体的页面操作过程进行讲解。需要特别说明的是，此处给出的标注页面内容仅用于说明使用，其并不是实际训练中的任务内容。本实训任务从登录系统后到一条任务完成的操作流程如下。1．进入任务实施页面（1）进入实训练习页面。当前实训平台已将该页面设置为学员端默认首页，因此登录系统后即可自动进入实训练习页面。（2）进入任务列表页面。进入实训练习页面后，单击页面上语义分割标注模块下的“进入学习”链接，进入任务列表页面。（3）进入语义分割标注实施页面。，进入语义分割标注实施页面。语义分割标注实施页面大体可以分为3个区：蓝色框线的画框工具区主要包括“拖曳”按钮、“显示标注结果”按钮或“隐藏标注结果”按钮、“跳过不做”按钮、“清除标注结果”按钮、“共边”按钮、“显示名称”按钮、“十字线”按钮等；红色框线的编辑区主要包括画布区域，所有画框及修改操作均在此区域内进行；绿色框线的任务列表区主要用于显示待完成的所有题目。下面介绍语义分割标注的具体操作。2．标注页面操作详解在本任务中，如果想要针对一个题完成标注操作，则需要用到如下按钮和步骤，按顺序说明如下。（1）标注任务领取。在本系统中，打开任务实施页面后，会默认加载第一条题目，因此不需要额外做任务领取操作，此时题目列表中的第一条记录默认呈现出选中状态。（2）语义分割操作。单击语义分割标注实施页面左侧的车辆分割工具，在图片上要分割的位置按住鼠标左键对目标对象（车辆）进行打点。如果图片尺寸显示过小，则可以放大图片（按下鼠标滚轮并向上滚动），如果图片放大显示不全，则可以右击图片，通过拖曳来查看图片，如打点过程注。（3）隐藏/显示标注结果。由于部分图片中可能存在多个待分割的标注目标，因此在标注过程中，已标注的框线可能会影响对未标注对象范围的确定，这时需要单击“隐藏标注结果”按钮，隐藏已有的框线。未隐藏标注结果；隐藏标注结果。（4）跳过当前任务。在标注过程中，可能由于某些原因，促使部分任务需要跳过，此时要单击“跳过不做”按钮，直接进入下一个任务。（5）删除单个标注结果。如果出现错标或因为其他原因需要删除单个标注结果，则可以在标注实施区右侧单击“删除”按钮。（6）删除全部标注结果。。（7）共边。为了使相互重合的要素之间有明确的边界，并完全贴合，可以单击“共边”按钮。（8）保存当前标注结果。单击页面下方的“保存”按钮可以保存当前标注结果。“保存”按钮主要用于保存已经标注的结果，以确保标注中的结果不会丢失。单击“保存”按钮后，该按钮会变成橙色且提示保存成功。（9）提交当前任务。单击“提交”按钮即可提交当前任务。单击“提交”按钮后，除了显示当前标注结果，还会呈现参考答案与作答结果对比页面，以供学习者对比参考。（10）切换到下一题。单击“提交”按钮后，可以单击参考答案与作答结果对比页面中的按钮手动切换到下一题。对于已提交的题目，不能再修改。（11）查看答案。单击标注页面上方的“参考答案”链接可以查看参考答案。如果当前题目的结果尚未提交，则不允许查看参考答案。（12）查看语义分割标注规范。单击标注页面上方的“规范文件预览”按钮，可以查看当前最新的、完整的语义分割标注规范。（六）标注样例（七）项目案例分析我们将按照上述规范要求对下列场景进行分析。本次任务目标为对图片中的交通要素进行标注。答案解析：本案例中首先是要注意人与车的空间关系，要先标在前的要素，以便共边操作。车辆要素要注意的是左侧银色车辆和右侧远处的车辆，左侧银色的车辆只露出部分轮廓，根据规范要求，标注时要遵循所见即所得的原则（特殊事项除外），虽然它只露出部分轮廓，但是依旧能通过可见部位判断出是车辆，需要将可见部分进行标注，被遮挡处也需要脑补。同时，右侧远处的车辆是属于较小且挨在一起的情况，本规范要求如果遇到多个车辆连在一起，则整体标注即可；其次需要注意最左侧女子先标注，右侧远处穿蓝色上衣的人物和穿灰色上衣的人物，虽然穿蓝色上衣的人物被出租车遮挡，但是并未构成严重遮挡，需要将人物脑