数据标注 课件 10.2D3D点云融合标注

2D3D点云融合标注培训课程目录012D3D融合标注概念及意义042D3D融合技能详解032D3D融合项目规则示例022D3D融合标注类型及属性052D3D融合标注实操目录012D3D融合标注概念及意义042D3D融合技能详解032D3D融合项目规则示例022D3D融合标注类型及属性052D3D融合标注实操3D点云标注使用三维立体框把3D图中特定物体的点云标注起来，以得到物体立体模型。2D拉框标注通过使用2D框工具标注出图像中的特定物体，以供AI算法学习与调优使用。2D3D融合标注指【同时】对2D和3D传感器中所采集到的图像数据进行标注，并建立起联系。2D3D融合标注定义2D3D融合标注概念及意义目前,2D3D融合标注在自动驾驶领域中的应用可以分为以下两个方面：通过车载激光雷达扫描可以得到汽车周围环境的实时3D模型，运用相关算法比对上一帧和下一帧环境的变化可以识别出周围的车辆和行人，实现自动避障，提升自动驾驶的安全度。激光雷达所具备的同步建图(SLAM)，可以实时得到全局地图，通过与高精度地图中特征物的比对，实现导航及车辆的精准定位。2D3D融合标注意义2D3D融合标注概念及意义目录012D3D融合标注概念及意义042D3D融合技能详解032D3D融合项目规则示例022D3D融合标注类型及属性052D3D融合标注实操2D:对2D图中的车辆，行人，非机动车等进行矩形框标注，使得框的种类符合实际物体的类型，所见即所得。3D:对点云中最外侧红圈以内所有的汽车、非机动车、行人等种类别在3D图中进行立体框标注,使得框的种类符合实际物体的类型，框的方向能代表物体的实际走向。2D3D融合标注对象2D3D融合标注类型及属性车辆特种车辆非机动车行人动物未定义2D3D融合标注类型总览2D3D融合标注类型及属性主要用于载运乘客及其随身行李和临时物品的汽车,包括驾驶员座位在内最多不超过9个座位。2D3D融合标注类型-车辆类-轿车2D3D融合标注类型及属性越野车（SUV）是指运动型多用途汽车，全称是sportutilityvehicle，即运动性多用途汽车或城郊多用途汽车，是一种拥有旅行车般的空间机能，配以货卡车的越野能力的车型。与轿车的主要区分度是车辆整体尺寸较大，且尾部较为平直。2D3D融合标注类型-车辆类-越野车（SUV）2D3D融合标注类型及属性用于载运乘客及其随身行李的商用车辆,包括驾驶员在内座位数超过9座,可以是单层或者是双层。2D3D融合标注类型-车辆类-公交车2D3D融合标注类型及属性微型轿车（简称微轿），指排量小于或等于1升的轿车，外形较正常轿车较为小巧，一般为2-4座。2D3D融合标注类型-车辆类-微型轿车2D3D融合标注类型及属性面包车为平头或短头车身结构，发动机中置(指发动机缸体整体位于汽车前后轴之间的布置形式)，乘坐人数小于等于9人，安装座椅的载客汽车。特别注意：商务车（mpv）一般也归属于这个类别。2D3D融合标注类型-车辆类-面包车2D3D融合标注类型及属性小型货车主要指小型箱货和皮卡，一般车长尺寸在6米以内。2D3D融合标注类型-车辆类-小型货车2D3D融合标注类型及属性用于载运货物而设计和装备的商用车辆。注意：此类型为低于13米货车，需要与半挂车区分。2D3D融合标注类型-车辆类-卡车重卡2D3D融合标注类型及属性半挂车是车轴置于车辆重心（当车辆均匀受载时）后面，并且装有可将水平或垂直力传递到牵引车的联结装置的挂车。注意：当卡车/一般货车车长高于13米时，需要给半挂车类型。2D3D融合标注类型-车辆类-半挂车2D3D融合标注类型及属性工程车辆是用于建筑工程，常见类型有：大型吊车、挖掘机、推土机、压路机。注意：此类型车辆未伸展开时，统一框选，如果停下作业，则只框选车辆主体部分。2D3D融合标注类型-车辆类-工程车辆2D3D融合标注类型及属性此类型车辆包含三类，主要为：油罐车、水泥搅拌车、叉车，均为有一定危险性需要特殊对待。2D3D融合标注类型-车辆类-特殊车辆2D3D融合标注类型及属性指在所有警【备】车、消防车、【医疗】救护车、工程救险车、校车、交通管理车、警【备】摩托车。在执行作业中代表车辆警示灯(非危险警示灯)亮起，或其他执行作业标识(如校车)2D3D融合标注类型-车辆类-特种车辆2D3D融合标注类型及属性特指人力类型的自行车，无法区分的自行车群（三个及以上）无需标注。2D3D融合标注类型-非机动车-自行车2D3D融合标注类型及属性电动两轮摩托车、混合动力(电动)两轮摩托车，两轮摩托车；电动两轮轻便摩托车、混合动力(电动)两轮轻便摩托车，两轮轻便摩托车。三个及以上无法区分的摩托车/电动车无需标注。2D3D融合标注类型-非机动车-摩托车2D3D融合标注类型及属性非人力三轮车/四轮车指的是机动三轮车或机动四轮农用三轮车/四轮车,通常其座位数为3个或3个以下，体积相比于卡车来说较小,大于普通三轮摩托车,且不属于三轮摩托车。2D3D融合标注类型-非机动车-非人力三轮车/四轮车2D3D融合标注类型及属性⾏⼈包括所有可⻅范围内的⼈类单独个体，包括站⽴、坐躺、⾏⾛与骑⾏等。注意：密集人群无法分辨时，无需单独标注2D3D融合标注类型-行人2D3D融合标注类型及属性骑行者是指人骑行或者驾驶机动车的情况，此类型较为特殊，标注时需要特别注意。2D3D融合标注类型-骑行者2D3D融合标注类型及属性主要包含轮椅、购物⻋、婴⼉⻋等类型，推车的人员需要标注为行人，坐在手推车上的人员无需单独标注。2D3D融合标注类型-手推车2D3D融合标注类型及属性主要包含常见的宠物猫、狗及家禽鸡鸭鹅等。2D3D融合标注类型-动物2D3D融合标注类型及属性不在上述类别中的障碍物，一般不选择此类型。2D3D融合标注类型-未定义2D3D融合标注类型及属性04遮挡01可见02截断05行人属性06车辆状态03忽略2D3D融合标注属性—概览2D3D融合标注类型及属性对于点云和图像之间的联合标注，可能会出现点云与图像之间，仅⼀端可⻅的情况，因此对不同情况赋予不同的可⻅类型标签。可见情况分为三种：A.两端都可⻅（点云可⻅可标注，图像中也可⻅）B.点云可⻅（只在点云中可⻅，图像中不可⻅⽬标）C.图像可⻅（只在图像中可⻅，点云不可⻅或⽆法标注）

2D3D融合标注属性—可见2D3D融合标注类型及属性⽬标出现在图像的上下左右边缘且特征不完整时，需标注为截断。当⽬标被遮挡且出现在图像的上下左右边缘且特征不完整时，需同时标注遮挡和截断属性。截断情况分为四种（比例优先选高区间）：A.未被截断B.轻度截断（截断比例<30%）C.中度截断(截断比例30%~70%)D.⾼度截断（截断比例>70%）

2D3D融合标注属性—截断2D3D融合标注类型及属性【是否忽略】：截断超过90%，需给忽略属性

2D3D融合标注属性—忽略2D3D融合标注类型及属性⽬标被遮挡且特征不完整时，需标注为遮挡。当⽬标被遮挡且出现在图像的上下左右边缘且特征不完整时，需同时标注遮挡和截断属性。遮挡情况分为四种（比例优先选高区间）：A.未被遮挡B.轻度遮挡（遮挡比例<30%）C.中度遮挡(遮挡比例30%~70%)D.⾼度遮挡（遮挡比例>70%）

2D3D融合标注属性—遮挡2D3D融合标注类型及属性在标注⾏⼈和骑⾏的⼈时需要标注其姿态，姿态共分为五个类别：俯⾝弯腰、骑⾏、坐、躺与⾏⾛。在标注⾏⼈与骑⾏的⼈时需要标注其朝向，朝向分为8个类别：正前、左前、右前、正左、正右、正后、后左与后右（角度优先选正方向）。注意：行人面向摄像头是正后，背对摄像头正前，左右为摄像头实际左右。

2D3D融合标注属性—行人属性2D3D融合标注类型及属性在标注车辆目标时，需要赋予其一个状态属性，状态属性分为停车状态、其他状态、等红灯等临时停车状态。如果目标车辆在路边停止或者位于停车位内，则判定为停车状态，如果目标车辆是在等红灯时，则判定为等红灯等临时停车状态，否则标注为其他状态。

2D3D融合标注属性—车辆状态2D3D融合标注类型及属性目录012D3D融合标注概念及意义042D3D融合技能详解032D3D融合项目规则示例022D3D融合标注类型及属性052D3D融合标注实操1.2D全图标注,3D也全图标注,2D3D都有的要做好关联；2.在标注车辆类型时，需要先看2D图，若2D图片可以清楚的分辨出来车辆类型，即标注对应的类型即可。若2D图片无法确定车辆类型，需关注点云形状，根据车辆尺寸判断对应类别即可，均无法判断时按轿车>越野车>面包车类型标注;2D3D融合标注细节讲解—车辆2D3D融合标注项目规则1.2D全图标注,3D也全图标注,2D3D都有的要做好关联；2.在标注车辆类型时，需要先看2D图，若2D图片可以清楚的分辨出来车辆类型，即标注对应的类型即可。若2D图片无法确定车辆类型，需关注点云形状，根据车辆尺寸判断对应类别即可，均无法判断时按轿车>越野车>面包车类型标注；3.后视镜以及打开的车门、后备箱/发动机盖、天线、行李架、出租车的灯牌不需要标注，车辆携带的货物无需标注；天线后视镜2D3D融合标注细节讲解—车辆2D3D融合标注项目规则4.拖车拖着其他车辆时需要给半挂车类型，如果没有拖着其他车给卡车类型（特殊规则）；5.只有车头时车辆类型给半挂车，只有车厢时无需标注；2D3D融合标注细节讲解—车辆2D3D融合标注项目规则6.当视野中的部分车辆与采集车不在一个平面时，无需标注，如右图天桥上的车辆；7.若有堆叠在一起的非机动车（三辆及以上）和倒在地上的车也无需标注；2D3D融合标注细节讲解—车辆/非机动车2D3D融合标注项目规则8.大人抱小孩的情况下不标注小孩，假人需标注（给行人即可）9.人站在平衡车上给行人类型；2D3D融合标注细节讲解—行人2D3D融合标注项目规则1.骑⾏者⼈和⻋⼀起标注⼀个完整的2D框，骑⾏的⼈单独标注⼀个⾏⼈类别的2D框，行人类型需要给骑行；2.如图红框为行人-骑行，黄框为整体骑行者。如果为封闭三轮车，仅标注为三轮车即可，如果是非封闭三轮车需要标注为骑行者；3.非机动车载人时，非驾驶员不标注；4.人推车时也需要给骑行者类别；2D3D融合标注细节讲解—骑行者2D3D融合标注项目规则1.点云项目残影、重影特别严重无法正常区分时改帧数据不标注；2.2D点云23D或视图缺失不标注；3.2D视图和3D点云不对应时不标注。2D3D融合数据筛选准则2D3D融合标注项目规则点云不完整时：轿车按4.5宽1.8高1.6以下脑补，越野车按4.8宽1.8高1.6-1.8脑补（单位:米）；微型汽车车长脑补<4米；小型货车脑补<6米；当货车车长大于13米时，统一给半挂车类型；特别注意：尺寸和类型要一致2D3D融合尺寸特殊注意事项2D3D融合标注项目规则2D3D融合尺寸参考表2D3D融合标注项目规则目录012D3D融合标注概念及意义042D3D融合技能详解032D3D融合项目规则示例022D3D融合标注类型及属性052D3D融合标注实操贴合平行方向正确物体漏点脑补类型正确地线贴合属性正确2D3D融合标注技能总览2D3D融合标注技能详解3D图中车体的一侧边缘需要和3D框的一边保持平行，如左图，红箭头所指为平行情况；2D3D融合标注基本技能——平行2D3D融合标注技能详解2D图和3D图标注的对象，画好的框要贴合到标注对象本身。2D图贴合到物体最外沿,3D图贴合到物体点云最外沿；2D3D融合标注基本技能——贴合2D3D融合标注技能详解3D点云扫描不完整的物体或2D有遮挡或者拥挤的障碍物，用框将该部分补全的过程叫做脑补；（俯视视角/后视视角/侧视视角：判断物体与框的前后左右4条边是否脑补到合理尺寸，尺寸请参考P44）2D3D融合标注基本技能——脑补2D3D融合标注技能详解3D框中只需要物体本身的点，同时要剔除地线，且避免车辆悬浮。车身周围的杂点如果离车身较近，则标注为车身的一部分；如果离车身仍存在一定距离，则排除在标注框外。2D3D融合标注基本技能——物体漏点2D3D融合标注技能详解在3D三视图【后视角】【侧视角】下，点云与地线的交接处应注意贴合地线上沿画框；注：在遇到车身点与地线有交汇时参照具体项目规则画框2D3D融合标注基本技能——地线贴合2D3D融合标注技能详解3D图中物体方向需标注正确；

3D图中，车辆，行人等能区分正反面的物体，正面/车头朝向为物体方向。标好车头方向后，三视图中的“侧视/俯视角”，车头与黄色箭头一致（右侧），代表方向正确；车头方向，通过按钮或ALT+R反转车头方向；2D3D融合标注基本技能——方向正确2D3D融合标注技能详解2D&3D图中类型需要与物体相符;注意：如通过2D图像已经确定是个大型卡车，即使3D图像里显示不全导致长高都达不到大型车标准时仍然标注为卡车。2D3D融合标注基本技能——类型正确2D3D融合标注技能详解2D图中属性需要与物体实际情况相符；如右图，第一辆小轿车（银/灰）的属性【均可见-不忽略-未截断-无遮挡-临时停车】第二辆小轿车（红）的属性【均可见-不忽略-未截断-轻度遮挡-临时停车】2D3D融合标注基本技能——属性正确2D3D融合标注技能详解目录012D3D融合标注概念及意义042D3D融合技能详解032D3D融合项目规则示例022D3D融合标注类型及属性052D3D融合标注实操寻找采集车确认3D图方向寻找红圈，确认3D图标注范围拖动2D3D图放大/缩小2D3D图2D图画框2D图如何调整框大小2D图删除2D图修改类型&属性3D图画框3D图删除3视图俯视视角调整方向3视图中三个视角下调整长/宽/高3D图修改类型&车头方向2D3D图关联框2D3D融合画框基本操作2D3D融合标注基础实操寻找采集车确认3D图方向寻找红圈，确认3D图标注范围拖动2D3D图放大/缩小2D3D图2D图画框2D图如何调整框大小2D图删除2D图修改类型&属性3D图画框3D图删除3视图俯视视角调整方向3视图中三个视角下调整长/宽/高3D图修改类型&车头方向2D3D图关联框2D3D融合画框基本操作2D3D融合标注基础实操寻找采集车确认3D图方向寻找红圈，确认3D图标注范围拖动2D3D图放大/缩小2D3D图2D图画框2D图如何调整框大小2D图删除2D图修改类型&属性3D图画框3D图删除3视图俯视视角调整方向3视图中三个视角下调整长/宽/高3D图修改类型&车头方向2D3D图关联框【拖动2D3D图】—

鼠标右键【放大/缩小2D3D图】

—鼠标滚轮【2D图画框】—

Ctrl+1→左键拉框→左键结束【2D图如何调整框大小】—双击→拖动四角白○调整【2D图删除】—

选中目标→双击右键2D3D融合画框基本操作2D3D融合标注基础实操寻找采集车确认3D图方向寻找红圈，确认3D图标注范围拖动2D3D图放大/缩小2D3D图2D图画框2D图如何调整框大小2D图删除2D图修改类型&属性3D图画框3D图删除3视图俯视视角调整方向3视图中三个视角下调整长/宽/高3D图修改类型&车头方向2D3D图关联框【2D图修改类型&属性】—

2D图中选中目标→E键(英文输入法)→点选修改类型→点选修改属性2D3D融合画框基本操作2D3D融合标注基础实操寻找采集车确认3D图方向寻找红圈，确认3D图标注范围拖动2D3D图放大/缩小2D3D图2D图画框2D图如何调整框大小2D图删除2D图修改类型&属性3D图画框3D图删除3视图俯视视角调整方向3视图中三个视角下调整长/宽/高3D图修改类型&车头方向2D3D图关联框【3D图画框】—

Alt+1(英文输入法)→左键拉框(车尾向车头）→右键结束【3D图删除】—

双击选中目标→Delete键【3视图俯视视角调整方向】—

拖动方向修改按钮/Alt+R1