任务3.2图像数据清洗

项目三图像数据清洗（上）主讲教师:段晓亮Imagedatacleaning商场公司负责人想要利用人工智能技术检测商场内的顾客和工作人员是否佩戴口罩，通过商场内部安装的监控摄像头拍摄视频，检测视频图像内是否有人没有佩戴口罩或没有正确佩戴口罩，如果发现会及时提醒或者通知工作人员。为口罩检测模型的训练提供可用的图像数据，用于训练模型。在此任务中完成图像处理与清洗一系列操作，掌握实际项目中应对新需求的能力。任务导入任务知识目标01了解图像数据清洗的必要性02掌握图像数据处理的基本步骤03了解图像数据集的去重、尺寸变换、格式转换、图像重命名等操作04了解图像二值化、图像去噪、图像矫正等操作任务能力目标学会图像数据处理的常见操作，能迁移至其他项目理解数据清洗、处理的流程，分析不同工作流程下所设置的岗位差异与岗位职责能根据需求文档总结自己的工作内容与可能遇到的问题020103目标

0102通过解决实际项目中遇到的问题，培养分析问题、解决问题的科学探索精神培养服务意识以及尊重劳动、热爱劳动的优良品质目标任务思政目标CONTENTS目录图像数据集的应用任务01Applicationtasksofimagedatasets图像数据处理步骤02Imagedataprocessingsteps视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。1.图像数据集的应用任务在数据清洗部分，我们观察需要清洗的图片内容：这些“内容清洗”样本，我们无法用程序来检测图像中的细节，所以只能通过“手动清洗”解决问题。视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。1.图像数据集的应用任务利用python编写的程序脚本，可以解决大部分数据集内存在的格式问题；并且还可以利用程序自动筛选尺寸、重复数据等图像样本。但是针对图像数据的某些样本来说，样本内的内容和我们实际项目并不符合，我们还需要对该类样本进行筛选。所以我们要手动删除数据集内的“内容不匹配”样本对自动处理后的数据做“手动清洗”视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。1.图像数据集的应用任务内容低质量样本由于采集途径的不同，导致数据内容质量存在不稳定性；即使有些数据具有高质量的内容，但是内容却与项目主体内容无关。“内容质量”指的是图像内的实例主体是否与项目所需内容相符，是否具有清晰的主体信息。“人脸戴口罩主体清晰”“高质量正样本”图像内同样存在清晰口罩主体，但与项目所需条件不符视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。1.图像数据集的应用任务内容无关样本该类样本为口罩项目的“内容无关样本”视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。1.图像数据集的应用任务低质量样本清除了主体内容无关样本之后，虽然剩下样本都符合“人脸口罩”检测要求，但同样存在“低质量”样本。首先是针对数据样

本内“主体人物过多”样本该类样本有两个特点：1.很难建立统一的标注标准标注误差导致算法精度降低2.该类样本属于“内容低质量”视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。1.图像数据集的应用任务低质量样本除了“主体人物过多”样本之外，我们注意到在清洗规则里，存在“人脸主体像素区域过小”样本。该类样本有两个特点：1.人脸像素区域面积很小肉眼无法准确判断是否佩戴口罩2.该类样本同样属于“内容低质量”像素区域小同样会导致我们无法建立统一的标注标准，不同的人会判定为不同的目标类别。视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。2.图像数据处理步骤图像去重删除尺寸过小样本重新定义样本尺寸修改图像样本格式样本重新编号需要在清洗后、标注前对数据做预处理数据预处理数据手动清洗标注数据预处理视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。2.图像数据处理步骤在数据处理需要要求我们对数据集做如下操作：图像去重可以使用程序“自动处理”删除尺寸过小样本重新定义样本尺寸修改图像样本格式样本重新编号这些处理都有什么共同特点？视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。2.图像数据处理步骤在文字检测与文字识别中，图像质量的好坏直接关系到检测率与识别率的高低，因此对图像进行清洗和处理是不容忽视的重要环节。无论是人工拍摄还是扫描的样本都要做清洗，如果不能用的，需要重新采集。清洗过的数据为了进一步提高模型训练效率，在标注之前需要进行数据处理。人工采集数据集数据处理数据清洗视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。2.图像数据处理步骤首先针对文本样本本身的问题，重要的点在于文本的内容不清晰，无法用技术手法解决。样本本身模糊问题有以下两种：“文本内容破损”“文本内容涂抹”针对这两种样本本身质量问题，需要在拍摄和扫描时及时发现并清洗掉。如果流入清洗环节，需要手动删除。视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。2.图像数据处理步骤在确保样本本身质量没问题之后，我们需要对错误拍摄和扫描手法产生的垃圾样本进行清洗。拍摄过程中，相机抖动或者拍摄过快导致的相机聚焦较慢，会产生过度模糊样本，肉眼无法看清文本内容，该类样本需要手动删除。文本内容模糊视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。2.图像数据处理步骤拍摄采集数据集，由于拍摄角度没有固定，导致拍摄出的图像样本具有“透视”效果，该类样本同样会导致以下问题：文本透视1、透视效果导致标注困难，影响人工标注2、透视效果会影响模型的特征提取，影响精度视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。2.图像数据处理步骤拍摄时的光线不稳定，导致文本图像样本中存在不同光照效果，该类样本需要被删除，会影响后续的预处理操作和特征提取操作。扫描时导致文本内容没有完全进入到画面中，导致文本内容丢失，虽然样本内存在的可能性较低，但是遇到也需要及时删除。光线不均匀文本内容丢失视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多