人工智能应用基础 课件 任务10 目标检测-火灾烟雾检测

任务10目标检测-火灾烟雾检测任务10目标检测-火灾烟雾检测01020304目标检测概述常用的开源数据集PaddleDetection用户数据处理一、目标检测概述1、什么是目标检测目标检测是计算机视觉中重要的一项任务，也叫目标提取，主要是找出图像中所有感兴趣的目标或者物体，以此来确定它们的类别和位置。目标检测将目标的分割和识别合二为一，其准确性和实时性是整个系统的一项重要能力。在目标检测过程中，每张图像中物体的数量、大小和姿态都不尽相同，造成了非结构化的输出，这也是和图像分类最主要的区别，同时检测的物体时常会有遮挡阶段，从而造成目标检测的困难。比如要确定某张给定图像中是否存在以下类别，比如人、车、狗和猫等实例过程中，需要根据图像理解和计算机视觉为基础，通过目标检测的技术实现目标实例的确定，如果存在，就返回每个目标实例的空间位置和覆盖范围。一、目标检测概述2、目标检测应用场景（1）人脸检测和识别人脸检测是通过给定的一幅图像，采用一定的技术和策略对其进行搜索从而确定图像中是否包含人脸，如果包含人脸，则返回人脸的位置、大小和姿态。人脸识别是用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术。一、目标检测概述2、目标检测应用场景（2）行人检测行人检测主要应用在自动驾驶、视频监控和刑事侦查等地方，主要是根据行人检测方法在特征表示、分类器设计和检测等方面使用进行深入研究，行人检测效果如图所示。一、目标检测概述2、目标检测应用场景（3）文本检测文本检测是判断图片中是否包含文字，如果包含文字，则通过计算机对图片中的文字进行定位和识别，主要分为文本定位和文本识别。一、目标检测概述2、目标检测应用场景文本检测可以帮助视觉残障人士阅读路牌或者货币，在使用过程中，存在以下困难：图像中可能会出现不同字体，颜色和不同语言的文本。图像中可能会出现具有不同视角和方向的文本。具有大宽高比和高密集文本的文字导致文本检测算法难以精确定位。

在街景图像中，字体的缺失与模糊是经常存在的一个问题。一、目标检测概述2、目标检测应用场景（4）交通信号检测随着自动驾驶技术的发展，交通标志和红绿灯的自动检测近年来备受关注。对于像交通灯和交通标志这样的固定场景的标志检测，仍然具有不小的挑战。交通标志检测任务中存在的难点与挑战可简要概括为如下四点:当夜晚或者有强烈光照的时候，交通标志的检测将变得异常困难。车辆在高速行驶的时候所拍摄出来交通标志照片会出现模糊的情况。在一些雨雪天气，车辆所拍摄的交通标志图片质量会大大下降,导致检测困难。

交通标志的检测对于自动驾驶非常重要，所以此任务需要有很高的实时性能。一、目标检测概述2、目标检测应用场景（5）遥感目标检测近年来，随着遥感图像分辨率的提高，遥感图像目标检测(如飞机、船舶、油罐等的检测)成为研究热点,遥感图像目标检测具有广泛的应用，如军事侦察、灾害救援、城市交通管理等等。二、常用的开源数据集1、PASCALVOC数据集PASCALVOC是目标检测领域的经典数据集，也叫VOC数据，主要用于PASCALVOC比赛，数据集中不仅包含图像分类，还包含多个任务的标注内容。PASCALVOC包含约10,000张带有边界框的图片用于训练和验证，是目标检测问题的一个基准数据集，很多模型都是在此数据集上得到的，常用的是VOC2007和VOC2012两个版本数据，共20个类别，可以通过代码自动化下载VOC数据集，因数据集较大，下载需要很长时间。链接为/projects/pascal-voc-dataset-mirror/。#执行代码自动化下载VOC数据集pythondataset/voc/download_voc.py二、常用的开源数据集代码执行完成后VOC数据集文件组织结构如图所示：其中：label_list.txt是类别名称列表，文件名必须是label_list.txt。若使用VOC数据集，config文件中use_default_label为true时不需要这个文件。trainval.txt是训练数据集文件列表test.txt是测试数据集文件列表label_list.txtvoc类别名称列表,类别主要包括人、动物、交通工具、室内等。Annotations下存放的是xml文件,描述了图片信息二、常用的开源数据集VOC数据是每个图像文件对应一个同名的xml文件，xml文件中标记物体框的坐标和类别等信息。例如图像2007_002055.jpg：图片对应的xml文件内包含对应图片的基本信息，比如文件名、来源、图像尺寸以及图像中包含的物体区域信息和类别信息等。xml文件中包含以下字段：filename，表示图像名称。size，表示图像尺寸。包括：图像宽度、图像高度、图像深度。结构如下所示。<size><width>500</width><height>375</height><depth>3</depth></size>二、常用的开源数据集MSCOCO的全称是MicrosoftCommonObjectsinContext，通过代码自动化下载COCO数据集命令如下所示。#执行代码自动化下载COCO数据集pythondataset/coco/download_coco.py代码执行完成后COCO数据集文件组织结构如图所示。二、常用的开源数据集COCO数据集的标签文件标记了每个segmentation+boundingbox的精确坐标，其精度均为小数点后两位一个目标的标签示意如下：{"segmentation":[[392.87,275.77,402.24,284.2,382.54,342.36,375.99,356.43,372.23,357.37,372.23,397.7,383.48,419.27,407.87,439.91,427.57,389.25,447.26,346.11,447.26,328.29,468.84,290.77,472.59,266.38],[429.44,465.23,453.83,473.67,636.73,474.61,636.73,392.07,571.07,364.88,546.69,363.0]],"area":28458.996150000003,"iscrowd":0,"image_id":503837,"bbox":[372.23,266.38,264.5,208.23],"category_id":4,"id":151109}二、常用的开源数据集COCO数据标注是将所有训练图像的标注都存放到一个json文件中。数据以字典嵌套的形式存放。json文件中包含以下key：info，表示标注文件info。licenses，表示标注文件licenses。images，表示标注文件中图像信息列表，每个元素是一张图像的信息。三、PaddleDetectionPaddleDetection为基于飞桨PaddlePaddle的端到端目标检测套件，内置30+模型算法及250+预训练模型，覆盖目标检测、实例分割、跟踪、关键点检测等方向。1、概述三、PaddleDetectionPaddleDetection需要在PaddlePaddle安装的基础上进行安装，PaddlePaddle和PaddleDetection存在依赖关系，在使用过程中需要安装对应的版本。2、安装三、PaddleDetection在本地查看PaddlePaddle安装是否成功及查看对应的版本时，命令如下：2、安装#在您的Python解释器中确认PaddlePaddle安装成功>>>importpaddle>>>paddle.utils.run_check()#确认PaddlePaddle版本python-c"importpaddle;print(paddle.__version__)"三、PaddleDetection安装PaddleDetection。第一步：克隆PaddleDetection仓库，命令如下：cd<path/to/clone/PaddleDetection>gitclone/PaddlePaddle/PaddleDetection.git第二步：安装其他依赖，命令如下：cdPaddleDetectionpipinstall-rrequirements.txt三、PaddleDetection第三步：编译安装paddledet，命令如下：pythonsetup.pyinstall第四步：查看是否安装成功，运行代码如下：pythonppdet/modeling/tests/test_architectures.py出现效果如下所示。三、PaddleDetection第五步：快速体验目标检测效果#在GPU上预测一张图片exportCUDA_VISIBLE_DEVICES=0pythontools/infer.py-cconfigs/ppyolo/ppyolo_r50vd_dcn_1x_coco.yml-ouse_gpu=trueweights=/models/ppyolo_r50vd_dcn_1x_coco.pdparams--infer_img=demo/000000014439.jpg会在output文件夹下生成一个画有预测结果的同名图像。四、用户数据处理用户数据集转成VOC数据后目录结构如下（注意数据集中路径名、文件名尽量不要使用中文，避免中文编码问题导致出错）：dataset/xxx/├──annotations│├──xxx1.xml│├──xxx2.xml│├──xxx3.xml│|...├──images│├──xxx1.jpg│├──xxx2.jpg│├──xxx3.jpg│|...├──label_list.txt(必须提供，且文件名称必须是label_list.txt)├──train.txt(训练数据集文件列表,./images/xxx1.jpg./annotations/xxx1.xml)└──valid.txt(测试数据集文件列表)1、用户数据转成VOC数据四、用户数据处理labelme数据转换为COCO数据pythontools/x2coco.py\--dataset_typelabelme\--json_input_dir./labelme_annos/\--image_input_dir./labelme_imgs/\--output_dir./cocome/\--train_proportion0.8\--val_proportion0.2\--test_proportion0.02、用户数据转成COCO数据四、用户数据处理VOC数据转换为COCO数据pythontools/x2coco.py\--dataset_typevoc\--voc_anno_dirpath/to/VOCdevkit/VOC2007/Annotations/\--voc_anno_listpath/to/VOCdevkit/VOC2007/ImageSets/Main/trainval.txt\--voc_label_listdataset/voc/label_list.txt\--voc_out_namevoc_train.json2、用户数据转成COCO数据四、用户数据处理用户数据集转成COCO数据后目录结构如下（注意数据集中路径名、文件名尽量不要使用中文，避免中文编码问题导致出错）：dataset/xxx/├──annotations│├──train.json#coco数据的标注文件│├──valid.json#coco数据的标注文件├──images│├──xxx1.jpg│├──xxx2.jpg│├──xxx3.jpg│|...2、用户数据转成COCO数据四、用户数据处理关于Dataset的配置文件存在于configs/datasets文件夹。比如COCO数据集的配置文件如下：metric:COCO#目前支持COCO,VOC,OID，WiderFace等评估标准num_classes:80#num_classes数据集的类别数，不包含背景类TrainDataset:!COCODataSetimage_dir:train2017#训练集的图片所在文件相对于dataset_dir的路径anno_path:annotations/instances_train2017.json#训练集的标注文件相对于dataset_dir的路径dataset_dir:dataset/coco#数据集所在路径，相对于PaddleDetection路径data_fields:['image','gt_bbox','gt_class','is_crowd']"""控制dataset输出的sample所包含的字段，注意此为训练集Reader独有的且必须配置的字段"""3、用户数据自定义reader四、用户数据处理EvalDataset:!COCODataSetimage_dir:val2017#验证集的图片所在文件夹相对于dataset_dir的路径anno_path:annotations/instances_val2017.json#验证集的标注文件相对于dataset_dir的路径dataset_dir:dataset/coco#数据集所在路径，相对于PaddleDetection路径TestDataset:!ImageFolderanno_path:annotations/instances_val2017.json"""标注文件所在路径，仅用于读取数据集的类别信息，支持json和txt格式"""dataset_dir:dataset/coco"""数据集所在路径，若添加了此行，则`anno_path`路径为`dataset_dir/anno_path`，若此行不设置或去掉此行，则`anno_path`路径即为`anno_path`"""四、用户数据处理以Kaggle数据集比赛数据为例，说明如何准备自定义数据。Kaggle上的

road-sign-detection

比赛数据包含877张图像，数据类别4类：crosswalk，speedlimit，stop，trafficlight。可从Kaggle上下载，也可以从下载链接下载。路标数据集示例图如图所示。4、用户数据数据转换示例四、用户数据处理#下载解压数据>>cd$(ppdet_root)/dataset#下载kaggle数据集并解压，当前文件组织结构如下├──annotations│├──road0.xml│├──road1.xml│├──road10.xml│|...├──images│├──road0.jpg│├──road1.jpg│├──road2.jpg│|...四、用户数据处理将数据划分为训练集和测试集#生成label_list.txt文件>>echo-e"speedlimit\ncrosswalk\ntrafficlight\nstop">label_list.txt#生成train.txt、valid.txt和test.txt列表文件>>lsimages/*.png|shuf>all_image_list.txt>>awk-F"/"'{print$2}'all_image_list.txt|awk-F".png"'{print$1}'|awk-F"\t"'