人工智能数据标注实战教程 课件 第二章 图像任务标注项目

第二章

图像任务标注项目任务一

图像标签分类标注内容概括概念典型应用场景实践标注操作小结“人之情，目欲视色”--庄子1.概念图像分类是根据图像的语义信息将不同类别图像区分开来，是计算机视觉中重要的基本问题，也是图像检测、图像分割、物体跟踪、行为分析等其他高层视觉任务的基础。其核心思想便是从给定的分类集合中给图像分配一个标签的任务。实际上，图像分类的任务是分析一个输入图像并返回一个将图像分类的标签。标签来自预定义的可能类别集。图像分类在很多领域有广泛应用，包括安防领域的人脸识别和智能视频分析等，交通领域的交通场景识别，互联网领域基于内容的图像检索和相册自动归类，医学领域的图像识别等。2.典型应用场景2.典型应用场景中医药数据领域广泛应用深度学习等新技术开展研究。中药作为中医药的重要组成部分，其有着数千年的悠久历史，底蕴十分丰富。中国劳动人民几千年来在与疾病作斗争的过程中，通过实践，不断认识，逐渐积累了丰富的医药知识。由于太古时期文字未兴，这些知识只能依靠师承口授。后来有了文字，便逐渐记录下来，出现了医药书籍，这些书籍起到了总结前人经验并便于流传和推广的作用。由于药物中草类占大多数，所以记载药物的书籍便称为“本草”。据考证,素汉之际,本草流行已较多，但可惜这些本草都已亡佚，无可考察。现知的最早本草著作称为《神农本草经》，著者不详，根据其中记载的地名，可能是东汉医家修订前人著作而成。2.典型应用场景人工智能技术的发展为中医诊断手段带来新的契机，随着中医传统诊断方法现代化研究的深入，脉诊仪、舌诊仪、色诊仪、闻诊仪、经络仪等已成为新兴的现代中医诊断技术。人工智能具有独立自主的诊疗能力，通过大数据学习可达到与中医专家高度匹配的诊疗结果，以现代中医诊断技术及其数据为支撑，基于案例推理模型，利用人体信息采集设备，应用人工智能技术模拟中医诊断过程，为医生提供诊疗所需的知识、经验、方法等启发医生思维，辅助医生诊断，实现中医诊断技术的信息化、数字化、标准化。3.实践标注操作准备数据此处准备了30张动物图像用于标注，分别是10张鸡的图像，10张兔子的图像，10张老鼠的图像。3.实践标注操作创建项目打开label-studio，在页面选择“CreateProject”创建项目，命名为AnimalClassify，并添加相应描述3.实践标注操作导入数据选择“DataImport”，通过左上角的“UploadFiles”选择准备好的数据，进行导入。右图分别为导入数据前后的“DataImport”界面。3.实践标注操作LabelingSetup导入数据后，选择界面上方的“LabelingSetup”，之后出现如图所示界面，左边列表为任务选择列表，包括ComputerVision、NaturalLanguageProcessing、Audio/speechProcessing等，根据不同任务选择选项，本次的图片分类任务选择第一项“ComputerVision”。之后界面右侧会出现八个不同的任务选项，由于本节要进行的是图片分类任务，所以选择第六个任务-“ImageClassification”。3.实践标注操作LabelingSetup选择项目模板类型后，跳转至如图所示界面3.实践标注操作LabelingSetup在上述界面的左边添加图片中动物的分类，因为图片分别有10张鸡，10张兔子以及10张老鼠，故设置了三个英文标签，分别为：chicken、rabbit、rat。添加完标签后，便可点击界面右上角的“Save”按钮，跳转至如图所示界面，该界面中展示了所有载入的图像。3.实践标注操作开始标注任意点击任务主界面的一张图像，便可进入该图像的标注界面。例如点击，如图所示的母鸡图片，在此界面可以根据该图像所属的标签类型，选择对应的标签，比如该图像内容是一只鸡，则选择对应的chicken标签，选完之后，点击右上角的“Submit”提交。3.实践标注操作开始标注通过图任务主界面点击中上方位置的LabelAllTasks按钮，则会进入到如图所示界面。于该界面中同样可对图片进行标注操作，打完标签后，点击右上角的“Submit”按钮即可跳转到下一张图像继续标注。3.实践标注操作开始标注如果当前图片不属于三个标签中的任一类或者该图像不能确认类别，则可点击界面右上角的“Skip”按钮，跳过该图像的标注过程。对于已经标记了的图像，可在标注界面通过左上角的<、>进行图像的切换选择待修改图像，更新该图像的标签后，点击右上角的Updata即可。3.实践标注操作开始标注所有图像标注完成之后，便会跳转到如图所示界面，代表所有图像均已处理完成。3.实践标注操作开始标注点击界面左上角的AnimalClassify便可查看图片的标注情况，如图所示，其中第一列数据代表图像id，第二列代表标注时间，第三列代表标注与否，1为标注完成，0为未标注，第四列代表是否跳过标注，1代表跳过，0代表未跳过。3.实践标注操作导出结果若要导出最终的标注结果，则可图中“Export”按钮，便会出现如图所示界面，根据处理任务的不同会显示不同文件生成结果，由于本节任务是图像分类，所以，可以生成如图所示的四类文件，若要导出哪种文件到本地，选中其后，点击右下角“Export”即可。3.实践标注操作结果展示将所需文件导出到本地后，可以进行查看，比如导出JSON格式文件，如图所示，由于篇幅过大，所以只展示了部分数据。[{

"id":90,

"annotations":[{

"id":91,

"completed_by":1,

"result":[{

"value":{"choices":["rat"]},

"id":"IkO1NcTGG_",

"from_name":"choice",

"to_name":"image",

"type":"choices",

"origin":"manual"}],

"was_cancelled":false,

"ground_truth":false,

"created_at":"2022-05-19T11:08:02.299987Z",

"updated_at":"2022-05-19T11:08:02.299987Z",

"lead_time":4.131,

"prediction":{},

"result_count":0,

"task":90,

"parent_prediction":null,

"parent_annotation":null}],………………

"file_upload":"ab51fbca-chickens007.jpg",

"drafts":[],

"predictions":[],

"data":{"image":"\/data\/upload\/9\/ab51fbca-chickens007.jpg"},

"meta":{},

"created_at":"2022-05-19T10:56:03.092880Z",

"updated_at":"2022-05-19T11:00:58.184831Z",

"project":9}]3.实践标注操作结果展示或者所需文件为CSV文件，则将CSV文件导出，如图所示。小结知识目标：（1）明确分类任务标注方法（2）熟悉分类任务结果导出格式思政目标：（1）了解中国传统哲学文化（2）了解中医药发展的历程第二章

图像任务标注项目任务二

目标检测标注内容概括概念典型应用场景实践标注操作1.1概念目标检测，也称为目标提取，是一种基于目标几何和统计特征的图像分割。它将目标的分割和识别合二为一，其准确性和实时性是整个系统的一项重要性能。目标检测是图像分类的进阶版本，图像分类只需要辨别图像中物体的类别即可，而对于目标识别来说，还需要得到目标详细的坐标信息。在目标检测任务中，需要输入一张图像，然后从整张图像中辨别出需要识别的目标，指出目标的类别，并且需要标注出目标的位置，并用外接矩形框标出。1.2典型应用场景随着计算机技术的发展和计算机视觉原理的广泛应用，利用计算机图像处理技术对目标进行实时跟踪研究越来越热门，对目标进行动态实时跟踪定位在智能化交通系统、工业检测、智能监控系统、军事目标检测及医学导航手术中的手术器械定位等方面具有广泛的应用价值。1.2典型应用场景在智能化交通系统中，目标检测主要应用于如下场景：（1）交通流量与红绿灯控制：通过视觉算法，对道路卡口相机和电警相机中采集的视频图像进行分析，根据相应路段的车流量，调整红绿灯配时策略，提升交通通行能力。1.2典型应用场景（2）交通事件检测：通过视觉算法，检测各种交通事件，包括非机动车驶入机动车道、车辆占用应急车道以及监控危险品运输车辆驾驶员的驾驶行为、交通事故实时报警等，第一时间将异常事件上报给交管部门。1.2典型应用场景（3）交通违法事件检测和追踪：通过视觉算法，发现套牌车辆、收费站逃费现象，跟踪肇事车辆，对可疑车辆/行人进行全程轨迹追踪，通过视觉技术手段，极大地提升公安/交管部门的监管能力。目标测标注1.2典型应用场景（4）自动驾驶：自动驾驶是一个多种前沿技术高度交叉的研究方向，其中视觉相关算法主要包含对道路、车辆以及行人的检测，对交通标志物以及路旁物体的检测识别等。主流的人工智能公司都投入了大量的资源进行自动驾驶方面的研发，目前已经初步实现了受限路况条件下的自动驾驶，但距离实现不受路况、天气等因素影响的自动驾驶，尚有相当大的一段距离。1.2典型应用场景工业检测是计算机视觉的另一个重要应用领域，在各个行业均有极为广泛的应用。在产品的生产过程中，由于原料、制造业工艺、环境等因素的影响，产品有可能产生各种各样的问题。其中相当一部分是所谓的外观缺陷，即人眼可识别的缺陷。在传统生产流程中，外观缺陷大多采用人工检测的方式进行识别，不仅消耗人力成本，也无法保障检测效果。工业检测就是利用计算机视觉技术中的目标检测算法，把产品在生产过程中出现的裂纹、形变、部件丢失等外观缺陷检测出来，达到提升产品质量稳定性、提高生产效率的目的。1.2典型应用场景昇腾AI是以昇腾AI基础软硬件平台为基础构建的人工智能计算产业，昇腾AI基础软硬件平台包括Atlas系列硬件及伙伴硬件、异构计算架构CANN（ComputeArchitectureforNeuralNetworks）、全场景AI框架昇思MindSpore、昇腾应用使能MindX等。作为昇腾AI的核心，异构计算架构CANN兼容多种底层硬件设备形态提供强大的异构计算能力，并且通过多层次编程接口，支持用户快速构建AI应用和业务。能够很好地完成工业检测任务。1.3实践标注操作此处准备了4张汽车图像用于标注，图像中有的只有一辆汽车，有的有多辆汽车。准备数据1.3实践标注操作打开label-studio，在页面选择“CreateProject”创建项目，命名为CarDetection，并添加相应描述，如图所示。创建项目1.3实践标注操作选择“DataImport”标签页，通过左上角的“UploadFiles”选择准备好的数据，进行导入。两图分别为导入数据前后的DataImport界面。导入数据1.3实践标注操作导入数据后，选择界面上方的“LabelingSetup”，之后出现如图所示界面。左边列表为任务选择列表，包括ComputerVision、NaturalLanguageProcessing等，根据不同任务选择选项，本次的目标检测任务选择第一项“ComputerVision”，之后界面右侧会出现八个不同的任务选项，选择“ObjectDetectionwithBoundingBoxes”。LabelingSetup1.3实践标注操作选择项目模板类型后，跳转至如图所示界面，在该界面的左边添加图片中目标检测的类型。因为只检测图像中的汽车，故共设置了一个英文标签“car”。LabelingSetup1.3实践标注操作添加完标签后，便可点击界面右上角的“Save”按钮，跳转至如图所示界面，该界面中展示了所有载入的图像。LabelingSetup1.3实践标注操作点击任务主界面的第一张图像，便可进入该图像的标注界面，如图所示开始标注1.3实践标注操作在上述界面先选中标签car，之后点击图像上汽车所在位置，鼠标不放并拖动，便会出现一个矩形框，如图所示开始标注1.3实践标注操作如果所画的矩形框的大小和汽车的大小不匹配时，点击该矩形框，矩形框则会变为可变大小并且可移动状态，如图所示，此时，通过拖动或者改变矩形框大小，使得该矩形框与汽车大小完全匹配，匹配后点击右上角的Submit即可。开始标注1.3实践标注操作对于图像的标注过程也可以不在此处进行，通过任务主界面的LabelAllTasks按钮，则会进入到如图所示界面。于该界面中同样可对图片进行标注操作，标注完成后，点击右上角的Submit按钮即可跳转到下一张图像的标注界面，如果当前图片中没有汽车，则可点击界面右上角的Skip按钮，跳过该图像的标注过程。开始标注1.3实践标注操作对于已经标记了的图像，可通过左上角的<、>进行图像的切换，若想改变某张图像的标注内容，则可通过“<”、“>”切换到该图像，更新该图像的标注内容后，点击右上角的“Updata”提交变更。当图像中出现多个目标时，使用多个矩形框逐个将其标注即可，如图所示。开始标注1.3实践标注操作所有图像标注完成之后，便会跳转到如图所示界面，代表所有图像均已处理完成。开始标注1.3实践标注操作点击界面左上角的CarDetection便可查看图片的标注情况，如图所示，其中第一列数据代表图像id，第二列代表标注时间，第三列代表标注与否，1为标注完成，0为未标注，第四列代表是否跳过标注，1代表跳过，0代表未跳过。开始标注1.3实践标注操作若要导出最终的标注结果，则可点击主界面右上角的Export按钮，便会出现如图所示界面，根据处理任务的不同会显示不同文件生成结果，由于本节任务是目标检测，所以，可以生成如图所示的七类文件，若要导出哪种文件到本地，选中其后，点击右下角Export即可。当然，也可以将这七类文件全部导出。导出结果1.3实践标注操作将所需文件导出到本地后，可以进行查看，此处导出的JSON格式文件（由于篇幅过大，只展示了部分数据）如图所示。结果展示[{

"id":94,

"annotations":[{

"id":95,

"completed_by":1,

"result":[{

"original_width":1080,

"original_height":659,

"image_rotation":0,

"value":{

"x":17.33333333333333,

"y":53.27510917030566,

"width":13.333333333333336,

"height":21.179039301310013,

"rotation":0,

"rectanglelabels":["Car"]},

"id":"Yq-t9cB1EO",

"from_name":"label",

"to_name":"image",

"type":"rectanglelabels",

"origin":"manual"},……"created_at":"2022-05-22T11:23:46.549674Z",

"updated_at":"2022-05-22T12:27:07.646509Z",

"project":10}]第二章

图像任务标注项目任务三

小目标检测标注内容概括概念面临挑战典型应用场景实践标注操作2.1概念目标检测是一种基于目标几何和统计特征的图像分割。而对于小目标检测则是对图形中的小目标物体进行检测，但是对于不同场景下定义的小目标标准不尽相同，现有定义方式按学术上主要分为两类：相对尺寸与绝对尺寸。2.1概念（1）相对尺寸从目标与图像相对尺寸来定义，Chen等人对小目标进行了定义：同一类别中，所有目标实例的相对面积，即他的边界框面积与图像面积之比的中位数于0.08%~0.58%之间。除此之外，较为常见的还有几种，比如面积边界框的宽高于图像的宽高比例小于一定值，较为常用的比值为0.1；再比如目标边界框面积与图像面积的比值开放小于一定值，较为常用的值为0.03；还有就是根据目标实际覆盖像素与图像总像素之间比例对小目标进行定义。相对尺度的定义存在一定的问题，这种定义方式难以有效评估模型对不同尺度目标的检测性能，同时容易受到数据预处理与模型的影响。2.1概念（2）绝对尺寸从目标绝对像素大小来说，目前最为通用的是来自MSCOCO数据集，将分辨率小于32×32像素的目标定义为小目标。对于为什么确定为32×32像素，提出了两种思路：人类在图像上方面能有效识别的彩色图像最低像素大小为32×32，小于32×32像素则人眼无法识别，VGG网络从输入图像到全连接层的特征向量经过了5个最大池化层，因此选定输入图像为32×32像素2.1概念对于小目标的目标检测，有很多的解决方案，下面将对部分方案进行介绍。（1）数据增强数据增强是提升小目标检测效果最简单有效的方法。主要通过扩充小目标样本的规模，或者增强模型的鲁棒性和泛化能力。（2）多尺度检测小目标与常规的目标相比可利用的像素少，难以提取到好的特征，随着网络深度的增加，小目标的特征信息和位置信息逐渐丢失，难以被网络检测。这些特性导致小目标同时需要深层语义信息与浅层表征信息，而多尺度学习将这两种相结合，是一种提升小目标检测性能的有效策略。2.1概念（3）上下文学习在真实世界中，目标与场景、目标与目标存在共存关系，利用这种上下文信息可以提升小目标的检测性能。基于隐式上下文特征学习的目标检测。隐式上下文特征是指目标区域周围的背景特征或者全局的场景特征。基于显示上下文推理的目标检测。显示上下文推理是指利用场景中明确的上下文信息来辅助推断目标的位置或类别，例如利用场景中草地区域与目标的上下文关系来推断目标的类别。2.1概念（4）对抗网络生成对抗网络的方法旨在通过将低分辨率小目标的特征映射成与高分辨率目标等价的特征，从而达到与尺寸较大目标同等的检测性能。可以通过结合生成对抗网络提高小目标的分辨率，缩小目标之间的尺度差异，增强小目标的特征表达，提高小目标的检测效果，也可以使用GAN生成图像，进行数据增强。2.2面临的挑战（1）可利用特征少。小目标的分辨率较低，可视化信息少，难以提取到具有鉴别力的特征，且极易被环境因素干扰。（2）定位精度要求高。小目标在图像中覆盖的面积小，在预测过程中，预测边界框偏移一个像素点都会造成很大的误差。（3）现有数据集小目标占比少。现有的数据集大多针对大尺寸目标，小目标较少，MSCOCO中虽然小目标占比较高，但分布不均。再加上小目标难以标注，一方面来源于小目标在图像中不易被关注，另一方面对标注误差非常敏感。2.2面临的挑战（4）样本不均衡。为了定位目标，现有的方法大多是预先在图像的每一个位置生成一系列的Anchor，在训练中，通过设定固定的阈值来判断Anchor是否属于正样本。（5）小目标聚集。相对于大目标，小目标容易出现聚集现象，当小目标聚集出现时，聚集区域相邻的小目标无法区分。当同类的小目标密集出现时，预测的边界框还可能由于后处理的NMS将大量正确预测的边界框过滤导致漏检。（6）网络结构因素。现有的算法在设计时更关注大目标的检测效果，针对小目标的优化较少，同时大多算法基于Anchor设计，对小目标检测不友好。在训练中，小目标由于训练样本少，进一步减弱了网络对小目标的学习能力。2.3典型应用场景对于小目标的目标检测，顾名思义，其主要应用于小目标的检测场景下面将简单介绍两个具体的应用场景。（1）乐谱识别乐谱识别现阶段比较健全的数据集是DeepScores，其包含高质量的乐谱图像，分为3000000张书面音乐，其中包含不同形状和大小的符号。该数据集拥有近一亿个小对象，这使得该数据集不仅独一无二，而且是最大的公共数据集。2.3典型应用场景（2）卫星图检测卫星图检测主要是检测通过卫星拍摄图形中的小目标物体，NWPUVHR-10Dataset是一个用于空间物体检测的10级地理遥感数据集，其拥有650张包含目标的图像和150张背景图像，目标种类包括飞机、舰船、油罐、棒球场、网球场、篮球场、田径场、港口、桥梁和汽车共计10个类别的小目标。2.4实践标注操作根据上文介绍，对于小目标检测有很多解决方案，由于本书主要讲授数据标注内容，并且上述解决方案也有两项与数据有关，一是数据增强，此处将实现将图形中小目标车牌复制粘贴到图形的任意位置后在进行标注，二是上下文推理的形式，此处检测的目标是车牌，而车牌几乎都会出现在车上，故标注时会将车牌与车一起标注，下面将对这两种形式的标注过程详细介绍。现找到两张图像进行车牌的目标检测，如上图所示，由于首先要进行小目标复制粘贴式的数据增强，故对图像中的车牌复制，并粘贴到图形中的随机位置，如下图所示。数据增强方式-准备数据2.4实践标注操作打开label-studio，在页面选择“CreateProject”创建项目，命名为LittelLicense，并添加相应描述，如图所示。数据增强方式-创建项目2.4实践标注操作选择“DataImport”，通过左上角的“UploadFiles”选择准备好的数据，进行导入。如图所示分别为导入数据前后的DataImport界面。数据增强方式-导入数据2.4实践标注操作选择项目模板后，跳转至如图所示界面，在该界面的左边添加图片中目标检测的类型，因为只检测图像中的汽车，故共设置了一个英文标签license。该界面右侧为示例图形，无需理睬。数据增强方式-LabelingSetup2.4实践标注操作添加完标签后，便可点击界面右上角的“Save”按钮，跳转至如图所示界面，该界面中展示了所有载入的图像。数据增强方式-LabelingSetup2.4实践标注操作点击任务主界面的第一张图像，便可进入该图像的标注界面，如第一张图所示，在此界面先选中标签license，之后点击图像上汽车所在位置，鼠标不放并拖动，便会出现一个矩形框，如第二张图所示，并且如果所画的矩形框的大小和汽车的大小不匹配时，点击该矩形框，矩形框则会变为可变大小并且可移动状态，此时，通过拖动或者改变矩形框大小，使得该矩形框与汽车大小完全匹配，匹配后点击右上角的“Submit”即可。数据增强方式-开始标注2.4实践标注操作数据增强方式-开始标注2.4实践标注操作对于图像的标注过程也可以不在此处进行，通过任务主界面，点击界面中上方位置的LabelAllTasks按钮，则会进入到如图所示界面。于该界面中同样可对图片进行标注操作，标注完成后，点击右上角的“Submit”按钮即可跳转到下一张图像的标注界面，如果当前图片中没有车牌，则可点击界面右上角的“Skip”按钮，跳过该图像的标注过程。对于已经标记了的图像，可通过左上角的<、>进行图像的切换，若想改变某张图像的标注内容，则可通过<、>切换到该图像，更新该图像的标注内容后，点击右上角的“Updata”即可。数据增强方式-开始标注2.4实践标注操作数据增强方式-开始标注2.4实践标注操作所有图像标注完成之后，便会跳转到如图所示界面，代表所有图像均已处理完成。数据增强方式-开始标注2.4实践标注操作点击界面左上角的“LittelLicense”便可查看图片的标注情况，如图所示，其中第一列数据代表图像id，第二列代表标注时间，第三列代表标注与否，1为标注完成，0为未标注，第四列代表是否跳过标注，1代表跳过，0代表未跳过。数据增强方式-开始标注2.4实践标注操作若要导出最终的标注结果，则可点击主界面右上角的“Export”按钮，便会出现如图所示界面，根据处理任务的不同会显示不同文件生成结果，由于本节任务是目标检测，所以，可以生成如图所示的七类文件，若要导出哪种文件到本地，选中其后，点击右下角“Export”即可。当然，也可以将这七类文件全部导出。数据增强方式-导出结果2.4实践标注操作将所需文件导出到本地后，可以进行查看，本节以PascalVOCXML数据为例。其会生成一个压缩包，压缩包中包含两个文件夹，分别为Annotations和images，其中images文件夹中包含所有图片，Annotations文件夹中包含对每张图片记录的标注信息，格式为XML文档，其中对某一张图像的标注信息如图所示。数据增强方式-结果展示2.4实践标注操作现找到两张图像进行车牌的目标检测，如图所示，由于后需要进行上下文推理的形式对数据进行训练，所以此处标注时不仅仅标注车牌，还会标注车牌的载体---汽车。上下文推理方式-准备数据2.4实践标注操作小目标检测标注打开label-studio，在页面选择“Createproject”创建项目，命名为LittelLicense，并添加相应描述，如图所示。上下文推理方式-创建项目2.4实践标注操作选择“DataImport”，通过左上角的“UploadFiles”选择准备好的数据，进行导入。如图所示分别为导入数据前后的“DataImport”界面。上下文推理方式-导入数据2.4实践标注操作导入数据后，选择界面上方的“LabelingSetup”，之后出现如图所示界面，左边列表选择第一项“ComputerVision”，之后界面右侧会出现八个不同的任务选项，由于本节要进行的是目标检测任务，所以选择第三个任务-ObjectDetectionwithBoundingBoxes。上下文推理方式-LabelingSetup2.4实践标注操作点击第三个任务ObjectDetectionwithBoundingBoxes后，跳转至如图所示界面，在该界面的左边添加图片中目标检测的类型，因为只检测图像中的汽车，故共设置了两个英文标签，分别为license和car。该界面右侧为示例图形，无需理睬。上下文推理方式-LabelingSetup2.4实践标注操作添加完标签后，便可点击界面右上角的“Save”按钮，跳转至如图所示界面，该界面中展示了所有载入的图像。上下文推理方式-LabelingSetup2.4实践标注操作点击任务主界面的第一张图像，便可进入该图像的标注界面，如上图所示，在此界面先选中标签car，之后点击图像上汽车所在位置，鼠标不放并拖动，便会出现一个矩形框，并且如果所画的矩形框的大小和汽车的大小不匹配时，点击该矩形框，矩形框则会变为可变大小并且可移动状态，此时，通过拖动或者改变矩形框大小，使得该矩形框与汽车大小完全匹配，使用同样的方法，选择license标签将车牌进行标注，如图所示，标注完成后点击右上角的“Submit”即可。上下文推理方式-开始标注2.4实践标注操作上下文推理方式-开始标注2.4实践标注操作对于图像的标注过程也可以不在此处进行，通过任务主界面，点击界面中上方位置的LabelAllTasks按钮，则会进入到如图所示界面。于该界面中同样可对图片进行标注操作，标注完成后，点击右上角的“Submit”按钮即可跳转到下一张图像的标注界面，如果当前图片中没有车牌，则可点击界面右上角的“Skip”按钮，跳过该图像的标注过程。对于已经标记了的图像，可通过左上角的<、>进行图像的切换，若想改变某张图像的标注内容，则可通过<、>切换到该图像，更新该图像的标注内容后，点击右上角的“Updata”即可。上下文推理方式-开始标注2.4实践标注操作上下文推理方式-开始标注2.4实践标注操作所有图像标注完成之后，便会跳转到如图所示界面，代表所有图像均已处理完成。上下文推理方式-开始标注2.4实践标注操作点击界面左上角的“LittelLicense”便可查看图片的标注情况，如图所示，其中第一列数据代表图像id，第二列代表标注时间，第三列代表标注与否，1为标注完成，0为未标注，第四列代表是否跳过标注，1代表跳过，0代表未跳过。上下文推理方式-开始标注2.4实践标注操作若要导出最终的标注结果，则可点击主界面右上角的“Export”按钮，便会出现如图所示界面，根据处理任务的不同会显示不同文件生成结果，由于本节任务是目标检测，所以，可以生成如图所示的七类文件，若要导出哪种文件到本地，选中其后，点击右下角“Export”即可。当然，也可以将这七类文件全部导出。上下文推理方式-导出结果2.4实践标注操作将所需文件导出到本地后，可以进行查看，以COCO数据为例，其会生成一个压缩包，压缩包中包含一个文件夹一个JSON文件，文件夹中包含所有图片，JSON文件中会将所有图片的标注信息进行记录，如图所示，左边是图像文件夹，包含所有刚才标注的图像，右侧为JSON文件内容，记录了所有的标注信息。上下文推理方式-结果展示2.4实践标注操作小结知识目标：（1）明确目标检测标注方法（2）明确小目标检测标注方法（3）熟悉目标检测与小目标检测间的区别思政目标：（1）工匠精神第二章

图像任务标注项目任务三

图像语义分割标注内容概括概念典型应用场景实践标注操作基于人工智能和深度学习方法的现代计算机视觉技术在过去10年里取得了显著进展。如今，它被用于图像分类、人脸识别、图像中物体的识别、视频分析和分类以及机器人和自动驾驶车辆的图像处理等应用上。许多计算机视觉任务需要对图像进行智能分割，以理解图像中的内容，并使每个部分的分析更加容易。今天的图像分割技术使用计算机视觉深度学习模型来理解图像的每个像素所代表的真实物体，这在十年前是无法想象的。图像分割主要用于提取图像中用于表述已知目标的种类与数量问题、目标尺度问题、外在环境干扰问题、物体边缘等的像素值。图像分割从分割目的上被分为语义分割、实例分割以及全景分割。1.1概念通常意义上的目标分割指的就是语义分割，图像语义分割，简而言之就是对一张图片上的相关像素点进行分类，即对图像中的每个像素都划分出对应的类别，实现像素级别的分类。和前边的分类任务不同的是，语义分割不仅仅是使用矩形框框住某一类物体即可，需要将该类物体用某种像素值进行标注。1.2典型应用场景1、自动驾驶自动驾驶是一项复杂的机器任务，需要在不断变化的环境中进行感知、规划和执行。由于其安全性至关重要，因此还需要以非常高精度执行此任务。语义分割提供有关道路上自由空间的信息，以及检测车道标记和交通标志等信息，为自动驾驶起到关键作用。1.2典型应用场景2、地质检测语义分割问题也可以被认为是分类问题，其中每个像素被分类为来自一系列对象类中的某一个。因此一个使用案例是利用土地的卫星影像制图。土地覆盖信息是重要的各种应用，如监测地区的森林砍伐情况和城市化等。1.2典型应用场景3、面部识别面部的语义分割通常涉及诸如皮肤、头发、眼睛、鼻子、嘴巴和背景等的分类。面部分割在计算机视觉的许多面部应用中是有用的，例如性别、表情、年龄和种族的估计。影响人脸分割数据集和模型开发的显著因素是光照条件、面部表情、面部朝向、遮挡和图像分辨率的变化等。1.2典型应用场景4、服饰分类由于服装数量众多，服装解析与其他服务相比是一项非常复杂的任务。这与一般的物体或场景分割问题不同，因为细粒度的衣物分类需要基于衣服的语义、人体姿势的可变性和潜在的大量类别的更高级别判断。服装解析在视觉领域中得到了积极的研究，因为它在现实世界的应用程序即电子商务中具有巨大的价值。1.2典型应用场景5、农业场景精确农业机器人可以减少需要在田间喷洒的除草剂的数量，作物和杂草的语义分割可以帮助他们实时触发除草行为，这种先进的农业图像视觉技术可以减少对农业的人工监测，提高农业效率和降低生产成本。1.3实践标注操作此处准备了4张含有人的图像用于标注，分别包含了2个人，4个人、1个人和5个人。如图所示。准备数据1.3实践标注操作打开label-studio，在页面选择“CreateProject”创建项目，命名为SemanticSegmentation，并添加相应描述，如图所示。创建项目1.3实践标注操作选择“DataImport”，通过左上角的UploadFiles选择准备好的数据，进行导入。两图分别为导入数据前后的“DataImport”界面。导入数据1.3实践标注操作导入数据后，选择界面上方的“LabelingSetup”，之后出现如图所示界面，左边列表为任务类型选择列表，选择第一项“ComputerVision”，然后在右侧任务模板中“SemanticSegmentationwithMasks”模板类型。LabelingSetup1.3实践标注操作跳转至如图所示界面，在该界面的左边添加图片中被分割的物体分类，因为此任务只分割人像，故设置了一个英文标签，标签为person。LabelingSetup1.3实践标注操作添加完标签后，便可点击界面右上角的“Save”按钮，跳转至如图所示界面，该界面中展示了所有载入的图像。LabelingSetup1.3实践标注操作点击任务主界面的第三张图像，便可进入该图像的标注界面，如图2-3-1-8所示，在此界面可以根据该图像中包含的标签类型，选择对应的标签，比如此例要分割图像中的人像，则选中person标签，之后根据任务大小在图像右侧的工具栏调整画笔大小，并且可调节图像大小，之后便可进行人像图像的描绘，将所有人像描绘完成便如下图所示，如果画错，则可以选中工具栏中的橡皮将画错部分擦掉，之后点击右上角的“Submit”完成提交。开始标注1.3实践标注操作开始标注1.3实践标注操作当然，对于图像的标注过程也可以不在此处进行，通过任务主界面，点击界面中上方位置的LabelAllTasks按钮，进入标注界面后便可开始进行标注，标注完成后，点击右上角的Submit按钮即可跳转到下一张图像的标注界面，如果当前图片不含人像，则可点击界面右上角的Skip按钮，跳过该图像的标注过程。更新该图像的标签后，点击右上角的“Updata”即可。开始标注1.3实践标注操作所有图像标注完成之后，便会跳转到如图所示界面，代表所有图像均已处理完成。开始标注1.3实践标注操作点击界面左上角的PersonSemanticSegmentation便可查看图片的标注情况，如图所示，其中第一列数据代表图像id，第二列代表标注时间，第三列代表标注与否，1为标注完成，0为未标注，第四列代表是否跳过标注，1代表跳过，0代表未跳过。开始标注1.3实践标注操作若要导出最终的标注结果，则可点击图主界面右上角的“Export”按钮，便会出现如图所示界面，根据处理任务的不同会显示不同文件生成结果，由于本节任务是图像分类，所以，可以生成如图所示的六类文件，若要导出哪种文件到本地，选中其后，点击右下角“Export”即可。当然，也可以将这六类文件全部导出。导出结果1.3实践标注操作将所需文件导出到本地后，可以进行查看，通过上图可知，对于语义分割任务，可以生成BrushlabelstoPNG数据，该结果会生成一个压缩包，压缩包中包含语义分割完的所有图片，如图所示。结果展示小结知识目标：（1）明确语义分割标注相关概念（2）明确语义分割标注方法思政目标：（1）工匠精神（2）人工智能对中国农业发展的积极作用第二章

图像任务标注项目任务四

图像实例分割标注内容概括概念典型应用场景实践标注操作2.1概念图像实例分割是在语义分割的基础上进一步细化，分离对象的前景与背景，实现像素级别的对象分离。所以图像实例分割是基于语义分割的基础上进一步提升。实例分割相对于语义分割的区别在于，实例分割需要将同一类型的多个个体做区分，而语义分割则不需要。具体区别可通过上一节与本节案例获悉。2.2典型应用场景实例分割在目标检测、人脸检测、表情识别、医学图像处理与疾病辅助诊断、视频监控与对象跟踪、零售场景的货架空缺识别等场景下均有应用。例如百度的AI开放平台中的车辆检测与类型识别功能便是很好的应用了实例分割技术。2.3实践标注操作此处准备了4张含有人的图像用于标注，分别包含了2个人，4个人、1个人和5个人。如图所示。准备数据2.3实践标注操作打开label-studio，在页面选择“CreateProject”创建项目，命名为InstanceSegmentation，并添加相应描述，如图所示。创建项目2.3实践标注操作选择“DataImport”，通过左上角的UploadFiles选择准备好的数据，进行导入。两图分别为导入数据前后的DataImport界面。导入数据2.3实践标注操作导入数据后，选择界面上方的“LabelingSetup”，之后出现如图所示界面，左边列表为任务类型选择列表，选择第一项“ComputerVision”，然后在右侧任务模板中“SemanticSegmentationwithPolygons”模板类型。LabelingSetup2.3实践标注操作点击第一个任务“SemanticSegmentationwithPolygons”后，跳转至如图所示界面，在该界面的左边添加图片中被分割的物体分类，因为此任务只分割人像，故添加person标签。LabelingSetup2.3实践标注操作添加完标签后，便可点击界面右上角的“Save”按钮，跳转至如图所示界面，该界面中展示了所有载入的图像。LabelingSetup2.3实践标注操作点击任务主界面的第一张图像，便可进入该图像的标注界面，如所示，在此界面可以根据该图像中包含的标签类型，选择对应的标签，比如要分割图像中的人像，所以选择person标签，选完之后，点击其中一个人像的某点边缘，便会出现标记点，然后沿着该人像的边缘连续点击，每相邻点会自动连接，直到最终再次点击第一个标记点，则会出现一片红色区域将人像分割，分割完成效果如图所示，之后点击右上角的“Submit”提交保存。开始标注2.3实践标注操作开始标注2.3实践标注操作当然，对于图像的标注过程也可以不在此处进行，通过上图所示的任务主界面，点击界面中上方位置的LabelAllTasks按钮，进入标注界面后便可开始进行标注，图展示了标注完成的效果，虽然图中有两个人，均使用person标签标注即可，标注完成后，点击右上角的Submit按钮即可跳转到下一张图像的标注界面，如果当前图片不含人像，则可点击界面右上角的Skip按钮，跳过该图像的标注过程。对于已经标记了的图像，可通过左上角的<、>进行图像的切换，若想改变某张图像的标签，则可通过<、>切换到该图像，更新该图像的标签后，点击右上角的Updata即可。开始标注2.3实践标注操作开始标注2.3实践标注操作所有图像标注完成之后，便会跳转到如图所示界面，代表所有图像均已处理完成。开始标注2.3实践标注操作点击界面左上角的PersonInstanceSegmentation便可查看图片的标注情况，如图所示，其中第一列数据代表图像id，第二列代表标注时间，第三列代表标注与否，1为标注完成，0为未标注，第四列代表是否跳过标注，1代表跳过，0代表未跳过。开始标注2.3实践标注操作若要导出最终的标注结果，则可点击图主界面右上角的“Export”按钮，便会出现如图所示界面，根据处理任务的不同会显示不同文件生成结果，由于本节任务是图像分类，所以，可以生成如图所示的五类文件，若要导出哪种文件到本地，选中其后，点击右下角“Export”即可。当然，也可以将这五类文件全部导出。导出结果2.3实践标注操作将所需文件导出到本地后，可以进行查看，比如所需文件为CSV文件，则将CSV文件导出，如图所示。结果展示小结知识目标：（1）明确实例分割标注相关概念（2）明确实例分割标注方法思政目标：（1）工匠精神（2）我国人工智能产业发展迅速第二章

图像任务标注项目任务四人物肢体关键点标注内容概括概念典型应用场景实践标注操作1.概念在数据标注中，机器学习工程师构建模型的策略需要考虑到实际应用场景。在检测人类运动和情绪方面，关键点标注尤为常用。关键点标注是指通过人工的方式，在规定位置标注上关键点，例如人脸特征点、人体骨骼连接点等，常用来训练面部识别模型以及统计模型。与其他标注类型不同，关键点标注是用来标注物体的骨骼轮廓而不是标注物体外缘，这就是为什么人体和动物的行为经常用关键点来标注。通过这种方式，模型可以检测到物体的运动形态。2.典型应用场景（1）人脸识别现在手机的解锁方式大多都使用了人脸识别，在看似简单的人脸解锁的背后，实际上是通过大量的标注好的人脸数据集训练出的高性能模型而实现的。当构建一个人脸识别模型时，工程师们查看关键点以测量重要的距离，比如你的眼睛到鼻子的距离，又或者眉毛到额头的距离等等。分析这些关键点之后，模型可以学习到人脸的细节。在查看了数以千计的人脸关键点之后，你的模型就可以开始检测人脸特征。2.典型应用场景（2）人体关键点及运动识别伴随着科技的发展，职业体育运动也开始产生了关键点检测的需求。使用AI技术分析球员的运动，能够发现一些肉眼无法察觉的细节。此外，肌肉运动的轻微变化可能表明即将出现损伤，在损害发生之前进行预测有助于预防并有可能延长运动员的职业生涯。对于教练来说，在招募和评估运动员环节，使用AI技术也可提高其甄别的效率和质量。使用可靠的模型能够检测运动员的动作并了解他们的技能水平，然后将这些数据存储起来，并通过这些数据对其他运动员进行评估。教练还可以通过这些数据评估球员的优势所在，有助于高效率筛选出可用人才。2.典型应用场景（3）医疗系统（通过关键点定位）在医学应用中也可以通过对病人的行走方式和关键点的变化来判断病人是否受伤或者出现畸形，从而为医学治疗提供参考数据。（4）2.典型应用场景除了专业运动，关键点标注和分析技术在虚拟运动软件和辅助平台中也发挥了重要作用。分析一个人的动作，学习哪种健身方式才是正确的，并了解关节是如何运动的，有助于为日常健身爱好者提供反馈。比如未接受过专业指导的健身爱好者，很容易在健身过程中造成身体的损伤，但通过运动分析软件便可以很好地掌握各种健身动作所对应的发力点以及动作要领，以达到运动的同时保护自己身体的目的。3实践标注操作此处准备了图像，图像内容是正在发生行走行为的人体图像用于标注。如图所示。准备数据3实践标注操作创建项目，项目名称为“人体关键点标注”，导入数据，选择模板“KeyPointLabeling”如图所示。创建项目3实践标注操作创建项目一般人体关键点标签为如右图所示。本项目出于复杂度考虑，自定义标签类型。3实践标注操作标签包括：（1）头（2）肩（3）肘（4）手（5）髋（6）膝（7）足创建项目3实践标注操作保存项目后,单击列表视图中的“LabelAllTasks”开始进行标注。开始标注3实践标注操作为了区别左右肩等，未标记点增加meta信息。如右图所示。按照此方法依次标注出所有人体关键点。开始标注3实践标注操作单击“Export”，在格式中选择“JSON”，然后“Export”导出。导出结果3实践标注操作导出数据时，选择JSON格式。在导出结果中，ｘ，ｙ为每个关键点的坐标，keypointlabels为部位，meta部分包括注释内容。导出结果小结知识目标：（1）明确关键点标注方法（2）熟悉关键点标注结果导出格式思政目标：（1）了解人工智能辅助运动发展趋势第二章

图像任务标注项目任务五

图像全景分割标注内容概括概念典型应用场景实践标注操作3.1概念与之前介绍的语义分割与实例分割不同，全景分割任务要求图像中的每个像素点都必须被分配给一个语义标签和一个实例id。