基于深度学习YOLO模型的时尚标签识别方法设计

湖南商务职业技术学院毕业设计

目录

1引言.............................................................1

1.1项目背景.........................................................................................................1

1.2项目目标.........................................................................................................2

2相关技术与工具介绍...............................................2

2.1YOLO模型概述...............................................2

2.2目标检测技术................................................3

2.3Flask框架技术..............................................4

2.4开发环境与工具..............................................4

2.4.1Python简介............................................4

2.4.2PyCharm简介...........................................4

2.4.3第三方库简介..........................................5

2.4.4Keras框架.............................................6

3方法设计与实现...................................................6

3.1数据集收集与预处理.....................................................................................6

3.1.1数据集的获取..........................................6

3.1.2数据集预处理..........................................8

3.2深度学习模型选择与设计.............................................................................8

3.2.1深度学习模型选择......................................8

3.2.2模型设计..............................................9

3.3模型的编译与训练........................................................................................11

3.4模型的评估与优化.......................................................................................12

3.4.1模型的评估...........................................12

3.4.2模型的优化...........................................13

3.5前端设计与实现...........................................................................................14

3.5.1系统前端设计.........................................14

3.5.2设计效果展示及分析...................................15

4小结............................................................16

I

湖南商务职业技术学院毕业设计

参考资料...........................................................17

II

湖南商务职业技术学院毕业设计

基于深度学习YOLO模型的时尚标签识别方法设计

1引言

随着时尚产业的和服装电商的迅猛发展，驱动面向服装的智能时尚分析在

多媒体、计算机视觉和模式识别等领域获得广泛关注。服装图像的属性标签识

别和关键点定位作为智能时尚分析中的基础性问题，具有重要的研究意义。服

装种类繁多且许多类别之间的差异很小，给高效准确的图像属性标签识别和关

键点定位带来了挑战。深度学习算法在图像处理领域中已经收获了较多成果，

但其识别和定位方法存在模型单一、数据量过大、实时性较差、未考虑领域特

殊性等一系列问题，结果准确性仍需不断改进，尤其在面向服装图像时，其属

性标签识别和关键点定位尚有较大的提高余地。

1.1项目背景

服装是人们日常生活中最熟悉的一部分，其信息采集较为方便，因此与服

装相关的研究得到越来越多的重视。对专家学者们来说，在计算机视觉和模式

识别相关范畴中，服装图像的分析、检测技术一直是近些年非常活跃的研究课

题，其在时尚、影视、游戏等产业都有着广泛的应用，并且取得了很大的进展。

与服装相关的研究主要包括服装属性标签识别、关键点检测和定位、服装分割

和语义分析、服装姿态估计、服装三维模型重建等，在这其中，服装的属性标

签识别和关键点定位都是服装图像分析、处理中比较关键重要的步骤，同时也

是其他的服装相关研究的前提，为后续的服装识别、语义分析、姿态估计等问

题的研究提供了技术保证。所以近些年来服装属性标签识别、关键点定位技术

得到了大量的研究。

图像的属性标签识别和关键点定位是图像处理的基本功能之一，准确的图

片属性标签是图片检索和统计成功的重要条件，如果靠人工添加标签，会有极

高的准确率，但是需要较多的时间，在图片数量较小时是比较合适的，如果图

片的数量扩大到几十万上百万，再靠人工添加标签就需要大量的人工成本和时

间成本。

基于服装的特点，可以使用深度学习训练出的模型从大量服装图片中区分

不同属性、不同类别的服装，然后对这些服装做添加属性标签、统计分析等处

理，将原来需要人工完成的属性标签添加工作交由计算机完成，减轻了人工成

本。

1

湖南商务职业技术学院毕业设计

1.2项目目标

近年来，因为潜在的商业价值，人们在时尚服饰图像等处理方面做了大量

工作，服装的分类、属性预测、图像检索、语义分析等方面的工作都有了一定

的进展。深度学习中的卷积神经网络CNN被广泛用于图像属性标签识别以及图

像关键点检测中来，CNN可以直接处理二维数据，特别适合于图像识别领域。

时尚服饰的图像属性标签识别和关键点检测为图像识别研究提供了良好的研究

背景，有助于图像识别研究工作的开展。时尚标签识别方法设计可以帮助节省

服装图像处理的人工成本和时间。

本次基于深度学习YOLO模型的时尚标签识别方法设计旨在基于深度学习

YOLO模型对时尚标签进行识别，用户可以通过系统上传当下时尚的服饰标签，

系统通过训练好的YOLO模型对时尚标签进行识别，并显示出上传的服装时尚

图片属于哪类标签，从而更好地帮助服饰分类任务更快更好的完成。

2相关技术与工具介绍

2.1YOLO模型概述

2015年，YOLO（YouOnlyLookOnce）算法腾空出世，YOLO是一种使用

卷积神经网络进行目标检测的算法。YOLO是其中速度较快的物体检测算法之

一。虽然它不是最准确的物体检测算法，但是在需要实时检测并且准确度不需

要过高的情况下，它是一个很好的选择。与识别算法相比，检测算法不仅预测

类别标签，还检测对象的位置。因此，它不仅将图像分类到一个类别中，还可

以在图像中检测多个对象。该算法将单个神经网络应用于整个图像。这意味着

该网络将图像分成区域，并为每个区域预测边界框和概率。这些边界框是由预

测的概率加权的。

YOLO没有用到Anchor机制，整个检测过程是一个单一的网络，因此检测

速度非常快。因为YOLO算法将目标检测看作成一个回归问题，所以它可以很

好的学习目标的一般特征。其中YOLO算法的损失函数由三部分组成：位置损

失、分类损失和置信度损失。

位置损失计算Boundingbox的位置坐标损失，分类损失计算每个检测框

输出的类别标签，置信度损失计算每个边界框的概率。YOLO系列算法的损失

函数都是由这三部分构成的，其中YOLO的损失函数是MSE（均方误差损失函

数）。因为YOLO是牺牲精度为代价来提高检测速度，所以YOLO算法的检测

2

湖南商务职业技术学院毕业设计

精度不高于以往的基于区域建议框的算法，对于小目标不太友好，尤其是对于

一些聚类对象，因为在一个单元内只能预测一类对象。

YOLO仅利用卷积层，使其成为一个全卷积网络（FCN）。在YOLOv3中

提出了一个名为Darknet-53的更深的特征提取器架构。正如其名称所示，它包

含53个卷积层，每个卷积层后面跟随批量归一化层和LeakyReLU激活函数。

没有使用任何形式的池化，而使用带有步长2的卷积层来降采样特征图。这有

助于防止池化经常归因于低级特征的丢失。

YOLO对输入图像的大小不变。然而，在实践中，由于我们在实现算法时

可能遇到各种问题，因此我们可能希望坚持使用恒定的输入大小。其中一个重

要问题是，如果我们想以批量方式处理图像（GPU可以并行处理批量图像，从

而提高速度），则需要所有图像具有固定的高度和宽度。这是将多个图像连接

成大批量所需的。

网络通过称为网络步长的因素对图像进行下采样。例如，如果网络的步长

为32，则大小为416x416的输入图像将产生大小为13x13的输出。通常，

网络中任何一层的步长都等于该层的输出比输入图像小的因子。

2.2目标检测技术

目标检测技术是一种基于深度学习技术和计算机视觉技术的机器学习应

用，它能够从一张输入图像中找出与特定目标相关的特征和位置，并将目标识

别出来。它可以在很多不同的场景下得到成功的应用，比如机器人导航、图像

识别、无人机航拍等等。

目标检测的任务是找出图像中所有感兴趣的目标（物体），确定他们的类

别和位置。作为计算机视觉的基本问题之一，目标检测构成了许多其它视觉任

务的基础，例如实例分割，图像标注和目标跟踪等等；从检测应用的角度看：

行人检测、面部检测、文本检测、交通标注与红绿灯检测，遥感目标检测统称

为目标检测的五大应用。

机器视觉中关于目标检测有4大类任务。

分类（Classification）：给定一张图片或一段视频判断里面包含什么类别

的目标。

定位（Location）：定位出这个目标的位置。

检测（Detection）：即定位出这个目标的位置并且知道目标物是什么。

分割（Segmentation）：分为实例的分割（Instance-level）和场景分割

3

湖南商务职业技术学院毕业设计

（Scene-level），解决“每一个像素属于哪个目标物或场景”的问题。

2.3Flask框架技术

Flask是一个轻量级的Web应用框架，用于快速构建Web应用程序。它

基于Python编程语言，设计简洁，易于上手，同时也具备扩展性，适用于小

型到大型的Web应用开发。

Flask是一个简洁且易于学习的框架，核心功能基本保持在一个文件中，不

依赖外部工具或库。Flask不会强加任何特定的工具或库，允许开发者按需选择

数据库、模板引擎等组件，保持灵活性。Flask通过路由即装饰器可以很容易地

定义URL路由，将特定的URL映射到对应的函数或处理程序上。Flask支持

Jinja2模板引擎，可以方便地生成动态内容，通过模板继承和控制结构创建视

图。

Flask提供了许多扩展，可以轻松集成其他功能，比如数据库支持（如

SQLAlchemy）、表单验证、用户认证等。Flask对于构建符合RESTful设计原

则的API应用十分友好，并提供相应的扩展。Flask提供了测试客户端和测试

请求的支持，有助于编写和运行单元测试和集成测试。

因为其轻量级的特性，Flask很适合用于搭建微服务，快速构建独立的、

小型的服务应用。Flask的设计理念是尽可能简单、灵活，同时保持功能的完

整性，使得它成为众多Python开发者喜爱的框架之一，尤其适用于小型到中

型的Web应用开发。

2.4开发环境与工具

2.4.1Python简介

在荷兰荷牛科技大学设计和开发，起初是为了作为一种简单易学的脚本语

言，但是随着时间的推移，Python已成长为一种全功能的编程语言，被广泛用

于Web开发、科学计算、人工智能、数据分析等领域。

Python开源的特性，使得全世界都可以参与它的开发和推广。Python社

区庞大，有丰富的文档、教程、代码库和第三方扩展包，让Python成为众多

开发人员和科学家的首选编程语言之一。

2.4.2PyCharm简介

PyCharm是由JetBrains打造的一款PythonIDE。（IntegratedDevelopment

4

湖南商务职业技术学院毕业设计

Environment，集成开发环境），带有一整套可以帮助用户在使用Python语言

开发时提高其效率的工具，比如调试、语法高亮、项目管理、代码跳转、智能

提示、自动完成、单元测试、版本控制。此外，该IDE提供了一些高级功能，

以用于支持Django框架下的专业Web开发。

随着版本的迭代，jetbrains在pycharm中内置了更多的支持，从Django

到轻量化的flask到接地气的pyramid再到结合最新特性的异步web框架

fastAPI，pycharm都能胜任。另外pycharm因为同系列软件的加持（webstorm），

所以在pycharm也可以直接进行前端开发（支持bootstrap，angular，react，

加插件也可支持vue）。

此外pycharm还支持科学计算。在科学计算领域，matlab一直都是独占鳌

头，但是python出现打破了这个局面，python具有的优势（众多优秀的第三

方库（生态完整且强壮），较易学习，开源免费，语法优美）让其在科学计算

领域也分得一杯羹，而作为pythonIDE中最强大的存在，pycharm也对科学计

算提供了完美的支持。

最后，jetbrain拥有丰富的插件市场，pycharm也能享受到这些丰富的插

件，安装了这些插件你就能得到最好的开发体验。

2.4.3第三方库简介

requests：最友好的网络爬虫功能库，非常简洁，相比于urllib使用非常

容易，第三方库都需要先安装才能去使用。

NumPy是Python中最受欢迎的科学计算库之一,主要用于处理大型数组和

矩阵运算。NumPy还提供了许多有用的函数和工具，例如FFT、线性代数、随

机数生成等。

pandas：数据分析并保存为csv文件，python数据分析高层次应用库，还

可以进行数据清洗。

matplotlib：绘图库，主要是偏向于二维绘图包括折线图、条形图、扇形图、

散点图、直方图等等。

Scikit-learn是一个广泛使用的Python机器学习库，提供了许多流行的机

器学习算法和模型，例如分类、回归、聚类和降维等方法。Scikit-learn还包括

许多有用的工具，如数据预处理、特征选择和模型评估等。

BeautifulSoup是一个用于解析HTML和XML文档的Python库，能够帮

助我们轻松地从网页中提取需要的信息。它支持各种不同的解析器，并且可以

非常方便地遍历和搜索文档内容。

5

湖南商务职业技术学院毕业设计

2.4.4Keras框架

Keras是一个开放源码的高级深度学习程序库，使用Python编写，能够运

行在TensorFlow或Theano之上。其主要作者和维护者是Google公司的工程

师，以MIT开放源码方式授权。Keras使用最少的程序代码、花费最少的时间

就可以建立深度学习模型，进行训练、评估准确率，并进行预测。相对来说，

使用TensorFlow这样低级的链接库虽然可以完全控制各种深度学习模型的细

节，但是需要编写更多的程序代码，花费更多时间进行开发。

TensorFlow功能强大，执行效率高，支持各种平台，然而属于低级的深度

学习链接库，学习门槛高。Keras是高级的深度学习链接库，对初学者学习门槛

低，可以很容易地建立深度学习模型，并且进行训练、预测。因为大部分读者

没有接触过深度学习模型，如果一开始就学习TensorFlow，就要面对TensorFlow

特殊的程序设计模式，并且还必须自行设计张量（矩阵）的运算，会有很大的

挫折感。而先学习Keras可以让读者很容易地建立深度学习模型，并且训练模

型，使用模型进行预测。等读者对深度学习模型有了一定认识后，再来学习

TensorFlow就不会感觉那么困难了。

Keras是一个高层神经网络API，Keras由纯Python编写而成并基于

Tensorflow、Theano以及CNTK后端。Keras具有高度模块化，极简，和可扩

充特性，支持CNN和RNN，或二者的结合，无缝CPU和GPU切换。

Keras是一个模型级的深度学习链接库，Keras只处理模型的建立、训练、

预测等功能。深度学习底层的运行，例如张量运算，Keras必须配合后端引擎进

行运算。目前Keras提供了两种后端引擎：Theano与TensorFlow。Keras程序

员只需要专注于建立模型，至于底层操作细节，例如张量运算，Keras会帮你转

化为Theano或TensorFlow相对指令。如果Keras用TensorFlow作为后端引擎，

因为是以TensorFlow作为底层，所以TensorFlow具备的好处都具备。

3方法设计与实现

3.1数据集收集与预处理

3.1.1数据集的获取

时尚标签识别方法设计项目采用的是开源数据集DeepFashion2，该数据集

是一个综合的时尚数据集。它包含来自商业购物商店和消费者的13个流行服装

类别的491K个不同图像。它总共有801K件服装服装项目，其中图像中的每个

6

湖南商务职业技术学院毕业设计

项目都标有比例、遮挡、放大、视点、类别、风格、边界框、密集地标和每像

素掩模，还有873K商业-消费者服装对。数据集分为训练集（391K图像）、

验证集（34k图像）和测试集（67k图像）。

本项目数据集地址：/switchablenorms/DeepFashion2，

页面如下图3-1所示。

图3-1DeepFashion2数据集获取页面

DeepFashion2具有大量的流行服装数据，为实验提供了更好的数据基础。

该数据集包含13个流行服装类别，包括背心、吊带、短裤和连衣裙等服装类型。

该数据集总共有80万个服装样本，并且图像中的每个目标体都有遮挡、缩放、

视点、边界框、密集地标和像素掩码等特性，训练出的模型将会具有较好的鲁

棒性。以下是数据集的标注信息。

source属性为“shop”表示图片来自店铺，属性为“user”表示图片由顾

客拍摄。

pair_id属性为来自同一店铺的图片及其对应的顾客拍摄的图片序号。

category_name属性代表这个服装的类别名。category_id:代表这个类别对

应的id。

bounding_box属性是目标框左上角和右下角的坐标。

scale属性代表服装的尺度，拥有小、中、大三个属性。

Occlusion属性代表服装是否存在遮挡现象，拥有无遮挡、中度遮挡、严重

遮挡三个属性。

zoom_in属性代表图像是否被放大，拥有不放大、中等放大、放大三个属

性。

部分样本数据如下图3-2所示。

7

湖南商务职业技术学院毕业设计

图3-2DeepFashinon2部分样本数据可视化

3.1.2数据集预处理

获取到DeepFashion2数据集之后，可以对数据集进行数据增广，对其进

行旋转、镜像翻转、亮度改变和遮挡等操作，扩增样本量，从而进一步提升训

练样本的数量。例如对短袖外套服装图片进行旋转、镜像翻转、亮度改变和遮

挡操作的数据增广。对其进行随机旋转，改变原图亮度。通过这些方式来增加

样本的数量以及复杂程度，从而提高模型的鲁棒性。

3.2深度学习模型选择与设计

3.2.1深度学习模型选择

传统目标检测模型的流程主要有三个阶段，首先生成目标建议框，接着对

每个建议框进行特征提取，最后根据特征进行分类。随着目标检测的发展，一

阶段检测器以更快的速度和更低的内存占用取得了巨大的成就。一阶段检测算

法不需要生成区域建议框，直接在图像上生成目标物体的类别概率和所在位置

的坐标值。只需要一个阶段的检测，就可以直接得到最终的检测结果，因此它

具有更快的检测速度。

与二阶段RCNN系列检测算法相比，一阶段检测算法最大的特点就是具有

非常快的检测速度，这对于服装检测的即时检测有重要研究意义。同时，他们

的检测精度也足够高，可以满足准确服装检测的要求。对比One-stage和

Two-stage算法，Two-stage拥有较高的精度，但是速度偏慢。相反One-stage

算法拥有较快的速度，但是精度偏低。

8

湖南商务职业技术学院毕业设计

时尚标签识别方法项目需要拥有较高的效率和较好的检测性能，所以优先

考虑具有出色准确率和速度性能的One-stage识别算法YOLOv4。相比于先前

的YOLOv3模型，在精度和性能方面都得到了提升，拥有较快的速度以及较好

的精度性能，所以将YOLOv4作为本次设计的深度学习模型。

3.2.2模型设计

YOLOv4算法原理是将输入原图的大小调整成416×416的分辨率作为网

络输入，使用上采样和特征融合操作，然后将原图按照特征图比例划分成13×

13、26×26和52×52的网格，在多尺度特征图上进行预测。首先对每个尺

寸的网格使用三个锚框来预测目标对象的边界。其次，使用预测的高维特征向

量和目标对象的实际边界框和类别标签作为输入。最后，对边界框进行回归训

练。YOLOv4的结构的示意图如下图3-3所示。

图3-3YOLOv4网络结构图

该模型在输入端使用了Mosaic数据增强，Mosaic方法是利用四张图片进

行拼接的。Mosaic是一种高效的数据增强策略，将四张图片进行随机裁剪，再

拼接到一张图上，这个策略的好处是丰富了图片的背景，同时可以提高模型训

练输入的Batch_size，在标准化BN计算的时候会同时计算四张图片的数据。

YOLOv4模型的构建核心代码如下图3-4所示。

9

湖南商务职业技术学院毕业设计

图3-4YOLOv4网络构建

YOLOV4网络结构采用CSP连接，主要以下优点，增强CNN的学习能力，

使得在轻量化的同时保持准确性，降低计算瓶颈同时降低内存成本。YOLOv4

利用上面的CSP连接，下图3-5为Darknet-53作为特征提取的主干网络的网络

模型概要。

10

湖南商务职业技术学院毕业设计

图3-5模型概要图

3.3模型的编译与训练

学习率是训练神经网络的重要超参数之一，它代表在每一次迭代中梯度向

损失函数最优解移动的步长。它的大小决定网络学习速度的快慢。在网络训练

过程中，模型通过样本数据给出预测值，计算代价函数并通过反向传播来调整

参数。重复上述过程，使得模型参数逐步趋于最优解从而获得最优模型。在这

个过程中，学习率负责控制每一步参数更新的步长。合适的学习率可以使代价

函数以合适的速度收敛到最小值。

在模型构建完成后，需要编译模型。在编译过程中，需要选择适当的损失

函数和优化器。损失函数用于衡量模型的预测结果与真实值之间的差异，优化

器用于更新模型的权重和偏置。下图3-6为时尚标签识别模型的编译和训练的

11

湖南商务职业技术学院毕业设计

核心代码。

图3-6模型的训练和编译代码

对时尚标签的识别模型YOLOv4编译设置之后即可进行训练。下图3-7为

模型的训练过程图。

图3-7YOLOv4模型训练过程图

3.4模型的评估与优化

3.4.1模型的评估

对于一个模型的好坏评价，可以从模型分类的精度进行评价。一般可以用

精确率（Precision），召回率（Recall），PR（precision-recall）曲线，AP，

mAP等来衡量。其中TP是把正类预测成正类，FP是把负类预测成正类，FN

是把正类预测成负类。在目标检测中PR曲线是以精确度和召回率分别为纵轴

和横轴的曲线，AP是该曲线下的面积，mAP是所有类别的AP平均值。

mAP值能很好的反应模型的性能，时尚标签识别项目将mAP作为主要模

12

湖南商务职业技术学院毕业设计

型评价指标进，评估结果如下图3-8所示。

图3-8CNN模型评估

3.4.2模型的优化

神经网络模型的训练很容易出现过拟合，导致对验证集的数据预测结果不

够准确。由于预测框与真实框之间不相交的时候，IOU=0，无法进行梯度计算，

相同的IOU会反映不出实际预测框与真实框之间的情况，对于这种情况，引入

了GIOU进行模型的优化，GIOU可以很好地解决不重叠情况下，也就是IOU=0

的情况，从而让训练继续进行下去。除此之外，YOLOv4使用的是CIOU损失，

损失函数必须考虑三个几何因素，重叠面积，中心点距离，长宽比。

优化之后的模型，整体架构可以分为三个主要组件：主干网络、特征金字

塔网络和预测头。

主干网络：YOLOv4使用了一个强大的主干网络作为特征提取器。主干网

络通常使用预训练的卷积神经网络，如Darknet-53等，来提取输入图像的特征。

这些特征将被传递到接下来的组件中进行进一步处理。

特征金字塔网络：特征金字塔网络用于处理来自主干网络的特征，并提取

多尺度的特征。这样可以在不同尺度上检测目标，从而提高检测的准确性。

YOLOv4使用了一个特殊的特征金字塔网络，称为SPP（SpatialPyramid

Pooling），它可以在不同尺度上提取特征，并将它们融合在一起。

预测头：预测头是YOLOv4的最后一部分，用于预测目标的位置和类别。

13

湖南商务职业技术学院毕业设计

它根据特征金字塔网络输出的特征图进行预测。YOLOv4使用了一种称为

YOLOv3的预测头结构，该结构包括多个不同尺度上的预测层。每个预测层预

测一组边界框的位置和类别，并使用锚框来调整预测结果。

3.5前端设计与实现

3.5.1系统前端设计

时尚标签识别方法设计项目的前端采用了Flask框架，，通过上传一张服

饰照片，系统将照片调用YOLOv4模型接口，输出图片的时尚标签的识别。如

下图3-9所示。

图3-9时尚标签识别系统页面图

14

湖南商务职业技术学院毕业设计

3.5.2设计效果展示及分析

通过系统上传时尚标签的图片，上传之后，Flask框架接收到图像文件后，

对图像文件进行预处理，然后对图像文件进行时尚标签的识别，输出结果。如

下图3-10所示。

图3-10时尚标签识别效果图

本次基于YOLO模型的时尚标签识别方法是将深度学习技术应用于