基于FPGA及深度学习的人脸检测系统设计

第一部分设计概述1.1设计目的新冠病毒的肆虐让整个2020年笼罩在恐慌之中，戴口罩成了人们外出必备的“新日常”。新冠病毒主要通过飞沫传播和接触传播，正确选择佩戴口罩，可有效阻隔病毒传播。但在人流量庞大的商圈、车站等场所，仍有许多人拒绝佩戴口罩。若能在这些场所进行当前人群口罩检测，则能有效避免冠状病毒的传播。本作品是一种能实时检测识别人脸口罩佩戴情况并进行语音播报的系统，准确度高达95.2%,系统处理速度可达25fps左右。除此之外，本作品具备较高的可拓展性，稍加更改就可在更多的领域得到1.2应用领域基于深度学习的人脸捕获及口罩检测系统可以适用于人流量大的场所，实现了人脸检测与跟踪以及人脸口罩识别的功能，并将识别结果进行播报，可以辅助疫情防控工作的开展。除此之外，本系统的人脸检测系统有着广泛的应用范围。在智能家居领域，可以通过我们的系统实现人类闯入报警装置，在摄像头捕捉到的区域检测到人脸后触发报警；在新冠疫情期间，我们的系统可以安装在商圈、旅游景点，实时检测人流密度，为实时限流措施提供参考。1.3主要技术特点1.4关键性能指标两个方面进行了分析。识别精度可达到95.2%,而系统延迟仅仅40ms左右，可达到25fps的帧率。1.5主要创新点3、在网络的head部分对边框回归和类别预测做了不对称设计，进一步提升性能。系统框架创新点1、为了加快系统设计，采用了Xilinx专用于卷积神经网络的深度学习处理单元(DPU)。在设计系统过程中，可根据系统的具体情况配置DPU的参数，将该IP集成到所选器件PL中，通过PS端软件控制，实现多种卷积神经网络的加速。2、利用PYNQ框架，可以在开发板上动态地加载比特流实现系统所需硬件电路，灵活方便。3、利用VitisAI编译模型，将浮点模型转换为定点模型，降低了计算复杂度，并且需要的内存带宽更少，提高了模型速度。第二部分系统组成及功能说明2.1整体介绍下后处理基于深度学习的人脸检测系统由PS端、PL端与外设及其接口组成。其中，外设包括、摄像头(通过USB3.0连接)、语音模块(通过UART连接)和VGA显示(通过MiniDP转VGA连接),开发板内部还提供了2GB的LPDDR4;PS端包括openCV采集处理模块、后处理Suppression,NMS)算法对候选区域进行筛选，得到合适的区域信息面并框出人脸位置。PL端中的特征提取模块对预处理后的图像进行ZynqUltraScale+MPSoC开发板，并基于Linaro96BoardsConsumerUltra96-V2开发板系统框图如下图所示：ProcessingSystem(P44→图3Ultra96-V2系统框图2.2各模块介绍本系统采用的是超微1601U摄像头上图所示，输出图像大小为1280×720,最高帧率可达30fps。该摄像头通过USB3.0接口与开发曝光控制AEC和自动白平衡AEB,可以调节亮度、对比度、色饱和度、色调等基础参数。通过系统PS端的OpenCV来完成摄像头相关参数的深度学习处理单元(DPU)进行处理。对于一帧图像，该模块接收到来自神经网络检测模块的3780个候选框信息(包括边框坐标、识别标签、置信度)。后处理模块首先对这些候选框进行筛选，留下置信度大于0.6的候选框。这一步可以滑动窗口会导致很多窗口与其他窗口存在包含或者大部分交叉的情最大),并且抑制那些分数低的窗口。引脚名称UART串行数据输出地电源地喇叭+喇叭-触发输入口1音频输出图5语音模块及其引脚介绍本系统中语音模块的功能是在系统检测完毕且后处理模块统计画面人数后，将检测结果通过语音的方式播报给外界。语音模块JQ8900-16P选用了SoC方案，集成了一个16位的MCU,能够灵活更换SPI-flash内的语音内容，有一线串口控制模式和RX232串口控制由于开发板上有多个USB接口，我们采用USB转串口的方式来控制语音模块。具体控制方式为把检测到的人数转化为语音模块的控制指令，通过串口发送到该模块，语音模块对指令进行解码之后播报存放在该模块内的相应音频。结果展示部分——显示控制经过神经网络处理之后的图像由开发板上的MiniDP接口外接MiniDP转VGA转接头，连接到VGA显示器进行显示。识别模块本系统中卷积神经网络模块的功能是对摄像头采集图像中的人(1)数据集的制作(1)无口罩人群口罩的图片(来源于网络)。具体地，我们从WIDERFace中筛选出7000张，从MAFA中筛选出2000张，自己根据已有的戴口罩的数据集生成了2000张左右，最终分为训练集13000张，测试集300张。的图片与无口罩的图片的组合，如图6最右所示，因为在经典数据集2)神经网络模型的搭建和训练本系统采用的目标检测算法为anchor-base的one-stage算法，整个网络参考了RetinaNet[4]进行设计，可分为backbone、neck、部分中，FPN[6]有很好的特征提取功能，引入FPN能解决较为复杂的问题。但由于FPN需要额外的卷积计算，它也在一定程度上降低了速度。由于本次应用只有两个类别，有口罩和无口罩，识别困难度比较低，我们参考了SSD[7]的结构，去掉FPN部分，仅用一个卷积层调整通道。对于head部分，由于只有两个类别，我们减少了class分支的卷积层，不再与boxes分支对称。减少卷积层并没有引起精度下降，但进一步提升了速度。我们anchor设置如下：820,最大尺寸为127。整体网络框架如下所示：boxbox图5整体网络框架整体网络可分为两部分——特征提取模块与边框回归及分类模立立double_blaze_blockP412×20图6特征提取模块对于特征提取模块的处理如图6所示。令输入图像为P0,其尺寸为192×320;P1由P0经过一个卷积层和两个blaze_block得到，本模块的输出，即识别模块的输入。其中blaze_block由由v2D+Add组成。各层参数详见本文附录中软件模型的源代码。边框回归及分类模块对P3、P4、P5进行分析。RetinaNet类别分支和边框分支分别采用了四个卷积层，本设计采用了RetinaNet的head设计思想，但是进行了改进：我们减少了卷积层的数量，边框分支采用三个卷积层，类别分支采用两个卷积层。因为只有两个类别，所以我们的类别分支和边框分支采用了不对称设计，将类别分支的卷积层进一步减少。减少类别分支的卷积层对准确率几乎没有影响，但提升了速度。(3)硬件部分加载带Xilinx的DPUIP的比特流文件，把DPU烧写到开发板的PL3.1完成情况本系统目前可以实现：实时检测并跟踪人脸位置，人脸位置被框出；人脸检测框上方给出目标是否戴口罩mask/nomask以及置信度；定时对当前人数与未佩戴口罩人数进行语音播报。3.2人脸检测