【《基于机器视觉的空余停车位检测系统设计》9200字】

基于机器视觉的空余停车位检测系统设计目录TOC\o"1-3"\h\u808引言 117293第1章绪论 272501.1研究背景及意义 2292661.2国内外研究现状 212401.3本文主要研究内容 3121351.4本章小结 327200第2章相关软件平台 4100692.1Halcon简介 440082.2VisualStudio简介 5324262.3本章小结 626022第3章系统的需求与设计 7207013.1系统需求分析 7148853.2系统总体设计 869703.3本章小结 82084第4章系统的设计实现 971944.1halcon中实现的功能 9282964.1.1选择ROI区域 10125394.1.2灰度图像、ROI区域的矫正 12200614.1.3灰度图像二值化和区域分割 13210414.1.4得到空余停车位位置区域 15215624.2VisualStudio中实现的功能 163254.3本章小结 173489第5章功能测试及验证 18264385.1测试环境 18293355.2Halcon程序测试 1827065.3C#代码测试 19196585.4本章小结 2032730第6章总结与展望 20289156.1论文总结 20226506.2论文展望 2093156.3本章小结 21引言空余停车位的自动检测是目前机器视觉领域的热点问题，近几年随着我国汽车拥有量的增加，停车难问题变得越来越显著，停车场原来的人工监管方式显然满足不了如今车主迫切停车的需求。运用机器视觉自动检测停车场空余停车位，有实时性强、效率高、适应能力强、可以24h连续工作等优点，可以减轻停车场工作人员的压力，避免工作人员因为加班疲劳而出错的情况。基于机器视觉的停车位检测系统的开发，可以自动识别停车场空余停车位并显示，车主路过停车场即可知道车位信息，不需要询问工作人员和开进停车场寻找车位，可以解决目前的停车难问题。基于机器视觉的停车位检测系统，提供一个界面模拟监控系统的不同视角自动识别空余停车位，满足车主和工作人员的需求，具有可行性。第1章绪论1.1研究背景及意义公安部交通管理局公布的数据显示，截止到2019年6月底，我国汽车拥有量己达到2.6亿辆，这是中国汽车拥有量首次超过2.6亿辆，千人汽车拥有量达179辆，首次超过世界平均水平[1]。随之而来的，是汽车拥有量上升而越发严重的停车难问题。据不完全统计，目前，我国总体停车位数量为1.26亿个，停车位的供给率仅为50%[2]。然而，私家车是一项必不可少的出行方式，因此，对于车主来说，停车位数量太少，停车需求越来越无法满足。现如今，许多停车场仍然采用人工方式管理，管理效率低，人工成本较高[3],车主找寻停车位时需要询问工作人员或开进停车场，而这么做会造成时间的浪费，造成其他车主找寻停车位时的困扰，所以自动识别空余停车位是本文研究的重点。鉴于以上，本文开发了一款基于机器视觉的停车位检测系统，该系统运用在有自动识别空余停车位需求的停车场内，该系统简洁明了，将停车场模拟监控系统分成三个视角，分别识别三个视角内的空余停车位，再将三个视觉内的空余停车位数量相加并显示，让车主快速判断是否需要将车开进停车场，判断时间短，便于在最短时间内找到合适的停车位，并且节省了人力、财力、物力的消耗。由此可知，基于机器视觉的停车位检测系统非常有必要，研究此选题很有意义。1.2国内外研究现状传统停车场通常利用地磁线圈传感器检测停车位占用情况，该种方案由于地磁线圈传感器安装和维护较复杂，而且一个地磁线圈传感器只能检测一个停车位状态极大增加了成本[4]。后来研究者们尝试利用机器视觉中的特征提取方法解决停车位占用检测问题。Dan提取颜色特征向量并通过SVM分类[5]。Wu等人从克服车位间遮挡的角度出发，他们考虑了三个相邻车位，并将它们作为一个单元，将颜色特征直方图送人SVM中分类[6]。万婷婷等人使用核函数的Fisher线性判别法实现停车位识别，首先在K-L空间域上对停车位图像进行空间变换，并对图像特征降维，然后分别利用三种核函数，通过像素分布来判断停车位占用状态[7]。蒋大林等人基于混合高斯背景模型将图像背景和前景分割，然后分别提取图像的方差特征、边缘密度特征以及角点特征，最后使用SVM分类器判别停车位的占用状态[8]。孟焱等人通过人工选定停车位区域位置信息，在选定的区域内设置不同的采样点，然后依据采样位置的像素的灰度值变化情况来判别停车位的占用状态[9]。Huang等人提出一种贝叶斯分层框架，对停车位空间进行3D建模[10]。Delibaltov和Wu等人建立车位空间的体积块，提取车辆的LBP和TB纹理特征，经过SVM分类，并进行融合，计算车辆在车位体积块中的概率，从而检测停车位占用状态[11]。人工设计特征算子是一件很耗时的工作，因为很难找到合适的特征和分类器，算法的鲁棒性不高。随着深度学习的兴起，大量的通过人为标记的图片，经过深度神经网络实现自动提取特征并分类的端到端模型，己经被证实效果优于传统人工设计特征算子的方法。最近，开源的停车位数据集不断被提出。Almeida等人制作了PKLot数据集，他们提取了LBP、LPQ等纹理特征，通过训练SVM分类器以及多种融合的分类器，如均值融合、最大值融合，完成停车位占用检测[12]。Amato等人制作了CNRPark数据集，之后他们基于树莓派智能终端设备提出了一种轻量的嵌入式深度神经网络模型[13]。深度学习算法的鲁棒性比特征提取算法高，但是需要得到大量样本图片并标记、训练，需要配置很高的GPU。本文基于以上现状，利用特征提取方法，自行设计了一个基于机器视觉的停车位检测系统，利用Halcon软件的算子找到合适的特征来提高鲁棒性，并设计了一个人机交互界面，操作简单，识别准确，能够满足人们的基本需求。1.3本文主要研究内容为解决停车难问题，自动识别空余停车位信息方便车主准确快速的找到停车位，本文设计了一个基于机器视觉的停车位系统，主要研究内容如下：已知停车场的三个视角，分别选取三个视角的停车位ROI区域，并对三个视角的图像和ROI区域分别进行矫正。分别得到三个视角图像中出现频率最大的灰度值，并对三个视角图像分别进行二值化处理得到整个柏油马路区域，再与裁剪得到的每个停车位区域求交集得到每个停车位的柏油马路区域，选取特征为每个停车位柏油马路区域的面积，面积大于一定值的停车位即为空余停车位位置区域。1.4本章小结本章讨论了研究背景及意义、国内外研究现状以及主要研究内容，指出本文研究的实际意义和目前条件下的最佳研究方法，并根据最佳研究方法设计了本文主要研究内容。第2章相关软件平台2.1Halcon简介机器视觉是一项综合技术，包括图像处理、机械工程技术、控制、电光源照明、光学成像、传感器、模拟与数字视频技术、计算机软硬件技术（图像增强和分析算法、图像卡、I/O卡等）[14]。而随着机器视觉的发展，各类机器视觉软件也层出不穷，比如OpenCV、VisionPro、LabView、Halcon等。其中Halcon是德国MVtec公司开发的一套完善的标准的机器视觉算法包，拥有应用广泛的机器视觉集成开发环境[15]。它的优点为节约程序开发时间、支持的图像采集设备数量多、更适合于工业检测等，因此本文使用Halcon软件来进行研究，整体界面如图2.1所示。图2.1Halcon软件整体界面在Halcon软件中新建一个新的程序，随即打开Halcon编程界面，最上方为工具栏和各种编程助手，其他位置大体分为四个部分，第一部分为左上角的图形窗口，第二部分为左下角的变量窗口，第三部分为右上角的算子窗口，第四部分为右小角的程序窗口。其中图形窗口用来显示程序里输出变量中的图像、区域和xld轮廓；变量窗口分为图像变量和控制变量，其中图像变量部分用来放置程序中存在的所有输出变量中的图像、区域和xld轮廓，右键点击清除/显示可以在图像窗口中显示该图形变量，其中控制变量部分用来放置程序中存在的所有输出变量中的控制变量；算子窗口用来显示某个算子详细内容，双击程序窗口中的某个算子即可在算子窗口中显示该算子，可以在该窗口中修改该算子的输入输出变量进行替换，也可以点击帮助查看该算子的详细原理和用法；程序窗口用来编写该项目的算子，写完算子后按F5为运行，F6为单步运行，运行过程中输出的变量会在变量窗口中更新。2.2VisualStudio简介MicrosoftVisualStudio（简称VS）是美国微软公司的开发工具包系列产品。VS是一个基本完整的开发工具集，它包括了整个软件生命周期中所需要的大部分工具，如UML工具、代码管控工具、集成开发环境(IDE)等等,支持的编程语言为C、C++、C#，python等[16]。打开VisualStudio软件，新建一个项目，弹出新建项目对话框，如图2.2所示。图2.2新建项目对话框本文界面的设计选择C#语言的窗体设计，点击选择左侧一栏中的VisualC#选项，再选择中间一栏中的Windows窗体应用(.NETFramework)，修改名称、选择保存位置后点击确定即可打开C#窗体编程界面，如图2.3所示。图2.3C#窗体编程界面界面中最上方为工具栏，最左侧为工具箱和数据源选项，其他位置大体分为四个部分，中间部分为Form窗体，可以在此窗体中拖动控件完成窗体界面的设计；下方部分为输出信息窗口，可以在此窗口中看到编程过程中的提示和错误信息；右上部分为解决方案资源管理器窗口，可以在此窗口中看到该项目中所包含的文件；右下部分为属性窗口，可以在此窗口中查看或设置Form窗体和控件的属性。双击Form窗体，进入编程界面，开发者可以在该界面进行程序的编写，实现想要实现的功能，如图2.4所示。图2.4VisualStudio编程界面2.3本章小结本章介绍了该系统用到的编程软件Halcon和VisualStudio，对其应用范围、窗体功能进行了详细的阐述。

第3章系统的需求与设计3.1系统需求分析现如今，许多停车场仍然采用人工方式管理，管理效率低，人工成本较高。由于我国的汽车拥有量逐年上升，人工管理方式的弊端也越来越明显，比如找寻停车位的车主越来越多，工作人员工作量加大，需要24h加班；车主找寻停车位时需要询问工作人员是否有空余停车位或自行驶入停车场寻位，这样效率低，会造成停车场拥堵、找不到停车位等问题；同时停车场工作人员24h值班制成本高、效率低，无法满足经济发展带来的汽车拥有量升高的需求。所以设计一个能自动识别检测空余停车位的系统迫在眉睫，能完美解决目前汽车拥有量增多而造成的停车难问题。用户的需求为：在停车场设置几个光源，可以为半夜在停车场停车的车主提供一定的照明，也可以为该系统提供一个较为稳定的识别；设置几个光源后，再设置几个摄像头，提供照明后的停车场图像输入给计算机进行计算识别；最后再设置一个显示设备，计算机识别停车场内几个摄像画面后，计算停车场内几个摄像画面的空余停车位数量的总和，并实时显示在显示设备上，为路过的车主提供停车位信息，如图3.1所示。图3.1需求流程图根据用户所提出的需求，由于开发人员设备、能力的不足，只对已知的停车场三个视角的图像送入计算机进行处理并输出结果这一步进行系统设计，设计目标是提供一个界面，对已知的停车场三个视角的图像进行识别处理，在文本框内显示空余停车位数量的结果。综上所述，根据用户需求和自身能力开发一个系统，该系统提供了自动识别停车场空余停车位并输出结果的功能，为工作人员提供了一个类似监控设备的画面，为用户显示空余停车位的结果，为物业公司降低雇佣工作人员的成本，该界面操作简单，识别速度快，可以减轻工作人员的工作量和压力。3.2系统总体设计本系统的设计过程为：先用Halcon软件识别图像并显示结果，即对该系统的识别算法进行设计，导出.cs文件，再用VisualStudio软件Form窗体设计该系统的界面，并设计的界面对原始.cs文件进行修改来实现该系统的设计目标，即提供一个界面来实现人机交互功能，该系统的总体设计流程图如图3.2所示。图3.2总体设计流程图总体设计流程图中的功能介绍如下：提取图像该功能从本地中提取该停车场三个视角的图像，并显示在窗口中。识别图像该功能基于在Halcon软件中设计的识别算法，对提取的停车场三个视角的图像进行识别，识别出的有车停车位为红色，空余停车位为绿色，并分别在三个控件的左上角显示停车位三个视角的空余停车位数量。显示结果该功能是在提取图像和识别图像之后，得到每个视角中的空余停车位数量，计算停车场内三个视角的空余停车位数量总数，最后在人机交互界面的文本框中显示该停车场内空余停车位的总数。3.3本章小结本章对客户对该系统的需求、由于开发条件限制确定的设计部分、设计目标和设计流程进行了详细的介绍，下一章将针对本章所介绍的内容进行实现。

第4章系统的设计实现4.1halcon中实现的功能本系统在Halcon中实现的功能是对停车场内三个视角的空余停车位进行识别并显示结果，在不断调试过程中选取合适的特征遍历所有停车位进行筛选，筛选出三个视角中的空余停车位位置标记为红框，有车停车位位置标记为绿框，在三个图形窗口中分别显示三个视角的空余停车位数量，代码运行得到正确结果后导出.cs文件，对.cs文件转换后的C#代码进行基于界面设计的修改来实现人机交互界面的功能。首先，本文对停车场的彩色图像进行灰度化处理，再对灰度化处理之后的停车场灰度图像进行ROI区域的选择，选择出停车场内的停车位的位置区域，然后对灰度图像和ROI区域进行仿射变换，把倾斜的灰度图像和ROI区域矫正，其中对矫正后的灰度图像进行二值化处理得到柏油马路区域即停车场内的空余区域，对矫正后的ROI区域进行分割得到每个停车位的位置区域，再对得到的两种区域求交集得到每个停车位位置的空余区域面积，再用合适的特征对每个停车位位置的空余区域面积进行遍历筛选出符合特征的停车位位置区域，最后计算三个视角内符合特征的停车位位置区域的数量并显示在三个图形窗口的左上角，流程图如图4.1所示。图4.1Halcon中实现功能流程图4.1.1选择ROI区域由于设备的限制，本文对已知的停车场图像进行空余停车位识别，选取的停车位图像如图4.2所示，是个大型停车场。图4.2停车场图像由于该停车场图像是个大型停车场，因此为了方便进行图像处理，贴合实际应用情况，本文参考监控设备，模拟该停车场内有三个摄像头，因此把该停车场图像裁剪为三个图像，对三个图像分别进行处理，停车场图像被裁剪后得到的三个视角图像如图4.3(a)-(c)所示。(b)(c)图4.3(a)-(c)裁剪得到的三个图像得到该停车场的三个视角图像后，以第一视角图像为例，已知该图像为彩色图像即RGB图像，因此为了方便接下来的图像处理应对该图像进行灰度化，分别得到该图像的R、G、B分量，算子为decompose3(Image1,R,G,B)，第一视角图像的RGB分量如图4.4(a)-(c)所示。(b)(c)图4.4第一视角图像的(a)R(b)G(c)B分量已知彩色图像每个像素的R、G、B分量，通过一定的计算方法得到彩色图像每个像素的色调(H)、饱和度(S)、明度(V)，算子为trans_from_rgb(R,G,B,Hue,Saturation,Intensity,'hsv')，得到的每个像素的灰度值合在一起构成一整个图像，第一视角彩色图像的H、S、V分量如图4.5(a)-(c)所示。(b)(c)图4.5第一视角图像的(a)H(b)S(c)V分量得到第一视角的R、G、B、H、S、V分量后，选择六个分量中最清晰的图像进行下一步的处理，通过观察，V分量图像中车辆和柏油马路两者之间灰度值相差最大，显示最为清晰。在该图像中选择三排停车位区域作为ROI(感兴趣)区域，其中ROI区域是由方向矩形绘制的，绘制结束后对三个绘制的ROI区域进行区域合并处理，原理为已知三个区域，先用union2算子合并其中两个区域成一个区域，再用union2算子由合并好的一个区域与第三个区域进行合并，区域合并后的ROI区域如图4.6所示。图4.6区域合并后的ROI区域4.1.2灰度图像、ROI区域的矫正由于停车场第一视角的灰度图像和区域合并后的ROI区域是倾斜的，因此在本小章节要对灰度图像和ROI区域进行矫正。在对灰度图像、ROI区域进行矫正之前，先用area_center算子求该ROI区域的中心点行列坐标，以该中心点行列坐标为旋转中心，再由已知的ROI区域角度rad(0.8)和矫正之后的区域角度0，生成一个仿射矩阵，算子为vector_angle_to_rigid(Row,Column,rad(0.8),Row,Column,0,HomMat2D)，再由仿射矩阵对灰度图像和ROI区域进行矫正，得到矫正之后的灰度图像和ROI区域，算子分别为affine_trans_region(RegionUnion,RegionUnion,HomMat2D,'nearest_neighbor')和affine_trans_image(Intensity,ImageAffineTrans,HomMat2D,'constant','false')。矫正原理为把矫正之前图像像素的行列坐标带入下式，得到矫正之后图像像素的行列坐标，即矫正前后图像中的同一个像素移动了一定的位置，代码。其中Row1、Column1为矫正之前图像中某个像素的行列坐标，Row2、Column2为矫正之后图像中同一个像素的行列坐标，HomMat2D为生成的仿射矩阵：

Row2Column21=HomMat2D∗Row1由上式对灰度图像和ROI区域进行矫正后，得到矫正后的灰度图像和ROI区域，如图4.7(a)(b)所示。(b)图4.7矫正后的(a)ROI区域(b)灰度图像4.1.3灰度图像二值化和区域分割通过观察矫正后的灰度图像，可以看出没有车的空余停车位位置区域颜色全为灰色，即为柏油马路的颜色，有车停车位位置区域的颜色是该位置汽车的颜色，因此可以从此处入手，选择合适的特征对符合特征的停车位区域进行筛选。要得到停车场内空余停车位位置区域即柏油马路的区域，首先查看灰度图像的灰度直方图，如图4.8所示，灰度值127为峰值，灰度值范围大概在106-147之间的像素最密集，即灰度值范围大概在106-147之间的区域为柏油马路区域。图4.8灰度图像的灰度直方图由以上分析可得，接下来要对第一视角灰度图像进行二值化，二值化原理为已知一个灰度图像，选中灰度值在minGray和maxGray之间的区域，公式如下，其中g为被选中的图像像素灰度值： minGray≤g接下来要得到二值化阈值minGray和maxGray的值，先用gray_histo算子得到灰度值分布数组，即灰度值从0到255之间每个灰度值所占的像素数量，再用tuple_max算子得到灰度值分布数组中的最大值，即在灰度值0-255范围内某个灰度值所占的最大像素数量，最后用tuple_find算子返回数组的索引，即找到所占最大像素数量的灰度值。由以上算子计算可得该灰度图像的灰度值峰值GrayValue为127，通过不断修改阈值调整参数可知，阈值分别为GrayValue-0.08*255和GrayValue+0.08*255得到的二值化区域为最佳，即柏油马路区域，如图4.9所示。图4.9柏油马路区域由上图可以看出，空余停车位位置的红色区域面积大，有车辆停车的位置红色区域面积较小。接下来为了计算每个停车位的空余位置面积，应得到每个停车位的位置区域，为了让区域分割过后的停车位位置区域更加准确，应先将矫正过后的ROI区域进行区域断开处理，再进行区域分割得到每个停车位的位置区域，分割后的ROI区域如图4.10所示。图4.10分割后的ROI区域4.1.4得到空余停车位位置区域上一小章得到柏油马路区域和每个停车位的位置区域后，应对两种区域求交集得到每个停车位空余位置区域。首先对每个停车位的位置区域重新排列，重新排列后的停车位位置区域如图4.11所示。图4.11重新排列后的停车位位置区域接下来循环遍历上图中每个停车位的位置区域，与柏油马路区域求交集，得到每个停车位的空余位置区域，以其中一个停车位位置区域为例，与柏油马路区域求交集之后，得到的该停车位的空余位置区域如图4.12所示。图4.12停车位的空余位置区域通过观察可知，每个空余停车位的空余区域面积都比有车停车位的空余区域面积大，故选取每个停车位的空余位置区域面积作为特征，循环遍历每个停车位的空余位置区域，筛选符合面积特征的停车位位置区域，符合面积特征的停车位位置区域即空余停车位位置区域标记为绿色，不符合面积特征的停车位位置区域即有车停车位位置区域标记为红色，如图4.13(a)(b)所示。(b)图4.13(a)空余停车位位置区域(b)有车停车位位置区域得到两种停车位位置区域后，计算标记为绿色的空余停车位位置区域数量，显示在图形窗口左上角，如图4.14所示。图4.14显示结果4.2VisualStudio中实现的功能可知前文已经用Halcon算子实现了识别停车场内空余停车位位置的功能，而本文需要设计一个界面来完成人机交互，所以在本小节介绍了怎么用VisualStudio软件以Halcon算子为基础用C#代码编写人机交互界面，如图4.15所示。图4.15人机交互界面实现流程图由上图可知，先用上文实现的Halcon算子导出.cs文件，再在VisualStudio软件上对Form窗体进行设计，最后结合导出的.cs文件对该系统的人机交互界面进行修改代码实现。Form窗体设计界面如图4.16所示。图4.16Form窗体设计界面由图可知，该界面的设计一共用到9个控件，其中四个为label控件，三个为hWindowControl控件，一个为button控件，一个为textBox控件。对该人机交互界面的功能进行编程实现，双击button按钮，自动生成点击button按钮实现的事件，在该事件中编写要实现的功能，该功能是对Halcon算子导出的.cs文件进行修改实现的，分别为在三个hWindowControl窗体上显示该停车场的三个视角图像，自动识别该停车场内的三个视角空余停车位位置和数量，识别结果分别显示在三个hWindowControl控件的左上角，在textBox控件中显示三个视角内空余停车位的总数。4.3本章小结本章对该系统分别在Halcon和VisualStudio两个软件中的实现过程和原理进行了详细阐述，其中人机交互界面是在VisualStudio软件中对界面进行设计和基于Halcon算子导出的.cs文件进行修改实现的。第5章功能测试及验证5.1测试环境为了测试该停车位检测系统是否满足客户的需求和设计目标、检验该系统可能存在的错误和不足，因此，本章节主要完成对该系统进行相关功能的测试和验证。通过系统测试，可以检测系统的功能是否正确、完整[17]。本软件系统的测试环境为：软件开发平台：MicrosoftVisualStudio2017HDevelop17.12ProgressWindows系统版本：Windows10家庭版5.2Halcon程序测试Halcon程序是对停车场内三个视角的图像分别处理，得到图像内的空余停车位区域和有车停车位区域，并分别用绿色矩形边缘框和红色矩形边缘框框出，在图像窗口左上角显示该视角内的空余停车位数量。三个视角在Halcon软件中运行的结果如图5.1(a)-(c)所示。(b)(c)图5.1(a)-(c)三个视角的运行结果由图可知，三个视角内的所有空余停车位区域都被标记为绿色边缘框，其中包括停车位内有路灯影子、有三轮车、一车占两个位置、有污渍、有杂物、车辆颜色跟柏油马路相近的情况，该Halcon程序编写的算法准确率高、抗干扰能力强，可以用来通过选定ROI区域来识别停车场内空余停车位的位置。5.3C#代码测试对Halcon软件中的程序测