基于视觉传感器的智能小车标志识别系统

1、天津理工大学2011本科优秀毕业设计说明书基于视觉传感器的智能小车的标志识别系统机械工程学院，机械工程及自动化，王松涛指导老师：孙启湲，副教授，机械工程学院摘 要：视觉信号具有信号探测范围宽、获取信息丰富等优点。随着近几年图像处理技术以及计算机处理能力的飞速发展，视觉导航成为机器人导航的主要发展方向之一。机器人导航的任务之一就是根据路面特征来行走，本文在Visual C+集成开发环境中基于OpenCV 和DirectShow 视频采集技术编程实现了系统的功能。本文所设计的就是一个基于视觉传感器的智能小车的标志识别系统，根据图像分析后的二值图像序列信息，使小车能根据识别到的图像信息进行运动。关键

2、词：智能小车 视觉导航 图像处理 特征识别The Mark Recognition System Based on Vision for an IntelligenceVehicleAbstract： Visual signal with the signal detection range, access to information-rich and so on. As in recent years, image processing technology and the rapid development of computer processing power, visual rob

3、ot navigation as the main development direction of navigation. Robot navigation tasks is to walk to the road characteristics, this article in Visual C + + integrated development environment based on OpenCV and DirectShow video capture technology, programming function of the system. This article is d

4、esigned is a smart vision sensor based car sign recognition system, according to the image analysis of binary image sequences, so the car can be identified according to the image information campaign.ehicle Mark Recognition Image Processing Feature Recognition Key Words：Intelligence V1 绪论机器人1的导航技术是智

5、能型机器人自主完成任务的核心技术。移动机器人导航是指移动机器人按照预先给出的任务命令，根据已知信息做出路径规划，并在行进过程中，不断感知周围的局部环境信息，自主地做出决策，调整自身位姿，引导自身安全行驶或跟踪已经路径到达目标位置。这其中包括三个主要内容：避障、定位和路径规划。本文所设计的就是一个基于视觉传感器的智能小车的标志识别系统，根据图像分析后的二值图像序列信息，小车能根据识别到的图像信息进行运动。22 基于视觉传感器的智能小车系统本论文是基于视觉传感器8的智能小车识别系统,试验的平台选用的是上海中为机器人提供的小车，小车实现的功能是在地面行走时，能根据摄像头反馈回的地面特征，实现自主移动

6、。实验中用到的模块 1基于视觉传感器的智能小车的标志识别系统有，CMOS 摄像头，无线图传模块，传感与通讯模块，运动控制模块，远程控制模块，USB 图像采集卡，运动过程如图2.1所示：图 2.1小车总体运动流程图Fig 2.1 Flow chart of the overall sports car2.1 小车运动控制流程图小车的控制3流程可以分为以下三个部分，视觉采集，图片信息处理，运动控制，控制流程如图2.2所示：图 2.2 小车控制流程图Fig 2.2 Car control flow chart 2.2 视觉采集系统天津理工大学2011本科优秀毕业设计说明书基于视觉的导航方式，机器人平

7、台的图像采集系统获取机器人当前状态下的环境信息，通过对环境图像分析确定环境对象和机器人在环境中的位置。由于图像有较高分辨率，环境信息完整，符合人类的认知习惯，在机器人导航中得到广泛关注，本文所采用的正是基于视觉的导航，工作过程如图2.3所示：图 2.3 视觉系统工作流程图 Fig.2.3 Vision system work flow chart本小车选用的是COMS摄像头，摄像头安装在步进电机组件的转盘上，以便在需要时控制摄像头的旋转。摄像头的电源线连接在无线图传模块上，一起通过机器人供电（12V）；视频线连接在无线图传模块上，将采集到的图像传递到无线图传模块，再通过它将图像传出去。如图2.

8、4所示：图 2.4 CMOS 摄像头 Fig 2.4 CMOS camera2.3 信息传输处理系统摄像头采集到的信息要通过传输系统的传输才能被处理，智能小车的信息传输处理过程如图：基于视觉传感器的智能小车的标志识别系统图 2.5 信息传输处理流程图Fig 2.5 Information transmission processing flow chart2.3.1 无线图传模块无线图传模块安装在机器人的底盘下，其天线穿过底盘伸到上方来。无线图传模块采用的是模拟图像传输方式，12V 电源供电，其电源线连接在机器人运动控制模块的Video 接口上，由机器人给它供电。同时，通过另一路电源线给摄像头

9、供电。如图2.6所示：图2.6 无线图传模块Fig 2.6 Wireless transmission module map2.3.2 USB 图像采集卡USB 图像采集卡也不装在机器人上，使用时接到计算机USB 口上，与远程控制模块一起使用。用视频线连接图像采集卡与远程控制模块，在计算机端获取机器人端的图像。如图2.7，2.8 所示图 2.7 图像采集卡 图 2.8 视频线Fig 2.7 Image acquisition card Fig 2.8 Video cable2.3.3 远程控制模块远程控制模块不安装在机器人上，是一个独立的功能模块。需要遥控机器人时把它用串口线连接到计算机上，用

10、配套的12V 电源模块给它供电。远程控制模块中包含了一个无线数传模块和一个无线图传模块，分别与机器人端的无线数传模块和无线图传模块相对应。如图2.9所示：天津理工大学2011本科优秀毕业设计说明书图 2.9 远程控制模块Fig.2.9 Remote control module2.3.4无线数传模块无线数传模块安装在机器人的传感与通信模块里，其天线从模块的上盖伸出。电源和信号线连接在传感与通信模块的UART1 接口上，如图2.10所示：图 2.10 无线数传模块Fig 2.10 Wireless module2.4 运动控制系统运动控制系统主要根据PC机传回的信息进行控制小车的运动，用到的模块

11、为运动控制模块如图2.11所示：图2.11运动控制模块Fig 2.11 Motion Control Module2.5 小车总体结构实验中要用到的模块有：电源控制模块，运动控制模块，传感与通信模块，无线通信模块，USB 图像采集卡 远程控制模块 CMOS 摄像头 无线图传模块，USB 图像采集卡 远程控制模块连在计算机上；其他的连在小车上 组合图如图2.12所示：基于视觉传感器的智能小车的标志识别系统图2.12 视频遥控机器人Fig 2.12 Video remote control robot2.6 智能小车软件系统小车的软件系统可以分为两个部分，上位机，和下位机两个部分，上位机主要是用微

12、软公司的VC+6.0编译系统，下位机则是用ADS开发系统，上位机主要对采集回来的图像进行处理，下位机则控制小车的运动，流程如下图2.13 所示图 2.13 程序流程图Fig 2.13 Program flow chart 62.7 智能小车的运行过程下位机程序下载完成以后，打开PC机，运行上位机程序，同时打开小车的开关，就可以运行了。运行过程如图2.14所示天津理工大学2011本科优秀毕业设计说明书图 2.14 小车工作流程图Fig 2.14 Car work flow chart3 智能小车视觉导航中的图像处理 图像处理流程如图3.1所示：9图 3.1 图像处理流程Fig 3.1 Image

13、 processing基于视觉传感器的智能小车的标志识别系统4 智能小车基于地面特征的视觉导航4.1 智能小车基于地面特征的导航的实现小车的硬件设备已经准备好了，由摄像头传回的图像也已经处理完毕，现在我们要做的就是根据传回的图像进行分析，处理，然后做出判断，处理流程如图4.1所示：图 4.1 识别流程图Fig 4.1 Identification flowchart4.1 匹配模板的制作要实现小车根据特征来实现运动，小车首先要识别特征，根据提取的特征然后匹配，我用的是模板匹配的方法，为前进，后退，左转，右转，停止，分别做2个模板，每个模板25个像素，然后处理提取出的图片,也把他分为25个像素，

14、然后做对比，识别出相应的图标。如下图4.2为5个特征模板：天津理工大学2011本科优秀毕业设计说明书图 4.2 特征模板Fig 4.2 Feature template模板的制作方法是根据小车要识别的特征的形状，然后在模板中也画出类似的形状，如停止的模板为圆，制作如下图4.3所示：图 4.3 圆的模板Fig 4.3 Circle template4.2 地面特征的提取与识别特征向量的提取方法多种多样14，对于图标的特征提取方法而言，通常用得比较多的有逐像素特征提取方法，骨架特征提取方法，垂直方向数据统计特征提取法等。本论文采用的是逐像素特征提取的方法，根据图像范围提取出特征，分成25个像素，然

15、后匹配对应，从而识别出相应的图标。模式识别(Pattern Recognition)15是人类的一项基本智能，广泛应用于人工智能、机器人、系统控制等领域，在国民经济和社会发展等方面得到广泛应用。数字识别隶属于图像识别，识别的步骤主要有三大步：预处理、特征或基元选择和识别。研究方法有：最小距离法、贝叶斯决策法、BP 神经网络法等等。最小距离法是模式识别中进行识别的最传统的方法，用这种方法进行简单的数字识别其达到的精度是能够满足需求的。最小距离法原理介绍：对一个未知模式x来说，如果将它代入所有决策函数算得di(x)取最大，则x属于第i类。如果对x的值，有di(x)=dj(x)，则得到将类i与类j分

16、开的决策边界。可写成：dij(x)=di(x)-dj(x)（4.1） 9基于视觉传感器的智能小车的标志识别系统这样如果dij(x)0，则模式属于Si；如果dij(x)0，则模式属于Sj。假设每个模式类用一个均值矢量表示： mj=iNjxj=1其中Nj （4.2） 代表Sj的模式个数。对一个未知模式适量进行分类的方法是将这个模式赋给与它最接近的类。如果利用欧式距离来确定接近程度，则问题转化为对距离的测量：Dj(x)=x-mj,j=1,2, ,M （4.3） 其中将x赋给a=(aa)Sir1/2是欧式模。因为最小的距离代表最好的匹配，所以如果Di(x)是最小的距离，则类，可以证明这等价于计算：dj

17、(x)=xmj-r12mjmj,j=1,2 ,Mr （4.4）并且在di(x)给出最大值时将x赋给Si。识别匹配的结果为箭头向上时为数字1，箭头向下时为数字0，箭头向左时为数字4转，圆圈时为数字0。 识别结果如图4.4，4.5所示：图 4.4 原始图像 图 4.5 识别结果Fig 4.4 Original image Fig 4.5 Recognition results4.3 智能小车自主导航的实现接通无线通信模块，打开开关，视频采集卡连接电脑上，打开小车上的开关。运行程序，这是可以在对话框中看到时时传回的照片，如图4.6所示：天津理工大学2011本科优秀毕业设计说明书图 4.6 小车时时识

18、别结果Fig 4.6 Recognition results这时小车识别到相应的箭头就进行行走，箭头向上时小车前进，向下时后退，向左时左转，向右时右转，圆圈时停止。如图所示：Fig 4.7 Forward icon Fig 4.8 Back icon图 4.7 前进的图标 图 4.8 后退的图标图 4.9 左转的图标 图4.10右转的图标Fig 4.9 Turn left icon Fig 4.10 Turn left icon图 4.11 停止的图标Fig 4.11 Stop icon小车就根据预先设定的图标进行行走了,行走规则如下：小车在没有识别到任何图像时小车保持前基于视觉传感器的智能小

19、车的标志识别系统进，当看到前进的图标时继续保持前进，当看到左拐或右拐的图标时，小车再行走1秒，然后再拐弯，当看到圆时小车停止。5 结论本论文是实现基于视觉传感器的智能小车识别系统，通过对摄像头采集来的图像进行处理，然后实现自主漫游。该论文实现的难点有两个方面；1.论文中最主要的部分是对图像进行处理，包括图像的抓取，处理，识别，由于对这块比较陌生，在最初进行时遇到了很多麻烦，查阅了很多相关资料，工作才有了实质的进展，对计算机图像处理这块才有了较为深入的理解。2.由于开发环境我选的是VC+，编程语言用的是C+，由于很长时间没有接触C+,对于编程这块一开始也比较棘手，特别是对于对象的理解，还有对函数

20、的调用，在实际操作中对于怎么调试程序，怎么插入函数都有很好的理解，通过这些对编程有了进一步的学习和认识。最终经过一个多月的调试，学习，机器人最终能够按照预先设定的图标进行运动。对于将来实现机器人的自主探索也是一个小小的尝试。但还有不足的地方，比如小车识别的精度有待提高，受周围环境影响比较大，容易被干扰。参考文献1 张剑平, 夏洪文. 教育机器人：现状与发展, 2006, 92 周新绝.关绮玲编著.机器人.上海：复旦大学出版社.1994:793 金广业.陶兴旺.孙福伟编译.工业机器人与控制.东北工学院出版社，1993：124 李自茂编译.机器人学.四川科学技术出版社.1990:16355 Fre

21、d G. Martin. 机器人探索工程实践指南. 北京：电子工业出版社，2004。86 王宇熙，夏其表. Visual C+ 6.0程序设计实用教程. 2006,77 王祚斌.国内外机器人发展概况.电气自动化.1995(2):64658 刘君华. 智能传感器系统M西安:西安电子科技大学出版社,1999.9 李华. 图像处理技术M . 北京:北京航空航天大学出版社,2004.10 Alan Bradshaw. The UK Security and Fire Fighting Advanced Robot Project.IEEE Int.Conf.on Roboticsand Automation.1991:1411 Sinbu Sagisawa. Advanced Robot for Hazardous Envionment.An Out