【基于机器视觉的搬运系统设计7400字（论文）】

PAGE1基于机器视觉的搬运系统设计目录TOC\o"1-3"\h\u307611绪论 2255881.1课题的研究背景与意义 2151341.2国内外发展状况及研究方向 269581.2.1国外发展状况及研究方向 2273351.2.2国内发展状况及研究方向 329001.3本文研究内容及章节安排 380842系统总体方案设计 4218362.1系统框图设计 4183962.2系统研究的基本要求 424202.3系统研究的基本方法 4191873硬件部分的设计与原理 4123683.1Arduinouno开发板简介 432273.2ATmega328P最小系统原理图 5298903.3机械臂简介和原理 678474系统软件部分设计 7116754.1上位机程序设计 7239264.1.1HSV颜色空间简介 8231784.1.2图像的二值化 8305734.1.3九点标定法 9277984.1.4机械臂运动学 9160625设计系统调试调试 1016396结论 165122参考文献 17摘要：视觉机械臂抓取系统在实际的应用生产中广泛使用。视觉控制系统不仅扩大了机械臂应用场合的范围，而且还使得机械臂的控制更加灵活，使整个系统更加的智能化。本次系统的设计由Arduinouno单片机、视觉传感器摄像头、计算机与机械臂组成。计算机控制视觉传感器采集实时图像，当采集到待抓取物体时，对图像进行处理识别出物体的种类并且求取物体质心的空间坐标。使用串口通讯把坐标数据发送给Arduinouno单片机，由单片机产生数字PWM波对机械臂中伺服电机进行控制，计算机控制摄像头的采像间隔时间。此设计更能贴切真是工业应用生产场景，具有很高的研究价值。本设计具有成本低、稳定性高、运行速度快的优点。经过软件与硬件的共同调试，此系统最终可实现视觉与机械臂的识别、定位与抓取。关键词：单片机；视觉传感器；计算机；机械臂1绪论1.1课题的研究背景与意义随着我国逐步进入工业4.0时代，全球的工业生产装配自动化程度与智能化程度正在快速提高。机器视觉与工业机器人相结合产生的更加智能的视觉工业机器人系统正在大批量的运用于现实的工业生产中。近几年的图像处理与机器学习算法的发展使得机器人在摄像头的的引导下有了识别判断物体的能力。机器视觉在现在现代化工业生产中应用广泛但是目前还存在一些瑕疵。目前的图像处理技术主要是基于图像中矩阵的数学运算与机器学习算法。基于机器视觉的物体搬运系统，能够使机械臂有了“眼”，具有独立判断识别的能力，不仅解放了劳动人们的双手还解放劳动人们的双眼。大大提高了工业生产能力的生产效率，节约了生产成本，大大促进了生产的自动化程度。在大学期间，我才开始真正的了解机器人的结构和控制，过去只是见过但没有接触过，更不太太了解其内部的结论和具体原理，在学了机器人技术等课程后，发现其中有许多的知识吸引着我去探索，学的是控制，也很衷心与控制，把机器人当作是一个控制对象，是应用于生活中最基本的操作，也是值得研究和探索的方向。但是一切研究方向都应该倾向于利民利国，在许多的考虑因素中，比如成本、发展、便利和安全等方面中，安全是最重要的，所以对电机的安全性研究是未来的发展方向，也是有更广阔的研究空间的。学校没有机器视觉的相关课程，但是随着人工智能的浪潮，机器视觉的相关知识对我愈加具有吸引力，在学习了一些关于机器学习与opencv之后，决定一直在机器视觉方向上走下去。1.2国内外发展状况及研究方向近几年来伴随这工4.0的提出与发展，现阶段的工业生产已经进入智能生产化阶段，利用信息化技术促进工业产业变革。在此大发展环境的催促下，视觉控制系统与搬运系统的关联而产生的智能搬运系统已经在各大生产装配车间占据很大的份额。仅仅机器视觉行业近几年的市场规模已经达到100亿美元，而且在疫情之后还有更大的增长空间，此行业具有很大的潜力。1.2.1国外发展状况及研究方向机器视觉是人工智能快速发展的一个分支，是人工智能最先实施落地于具体的工业场景的一个分支。基于机器视觉的搬运系统最早也是在国外开始流行发展，早在上世纪80年代，德国与日本等其他国家就已经把视觉控制系统与搬运系统相结合，在汽车生产装配车间进行工作，大大降低了生产成本且提高了生产效率。近几年在机器学习与深度学习的铺垫下，完整的机器视觉系统开始在市场上打开大门，紧跟着的就是完整的机器视觉框架与软件集相继被开发出来，为机器视觉的落地应用提供了便利与开发环境。其中最具代表性的就是德国的MVtec公司开发的halcon软件，其算法包可以解决现阶段大部分机器视觉生产实施中的问题。可以说，机器视觉在国外的发展已经非常火爆，且应用行业包含了半导体、电子、计算机以及相关外部设备、制药、包装、印刷等诸多领域。现在国外的研究方向主要是机器视觉应用在半导体、芯片行业的检测与测量工作，意在提高机器视觉的精度与快速性。1.2.2国内发展状况及研究方向由于我国没有经历第二次、第三次工业革命的洗礼，所以我国的工业生产制造与现代快速发展的人工智能都远远落后与西方发达国家。国外的人工智能行业发展于上世纪七十年代，我国的人工智能行业的大发展也就从2010年左右开始。以此我国已经落后了将近40年的时间。国外的机器人大批量进入工业生产场景是上世纪七八十年代，我国的机器人大批量进入工业生产场景是在本世纪初，相较于国外落后了一大步。在进入21世纪以来，无论是工业生产上面还是医疗用品，农业装备等很多方面都出现了机械臂的使用，机械臂为现在的生活生产各方各面都提供了方便。因此机械臂得到快速的发展。根据近几年的有关报道的表明，同比去年相比今年的增长率可以达到35%左右，而且其中更为突出的是中国的工业在机械臂的方面，相比去年与增长了大概有45%左右。中国作为世界上最大的发展中国家，在机械臂应用方面尤为的突出，因此中国自动化生产已经涉及我们国家国民生产的各方各面，机械臂在中国发展的特别好，因此机械臂的前景在中国是非常好的。世界上的那些以美国为首的发达国家及以中国为首的发展中国家都争先恐后的去发展现代化智能的机械臂技术，这将得机械臂的进入了人们的日常的生活。但是随着我国逐步进入工业4.0时代，我国对人工智能与机器人的研究也进入了火热的时代。人工智能已经在我国成为时尚的代名词，人工智能行业在我国的市场规模更是有明显的提高。作为人工智能最早落地于工业生产制造环节的机器视觉更是首当其冲的迎来了快速发展的春潮。现阶段我国的机器视觉已经涉及了我们工业生产、日常生活、医药、教育等诸多行业。在工业领域，机器视觉以及逐渐代替了人们的眼睛，人眼能够做到的事情，机器视觉能做的更好，而且不知疲劳。近几年机器人与视觉的结合，让我国的工业生产自动化程度与智能化程度有了明显的提高。机器人解放了工人们的手与脚，机器视觉也就替代了工人们的眼睛，我相信随着人工智能算法的发展，计算机会代替我们人类简单的思维构想，更加的智能化。我们不妨设想一下，当我们走进生产装配车间，发现在流水线旁工作的全是智能化的机器人在无限制的每天24小时工作，这种作业效率是多么惊叹啊。1.3本文研究内容及章节安排本次设计通过使用opencv开源的跨平台计算机视觉与机器视觉算法库，运用python编程语言，控制计算机调用摄像头进行图像采集，然后把采集之后的图像进行处理，识别出目标物体的颜色种类与质心的像素坐标，然后通过机械手与相机之间的标定关系，把像素坐标转化为机械臂底座的空间坐标，然后通过串口通讯数据给Arduinouno单片机通过机械臂的空间逆运动学算法控制伺服电机的旋转角度，对目标物体进行抓取，并且摆放到不同的指定位置，以此来模拟现实工业生产中的搬运系统。使用Pycharm与ArduinoIDE软件进行编译调试运行，最终做出实物。本次设计各个章节的安排如下：第1章为绪论，重点阐述了基于机器视觉的搬运系统设计的背景与意义，分别分析了国内与国外的发展状况与研究方向，并对本文内容做了简要叙述；第2章为系统的总体设计方案，主要设计了系统结构图，介绍了研究的基本要求和研究方法；第3章为介绍硬件部分的设计及原理；第4章为系统软件部分设计；第5章为设计系统调试部分；2系统总体方案设计2.1系统框图设计本设计主要由视觉传感器(相机)、个人计算机、Arduinouno单片机、机械臂四部分组成，最主要的是个人计算机对采集到的图像处理部分与机械臂的控制部分。系统框图如图2-1所示。图2-1系统结构图本次系统设计是上位机与下位机相结合的一次完整实现。上位机部分是完成的功能是图像的采集、图像的处理与检测、图像中物体的像素坐标、图像中物体的世界坐标、机械臂逆运动学算法；下位机主要完成的是对各个伺服电机的PWM波的控制来控制机械臂每个舵机的旋转角度进而实现对物体的抓取。2.2系统研究的基本要求（1）识别出所检测物体的类别。（2）学习与理解手眼标定中的九点标定法。（3）检测出物体的实际世界坐标位置。（4）理解与运用机械臂逆运动学算法。（5）控制机械臂精准抓取物体。2.3系统研究的基本方法通过opencv算法库，通过图像的HSV颜色空间把图像进行分类，再通过二值化、滤波、轮廓检测、定位等方法对图像进行处理。通过串口通信把数据发送给Arduinouno，然后通过并行控制的方法控制机械臂的四个伺服电机的旋转角度。机械臂的最大与最小抓取范围通过机械臂本身的D-H参数来限制，伺服电机的旋转角度通过机械臂的逆运动学算法来计算出来。3硬件部分的设计与原理3.1Arduinouno开发板简介ArduinoUNO是基于ATmega328P的Arduino开发板。此开发板有开源的，资源很丰富，并且性能良好。它有14输入或者输出引脚，其中3、5、6、9、10、11引脚是数字PWM波的输出引脚，A0、A1、A2、A3、A4、A5是模拟输入引脚。本次设计主要用到了数字PWM波输出引脚，这次设计用到的机械臂有四个伺服电机，分别接到3、5、6、9引脚上进行控制。\"Uno\"在意大利语中意思是“一”。ArduinoUNO是Arduino系列的一号开发板，ArduinoIDE1.0是ArduinoIDE的第一个正式版本，如图3-1所示。图3-1arduinouno开发板Arduinouno开发板可通过ArduinoIDE直接进行编程，Arduinouno使用ATmega328芯片，存储有bootloader程序，用户可以上传程序到开发板上，ArduinoIDE编程使用的是JAVA和C语言，但是也支持其他编程语言进行编写，只要安装了对应的拓展包就行。ArduinoIDE随人在审美上有点不尽人意，但是功能强大、UI界面简单明了而且是免费开源的软件。3.2ATmega328P最小系统原理图ATmega328有32KBFlash存储空间，其中0.5KB被用于存储bootloader，2KB的SRAM和1KB的EEPROM，如图3-2所示。图3-2Arduinouno端口与ATmega328P引脚对应图ATmega328提供了UARTTTL(5V)串口通信，其位于0(RX)和1(TX)两个引脚上。Uno上的RX\TX两个LED可以指示当前Uno的通信状态。ATmega328也支持I2C(TWI)和SP信。3.3机械臂简介和原理机械臂图片如图3-3所示。图3-3机械臂结构图一个完整的机械臂，其动力源泉都是来源于舵机，舵机是我们平常叫的俗名，舵机的学名叫伺服电机，也是一个集成好的电机，其[4]内部有一个直流电动机、齿轮结构、还有一个集成电路板。之所以能够[5]控制舵机的运行，其主要就在这块电路板上面，它能够根据单片机给出的信号，控制直流电机转动的角度，然后判断直流电机当前的位置等信息，齿轮结构作用也是非常大的，主要是向外输出，直流电动机加入齿轮后封装完输出的力量比较大，然后角度会较小很多，所以一般舵机运行的角度都在0-270度左右。本次设计用到的机械臂是本人购买零部件自己搭建的机械臂，虽然精度不高但是成本很低，机械臂的大部分功能都可以实现。本次设计用到的是三自由度机械臂，机械臂由基座、连杆、末端机械爪以及四个伺服电机组。伺服电机使用的是MG996R型号的，此种伺服电机的控制基于单片机的数字PWM波控制，具有精度高、使用方便、体积小、价格便宜等优点。4系统软件部分设计4.1上位机程序设计视觉传感器通过USB端口直接与个人计算机相接，直接通过计算机进行控制。上位机程序使用的是Python编程语言，python作为一门解释型语言它天生具有跨平台的特征，只要为平台提供python语言解释器，python就可以在该平台上运行。本次的程序全部是在Linux系统上完成的，Linux系统上自带python解释器这就很方便。只需在Linux系统上安装ArduinoIDE就可以完成此次设计的大部分工作。Python与ArduinoIDE都是开源免费的，资源很丰富，社区更是多种多样。Python因其简单、易学、免费、开源、可移植性强、高层语言的特性，在当下很是火热，涉及的领域更是广泛，这也是我们本次使用python编程语言的原因。计算机控制视觉传感器实时采集图像，通过opencv算法库，通过图像的HSV颜色空间把图像进行分类，再通过二值化、滤波、轮廓检测、定位等方法对图像进行处理。然后把数据通过串口通讯的方法发送给Arduinouno。其流程图如图4-1所示。图4-1上位机程序流程图

4.1.1HSV颜色空间简介我相信在大多数人们的眼中最熟悉接触最多的颜色空间应该是RGB，这种颜色空间遍布我们生活的滴滴点点。但是在机器视觉图像处理领域，RGB的表现有点不尽人意。在自然环境下，图像的颜色表达容易受到自然光的影响，光线的亮暗都会对RGB颜色的数值有一定的影响，这是对图像处理极其不利的因素。本次设计使用到的是HSV颜色空间，相比较于RGB颜色空间，它更接近人们眼睛的视觉感知，更加的直观，颜色对比度更加明显。HSV颜色空间表达彩色图像由三部分组成，分别是Hue、Saturation、Value，Hue代表的是色调，Saturation代表的是饱和度，Value代表的是明度。色调的取值范围是由角度来衡量的是0-360；饱和度的取值范围是0%-100%，数值越大颜色饱和度越强，它表示的是接近光谱色的程度；明度的取值范围是0%-100%，它表示的是颜色明亮的程度。HSV颜色空间模型如图4-1-1所示。图4-1-1HSV颜色空间模型图4.1.2图像的二值化众所周知，一张图像实际上是由像素点构成的，每一个像素点的值都在0-255之间，图像的二值化就是将图像的像素点的灰度值设置成0或者255，这样的处理不仅可以使得图像占用的内存减小，而且可以使得图像中的目标物体与图像中的背景有较为明显的分割。你可以这样理解，比如你要检测的物体是一个红色的，图像的二值化处理就是将图像中红色的像素点全部转化为255，而除红色以外的像素点就是背景，是干扰因素就会全部转化为0，以此红色物体就会从背景中分离出来，并且显示较为明显的轮廓。4.1.3九点标定法现有的视觉传感器畸变比较小而且精度较高，所以使用九点标定法来标定视觉机械臂是完全可行的。本次设计不考虑识别物体的姿态，仅仅考虑物体的空间定位。使用九点标定法的原理可以理解为矩阵的求解，即AX=B这个方程，其中A矩阵代表的是像素坐标，B矩阵代表的机械臂坐标，以此来求解X矩阵，X矩阵就是我们要求的的变换矩阵。想要完成九点标定，需要标定板，本次设计的标定板为圆形标定板，如图4-1-3所示。图4-1-3标定板九点标定法的一般步骤：视觉传感器放置在标定板的正上方，求出标定板中九个圆形的质心的像素坐标。将机械臂的末端执行器分别放置到这九个圆的圆心出，记录这九个圆的圆心的机械臂坐标。将以上两个步骤所得到的两个点集带入到AX=B方程中求出矩阵X。九点标定法所要注意的是，视觉传感器即摄像头的高度一旦固定就不能改变，机械臂的位置一旦固定也不能改变，如果改变，所求得的结果会出现错误。4.1.4机械臂运动学如果你想控制机械臂到达空间位置中一个特定的点，就要求解出机械臂中每个伺服电机的旋转角度，这就要求我们对机械臂运动学的知识进行学习。机械臂的运动学包括正向运动学与逆向运动学。正向运动学解决的问题是知道每一个伺服电机的旋转角度，求出机械臂末端执行器在坐标系下的位姿，一般来讲正向运动学比较容易求解出来，而且解是唯一的，一组伺服电机的角度对应唯一的位姿；逆向运动学解决的问题是知道机械臂末端执行器的位姿求解出各个机械臂关节的角度，一般来讲机械臂逆向运动学比较困难，而且求取的解可以是多个或一个也可以是无解。5设计系统调试本次系统设计的程序的编写使用的是python语言，开发环境是Linux下的pycharm。首先我们调用摄像头读取图像，如图5-1所示，然后使用把读取的图像根据HSV颜色空间的不同把图像二值化，使得图像的目标物体与背景完全分割开，效果如图5-2所示。图5-1读取图像图5-2图像二值化经过以上操作后，我们可以识别出图像中的物体且无背景的干扰，然后根据目标物体的形状是正方形可以求出物体的像素坐标也就是物体质心的像素坐标，如图5-3所示，然后程序把坐标打印出来，如图2-3所示。图5-3定位目标物的质心图5-4目标物质心像素坐标到此我们已经可以获取目标物体的质心像素坐标，然后开始用九点标定法求取像素坐标与坐标系坐标之间的转换矩阵，由于相机质量不高且没有平行光源的原因，本次设计使用的标定板不是圆形标定板而是黑白方格标定板，用此标定板获得的是黑白方格相交的交点的像素坐标，如图5-5所示，本次系统只需用到9个坐标，我们从这么多坐标中选取呈Z字形的九个坐标点即可，如图5-6所示。图5-5获取标定板方格角点坐标图5-6标定板角点坐标经过矩阵运算后获取转换矩阵，当我们把一个黄色方块放到机械臂可抓取范围内时，系统会把转化之后的坐标系坐标发送给Arduino开发板，然后控制机械臂抓取黄色方块摆放到机械臂的右侧，如图5-7，5-8所示。当我们把一个紫色方块放到机械臂可抓取范围内时，系统会把转化后的坐标发送给开发板然后控制机械臂抓取并摆放到机械臂的左侧区域，如图5-9和5-10所示。图5-7机械臂抓取黄色方块图5-8机械臂放置黄色方块图5-9机械臂抓取紫色方块图5-10机械臂放置紫色方块结论通过opencv算法库根据不同颜色的HSV颜色空间不同可对不同颜色的目标进行分类与识别，通过二值化算法使目标与背景进行分割，再通过轮廓检测算法寻找到目标物体的轮廓，进而找到物体的质心像素坐标。这几种算法都可通过opencv算法库实现。之后通过九点标定得到的转化矩阵可实现像