机器视觉实验报告

1、研 究 生 课 程 论 文 机器视觉应用实验报告 提交日期： 学号 学院机械与汽车工程学院课程编号课程名称机器视觉应用学位类别工程硕士任课教师 教师评语：成绩评定：分任课教师签名：年月日机器视觉应用实验报告 姓 名 学 号 院 系 专 业仪器仪表工程 指导教师 华南理工大学实验报告课程名称：机器视觉应用机械与汽车工程学院系仪器仪表工程专业姓名廖帆实验名称机器视觉应用实验日期 指导老师 一、 实验目的自行搭建机器视觉测量系统，采集标定板、工件图像，利用图像处理软件进行标定、工件尺寸测量、工件缺陷检测。主要目的有：1、根据被测工件，搭建机器视觉测量系统，选择成像系统软件，进行图像采集等实验。掌握常

2、规机器视觉测量原理、实验平台搭建、图像采集步骤；2、掌握成像系统软件常用操作，能够对图像进行简单处理，并编写简单相关程序尺寸测量、缺陷检测判定；3、对测量结果进行误差分析，进一步加深理解机器视觉测量过程中的关键因素。二、 实验原理机器视觉主要是利用机器实现代替人眼来做测量和判断等目的，因此机器视觉可以看作是使用计算机及相关设备对生物视觉的一种模拟。该实验就是通过对选取的工件进行图像采集和图像分析处理以获得所需物体的尺寸、缺陷等信息，一个典型的机器视觉系统包括：相机(包括coms相机和ccd相机)、光源、镜头、图像获取单元（图像采集卡等）、显示器、图像处理软件、通讯设备、输入输出单元等。本次实验

3、借助halcon机器视觉软件，它是德国mvtec公司开发的一套完善的标准的机器视觉算法包，拥有应用广泛的机器视觉集成开发环境，在欧洲以及日本的工业界已经是公认具有最佳效能的machinevision软件。它源自学术界，是一套图像处理库，由一千多个各自独立的函数，以及底层的数据管理核心构成。其中包含了各类滤波、色彩分析以及几何、数学变换、形态学计算分析、校正、分类、辨识、形状搜索等等基本的几何以及图像计算功能。halcon支持windows，linux和macos x操作环境，函数库可以用c，c+，c#，visual basic和delphi等多种普通编程语言开发，为工业检测上提供了高速、高精度

4、、强有力的方法。本实验包括对被测工件进行圆孔中心尺寸测量、工件螺母焊接位置缺陷检测。本次实验基于halcon平台，工件圆孔中心尺寸测量涉及roi、特征提取（圆）、外接圆形算法，在传统边缘检测方法里，基于一阶导数的边缘检测算子有robert算子、sobel算子、prewitt算子、canny算子等；工件螺母焊接正反位置缺陷检测涉及阈值处理、特征提取。三、 实验器材光源：背光源，面光源硬件：mer-500-7um相机、相机架、标定板（4848mm）、计算机，焦距12mm、最大光圈1.4的镜头一个软件：daheng mer-series viewer(x64)驱动、halcon工件：ok件、缺陷件地

5、点：暗室四、 实验内容1. 实验内容：(1) 根据所检测的内容分析所需的光源；(2) 根据工件尺寸、光源等搭建视觉系统平台(3) 标定板制作；(4) 采集标定板和工件图像；(5) 本次实验利用halcon软件进行相机标定；(6) 利用halcon软件对工件进行缺陷判定，并测量中心圆孔的尺寸2. 待测对象描述：本实验的试验工件为冲压件，缺陷检测为工件的螺母是否焊反，即参照ok件检测工件的螺母位置是否焊反。工件如图所示：图4.13、初步拟定方案 通过阅读图像，可知道，若是ok件，从指定面可观察到两个焊接的螺母，若是缺陷件，即螺母焊反的工件，在指定面观察的话没有焊接螺母，因此拟采用阈值法对所采集到的

6、图像进行处理。至于中心圆孔的尺寸测量可以将工件放置在背光源之上，背面打光即可获得质量较好的图像。五、 实验步骤1. 相机选择：工件尺寸为80mm*116mm，要求最小误差为0.5mm，现在假设将最小的理论像素值定为0.05mm，计算相机分辨率的公式为：所以相机分辨率要大于1600*2320。大恒mer-500-7um相机分辨率为1944*2592，所以该相机可以满足要求。2. 镜头选择：拍摄最小工作距离定为80mm，cmos传感器尺寸为2.9mm*2.9mm*2.9mm。所以焦距大于4.87即可,而我所采用的镜头焦距为12mm，因此镜头满足要求。3. 根据现场环境及工件尺寸大小，选择合适的机架

7、安放地点和支架的高度。 4.利用扳手等工具，将三脚架、相机和镜头组装好。其中尽量保持相机镜头的中心线与测量平面(底面)垂直；5. 启动计算机，打开大恒图像采集软件。通过usb线将相机与计算机连接。6. 在测量平面上放置白色背景(白纸)，将标定板放在白色背景上，调整标定板的位置，使得标定板完全落在相机视场内部，转动相机的对焦环，使图像清晰，可局部放大观察对焦是否满足要求。在图像采集软件的界面中操作，保存所得图像到计算机中。7.改变标定板的位置，重复步骤4，直至完成16次标定板图像采集工作，采集得到标定板图像如图5.1所示。图 5.18.保持相机物距不变，放置好待测工件，打开背光源，得到工件图像。

8、实验装置如图5.2所示图5.29.利用halcon软件编写工件的冲压件圆孔检测流程如图5.3所示。图5.310重新搭建实验平台进行工件缺陷检测，搭建试验平台如图5.4所示。图5.411在搭建好实验平台之后，先采集ok件的图像，作为匹配标准，之后采集缺陷件的图像。12利用halcon软件编写工件冲压件的缺陷检测流程如图5.5所示。图5.513整理实验器材六、数据记录1 标定板制作(30*30mm)1) 打开halcon软件，输入gen_caltab()，填入对应参数。2) 将生成的.ps文件转换成为pdf格式，并彩印出。3) 将彩印出的标定纸粘贴至一定厚度的平板上固定，制成标定板。2 摄像机标定

9、利用拍摄到的标定板图像进行标定。1) 打开halcon软件；2) 点击“助手”“打开新的calibration”创建新的calibration，加载描述文件（注意文件路径不含中文字符），设置标定板厚度是2.46mm，单个像元的宽和高都是2.2um，焦距12um，如图6.2.1所示；图 6.2.1图6.2.23) 加载标定板图像，如图6.2.2所示，(注意文件路径不能够包含中文字符，默认为软件图片所在文件夹)只要“状态”中没有出现“错误”字样，说明该标定板图片可以使用。如果出现了“错误”提示，将对应的图片移除即可；4) 点击“标定”，得到对应相机的内外参数，如图6.2.3所示；图6.2.35)

10、点击图6.2.3中的“代码生成”，并插入代码。3. 圆孔尺寸测量1) 加载工件标准工件原始图像,将图像直接拖入helcon图形窗口。2) 进行亚像素边缘提取，结果如图6.3.1所示。edges_sub_pix(image00, edges, canny, 1, 20, 40)3) 对获得图像进行轮廓连接处理，结果如图6.3.2所示。union_adjacent_contours_xld(edges, unioncontours, 10, 1, attr_keep)4) 选取需要的圆孔轮廓，结果如图6.3.3所示。sort_contours_xld(unioncontours, sortedco

11、ntours, upper_left, true, row)select_obj(sortedcontours, objectselected, 3)5) 求取轮廓的最小闭合圆。smallest_circle_xld(objectselected, row, column, radius)6) 将相机坐标系转换为世界坐标系，获取圆心等参数的世界坐标系坐标，结果如图6.3.4所示。对应算子为：contour_to_world_plane_xld (objectselected, contourstrans, cameraparameters, camerapose, mm)图6.3.1图6.3.

12、2图6.3.3图6.3.44. 冲压件螺母焊接正反的判断1) 加载工件原始图像,将图像直接拖入helcon图形窗口。2) 提取感兴趣区域roi，点击“编辑roi：roi”“绘制感兴趣区域”“插入代码”，如图6.4.1所示。对应算子为： gen_circle (roi_0, 312.7, 364.643, 200.81) gen_circle (roi_0, 312.7, 364.643, 200.81) gen_circle (tmp_region, 1236.1, 2257.21, 180.291) union2 (roi_0, tmp_region, roi_0) reduce_domai

13、n(image1, roi_0, imagereduced)3) 对roi图像进行阈值处理，结果如图6.4.2所示。对应算子为：threshold (imagereduced, regions, 53, 237)4）对上述的结果滤除其它噪声。对应算子为：dilation_circle(regions, regiondilation, 3.5)connection (regiondilation, connectedregions)select_shape(connectedregions, selectedregions, area, and, 8000, 99999)5）统计当前图像中获得的

14、螺母数，作为后续判断的依据。对应算子为：count_obj(selectedregions, number)6）对结果进行匹配判断，并显示结果。结果如图6.4.3所示。6.4.3a)是螺母没有焊反的判断结果，6.4.3b)是螺母焊反的判断结果。对应算子为：dev_clear_window()dev_display(image1)wait_seconds(1)dev_display(selectedregions)if(number =2)disp_message (windowhandle, 螺母没有焊反, window, 10, 10, black, true) elsedisp_messa

15、ge (windowhandle, 螺母焊反, window, 10, 10, black, true) endifwait_seconds(3)图6.4.1图6.4.2a) b)图6.4.3七、误差分析：(1) 图像采集时，工件未放置于相机的成像中心，图像产生畸变；(2) 采用的面光源光强不均匀、且亮度不够；(3) 编写的算法中参数选取采用的是近似选取，无法达到的完美的效果，因此必然存在一定的偏差；(4) 工件轮廓磨损生锈，分辨率不高，导致边缘提取的精度不高；(5) 标定板有细微折痕，影响标定；(6) 没有夹具，导致光源位置无法固定，工件打光会受到影响。八、实验结论通过实验可以知道，halc

16、on作为一门商业化的图像处理软件，它十分容易上手，而且将各种图像处理代码封装等级很高，用户只需修改其中参数就可以达到自己想要的效果。作为工程应用，halcon确实很优秀，但是如果是要从事于图像处理软件开发，则应该透过现象看本质，即汲取halcon的优点，结合实际需要开发出自己的图像处理软件。除此之外，这门课程的学时是32学时，在前面都是学习理论知识，在完成理论学习之后，再相应地进行实验可以将所学的应用到实验当中，从方案的确定到实验顺利完成，这其中每一步都是理论与实际的结合，可以让我们初步掌握机器视觉的应用。也让我明白机器视觉是一门系统性、实用性很强的学科，要想学好机器视觉，必须能够静下心来、全

17、心全意的投入进去，这是一个漫长的时间旅程。本次实验中，自己较好地完成了实验的要求，达到了实验的目的，实现了工件的检测要求，初步了解和掌握了机器视觉的操作流程与软件后续处理的方法。机器视觉应用课程考核题1. 请阐述机器视觉中通过物体在平面图像上的坐标获得物体空间三维位置的原理。（10分）答：机器视觉中通过物体在平面图象上的坐标获取物体空间三维位置的方法主要有双目立体视觉测量以及结构光三维视觉测量。其中双目立体视觉是基于视差，根据三角法原理进行三维信息的获取，即由两个摄像机的图像平面（或者是单个摄像机在不同位置的图像平面）和被测物体之间构成一个三角形。两格摄像机之间的位置关系是已知的，因此便可以获

18、取两摄像机公共视场内物体的三维尺寸以及空间物体特征点的三维坐标。图1为双目立体视觉原理图，由图根据上述原理，即可获得物体的三维坐标：结构光三维测量原理与双目立体视觉测量原理相同，不同之处在于结构光是用光学投射器代替其中的一个摄像机，光学投射器投射出一定的光模式，如光平面、十字光平面网格状光束等，对场景对象在空间位置进行约束，进而获取场景对象上点的唯一坐标值。其原理图如图2所示：图22. 请通过至少查阅2篇近5年的相关文献，阐述2种有关三维物体几何测量的机器视觉技术（或者机器人搬运三维物体的视觉引导技术、或者运动物体跟踪方面的机器视觉技术）。（不少于1200字，20分）基于机器视觉的运动物体跟踪

19、技术运动目标检测与跟踪技术是计算机视觉、图像处理、模式识别领域的重要研究课题，在军事、安全监控、交通控制、产品检测、医学图像分析等领域有着广泛的应用，有着重要的应用价值和广阔的发展前景。但是运动物体跟踪技术使用的环境复杂多样，又没有固定的规律可循，而检测的准确性和跟踪的可靠性是运动物体目标检测和跟踪技术研究的核心。本文的目的就是查阅相关文献对基于机器视觉的运动物体跟踪技术进行简单地阐述。运动视觉分析的一个基本条件是需要知道物体对应点或特征点在图像平面上的位置信息，因此，与立体视觉类似，在动态图像分析中也需要解决对应点的匹配问题。因此也有人认为立体视觉其实可以看作一个静止的世界和摄像机获取图像时

20、其位置移动的运动问题。运动物体跟踪技术包括运动检测和运动跟踪。运动目标的检测与跟踪是指对图像序列中的运动目标进行检测、提取和跟踪，以获得运动目标的运动参数，如目标质心位置、速度、加速度以及运动轨迹。目标检测与目标跟踪相互关联。运动目标的检测与跟踪包括目标的检测、目标的特征提取、目标的跟踪等几个阶段。这几个阶段没有固定的先后次序。在现有算法中，有先检测再跟踪、边检测边跟踪，以及利用跟踪模型进行检测等几种方式。目标检测和特征提取需要一定的先验知识，所以与图像获取的环境有很大关系，要根据不同的应用场合进行设计。目标跟踪可以认为是在已知目标初始状态或已得到目标特征表示的基础上，进行时间空间相结合的目标

21、状态估计。目标检测和跟踪算法本身的复杂性和应用环境的复杂性，使得这一研究领域主要针对特定的应用来进行设计，所以针对某一应用的特定算法应用于其他问题可能根本没有效果。目前运动检测的方法主要有：背景差分法、帧间差分法和光流法。背景差分法是利用当前图像与背景图像差分，并阈值化来检测运动物体，是分割运动图像目前最常用的一种方法，但是它对背景环境要求比较苛刻。帧间差分法是对连续两帧的视频图像进行相减得到一幅差分图像，然后在差分图像上检测运动变化区域，根据变化区域的灰度信息恢复原来的运动目标，算法复杂程度低，但因其往往无法检测出目标的完整区域，只能提取部分边界值。光流法基本思想是在空间中，运动可以用运动场

22、描述，而在一个图像平面上，物体的运动往往是通过图像序列中不同图像灰度分布的不同体现的，从而，空间中的运动场转移到图像上就表示为光流场。光流场反映了图像上每一点的灰度变化趋势，可看成是带有灰度的像素点在图像平面上运动而产生的瞬时速度场，这也是对真实运动场的近似估计，在比较理想的情况下，它能够检测独立运动的对象，不需要预先知道场景的任何信息，可以很精确地计算出运动物体的速度，并且可用于摄像机运动的情况，但是它的缺点是计算复杂，抗噪性差。运动目标跟踪技术就是利用目标的特征，使用适当的匹配算法，在图像序列中寻找与目标模板相似的目标并进行定位目标，目标跟踪中的主要工作就是选择好的目标特征和采用适当的搜索匹配算法。常用的目标特征包括：视觉特征（图像的色彩、边缘、轮廓、形状、纹理、面积等）、统计特征（直方图、各种矩）、变换系数特征（傅立叶描绘算子、自回归模型）、代数特征（图像奇异值的分解）等。从目标跟踪的依据来看，现有的目标跟踪算法可以分为基于先验知识和非先验知识两大类，基于先验知识的方法通过建立目标匹配模板库来实现对目标的匹配，基于非先验知识的方法通过学习训练的方法建立自适应模板来对目标进行匹配。从跟踪的侧