《智能视觉技术及应用》课件第10章

第10章智能视觉开发平台10.1智能视觉技术的主要应用10.2智能视觉开发平台本章小结

10.1智能视觉技术的主要应用

10.1.1定位引导基于机器视觉的机器人引导技术是机器视觉技术、机器人控制技术相结合产生的新型技术,通过视觉技术对机器人进行引导,使机器人在完成产品的抓取、工件的装配等任务时具有灵活性,同时免除了昂贵的精密夹具等特殊装置。基于机器视觉的工业机器人定位抓取技术在工业中具有非常高的应用价值,一方面降低了工业生产的成本,同时也提高了生产效率。

基于机器视觉的工业机器人引导技术主要应用于产品组装、零件分拣和自动焊接或点胶等任务中。基于机器视觉的工业机器人通过摄像头和机器人的手臂可以完成高难度的组

装工作,工人在组装产品之前可以先将产品零件的大小和尺寸输入到系统当中,系统会自动将数据信息存储。在组装时,系统通过摄像机来识别对应的零件,然后通过机器人的手臂来定位抓取零件,从而完成组装工作。基于机器视觉的工业机器人还可以通过一系列步骤来完成零件分拣工作。首

先利用摄像机拍摄零件,然后将图像传输至系统中,再通过图像处理技术来处理图像,从而提取图像中的信息。系统会自动将零件分拣到不同位置,并且会把形状不完整的零件当作废件处理,有效地提高了分拣的效率。基于机器视觉的工业机器人也可以通过准确定位图像中的目标来引导机械臂对目标进行精确的操作,其可应用于流水线的静态和动态目标识别场景,可以适应各类不同形状和光照条件下的视觉定位需求,图10-1为机器人引导系统框架。图10-1机器人引导系统框架

如图10-2所示,机器人引导系统一般由相机、光源、平台、机械臂以及控制分析系统组成,通过相机捕获平台上的目标物体,经控制分析系统分析后发出控制信号,引导机械手进行精确对位。视觉引导系统框架如图10-1所示,在进行引导任务时,通过相机获取目标物体图像,进行物体搜索;确定物体位置后,系统需要先对机械臂进行路径规划,最终定位到目标物体。图10-2机器人引导系统

10.1.2字符识别

字符识别是模式识别的一种,模式识别是指对表征事物或现象的各种形式的(数值的、文字的和逻辑关系的)信息进行处理和分析,并对事物或现象进行描述、辨认、分类和解释的过程。

如图10-3所示,图片表面上的字符包括大小写英文字母、数字,它们的组合可以存储不同的信息,用于标记或区分产品。为了保证字符印刷的准确性,字符识别在工业应用中尤为重要。图10-3待识别的字符图像

字符识别的过程包括两个步骤:一是将图像中识别区域的单个字符分割出来;二是将分割得到的字符进行分类,得到对应的符号标记。字符识别首先是生成字符模板,提取字符模板特征,再对分割到的单个字符进行识别。对字符识别的方法通常有模板匹配、聚类、神经网络以及支持向量机等。图10-4为字符识别步骤的基本流程图。图10-5是一个简单的字符识别例子。图10-4字符识别步骤的基本流程图图10-5字符识别

10.1.3颜色检测

传统的机器视觉系统大部分是基于灰度图像进行图像处理,如果检测颜色则需要选择彩色相机,因为彩色相机可以还原物体的真实色彩。彩色图像的颜色模型有很多种形式,如RGB、YUV、HSV、CMYK,其中在图像处理中以RGB最为直观,而HSV更符合人眼的颜色分辨规律,颜色检测通常在HSV颜色空间下进行。H(色调)用角度度量,取值范围为0°~360°,从红色开始按逆时针方向计算,红色为0°,绿色为120°,蓝色为240°;它们的补色是黄色为60°,青色为180°,品红为300°。S(饱和度)的取值范围为0~255。V(亮度)的取值范围为0(黑色)~255(白色)。图10-6为HSV颜色空间。图10-6HSV颜色空间

图10-7为颜色检测基本流程图。对于颜色检测系统,首先需要通过彩色相机捕获物体图像,将彩色图像转化到灰度图像做特征定位,定位到检测区域后在原图像上做颜色处理。一般的颜色处理会在HSV颜色空间内进行。若相机的输出为RGB颜色空间还需要进行RGB到HSV颜色空间的转换,再从颜色空间中抽取某个特征颜色进行进一步的分析。图10-7颜色检测的基本流程图

10.1.4尺寸测量

基于机器视觉的尺寸测量方法具有成本低、精度高、安装简易等优点,其非接触性、实时性、灵活性和精确性等特点可以有效地解决传统检测方法存在的问题。另外,基于机器视觉的尺寸测量方法不但可以获得尺寸参数,还可以根据测量结果及时给出反馈信息,修正加工参数。尺寸测量可以用于检测零件的各种尺寸,如长度、圆、角度等。图10-8为尺寸测量的基本流程图。图10-8尺寸测量的基本流程图

10.1.5缺陷检测

产品缺陷检测方法可以分为三种。

第一种是人工检测法,这种方法不仅成本高,而且在对微小缺陷进行判别时,难以达到所需要的精度和速度,还存在劳动强度大、检测标准一致性差等缺点。

第二种是机械装置接触检测法,这种方法虽然在质量上能满足生产的需要,但存在检测设备价格高、灵活性差、速度慢等缺点。

第三种是机器视觉检测法,即利用图像处理和分析对产品可能存在的缺陷进行检测,这种方法采用非接触的工作方式,安装灵活,测量精度和速度都比较高。

机器视觉缺陷检测软件通过对目标表面图像进行预处理,并与标准图像对比,找到其中存在的缺陷,然后识别并判断缺陷种类和严重程度,对产品进行分类分级处理。图10-9是利用机器视觉技术完成对工业产品中的一些常见缺陷检测实例,缺陷类型包括纺织品上的缺经、脏污缺陷和铸件上的划痕缺陷等。图10-9缺陷检测实例

10.2智能视觉开发平台10.2.1智能视觉开发平台的分类智能视觉开发平台可分为单任务的专用开发平台和集成式通用组态开发平台。单任务的专用开发平台是专门针对具体应用研制开发的,应用的待测目标已知,根据待测目标的特性以及检测目标,针对性地进行开发。集成式通用组态开发平台基于视觉库,将众多通用的图像处理算法二次开发成工具库,并向用户提供一个开放的通用平台,用户可以在这个平台上组合自己需要的处理工具,配置处理流程,快速灵活地通过组态实现一个具体的视觉检测任务。

1.单任务的专用开发平台

单任务的专用开发平台的算法实现一般都基于市场上已有的视觉库。视觉库用于将一些常用的图像处理算法编制成函数库。这类开发平台需要开发者根据检测任务调用视觉库中所需的函数,完成检测任务,最终开发出适合某一特定任务的应用。每个应用都需要重新开发算法,开发周期长,不具有通用性。

2.集成式通用组态开发平台

集成式通用组态开发平台的工具库具有流程化和模块化的设计特点,用户可以根据平台提供的各种预处理、定位、测量、计数等工具,对测试图像处理流程进行自定义组合配

置,快速完成所需要的检测任务,开发周期短,通用性强。

10.2.2VisionBank智能视觉开发平台

VisionBank智能视觉开发平台是一个智能化的机器视觉项目开发平台,内置了大量的图像处理工具,用户开发全新机器视觉项目时只需要灵活配置平台上的不同图像处理工具

就可以设计各种不同检测要求的视觉项目。

VisionBank与同类开发平台相比具有以下几个特点:

(1)内容丰富,并且在持续扩展中;

(2)高度集成化,基于各种使用场景抽象集成得到;

(3)运行速度快,算法速度进行了深入优化;

(4)算法模块之间可关联,流程中后面的模块可使用前面模块的计算结果作为输入或者确定处理区域;

(5)对于高级用户,支持自定义相机和I/O卡、自定义运行界面和自定义通讯;

(6)使用简单,易于操作。

VisionBank的应用领域如图10-10所示。图10-10-VisionBank的应用领域

基于VisionBank的机器视觉项目开发流程如图10-11所示。图10-11VisionBank开发流程

1.图像采集

VisionBank的图像采集模块支持读取本地图像和从工业相机获取实时图像。读取本地图像时可以单独加载一帧图像,也可以选择本地的一个目录,按照图片的序列不断地读进来,如图10-12所示。图10-12目录测试

从工业相机获取实时图像时,需要先选择同时连接的相机数量(VisionBank最多支持同时连接8台相机),再设置连接的相机类型,如图10-13所示。当“硬件连接”监控区中相机的图标变绿后,就可以从相机中获取实时图像了。图10-13工业相机的选择

2.图像预处理

VisionBank的图像预处理功能有两个应用场景:

一是通用图像预处理,选择此功能时,主画面窗口会显示预处理后的图像,同时后面所有的图像处理功能都在这个基础上进行。VisionBank为用户提供了20余种预处理工具,如图10-14所示,包括常见的转换为灰度图、Sobel滤波、高斯滤波等工具,还包含了图像缩放、旋转等功能性工具。用户不仅可以对图片进行降噪处理,还可以根据实际检测的需要使用不同的预处理工具组合来获取对检测最有用的信息。

二是局部图像预处理,该功能是和具体的图像处理工具绑定的。比如,通用图像预处理对图像做了“转换为灰度图”操作,再添加“特征定位”时可以选用局部预处理,对图像做灰度变换操作,该局部预处理仅对“特征定位”工具生效。图10-14图像预处理工具

3.图像处理

图像处理模块是VisionBank的核心功能,内置了200余种图像处理工具。基于这些工具的不同组合及不同参数设置,图像处理模块几乎能应用于所有平面机器视觉应用场景。这些工具主要分为定位、几何、有无、计数、计测、识别、掩模、其它八大类,如图10-15所示。图10-15图像处理工具

定位工具中为不同的场景提供了大量的定位方法,包括灰度定位、特征定位、圆定位、边定位等,如图10-16所示。图10-16定位参照

4.标定

VisionBank的标定模块包括三类应用场景。

(1)镜头畸变矫正标定。VisionBank支持圆形、网格、棋盘格三类标定板,用户只需要输入所使用标定板的参数即可完成镜头畸变标定,如图10-17所示。

(2)尺寸测量标定。VisionBank支持圆形、网格、棋盘格三类标定板标定和比例尺标定,用户仅输入所使用标定板的参数或标准件的标准尺寸即可完成像素单位到毫米单位的换算。

(3)机器人手眼标定。VisionBank支持圆形、网格、棋盘格三类标定板标定和多点映射标定,其目的是把图像坐标系换算到机器人坐标系下。通过位置标定,可以让图像坐标系与机器人坐标系建立关联,从而实现手眼互动操作。图10-17镜头畸变标定模块