机器人视觉培训课件

1、机器视觉 高朋飞81机器人视觉第1页2视觉检测技术是精密测试技术领域内最含有发展潜力新技术，它综合利用了电子学、光电探测、图象处理和计算机技术，将机器视觉引入到工业检测中，实现对物体（产品或零件）三维尺寸或位置快速测量，含有非接触、速度快、柔性好等突出优点，在当代制造业中有着主要应用前景。视觉检测技术机器视觉主要由视觉传感器（如工业相机）代替人眼获取客观事物图像，利用计算机来模拟人或再现与人类视觉相关一些职能行为，从图像中提取信息，并进行处理与分析，最终用于实际检测、测量与控制。2机器人视觉第2页3机器视觉（Machine Vision）是指光学装置和非接触传感器自动接收和处理一个真实物体图像

2、，经过分析图像取得所需信息或用于控制机器运动装置。机器视觉系统：（1）准确性（2）重复性（3）速度（4）客观性（5）成本机器视觉3机器人视觉第3页4机器视觉2机器人视觉: 用于指导机器人在大范围内操作和行动，如从料斗送出杂乱工件堆中拣取工件并按一定方位放在传输带或其它设备上(即料斗拣取问题)。至于小范围内操作和行动，还需要借助于触觉传感技术。视觉应用1检测：（1）高精度定量检测(比如显微照片细胞分类、机械零部件尺寸和位置测量) （2）不用量器定性或半定量检测(比如产品外观检验、装配线上零部件识别定位、缺点性检测与装配完全性检测)4机器人视觉第4页5机器视觉经典机器视觉系统：光源，镜头，相机，图

3、像处理单元（图像捕捉卡），图像处理软件，监视器，通信/输入输出单元等。视觉检测中图像处理流程图5机器人视觉第5页6光源光源是影响机器视觉系统图像质量主要原因，照明对输入数据影响最少占到30%。选择机器视觉光源时应该考虑主要特征：亮度 （当两种光源能够选择是，最正确选择是选择更亮）光源均匀性 （不均匀光会造成不均匀反射）光谱特征 （光源颜色及测量物体表面颜色决定反射到摄像头光能大小及波长）寿命特征 （光源普通要连续使用）对比度 （对比度对机器视觉来说非常主要，确保需要检测特征）6机器人视觉第6页7相机感光芯片CCD芯片:是一个半导体器件，能够把光学影像转化为数字信号。CMOS芯片:将晶体管放在硅

4、块上技术7机器人视觉第7页8相机输出图像格式模拟相机数字相机特征输出信号形式为标准模拟量视频信号，需要配用专用图像采集卡才能转化为计算机能够处理数字信息内部集成了A/D转换电路，可直接将图像信号转化为数字信号优缺点优点：通用性好、成本低不足: 分辨率低、采集速度慢，在图像传输中轻易受到噪声干扰，造成图像质量下降优点：能够有效防止图像传输路线中干扰，对外信号输出能够使用愈加高速和灵活数字信号协议，能够做各种分辨率形式缺点：成本高像元排列方式面阵相机线阵相机适用性面阵CCD相机：拍摄速度快，对拍摄景物及光照条件无特殊要求线阵CCD相机：用于被测物体运动场所，尤其适适用于运动速度较快，分辨率要求较高

5、情况8机器人视觉第8页9镜头镜头通常与光源、相机一起组成一个完整图像采集系统。视觉系统集成必须考虑四个原因：能够检测物体类别和特征景深或者焦距加载和检测距离运行环境镜头选择：（1）波长、变焦是否（2）特殊要求优先考虑（3）工作距离（4）像面大小和像质（5）光圈和接口（6）成本和技术成熟度9机器人视觉第9页10图像采集卡图像采集卡（Image Grabber),它将摄像机图像视频信号，以帧为单位，送到计算机内存和VGA帧存，供计算机处理、存放、显示和传输等使用。图像采集卡图像采集卡基本组成模块10机器人视觉第10页11图像预处理 图像预处理主要目标是消除图像中无关信息，恢复有用真实信息，增强相关

6、信息可检测性和最大程度地简化数据，从而改进特征抽取、图像分割、匹配和识别可靠性。图像预处理图像增强空间滤波均值滤波中值滤波11机器人视觉第11页12边缘检测人眼视觉系统认识目标：把图像边缘与背景分离出来感知图像细节，并识别出图像轮廓数字图像边缘检测 边缘检测算法：滤波(滤波器在降低噪声同时也造成了边缘强度损失)增强（边缘增强普通经过计算梯度幅值来完成）检测（确定那些点是梯度幅值梯度幅值阈值判据）定位（边缘位置可在子像素分辨率上预计）12机器人视觉第12页13阈值分割图像分割是用数字、文字、符号、几何图形或其组合表示图像内容和特征，对图像景物详尽描述和解释。阈值是在分割时作为区分物体与背景像素门

7、限，大于或等于阈值像素属于物体，而其它属于物体阈值分割基本原理：经过设定不一样特征阈值，将图像像素点分为若干类灰度彩色13机器人视觉第13页图像特征提取与匹配图像匹配是经过对图像内容、特征、结构、关系、纹理以及灰度等对应关系，相同性和一致性分析，寻求相同目标方法。 基于灰度特征提取与匹配（灰度在视觉中是指明度，就是由黑到白过渡色，这些过渡色含有深浅程度）图像高斯金字塔模型14机器人视觉第14页15图像特征提取与匹配基于不变矩阵特征提取与匹配基于不变矩阵匹配算法流程图在图像处理中，不一样阶次矩是惯用描述图像信息统计特征，且含有一定平移、旋转和尺度不变性。惯用三阶Hu不变矩阵含有很好匹配适应能力，

8、基于Hu不变矩阵对图像良好描述特征，采取不变矩阵来描述图像之间相同度，而且不受几何失真影响。15机器人视觉第15页16图像特征提取与匹配基于形状特征提取与匹配形状特征提取方法分类形状特征能够直接由分割得到形状边界或区域中像素产生原始数据取得更标准做法是将数据压缩为一个表示方案，在表示方案基础上取得形状特征描述16机器人视觉第16页17摄像机标定摄像机标定分类（定标目标是从图像点中求出物体待识别参数）序号分类方式标定方法1是否要标定参考物传统摄像机标定、摄像机自标定2所用模型不一样线性（小孔模型）和非线性3摄像机个数单摄像机、多摄像机4求解参数结果显式（设置含有物理意义参数）、隐式（转换矩阵元素

9、为定标参数）5解题方法解析法、神经网络、遗传算法6标定块不一样立体、平面7定标步骤两步法、三步法、四步法8内部参数是否可变可变内部参数标定、不可变内部参数标定9摄像机运动方式非限定运动方式摄像机标定、限定运动方式摄像机标定17机器人视觉第17页18摄像机标定图像是空间物体经过成像系统在像平面上投影其中（x,y,z）为摄像机坐标系，(XfOfYf)为视野平面，（Xw，Yw，Zw）为世界坐标系18机器人视觉第18页19机器视觉工程应用工业领域：产品质量检测、产品包装、产品分类、机器人定位民用领域：智能交通、安全防范、文字识别、身份验证、医疗设备科学研究领域：材料分析、生物分析、化学分析、生命科学军事领域：航空、航天、兵器、卫星遥感系统19机器人视觉第19页20视觉系统趋势机器视觉工程应用1.价格连续下降2.功效逐步增多：计算机能力增强、更高分辨率传感器、更加快扫描率、软件功效提升3.产品小型化：工业配件上LED成为主导光源4.集成产品增多：智能化发展20机器人视觉第20页21智能相机超紧凑型智能相机实现