机器视觉系统详述

2017.05,机器视觉系统,目录,机器视觉是一个系统的概念，运用现代先进的控制技术、计算机技术及传感技术，表现为光机电的结合。,机器视觉系统构成,1、机器视觉系统介绍,典型的机器视觉系统包括：光源、镜头、相机、图像采集卡、图像处理软件、监视器、通讯/输入输出单元等。,照明光源,检测目标,光路,镜头,相机,图像采集,图像处理,运动机构,执行机构,监视机构,2、机器视觉系统的组成,机器视觉应用,GIGI(Gauge、Inspection、Guide、Identification),Gauge(测量),3、机器视觉系统的应用,机器视觉应用,GIGI(Gauge、Inspection、Guide、Identification),Inspection（检测）,3、机器视觉系统的应用,机器视觉应用,GIGI(Gauge、Inspection、Guide、Identification),Guide（引导）,3、机器视觉系统的应用,机器视觉应用,GIGI(Gauge、Inspection、Guide、Identification),Identification（识别）,3、机器视觉系统的应用,目录,1、成像系统的意义,所需要的信息包含在图像中，图像本身的质量对整个视觉系统非常关键！,采用特殊的照明方式，得到的图像更容易提取边缘。,GarbageIn，GarbageOut.,成像系统设计的成败是决定系统成败的首要因素！,2、成像系统解析,光源,镜头,相机,采集卡,机器视觉中光源的作用：照亮目标，提高亮度形成有利于图像处理的效果克服环境光干扰，保证图像稳定性,由上图可见不同的光源可以产生完全不同的成像效果，从而也导致不同的检测算法（优选及简化）。,一幅好的图像应该具备的条件：对比度明显，目标与背景的边界清晰背景尽量淡化而且均匀，不干扰图像处理与颜色有关的颜色信息要真实，亮度适中，不过度曝光,光源作用,光源,LED：照射形状、大小、颜色种类丰富，寿命长，转换特性良好,荧光灯：可实现大型化，便宜，使用10kHZ以上的高频形式卤素灯：高亮度、光纤传导、冷光照明金属卤化物灯：与卤素灯相比更接近太阳光，耗电量低，价格高,LED型,荧光灯型,卤素灯型,光源种类,光源,可制成各种形状、尺寸及各种照射角度；可根据需要制成各种颜色，并可以随时调节亮度；加散热装置散热效果好，光亮度更稳定；使用寿命长，反应快捷。,LED光源优势,光源,选择光源的三个步骤：,光源,打光方式,光源,明视场与暗视场,明视场：用直射光来观察对象暗视场：用杂散光来观察对象,明视场,暗视场,明视场,暗视场,光源,背光照明,主要用于边缘提取，透明体内部不透明体检测，狭缝和通孔内杂质检测。,打光原理,锯齿缺陷检测,马达转子检测,光源,无影灯,运用特殊的光学构造，使对象物多角度受光，从而达到“无阴影”的效果。,打光原理,穹顶光,成像效果,可以避免弯曲表面导致的不均匀受光,光源,平行背光,通过精确的光路设计及特殊的光学构造，使原本发散的光线达到“平行”的效果。,平行背光,普通背光,常用于有圆弧、倒角等样品的尺寸测量项目,普通背光,平行背光,光源,单色光应用,常用LED光源根据颜色分为白光、蓝光、绿光、红光、红外及紫外等。,光源,通过互补色增加对比度互补色：也称对比色，互补色在色环上相互对应。两种互补色等强度混合可以得到白色。如果希望更加鲜明地突出某些颜色，则可以选择右侧色环上相对应的互补颜色，这样可以明显地提高图像的对比度。,右图中，绿色背景采用红色光源提高对比度（灰阶图像）,光源,光源,镜头主要参数,镜头,光学放大倍率,光学放大倍率=y/y=相机靶面大小/视场大小,视场FOV,镜头,工作距离WD,镜头前透镜表面到检测物体表面的距离。,镜头,焦距f,光学系统主点到焦点的距离，焦距越小，视场越大。,镜头,镜头接口,接口配套原则,镜头,F=f/D镜头F数越小，通光孔径越大，景深越小,F数,镜头,最大兼容CCD芯片大小,镜头成像尺寸相机靶面大小,镜头,镜头畸变,畸变是镜头放大倍率随着视场变化而变化的现象。,测量应用，畸变越小越好畸变可以通过软件进行校正,镜头,镜头景深,对于理想的光学系统，像平面对应一个理想物平面。实际光学系统，能清晰成像的最远物面到理想物平面的距离称为远景深度，能清晰成像的最近物面到对准平面的距离称为近景深度，远景深度和近景深度的和就是光学系统的景深。,镜头,镜头景深,F数越小，通光口径越大，景深越小F数越大，通光口径越小，景深越大,镜头,镜头分辨率,物方分辨率：镜头能够分辨开的两个物体之间的最小工作距离，单位m。Resolution(像)=Resolution(物)镜头放大倍率解像力：1mm内的黑白线对数，单位lp/mm。Resolving=1/Resolution(像),镜头,镜头分辨率,当像方分辨率=2像元尺寸时，说明镜头分辨率与相机完全匹配。如相机像元尺寸为5m，镜头放大倍率为0.5倍，则物方分辨率为20m，此时镜头与相机匹配。若R物20m，则说明此时镜头过好，相机分辨率成为系统的限制。,镜头,调制传递函数MTF,空间频率：1mm内的黑白线对数，lp/mm。对比度：归一化的值。理想黑白线对的对比度为1，对比度下降，观察到的图像会模糊。MTF是空间频率和对比度定义的，它表征了光学系统传递对比度的能力，空间频率变高时，对比度会下降。,镜头,工作波长,镜头-如何选择镜头,定焦与变焦,变焦镜头工作距离不变的情况下获得不同的放大倍率,镜头-如何选择镜头,远心镜头与标准工业镜头,远心镜头,CCTV镜头,镜头-如何选择镜头,根本区别观察三维物体时，能否消除透视误差,远心镜头,相机上显示的图像，无论距离镜头近或远，所有物体都表现出相同的大小,CCTV镜头,相机上显示的图像，距离镜头远的物体比距离镜头近的物体小,FOV总是小于远心镜头,镜头-如何选择镜头,原理：在像方焦平面处设置孔径光阑，使得物方主光线平行于光轴；特点：在景深范围内移动检测物体，镜头放大倍率保持不变；作用：可以消除物方由于调焦不准确带来的读数误差。,机器视觉领域里常用的远心镜头为：物方远心镜头和双侧远心镜头。,物方远心镜头,镜头-如何选择镜头,双侧远心镜头,原理：在物方焦点及像方焦点均设置孔径光阑，作用：当由于安装或相机芯片精度等因素导致的芯片到镜头接口处的法兰距离可变时，需要用双侧远心镜头来消除物方和像方产生的透视误差。,镜头-如何选择镜头,优点：消除透视误差畸变较小缺点：由于远心光路限制，要求镜头直径FOV，因此当被测物较大时，远心镜头体积会很庞大，成本也会很高。,远心镜头特点,镜头-如何选择镜头,镜头接口镜头接口与相机接口相匹配可以通过接圈转接实现匹配,镜头-如何选择镜头,镜头像面尺寸与分辨率,镜头像面尺寸CCD尺寸,镜头像面尺寸CCD尺寸,YES,NO,镜头-如何选择镜头,选择焦距,镜头-如何选择镜头,镜头支持的最大放大倍率或最小工作距离畸变率MTF景深机械尺寸抗震性,镜头-如何选择镜头,AMP,A/D,A/D,A/D,A/D,A/D,A/D,CCD,CMOS,-Rollingshutter-,相机,相机实际上是一个光电转换装置，即将图像传感器所接收到的光学图像转化为计算机所能处理的电信号。目前典型的光电转换器件为CCD、CMOS图像传感器。,电荷积累,电荷转移,AD转换,数据传输,成像芯片类型：CCD或CMOS芯片尺寸：1/2英寸或其他像素数：1024X1024像素尺寸：6.5X6.5um帧/行频:30fps信噪比（SNR）：60dB接口：FireWire、Camlink、USB、GIGE等镜头接口：C-Mount、CS-Mount电源：12VEMVA1288性能,其他还包括：像素时钟、光谱响应度、是否制冷、工作环境、GPIO等,相机,相关参数：,EMVA报告样例,1：光谱响应,可见光、红外、紫外、X-ray,相机-如何选择相机,2：彩色/黑白，线阵/面阵,如果需要获取颜色信息的应用（印刷检测），需要选用彩色相机，多数定位、测量、识别及缺陷检测应用建议使用黑白相机。黑白相机图像信噪比高、灵敏度高、对比度大、数据量小，更利于处理！多数应用可以选择面阵相机，对于高速高分辨率检测应用选用线阵相机（PCBAOI、印刷缺陷检测、色选等）。,3：分辨率/帧率,分辨率=视野/精度帧率应高于检测效率行频=运动速度/精度,相机-如何选择相机,4：其他考虑因素,量子效率；信噪比；动态范围；数据接口；体积；工作环境；,目录,需求调研表,需求调研表,检测目标、内容分辨率、检测范围、颜色相机放大率、像面尺寸镜头工作距离、景深、光圈光源机械结构电气控制反馈验证,2、一般设计过程,机器视觉光学评估流程,目录,检测类应用,锂电池极片漏涂检测被测物：锂电池极片正反面极片宽度：200-800mm缺陷：是否漏出金属精度：0.5mm运行速度：100m/min,检测类应用,相机选择高速连续运动，适合用线扫描，可见光，无彩色信息，选用黑白相机相机分辨率=视场(1000mm)/精度(0.5mm)=2000缺陷检测类应用实际分辨率=计算分辨率*经验系数（1.62.5）经验系数大小取决于图像对比度和软件处理能力。可以选用4k线扫描相机。实际拍摄精度1000/4096=0.24。行频=运动速度(1.3m/s)/精度(0.24mm)=5.4k选用行频大于5.4k的4K分辨率线阵相机选择：DalsaSwordFish34K线扫描相机,检测类应用,镜头选型相机为F口，需选择F口定焦镜头，放大倍率是0.041选择35mm焦距镜头，工作距离为889mm。光源选型由于金属的高反光性和极片的吸光性，可以采用明场照明方式，可选用白色条形光。,高精度测量类应用,测量应用要求得到轮廓锐利的图像，首先需要相机能够有较好的成像质量，需要有足够的像素数保证拍摄精度，此外还需要图像的噪声水平低，保证轮廓边沿的灰度值稳定可靠。镜头通常选用远心镜头，远心镜头是为纠正传统工业镜头视差而设计，在一定的物距范围内，使得到的图像放大倍率不会变化，这对被测物不在同一物面上的情况是非常重要的应用。远心镜头依据其独特的光学特性：高分辨率、超宽景深、超低畸变以及独有的平行光设计等，给机器视觉精密测量带来质的飞跃。光源选择主要是以突出被测物的轮廓为依据，尺寸测量最长用到的光源是背光源、同轴光源和低角度光源，在精度要求特别高的应用场合需要用到平行光源。,被测物：手机零部件的长宽测量零件尺寸：5mm5mm2mm工作距离65mm景深范围：大于1.5mm精度：5um,手机零部件测量,相机选型相机类型选用黑白面阵相机；相机分辨率：7mm/5um=1400量测类应用不需要乘以经验系数；相机短边1400像素；选择500万（2448*2048）相机。,手机零部件测量,镜头选型放大倍率根据已知条件：5.0MP面阵相机的像元尺寸为3.45m，以及光学分辨率要求3.4m左右，由公式：可得镜头放大倍率大约为1。工作距离根据检测要求，镜头工作距离应65mm,放大倍率=像元尺寸/光学分辨率,手机零部件测量,镜头选型镜头像面尺寸由于所选相机靶面为2/3英寸，因此所选镜头像面尺寸应2/3英寸。根据以上3步可选出合适的镜头型号。最终选择放大倍率为1x，工作距离大于65mm，兼容靶面2/3英寸的远心镜头。,手机零部件测量,光源选型为了突出零件的边缘信息，选用白色平行背光源。,目录,飞行捕捉,相对于静态拍摄的难题是容易产生图像拖影，为了获取清晰完整图像：1）相机快门方式：全局曝光2）相机曝光时间计算：相机最小曝光时间曝光时间像素当量/相对运动速度像素当量=视场/分辨率3）相机采集方式：位移传感器外触发采集,相机丢帧,在机器视觉系统应用中，尤其是在多相机系统中，由于工业相机发生丢帧现象，从而严重影响到整个视觉系统的稳定性，原因主要有以下几个原因：1）工业相机2）视觉软件3）其他硬件：线缆、采集卡、计算机,相机丢帧,工业相机图像传感器传送图像到相机上的芯片，通过数字接口再传送给PC端，如果PC端系统太忙碌，来不及处理接收的图像，而图像传感器又持续传送新的图像资料，这时工业相机就要有足够的缓存，反之就会产生丢帧现象。,相机丢帧,视觉软件视觉软件对于等待计算的图像空间，有无缓冲的机制，以加大图像的缓存争取缓冲的时间，让程序的运算来得及处理，但若稳定的运作情况下，CPU的整体处理速度比图像进来的速度慢，那缓存总有超载的时刻，就会有丢帧的