机器视觉基础

相机精度计算：视野/像素1.1机器视觉简介与硬体介绍1.1.1前言对于首次接触「机器视觉」的朋友来说，对这个名词肯定有点陌生，所以我们先来简单介绍一下这个专有名词。「机器视觉」是泛指搭载视觉影像系统的检测设备，影像系统主要是由相机、镜头与光源等光学仪器所建构而成的。利用这些检测器材广泛地投入各种应用，如产品的瑕疵检测〔Inspection〕、辨识产品外观〔Recognition〕与量测产品尺寸〔Measurement〕，而视觉对位〔Alignment〕与自动化做结合，搭配运动控制或机械手臂，可进行物料的定位与校正，完成手眼协调的视觉伺服系统〔VisualServoSystem〕。图1.1-搭载相机的机器手臂所构成的视觉伺服系统架构Ÿ机器视觉一直以来都受到相关产业的重视，这边列出几项机械视觉的特色：平安性高Ÿ具备高解析度Ÿ拥有全检能力资料重现性好可降低人工本钱可搭配高速运动控制可配合运动控制系统进行回馈控制〔智慧型自动化〕目前使用机器视觉的领域非常广泛，与它相关的热门产业包括半导体、光电、机密工业与製造业等，主要的应用是将这些技术导入产品检测与自动化生产，目的就是为了提升产能、增加良率与减少人员配置。接着，我们来简单的了解一些与机器视觉相关的专有名词：影像系统〔ImageSystem〕构成机器视觉最根本架构就是包含相机与镜头的影像系统，最重要的五个根本参数必须先弄清楚：图1.2-影像系统的示意图1.感光元件大小〔SensorSize〕：相机内部感光元件的尺寸2.工作距离〔WorkingDistance〕：相机镜头前缘到物体外表的距离3.景深〔DepthofField〕：能维持影像距焦清晰的有效距离4.视野範围〔FieldofView〕：相机所能撷取到物体的实际範围5.解析度〔Resolution〕：指的是相机拍摄物体可辨识的最小尺寸，解析度越高，检测精度也较好，表示能从影像中获取有用的资讯越多光圈〔F〕用来表示所控制的光源进入镜头的总量，类似人类的瞳孔，光圈越大，表示能进入的光越多，反之越少。镜头上都会标示最大光圈值，如标示值为「1:1.8」，表示该镜头的最大光圈值为「1.8」，而数字越小，代表大光圈，反之越小。图1.3-不同F值所代表的光圈大小焦距〔f〕：光通过镜头后匯集的点，该点到镜头之间的距离称为焦距。图1.4-光通过凸透镜聚焦于一点〔fromWikipedia〕放大倍率〔M〕定义为影像与实体的比值，假设，表示拍摄到的影像只有实体的50%。图1.5-单镜面的光学成像塬理〔fromWikipedia〕计算公式如下：其中M表示放大倍数，do代表物距，ho代表实体大小，而d1代表像距，h1代表影像大小。景深〔DepthofField〕：定义为能维持影像距焦的有效距离。想得到一张「清晰」的影像，影像需在距焦範围内，景深就是决定这个範围有多长。假设发现取到的影像位于距焦区内只有局部是保存清晰，可能使用的镜头景深过短，此时可将镜头光圈调小、或替换短焦聚的镜头，再不然就是将物距〔do〕拉长，透过这叁种调整方式都有时机改善景深缺乏的现象。图1.6-调整光圈来改善景深1.1.2相机介绍以上的专有名词后，再来要介绍工业相机，它是构成影像系统最重要的光学元件之一，成像塬理是透过内建的感光元件来吸收光线，转换成储存电荷，再将这些电荷传输到放大解码器，经由类比数位转换后来呈现一张完整影像。以扫描方式分类相机的扫描方式可依据SenorSize类型分为LineScan与AreaScan两种：目前市售的LineScan相机，解析度有1K〔1024pixel〕/2K/8K/16K，使用LineScan必需搭配运动扫描才能获得一张完整的影像，适用于检测需求为大面积与高检测精度的应用。图1.7-BaslerLineScan相机&感光元件〔*2*4〕AreaScan的相机应用比拟普及，在不需搭配运动装置情况下就可以获得完整影像﹔依据检测精度的要求，可选择的像素有30〔640*480〕/100/200/500MP〔megapixel〕，而更高解析度的相机，价格也相对高昂。图1.8-BaslerAreaScan相机&感光元件〔*2*4〕感光元件尺寸〔SensorSize〕对于AreaSensor与LineSensor描述方法也有所不同；以AreaSensor来说，以对角线的长度来表示大小，单位为吋〔inch〕，值得注意的是，工业相机的1吋是16mm，非25.4mm，可参考附图。图1.9-AreaSensor感光元件尺寸而LineSensor那么是用影像长度〔ImageLength〕来描述，单位为mm，计算公式如下：这边的pixelnumber单位的转换是1K=1024pixel，假设使用pixelsize为5um，而pixelnumber为2K的LineSensor，套入公式可以得到一条LineSensor所能撷取到的影像长度为10.24mm。以感光元件分类假设以感光元件做区分有CMOS与CCD两类：感光元件的感光度与製程有关，一般的CMOS感光度会比CCD还差，假设影像变化速度过快，记录讯号的电流变化过于频繁，就会产生过热的现象，使得杂讯难以抑制。图1.10-CCD与CMOS的成像方式〔from睿怡科技〕不过近年来，CMOS在製程上有所突破，感光能力有明显提升，加上新的抑制杂讯技术，使得CMOS目前拥有更好的竞争优势，下面列出两者的优缺点比拟表：以影像色彩分类单以颜色做区分，相机又可以分为灰阶〔Mono〕和彩色〔Color〕；所谓的「灰阶影像」，是将色阶由黑到白共切割为255等分所组成的8bit影像；而「彩色影像」分别由3组8bit的RGB颜色所组成的24bit影像，理论上最高可组合出1677万种颜色，而彩色影像也可透过ExtractGColor来转换成灰阶影像。图1.11-8bit灰阶动态範围图1.12-二种彩色相机颜色组合方式〔*2〕以讯号传输类型分类最后相机依据传输的方式可分为GigE、CameraLink、USB2.0/3.0等类型〔其他类型的传输介面这边不多做阐述〕，可依据应用来评估应该选哪一类的相机，针对上述提到的相机类别整理一张比拟表：BaslerGigE介面相机BaslerCameraLink介面相机BaslerUSB3.0介面相机图1.13-各种传输介面的相机〔*4〕简单来说，假设检测条件有高速取像的要求，尽可能选择高传输率的相机来做为取像来源，如CameraLink或USB3.0，而使用CameraLink介面的相机需额外购置一张PCI介面的影像撷取卡，建置本钱较高；假设考量本钱与方便性，比拟建议使用GigE或者USB3.0的相机，这两款相机在一般工业电脑上都有对应的IOPort，使用USB3.0优势在于无须额外再购置撷取卡且传输速度快，而使用GigE介面的相机还有传输距离较长的优势，唯一比拟麻烦的是还需外接电源，假设不想外接电源，可购置一张有POE〔PowerofEthernet〕功能的网路卡或电源供给器，整体的建置本钱还是会比CameraLink的相机廉价。PCI插卡式POE网路卡具电源供给的Adapter图1.14-供电源的网路介面〔*2〕1.1.3镜头一般镜头分类选完相机，接着需要挑选一颗适合影像系统的镜头，常见的镜头有两类：1.CCTVLens，2.TelecentricLens；各类优点在于，CCTVLens镜头价格廉价且容易取得﹔而TelecentricLens那么是不需要调整光圈，取像品质好，在有效的景深〔DOF〕内，既使晃动下还是能保持清晰的影像。CCTVLensTelecentricLens图1.15-常见的镜头类型〔*2〕什么情况下可能会需要选用CCTV或Telecentric的镜头呢﹖一般平面检测工程，CCTV镜头就足够，但CCTV的镜头有个致命伤，那就是成像尺寸会受待测物距离镜头的位置会影响，下列图解释使用CCTV与Telecentric拍摄45度斜面所得到的影像差异﹔假设今天要检测的工程与尺寸量测有关，而待测物体的外型又刚好较立体，此时就必须考虑使用Telecentric镜头，在有效的景深内，不管物体远近，拍摄到的影像尺寸会表现一致。图1.16-不同类型镜头，会因距离镜头远近所造成的像差另外，在选择镜头时，可以注意一下规格书上是否有标示变形量〔Distortion〕，变形量越少，表示影像失真度越低，检测的尺寸误差就会越少。理想的取像画面应该与待测物成比例，由于镜头本身有弧度，所以镜头中心点到周围会产生些许的变形量，一般的CCTV镜头或多或少都会有轻微「枕状变形」或「桶状变形」，而好一点的镜头因镜头材质与加工都比拟优良，所以变形量会降低不少。图1.17-镜头失真造成的变形量挑选镜头步骤我们要如何挑选符合检测需求的镜头呢？提供一些参考步骤：1.评估目前检测要求的解析度〔Resolution〕，选择符合的相机规格，判断是否有变焦需求，假设无，一般定焦且低失真的镜头即可。2.根据影像系统规划，可以得到工作距离〔WD〕与实际观测物体所需的可视範围〔FOV〕的资讯，利用这些参数来计算镜头实际所需要的焦距，首先计算符合需求的放大倍率〔M〕：再代入计算焦距f公式：可以得到符合需求的镜头实际的焦距需大于该数值。3.假设嫌计算公式麻烦的话，市面上有多家镜头厂商都有提供镜头目录或软体查询，只要将目前环境所需要的参数填入，便可快速找到适当的镜头。4.如果影像系统在固定的工作距离〔WD〕範围内找不到适当焦距的镜头，此时可搭配延伸环增加焦距，或者利用滑台设计来微调工作距离，这些方法都有助于找出适用的镜头组合。1.1.4光源前面解说的相机与镜头，在挑选上比拟没有问题，主要依据检测条件来寻找适合的规格就可以了，但如何挑选适当的光源却没有想像中轻鬆容易，只能依现场环境因素与使用者经验来做筛选，藉由搭配不同光源类型与各种打光技巧，反覆测试验证，才能找到适当的光源组合，撷取到的影像是可以找到待测物的特徵。目前主流光源都採用LED灯，与传统卤素灯或萤光灯相比，具备高亮度、低耗电、低发热量等特色，且使用寿命也较长。光源类型1.环形光源：又依角度可分为高角度环型光与低角度环形光等图1.18-不同尺寸与色彩的环形光2.同轴光源：依据不同镜头类型可搭配外同轴或内同轴外同轴内同轴图1.19-同轴光类型3.条形光源：也可将4组条形光源围绕成方形光源图1.20-条形光4.背光光源：主要功能在于凸显物体的整体轮廓图1.21-背光光源5.特殊光源：有专门减少阴影影响的碗状型光源，或者由四个条状灯源组合的回型光源回型光源碗状光源图1.22-特殊类型光源〔*2〕光源控制器光源主要的动力来源，可依据需求选择支援多Channel的光源控制器，另外局部控制器支援利用软体来控制光源强度，透过RS-232进行参数设定，有利于后续将光源调控功能整合。图1.23-手动光源控制器〔*2〕图1.24-可用软体控制的光源控制器〔*2〕打光方式单纯使用环境光源来取像是不够的，会常发现取到的像不是不能用，就是特徵不明显，此时需为影像系统搭配一组光源来强化影像特徵。挑选步骤可依据环境的配置以及产品的样式来评估适合那些光源类型，