机器视觉基础知识

1、中国大恒（集团）有限公司北京图像视觉技中国大恒（集团）有限公司北京图像视觉技术分公司术分公司主讲人：陈欣机器视觉系统概述提纲提纲n机器视觉系统概述机器视觉系统概述n照明光源照明光源n镜头镜头n工业摄像机工业摄像机机器视觉系统机器视觉系统机器视觉是一门技术，该技术被广泛应用在生产制造等行业。可用来保证产品质量、控制生产流程、感知环境等。机器视觉系统是基于机器视觉技术为机器或自动化生产线建立的一套视觉系统。机器视觉机器视觉 vsvs 人类视觉人类视觉人类视觉机器视觉适应性适应性强，可在复杂及变化的环境中识别目标适应性差，容易受复杂背景及环境变化的影响智能具有高级智能，可运用逻辑分析及推理能力识别变

2、化的目标，并能总结规律虽然可利用人工智能及神经网络技术，但智能很差，不能很好地识别变化的目标彩色识别能力对色彩的分辨能力强，但容易受人的心理影响，不能量化受硬件条件的制约，目前一般的图像采集系统对色彩的分辨能力较差，但具有可量化的优点灰度分辨力差，一般只能分辨64个灰度级强，目前一般使用256灰度级，采集系统可具有10bit、12bit、16bit等灰度级机器视觉机器视觉 vsvs 人类视觉人类视觉人类视觉机器视觉空间分辨力分辨率较差，不能观看微小的目标目前有4K4K的面阵摄像机和12K的线阵摄像机，通过备置各种光学镜头，可以观测小到微米大到天体的目标速度0.1秒的视觉暂留使人眼无法看清较快速

3、运动的目标快门时间可达到10微妙左右，高速像机帧率可达到1000以上，处理器的速度越来越快感光范围400nm-750nm范围的可见光从紫外到红外的较宽光谱范围，另外有X光等特殊摄像机环境要求对环境温度、湿度的适应性差，另外有许多场合对人有损害对环境适应性强，另外可加防护装置机器视觉系统作用机器视觉技术机器视觉技术功能功能缩短产品缩短产品进入市场时间进入市场时间100%100%检测检测100%100%质量保证质量保证提高产量提高产量集成化生产集成化生产精确测量精确测量改进生产流程改进生产流程及时过程监控及时过程监控机器视觉应用领域n高速检测高速检测n精确机器人导航精确机器人导航n定位及配准定位及

4、配准n装配检测装配检测nPCBPCB检测检测n表面检测表面检测n纹理分析纹理分析n遥感遥感医学图像分析医学图像分析测量测量一维码读取一维码读取OCR&OCVOCR&OCV匹配匹配印刷检测印刷检测BlobBlob分析分析机器视觉应用领域光学行业光学行业纸制品纸制品药物药物照相学和遥感照相学和遥感印刷印刷铁路运输铁路运输监控监控航空宇航航空宇航造船造船无线通信无线通信交通交通木材木材等等等等半导体半导体汽车制造汽车制造制陶业制陶业化学业化学业电子部件及设备电子部件及设备食品业食品业玻璃业玻璃业生命科学生命科学医学医学钢铁钢铁矿业矿业机器视觉系统构成机器视觉系统构成模拟相机模拟相机光

5、源CCD/CMOS图像传感器镜头被测物体模拟视频流摄像机图像采集卡图像内存中数字图像应用结果 孔半径1233.147 mm3.052 mm2.785 mm 机器视觉软件FGI/O机器视觉系统构成机器视觉系统构成数字摄像机数字摄像机光源CCD/CMOS图像传感器镜头被测物体图像数据数字摄像机（USB/1394a/1394b/GigE/CameraLink）图像内存中数字图像应用结果 孔半径1233.147 mm3.052 mm2.785 mm 机器视觉软件FGI/O机器视觉系统构成机器视觉系统构成智能摄像机智能摄像机光源CCD/CMOS图像传感器镜头被测物体模拟图像数据智能摄像机图像内存中数字图

6、像应用结果 孔半径1233.147 mm3.052 mm2.785 mm 机器视觉软件FGI/O机器视觉市场n机器视觉系统中部件包括：光源、工业摄像机、图像采集卡、镜头、图像处理设备等。n机器视觉市场包括:部件生产商代理商系统集成商机器视觉系统机器视觉系统组件组件照明光源照明光源照明光源照明光源机器视觉系统机器视觉系统照明光源分类照明光源分类高频荧光灯卤素灯LED灯机器视觉系统机器视觉系统照明光源对比照明光源对比LEDLED光源特点光源特点n可制成各种形状、尺寸及各种照射角度；n可根据需要制成各种颜色，并可以随时调节亮度；n通过散热装置，散热效果更好，光亮度更稳定；n使用寿命长（约3万小时，间

7、断使用寿命更长）；n反应快捷，可在10us或更短的时间内达到最大亮度；n电源带有外触发，可以通过计算机控制，起动速度快，可以用作频闪灯；n运行成本低、寿命长的LED，会在综合成本和性能方面体现出更大的优势；n可根据客户的需要，进行特殊设计。光源选型对成像影响实例光源选型对成像影响实例照明技术：亮视野与暗视野照明技术：亮视野与暗视野暗视野暗视野亮视野亮视野杂散光杂散光直射光直射光照明技术：低角度照明照明技术：低角度照明常应用于检测平滑表面上变化的部分如：划痕、刀痕、边缘低角度照明应用实例低角度照明应用实例照明技术：前向光直射照明照明技术：前向光直射照明前向光直射照明示例前向光直射照明示例照明技术

8、：前向光漫射照明照明技术：前向光漫射照明前向光漫射照明示例前向光漫射照明示例前向光漫射照明示例前向光漫射照明示例照明技术：背光照明照明技术：背光照明背光照明示例背光照明示例TCLTCLTCI照明技术：颜色与补色照明技术：颜色与补色照射物照射物白色光白色光(混合色混合色)蓝色蓝色其它颜色其它颜色被吸收被吸收颜色与补色示例颜色与补色示例白光白光红红光光蓝光蓝光绿光绿光照明技术：偏光技术应用照明技术：偏光技术应用偏光板偏光板偏光镜片偏光镜片光源光源A光源光源B偏光技术应用实例偏光技术应用实例照明技术：防外乱光技术应用照明技术：防外乱光技术应用机器视觉系统组件机器视觉系统组件镜头镜头镜头成像尺寸成像尺

9、寸焦距与视场角焦距与视场角焦距与视场角焦距与视场角例如：使用HV1303UM拍摄视野为440mm*330mm拍摄距离为2500mm常用公式常用公式放大率物距像距焦距物高像高LLhhm/ / )/11 (mfL)1 (mfL)/11/(mLfffLhmhh/ )( / ffLhmhh/ )(镜头分辨率镜头分辨率分辨率单位：lp/mm影响因素：镜头结构、材质、加工精度镜头的相对孔径越大，分辨率越高光波长度，波长越短分辨率越高视场中心较边缘分辨率高同档次的固定焦距镜头较变焦镜头分辨率高短焦镜头一般边缘分辨率较中心低，长焦镜头一般中心较边缘分辨率低。理想光学系统的最小分辨距离 b = (0.61)/n

10、sinmax其中，为光的波长 n为像空间介质折射率 max为像方孔径角当镜头对无限远成像，且像方为空气时（近似计算公式） b = 1.22 F 其中，F为光圈数远心镜头远心镜头镜头选型镜头选型分辨率焦距光圈景深成像尺寸视场角远心畸变机器视觉系统组件机器视觉系统组件工业摄像机工业摄像机工业摄像机工业摄像机工业摄像机分类工业摄像机分类 CCD SensorFull Frame Array Sensor CCD SensorFull Frame Array SensorOutput(Amplifier)Serial readout register优点：填充因子(fill factor)可以达到非常

11、高，甚至达到100%。这样Sensor灵敏度非常大。缺点：由于传输和读出使用的时钟相同，因此Sensor上面的部分曝光时间比下面的长，这会造成Smear现象。为了解决这个问题，必须使用机械快门或闪光灯。 CCD SensorFrame Transfer Sensor CCD SensorFrame Transfer Sensor解决了Full Frame Array Sensor发生Smear现象的问题从感光部分转移到屏蔽存储区域的时间约为500us优点：在曝光时间较长的情况下，Smear现象比Full Frame Array Sensor小很多缺点：由于需要两个Sensor，因此成本非常高L

12、ight sensitiveCCD-sensorShieldedmemory areaReadout register. CCD SensorInterline Transfer CCD SensorInterline Transfer SensorsSensors转移时间约为1us，因此完全不存在Smear现象。优点：由于转移时间非常短，因此不需要使用机械快门或闪光灯缺点：由于屏蔽区占用了Sensor的部分面积，因此使得此种传感器填充因子只能在20%70%添加微镜头可以增加填充因子Horizontal shift registersvertical shift registerShielde

13、d(Photo diodes)Sensor elementsOutput(Amplifier) Electronic shutter & Micro Lenses Electronic shutter & Micro Lenses Overflow Drain主要用来消除CCD Sensor的Blooming现象它也被用来实现电子快门通过Micro Lenses可以将传感器的填充因子提高。CCD可以从80%提高到约100%CMOS可以从30%提高到约80% CMOS Sensor CMOS SensorAOIAOI由于CMOS可直接访问单个像素，因此在AOI非常小的情况下，CM

14、OS与CCD相比，帧率上有较大的优势。CMOS Sensor甚至可以将A/D转换集成到每个像素中去，在不使用AOI时帧率上也有优势 CCD CCD vsvs CMOS CMOSCCDCMOS优1.图像质量高2.灵敏度高3.对比度高1.体积小2.片上数字化3.很多片上处理功能4.低功耗5.没有Blooming现象6.直接访问单个像素7.高动态范围（120dB）8.帧率可以更高劣1.Blooming2.不能直接访问每个像素3.没有片上处理功能1.一致性较差2.光灵敏度差3.噪声大 CCD CCD vsvs CMOS CMOSCCDCMOS串行处理并行处理，可直接访问单像素线性度好高动态范围低噪声存

15、在固定模式噪声功耗一般功耗较低集成度较低高集成度，芯片上集成了很多功能 Interlaced Scan Interlaced Scan vsvs Progressive Scan Progressive ScanInterlaced ScanProgressive Scan Rolling Shutter Rolling Shutter vsvs Global Shutter Global ShutterRolling ShutterGlobal Shutter 彩色摄像机彩色摄像机1.Bayer2.3CCD3.3Lines4. 彩色摄像机效果对比彩色摄像机效果对比3CCDRaw ImageB

16、ayerDifference工业摄像机接口类型工业摄像机接口类型工业摄像机接口类型工业摄像机接口类型CameraLinkCameraLinkUsb2.0Usb2.01394a1394a1394b1394bGigEGigE速度Base: 1.5GbpsMedium: 3.8GbpsFull: 5.1 Gbps480Mbps400Mbps800Mbps1000Gbps100Mbps距离10m5m4.5m4.5m100m100m优势1.带宽高2.有带预处理功能的采集设备3.抗干扰能力强1.易用2.价格低3.多相机1.易用，价格低，多相机2.传输距离远，实际线缆可达到17.5m，光纤传输可达100m3

17、.有标准DCAM协议4.CPU占用最低1.易用，价格低，多相机2.传输距离远，线缆价格低3.标准GigE Vision协议1.易用，价格低2.传输距离远，线缆价格低缺点1.价格高2.线中不带供电1.无标准协议2.CPU占用高1.长距离传输线缆价格稍贵1.CPU占用高2.对主机配置要求高3.有时存在丢包现象1.无标准协议2.带宽过低3.CPU占用过高PCI PCI vsvs PCI-E PCI-EPCI-32PCI-32PCI-64PCI-64PCI-ExpressPCI-Express速度133MBps266MBps1x 266MBps2x 266*2 MBps4x 266*4 MBps8x1

18、6x32x 8.25GBpsPCI Express采用的是点对点通信机制，各个插槽都将通过各自独享的通道发送和接受数据，这样就可以避免出现不同设备同时争抢系统和CPU资 源的情况。同步采集同步采集 vsvs 异步采集异步采集工业摄像机选型工业摄像机选型1.根据摄像机拍摄的视野以及系统需要达到的精度选择分辨率2.根据拍摄对象运动与否选择合适相机3.根据生产线速度选择合适帧率4.根据相机接口类型以及相机数量选择合适的采集卡例如：某视觉检测系统需要两个检测工位拍摄过程中工件不停止。两个工位视野相同，均为400mm*300mm。要求检测精度达到0.4mm以上。检测速度大于每分钟1000工件。回顾回顾简