葛仁彦-机器视觉的自适应算法在工业自动化检测中的应用

AutomaticSLInspectionEquipmentNanovision©Contents目录1

Background背景资料2

AdaptiveAlgorithmIntroduction自适应算法简介3AdaptiveFilter自适应滤波4

AdaptivePatternRestoration自适应模式恢复5

AdaptivePatternMatching自适应模式匹配6

TypicalApplicationCase典型应用案例7

FutureWork将来的工作Nanovision©1.Background背景资料IndustrialvisionsystemsrequireexpertiseinmultiplefieldsastheyarecompositionsofdifferenttechnologiesArchitectures•PC+CameraSensors•EmbeddedVision•SmartCameras•PC+SmartCamera•CMOS/CCD•OtherOptics•Lenses•Prisms&BeamSplitters•ColorFiltersDataCaptureMachineVisionRobiticGuidanceFactoryAutomation•Analog•Digital•PolarizersSpectrum/IlluminationProcessors•FPGAInterfaces•Visible•Infrared(IR)•Ultraviolet(UV)•Other•LED•Halogen•GigabitEthernet(GigE)•Firewire(1394b)•CameraLink•USB2.0-3.0•Other•DSP(DigitalSignalProcessor)•RISC(ReconfigurableInstructionSetComputer)•FrameGrabbersSource：Frost&Sullivan，2010Nanovision©1.Backgroundꢀ背景资料CurrentAlgorithmsmethodforIndustrialParts/SurfaceInspection目前在工业部件和表面检测中的常用算法CADBasedPatternMatching与CAD设计图案匹配DesignRuleCheckGoldenTemplateMatchingDRC金色模板匹配设计规则检查ArtificialNeuralNetworkFeaturebasedCompare人工神经网路基于特征的比较Nanovision©1.Background背景资料

目前算法存在的问题

CADꢀBasedꢀPatternꢀMatchingꢀ（与CAD设计图案匹配）

CAD模板图像化过程比较繁琐

CAD模板与实际采集图像很难配准，影像采集根据应用不同有不同程度的变形

GoldenꢀTemplateꢀMatching（金色模板匹配）

需要很多良品制作金色模板，没有统一性

受影像采集过程中运动等影响，模板匹配会有局部偏差

DesignꢀRuleꢀCheckꢀ–DRC（设计规则检查）

DRC需要知道被检测物品的设计规则，需要经验值

DRC只能检测非常微小的局部缺陷，有局限性

ArtificialꢀNeuralꢀNetwork

（人工神经网络）

学习矩阵需要大量的样本

计算量比较大，计算收敛慢，对在线实时检测需要FPGA或DSP的加速计算

FeatureꢀbasedꢀCompareꢀ（基于特征的比较）

特征点的提取计算量比较大

被检测物品的特征很难量化，有的物品特征不是很明显Nanovision©2.AdaptiveꢀAlgorithmꢀIntroductionꢀ自适应算法简介AdaptiveBackgroundnormalization自适应背景归一化AdaptivePatternRestoration自适应模式恢复AdaptiveFilter自适应滤波AdaptiveAlgorithmsMachineVisionAdaptivePatternMatching自适应模式匹配Nanovision©3.AdaptiveFilter自适应滤波

自适应滤波存在于信号处理、控制、图像处理等许多不同领域，它是一种智能更有针对性的滤波方法，通常用于去噪。

自适应滤波是近年以来发展起来的一种最佳滤波方法。它是在维纳滤波（wienerfiltering),Kalman滤波等线性滤波基础上发展起来的一种最佳滤波方法。由于它具有更强的适应性和更优的滤波性能。

算法包括:

LMS自适应滤波算法

RLS自适应滤波算法

变换域自适应滤波算法

仿射投影算法

共扼梯度算法

基于子带分解的自适应滤波算法

基于QR分解的自适应滤波算法

在图像处理中的应用

它是指在一张图像的不同区域具有各自的图像特性时，分别针对这些不同特性选取最优的、各不相同的参数，滤波器或滤波方法进行滤波。Nanovision©4.AdaptivePatternRestoration自适应模式恢复

自适应模式恢复的主要技术要点：

AutomaticNoiseRemove自动噪声去除

AutomaticBinarization（

multi-levelsegmentation）自动二值化或多值分割

FindtheregulationofthepatternbasedonFrequencydomainandSpacedomain根据频率域和空间域的信息发现模式的规律性

Patternrestorationbasedonregularfrequencyandtones根据影像的频率和色调恢复重建具有规律的影像Nanovision©5.AdaptivePatternMatching自适应模式匹配AdaptiveTemplateBufferDigitalCamerasAdaptiveFilterRegistrationPipelineActiveRegistrationAdaptivePatternRestorationObjectDynamicDefectAdaptivePatternAutomaticDefectEnhancementMatchingClassificationClassifiedDefectsHostNanovision©6.TypicalApplicationCase典型应用案例

TypicalApplicationCase典型应用案例：前端市场：

AutomaticLCD/FTFInspectionSystem(LCD/TFTAOI)

AutomaticScreenInspectionSystem(ScreenAOI)

AutomaticshadowmaskInspectionSystem(ShadowMaskAOI)后端市场：

导光板质量检测

手机玻璃盖板质量检测

手机模组质量检测工业部件检测：

电阻应变片检测

被动元器件材料检测Nanovision©6.TypicalApplicationCase典型应用案例

AutomaticLCD/FTFInspectionSystem(LCD/TFTAOI)Nanovision©6.TypicalApplicationCase典型应用案例

AutomaticScreenInspectionSystem(ScreenAOI)Nanovision©6.TypicalApplicationCase典型应用案例

AutomaticshadowmaskInspectionSystem(ShadowMaskAOI)Nanovision©6.TypicalApplicationCase典型应用案例

导光板质量检测Nanovision©6.TypicalApplicationCase典型应用案例

手机玻璃盖板质量检测：Nanovision©6.TypicalApplicationCase典型应用案例

手机模组质量检测（A）flexible電路板SourcePWBControlPWB間隔橡膠GatePWBGate信號液晶注ASIC面板口封口處ConnecterNanovision©6.TypicalApplicationCase典型应用案例

手机模组质量检测（B）MuraInspectionisthekey,1x

a

y

bf

(

x

,

y

)

L

2

(

R

),

cwt

(

s

,

a

,

b

)

f

(

x

,

y

)

(,)

dx

dy(timedomain)sssCWT

(

s

,

w1,

w

2

)

s

F

(

w1,

w

2

)

(

sw

1,

sw

2

)(frequencydomain)Nanovision©6.TypicalApplicationCase典型应用案例

电阻应变片检测Nanovision©6.TypicalApplicationCase典型应用案例

被动元器件材料检测断线缺损图案缺损网版划伤Nanovision©6.FutureWork将来的工作

自适应算法将来要解决的主要问题：

对规律性不强的影像处理

影像检测缺陷的自动分类问题

现有算法在SmartCamera或FPGA/DSP上实现的可能性

人工神经网计算的快速收敛和加速问题

人工智能（AI）在模式识别和工业自动化检测中的应用前景Nanovision©6.FutureWork将来的工作2015200920142021&Beyond2020•DynamicallyReconfigurableProcessorswilldisplaceFPGAs•Old-to-newtechnologyreplacements(highersensorresolutionandcapturespeed)•Multi-spectral(UVtoshortIR)sensorswillgainindustrialinterestandapplications•Embedded,industry-orientedsystemswillreplacePC-basedsystemsinthereplacement•Analoguecamerasystemswillbereplaced•Multi-spectralsensorswillgoclosertolongIRwavelengths(closeto8microns)andwillbelimitedbylensmaterial•Theneedforframegrabberswilldecrease•CMOSsensorswillgainadvantageoverCCDsduetolowerpowerconsumption,lowerpriceandhigherspeed•Industrialvisionsystemswillbecomeindispensablepartofflexibleautomationsystems•Machinevisionwillbeanintegralcontrolandguidancesolutionofrapidmanufacturingsystems•Highaccuracymeasurementsin3Dandrealtimewillbepossible•Machinevisionwillaidstatisticalanalysis,diagnosticsandmaintenanceinfactories•Machinevisionsystemswillaidrapidmanufacturing•Visionsystemswillfindsafetyapplicationinfactoriesvisionsystemswillbecommon•Cycletimeofvisionguidedrobotsshallfallbelow1secondenablingflexibleandfastrobotoperation•Autonomousrobotswillusevisionsystemsforhumanandobstacledetection,objecttracking,navigationandlocalization•Visionguidedrobotswilldecreasecycletime•Visualservoingwillenable