CN112567384B 用视觉系统在图像中查找图案并对图案进行分类的系统和方法 （康耐视公司）

US9349076B1,2016.05.242021.03.262021.01.15PCT/US2019/0358402019.06.06WO2019/236885EN2019.12.12用视觉系统在图像中查找图案并对图案进本发明提供了一种用于在图像中查找图案神经网络分类器通知图案查找工具只在最初训2所述训练的神经网络分类器基于所述零件的运行时间图像确定与所述一个或多个模2.根据权利要求1所述的系统，其中，所述图案查找工具适于使用多个所述模板来训神经网络，所述神经网络训练为在所述制造过程中的补形状的概率，并且由此生成(a)具有超过概率阈值的所述一个或多个候选形状的特征的征的存在；案查找工具，以在(a)所述加权掩模或(b)所述重建图像中查找到所述一个或多个候选形其中，所述神经网络向所述图案查找工具提供关于所述一神经网络，所述神经网络训练为在所述制造过程中的补形状的概率，并且由此生成(a)具有超过概率阈值的所述一个或多个候选形状的特征的征的存在；3其中，所述神经网络向所述图案查找工具提供关于所述一生成(a)具有超过概率阈值的所述一个或多个候选形状的特征的加述神经网络识别超过所述概率阈值的所述一个或多个候选形状的特征的存利用图案查找工具在(a)所述加权掩模或(b)所述重建的图像中查找所述一个或多个其中，从所述神经网络向所述图案查找工具提供关于所述一神经网络，所述神经网络训练为在所述制造过程中的其中，所述神经网络向所述图案查找工具提供关于所述一神经网络，所述神经网络训练为定位所述制造过程中状的特征的存在；其中，所述神经网络向所述图案查找工具提供关于所述一4制造过程提供数据/信息。图像产生的数据通常由一个或多个视觉系统处理器中的视觉系[0004]希望提高传统图案查找工具的性能，这些工具可包括预定的可搜索图案列表(例络可用于基于图像中每个像素属于待匹配图案的可能性来计算该像素的加权值。类似地，于与包含感兴趣图案的一个或多个训练图像相关的一个或多个模板训练该图案查找工具。配，或者(b)训练图案查找工具将从运行时间图像查找到的图案提供给训练的神经网络分5运行时间操作期间识别图像中存在一个或多个形状的概率。神经网络由此生成(a)具有超个或多个模型来训练图案查找工具，以在(a)加权掩模和/或(b)重建的图像中查找到一个[0009]图1为视觉系统的示意图，该视觉系统布置为使用图案查找工具结合神经网络分[0010]图2为示出智能图案查找工具的训练过程的框图，该智能图案查找工具包括在一个或多个图像模板的相同集合上训练的神经网络分类器和图案[0011]图3为使用图2的训练的智能图案查找工具对输入图像进[0012]图4为示出智能图案查找工具的训练过程的框图，该智能图案查找工具包括在单个模板的一个或多个图像上训练的神经网络分类器和图案[0013]图5为使用图4的训练的智能图案查找工具对输入图像进[0016]图8为示出使用由图7的神经网络过程提供的图像结果的图案查找工具的运行时[0018]图10为示出根据图9处理示例性感兴趣形状和包含感兴趣形状和感兴趣形状模型[0019]图11为示出使用根据图5的神经网络来重建或清理获取的图像数据中的感兴趣形[0020]图12为示出处理包含感兴趣形状的示例性获取的图像数据以生成根据图11的该形状的重建的和/或清理后的版本(例如作为二值图像)6[0023]相机组件110和相关的传感器S互连到视觉系统处理器140，该视觉系统处理器可[0024]说明性地，视觉系统处理(处理器)140操作各种视觉系统工具和相关软件/固以在运行时间期间操纵和分析对象130的获取和/或存储的图像。处理(处理器)140可训练设备或处理(处理器)180。这种设备或处理(处理器)可包括装配机器人控制器、生产线检[0030]更具体地，在训练时间，在一个或多个模板图像上训练传统的图案查找工具2207经网络分类器(例如卷积神经网络(CNN))230。神经网络分类器230训练成处理输入图像并在输入运行时间图像(由相机110获取和/或通过先前获取而存储)320上运行，并确定每个合模板340的子集作为搜索参数提供给训练图案查找工具350。将输入图像320提供给图案[0033]可使用上述训练过程和运行时间过程200和300的示例性查找到的标签集。利用这些信息，系统可通知图案查找工具(例是否已经查找到正确的/匹配的图案560。分类器510的输出是查找到训练模板的总体置信圆形与带有凹口的圆形。假设传统的图案查找工具(例patMax8)350是在模板图像上训练像以及从传统图案查找工具的输出计算的可选边界框馈送到训练的神经网络分类器510，8[0039]参考图6，示出了根据可由图1的装置100实现的另一个示例性实施例的智能图案相关分数的候选列表。然后，基于分数，过程600将常规的图案查找工具(例如patMax8[0041]在图7的过程700的步骤710中描述了训练神经网络以识别某些形状。一旦进行了提供(例如作为掩模)给图案查找工具——从图案查找工具操作的图像结果中屏蔽掉看起状类型信息允许图案查找工具将其在概率图像中(在选定位置)的搜索专门缩小到由这些经网络来初始筛选图像是有用的，因为神经网络本质上以更直接的方式基于概率重建图形状相关的基于模型的模板训练)从神经网络接收概率图像(掩模)和(可选地)接收关于图[0044]进一步参考图9，其示出了用于创建和使用与获取的图像中的感兴趣形状相关的9加权掩模930中的数据输出图像950内感兴趣形状的位置和附[0045]图10的图表1000中描绘了过程900。感兴趣的示例性形状1010示出为具有连续边在获取的图像与预期形状之间的其它基于失真的差异。如本文所述，感兴趣的形状数据适当地使用和/或可选地再次输入到模型训练图案查找工具1160(与块1140相同的工具或1160的输出是图像1110中感兴趣形状的精细[0047]作为过程1100的示例，图12的图表1200示出了图像中的两个输入形状1210和络可用于有效地提供图像数据中不完整或失真形状的清除和/或重建，这可允许在下游操作(包括使用上述图案查找工具或另一种合适的工具的图案查找)中更有效地使用这种数据。如图所示，该形状可以表示为具有与预期/模型形状的边界相称的界限分明的二值图[0049]应该清楚的是，上述系统和方法使用传统图案匹配应用和神经网络分类器的组等，仅用作相对惯例，而不是相对于固定坐标空间(例如重力的作用方向)的绝对方向/设范围内以获得期望结果的量，但包括由于系统允许公差(例如1％-5％)内的固有不准确性