CN119492737A 基于边缘场和深度学习的检查方法 （康耐视公司）

202110379223.32021.04.08根据本公开的一实施例，公开缺陷检查装体表面透射按照区域具有不同照度的照明图案查对象物体表面透射按照区域具有不同照度的因所透射的上述照明图案而在物体表面的至少于深度学习的模型判断上述检查对象物体表面2照明系统，以向检查对象物体表面透射按照区域具有不同照度的照明图案的方式设通过控制上述照明系统，来使得上述照明系统向上述检查对象物体表面过控制上述多个光源中的每个光源的操作来向上述检查对象的物体表面透射按照区域具照度变化区域覆盖上述检查对象物体表面的至少的模型输入在互不相同的照明图案下获取的多个图像数据来判断检查对象物体表面的缺上述照明板形成一区域冲孔的形态，以使得从位于上部层的照明板透射的光3控制照明系统，以使得以透射不同照明图案的方式设计的照上述边缘场是，在上述检查对象物体的表面形成光源像时，控制照明系统，以使得以透射不同照明图案的方式设计的照上述边缘场是，在上述检查对象物体的表面形成光源像时，4[0005]在韩国授权专利第10_1517929号(发明名称：可不间断检查部件的高速机器人视图装置)中公开了如下的装置：利用配置于检查对象物的外侧的多关节机器人拍摄上述检[0007]用于实现如上所述的目的的本公开一实施例的缺陷检查统，来使得上述照明系统向上述检查对象物体表面透射按照区域具有不同照度的照明图上述基于深度学习的模型判断上述检查对象物个光源中的每个光源的动作来向检查对象物体表面透射按照区域具有不同照度的照明图5照明图案以包括照度的剧烈变化的照度变化区域覆盖上述检查对象物体的表面的至少一在互不相同的照明图案下获取的多个图像数据来判断检查[0017]在用于实现如上所述的目的的本公开一实施例的存储有判断在检查对象物体表[0018]用于实现如上所述的目的的本公开一实施例的用于检查检查对象物体表面是否[0023]图3c及图3d为将本公开一实施例的根据可变扩散器的动作状态透射检查对象物[0026]图6为例示本公开一实施例的处理器通过控制可变扩散器的透明度来调节光的扩[0027]图7为例示本公开再一实施例的处理器通过控制可变扩散器的配置来调节光的扩6[0028]图8为示出本公开一实施例的按照区域控制用于缺陷检查装置的可变扩散器的例[0029]图9为例示本公开一实施例的处理器控制可变扩散器的透明度的情况下变化的透表面特性控制可变扩散器的透明度并由此获取的图[0032]图17为示出本公开一实施例的适用于缺陷检查装置的照明系统中包括的多个光[0033]图18为本公开一实施例的通过缺陷检查装置的照明系统向检查对象物体表面透[0036]图21为本公开一实施例的缺陷检查装置标记在检查对象物体中存在的缺陷位置行的应用程序及计算装置均可以为组件。一个以上的组件可驻留在处理器和/或执行线程一个组件的数据和/或通过信号，与其他系统通过如互联网的网络的数据)通过本地和/或7[0042]普通技术人员还需认识到与在此公开的实施例关联来说明的各种例示形逻辑块、系统赋予的特定应用程序(application)及设计限制有关。普通技术人员可体现为了各个[0043]与所公开的实施例有关的说明用于使本公开所属技术领域的普通技术人员利用[0044]在本说明书中，向物体透射的光的扩散度高是指可变扩散器的透明度低的状[0046]图1为示出本公开一实施例的用于判断在检查对象物体是否具有异常的缺陷检查[0047]图1所示的缺陷检查装置100的结构仅为简要示出的例示。在本公开的一实施例processingunit)、通用图形处理器(GPGPU，generalpurposegraphicsprocessing8可擦可编程只读存储器(EEPROM，ElectricallyErasableProgrammableRead_Only[0051]本公开一实施例的网络130可使用如公用电话交换网(PSTN，PublicSwitched[0052]并且，在本说明书中公开的网络130可使用如码分多址(CDMA，CodeDivisionMultiAccess)、时分多址(TDMA，TimeDivisionMultiAccess)、频分多址(FDMA，FrequencyDivisionMultiAccess)、正交频分多址(OFDMA，OrthogonalFrequency[0055]本公开一实施例的缺陷检查装置100可被后述的结构要素体现来检查检查对象物用于将光向检查对象物体造影；以及可变扩散器300，位于上述光源与检查对象物体10之[0057]处理器110以检查对象物体10的特性为基础控制可变扩散器，上述检查对象物体9[0060]上述边缘场的预设距离d(附图标记12)包括比在检查对象物体10表面形成并照射像的光源区域11是指根据检查对象物体表面的特性透射光的光源本身的形状直接显示在检查对象物体表面的情况的光源形状。光源的形状根据光源的形态包括如圆形的光源形[0061]总之，边缘场指包括从上述光源区域11和光源的中心隔开预设距离d(附图标记在重要度相对低的检查过程或仅检查规定大小以上的缺陷也充足的情况下，处理器110可镜面的以特定角度正反射所入射的光的检查对象物体10的表面中检测出包括划痕、高度[0067]本公开一实施例的缺陷检查装置100以检查对象物体10的特性为基础控制可变扩的光不扩散的边缘场光学系统(参照图3A)及向检查对象物体透射的光扩散的通用光学系[0068]在本公开一实施例的缺陷检查装置100的照明系统200中包括的上述可变扩散器本公开的另一实施例，缺陷检查装置100的照明系统200所包括的上述可变扩散器300可根据处理器的控制信号调节配置状态来调节向检查对象物体10透射的光的[0069]图4示出本公开一实施例的缺陷检查装置100所包括的照明系统200的照明板及可[0070]为了调节向检查对象物体10透射的光的扩散度，可变扩散器300能够以通过处理可变扩散器300能够以通过处理器110的电信号变更配置的[0071]在缺陷检查装置100的照明系统200所包括的可变扩散器300中，透明度根据所施子可平行地排列在光的移动路径。在此情况下，从照明板透射的光当通过可变扩散器300[0073]根据上述电信号调节光的扩散度的可变扩散器300可由通过电信号调节其透明度[0074]本公开一实施例的缺陷检查装置100的照明系统200所包括的可变扩散器300还能够以根据处理器110的电信号调节三维空间中的配置的方式[0076]图7的(a)部分为为了将通过处理器的电信号而使可变扩散器300向检查对象物体处理器的电信号提高可变扩散器300向检查对象物体10透射的光的扩散度而向光源与检查[0077]在上述图7中说明的可变扩散器的空间配置变更方法仅为一例示，为了无限制地调节向检查对象物体透射的光的扩散度，本公开包括变更可变扩散器300的空间配置的方[0079]本公开一实施例的缺陷检查装置100的照明系统200所包括的可变扩散器300可将通过处理器110的控制信号向对象物体表面的各个区域透射的光的扩散度调[0080]在为了调节向检查对象物体10透射的光的扩散度而使处理器110利用电信号来控制透明度的可变扩散器300的情况下，可按照区域将可变扩散器300的透明度控制得不同。态300a的一区域和向检查对象物体10透射的光的扩散度调节得高的状态300b的其他区域来按照区域控制可变扩散器300。上述处理器110按照区域可变扩散器300是指可将可变扩散器300的至少一区域和其他区域的透明度控制得不同。以与上述至少一区域不同的透明散器300的按照区域的透明度控制，可根据检查对象物体10的表面按照区域一次性构成所[0081]在为了调节向检查对象物体10透射的光的扩散度而处理器110调节可变扩散器的配置状态的情况下，处理器可将上述可变扩散器300仅位于光源与检查对象物体的一部分[0082]本公开一实施例的缺陷检查装置100可包括用于获取图像数据的拍摄部。处理器通过从拍摄部获取的图像数据以识别检查对象物体的表面特性来识别的物体为基础确定[0083]图9示出本公开一实施例的由缺陷检查装置100所包括的液晶膜形成的可变扩散9的(b)部分例示将向检查对象物体10透射的光的扩散度调节得高的状态3别指相同检查对象物体表面中的相同线。在图10B例示与沿着上述线测定的检查对象物体节得低的状态下沿着显示在图像数据中的部分3a测定照度分布的情况(参照图10B的(a)部分)的照度比在向检查对象物体10透射的光的扩散度调节得高的状态下沿着显示在图像数[0085]在本公开的一实施例中，上述处理器110从通过上述拍摄部获取的图像数据识别[0086]上述处理器当做基础的物体表面的光的反射率可包括反射物体表面由光滑的材[0088]图11至图16为示出本公开一实施例的通过可变扩散器调节光的扩散度的情况下的(a)部分)为通过可变扩散器300将向检查对象物体10透射的光的扩散度调节得低的环境中拍摄的图像数据的例示，各个附图的右侧图像300将向检查对象物体10透射的光的扩散度调节得高的环境中拍摄的图像数据的例示。如示出的缺陷部分的识别可能性可不同。本公开一实施例的缺陷检查装置100可根据检查对[0092]图13为在制造工序过程中检查对象物体沾上透明材质的胶(glue)的情况下的图像数据。在作为所透射的光的扩散度低的状态的在图13的(a)部分标记的部分3a示出存在于检查对象物体表面的胶。若观察作为所透射的光的扩散度高的状态的图13的(b)部分中[0093]图14为在检查对象物体10的表面存在凹痕印记缺陷的情况下的例示性图像数可确认，在所透射的光的扩散度低的状态下的部分3a的缺陷周围的光的变化比在所透射的光的扩散度高的状态下拍摄的图像数据(参的扩散度低的状态下拍摄的图像数据(参照图15光的扩散度高的状态下拍摄的图像数据(参照图散度低的状态下拍摄的图像数据(参照图16的(a扩散度高的状态下拍摄的图像数据(参照图16的(b)部区域所需的光的扩散度与剩余其他区域不同的情况下，上述处理器110可按照区域控制上个互不相同的透明度的方式进行控制。在此情况下，为了按照区域控制上述可变扩散器的检查对象物体表面的区域为具有光泽材质的手机屏幕和具有无光泽材质的手机边框的或具有两者之间的任意透明度的状态中确定检查所需的透明度状态，并可控制可变扩散需的透明度状态仅以一个透明度状态检查检查对象物体表面的缺陷。并且，在处理器110处理器执行多次的将可变扩散器300控制成透明度低的状态、高的状态或两者之间的任意[0100]处理器110可利用包括检查对象物体表面的图像数据判断在检查对象物体是否存用基于深度学习的模型从图像数据对存在于检查对象物体表面的缺陷进[0101]在本公开的一实施例中，存在于存储器120的基于深度学习的模型可以为为了对[0102]处理器110通过上述基于深度学习的模型输入图像数据，并可输入在所输入的检查对象物体的图像中是否存在缺陷。处理器110还可利用基于深度学习的模型分类是否具限位框(boundingbox)。处理器110可利用用于提供分割结果而学习的基于深度学习的模此之外区域的像素并在输出图像数据中标记据，处理器110可利用上述基于深度学习的模型的一个以上的子模型判断上述图像数据中上述基于深度学习的模型的第一子模型输入所获取的非扩散光图像数据来判断上述图像数据所包括的检查对象物体的缺陷，在上述可变扩散器的透明度扩散所透射的光的情况合与边缘场相关的图像数据和基于深度学习的模型来迅速且容易地检查更多种物体表面所包括的上述可变扩散器300的透明度并将所通过的光的扩散度维持得低的状态(参照图5体10的表面存在包括照度的剧烈变化的区域为前体，说明处理器110的追加控制及根据其[0106]处理器110可获取在物体表面上包括通过照明系统200透射的照明图案的图像数着规定间隔形成圆形或椭圆形且多个上述圆形或椭圆形线形成同心圆关系来散布在同一间隔包括多个光源的情况下，能够以最小的数量形成检查检查对象物体所需的照明图案，[0108]本公开一实施例的照明系统200包括多个光源，可通过控制多个光源各自的动作来透射不同的照明图案。具体地，可单独点灭照明系统中的多个光源中的任意一个光源[0109]本公开一实施例的照明系统200可由多个光源构成，上述多个光源可由至少两个[0113]可控制上述照明系统200，由此向检查对象物体表面透射照度按照区域不同的照通过中隔光源的总开/关(ON/OFF)向检查对象物体10表面透射。在多个光源以相同间隔均[0115]在图18的例示中，暗区域和亮区域为示出用于构成照明图案的光源的组的例照明图案为线形可以为与第一组的光源411与第二组的光源412交叉投射的检查对象物体第二组的光源412可通过处理器相互变更光源的发光状态来被控制。作为照明图案的追加[0116]如上所述的照明图案的宽度或间隔可分别控制多个光源或按照组控制多个光源,理器向基于深度学习的模型输入多个互不相同的上述图像数据来检查在检查对象物体表面523用于说明分别将上部照明板与下部照明板重叠时的截面。在图20公开了与所重叠的[0126]处理器110可通过照明系统获取与所透射的互不相同的各个照明图案有关的图像器110能够以包括不同照明图案的多个图像数据为基础判断检[0127]处理器110可利用包括检查对象物体表面的图像数据判断在检查对象物体是否存用基于深度学习的模型从图像数据对存在于检查对象物体表面的缺陷进[0128]图21为处理器110从包括检查对象物体10表面的图像数据检测存在于检查对象物[0129]在本公开的一实施例中，处理器110可从图像数据仅提取边缘场部分并向基于深度学习的模型输入。处理器110可将图像数据分割为补丁并以补丁的按照像素的像素值为3×3矩阵正中心的像素具有高于周围像素的照度值的情况下，处理器110可利用成为边缘[0131]在另一实施例中，处理器110提取多个边缘场补丁后，比较各个补丁所包括的区[0132]在本公开的一实施例中，处理器110可向基于深度学习的模型输入图像数据和元化的部分有关的信息。处理器110可向基于深度学习的模型输入边缘场的位置信息和图像图像数据中心的光源区域的中心以放射形延伸的线隔开规定距离的像素之间的照度值差基于深度学习的模型输入强调示出照度的剧烈变化的区域的元数据和上述图像数据的情系统来在之前未覆盖的区域生成边缘场，处理器110可向检查对象物体表面的其他区域透所设置的阈值设置为100％的情况下，若判断执行提取边缘场的运算后所提取的边缘场区域的面积之和无法覆盖检查对象物体的整个表面，则处理器110通过控制照明系统来向不表面在除已利用边缘场覆盖的区域之外的其他区域具有照[0136]在本公开的一实施例中，处理器110向检查对象物体透射互不相同的照明图案来[0138]如上所述，处理器110向基于深度学习的模型输入包括边缘场的检查对象物体的[0139]本公开实施例的缺陷检查装置所包括的处理器110可包括从所述的图像数据再次以向与上述输出节点相连的输入节点输入的值及与各个输入节点相应的链接中设置的加(layer)。构成神经网的节点中的一部分能够以距初始输入节点的距离为基础构成一个层层的定义为了说明而任意定义的，神经网中的层的顺序可通过与上述说明不同的方法定[0145]初始输入节点可意味着在神经网中的节点中的与其他节点额关系汇总不经过链network)、自编码器(autoencoder)、生成式对抗网络(GAN，GenerativeAdversarial[0149]神经网络可通过监督学习(superlearning)、半监督学习(semisupervisedlearning)或强化学习(reinforcementlearning)中的至少一个方式学习。神经网络的学习可以为向神经网络适用神经网络用于况下的学习数据可以为在各个学习数据标记类别的数据。向神经网络输入标记的学习数个节点的连接加权值的变化量可根据学习率(learningrate)确定。与输入数据有关的神经网络的计算与误差的反向传播可构成学习周期(epoch)。学习率可根据神经网络的学习与实际数据的误差增加的学习周期。过度拟合(overfitting)为如上所述的过多的学习学就可知，本公开与可在一个以上的计算机上运行的计算机可运行指令和/或其他程序模块储装置或其他磁性存储装置或可通过计算机访问并用于存储所要的信息的任意其他介质，读传输介质包括如有线网络或直接接线联接(direct_wiredconnection)的有线介质以及只读存储器1110及随机存取存储器1112.基本输入输出系统(BIOS)存储在只读存储器、可[0160]计算机1102还包括内置型硬盘驱动器(HDD)1114(例如，增强形电子集成驱动器等的其他高容量光介质读取或向其写入)，上述内置型硬盘驱动器1114还可在适当的机架[0162]包括操作系统11130、一个以上的应用程序1132、其他程序模块1134及程序数据[0164]显示器1144或其他类型的显示装置也可通过显示适配器1146等的接口与系统总[0165]计算机1102可通过使用经由有线和/或无线通信的(多个)远程计算机1148等的一公室及公司是常见的，促进了内联网等的企业级计算机网络(enterprise_widecomputer[