CN114331944B 人工智能瑕疵图像分类方法及其系统 （财团法人工业技术研究院）

(19)国家知识产权局(12)发明专利(10)授权公告号CN114331944B(65)同一申请的已公布的文献号(73)专利权人财团法人工业技术研究院地址中国台湾新竹县专利权人菱生精密工业股份有限公司沈志明沈敬翔庄亚晋杨泓昱吕景隆(74)专利代理机构北京市柳沈律师事务所BO7C5/02(2006.01)US2019180430A1,2019.审查员许瑞雪人工智能瑕疵图像分类方法及其系统本发明提供一种人工智能瑕疵图像分类方法与其系统。该方法包括：利用传送单元传送微机电麦克风产品至特定位置；利用定位单元定位该微机电麦克风产品；利用第一图像采集单元扫描该微机电麦克风产品以采集待测图像；将该待测图像与多个参考图像进行比对，根据比对结果判断该待测图像的瑕疵分类；根据该比对结果将传送微机电麦克风产品至特定位置，并定位微机电麦克风产品扫描微机电麦克风产品以采集待测图像将待测图像与多个参考图像进行比对，并根据比对结果判断待测图像的瑕疵分类根据比对结果将瑕疵区域标示在待测图像上根据瑕疵分类将微机电麦克风产品分类存放21.一种人工智能瑕疵图像分类系统，用于检测微机电麦克风产品，该系统包括：传送单元，传送该微机电麦克风产品至特定位置；定位单元，定位该微机电麦克风产品；第一图像采集单元，扫描该微机电麦克风产品以采集待测图像；处理单元，耦接该传送单元、该定位单元、该第一图像采集单元及该存储单元，该处理图像识别模块，将该待测图像与所述参考图像进行比对，根据比对结果判断该待测图像的瑕疵分类；瑕疵标示模块，根据该比对结果将瑕疵区域标示在该待测图像上；以及产品分类模块，根据该瑕疵分类将该微机电麦克风产品分类存放，其中在利用该传送单元传送微机电麦克风产品至特定位置之前，该处理单元经配置利用X光检测系统检查该微机电麦克风产品是否包括芯片；以及若该微机电麦克风产品包括该芯片，包括：利用加热单元去除该微机电麦克风产品的封盖，以露出该微机电麦克风产品内部的芯片封装结构；利用第二图像采集单元扫描该芯片封装结构以采集初筛图像；判断该初筛图像是否具有预设瑕疵；若该初筛图像不具有该预设瑕疵，利用该第一图像采集单元采集该待测图像，以判断若该初筛图像具有该预设瑕疵，直接将该微机电麦克风分类至芯片瑕疵的瑕疵分类。2.根据权利要求1所述的人工智能瑕疵图像分类系统，其中该第一图像采集单元包括扫描电子显微镜、超声波扫描显微镜及X光检测系统中的至少一个。3.根据权利要求1所述的人工智能瑕疵图像分类系统，其中该待测图像的解析度小于或等于1纳米。4.根据权利要求1所述的人工智能瑕疵图像分类系统，其中该待测图像相对于该微机电麦克风产品的图像放大倍率介于10～20万倍之间。5.根据权利要求1所述的人工智能瑕疵图像分类系统，其中该瑕疵分类包括球型接线6.根据权利要求1所述的人工智能瑕疵图像分类系统，其中所述参考图像为第一图像其中该处理单元通过瑕疵标示模块标示及分类所述参考图像的目标边界框后，将所述目标边界框以第二图像格式存储，其中该第一图像格式不同于该第二图像格式。7.根据权利要求1所述的人工智能瑕疵图像分类系统，其中该待测图像反映该微机电麦克风产品的芯片封装结构。8.根据权利要求1所述的人工智能瑕疵图像分类系统，其中该系统还包括：该X光检测系统、该加热单元以及该第二图像采集单元，该X光检测系统、该加热单元及3该第二图像采集单元耦接该处理单元。9.一种人工智能瑕疵图像分类方法，用于检测微机电麦克风产品，该方法包括：利用传送单元传送该微机电麦克风产品至特定位置；利用定位单元定位该微机电麦克风产品；利用第一图像采集单元扫描该微机电麦克风产品以采集待测图像；将该待测图像与多个参考图像进行比对，根据比对结果判断该待测图像的瑕疵分类；根据该比对结果将瑕疵区域标示在该待测图像上；以及根据该瑕疵分类将该微机电麦克风产品分类存放，其中在利用该传送单元传送微机电麦克风产品至特定位置之前，还包括：利用X光检测系统检查该微机电麦克风产品是否包括芯片；以及若该微机电麦克风产品包括该芯片，包括：利用加热单元去除该微机电麦克风产品的封盖，以露出该微机电麦克风产品内部的芯片封装结构；利用第二图像采集单元扫描该芯片封装结构以采集初筛图像；判断该初筛图像是否具有预设瑕疵；若该初筛图像不具有该预设瑕疵，利用该第一图像采集单元采集该待测图像，以判断若该初筛图像具有该预设瑕疵，直接将该微机电麦克风分类至芯片瑕疵的瑕疵分类。10.根据权利要求9所述的人工智能瑕疵图像分类方法，其中该第一图像采集单元包括扫描电子显微镜、超声波扫描显微镜及X光检测系统中的至少一个。11.根据权利要求9所述的人工智能瑕疵图像分类方法，其中该待测图像的解析度小于或等于1纳米。12.根据权利要求9所述的人工智能瑕疵图像分类方法，其中该待测图像相对于该微机电麦克风产品的图像放大倍率介于10～20万倍之间。13.根据权利要求9所述的人工智能瑕疵图像分类方法，其中该瑕疵分类包括球型接线14.根据权利要求9所述的人工智能瑕疵图像分类方法，其中所述参考图像为第一图像通过瑕疵标示模块标示及分类所述参考图像的目标边界框后，将所述目标边界框以第二图像格式存储，其中该第一图像格式不同于该第二图像格式。15.根据权利要求9所述的人工智能瑕疵图像分类方法，其中该待测图像反映该微机电麦克风产品的芯片封装结构。4技术领域[0001]本发明涉及一种人工智能瑕疵图像分类方法及人工智能瑕疵图像分类系统。背景技术[0002]从十九世纪初开始，工业生产的方式从人工逐渐转变为机械化。而微型电子计算机在十九世纪中问世后，人们开始利用它来进行一些简单的自动控制，使得工业界再次兴起新的革命。随着工业生产欲提升产量、速度、精准度之需求，人类开始大量投入自动化生产流程的开发。此外，人工智能(ArtificialIntelligence,AI)构想的崛起，使得人们开始思考该如何才能让自动化系统中的机器学会“感受”人类眼中看见的世界，进而能够学习人类的行为模式对事物进行判定。[0003]直至今日，机器视觉已成为工业自动化系统的重要组成之一。机器视觉系统(MachineVision)是一个能自动输出控制信号的图像识别分析器。机器视觉系统如同人类的双眼及大脑，其运用微型电子计算机强大的运算能力，对取得的图像进行适当的分析识别，并得到控制信号的输出以作为控制机器的参数之一。过去品管检测多为人工完成。然而，由人工进行品管检测可能有以下缺点：工人长期处于工作的状态下容易因不堪负荷而降低品管检测的良率；耗费大量的人力资源及检测时间等成发明内容[0005]本发明提供一种人工智能瑕疵图像分类方法与其系统，提供自动化图像检测，并提升瑕疵图像检测的准确率。[0006]本发明提供一种人工智能瑕疵图像分类系统，用于检测微机电麦克风产品。该系微机电麦克风产品至特定位置。定位单元定位该微机电麦克风产品。第一图像采集单元扫描该微机电麦克风产品以采集待测图像。存储单元存储多个模块及多个参考图像。处理单元耦接该传送单元、该定位单元、该第一图像采集单元及该存储单元，该处理器执行所述模块。所述模块包括：图像识别模块，将该待测图像与所述参考图像进行比对，根据比对结果判断该待测图像的瑕疵分类；瑕疵标示模块，根据该比对结果将瑕疵区域标示在该待测图像上；产品分类模块，根据该瑕疵分类将该微机电麦克风产品分类存放。[0007]本发明提供一种人工智能瑕疵图像分类方法，用于检测微机电麦克风产品。该方法包括：利用传送单元传送该微机电麦克风产品至特定位置；利用定位单元定位该微机电麦克风产品；利用第一图像采集单元扫描该微机电麦克风产品以采集待测图像；将该待测图像与多个参考图像进行比对，根据比对结果判断该待测图像的瑕疵分类；根据该比对结果将瑕疵区域标示在该待测图像上；以及根据该瑕疵分类将该微机电麦克风产品分类存5放。[0008]基于上述，本发明实施例提供的人工智能瑕疵图像分类方法与其系统通过待测图像与参考图像的相互比对判断待测图像所属的瑕疵分类，进而根据瑕疵分类将待测图像对应的待测物分类存放。附图说明[0009]图1是根据本发明一范例实施例所绘示的人工智能瑕疵图像分类系统的示意图。[0010]图2是根据本发明一范例实施例所绘示的人工智能瑕疵图像分类方法的流程图。[0011]图3是根据本发明一范例实施例所绘示的人工智能瑕疵图像分类系统的示意图。[0012]图4是根据本发明一范例实施例所绘示的初步筛选操作的示意图。具体实施方式[0013]现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同元件符号在图式和描述中用来表示相同或相似部分。[0014]图1是根据本发明一范例实施例所绘示的人工智能瑕疵图像分类系统的示意图。[0015]请参照图1,人工智能瑕疵图像分类系统100包括传送单元110、定位单元120、图像采集单元130、存储单元140以及处理单元150。处理单元150耦接于传送单元110、定位单元120、图像采集单元130以及存储单元140。[0016]传送单元110用以传送待测物至特定位置。待测物例如为麦克风产品，本发明不在此限制。在一范例实施例中，传送单元110可以输送台面来实作。举例来说，处理单元150会控制输送台面，以将待测物传送至特定位置。特别是，特定位置可为图像采集单元130的镜头的下方，以利后续图像采集单元130对待测物进行图像扫描。或者是，特定位置可为方便检测者拿取待测物的位置。检测者可从特定位置拿取待测物，并放置待测物于图像采集单元130的镜头的下方以进行图像扫描。[0017]定位单元120用以定位待测物。在一范例实施例中，定位单元120包括固定元件以定位并固定待测物。固定元件可具有凹槽，该凹槽有足够的空间供待测物放置。举例来说，定位单元120设置于图像采集单元130的镜头的下方。处理单元150可控制传送单元110将待测物传送至特定位置，并且定位单元120在该特定位置自动定位待测物。或者是，检测者可从特定位置拿取待测物并放置待测物于图像采集单元130的镜头的下方，并使用定位单元120定位待测物。[0018]图像采集单元130(亦称为，第一图像采集单元)用以扫描待测物以采集待测物的图像。在一范例实施例中，图像采集单元130可采用扫描电子显微镜(ScanningElectronMicroscope,SEM),以扫描待测物的表面图像作为待测图像。利用扫描电子显微镜扫描出的待测图像具有高解析度，其解析度高于一般光学图像采集装置所采集的图像的解析度。例如，待测图像的解析度可小于或等于1纳米(nm),并且相对于待测物的图像放大倍率会介于10～20万倍之间。然而，图像的解析度或放大倍率可根据所采用的扫描电子显微镜不同而具有更高或更低的解析度，本发明不在此限制。[0019]在另一范例实施例中，图像采集单元130亦可采用超声波扫描显微镜(ScanningAcousticTomography,SAT)或X光检测系统等可穿透一定厚度的固态与液态物质并获取物6体内部图像的装置，以扫描待测物的内部图像作为待测图像。[0020]存储单元140用以存储各类模块以及运行人工智能瑕疵图像分类系统100时的各类必要数据及代码。存储单元140可以是固定或可移动的随机存取存储器(randomaccess存储有图像识别模块141、瑕疵标示模块142以及产品分类模块143。此外，存储单元140还存储多个参考图像144。[0021]图像识别模块141会将待测图像与参考图像144进行比对，并根据比对结果判断待测图像的瑕疵分类。瑕疵标示模块142会根据比对结果将瑕疵区域标示在待测图像上。产品分类模块143会根据瑕疵分类将待测物分类存放。如何通过图像识别模块141、瑕疵标示模块142与产品分类模块143完成人工智能瑕疵图像分类系统100的作业将于后方进行说明。[0022]处理单元150耦接于存储单元140,用以存取存储单元140中的数据以执行人工智能瑕疵图像分类系统100的各类运作。特别是，处理单元150会执行前述的图像识别模块141、瑕疵标示模块142以及产品分类模块143,以执行本发明提供的人工智能瑕疵图像分类方法。处理单元150可以是中央处理器(CentralProcessingUnit,CPU),或是其他可编程的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(DigitalSignalProcessor,DSP)、可编程控制器、专用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)或其他类似元件或上述元件的组合，本发明不在此限制。[0023]图2是根据本发明一范例实施例所绘示的人工智能瑕疵图像分类方法的流程图。[0024]请参照图1及图2,本范例实施例的方式适用于上述实施例中的人工智能瑕疵图像分类系统100,以下即搭配人工智能瑕疵图像分类系统100中的各项元件说明本实施人工智能瑕疵图像分类方法的详细步骤。[0025]需先说明的是，本实施例以麦克风产品作为待测物进行人工智能瑕疵图像分类方法的细节说明。特别是，麦克风产品可为微机电(Micro-Electro-MechanicalSystems,[0026]在步骤S202,处理单元150会通过传送单元110传送微机电麦克风产品至特定位置，并通过定位单元120定位微机电麦克风产品。此外，若微机电麦克风步骤S202之前利用加热单元去除封盖，以露出微机电麦克风产品内部的芯片封装结构。[0027]在步骤S204,处理单元150会通过图像采集单元130扫描微机电麦克风产品以采集待测图像。具体来说，图像采集单元130可采用扫描电子显微镜扫描微机电麦克风产品，并产生相对应被扫描区域的待测图像。[0028]藉由待测图像以及存储单元140存储的参考图像144,处理单元150会运行图像识别模块141、瑕疵标示模块142以及产品分类模块143,进而判断被检测的微机电麦克风产品的分类。[0029]具体来说，在步骤S206,图像识别模块141将待测图像与多个参考图像144进行比对，并根据比对结果判断待测图像的瑕疵分类。瑕疵分类例如可包括球型接线遗失(ballbondleft)品、楔型接线遗失(wedgebondleft)品、芯片破裂(chipcrack)品、污染(contamination)品及/或合格(OK)品，本发明不在此限制。[0030]举例来说，图像识别模块141可利用图像识别模型来判断待测图像是否存在与各7个参考图像144相似的瑕疵，从而检测出待测物的瑕疵分类。在一范例实施例中，图像识别模型包括卷积神经网络模型(ConvolutionalNeuralNetwork,CNN)及分类器。图像识别模块141将待测图像输入至卷积神经网络模型时，待测图像会经过卷积层(Convolutionallayer)提取特征、线性整流层(RectifiedLinearUnitsLayer,ReLUlayer)增强函数特性、池化层(PoolingLayer)减小数据的空间大小等，藉此以获取瑕疵的瑕疵特征(例如，瑕疵的轮廓)。在待测图像通过卷积神经网络模型而获取瑕疵特征后，图像识别模块141会进一步将瑕疵特征输入至分类器。分类器依据瑕疵特征判断此瑕疵属于哪一种参考图像144对应的瑕疵分类，并据此产生比对结果。图像识别模块141会根据比对结果判断待测图像的瑕疵分类。[0031]在本范例实施例中，图像识别模型包括的分类器是利用多个参考图像144、对应各个参考图像144的目标边界框(boundingbox)及各个边界框对应的瑕疵分类训练获得。[0032]首先，处理单元150取得图像数据集。图像数据集包括上述多个参考图像144、对应各个参考图像144的目标边界框及各个边界框对应的瑕疵分类。参考图像144对应的目标边界框及目标边界框对应的瑕疵分类可由人工进行标记。详细来说，处理单元150包括瑕疵标示模块(未绘示)。瑕疵标示模块通过输入单元(未绘示)接收检测者在参考图像144上标记的目标边界框及输入的目标边界框对应的瑕疵分类，以标示及分类参考图像144的目标边一图像格式，而标示的目标边界框以第二图像格式存储，第一图像格式不同于第二图像格[0033]接着，处理单元150将图像数据集输入图像识别模型以训练图像识别模型，并将训练后的图像识别模型存储在存储单元140中。然而，在本发明的其它实施例中，人工智能瑕疵图像分类系统100会将图像识别模型存储在远端的存储单元中，图像识别模块141会根据需求从远端的存储单元中获取相对应的图像识别模型。[0034]回到图2,在步骤S208,瑕疵标示模块142根据比对结果将瑕疵区域标示在待测图像上。举例来说，瑕疵标示模块142会根据图像识别模型输出的比对结果判断待测图像的瑕疵区域，并将瑕疵区域标示在待测图像上。[0035]在步骤S210,产品分类模块143根据瑕疵分类将微机电麦克风产品分类存放。具体来说，产品分类模块143会根据图像识别模块141针对待测图像判断出的瑕疵分类，将该待测图像对应的微机电麦克风产品分类存放。[0036]值得一提的是，在本发明的一范例实施例中，用于训练图像识别模型的参考图像144与待测图像采用相同的扫描电子显微镜扫描产生。藉由扫描电子显微镜扫描微机电麦克风产品产生的高解析度参考图像144,训练出的图像识别模型可更精确的识别待测图像[0037]由于扫描电子显微镜需要较长的图像扫描时间。因此，本发明的另一范例实施例可在人工智能瑕疵图像分类系统100执行上述瑕疵分类之前，先初步筛选瑕疵较明显的待测物。[0038]图3是根据本发明一范例实施例所绘示的人工智能瑕疵图像分类系统的示意图。[0039]请参照图3,除了与图1相同的元件以外，人工智能瑕疵图像分类系统100还可包括初步筛选单元160。初步筛选单元160耦接处理单元150且包括但不限于X光检测系统161、加8热单元162以及图像采集单元163(亦称为，第二图像采集单元)。[0040]X光检测系统161用以预先检查待测物的内部结构。由于完成的待测物可能会有封盖，此封盖会遮蔽待测物的内部结构。因此，可先利用X光检测系统161检查待测物的内部结构是否有明显的元件缺失。[0041]加热单元162用以加热待测物以去除待测物的封盖。加热单元162例如是加热板(Hotplate),本发明不在此限制。[0042]图像采集单元163用以采集待测物的初筛图像。图像采集单元163所采集的图像的解析度比图像采集单元130的解析度低。例如，图像采集单元163可为光学图像采集装置。在工业制成的流程中，待测物会被送入自动光学检查装置(AutomatedOpticalInspection,AOI)进行初步的瑕疵筛检。图像采集单元163例如为设置在自动光学检查装置中的光学图像采集装置。藉由通过图像采集单元163扫描待测物以采集待测物的图像，自动光学检查装置会通过采集图像判断待测物的结构完整性，进而找出疑似存在瑕疵的待测物。[0043]图4是根据本发明一范例实施例所绘示的初步筛选操作的示意图。本范例实施例以微机电麦克风5为例进行说明。然而，本发明不限制待测物的种类。[0044]请参图4,微机电麦克风5为具有封盖的麦克风产品。在步骤S402,处理单元150利用X光检测系统161检查微机电麦克风5是否包括芯片。若微机电麦克风5包括芯片，则在步骤S404,处理单元150利用加热单元162去除微机电麦克风5的封盖，以获得微机电麦克风5的芯片封装结构。另一方面，若微机电麦克风5不包括芯片，处理单元150可直接将该微机电麦克风5进行分类(例如，瑕疵分类为“芯片缺失”),并将该微[0045]在步骤S406,处理单元150利用图像采集单元163扫描芯片封装结构以采集初筛图像，并对初筛图像进行初步瑕疵检测操作。具体来说，图像采集单元163采用光学图像采集装置扫描微机电麦克风5的芯片封装结构，并产生相对应被扫描区域的初筛图像。接着，处理单元150对初筛图像进行初步瑕疵检测操作以判断初筛图像是否具有预设瑕疵。若初筛图像不具有预设瑕疵，则在步骤S408,处理单元150利用图像采集单元130采集待测图像并执行图2所示的瑕疵分类操作。其中待测图像反映微机电麦克风5的芯片封装结构。另一方面，若初筛图像具有预设瑕疵，则处理单元150可直接将该微机电麦克风5进行分类(例如，瑕疵分类为“芯片瑕疵”),并将该微机电麦克风5分类存放。[0046]值得一提的是，检测者可根据需求增删或调整X光检测系统161、图像采集单元163及图像采集单元130的数量及各项瑕疵检测顺序，