CN110866891A 图像识别装置、图像识别方法及图像识别程序 （株式会社摩如富）

序度高的合格图像或与正解的教师图像相似度低神经网络及输入图像，计算输入图像的分类得图像的机械学习计算表示与教师图像的相似度的分类得分而决定的各层权重系数；异常判定教师图像的差异度的异常得分而通过基于正解2分类部，其根据神经网络以及由所述取得部取得异常判定部，其根据函数逼近器以及由所述处理对象图像的差异度的所述异常得分而通过基于正解的所述教师图像的机械学习所构所述识别部根据针对所述分类得分预先确定的分类阈值以及针对所述异常得分预先4.根据权利要求2或者3所述的图像识别装置，其中，所述所述显示控制部使以所述输入图像的所述分类得分以及所述异常得分为坐标的数据、所述函数逼近器是以在对处理对象图像所具有的信息所述异常判定部根据所述输入图像以及由所述自动编码器根据所述输入图像而重构所述异常判定部根据所述输入图像与所述重构的图像之所述函数逼近器是以在特征空间中划分第1区域和第2区域的方式进行学习的支持向量机，在所述第1区域中描绘从与正解的所述教师图像的差异度低的图像中提取出的特征向量，在所述第2区域中描绘从与正解的所述教师图像的差异度高的图像中提取出的特征当通过所述支持向量机，在所述第2区域中描绘从所述输入图像提取出的特征向量的3所述异常判定部使用正解的所述教师图像与所述输入图第3步骤，根据函数逼近器以及在所述第1步骤中理对象图像的差异度的所述异常得分而通过基于正解的所述教师图像的机械学习所构建第4步骤，根据在所述第2步骤中计算出的所述分类得分以及在所述第3步骤中计算出4[0002]专利文献1公开了一种预先学习被赋予了标签的教师图像的分类器。在标签赋予本来应属于不合格类别的输入图像被识别为属于合格类别等、图像识别的精度降低的情解的教师图像的相似度高的合格图像和与正解的教师图像的相似5对象图像计算表示正解的教师图像与处理对象图像的差异度的异常得分而通过基于正解师图像的相似度高的合格图像和与正解的教师图[0016]图1为示出实施方式所涉及的图像识别装置所具有的外观检查装置的概略结构的6[0037]图1为示出实施方式所涉及的图像识别装置所具有的外观检查装置的概略结构的立体图。图1所示的外观检查装置100为根据对电子元件P的外观进行拍摄而得到的图像来[0038]供给部110为使作为检查对象的电子元件P对齐而依次逐个地连续供给该电子元[0039]搬运部120具有转盘121。搬运部120将从供给部110供给的电子元件P载置于转盘朝向电子元件P的外周侧的面进行摄像。照相机130a和照相机130b分别配置在离开规定距[0041]不合格产品排出机构140排出由图像识别装置200判定为不合格产品的电子元件驱动控制部180的控制而选择性地输出规定量的空气。回收部142对被空气喷嘴141吹起的[0042]不能识别产品排出机构150具有排出由图像识别装置200判定为不能识别产品的而设置在比照相机130靠下游的位置。不能识别产品排出机构150具有空气喷嘴151以及回151通过后述的驱动控制部180的控制而选择性地输出规定量的空气。回收部152对被空气产品排出机构150相对于转盘121的旋转方向的设[0043]合格产品排出机构160排出由图像识别装置200判定为合格产品的电子元件P。合格产品排出机构160在转盘121的旋转方向上以供给部110为基准而设置在最下游的位置。合格产品排出机构160具有引导件161以及回收部162。引导件161将转盘121上残留的电子7[0044]显示部170根据后述的图像识别装置200中的显示控制部260的控制，显示合格产[0045]驱动控制部180对由空气阀等构成的驱动部181(参照图2)进行控制。驱动控制部任意一方。驱动控制部180在判定为使电子元件P回收到不合格产品排出机构140或者不能通过照相机130a取得以电子元件P的上表面为被摄体的图像。可以通过照相机130b取得将[0048]接着，对根据后述的图像识别装置200中的图像识别处理的结果对检查对象的电别的情况下，控制部180对驱动部181的驱动进行控制使得从空气喷嘴151输出规定量的空保留在转盘121中。由引导件161对被判定为合格产品的电子元件P进行引导而下落到回收[0050]图2为示出实施方式所涉及的图像识别装置的功能的一例的框图。图像识别装置[0052]教师数据取得部210取得被赋予了正解的标签的教师图像以及被赋予了非正解的师图像赋予了非正解的标签的情况下，表示作为该教师图像的被摄体的电子元件P为不合8[0053]取得部220取得通过照相机130得到的输入图像。取得部220可以对输入图像实施据取得部210中取得的被赋予了正解的标签的教师图像以及被赋予了非正解的标签的教师该被摄体是合格产品的概率的得分以及表示该被摄体师图像中提取出的特征向量与从被赋予了非正解的标签的教师图像中提取出的特征向量进行分离。分类学习部231在神经网络内多次重复进行判定从教师图像中提取出的特征向[0056]分类部230中的神经网络输出表示从输入图像中提取出的特征向量属于合格类别推理部232根据由分类学习部231构建的神经网络和由取得部220取得的输入图像计算分类学习使规定的函数逼近器学习输入与输出的关系。在异常判定部240中作为学习对象的教[0059]在异常判定部240所涉及的函数逼近器中能够与分类部230同样地应用神经9中划分第1区域和第2区域的能力，在所述第1区域中描绘从与教师图像的差异度低的图像中提取出的特征向量，在所述第2区域中描绘从与教师图像的差异度高的图像中提取出的推理部242判定在上述的哪个区域中描绘从输入图像中提取出的特征向量。当在与教师图[0061]异常判定部240根据由机械学习构建的函数逼近器和输入图像，计算表示输入图[0062]识别部250根据在分类推理部232中计算出的分类得分以及在判定推理部242中计算出的异常得分，将由取得部220取得的输入图像分类为与正解的教师图像的相似度高的合格图像或者与正解的教师图像的相似度低的不合格图像。识别部250将输入图像分类为合格图像或者不合格图像不仅包含识别部250将输入图像分类为合格图像和不合格图像中可以根据针对分类得分预先确定的分类阈值801(参照图8)和针对异常得分预先确定的异分类得分相关的分类得分评价轴和与异常得分相关的异常得分评价轴作为坐标轴的散布为包括具有CPU(CentralProcessingUnit：中央处理单元)301、RAM(RandomAccessROM303或者辅助存储装置305中存储的程序。CPU301执行对RAM302读出的程序中的各种处键盘、鼠标等连接。显示部170以及输入装置190由外部连接I/F构成。网络I/F307根据CPU301的控制，经由网络与图像识别装置200等进行通信。上述的各结构部能够经由总线[0071]由教师数据取得部210取得作为教师图像的输入数据401。从教师数据取得部210向分类学习部231发送输入数据401。通过输入层402中的输入用的人工神经元取得输入数分类用学习(S900)中，进行神经网络400的学习，使得针对被赋予了正解的标签的教师图[0075]分类学习部231使上述的神经网络学习被赋予了正解或者非正解的标签的教师图[0078]图5的(A)为在高维空间中描绘通过分类学习部231提取出的教师图像的特征量师图像的特征量701以及被赋予了非正解的标签的教师图像的特征量702。在高维空间700于合格类别的概率和属于不合格类别的概率，向二维空间投影教师图像的特征量。图5的解的标签的教师图像的特征量701和被赋予了非正解的标签的教师图像的特征量702分别[0079]图5的(C)为在高维空间中描绘由分类推理部232提取出的输入图像的特征量(特推理部232为了导出输入图像的特征量属于合格类别的概率和属于不合格类别的概率，而征量得到的图表。分类推理部232使用在图5的(B)中获得的边界来判定输入图像的特征量络500为所谓的分层神经网络，利用圆所示的众多的人工神经元(节点)形成层级，并且连[0082]由教师数据取得部210取得作为教师图像的输入数据501。从教师数据取得部210向判定学习部241发送输入数据501。通过输入层502中的输入用的人工神经元取得输入数获取再现教师图像的能力。判定学习部241在神经网络内反复进行减小教师图像与重构数[0087]判定推理部242使用在判定学习部241中所学习的神经网络。在取得部220中取得但也可以应用单分类SVM(OneClassSVM(SupportVectorMachin图7的(B)为高维空间中的输入图像(被摄体为不合格产品的电子元件P)的特征量的分布的经网络在被摄体为不合格产品的情况下，能够提取与教师图像的特征量不同的特征量(点[0092]图8为示出分类得分以及异常得分与判定结果的关系的图表。图8所示的图表(散布区域800)的横轴为与异常得分相关的评价轴，纵轴为与分类得分相关的评价轴。在图8的数据相关的输入图像被判定为是被摄体是合分类阈值801和分类差异阈值804设定成使得后述的不能识别区域806成为包括中心值的规值。将异常阈值802和异常差异阈值805设定成使得后述的不能识别区域806成为包括中心差异阈值804以及异常差异阈值805的组合，划分不能识别区域806与不合格类别区域807。不能识别区域806是在散布区域800中分类得分为分类差异阈值804以上、并且异常得分为[0099]图9为学习处理的流程图。图像识别装置200中的学习处理具有分类学习部231中理(S900)以及异常检测用学习处理(S910)中的[0100]图10为分类部中的神经网络的学习处理的流程图。图10的流程图为图9所示的分赋予了非正解的标签的教师图像的情况。分类学习部231使神经网络学习所取得的教师数[0103]图11为异常判定部中的神经网络的学习处理的流程图。图11的流程图为图9所示的异常检测用学习处理(S910)的详细。判定学习部241从教师数据取得部210取得教师数传播处理(S914)。判定学习部241判定在误差运算处理(S913)中计算出的误差是否低于规类推理部232以及判定推理部242取得在取得部220中取得的输入图像，作为图像取得处理[0110]图14为分类用推理处理的流程图。图14的流程图为图13所示的分类用推理处理(S950)的详细。分类推理部232将输入图像应用于通过分类用学习处理(S900)得到的神经用推理处理(S960)的详细。判定推理部242将输入图像应用于通过异常检测用学习处理构的图像。判定推理部242从神经网络取得输入图像的异常得分，作为得分取得处理别部250判定数据点是否被描绘在不合格类别区域807中，作为不合格类别判定处理[0116]在上述的实施方式中，对分类学习部231和判定学习部241包含于图像识别装置200中的结构进行了说明，但也可以是分类学习部231和判定学习部241中的任意一方或双方包含于图像识别装置200的外部装置中的结构。图17为示出了其它实施方式所涉及的图习装置1000中学习后的分类用神经网络以及异常检测用神经网络分别应用于分类推理部在图像识别装置200上执行分类用学习(S900)和异常检测用学习(S910)的各个处理的情况和异常检测用学习(S910)的各个处理，从而得到能够降低图像识别装置200的装置成本的[0119]对用于作为图像识别装置200发挥功能的图像识别程序进行说明。图像识别程序述的图像识别装置200的取得部220、分类部230、异常判定部240以及识别部250的功能同正解以及非正解的标签的教师图像的学习完的神经网络400以及输入图像，计算表示输入[0122]基于被赋予了正解以及非正解的标签的教师图像的分类学习完的神经网络400一于未分类为合格图像和不合格图像中的任意一种的图像在分类用学习(S900)中未构成学学习形成超分离平面(图5的(B))时，由于未考虑与合格图像和不合格图像均不类似的图[0123]另一方面，由于在异常检测用学习(S910)中仅学习合格图像而生成的神经网络500输出教师图像与输入图像的差异度作为得分，因此能够根据所输出的得分将输入图像学习这样决定合格图像与不合格图像的边界。本发明所涉及的图像识别装置200通过使分[0124]在本实施方式所涉及的图像识别装置200中，能够按照各种得分准备阈值来进行801和异常阈值802与结果的数据在散布区域800中进行可视化，因此能够使用户直观地理解数据与阈值的关系。图像