CN114556448B 模型生成装置、推断装置、模型生成方法以及模型生成程序 （欧姆龙株式会社）

2022.04.11PCT/JP2020/0414512020.11.06WO2021/100482JA2021.05.27本发明的一方面所涉及的模型生成装置关得从第二推断器得到的推断结果不适合于第二2以及示出与所述第一特征不同的第二特征的第二正解数据的组合分别构成的多个学习数所述第一推断器构成为被输入所述编码器的输出值，从所述特征量推所述第二推断器构成为被输入所述编码器的输出值，从所述特征量推所述编码器、所述第一推断器以及所述第二推断器由具备运算参数的机器第一训练步骤，关于所述各学习数据集训练所述第二推据提供给所述编码器而从所述第二推断器得到的推断的结果适合于第二训练步骤，关于所述各学习数据集训练所述编码器，第三训练步骤，关于所述各学习数据集训练所述编码器和将所述训练数据提供给所述编码器而从所述第一推断器得到的推断的结果适合于所述第所述学习处理部交替地反复执行所述第一训练步骤和所述第二所述第三训练步骤与所述第一训练步骤和所述第二训练步骤一起在所述第二训练步骤中，关于所述各学习数据集，获取与所述第二训练所述编码器使得所述推断的结果不适合于所述第所述虚拟数据由与对应的学习数据集不同的学习数据集的第二正解数所述第一特征与成为规定的推断的对象的第一成3所述第二特征与不同于所述第一成分的第二成分相关，所述第二成分对关于所述第一推断部，利用通过权利要求1至6中的任意一项所述的模型生成8.一种模型生成方法，生成用于缺陷检测的模型，获取多个学习数据集的步骤，所述多个学习数据集由训练数据、所述第一推断器构成为被输入所述编码器的输出值，从所述特征量推所述第二推断器构成为被输入所述编码器的输出值，从所述特征量推所述编码器、所述第一推断器以及所述第二推断器由具备运算参数的机器第一训练步骤，关于所述各学习数据集训练所述第二推据提供给所述编码器而从所述第二推断器得到的推断的结果适合于第二训练步骤，关于所述各学习数据集训练所述编码器，第三训练步骤，关于所述各学习数据集训练所述编码器和将所述训练数据提供给所述编码器而从所述第一推断器得到的推断的结果适合于所述第4获取多个学习数据集的步骤，所述多个学习数据集由训练数据所述第一推断器构成为被输入所述编码器的输出值，从所述特征量推所述第二推断器构成为被输入所述编码器的输出值，从所述特征量推所述编码器、所述第一推断器以及所述第二推断器由具备运算参数的机器第一训练步骤，关于所述各学习数据集训练所述第二推据提供给所述编码器而从所述第二推断器得到的推断的结果适合于第二训练步骤，关于所述各学习数据集训练所述编码器，第三训练步骤，关于所述各学习数据集训练所述编码器和将所述训练数据提供给所述编码器而从所述第一推断器得到的推断的结果适合于所述第5专利文献1这样的利用神经网络等机器学习模型的方法，能基于训练完毕的推断器的输出6信息还利用与背景相关的信息来执行与缺陷的检测相关的推断任务的能力。在这种情况与针对该组合的训练完毕的推断器对缺陷的检测相关的推推断对象的属性的场景例如是从通过车载传感器得到的传感数据推断车辆的状况的场景、75中提出了利用学习完毕的模型从拍摄图像和观测信息推断驾驶员针对驾驶的集中程度。在专利文献6中提出了利用训练完毕的神经网络从通过车载传感器得到的数据识别车辆周利用训练完毕的神经网络从声音和振动中的至少一方测定数据诊断设备的故障的预兆的术用于生成能执行与数据所包含的对象的特征相关的推断任务并且对于对象的特征以外将所述训练数据提供给所述编码器而从所述第二推断器得到的推断的结果不适合于所述8性能将输入数据转换为由第二推断器进行的与第二特征相关的推断任务失败这样的特征能稳健地执行与第一特征相关的推断任务的训练完毕的编码器和和第一推断器的运算参数的值以获得根据通过编码器得到的特征量来推断第一特征的能9得到的特征量能难以包含与对关于第一成分的规定的推断带来影响的第二成分对应的信推断任务的训练完毕的编码器和第一推断器[0037]上述各方面所涉及的模型生成装置可以应用于生成能用于与针对规定种类的数的模型生成装置例如可以应用于生成用于推断图像数据的前景所包含的特征的训练完毕的模型的场景。推断前景所包含的特征例如可以是推断图像数据中映现的对象物的属性。所涉及的模型生成装置例如可以应用于生成用于从通过传感器得到的传感数据推断对象可以是构成为利用通过上述模型生成装置生成的训练完毕的编码器和第一推断器来对规明的一方面也可以是实现以上的各构成的全部或其一部分的信息处理方法，也可以是程[0044]例如本发明的一方面所涉及的模型生成方法是计算机执行如下步骤的信息处理断所述输入数据所包含的第一特征，所述第二推断器构成为被输入所述编码器的输出值，对象的特征以外的其它特征的差异稳健的训练[0052]图5示意性地例示由实施方式所涉及的模型生成装置进行的机器学习的处理过程[0077]本实施方式所涉及的模型生成装置1是构成为实施学习模型5的机器学习的计算练数据121所包含的第二特征中的与第一特征不同的第二特征的第二正解数据123的组合[0078]训练数据121是规定种类的数据的样本。规定种类的数据只要例如是可以表现一测定数据等。规定种类的数据例如也可以是通过传感器观测一些对象从而得到的传感数图像数据中的背景等这样的、可能对关于第一成分的规定的推断带来影响的第二成分相分的已知的组合的对象数据相比，针对包括第一成分和第二成分的未知的组合的对象数但是针对包括训练数据中没有出现的缺陷和背景的组合(第一缺陷、第二背景)或者(第二如与特定的特征对应的聚类)、以及通过回归导出连续值(例如出现了特定的特征的概率)[0082]本实施方式所涉及的模型生成装置1使用获取的多个学习数据集120来实施学习[0084]实施本实施方式所涉及的机器学习包括第一～第三训练步骤。在第一训练步骤过将训练数据121提供给编码器51而从第二推断器53得到的第二特征的推断结果适合于第本实施方式所涉及的模型生成装置1关于各学习数据集120训练编码器51和第一推断器52，使得通过将训练数据121提供给编码器51而从第一推断器52得到的第一特征的推断结果适的训练完毕的编码器51和第一推断器52对规定种类的数据执行与第一特征相关的推断任得根据与通过编码器51得到的特征量所包含的第二特征对应的成分来执行与该第二特征二推断器53的推断性能将输入数据(训练数据121)转换为由该第二推断器53进行的与第二将输入数据(训练数据121)转换为包含与第一特征对应的成分的特征量的能力，使得第一推断器52进行的与第一特征相关的推断任务的执行难以考虑与第二特征相关的信息。因第一特征相关的推断任务的训练完毕的编码器51和第一推[0090]需要说明的是，在图1的例子中，模型生成装置1和推断装置2经由网络被相互连和推断装置2中的至少一方可以由多台计算[0098]模型生成程序81是用于使模型生成装置1执行与学习模型5的机器学习相关的后机器学习。学习结果数据125示出与通过机器学习生成的训练完毕的编码器51和第一推断与其它信息处理装置(例如推断装置2)进行[0100]外部接口14例如是USB(UniversalSerialBus：通用串行总线)端口、专用端口的种类和数量适当地选择。模型生成装置1可以经由外部接口14连接到用于得到训练数据生成程序81和多个学习数据集120中的至少任意一者可以存从该存储介质91获取上述模型生成程序81和多个学习数据集120中的至少[0107]接下来，使用图3对本实施方式所涉及的推断装置2的硬件构成的一例进行说[0109]推断装置2的控制部21～驱动器27可以分别与上述模型生成装置1的控制部11~[0110]推断程序82是用于使推断装置2执行利用训练完毕的编码器51和第一推断器52对规定种类的数据执行与第一特征相关的推断任务的后述的信息处理(图9)的程序。推断程口24的种类和数量可以根据所连接的外部装置的种类和数量适当地选择。推断装置2可以的种类可以根据存储介质92的种类适当地选择。上述推断程序82和学习结果数据125中的[0118]接下来，使用图4和图5对本实施方式所涉及的模型生成装置1的软件构成的一例意性地例示由本实施方式所涉及的模型生成装置1进行的机器学习的处后，控制部11通过CPU将在RAM中展开的模型生成程序81所包含的命令通过CPU进行解释以[0120]数据获取部111获取多个学习数据集120，所述多个学习数据集120由训练数据含的第二特征中的与第一特征不同的第二特征的第二正解数据123的组合分别构成。学习处理部112使用获取到的多个学习数据集120来实施学习模型5的机提供给编码器51而从第二推断器53得到的第二特征的推断结果适合于第二正解数据123。数据121提供给编码器51而从第二推断器53得到的第二特征的推断结果不适合于第二正解数据121提供给编码器51而从第一推断器52得到的第一特征的推断结果适合于第一正解数[0123]需要说明的是，训练编码器51使得推断结果不适合于第二正解数据123的方法可据集120可以获取与第二正解数据123对应并且由不同于对应的第二正解数据123的值构成以由如下方式构成：进行训练使得通过将训练数据121提供给编码器51而从第二推断器53部113将与训练完毕的编码器51和第一推断器52相关的信息生成为学习结果数据125。然训练完毕的第二推断器53的操作可以是任意的。学习结果数据125既可以包含与训练完毕的全耦合型神经网络构成。编码器51、第一推断器52以及第二推断器53分别具备输入层各权重的乘积之和是否超过阈值来决定各神经元的输出。阈值可以通过活性化函数来表从第二推断器53的输出层533获取。学习处理部112在将编码器51的运算参数的值固定后，以获取的输出值与第二正解数据123的误差变小的方式调节第二推断器53的运算参数的获取得输出值与虚拟数据129的误差变小的方式调节编码器51的运算参[0133]保存处理部113将示出通过上述机器学习构建的训练完毕的编码器51和第一推断器52各自的结构和运算参数的值的信息生成为学习结果数据125。结构例如可以由神经网关的信息可以从学习结果数据125省略。保存处理部113将生成后的学习结果数据125保存[0135]接下来，使用图6对本实施方式所涉及的推断装置2的软件构成的一例进行说部21通过CPU将在RAM中展开的推断程序82所包含的命令通过CPU进行解释以及执行，控制各软件模块与上述模型生成装置1同样地通过控制部21([0137]数据获取部211获取成为推断任务的执行对象的对象数据221。推断部212通过保持学习结果数据125而具备通过模型生成装置1生成的训练完毕的编码器51和第一推断器特征和第二特征的规定种类的数据的样本获取为训练数据121。获取样本的方法可以适当出推断出获取到的训练数据121所包含的第一特征和第二特征的结果(正解)的信息作为第一正解数据122和第二正解数据123与获取到的训练数据121相关联。各特征的推断方法可[0146]各学习数据集120既可以通过计算机的动作自动地生成，也可以通过至少部分地数据集120的情况下，控制部11自动地或者通过经由输入装置15的操作人员的操作手动地流程的处理顺序的一例的流程图。本实施方式所涉及的步骤S102的处理包括以下的步骤练数据121提供给编码器51而从第二推断器53得到的第二特征的推断结果适合于第二正解[0155]控制部11关于各学习数据集120，算出通过以上的运算处理从第二推断器53的输出层533得到的输出值与第二正解数据123的误差。误差(损失)的算出可以使用损失函数。[0156]控制部11使用通过误差反向传播(Backpropagation)法算出的输出值的误差的推断器53，使得通过将训练数据121提供给编码器51而从第二推断器53得到的第二特征的据121提供给编码器51而从第二推断器53得到的第二特征的推断结果不适合于第二正解数练编码器51，使得通过将训练数据121提供给编码器51而从第二推断器53得到的第二特征[0161]虚拟数据129可以与各学习数据集120的第二正解数据123对应并适当地获取。例如虚拟数据129可以由与对应的学习数据集120不同的其它学习数据集120的第二正解数据也可以通过将各学习数据集120的第二正解数据123相对于训练数据121的对应关系向任意种情况下，可以将该学习数据集120原样用于训练，或者也可以适当地变更该学习数据集数据集120与上述步骤S121同样地执行编码器51和第二推断器53的正向传播的运算处理。练数据121提供给编码器51而从第二推断器53得到的第二特征的推断结果不适合于第二正适合于第二正解数据123的方法可以不限于该利用虚拟数据129的方法。例如在训练处理器51，使得通过将训练数据121提供给编码器51而从第二推断器53得到的第二特征的推断得通过将训练数据121提供给编码器51而从第一推断器52得到的第一特征的推断结果适合到编码器51的输入层511，从输入侧起按顺序进行各层511～513所包含的各神经元的点火[0170]控制部11关于各学习数据集120用以上的运算处理算出从第一推断器52的输出层过将训练数据121提供给编码器51而从第一推断器52得到的第一特征的推断结果适合于第骤S123的处理的次数是否达到规定次数。在判定为执行次数没有达到规定次数的情况下，次数的情况下，控制部11将学习模型5的机器学习的处理完成，将处理前进至下一步骤[0174]需要说明的是，学习模型5的机器学习中的基于步骤S121～步骤S123的各训练的器51的训练，使得通过将训练数据121提供给编码器51而从第二推断器53得到的第二特征习构建的训练完毕的编码器51和第一推断器52各自的结构和运算参数的值的信息生成为[0179]需要说明的是，生成的学习结果数据125可以按任意的定时被提供给推断装置例如控制部11可以作为步骤S103的处理或者与步骤S103的处理独立地转发学习结果数据利用通信接口23经由网络访问模型生成装置1或数据服务器来获取学习结果数据125。另了的学习结果数据125用任意的方法提供给推断装置2来更新推断装置2所保持的学习结果完毕的编码器51和第一推断器52的设定。控制部21将获取的对象数据221输入到训练完毕特征是通过将对象数据221提供给训练完毕的编码器51并执行训练完毕编码器51和第一推21可以将通过步骤S202针对对象数据221推断出第一特征的结果原样输出到输出装置26。与通过编码器51得到的特征量所包含的第二特征对应的成分来执行与该第二特征相关的的推断性能将输入数据转换为由该第二推断器53进行的与第二特征相关的推断任务失败被训练成获得根据通过编码器51得到的特征量来执行与第一特征相关的推断任务的能力。52进行的与第一特征相关的推断任务的执行中能难以考虑与第二特征相关的信息。因而，根据本实施方式所涉及的模型生成装置1，能生成针对第二特征的差异能稳健地执行与第装置2通过在上述步骤S202中利用训练完毕的编码器51和第一推断器52，从而能期待以高[0198]上述实施方式所涉及的推断系统100可以应用于针对规定种类的数据执行与对象的特征相关的推断任务的所有场景。例如上述实施方式所涉及的推断系统100能应用于推例是将上述实施方式应用于利用映现产品的图像数据来实施产品的外观检查的场景的例[0201]在本变形例中处理的规定种类的数据(即，后述的训练数据121A和对象图像数据221A)是映现产品RA的图像数据。图像数据的样本P10可以通过用相机SA拍摄产品RA而得别码、生产线的类别等背景P11的属性。除了这些限定之外，本变形例所涉及的检查系统100A可以与上述实施方式所涉及的推断陷P12相关的信息(正解)。与缺陷P12相关的信息可以根据上述与缺陷P12相关的推断的内[0205]模型生成装置1使用通过上述步骤S102的处理而获取到的多个学习数据集120A来与缺陷P12相关的推断的结果的能力的训练完毕的编码器51和第一推断器52。模型生成装置1通过上述步骤S103的处理，将与训练完毕的编码器51和第一推断器52相关的信息作为[0210]图11B示意性地例示本变形例所涉及的检查装置2A的软件构成的一例。与上述实了所处理的数据如上述那样被限定这一点之外，检查装置2A的软件构成与上述推断装置2相同。检查部212A通过保持学习结果数据125A而具备训练完毕的编码器51和第一推断器训练完毕的编码器51，执行训练完毕的编码器51和第一推断器52的正向传播的运算处理。如在判定为产品RA包含缺陷P12的情况下，控制部21也可以将用于通知该情况的警告输出健地执行与缺陷P12相关的推断任务的训练完毕的编码器51和第一推断器52。在本变形例述实施方式所涉及的推断系统100可以应用于推断图像数据中出现的任意的对象物的属性成针对对象物的属性以外的其它特征的差异能稳健地执行与对象物的属性相关的推断任实施方式所涉及的推断系统100可以应用于进行与映现于图像数据的任意的前景所包含的相关的推断任务的训练完毕的编码器51和第一推断器[0218]需要说明的是，前景可以由能与背景区分地从图像数据提取的任意的成分构导出的成分是前景的一例。前景的范围可以以能导出对象物的属性的方式被适当地决定。中例示的识别系统具备模型生成装置1和识别装置2A1。识别装置2A1与上述检查装置2A对据可以是映现车牌RA1的图像数据。该图像数据的获取可以与上述检查系统100A同样地使[0222]由此，模型生成装置1能生成针对背景的差异能稳健地识别赋予车牌RA1的符号在道路上行驶的车辆的监视相机得到的图像数据来识别在该道路上行驶的车步骤S201和步骤S202的处理对按时间序列得到的图像数据识别车牌RA1的符号P20。然后，识别装置2A1可以通过上述步骤S203的处理来创建以时间序列示出基于符号P20识别出在中例示的识别系统具备模型生成装置1和识别装置2A2。识别装置2A2与上述检查装置2A对据可以是映现产品的包装RA2的图像数据。该图像数据的获取与上述检查系统100A同样地[0227]由此，模型生成装置1能生成针对背景的差异能稳健地识别赋予包装RA2的符号顺序来识别赋予包装RA2的符号P30。本变形例所涉及的识别系统可以用于识别赋予包装产品而被利用。中例示的监视系统具备模型生成装置1和监视装置2A3。监视装置2A3与上述检查装置2A对练完毕的编码器51和第一推断器52。监视装置2A3能通过与上述检查装置2A相同的顺序来中例示的监视系统具备模型生成装置1和监视装置2A4。监视装置2A4与上述检查装置2A对据可以是映现驾驶员RA4的图像数据。该图像数据的获取与上述检查系统100A同样地可以驶员RA4的状态的区域例如可以是映现驾驶员RA4的区域、进一步包括驾驶员RA4的周围的[0237]作为其它例子，在车辆具备控制自动驾驶的动作的控制装自动驾驶模式和通过驾驶员RA4的操纵来控制车辆的行驶的手动驾驶模式的切换。在该例下，监视装置2A4可以将不允许从自动驾驶模式向手动驾驶模式的切换的通知发送到控制的情况下，监视装置2A4将进行指示以从手动驾驶模式切换为自动驾驶模式后在停车场等例是将上述实施方式应用于利用通过车载传感器SB得到的传感数据来监视车辆的状况的装置1和监视装置2B可以与上述实施方式同样地经由网络[0242]在本变形例中处理的规定种类的数据(后述的训练数据121B和对象传感数据监视系统100B可以与上述实施方式所涉及的推断系统100同出训练数据121B中出现的车辆的状况中的与成为推断任务的对象的车辆的状况相关的信[0245]模型生成装置1使用通过上述步骤S102的处理而获取到的多个学习数据集120B来输入而输出与车辆的状况相关的推断的结果的能力的训练完毕的编码器51和第一推断器[0250]图17B示意性地例示本变形例所涉及的监视装置2B的软件构成的一例。与上述实施方式同样地，监视装置2B的软件构成能通过由控制部21进行的监视程序82B的执行来实装置2相同。监视部212B通过保持学习结果数据125B而具备训练完毕的编码器51和第一推征量能包含与成为推断任务的对象的车辆的状况相关的信息所对应的成分并难以包含与例是将上述实施方式应用于利用通过传感器SC得到的传感数据来诊断对象者的健康状态[0257]本变形例中处理的规定种类的数据(后述的训练数据121C和对象传感数据221C)练数据121C中出现的对象者(受检者)的健康状态中的与成为推断任务的对象的健康状态[0260]模型生成装置1使用通过上述步骤S102的处理而获取到的多个学习数据集120C来入而输出与对象者的健康状态相关的推断的结果的能力的训练完毕的编码器51和第一推断器52。模型生成装置1通过上述步骤S103的处理将与训练完毕的编码器51和第一推断器[0265]图19B示意性地例示本变形例所涉及的诊断装置2C的软件构成的一例。与上述实2相同。诊断部212C通过保持学习结果数据125C而具备训练完毕的编码器51和第一推断器样地执行与对象者的健康状态的推断相关的一系列的信例是将上述实施方式应用于利用通过环境传感器SD得到的传感数据来监视植物RD的栽培[0272]在本变形例中处理的规定种类的数据(后述的训练数据121D和对象传感数据221D)是通过环境传感器SD得到的传感数据。环境传感器SD只要能观测植物RD的栽培状况度等来规定。第二特征可以从成为推断任务的对象的栽培状况以外的其它特征适当地选定之外，本变形例所涉及的监视系统100D可以与上述实施方式所涉及的推断系统100同样出训练数据121D中出现的植物RD的栽培状况中的与成为推断任务的对象的植物RD的栽培[0276]模型生成装置1使用通过上述步骤S102的处理而获取到的多个学习数据集120D来输入而输出与植物RD的栽培状况相关的推断的结果的能力的训练完毕的编码器51和第一据125D可以按任意的定时提供给监视装外部接口24连接到环境传感器SD和栽培[0281]图21B示意性地例示本变形例所涉及的监视装置2D的软件构成的一例。与上述实了所处理的数据如上述那样被限定这一点之外，监视装置2D的软件构成与上述推断装置2相同。监视部212D通过保持学习结果数据125D而具备训练完毕的编码器51和第一推断器地能执行与植物RD的栽培状况的推断相关的一系列的信[0283]在步骤S203中，控制部21将与推断出