CN119404204A 推测方法及推测装置 （松下电器（美国）知识产权公司）

2024.12.11PCT/JP2023/0190812023.05.23WO2023/248676JA2023.12.28推测方法是由计算机进行的推测作业员的带的作业音的数据(S01)，通过对已学习完毕的第1模型输入作业音的数据，推测作业员是否正2所述计算机取得收集到的所述作业所附带的作业所述计算机通过对已学习完毕的第1模型输入所述作业音的数据，推测所述作业员是所述计算机取得与所述作业音的数据对应的、显现有进行所述作业的所述计算机通过对已学习完毕的第2模型输入所述图像的数据，推测所述作业员是否所述计算机基于使用所述第1模型的推测结果及使用所述第2模型的推所述计算机取得与所述作业音的数据对应的、显现有进行所述作业的所述计算机通过将所述作业音的数据和所述图像的数据输入到所述第1模型中，推测所述作业员是否正在进行处理所述透明物体所述计算机基于从所述第1模型输出的所述作业音的特征量与预先保存在存储部中的所述计算机进一步基于从所述第1模型输出的所述作业音的特征量相对于预先保存在所述存储部中的可能被误推测为所述作业员正在进行处理所述透明物体的作业的作业音所述计算机在从所述第1模型输出的所述作业音的特征量相对于处理所述透明物体的作业的所述作业音的特征量的所述类似度比相对于可能被误推测为所述作业员正在进行所述计算机在将处理与所述透明物体不同的非透明物体的作业的作业音的数据输入到所述第1模型中而得到的处理所述非透明物体的作业的所述作业音的特征量与处理所述能被误推测为处理所述透明物体的作业的作业所述计算机将处理所述非透明物体的作业的所述作业音的特征量作为所述可能被误34了通过根据在多个摄像条件下拍摄的图像识别作业中处理的物体(例如透明物体等)来进已学习的第1模型输入所述作业音的数据，推测所述作业员是否正在进行处理透明物体的[0016]图4是表示收集到的作业音的特征量与处理透明物体的作业的作业音的特征量的5[0024]图12是表示基于输入数据的组合的两个分类的推测方法及正确回答率的计算方[0025]图13是表示验证例3的基于输入数据的组合的两个分类的推测结果及正确回答率[0026]图14是表示使用图像AI的推测方法及动作例1的推测方法的推测精度的比较结果[0027]图15是用来说明使用作业音的数据的推测结果与使用图像的数据的推测结果的[0041]图29是表示推测部误推测为作业员正在进行处理透明物体的作业时的作业音的[0043]图30B是表示将可能被误推测的作业音的特征量预先登记的动作的一例的流程6[0051]有关本公开的一个技术方案的例1的推测方法，是由计算机进行的推测作业员的算机通过对已学习完毕的第1模型输入所述作业音的数据，推测所述作业员是否正在进行是否正在进行处理所述透明物体的作业；所述计算机基于使用所述第1模型的推测结果及的推测结果是由第2模型根据图像的数据推测的[0054]由此，执行推测方法的装置基于由第1模型根据作业音的数据推测出的推测结果以及由第2模型根据图像的数据推测出的推测结果，推测作业员是否正在进行处理透明物推测所述作业员是否正在进行处理所述透明[0057]此外，有关本公开的一个技术方案的例4的推测方法在例1～例3的任一项的推测7[0058]由此，执行推测方法的装置由于基于从第1模型输出的作业音的特征量与处理透明物体的作业的作业音的特征量的类似度，推测作业员是否正在进行处理透明物体的作[0059]此外，有关本公开的一个技术方案的例5的推测方法在例1～例4的任一项的推测于预先保存在所述存储部中的可能被误推测为所述作业员正在进行处理所述透明物体的作业的作业音的特征量的类似度，推测所述作业员是否正在进行处理所述透明物体的作[0060]由此，执行推测方法的装置通过将从第1模型输出的作业音的特征量与处理透明物体的作业的作业音的特征量的类似度和从第1模型输出的可能被误推测为作业音的特征使仅使用作业音的数据也能够精度良好地推测处理透是，所述计算机在从所述第1模型输出的所述作业音的特征量相对于处理所述透明物体的作业的所述作业音的特征量的所述类似度比相对于可能被误推测为所述作业员正在进行入到所述第1模型中而得到的处理所述非透明物体的作业的所述作业音的特征量与处理所明物体的作业的所述作业音的特征量作为所述可能被误推测的作业音的特征量保存至所测方法的装置能够将被误推测的可能性比较高的作业音的特征量保存到存储部中。因而，[0065]此外，有关本公开的一个技术方案的例8的推测方法在例1～例7的任一项的推测8能够基于比仅使用可听频带的声音的数据的情况多的信息来推测作业员是否正在进行处[0067]此外，有关本公开的一个技术方案的例9的推测装置是推测作业员的作业的推测学习完毕的第1模型输入所述作业音的数据，推测所述作业员是否正在进行处理透明物体[0077]首先，对实施方式的推测系统的概要进行说明。图1是表示实施方式的推测系统也简称作第1模型132)来推测作业员是否正在进行处理[0079]推测系统200例如可以将由推测装置100推测出的推测结果显示在信息终端50的9[0083]另外，推测系统200可以取得由摄像装置20拍摄的显现有进行作业的作业员的图员是否正在进行处理透明物体的作业，也可以基于将图像的数据输入到已学习完毕的第2型132中而得到的推测结果来推测作业员是否正在进行处理透明物体的作业。图像的数据设置在作业员进行作业的空间(作业空间80)中，与拾音装置10也可以对收集到的作业音的数据赋予时间戳和自身的识别号码，向推测装置10收集到的作业所附带的作业音的数据并将该作业音的数据输入到已学习完毕的第1模型[0100]通信部110是用于推测装置100与拾音装置10及摄像装置20进行通信的通信电路可以具有用来经由局部通信网络进行通信的通信电员是否正在进行处理透明物体的作业的推测有关的各种信息处理。信息处理部120既可以通过构成信息处理部120的处理器或微型计算机执行存储在存储部130中的计算机程序来[0104]取得部121例如取得由拾音装置10收集到的作业音的数据。作业音的数据是作业121例如取得由摄像装置20拍摄的、与作业音的数据对应的显现有进行作业的作业员的图体而言，例如，推测部122基于从第1模型132输出的作业音的特征量与预先保存在存储部130(例如，存储部130内的特征量数据库131)中的的作业音的特征量与预先保存在存储部130中的处理透明物体的作业的作业音的特征量的作业员是否正在进行处理透明物体的作业的推测图像的数据，则推测部122也可以根据作业音的数据及图像的数据推测作业员是否正在进[0108]此外，例如在推测装置100具有已学习完毕的第2模型133的情况下，如果取得部[0109]此外，推测部122例如可以判定由拾音装置10收集到的作业音是否是可能被误推非透明物体的作业的作业音的数据输入到第1模型132中而得到的处理非透明物体的作业的作业音的特征量与处理透明物体的作业的作业音的特征量的类似度高于规定值(即阈值)的情况下，推测部122将该处理非透明物体的作业的作业音判定为可能被推测部122误的作业音的作业音的特征量保存在存储部130的特征量数据库131(特征量[0112]存储部130是存储用于信息处理部120执行各种信息处理的专用的应用程序等的库131中，可以储存处理透明物体的作业所附带的作业音的特征量及可能被误推测为作业[0114]第1模型132例如是由模型生成部140生成的已学习完毕的模型。第1模型132例如模型132例如提取输入的作业音数据的特征量，计算提取出的特征量与预先保存在存储部130中的处理透明物体的作业的作业音的特征量的类似度，在计算出的类似度为规定值以特征量，计算提取出的特征量与预先保存在存储部130中的显现有进行处理透明物体的作[0115]第2模型133是由模型生成部140生成的已学习完毕的模型。第2模型133例如以与征量，计算提取出的特征量与预先保存在存储部130中的显现有进行处理透明物体的作业[0117]第1模型132及第2模型133具体而言是神经网络模型，例如可以是卷积神经网络员的图像的数据为输入、输出作业员是否正在进行处理透明物体的作业的图像识别模型的特征量与预先保存在存储部130中的处理透明物体的作业的作业音的特征量的类似度，别模型例如提取输入的图像的数据的特征量，计算提取出的特征量与预先保存在存储部130中的显现有进行处理透明物体的作业的作业员的图像的特征量的类似度，在计算出的[0122]模型生成部140也可以通过将已学习完毕的模型储存到存储部130中，将第1模型132及第2模型133更新。模型生成部140例如通过处理器执行存储在存储部130中的程序来[0131]推测装置100的取得部121取得由拾音装置10收集到的作业音的数据(S01)，将所[0132]接着，推测装置100的推测部122通过将作业音的数据输入到已学习完毕的第1模每隔规定的时间(例如2秒)的数据，将分割后的数据输入到声音识别模型(例如第1模型[0134]接着，推测部122计算表示从声音识别模型输出的评价声音特征量与事先登记在存储部130中的处理透明物体的作业的作业音(在这里，称作目的声音)的特征量即登记特[0135]图4是表示收集到的作业音的特征量与处理透明物体的作业的作业音的特征量的类似度的曲线图的图。在图4中，还记载了用户对由摄像装置20拍摄的图像以目视进行确先登记的处理透明物体的作业的作业音的特征量的类似度为阈值(这里是30)以上的情况小时的作业音以时间序列进行了分析。图5是表示在验证例1中对1小时的作业音以时间序算将作业员的作业所附带的作业音的数据输入到第1模型132(例如，图3的声音识别模型)中而得到的作业音的特征量与事先登记的处理透明袋的作业所附带的作业音的特征量的[0138]与图4同样地，用户对图像以目视进行确认而手动赋予表示正在进行处理透明袋[0139]此外，图5所示的图像的特征量的类似度示出了表示在使用图像识别模型提取出的图像中显现的透明袋的特征量与表示在预先登记的图像中显现的透明袋的特征量的类输入作业音的数据而直接输出是否是处理透明物体的作业的推测结果的模型的例子。图6[0145]模型生成部140作为学习数据而使用作业音的频谱的图像部122将想要进行作业分类的数据(作业音的数据或图像的数据)输入到神经网络中，输出袋作业的有无的两个分类或在存在袋作业的情况下对袋的种类进行分类的3个分类的推测[0150]图9是表示动作例1的验证例2的两个分类的推测结果及正确回答率的图。图9的(a)表示对神经网络输入的作业音的数据是可听频带的声音的数据的情况的数据的情况下的两个分类的推测结果及正确回答率。袋作业1是处理纵及横分别为约如图19的(a)及图9的(b)所示，如果作为输入数据而使用包含非可听频带的声音的宽频带的声音的作业音的数据，则与使用可听频带的声音的作业音的数据相比正确回答率较高。图10是表示进行3个分类的推测的情况下的正确回答率的计算方法的图。神经网络使用带有在存在袋作业的情况下表示袋的种类的标签和无袋作业的标签的数据作为教师数据进[0153]图11是表示动作例1的验证例2的3个分类的推测结果及正确回答率的图。图11的(a)表示对神经网络输入的作业音的数据是可听频带的声音的数据的情况下的3个分类的推测结果及正确回答率，图11的(b)表示作业音的数据是包含非可听频带的声音的宽频带[0155]接着，对基于输入数据的组合进行的袋作业的有无的两个分类的推测进行说图12是表示基于输入数据的组合进行的两个分类的推测方法及正确回答率的计算方法的[0156]图13是表示动作例1的验证例2的基于输入数据的组合进行的两个分类的推测结果及正确回答率的图。图13的(a)表示对神经网络输入的输入数据是图像的数据的情况下的两个分类的推测结果及正确回答率，图13的(b)表示输入数据是图像的数据及宽频带的频带的作业音的数据时能够精度更好地推测作业实施动作例1所记载的推测方法的情况(称作本方法)下的推测精度与实施使用图像AI(换[0159]图14是表示使用图像AI的推测方法的推测精度与本方法的推测精度的比较结果[0160]验证例3的结果确认了，通过使用包含非可听频带的声音的作业音的数据进行作业音的袋作业的推测结果(作业音相对于袋作业音的类似度)和基于图像的袋作业的推测业音的数据，则推测装置100的取得部121向以作业音的数据为输入的推测系统200输入作部122通过将图像的数据输入到第2模型133中，推测作业员是否正在进行处理透明物体的业员的图像的特征量与预先保存在存储部130中的显现有处理透明物体的作业员的图像的[0169]接着，推测部122基于使用第1模型132根据作业音的数据推测出的推测结果及使保存在存储部130中的处理透明物体的作业的作业音的特征量的类似度为规定值(阈值)以上，并且由第2模型133提取出的图像的特征量与预先保存在存储部130中的显现有处理透[0171]在动作例2中，说明了基于对第1模型132输入作业音的数据而得到的特征量和对第2模型133输入图像的数据而得到的特征量来推测作业员是否正在进行处理透明物体的推测装置100的取得部121取得由拾音装置10收集到的作业音的数据(S01)，将所取得的数[0173]接着，推测部122基于将作业音的数据和图像的数据输入第1模型132而得到的作入向量制作部具有以图像的数据为输入而提取里是作业音)的数据为输入而提取声音特征量(在这为教师数据而使用赋予了学习数据是否类似的标签的数据。模型生成部140通过学习来决推测部122将嵌入向量输入到作业分类部中，基于从Softmax层输出的概率值来确定袋作示意地表示执行动作例2的变形例1的流程的推测部122的结构例3的图。在结构例1及结构例如在配置在图像子网络之后的情况下是与从图像子网络的最终层输出的数据相同的尺寸，在配置在声音子网络之后的情况下是与从声音子网络的最终层输出的数据相同的尺[0197]图28是示意地表示执行动作例2的变形例2的流程的推测部122的结构例的图。对行说明。图29是表示由推测部122误推测为作业员正在进行处理透明物体的作业时的作业被误推测的作业音的特征量预先登记的动作的一例的[0202]为了减少这样的误推测，推测部122计算非透明袋音的特征量与预先登记的透明[0207]接着，推测部122判定透明袋音与输入音的类似度是否高于误推测对象音与输入122将收集到的声音(作业音)的特征量作为误推测对象音的特征量保存到存储部130中(S29)。另一方面，推测部122在判定为透明袋音与输入音的类似度不高于阈值的情况下2模型133输入图像的数据，从而推测作业员是否正在进行处理透明物体的作业(图17的132根据作业音的数据推测出的推测结果，使用第2模型133的推测结果是由第2模型133根推测的情况相比能够精度更好地推测处理透明据和图像的数据输入到第1模型132中，推测作业员是否正在进行处理透明物体的作业作业音的数据进行推测的情况相比能够精度更好地推测处理透明物型132输出的作业音的特征量相对于预先保存在存储部130(例如，特征量数据库131)中的132输出的作业音的特征量相对于处理透明物体的作业的作业音的特征量的上述的类似度(上述的第1类似度)高于相对于可能被误推测为作业员正在进行处理透明物体的作业的作业音(图30A的误推测对象音)的特征量的上述的类似度(上述的第2类似度)的情况下(图透明物体不同的非透明物体的作业的作业音的数据输入到第1模型132中而得到的处理非透明物体的作业的作业音的特征量与处理透明物的作业音判定为可能被误推测为处理透明物体的作业的作业音的作业音(即误推测对象业音的特征量与处理透明物体的作业的作业音的特征良好地判定该处理非透明物体的作业的作业音是否是可能被误推测为正在进行处理透明行推测方法的装置能够基于比仅使用可听频带的声音的数据的情况多的信息推测作业员式的推测系统200说明了推测装置100是服务器装置的例子，但推测装置100也可以不是服200a通信的服务器装置具有信息处理部程序实现。各构成要素也可以通过CPU或处理器等程序执行部将记录在硬盘或半导体存储机作为上述实施方式的推测装置100动作的程序实现。本公开也可以作为记录有这些程序在不脱离本公开的主旨的范围中将各实施方式的构成要素及功能任意地组合而实现的形