CN119404213A 食品管理方法、程序、食品管理系统、以及食品管理标签 （松下知识产权经营株式会社）

2024.12.20PCT/JP2023/0213792023.06.08WO2024/004572JA2024.01.04管理标签的食品或附有食品管理标签的用于保食品管理标签是具有与食品建立了关联的标识2获得摄像图像，所述摄像图像是由摄像元件对附有食品管理根据获得的所述摄像图像，来识别附有所述食品管理标签的所述食品或所述保存容通过对识别出的所述食品管理标签的大小与识别出的所述食品的大小或所述保存容所述食品管理标签具有可变部位，能够按照所述食品的剩余量而使根据识别出的所述食品管理标签中的所述可变部位的大小，来估计所述食品的剩余进一步获得由麦克风收集的与所述食品的剩余量有将与基于获得的所述声音信息的所述食品的剩余量有关的信息包括在所述剩余量信通过所述摄像元件的拍摄是在用户将所述食品或所述保存容器放入收纳空间所述食品管理标签由对特定的波长的光进行反射的材8.一种程序，用于使一个以上的处理器执行权利要求获得部，获得摄像图像，所述摄像图像是由摄像元件识别部，根据由所述获得部获得的所述摄像图像，来识别附有估计部，根据由所述识别部识别出的所述食品管理标签的大小，来3所述食品管理标签具有可变部位，能够按照所述食品的剩余量而使4由摄像元件对附有食品管理标签的食品或附有所述食品管理标签的用于保存所述食品的[0010]本公开的一个方式所涉及的程序用于使一个以上的处理器执行所述食品管理方述输出部输出与由所述估计部估计的所述食品的剩余量有关[0012]本公开的一个方式所涉及的食品管理标签是被安装于食品或保存所述食品的保5是为了避免以下的说明变得过分冗长而便于本领域安装有食品管理标签4的状态而被收纳到冰6[0035]食品管理标签4被安装在食品3或保存食品3的保存容器5，并且具有与食品3建立理的结果可以区別于对其他的食品管理标签的图像执行了图像识别处理的结果的形态即理标签4的标识符是食品管理标签4的形状和写在食品管理标签4上的字符串[0037]另外，食品管理标签4的标识符例如可以是写在食品管理[0038]食品管理标签4例如通过将塗有粘合剂的面粘贴到食品3或保存容器5的任意部[0040]摄像元件21例如是CCD(ChargeCoupledDevice：电荷耦合元件)传感器或CMOS(ComplementaryMetalOxideSemiconductor：互补金属氧化物半导体)传感器等图像传[0044]摄像元件21例如将用户开闭冰箱2的门作为触发，对附有食品管理标签4的食品37或保存容器5放入冰箱2(收纳空间)、或者用户从冰箱2取出食品3或保存容器5的定时进行[0045]通信I/F22例如经由互联网等外部网络NT1与食品管理系统100的通信I/F10之间摄而得到的摄像图像的数据发送给食品管理系统100的通信I/[0047]存储装置24是对处理器11为了执行各种功能所需要的信息(计算机程序等)进行通信I/F10接收到的摄像图像的数据被提供[0054]获得部111获得由摄像元件21对附有食品管理标签4的食品3或附有食品管理标签得从冰箱2的通信I/F22发送来的摄像的这部分作为食品管理标签4的标识符来识别。由识别部112识别出的食品管理标签4的标8识符与由识别部112识别出的食品3或保存容器5的这部分的图像作为相互建立了关联的数别部112例如通过利用以将食品3的图像作为输入并将食品3的种类作为输出的方式进行了而言，估计部113根据识别出的摄像图像中的食品3或保存容器5的区域的面积相对于识别管理标签4的标识符和附有食品管理标签4的食品3一起建立关联并存储在存[0058]另外也可以是，食品3的剩余量与该食品3的登记日或该食品3的剩余量被更新后品3的剩余量也可以与用于确定由哪个摄像元件21来拍摄的信息一起建立关联并存储在存[0060]并且例如是，在食品3的剩余量仅与用户的标识符建立关联并存储在存储装置129图2的(a)所示的摄像图像，算出识别出的食品3的区域的面积相对于识别出的食品管理标面积和识别出的食品3的区域的面积每当摄像元件21进行拍摄有可能会发生变化。在实施食品3的区域的面积相对于识别出的食品管理标签4的区域的面积的比例，来估计食品3的签4的区域的面积以及识别出的食品3的区域的面积发生变化，也能够估计出食品3的剩余被收纳在大小为第一保存容器的一半的第二保存容器5标签4的标识符和附有食品管理标签4的食品3一起建立关联并存储在存储装置[0068]这样，例如设在用户从冰箱2取出与上述相同的附有食品管理标签4的保存容器5域的面积和识别出的保存容器5的区域的面积每当摄像元件21进行拍摄有可能会发生变像图像中的保存容器5的区域的面积相对于识别出的食品管理标签4的区域的面积的比例，[0071]并且，考虑到在保存容器5的盖关闭的状态下而摄像元件21不能对被收纳在保存由摄像元件21对保存容器5的内部进行拍摄，则估计部113通过对由识别部112识别出的食品管理标签4的大小与由识别部112识别出的被收纳在保存容器5的食品3的大小进行比较，[0072]输出部114输出与由估计部113估计出的食品3的剩余量有关的剩余量信息。在剩信息以外，例如也可以包括食品3是否还有充分剩余或是仅剩稍许这样需要向用户进行通[0073]在实施方式1中，输出部114例如经由通信I/F10定期地将剩余量信息输出(发送)[0074]存储装置12是对处理器11的各个部为了执行各种功能所需要的信息(计算机程序能够采用公知的电子信息存储的方法。存储装置12对食品管理标签4的标识符与附有食品[0076]以下利用图4对如上这种构成的食品管理系统100的工作(食品管理方法)进行说摄像元件21对附有食品管理标签4的食品3或附有食品管理标签4的保存容器5进行了拍摄[0078]接着，估计部113通过对由识别部112识别出的食品管理标签4的大小与由识别部通过参照估计出的食品3的剩余量而能够掌握食品3的剩余量，因此与仅对食品3进行识别[0086]图5是示出包括实施方式1的变形例中的食品管理系统100A的整体构成的方框由获得部111获得的声音信息的食品3的剩余量有关的信息包括在剩余量信息中进行输出[0087]麦克风25例如在用户将食品3或保存容器5放入冰箱2(收纳空间)、或者用户从冰输出部114能够将包括由识别部112识别出的卷心菜(食品3)的识别数据和由估计部113估摄像图像作为输入并将食品3的剩余量作为输出的方式进行了机器学习的已学习模型来估计食品3的剩余量的情况下，该剩余量信息能够作为已学习模型的再次学习时的学习用数容易收集将实际的食品3的剩余量作为正确[0095]图7是示出实施方式2中的食品管理标签4A的使用例的图。图7示出了由摄像元件[0097]也就是说，食品管理标签4A具有能够按照食品3的剩余量而大小发生变化的可变[0099]在此，处理器11或识别部112像以下这样来区別及识别食品管理标签4A的不变部理器11或识别部112通过对由摄像元件21拍摄的图像执行适当的图像识别处理，从而能够分别识别不变部位41和可变部位42的多个能够被去除[0101]并且，处理器11或识别部112只要识别可变部位42的多个能够被去除的小片状体中的没有从不变部位41去除而被剩下的小片状体的个数或被剩下的小片状体的面积即可。在为前者的情况下，处理器11或识别部112也可以通过对能够确定为小片状体的标记的数11或识别部112可以识别在不变部位41中哪个小片状体没有被去除及可变部位42的整个标记的面积中，可变部位42所占的面积为10这种信息被预先存储图7的(a)所示的摄像图像，算出识别出的食品管理标签4A的区域中的可变部位42的面积为存储在存储装置12。113通过图7的(b)所示的摄像图像，算出识别出的食品管理标签4A的区域中的可变部位42元件21对附有食品管理标签4B的食品3进行了拍摄而得到的摄像图像。在图8所示的例子符而示出食品3的名称等的字符串，也可以具有与其他的食品管理标签4B不同的图案。并[0108]例如设在用户初次将食品3收纳到冰箱2的定时，获得部111获得图8的(a)所示的图8的(a)所示的摄像图像，算出识别出的食品管理标签4B的区域(即可变部位)的面积为储在存储装置12。[0111]以下利用图9对如上这种构成的食品管理系统100B的工作(食品管理方法)进行说本身不具有设计性，因此不需要在意由于食品管理标签印刷在食品3而导致的设计上的变估计部113进行的估计处理即通过对食品管理标签4A(在此为不变部位41)的大小与食品3也可以将两者的估计处理的结果的平均值作为食品3的剩如也可以是，食品3或保存容器5收纳在食品储藏室等这样食品贮藏库等冰箱2以外的收纳[0127]在上述各实施方式中，虽然将由冰箱2拍摄的摄像图像发送给食品管理系统100、余量等一系列处理例如在由用户对信息终端进行操作并将摄像图像发送给食品管理系统成要素的全部或一部分可以由专用的硬件来构成或由执行适于各构成要素的软件程序来执行部读出并执行记录在(HardDiskDrive：机械硬盘)或半导体存储器等记录介质的软的估计模型再次学习的情况下，容易收集将实际的食品3的剩余量作为正确答案数据的再有与食品3建立了关联的标识符的食品管理标签4、4A、4B的食品3或附有食品管理标签4、4A、4B的用于保存食品3的保存容器5进行了拍摄而得到的图像。识别部112根据由获得部输出与由估计部113估计出的食品3的剩余量有[0159]并且例如是，可变部位42被构成为，能够由用户按照食品3的剩余量而由用户去42的大小发生变化，因此基于可变部位42的大小，容易提高针对食品3的剩余量的估计精