CN119497866A 发送装置、接收装置以及信息处理方法 （索尼半导体解决方案公司）

2025.01.07PCT/JP2023/0239722023.06.28WO2024/014293JA2024.01.18根据本技术的发送装置包括：图像获取单的第二时间关于该商品货架捕获的第二货架图2和在所述第一时间之后的第二时间针对所述产品所述部分图像并且将所述第一货架图像和所述部分图像发送到所接收处理单元，接收第二货架图像的部分图像，所述第二一时间针对其上显示有产品的产品货架捕获的第一货架图像与在所述第一时间之后的第所述通知处理单元针对每一个所述产品和针对通知内容的每一种类型执行所述通知3所述接收装置进一步包括计数处理单元，所述计数处理单元对已经显示信息生成单元，生成显示所述通知处理的通知内容和所述显示的产品的数量的信息叠加在所述第二货架图像中的每个产品的每个用于获取在第一时间针对其上显示有产品的产品货架捕获的第一货架图像和在所述第一时间之后的第二时间针对所述产品货架捕获的第二将所述第一货架图像和所述部分图像发送到接收装间针对其上显示有产品的产品货架捕获的第一货架图像与在所述第一时间之后的第二时4[0001]本技术涉及发送产品的捕获图像的发送装置以及接收图像的接收装置的技术领[0002]零售商店越来越多地引入用于管理产品的系统以便简化雇员的工作并适当地执[0004]这样的功能可以由诸如云服务器的服务器装置提供，并且当使用专利文献1中公品的产品货架捕获的第一货架图像和在第一时间之后的第二时间针对该产品货架捕获的5[0023]图10是示出以时间序列捕获和接收参考货架图像和处理目标货架图像的定时的[0034]图21是与图22一起示出第一实施方式中的云服务器所执行的处理的示例的流程[0035]图22是与图21一起示出第一实施方式中的云服务器所执行的处理的示例的流程[0036]图23是示出由云服务器执行以根据通知的次数优化成像间隔的处理的示例的流[0044]图31是与图32一起示出第二实施方式中在商店开门之后由相机执行的处理的示[0045]图32是与图31一起示出第三实施方式中在商店开门之后由相机执行的处理的实6[0053]图40是示出经由云侧信息处理装置所提供的市场功能来注册和下载AI模型和AI[0054]图41是示出当经由市场功能注册和下载AI模型或AI应用程序时由每个装置执行[0055]图42是示出当部署AI应用程序或AI模型时由每个装置执行的处理的流程的示例[0065]在下文中，将参考附图按照以下顺序描述根据本技术的信息处理装置的实施方7[0088]在本实施方式中，信息处理系统100是识别显示在货架上的产品的状态并且发出[0091]用户终端2是被假设为由使用信息处理系统100接收服务的用户使用的信息处理化物半导体(CMOS)型图像传感器，并且捕获对象的图像以获得作为数字数据的图像数据[0093]包括在相机3中的传感器例如是捕获RGB图像的RGB传感器或者输出距离图像的距[0094]相机3通过成像获得其上显示有产品的产品货架的多个图像数据。这些图像数据品的状态改变之前的状态进行成像而获得的货架图像。该货架图像被称为“参考货架图[0096]用于与参考货架图像进行比较的货架图像是在商店的营业时间期间捕获的货架8[0102]云服务器1从相机3接收参考货架图像和部分图像。云服务器1切出参考货架图像[0104]当云服务器1指定这样的产品状态时，向产品管理员通知与产品状态相对应的信[0106]云服务器1和用户终端2分别被配置为配备有包括中央处理单元(CPU)、只读存储器(ROM)和随机存取存储器(RAM)的微计算机存储在ROM中的程序或加载到RAM中的程序执行各种处理来执行相机3的[0114]控制单元33还控制各种数据写入到存储器单元34和从存储器单元34读取各种数9信单元35被配置为能够至少与图1所示的云[0125]读出电路对通过光电转换获得的电信号执行例如相关双采样(CDS)处理和自动增[0128]图像信号处理单元42在A/D转换处理之后对作为数字数据的捕获图像信号执行预[0131]传感器内部控制单元43向成像单元41发出指示并且控制成像操作的执行。类似将它们存储在设置在图像传感器IS中的存储器单[0136]将参考图4描述信息处理系统100的诸如云服务器1和用户终端2的信息处理装置且根据存储在ROM72或诸如电可擦除可编程只读存储器(EEP_ROM)的非易失性存储单元74[0138]如上所述，作为云服务器1的信息处理装置的CPU71执行用于从参考货架图像切[0139]诸如ROM和RAM的存储单元存储关于在由CPU71使用AI模型执行的图像处理中使[0144]由液晶显示器(LCD)、有机电致发光(EL)面板等构成的显示单元77以及由扬声器等构成的声音输出单元78整体或单独连接到输[0146]显示单元77基于来自CPU71的指示在显示屏上显示用于各种图像处理的图像和[0147]由硬盘或固态存储器构成的存储单元79或由调制解调器构成的通信单元80可以体存储器的可移动存储介质82适当地安装在输入/[0150]可以由驱动器81从可移动存储介质82读取用于每个处理的诸如程序的数据文[0152]此外，由相机3捕获的图像和各种处理结果可以经由存储单元79或驱动器81接收息处理装置的云服务器1和用户终端2所需的[0154]云服务器1和用户终端2中的每一个不限于由如图4所示的单个计算机装置构成，也可以由被系统化的多个计算机装置构成。多个计算机装置可以通过局域网(LAN)等系统[0162]障碍物检测单元F2检测在由图像获取单元F1获取的每个货架图像中是否适当地[0163]当确定障碍物被显示并且显示空间中的产品没有被适当地显示(已经发生遮挡)[0164]区域指定单元F3执行用于指定在参考货架图像与处理目标货架图像之间存在差[0169]用于指定差异区域的位置的信息的另一示例可以是分配给产品货架上的每个显[0173]发送处理单元F5(参见图5)执行用于将参考货架图像和部分图像发送到云服务器1的处理。例如，假设仅针对在商店开门之前捕获的参考货架图像执行参考货架图像的发[0175]如上所述，发送处理单元F5发送用于指定差异区域的位置的信息以及部分图理单元F6对货架图像中示出人的区域执行诸如黑色图像的填充或马赛克处理的隐私掩膜[0180]接收处理单元F11执行用于接收参考货架图像和作为处理目标货架图像的一部分[0181]对应图像生成单元F12执行用于切出参考货架图像中与部分图像相对应的区域作[0182]对应图像的生成是用于从参考货架图像中切出作为比较的部分图像被视为要比较的参考货架图像(的一部分)时，不需要通过对应图像生成单元接收从在那天第一次捕获的处理目标货架图像中切出的部分图像(假设为部分图像A)时，服务器1通过从参考货架图像中切出相应区域作为对应图像并对其进行比较(图10中的第图像A。在这种情况下，针对产品Item1在先前状态(由部分图像A指定的状态)与当前状态[0186]在商店开门之前的时间t0捕获的参考货架图像是产品的最佳显示状态并且可以的坐标的部分图像B时，也可以通过将从在商店开门之前的时间t0捕获的参考货架图像中[0188]图像识别处理单元F13(参见图9)通过将对应图像和部分图像输入到AI模型中来执行用于识别产品的状态的AI图像处理。图像识别处理单元F13获得目标产品的状态的识以识别不适当的姿势状态，并且当不同类型的产品混合时可以识别不适当的显示位置状当，并且云服务器1需要能够获取关于要在显示空间中显示的产品与其价格之间的对应关[0198]图17所示的数据库被构建在云服务器1的存储单元79中或构建在云服务器1可以使用包括由没有示出产品而仅示出空托盘的图像和产品数量(零)构成的每个成对的训练[0204]通过以这种方式进行训练而获得的AI模型能够识别输入图像中示出的产品的数从各种角度捕获的产品的图像和指示该图像是否示出正面的标签构成的每个成对的训练[0206]以这种方式获得的AI模型可以识别产品的正确定向，并且因此可以识别产品的[0210]代替使用存储显示空间与应该显示在显示空间中的产品之间的对应关系的数据库，可以通过对与显示空间对应地安装的价格标签执行光学字符识别(OCR)处理来检测价[0213]通知处理单元F14(参见图9)执行与每个产品和每个产品状态相对应的通知处[0216]计数处理单元F15对每个产品和每个产品状态执行通知处理的次数进行计数。计数结果被存储在云服务器1的存储单元79中或其他信息处理装置的[0223]指示处理单元F16根据计数处理单元F15的计数结果，执行用于向相机3指示用于需要更频繁地监控产品Item5，并且发出指示以将在营业时间期间捕获处理目标货架图像[0224]此外，也可以考虑指示处理单元F16指示处理目标货架图像的成像间隔的其他情信号处理单元36执行的处理可以由相机3[0232]当确定已经检测到障碍物时，相机3的信号处理单元36在步骤S105中删除存储在[0237]通过执行图19所示的处理，相机3可以将其中对目标显示状态进行成像的参考货[0238]当在参考货架图像中已经检测到障碍物但是在不干扰产品的图像识别的位置处[0240]接下来，将参考图20描述在商店的营业时间期间由相机3执行以捕获处理目标货[0241]在步骤S201中，相机3的控制单元33确定从先前的捕获货架图像起是否已经经过[0244]当确定已经检测到障碍物时，相机3的信号处理单元36在步骤S205中删除存储在元F3执行用于将参考货架图像与当前处理目标货架图像进行比较来检测[0249]在步骤S212中，相机3的信号处理单元36执行用于将压缩的部分图像发送到云服[0250]在步骤S213中，相机3的信号处理单元36从存储器单元34中删除当前参考货架图[0252]相机3执行图20所示的处理，并且因此可以将在处理目标货架图像中已经改变的描述的处理是由云服务器1对一个相机3执行的处理。当多个相机3向云服务器1发送图像图像存储在存储单元79中。云服务器1从相机3接收关于部分图像的位置信息以及部分图云服务器1的CPU71在步骤S304从存储单元79读出部分图像，并且在随后的步骤S305对该[0259]在步骤S307中，云服务器1的CPU71基于部分图像的位置信息从参考货架图像切[0262]当确定产品状态的识别结果指示缺货状态或供应短缺状态时，云服务器1的CPU可以在用户终端2上以比供应短缺状态更突出的[0264]在执行通知处理之后，云服务器1的CPU71在步骤S311中存储通知历史。如上所短缺状态之后，云服务器1的CPU71在步骤S312中确定产品状态的识别结果是否指示不适[0266]当确定产品状态的识别结果指示不适当的姿势状态时，云服务器1的CPU71在步态之后，云服务器1的CPU71在步骤S315中确定产品状态的识别结果是否指示不适当的显[0268]当确定产品状态的识别结果指示不适当的显示位置状态时，云服务器1的CPU71置状态之后，云服务器1的CPU71在步骤S318中确定产品状态的识别结果是否指示不适当[0270]当确定产品状态的识别结果指示不适当的价格标签状态时，云服务器1的CPU71[0274]接下来，图23示出了由云服务器1执行以根据产品的状态的通知的次数优化成像[0276]接下来，在步骤S402中，云服务器1的CPU71确定当前时间是否超过商店关门时[0278]当确定已经发生了等于或大于预定次数的相同类型的通知时，云服务器1的CPU71在步骤S404中生成用于减小对相关产品进行成像的相机3的成像间隔的改变指示，并将[0284]当确定剩余电池电量小于预定值时，相机3的信号处理单元36在步骤S502中执行[0285]当在步骤S504中确定剩余电池电量等于或大于预定值时，相机3的信号处理单元AI模型存储在存储器单元45中时，可以抑制与AI模型的发送和接收相关联的通信量的增[0304]存储器单元45可以用于临时存储AI图像处理单元44在AI图像处理过程中所使用[0305]存储器单元45还存储关于AI图像处理单元44所使用的AI应用程序和AI模型的信[0306]关于AI应用程序和AI模型的信息可以通过使用下面将描述的容器技术被部署在以经由通信I/F46存储在设置在图像[0311]AI图像处理单元44使用以这种方式获得的AI应用程序或AI模型执行预定图像识[0312]AI图像处理单元44中的AI图像处理的识别结果信息经由通信I/F46输出到图像[0313]即，图像传感器IS的通信I/F46不仅输出从图像信号处理单元42输出的图像数通信I/F46和通信单元35从图像传感器IS上传到云服46和通信单元35从图像传感器IS输出到相机3A外部[0322]通过步骤S102中的成像控制获得的参考货架图像存储在图像传感器IS中的存储[0323]由AI图像处理单元44而不是信号处理单元36执行步骤S103中的参考货架图像的[0325]如上所述，图20所示的处理是在商店的营业时间期间由相机3A执行的处理的示[0326]通过步骤S202中的成像控制获得的处理目标货架图像存储在图像传感器IS中的[0327]由AI图像处理单元44而不是信号处理单元36执行步骤S203中的处理目标货架图架图像作为下一参考货架图像存储在存储器单对应图像和部分图像作为输入图像来执行图像识别处理并且输出关于产品的状态的识别[0344]当优化成像间隔时，AI图像处理单元44可以用作计数处理单元F15或指示处理单[0348]将参考附图描述由相机3B和云服务器1执行的处理。对于与第一实施方式相同的单元F3执行用于将该参考货架图像与当前的处理目标货架图像进行比较以检测其间的差[0364]另一方面，当确定已经检测到差异区域时，相机3B的AI图像处理单元44在步骤S210切出处理目标货架图像的一部分区域作为部分图像，从而包括该差异区域，在步骤步骤S307中基于关于部分图像的位置信息从参[0367]在步骤S308中，相机3B的AI图像处理单元44将对应图像和部分图像输入到AI模44在步骤S603中向云服务器1发送产品布置的通知请求，并且在步骤S314中执行用于存储单元44在步骤S604中向云服务器1发送产品移动的通知请求，并且在步骤S317中执行用于单元44在步骤S605中向云服务器1发送针对价格标签校正的通知请求，并且在步骤S320中[0386]与上述实施方式不同，根据第四实施方式的信息处理系统100包括作为商店侧信[0390]云侧信息处理装置包括云服务器1和其他服务器装置，并且是提供预期由多个用[0395]雾服务器4执行由第一实施方式中的信号处理单元36和第二实施方式中的信号处理单元36执行的处理。雾服务器4也可以将这些处理实现为基于规则的信号处理或AI图像[0398]由云服务器1执行的上述通知处理的结果等可以经由在用户终端2中执行的应用[0400]在由管理员使用的用户终端2中，可以通过启动用于查看可视化的分析结果的应用程序来查看包括上述通知信息的各种信息。在用户终端2中启动的应用程序可以是专用其他区域，在图像显示区域10中显示由相机3捕获的产品货架和所显示的各种类型的面包[0405]实时库存状态画面G1在图像显示区10上方设置有所选择的产品信息显示区域11、[0406]所选择的产品信息显示区域11是显示在图像显示区域10上所选择的产品(面包)[0410]时间显示区域13是用于显示捕获显示在图像显示区域10中的货架图像时的时间[0412]图像切换操作器14是在管理下存在多个产品货架并且由多个相机3捕获产品货架[0413]数据更新操作器15是用于在应用程序启动之后接收的存在货架图像(或部分图[0414]显示切换操作器16是用于切换是否在显示在图像显示区域10中的货架图像的每图36示出了标签被显示为叠加在显示在图像显示区域10中的货架图[0419]指针18a是可以沿着时间轴左右滑动，并且被操作以确定要在图像显示区域10中[0420]图形显示区域19是以图形的形式显示在图像显示区域10中选择的显示产品的数[0422]商店选择字段20是用于从选项中选择一个的操作字段，使得可以唯一地指定商[0423]功能选择字段21是可以选择作为由云服务器1提供的BI工具的功能的操作字段。可以通过功能选择字段21选择的功能例如包括用于检测和视觉显示关于产品的库存的信[0428]设置画面G2是用于设置要显示在产品货架上的产品的产品名称(或产品ID)的画[0429]用于在工作日对产品货架执行设置的工作日设置区域24和用于在假日对产品货架执行设置的假日设置区域25被垂直布置在设置[0430]在工作日设置区域24和假日设置区域25中，多个产品选择字段26以矩阵形式布示的示例中，根据图35和图36所示的产品货架上的显示空间的布置来布置产品选择字段[0436]设置历史确认按钮28是用于恢复先前的设置状态并使得可以确认先前的设置状[0439]如图38所示，产品名称管理画面G3设置有用于显示产品名称的排列顺序的区域在选择要改变的产品的状态下操作重部署运算[0441]云服务器1的CPU71用作生成用于在用户终端2的画面上显示上述各种画面的显[0442]云服务器1的CPU71还用作执行用于将所生成的显示信息显示在用户终端2上的[0443]由显示信息生成单元F21生成的显示信息是用于在用户终端2上显示通知处理的[0446]显示信息还包括使得可以掌握在图形显示区域19中显示的产品的数量的时间流图像处理，并且在作为云侧信息处理装置的云服务器1中使用边缘侧的AI图像处理的结果行诸如障碍物检测或差异区域检测处理的AI图传感器IS可以被视为安装在作为边缘侧信息处理装置的产品管理功能的用户使用的信息处理装置。当由使用由信息处理系统100提供的各种服务终端2(应用程序开发者终端2A)的一个方面，由使用应用程序的用户使用的信息处理装置也是用户终端2(应用程序用户终端2B)的一个方面，并且由开发在AI图像处理中使用的AI模型的用户使用的信息处理装置也是用户终端2(AI模型开发者终端2C)的一个方面。被产品管理员使用以使用用于上述产品管理的应用程序的用户终端2可以被称为应用程序用户[0460]云侧信息处理装置设置有用于执行AI训练的训练数据集和用作开发的基础的AI为云侧上的功能准备的市场(电子市场)中注册个人信息来购买在市场中注册的各种功能[0463]应用程序开发用户可以通过使用应用程序开发者终端2A在市场上注册开发的AI[0464]使用AI应用程序的用户通过使用应用程序用户终端2B执行从市场向作为由用户获图像而且还可以执行与如上所述的产品管理和顾客的属性提取相关的得可以执行作为AI应用程序的至少一部分[0469]云应用程序部署在云侧信息处理装置中，并且每个用户都可以经由网络6使用云[0470]应用程序用户可以通过使用应用程序用户终端2B来分析显示上的产品的数量以在商店的地图上以图形方式呈现顾客的流线来管理的商店中的相机3捕获的图像被适当地上传并且累积在云[0477]例如，使用来自设置在商店内部的相机3的暗图像再学习的AI模型部署在相机3以获取RGB图像的相机3的AI模型、应用于配备有生成距离图像的距离测量传感器的相机3相机3使用的AI模型来训练的AI模型、以及使用在暗环境中捕获的图像作为在暗时间期间由相机3使用的AI模型来训练的AI模型[0483]此外，当从相机3上传到云侧信息处理装置的信息(诸如捕获图像)包括个人信息开发用户和应用程序开发用户可以使用已删除关于隐[0486]当AI模型开发者查看在市场中注册的数据集列表并且通过使用包括诸如LCD或有在步骤S21中向云侧信息处理装置发送对所选择的[0489]当AI模型开发者结束AI模型的开发并且然后执行用于将所开发的AI模型注册在端2C在步骤S23中向云侧信息处理装置发送在市场中注册发者终端2A在步骤S33中向云侧信息处理装置发送[0495]云侧信息处理装置在步骤S7中接收注册请求，并且在步骤S[0496]图42示出了除了应用程序开发者之外的用户在市场上选择并下载AI应用程序的[0498]在步骤S11中，云侧信息处理装置执行用于部署所选择的AI应用程序和AI模型的[0503]云侧信息处理装置在步骤S13中执行用于呈现分析结果的处理。该处理例如由使[0504]在分析结果呈现处理之后，应用程序用户终端2B在步骤S42中执行用于在监控器[0505]通过至此的处理，AI应用程序的用户可以获得根据在步骤S41中选择的目的的分择用于每个相机3的AI图像处理的功能类型的服务。功能类型的选择可以被称为上述目的[0517]在该示例中，云侧信息处理装置具有选择性地设置相机3的AI图像处理功能的功[0519]这里，参见图43描述作为云侧信息处理装置的云服务器1与作为边缘侧信息处理[0523]装置管理功能是管理作为边缘侧信息处理装置的相机3等的功能，并且可以提供[0526]市场功能提供注册由AI模型开发者开发的上述AI模型和由应用程序开发者开发[0528]边缘运行时间用作用于管理部署在相机3中的应用程序并且与云侧信息处理装置信息对用于第一AI图像处理的输入张量执行作为第二AI图像处理的预定图像处理的AI应[0541]账户服务功能F32是生成和管理用户的账户信息的功能。在接收用户信息的输入，并且基于输入的用户信息能F34所提供的销售网站(销售站点)购买AI应用程序和AI应用程序所使用的AI模型。软件开发者还可以经由销售站点购买用于创建AI应用于相机3中的图像处理的处理结果信息生成关于对象的分析信息并且使用户经由用户终端[0548]当适当地执行成像设置搜索功能时，根据由用户设置的目的优化相机3的成像设像处理的最佳AI模型。这里的AI模型搜索是指当通过包括卷积运算的卷积神经网络(CNN)[0553]相机服务功能F35在部署每个SW组件之前具有应用程序设置功能。应用程序设置[0556]在应用程序设置功能中，执行在用户终端2(对应于图40中的应用程序用户终端2B)上接收用户对目的(应用程序)的选择的处理、用于根据所选择的应用程序选择适当的能F34和相机服务功能F35由单个云服务器1实现的配置，但是也可以采用这些功能由多个[0567]通用中间件52是用于实现诸如使用通信单元35作为硬件50的通信功能和使用显[0569]编排工具53和容器引擎54通过构建集群56作为容器55的操作环境来部署和执行[0571]编排工具53具有将上述硬件50和操作系统51的资源适当地分配给容器引擎54的[0575]容器55操作以使用由容器引擎54分配的硬件50和操作系统51的资源来实现预定署在相机3中的各种容器55中的一个使用AI应用程序和AI模型来实现预定的AI图像处理功集56可以跨多个装置构建，使得不仅使用一个相机3的硬件50而且还使用其他装置的其他[0581]豆荚管理库60被配置为包括用于允许豆荚59使用逻辑分配的硬件50的资源的容[0584]通过使用图46和图47所示的配置，可以使用容器技术在相机3的图像传感器IS中[0585]如上所述，AI模型可以经由图3中的通信I/F46等存储在图像传感器IS中的存储[0587]在这种情况下，关于AI应用程序或AI模型的信息被部署在诸如作为容器等的图4之后，使用服务提供商或用户的操作作为触发来执行AI模型的再训练和部署在相机3等中[0594]当相机3通过对捕获图像数据执行推理处理而获得推理结果时，推理结果可以在处理步骤PS4中作为捕获图像数据的元数据存储在图像[0595]相机3中的推理结果作为元数据存储在图像DB中，并且因此可以小心地选择再训[0597]当接收到该通知时，集线器在处理步骤PS6中通知编排工具53用于再训练的数据[0599]标记模块从图像DB获取要进行标记处理的图像数据(处理步骤PS8)，并且执行标[0601]标记处理可以手动地或自动地执行。标记处理可以通过云侧的信息处理装置完[0602]在完成标记处理之后，标记模块在处理步骤PS9中将标记结果信息存储在数据集[0603]在处理步骤PS10中，检测到已存储标记结果信息的存储管理单元通知编排工具且在处理步骤PS11中向再训练模块发送再[0605]接收到再训练指示的再训练模块在处理步骤PS12中从数据集DB中获取要用于训[0606]再训练模块使用所获取的数据集和AI模型来再学习AI模型。将以这种方式获得的更新的AI模型存储在再学习的AI模[0610]在转换处理中，根据作为部署目的地处的装置的相机3的规格信息来执行转换处[0614]接收到通知的集线器向相机3发送更新AI模型的指示。更新指示还包括用于指定[0615]在处理步骤PS22中，相机3执行用于从转换后的AI模型DB获取目标转换后的AI模[0616]在处理步骤PS23中，通过部署展开AI模型而结束AI模型的更新的相机3向集线器[0617]在处理步骤PS24中，已经接收到该通知的集线器通知编排工具53对相机3的AI模用AI模型的示例，但是即使在相机3的图像传感器外部的存储单元(例如图3的存储器单元[0626]在处理步骤PS28中，相机3从部署控制模块的容器DB下载更新的AI应用程序并且[0627]在以上描述中，已经描述了对依次执行在相机3的图像传感器IS上操作的AI模型的更新和在相机3的图像传感器IS的外部经接收部署指示的装置从部署控制模块的容器DB下载更新的SW组件并且对[0631]例如，当可以在相机3的图像传感器IS中部署用于AI模型和AI应用程序两者的容[0632]通过执行上述处理，使用在用户的使用环境中捕获的捕获图像数据再学习AI模[0638]在登录画面G11中，设置有用于输入用户ID的ID输入区域91和用于输入密码的密[0639]在密码输入区域92的下方设置有用于执行登录的登录按钮93和用于取消登录的[0642]图50示出了呈现给例如使用应用程序开发者终端2A的AI应用程序开发者或使用AI模型开发者终端2C的AI模型开发者的画面的者可以在市场上注册他们自己开发的AI应用程所选择的目的匹配的数据的显示处理。集以及由开发者开发的AI模型和AI应用程序[0653]图51示出了通过将AI应用程序或AI模型部署在作为用户管理的边缘侧信息处理[0654]用户可以经由市场购买要部署在要被监控的空间中的相机3。因此，在用户画面G13的左侧设置允许用户选择安装在相机3中的图像传感器IS的类型和性能和相机3的性能[0657]用户可以通过将购买的相机3(或在不通过市场的情况下购买的相机3)安装在他[0658]在用户画面G13的右侧设置允许用户选择关于安装相机3的环境的环境信息的单[0659]当购买相机3并且已经确定要购买的相机3的位置时，通过选择用户画面G13的左[0667]由此，可以在第一货架图像(参考货架图像)中指定要与部分图像进行比较的区间ID。发送处理单元F5将货架ID和显示空间ID与部分图像一起发送到接收装置(云服务器显示在产品货架上的产品的遮挡时，作为发送装置的相机3的图像获取单元F1可以再次获[0677]如以上参考图3等所描述的，作为发送装置的相机3可以包括捕获第一货架图像[0679]如以上参考图3和图5等所描述的，作为发送装置的相机3包括提供电源电压的电[0681]如以上在每个示例中所描述的，作为接收装置的云服务器1包括：接收处理单元店开门之前的预定时间)对其上显示有产品的产品货架捕获的第一货架图像(参考货架图像)与在第一时间之后的第二时间(例如，在商店[0682]接收装置接收第二货架图像的部分图像，并且因此与接收整个第二货架图像相[0685]如以上参考图11和图14等所描述的，由作为接收装置的云服务器1识别的产品的[0686]关于产品的姿势的状态可以例如是产品倒下的状态或者产品的背面面向前的状从而保持具有良好外观的显示状态并且使得可以刺激顾客的购买欲望并且增加[0687]如以上参考图11和图15所描述的，由作为接收装置的云服务器1识别的产品的状[0688]关于产品的显示位置的状态例如是在不同的显示空间中当顾客将他或她拿起的产品返回到不同于最初在将其返回到产品货架时显示的显示空间[0689]如以上参考图11和图16等所描述的，由作为接收装置的云服务器1识别的产品的元根据计数的次数发出变更第二货架图像的预定时间段[0697]如以上参考图36等所描述的，由作为接收装置的云服务器1发送的显示信息可以是其中关于所显示的产品的数量的信息叠加在第二货架图像(处理目标货架图像)中的每示相同产品时，由作为接收装置的云服务器1发送的显示信息可以包括用于识别分组显示[0701]如上参考图35和36所描述的，由作为接收装置的云服务器1发送的显示信息可以[0703]本技术中的信息处理方法使作为相机3的计算机装置执行以下处理：用于获取在第一时间针对其上显示有产品的产品货架捕获的第一货架图像和在第一时间之后的第二上显示有产品的产品货架捕获的第一货架图像与在第一时间之后的第二时间捕获的第二货架图像之间的差异区域，用于对部分图像执行图像识别处理以识别产品的状态的处理，诸如计算机装置的装置中的记录介质的硬盘驱动器(HDD)或包括CPU的微型计算机中的ROM第一时间针对其上显示有产品的产品货架捕获的第一货架图像与在第一时间之后的第二[0758]显示信息生成单元，生成显示通知处理的通知内容和第二货数量的信息叠加在第二货架图像中的每个产品的每[0768]用于获取在第一时间针对其上显示有产品的产品货架捕获的第一货架图像和在第一时间之后的第二时间针对该产品货架捕获的第二时间针对其上显示有产品的产品货架捕获的第一货架图像与在第一时间之后的第二时间