CN114332602B 一种智能货柜的商品识别方法 （青岛图灵科技有限公司）

获取配置在智能货柜内各层货架上方的鱼眼相进CascadeR-CNN网络模型对所述商品图像中的述商品目标图的数量判断智能货柜内的商品数值比对确定当前时刻智能货柜内的商品类别及新增商品特征加入商品特征库用于识别商品类2获取配置在智能货柜内各层货架上方的鱼眼相机利用预先训练完毕的改进CascadeR-CNN网络模型对所述商品图像中的商品进行检根据所述商品目标图的数量与智能货柜的商品数据库中的商品数量是否相等判断智若是，则利用改进Resnet网络模型从所述商品目标图中提所述改进CascadeR-CNN网络模型的Backbone部分的输出层采用可形变卷积网络，所i所述改进Resnet网络模型输入端包括一个mask卷积层和一个normal卷积模型采用交叉熵损失函数和TripletLoss损失函数进利用改进Resnet网络模型提取所述商品底库数据集中各类别商品的特征并计算各商3.根据权利要求1或2所述的智能货柜的商品识别方采集多张商品图像样本数据；其中，所述多张商品图像样本数据利用所述训练数据集对构建的改进CascadeR-CNN网络模型进行训练，并采用OHEM算若确定智能货柜内的商品数量减少，则将当前时刻智能货柜34[0005]本发明提供一种智能货柜的商品识别方法，通过对智能[0008]利用预先训练完毕的改进CascadeR-CNN网络模型对所述商品图像中的商品进行[0009]根据所述商品目标图的数量与智能货柜的商品数据库中的商品数量是否相等判[0011]所述改进CascadeR-CNN网络模型的Backbone部分的输出层采用可形变卷积网ac为当前得分最高预测框和待处理预测框左上角顶点的距离，La为当前得分最高预测5网络模型采用交叉熵损失函数和TripletLoss损失函数进行模[0017]利用改进Resnet网络模型提取所述商品底库数据集中各类别商品的特征并计算[0021]利用所述训练数据集对构建的改进CascadeR-CNN网络模型进行训练，并采用OHEM算法筛选出难分商品图像样本数据进行模型优化，得到所述预先训练完毕的改进预先训练完毕的改进CascadeR-CNN网络模型对所述商品图像中的商品进行检测得到商品6[0029]图4为本公开实施例提供的一种改进CascadeR-CNN网络模型训练方法的流程示别装置2可在智能货柜1上运行，商品识别装置2也可集成或安装在处理食材存取图像的后7[0046]本实施例中，可利用预先训练完毕的改进CascadeR-CNN网络模型对商品图像进网络模型的Backbone部分的输出层采用可形变卷积网络，所述改进CascadeR-CNN网络模ac为当前得分最高预测框和待处理预测框左上角顶点的距离，La为当前得分最高预测[0051]S23、根据所述商品目标图的数量与智能货柜的商品数据库中的商品数量是否相定检出的商品数量，将检出的商品数量与智能货柜的商品数据库中的商品数量进行比对，8品类别确定为检出的商品的类别，得到当前时刻智能货柜内的商品类别及对应的商品数截取的商品目标图会包含其他商品的一部分这一问题，对原始Resnet网络模型进行了改模型采用交叉熵损失函数和TripletLoss损失函数进的大小与商品目标图的长宽一致，用于对商品目标图的边缘区域进行遮挡，最后通过将mask卷积层和normal卷积层输出的特征图Concat起来输入到后续网络。此外，还在改进Resnet网络模型中添加了IBN模块提高域泛化能力，并且用交叉熵损失函数和Triplet用预先训练完毕的改进CascadeR-CNN网络模型对所述商品图像中的商品进行检测得到商[0059]预设商品特征库是利用改进Resnet网络模型构建的，用于作为商品类别的比对[0061]S32、利用改进Resnet网络模型提取所述商品底库数据集中各类别商品的特征并9[0063]为了能够对未训练过的商品进行检测，改进CascadeR-CNN网络模型通过商品的用OHEM算法筛选出难分商品图像样本数据进行模型优化，得到所述预先训练完毕的改进[0067]本实施例中，将训练数据集输入构建的改进CascadeR-CNN网络模型，通过改进CascadeR-CNN网络模型对标注了颜色信息和形状信息的商品样本图像进行处理得到颜色和形状预测信息；根据颜色和形状预测信息与标注颜色信息和形状信息计算损失函数值，并将所述损失函数值反向传播至改进CascadeR-CNN网络模型的各层，以根据损失函数值