CN113614748B 用于对象检测的增量学习的系统和方法 （国际商业机器公司）

2021.09.17PCT/IB2020/0523012020.03.13WO2020/188436EN2020.09.24方法和系统在图像和/或视频中执行增量学直到满足总体检测准确度标准来训练两级神经网络对象检测器以定位和识别属于附加对象类属于先前学习的对象类别的对象的初始能力的损失和最大化附加地定位和识别属于附加对象度标准将两级神经网络对象检测器的初始版本的输出与由两级神经网络对象检测器的当前版21.一种用于在图像中增量学习对象检测而不会灾难性遗忘先前学习的一个或多个对通过迭代地更新两级神经网络对象检测器直到满足总体检测准确度标准来训练所述两级神经网络对象检测器以定位和识别图像中的属于执行所述更新以便平衡最小化定位和识别属于所述先前学习的一个或多个对象类别的对象的初始能力的损失和最大化附加地定位和识别属于所述附加对象类别的对象的能基于比较由所述两级神经网络对象检测器的初始版本输出的区域提议与由所述两级基于比较由所述两级神经网络对象检测器的所述初始版本获得的先前学习的对象预测与由所述两级神经网络对象检测器的所述当前版本输出的对象预测来确定先前学习的所述两级神经网络对象检测器被更新以便最小化所述区域提议蒸馏损失和所述先前通过对总损失应用优化方法来更新所述两级神经网络对象检测器，所所述区域提议网络损失和所述对象识别损失分别量化定位和识别属于所述附加对象如果所述总损失超过第一预定阈值或检测属于所述一个或多个对象类别中的一个对所述训练使用训练图像，并且使用与所述训练图像不同的验证图像来通过迭代地附加地更新所述两级神经网络对象检测器直到满足另一总体检测准确度标准来附加地训练所述两级神经网络对象检测器以定位和识别属于另一附加对象类别的3其中，执行所述附加地更新，以便最小化定位和识别属于所述两级神经网络对象检测器被同时训练以定位和识别属于所述附加对象类别的所接收用于训练所述两级神经网络对象检测器以定位和识别属于所述附加对象类别的从互联网检索包括属于所述附加对象类别的对象10.一种用于增量学习对象检测而不会灾难性遗忘先前学习的对象类别的方法，所述接收训练图像，所述训练图像包括属于对两级神经网络对象检使用所述训练图像中的一个接一个的多个图像，训练所将所述多个图像中的一个图像输入到所述两级神经网络对象检测器的所述初始版本将所述一个图像输入到所述两级神经网络对象检测器的当前版本将所述第一区域提议与所述第二区域提议进行比较，以估计量化将所述第一对象预测与所述第二对象预测进行比较以估计对象识别象识别蒸馏损失量化识别所述至少一个先前学习的对象类别将所述第二区域提议与所述一个图像的基础事实标签进行比较，以将所述第二对象预测与所述基础事实标签进行比较以估计初始未知的所述对象类别计算结合所述区域提议蒸馏损失、所述对象识别蒸馏损失更新所述两级神经网络对象检测器的当前版本以便使所述11.一种包含计算机可读代码的计算机可读介质，所述计算机可读代码在被计算机读通过迭代地更新两级神经网络对象检测器直到满足总体检测准确度标准来训练所述两级神经网络对象检测器以定位和识别图像中的属于4执行所述更新以便平衡最小化定位和识别属于所述先前学习的一个或多个对象类别的对象的初始能力的损失和最大化附加地定位和识别属于所述附加对象类别的对象的能基于比较由所述两级神经网络对象检测器的初始版本输出的区域提议与由所述两级基于比较由所述两级神经网络对象检测器的所述初始版本获得的先前学习的对象预测与由所述两级神经网络对象检测器的所述当前版本输出的对象预测来确定先前学习的所述两级神经网络对象检测器被更新以便最小化所述区域提议蒸馏损失和所述先前通过对总损失应用优化方法来更新所述两级神经网络对象检测器，所所述区域提议网络损失和区域卷积神经网络损失分别量化定位和识别属于所述附加如果所述总损失超过第一预定阈值或检测属于所述一个或多个对象类别中的一个对所述训练使用训练图像，并且使用与所述训练图像不同的验证图像来通过迭代地附加地更新所述两级神经网络对象检测器直到满足另一总体检测准确度标准来附加地训练所述两级神经网络对象检测器以定位和识别属于另一附加对象类别的其中，执行所述附加地更新，以便最小化定位和识别属于5所述两级神经网络对象检测器被同时训练以定位和识别属于所述附加对象类别的所19.如权利要求11所述的计算机可读介质，其中所述方法进一步包括以下各项中的至接收用于训练所述两级神经网络对象检测器以定位和识别属于所述附加对象类别的从互联网检索包括属于所述附加对象类别的对象20.一种包含计算机可读代码的计算机可读介质，当由计算机读取所述计算机可读代使用训练图像中的一个接一个的多个图像，训练两级神经网络将所述多个图像中的一个图像输入到所述两级神经网络对象检测器的初始版本以获得针对至少一个先前学习的对象类别的第一区域提议和第将所述一个图像输入到所述两级神经网络对象检测器的当前版本将所述第一区域提议与所述第二区域提议进行比较，以估计量化将所述第一对象预测与所述第二对象预测进行比较以估计对象识别象识别蒸馏损失量化识别所述至少一个先前学习的对象类别将所述第二区域提议与所述一个图像的基础事实标签进行比较，以将所述第二对象预测与所述基础事实标签进行比较以估计初始未知的所述对象类别计算结合所述区域提议蒸馏损失、所述对象识别蒸馏损失更新所述两级神经网络对象检测器的当前版本以便使所述21.一种用于增量学习对象检测而不会灾难性遗忘先前学习的对象类别的系统，所述计算设备，所述计算设备具有用户界面并被配置成使用所述云服务器被配置为收集训练图像、存储定位和识别先前学习的对象所述计算设备和所述云服务器中的至少一个被配置为通过迭代地更新能够定位和识别属于先前学习的对象类别的对象的所述两级神经网络对象检测器直到满足总体检测准确度标准来训练所述两级神经网络对象检测器以定位和识别属于附加6执行所述更新以便平衡最小化所述两级神经网络检测器定位和识别属于所述一个或多个对象类别的对象的初始能力的损失和最大化所述两级神经网络检测器附加地定位和基于比较由所述两级神经网络对象检测器的初始版本输出的区域提议与由所述两级基于比较由所述两级神经网络对象检测器的所述初始版本获得的先前学习对象预测与通过所述两级神经网络对象检测器的所述当前版本输出的对象预测来确定先前学习的通过对总损失应用优化方法来更新所述两级神经网络对象检测器，所所述区域提议网络损失和所述对象识别损失分别量化定位和识别属于所述附加对象如果所述总损失超过第一预定阈值或检测属于所述一个或多个对象类别中的一个对所述两级神经网络对象检测器被训练成与训练所述两级神经网络对象检测器定位和识别属于所述另一附加对象类别的所述对象同时地或顺序地定位和识别属于所述另一附7[0002]各种现实应用程序，如医疗图像的自动分析和基于图像识别的安全检测图像和/括确定图像和/或视频中的对象的位置和类型或类别。常规对象检测器利用一级或两级对象检测器。单级对象检测器(例如，You_Only_Look_Once，YOLO，以及SingleShot检测第二类别对象时失去检测第一类别对象的能力，这使得增量学习与终生检测不兼容。绕过灾难性遗忘的尝试包括与用于检测先前学习的类别的对象检测器并行地运行专用于大数据集来训练对象检测器也显著地增加了必要的计[0004]K.施梅尔科夫在“无灾难性遗忘的对象检测器增量学习”国际计算机视觉会议(2017年)提出了使用预先计算的对象提议并且因此运行缓慢的快区域卷积神经网络旦模型已被训练，在不重新训练具有用于所有感兴趣类别的标记数据的整个网络的情况的)或者用户缺少访问原始数据的特权，则用户不能通过添加已经变得与用户相关的新对8新类的对象)而不灾难性遗忘检测属于先前学习的类别的对象的方法。使用总损失来更新属于先前学习的对象类别的对象的能力，同时将其检测能力扩展到属于新对象类别的对[0010]示例性实施例涉及用于在图像中增量学习对象检测而不灾难性遗忘先前学习的准确度标准来训练现有的两级神经网络对象检测器以定位和识别属于图像中的至少一个象类别的对象的初始能力的损失和最大化定位和识别属于附加对象类别的对[0011]另一示例性实施例涉及用于增量学习对象检测而不灾难性遗忘先前学习的对象个图像中的一个图像输入到两级神经网络对象检测器的初始版本以获得针对至少一个先前学习的对象类别的第一区域提议和第一对象预测，(2)将所述一个图像输入到所述两级初未知的对象类别的第二区域提议和第二对象预测，(3)将该第一区域提议与该第二区域域提议蒸馏损失，(4)将该第一对象预测与该第二对象预测进行比较以估计对象识别蒸馏损失，该对象识别蒸馏损失量化识别该至少一个先前学习的对象类别的对象的能力的降象类别的区域提议网络损失，(6)将第二对象预测与所述基础事实标签进行比较以估计最码在由计算机读取时致使所述计算机执行用于增量学习以用于图像中的对象检测的方法，9个对象类别的对象的初始能力的损失和最大化定位和识别属于附加对象类别的对象的能地更新两级神经网络对象检测器来训练两级神经网络对象检测器以定位和识别属于附加于所述一个或多个对象类别的对象的初始能力的损失以及最大化两级神经网络检测器定[0016]图2是根据实施例的用于没有灾难性遗忘先前学习的一个或多个对象类别的情况[0017]图3示出了使用与输入相同的图像的对象检测器的初始版本和对象检测器的训练[0024]图10是示出根据实施例的在接收到用户请求时将新对象类别添加到对象检测模[0025]以下描述中使用的附图中的流程图和框图示出了根据本发明的不同实施例的系端到端学习机制联合地更新所述分类器以识别所述新对象类别以及所述特征表示以定位[0027]图1示意性地表示根据实施例的在图像中增量学习对象检测而没有灾难性遗忘先[0028]训练图像100包括属于新对象类别的对象，但是也可以包括属于先前学习的对象学生区域提议121用于提取特征矢量122，学生对象预测123将先前学习的对象类别或新的对象类别中的一个识别为与RPN(S)的每个区域中的[0029]可基于教师网络和学生网络的输出来估计检测准确度。基于比较教师区域提议111与学生区域提议121，区域提议网络蒸馏损失131量化学生网络定位先前学习的对象类失132量化学生网络识别先前学习的对象类别[0034]在更新对象检测器时使用总损失是平衡最小化其检测属于先前学习的对象的对力的损失的预定义限制，能力的平均损失和/或检测属于所添加的对象类别的对象的能力[0035]图2是根据实施例的用于增量学习对象检测而没有灾难性遗忘的方法200的流程[0036]在220，两级神经网络对象检测器被训练成使用训练图像逐一地或逐批地检测最[0038](2)将图像输入到两级神经网络对象检测器的当前版本(例如，学生网络)以获得第二区域提议和先前学习的对象类别和新对象类[0040](4)将该第一对象预测与该第二对象预测进行比较以估算一个对象识别蒸馏损[0041](5)将所述第二区域提议与所述图像的基础事实标签进行比较，以估计所述新对[0042](6)将所述第二对象预测与所述基础事实标签进行比较以估计所述新对象类别的[0044](8)更新所述两级神经网络对象检测器的当前版本以便使总损失最小化。更新可类别的方法执行两级神经网络对象检测器的训练以定位和识别属于附加对象类别的对象，者每个对象的预测概率必须超过低阈值准确度习的对象类别的对象的初始能力的损失以及最大化其附加地定位并识别属于附加对象类始能力的损失可以是蒸馏损失的总和(或加权总[0047]可以通过确定区域提议蒸馏损失和对象识别蒸馏损失来评估总体检测准确度标于针对同一输入训练图像将由两级神经网络对象检测器的初始版本输出的区域提议与由两级神经网络对象检测器的当前版本输出的当[0048]对象识别蒸馏损失基于比较由两级神经网络对象检测器的初始版本输出的先前[0049]图3示例性地示出了通过针对19个对象类别训练的对象检测器的初始版本对左侧[0051]图4示出了根据实施例的对象检测系统400。对象检测系统包括计算设备410和云[0052]将图像/视频输入提供给计算设备的相机402可以集成在或者可以是独立的相机。麦克风404使得由用户表达的用户请求能够作为音频输入被提供[0054]计算设备410和云/服务器420中的至少一个被配置为执行用于在图像中进行增量当增量学习由云/服务器执行时，被训练成检测属于附加对象类别的对象的对象检测器被型，所述可配置计算资源可以用最小的管理努力或与服务提供者的交互来快速配置和释能力，所述标准机制促进由异构的瘦或厚客户[0057]这三种服务模型是软件即服务(SaaS)、平台即服务(PaaS)和基础设施即服务(IaaS)。作为服务的软件向消费者提供使用在云基础设施上运行的提供者的应用的能力。源和被用来执行云计算环境内的任务的其他资源的动态获取。计量和定价682在云计算环和履行685为根据SLA预期未来要求的云计算资源提供预安排和采[0063]工作负载层690提供可以利用云计算环境的功能的示例。可以从该层提供的工作[0065]图8是用于将被指定为类别A的新的对象类别添加到现有对象检测器(诸如图7中现有图像。如果在850确定这样的图像不可用，则在860要求用户提供类别A对象的样本图[0069]