CN113449548B 更新物体识别模型的方法和装置 （华为技术有限公司）

(19)国家知识产权局(12)发明专利地址518129广东省深圳市龙岗区坂田华有限公司11329GO6V10/762(2022.01)GO6N3/048(2023.GO6N3/084(2023.审查员郑宁本申请提供人工智能领域中的更新物体识别模型的方法和装置。本申请提供的技术方案所述第一语音信息用于指示所述目标图像中的目标物体的特征和用于表示所述第一类别的第2获取摄像设备采集的目标图像；获取语音设备采集的第一语音信息，所述第一语音信息用于指示所述目标图像中的目标物体的第一类别；根据所述目标图像和所述第一语音信息，更新第一物体识别模型，更新后的所述第一物体识别模型中包括所述目标物体的特征和第一标签，且所述目标物体的特征和所述第一标签之间具有对应关系，所述第一标签用于表示所述第一类别；所述根据所述目标图像和所述第一语音信息，更新第一物体识别模型，包括：根据所述第一标签和至少一类标签中每类标签的相似度，确定所述第一标签为所述至少一类标签中的第一类标签，所述第一标签与所述第一类标签的相似度大于所述第一标签与所述至少一类标签中其他类标签的相似度，所述至少一类标签是根据所述第一物体识别模型中的类别标签确定的；使用第二物体识别模型，根据所述目标图像，确定所述目标物体的类别标签为所述第一类标签的第一概率；在所述第一概率大于或等于预设的概率阈值时，将所述目标物体的特征和所述第一标签添加至所述第一物体识别模型。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一标签和至少一类标签中每类标签的相似度，确定所述第一标签为所述至少一类标签中的第一类标签，包括：根据所述第一标签的语义特征和至少一类标签中每类标签的语义特征之间的相似度，确定所述第一标签为所述至少一类标签中的第一类标签；其中所述第一标签与所述第一类标签的相似度大于所述第一标签与所述至少一类标所述第一标签的语义特征与所述第一类标签的语义特征之间的距离，小于所述第一标签的语义特征与所述其他类标签的语义特征之间的距离。3.根据权利要求1或2所述的方法，其特征在于，所述目标图像中包括第一物体，所述目标物体为所述目标图像中位于所述第一物体指示的方向上且离所述第一物体最近的物体，所述第一物体包括眼球或手指。4.根据权利要求3所述的方法，其特征在于，所述根据所述目标图像和所述第一语音信确定所述目标图像中的所述第一物体的边界框；根据所述边界框中的图像确定所述第一物体指示的方向；对所述目标图像进行视觉显著性检测，得到所述目标图像中的多个显著区域；根据所述第一物体指示的方向，从所述多个显著区域中确定目标显著区域，所述目标显著区域为所述多个显著区域中，在所述第一物体指示的方向上，离所述第一物体的边界框最近的显著区域；根据所述目标显著区域更新所述第一物体识别模型，其中，所述目标显著区域内的物体包括所述目标物体。5.根据权利要求4所述的方法，其特征在于，所述根据所述边界框中的图像确定所述第3使用分类模型，对所述边界框中的图像进行分类，得到所述第一物体的目标类别；根据所述第一物体的目标类别确定所述第一物体指示的方向。获取模块，用于获取摄像设备采集的目标图像；所述获取模块还用于获取语义设备采集的第一语音信息，所述第一语音信息用于指示所述目标图像中的目标物体的第一类别；更新模块，用于根据所述目标图像和所述第一语音信息，更新第一物体识别模型，更新后的所述第一物体识别模型中包括所述目标物体的特征和第一标签，且所述目标物体的特征与所述第一标签之间具有对应关系，所述第一标签用于表示所述第一类别；所述更新模块具体用于：根据所述第一标签和至少一类标签中每类标签的相似度，确定所述第一标签为所述至少一类标签中的第一类标签，所述第一标签与所述第一类标签的相似度大于所述第一标签与所述至少一类标签中其他类标签的相似度，所述至少一类标签是根据所述第一物体识别模型中的类别标签确定的；使用第二物体识别模型，根据所述目标图像，确定所述目标物体的类别标签为所述第一类标签的第一概率；在所述第一概率大于或等于预设的概率阈值时，将所述目标物体的特征和所述第一标签，以及所述特征与所述第一标签之间的对应关系添加至所述第一物体识别模型。7.根据权利要求6所述的装置，其特征在于，所述更新模块具体用于：根据所述第一标签的语义特征和至少一类标签中每类标签的语义特征之间的相似度，确定所述第一标签为所述至少一类标签中的第一类标签；其中，所述第一标签与所述第一类标签的相似度大于所述第一标签与所述至少一类标所述第一标签的语义特征与所述第一类标签的语义特征之间的距离，小于所述第一标签的语义特征与所述其他类标签的语义特征之间的距离。8.根据权利要求6或7所述的装置，其特征在于，所述目标图像中包括第一物体，所述目标物体为所述目标图像中位于所述第一物体指示的方向上且离所述第一物体最近的物体，所述第一物体包括眼球或手指。9.根据权利要求8所述的装置，其特征在于，所述更新模块具体用于：确定所述目标图像中的所述第一物体的边界框；根据所述边界框中的图像确定所述第一物体指示的方向；对所述目标图像进行视觉显著性检测，得到所述目标图像中的多个显著区域；根据所述第一物体指示的方向，从所述多个显著区域中确定目标显著区域，所述目标显著区域为所述多个显著区域中，在所述第一物体指示的方向上，离所述第一物体的边界框最近的显著区域；根据所述目标显著区域更新所述第一物体识别模型，其中，所述目标显著区域内的物体包括所述目标物体。10.根据权利要求9所述的装置，其特征在于，所述更新模块具体用于：使用分类模型，对所述边界框中的图像进行分类，得到所述第一物体的目标类别；4根据所述第一物体的目标类别确定所述第一物体指示的方向。11.一种更新物体识别模型的装置，其特征在于，包括：处理器，所述处理器与存储器耦所述存储器用于存储指令；所述处理器用于执行所述存储器中存储的指令，以使得所述装置执行如权利要求1至5中任一项所述的方法。12.一种计算机可读介质，其特征在于，包括指令，当所述指令在处理器上运行时，使得所述处理器执行如权利要求1至5中任一项所述的方法。5更新物体识别模型的方法和装置技术领域[0001]本申请涉及人工智能(artificialintelligence,AI)领域，并且更具体地，涉及更新物体识别模型的方法和装置。背景技术[0002]人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语[0003]物体检测是计算机视觉中的经典问题之一，其任务是用框去标出图像中物体的位置，并给出物体的类别。其中，物体检测中给出物体类别是通过物体识别来实现的。物体识别，也可以理解为物体分类，是根据物体的特征，把不同类别的物体区分[0004]随着人工智能技术的发展，物体识别已经不再仅仅是依靠传统的人工识别来实现，还是可以使用基于深度学习的物体识别模型来实现。[0005]基于深度学习的物体识别模型，通常是使用大量已知类别的物体图像对物体识别模型进行训练，以使得物体识别模型能够学习到不同类别物体所特有的特征，并记录不同类别的物体的特征与类别标签的对应关系。这样，训练过的物体识别模型在实际业务应用中输入了物体图像时，即可以根据该物体图像推理出该物体的类别，从而达到物体识别的[0006]例如，用户利用手机等终端设备进行物体检测时，可以利用训练好的物体识别模型来识别出手机等终端拍摄到的图像中的物体的类别。[0007]上述通过训练使得物体识别模型能够识别物体的类别的方法存在如下问题：该物体识别模型只能识别训练过程中涉及的物体类别，若目标物体的类别不属于训练过程中涉及的物体类别，则物体识别模型识别不了该目标物体。[0008]解决该问题的一种方法为，对物体识别模型训练之后，在物体识别模型的使用过程中，可以对物体识别模型进行更新，以使得物体识别模型可以识别更多类别的物体。发明内容[0010]本申请提供更新物体识别模型的方法和装置，使得物体识别模型能够识别更多的物体，提高物体识别模型的识别率。[0011]第一方面，本申请提供一种更新物体识别模型的方法，该方法包括：获取摄像设备采集的目标图像；获取语音设备采集的第一语音信息，所述第一语音信息用于指示所述目标图像中的目标物体的第一类别；根据所述目标图像和所述第一语音信息，更新第一物体6识别模型，更新后的所述第一物体识别模型中包括所述目标物体的特征和第一标签，且所述目标物体的特征与所述第一标签之间具有对应关系，所述第一标签用于表示所述第一类[0012]本申请的方法中，因为可以向物体识别模型中添加物体特征和该特征对应的类别标签，使得该物体识别模型可以识别出该类别的物体，从而提高物体识别模型的识别率，进而提升物体识别模型的智能化。此外，本申请的方法使得用户可以通过语音指示待更新的物体类别，可以提高用户更新该物体识别模型的便捷性。[0013]结合第一方面，在第一种可能的实现方式中，所述根据所述目标图像和所述第一语音信息，更新第一物体识别模型，包括：根据所述第一标签和至少一类标签中每类标签的相似度，确定所述第一标签为所述至少一类标签中的第一类标签，所述第一标签与所述第一类标签的相似度大于所述第一标签与所述至少一类标签中其他类标签的相似度；使用第二物体识别模型，根据所述目标图像，确定所述目标物体的类别标签为所述第一类标签的第一概率；在所述第一概率大于或等于预设的概率阈值时，将所述目标物体的特征和所述第一标签添加至所述第一物体识别模型的特征库。[0014]该实现方式中，在确定用户通过语音指示的类别为目标物体的真实类别的概率较高的情况下，才更新第一物体识别模型，有助于提高更新到第一物体识别模型中的物体特征对应的类别标签的准确率，从而可以提高第一物体识别模型的识别准确率。[0015]结合第一种可能的实现方式，在第二种可能的实现方式中，所述根据所述第一标签和至少一类标签中每类标签的相似度，确定所述第一标签为所述至少一类标签中的第一类标签，包括：根据所述第一标签的语义特征和至少一类标签中每类标签的语义特征之间的相似度，确定所述第一标签为所述至少一类标签中的第一类标签；其中，所述第一标签与所述第一类标签的相似度大于所述第一标签与所述至少一类标签中其他类标签的相似度，包括：所述第一标签的语义特征与所述第一类标签的语义特征之间的距离，小于所述第一标签的语义特征与所述其他类标签的语义特征之间的距离。[0016]结合第一方面或上述任意一种可能的实现方式，在第三种可能的实现方式中，所述目标图像中包括第一物体，所述目标物体为所述目标图像中位于所述第一物体指示的方向上离所述第一物体最近的物体，所述第一物体包括眼球或手指。[0017]该实现方式中，可以预先指定目标图像中的眼球或手指为指向物体，并将位于指向物体指示的方向上的物体确定为目标物体，这有助于准确地将用户通过声音指示的第一类别标记到用户指定的目标物体，从而可以提高更新后的第一物体识别模型的识别准确[0018]结合第三种可能的实现方式，在第四种可能的实现方式中，所述根据所述目标图像和所述第一语音信息，更新第一物体识别模型，包括：根据所述目标图像，确定所述目标图像中的所述第一物体的边界框；根据所述边界框中的图像确定所述第一物体指示的方向；对所述目标图像进行视觉显著性检测，得到所述目标图像中的多个显著区域；据所述第一物体指示的方向，从所述多个显著区域中确定目标显著区域，所述目标显著区域为所述多个显著区域中，在所述第一物体指示的方向上，离所述第一物体最近的显著区域；根据所述目标显著区域更新所述第一物体识别模型，其中，所述目标显著区域内的物体包括所述7[0019]结合第四种可能的实现方式，在第五种可能的实现方式中，所述根据所述边界框中的图像确定所述第一物体指示的方向，包括：使用分类模型，对所述边界框中的图像进行分类，得到所述第一物体的目标类别；根据所述第一物体的目标类别确定所述第一物体指示的方向。[0020]第二方面，本申请提供一种更新物体识别模型的装置，该装置包括：获取模块，用于获取摄像设备采集的目标图像；所述获取模块还用于获取语音设备采集的第一语音信息，所述第一语音信息用于指示所述目标图像中的目标物体的第一类别；更新模块，用于根据所述目标图像和所述第一语音信息，更新第一物体识别模型，更新后的所述第一物体识别模型中包括所述目标物体的特征和所述第一标签，且所述目标物体的特征与所述第一标签之间具有对应关系，所述第一标签用于表示所述第一类别。[0021]本申请的装置中，因为可以向物体识别模型中添加物体特征和该特征对应的类别标签，使得该物体识别模型可以识别出该类别的物体，从而提高物体识别模型的识别率，进而提升物体识别模型的智能化。此外，本申请的方法使得用户可以通过语音指示待更新的物体类别，可以提高用户更新该物体识别模型的便捷性。[0022]结合第二方面，在第一种可能的实现方式中，所述更新模块具体用于：根据所述第一标签和至少一类标签中每类标签的相似度，确定所述第一标签属于所述至少一类标签中的第一类标签，所述第一标签与所述第一类标签的相似度大于所述第一标签与所述至少一类标签中其他类标签的相似度；使用第二物体识别模型，根据所述目标图像，确定所述目标物体的类别标签为所述第一类标签的第一概率；在所述第一概率大于或等于预设的概率阈值时，将所述目标物体的特征和所述第一标签添加至所述第一物体识别模型。[0023]该实现方式中，在确定用户指示的类别为目标物体的真实类别的概率较高的情况下，才更新第一物体识别模型，有助于提高更新到第一物体识别模型中的物体特征对应的类别标签的准确率，从而可以提高第一物体识别模型的识别准确率。[0024]结合第一种可能的实现方式，在第二种可能的实现方式中，所述更新模块具体用于：根据所述第一标签的语义特征和至少一类标签中每类标签的语义特征之间的相似度，确定所述第一标签为所述至少一类标签中的第一类标签；其中，所述第一标签与所述第一类标签的相似度大于所述第一标签与所述至少一类标签中其他类标签的相似度，包括：所述第一标签的语义特征与所述第一类标签的语义特征之间的距离，小于所述第一标签的语义特征与所述其他类标签的语义特征之间的距离。[0025]结合第二方面或上述任意一种可能的实现方式，在第三种可能的实现方式中，所述目标图像中包括第一物体，所述目标物体为所述目标图像中位于所述第一物体指示的方向上离所述第一物体最近的物体，所述第一物体包括眼球或手指。[0026]该实现方式中，可以预先指定目标图像中的眼球或手指为指向物体，并将位于指向物体指示的方向上的物体确定为目标物体，这有助于准确地将用户通过声音指示的第一标签标记到用户指定的目标物体，从而可以提高更新后的第一物体识别模型的识别准确[0027]结合第三种可能的实现方式，在第四种可能的实现方式中，所述更新模块具体用于：根据所述目标图像，确定所述目标图像中的所述第一物体的边界框；根据所述边界框中的图像确定所述第一物体指示的方向；对所述目标图像进行视觉显著性检测，得到所述目8标图像中的多个显著区域；根据所述第一物体指示的方向，从所述多个显著区域中确定目标显著区域，所述目标显著区域为所述多个显著区域中，在所述第一物体指示的方向上，离所述第一物体最近的显著区域；根据所述目标显著区域更新所述第一物体识别模型，其中，所述目标显著区域内的物体包括所述目标物体。[0028]结合第四种可能的实现方式，在第五种可能的实现方式中，所述更新模块具体用于：使用分类模型，对所述边界框中的图像进行分类，得到所述第一物体的目标类别；根据所述第一物体的目标类别确定所述第一物体指示的方向。[0029]第三方面，本申请提供一种更新物体识别模型的方法，该方法包括：获取摄像设备采集的目标图像；获取第一指示信息，所述第一指示信息用于指示所述目标图像中的目标物体的第一类别；所述第一类别为所述目标物体的实际类别的目标置信度大于或等于预设的置信度阈值时，根据所述目标图像和所述第一指示信息，更新第一物体识别模型，更新后的所述第一物体识别模型的特征库中包括所述目标物体的特征和第一标签，且所述目标物体的特征与所述第一标签之间具有对应关系，所述第一标签用于表示所述第一类别；其中，所述目标置信度是根据第一概率确定的，所述第一概率为第二物体识别模型对所述目标物体进行识别得到的、且所述第一标签为第一类标签的概率，所述第二物体识别模型用于对图像进行识别，以得到所述图像中的物体的类别标签为至少一类标签中的每类标签的概率，所述至少一类标签是对所述第一物体识别模型的特征库中的特征对应的类别标签进行聚类得到的，所述至少一类标签包括所述第一类标签，所述第一标签与所述第一类标签的相似度大于所述第一标签与所述至少一类标签中其他类标签的相似度。[0030]该方法中，在第一标签为目标物体的真实标签的置信度较高的情况下，才更新第一物体识别模型其中，该置信度是根据第二物体识别模型基于目标图像推理得到的待检测物体类别标签为第一标签所属标签类的概率确定的。这样，有助于提高更新到第一物体识别模型中的物体特征对应的类别标签的准确率，从而可以提高第一物体识别模型的识别准[0031]结合第三方面，在第一种可能的实现方式中，所述根据所述目标图像和所述第一指示信息，更新第一物体识别模型，包括：根据所述第一标签和所述至少一类标签中每类标签的相似度，确定所述第一标签为所述第一类标签；将所述目标图像输入所述第二物体识别模型，得到所述第一概率；根据所述第一概率确定所述目标置信度；在所述目标置信度大于或等于所述置信度阈值时，将所述目标物体的特征和所述第一标签添加至所述第一物体识别模型。[0032]结合第三方面或第一种可能的实现方式，在第二种可能的实现方式中，所述第一标签与所述第一类标签的相似度大于所述第一标签与所述至少一类标签中其他类标签的相似度，包括：所述第一标签的语义特征与所述第一类标签的语义特征之间的距离，小于所述第一标签的语义特征与所述其他类标签的语义特征之间的距离。[0033]结合第二种可能的实现方式，在第三种可能的实现方式中，所述置信度为所述第一概率。[0034]结合第三方面或上述任意一种可能的实现方式，在第四种可能的实现方式中，所述第一指示信息包括语音设备采集的语音信息或通过触摸装置采集的文字信息。[0035]第四方面，本申请提供一种更新物体识别模型的装置，该装置包括用于实现第三9方面或任意一种实现方式中的方法的对应模块。[0036]第五方面，本申请提供了一种更新物体识别模型的装置，该装置包括：存储器，用于存储指令；处理器，用于执行所述存储器存储的指令，当所述存储器存储的指令被执行时，所述处理器用于执行第一方面或其中任意一种可能的实现方式中的方法。[0037]第六方面，本申请提供了一种更新物体识别模型的装置，该装置包括：存储器，用于存储指令；处理器，用于执行所述存储器存储的指令，当所述存储器存储的指令被执行时，所述处理器用于执行第三方面或其中任意一种可能的实现方式中的方法。[0038]第七方面，本申请提供一种计算机可读介质，该计算机可读介质存储用于设备执行的指令，该指令用于实现第一方面或其中任意一种可能的实现方式中的方法。[0039]第八方面，本申请提供一种计算机可读介质，该计算机可读介质存储用于设备执行的指令，该指令用于实现第三方面或其中任意一种可能的实现方式中的方法。[0040]第九方面，本申请提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行第一方面或其中任意一种可能的实现方式中的方法。[0041]第十方面，本申请提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行第三方面或其中任意一种可能的实现方式中的方法。[0042]第十一方面，本申请提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行第一方面或其中任意一种可能的实现方式中的方法。[0043]可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行第一方面或其中任意一种可能的实现方式中的方法。[0044]第十二方面，本申请提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行第三方面或其中任意一种可能的实现方式中的方法。[0045]可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行第三方面或其中任意一种可能的实现方式中的方法。[0046]第十三方面，本申请提供了一种计算设备，计算设备包括处理器和存储器，其中：存储器中存储有计算机指令，处理器执行计算机指令，以实现第一方面或其中任意一种可能的实现方式中的方法。[0047]第十四方面，本申请提供了一种计算设备，计算设备包括处理器和存储器，其中：存储器中存储有计算机指令，处理器执行计算机指令，以实现第三方面或其中任意一种可能的实现方式中的方法。[0048]第十五方面，本申请提供了一种物体识别方法，该方法包括：获取摄像设备采集的待识别图像；使用第一物体识别模型对所述待识别图像进行类别识别，其中，所述第一物体识别模型是根据摄像设备采集的目标图像和语音设备采集的第一语音信息添加所述目标物体的特征和第一标签得到的，且所述目标物体的特征和所述第一标签之间具有对应关系，所述第一语音信息用于指示所述目标图像中的目标物体的第一类别，所述第一标签用于表示所述第一类别。[0049]在一些可能的实现方式中，所述目标物体的特征和所述第一标签是在第一概率大于或等于预设的概率阈值时添加至所述第一物体识别模型的，所述第一概率是使用第二物体识别模型根据所述目标图像得到的，且所述第一概率为所述目标物体的类别标签为所述第一类别标签的概率，所述第一类标签为根据所述第一标签和至少一类标签确定的，且所述第一标签与所述第一类标签的相似度大于所述第一标签与所述至少一类标签中其他类标签的相似度。[0050]在一些可能的实现方式中，所述第一标签与所述第一类标签的相似度大于所述第一标签与所述至少一类标签中其他类标签的相似度，包括：所述第一标签的语义特征与所述第一类标签的语义特征之间的距离，小于所述第一标签的语义特征与所述其他类标签的语义特征之间的距离。[0051]在一些可能的实现方式中，所述目标图像中包括第一物体，所述目标物体为所述目标图像中位于所述第一物体所指方向上离所述第一物体最近的物体，所述第一物体包括眼球或手指。[0052]第十六方面，本申请提供一种物体识别装置，该装置包括用于实现第十五方面或任意一种实现方式中的方法的对应模块。[0053]第十七方面，本申请提供了一种物体识别装置，该装置包括：存储器，用于存储指令；处理器，用于执行所述存储器存储的指令，当所述存储器存储的指令被执行时，所述处理器用于执行第十五方面或其中任意一种可能的实现方式中的方法。[0054]第十八方面，本申请提供一种计算机可读介质，该计算机可读介质存储用于设备执行的指令，该指令用于实现第十五方面或其中任意一种可能的实现方式中的方法。[0055]第十九方面，本申请提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行第十五方面或其中任意一种可能的实现方式中的方[0056]第二十方面，本申请提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行第十五方面或其中任意一种可能的实现方式中的方法。[0057]可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行第十五方面或其中任意一种可能的实现方式中的方法。[0058]第二十一方面，本申请提供了一种计算设备，计算设备包括处理器和存储器，其中：存储器中存储有计算机指令，处理器执行计算机指令，以实现第十五方面或其中任意一种可能的实现方式中的方法。附图说明[0059]图1为本申请一种人工智能主体框架示意图。[0060]图2为本申请实施例提供的一种系统架构的结构示意图。[0061]图3为本申请实施例提供的一种卷积神经网络的结构示意图。[0062]图4为本申请实施例提供的另一种卷积神经网络的结构示意图。[0063]图5为本申请实施例提供的一种芯片的硬件结构示意图。11[0064]图6为本申请实施例提供的一种系统架构的示意图。[0065]图7为本申请一个实施例的更新物体识别模型的方法的示意性流程图。[0066]图8为基于标签特征对标签进行聚类以得到至少一类标签的示意图。[0067]图9为本申请另一个实施例的更新物体识别模型的方法的示意性流程图。[0068]图10为本申请另一个实施例的更新物体识别模型的方法的示意性流程图。[0069]图11为手势指示方向上的主体区域的确定方法的示意图。[0070]图12为本申请一个基于用户指令更新物体识别模型的示意性流程图。[0071]图13为本申请另一个基于用户指令更新物体识别模型的示意性流程图。[0072]图14是本申请的更新物体识别模型的装置的一个示例性结构图。[0073]图15是本申请的更新物体识别模型的装置的另一个示例性结构图。具体实施方式[0074]图1示出一种人工智能主体框架示意图，该主体框架描述了人工智能系统总体工作流程，适用于通用的人工智能领域需求。[0075]下面从“智能信息链”(水平轴)和“IT价值链”(垂直轴)两个维度对上述人工智能主题框架进行阐述。[0076]“智能信息链”反映从数据的获取到处理的一列过程。举例来说，可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中，数据经历了“数据一信息一知识一智慧”的凝练过程。[0077]“IT价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到系统的产业生态过程，反映人工智能为信息技术产业带来的价值。[0079]基础设施为人工智能系统提供计算能力支持，实现与外部世界的沟通，并通过基等硬件加速芯片)提供；基础平台包括分布式计算框架及网络等相关的平台保障和支持，可以包括云存储和计算、互联互通网络等。举例来说，传感器和外部沟通获取数据，这些数据提供给基础平台提供的分布式计算系统中的智能芯片进行计算。[0080](2)数据[0081]基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、图像、语音、文本，还涉及到传统设备的物联网数据，包括已有系统的业务数据以及力、位[0082](3)数据处理[0083]数据处理通常包括数据训练，机器学习，深度学习，搜索，推理，决策等方式。[0084]其中，机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽[0085]推理是指在计算机或智能系统中，模拟人类的智能推理方式，依据推理控制策略，利用形式化的信息进行机器思维和求解问题的过程，典型的功能是搜索与匹配。[0086]决策是指智能信息经过推理后进行决策的过程，通常提供分类、排序、预测等功[0088]对数据经过上面提到的数据处理后，进一步基于数据处理的结果可以形成一些通用的能力，比如可以是算法或者一个通用系统，例如，翻译，文本的分析，计算机视觉的处[0089](5)智能产品及行业应用[0090]智能产品及行业应用指人工智能系统在各领域的产品和应用，是对人工智能整体[0091]例如，可以获取包含物体的大量图像作为数据；然后对该数据进行数据处理，即对图像中物体类别与物体特征之间关联关系进行深度学习；进行数据处理后，可以得到具备通用能力的物体识别模型；将该物体识别模型部署到基础设施，例如部署到机器人等设备上，可以得到具备物体识别功能的智能产品；智能产品采集到图像之后，可以使用其上部署的物体识别模型对图像进行识别，以得到图像中的物体的类别，从而实现物体识别的行业应用。[0092]本申请中的物体识别也可以称为图像识别，是指利用计算机对图像进行处理、分析和理解，以识别图像中各种不同类别的目标的技术。用于实现物体识别的模型称为物体识别模型，也可以称为图像识别模型。[0093]物体识别模型可以通过训练得到。下面结合图2介绍训练物体识别模型的一种示例性方法。[0094]在图2中，数据采集设备260用于采集训练数据。例如，训以及训练图像对应的类别，其中，训练图像的结果可以是人工预先标注的结果。[0095]在采集到训练数据之后，数据采集设备260将这些训练数据存入数据库230,训练设备220基于数据库230中维护的训练数据训练得到物体识别模型201。[0096]下面对训练设备220基于训练数据得到物体识别模型201进行描述，训练设备220对输入的原始图像进行处理，将输出的图像类别与原始图像标注的类别进行对比，直到训练设备120输出的图像类别与原始图像标注的类别的差值小于一定的阈值，从而完成物体识别模型201的训练。[0097]上述物体识别模型201能够用于物体识别。本申请实施例中的物体识别模型201具体可以为神经网络。需要说明的是，在实际的应用中，所述数据库230中维护的训练数据不一定都来自于数据采集设备260的采集，也有可能是从其他设备接收得到的。另外需要说明的是，训练设备220也不一定完全基于数据库230维护的训练数据进行物体识别模型201的训练，也有可能从云端或其他地方获取训练数据进行模型训练，上述描述不应该作为对本申请实施例的限定。[0098]根据训练设备220训练得到的物体识别模型201可以应用于不同的系统或设备中，如应用于图2所示的执行设备210,所述执行设备210可以是终端，如手机终端，平板电脑，笔记本电脑，增强现实(augmentedreality,AR)AR/虚拟现实(virtualreality,VR),车载终端等，还可以是服务器或者云端等。在图2中，执行设备210配置输入/输出(input/output,I/0)接口212,用于与外部设备进行数据交互，用户可以通过客户设备240向I/0接口212输入数据，所述输入数据在本申请实施例中可以包括：客户设备输入的待识别图像。[0099]预处理模块213用于根据I/0接口212接收到的输入数据(如待处理图像)进行预处[0100]在执行设备210对输入数据进行预处理，或者在执行设备210的处理模块211执行户设备240中设置相应权限。用户可以在客户设备240查看执行设备210输出的类别识别结212直接将I/0接口212的输入数据及输出I/0接口212的输出结果，作为新的样本数据存入神经单元的激活函数(activationfunctions),用于将非线性特性引入神经网络中，来将[0112]深度神经网络(deepneuralnetwork,DNN),也称多层神经网络，可以理解为具有多层隐含层的神经网络。按照不同层的位置对DNN进行划分，DNN内部的神经网络可以分为都是隐含层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。[0113]虽然DNN看起来很复杂，但是就每一层的工作来说，其实并不复杂，简单来说就是是权重矩阵(也称系数),α()是激活函数。每一层仅仅是对输入向量x经过如此简单的操作得到输出向量。由于DNN层数多，系数W和偏移向量b的数量也比较多。这些参数在DNN中的第2个神经元的线性系数定义为W2。上标3代表系数W所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。[0114]综上，第L-1层的第k个神经元到第L层的第j个神经元的系数定义为W。[0115]需要注意的是，输入层是没有W参数的。在深度神经网络中，更多的隐含层让网络越大，也就意味着它能完成更复杂的学习任务。训练深度神经网络的也就是学习权重矩阵的过程，其最终目的是得到训练好的深度神经网络的所有层的权重矩阵(由很多层的向量W形成的权重矩阵)。[0116](3)卷积神经网络(convolutionalneuralnetwork,CNN)[0117]卷积神经网络是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。该特征抽取器可以看作是滤波器，卷积过程可以看作是使用一个可训练的滤波器与一个输入的图像或者卷积特征平面(featuremap)做卷积。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。这其中隐含的原理是：图像的某一部分的统计信息与其他部分是一样的。即意味着在某一部分学习的图像信息也能用在另一部分上。所以对于图像上的所有位置，我们都能使用同样的学习得到的图像信息。在同一卷积层中，可以使用多个卷积核来提取不同的图像信息，一般地，卷积核数量越多，卷积操作反映的图像信息越丰富。[0118]卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。[0119]本申请实施例中的卷积神经网络的结构可以如图3所示。在图3中，卷积神经网络(CNN)300可以包括输入层310,卷积层/池化层320(其中池化层为可选的),以及神经网络层[0120]其中，输入层310可以获取待识别图像，并将获取到的待识别图像交由卷积层/池化层320以及后面的神经网络层330进行处理，可以得到图像的类别识别结果。[0121]下面对图3中的CNN300中内部的层结构进行详细的介绍。[0122]卷积层/池化层320:[0124]如图3所示卷积层/池化层320可以包括如示例321-326层，举例来说：在一种实现化层。即卷积层的输出可以作为随后的池化层的输入，也可以作为另一个卷积层的输入以继续进行卷积操作。[0125]下面将以卷积层321为例，介绍一层卷积层的内部工作原理。[0126]卷积层321可以包括很多个卷积算子，卷积算子也称为核，其在图像识别中的作用相当于一个从输入图像矩阵中提取特定信息的过滤器，卷积算子本质上可以是一个权重矩阵，这个权重矩阵通常被预先定义，在对图像进行卷积操作的过程中，权重矩阵通常在输入图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素……·这取决于步长stride的取值)的进行处理，从而完成从图像中提取特定特征的工作。该权重矩阵的大小应该与图像的大小相关，需要注意的是，权重矩阵的纵深维度(depthdimension)和输入图像的纵深维度是相同的，在进行卷积运算的过程中，权重矩阵会延伸到输入图像的整个深度。因此，和一个单一的权重矩阵进行卷积会产生一个单一纵深维度的卷积化输出，但是大多数情况下不使用单一权重矩阵，而是应用多个尺寸(行×列)相同的权重矩阵，即多个同型矩阵。每个权重矩阵的输出被堆叠起来形成卷积图像的纵深维度，这里的维度可以理解为由上面所述的“多个”来决定。不同的权重矩阵可以用来提取图像中不同的特征，例如一个权重矩阵用来提取图像边缘信息，另一个权重矩阵用来提取图像的特定颜色，又一个权重矩阵用来对图像中不需要的噪点进行模糊化等。该多个权重矩阵尺寸(行×列)相同，经过该多个尺寸相同的权重矩阵提取后的卷积特征图的尺寸也相同，再将提取到的多个尺寸相同的卷积特征图合并形成卷积运算的输出。[0127]这些权重矩阵中的权重值在实际应用中需要经过大量的训练得到，通过训练得到的权重值形成的各个权重矩阵可以用来从输入图像中提取信息，从而使得卷积神经网络200进行正确的预测。[0128]当卷积神经网络300有多个卷积层的时候，初始的卷积层(例如321)往往提取较多的一般特征，该一般特征也可以称之为低级别的特征；随着卷积神经网络300深度的加深，越往后的卷积层(例如326)提取到的特征越来越复杂，比如高级别的语义之类的特征，语义越高的特征越适用于待解决的问题。[0130]由于常常需要减少训练参数的数量，因此卷积层之后常常需要周期性的引入池化层，在如图3中320所示例的321-326各层，可以是一层卷积层后面跟一层池化层，也可以是多层卷积层后面接一层或多层池化层。例如，在图像识别过程中，池化层的唯一目的就是减少图像的空间大小。池化层可以包括平均池化算子和/或最大池化算子，以用于对输入图像进行采样得到较小尺寸的图像。平均池化算子可以在特定范围内对图像中的像素值进行计算产生平均值作为平均池化的结果。最大池化算子可以在特定范围内取该范围内值最大的像素作为最大池化的结果。另外，就像卷积层中用权重矩阵的大[0132]在经过卷积层/池化层320的处理后，卷积神经网络300还不足以输出所需要的输而为了生成最终的输出信息(所需要的类信息或其他相关信息),卷积神经网络300需要利中可以包括多层隐含层(如图3所示的331、332至33(如图3由340至310方向的传播为反向传播)就会开始更新前面提到的各层的权重值以及偏(CNN)400可以包括输入层410,卷积层/池化层420(其中池化层为可选的),以及神经网络层别提取的特征均输入给全神经网络层430进行处理。神经网络层430可以包括多个隐含层，[0136]图5为本申请实施例提供的一种用于运行或训练物体识别模型的芯片的硬件结层的算法均可在如图5所示的芯片中得以实制运算电路503提取存储器(权重存储器或输入存储器些实现中，运算电路503是二维脉动阵列。运算电路503矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器[0140]向量计算单元507可以对运算电路的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。例如，向量计算单元507可以用于神经网络中非卷积/非FC层的网络计算，如池化(pooling),批归一化(batchnormalization),局部响应归一化[0141]在一些实现种，向量计算单元能507将经处理的输出的向量存储到统一缓存器506。例如，向量计算单元507可以将非线性函数应用到运算电路503的输出，例如累加值的均有。在一些实现中，处理过的输出的向量能够用作到运算电路503的激活输入，例如用于在神经网络中的后续层中的使用。[0142]统一存储器506用于存放输入数据以及输出数据。[0143]权重数据直接通过存储单元访问控制器505(directmemoryaccesscontroller,DMAC)将外部存储器中的输入数据搬运到输入存储器501和/或统一存储器506、将外部存储器中的权重数据存入权重存储器502,以及将统一存储器506中的数据存入外部存储器。取指存储器509之间进行交互。[0145]与控制器504连接的取指存储器(instructionfetchbuffer)509,用于存储控制器504使用的指令；[0146]控制器504,用于调用指存储器509中缓存的指令，实现控制该运算加速器的工作过程。[0147]一般地，统一存储器506,输入存储器501,权重存储器502以及取指存储器509均为片上(On-Chip)存储器，外部存储器为该NPU外部的存储器，该外部存储器可以为双倍数据率同步动态随机存储器(doubledataratesynchronousdynamicrandomaccess存储器。[0148]其中，图3和图4所示的卷积神经网络中各层的运算可以由运算电路503或向量计算单元507执行。[0149]如图6所示，本申请实施例提供了一种系统架构600。该系统架构包括本地设备601、本地设备602以及执行设备610和数据存储系统650,其中，本地设备601和本地设备602通过通信网络与执行设备610连接。[0150]执行设备610可以由一个或多个服务器实现。可选的，执行设备610可以与其它计算设备配合使用，例如：数据存储器、路由器、负载均衡器等设备。一个物理站点上，或者分布在多个物理站点上。执行设备610可以使用数据存储系统650中的数据，或者调用数据存储系统650中的程序代码来实现本申请实施例的物体识别方法。[0151]用户可以操作各自的用户设备(例如本地设备601和本地设备602)与执行设备610进行交互。每个本地设备可以表示任何计算设备，例如个人计算机、计算机工作站、智能手[0152]每个用户的本地设备可以通过任何通信机制/通信标准的通信网络与执行设备[0153]在一种实现方式中，本地设备601、本地设备602采集待识别图像，并向执行设备610发送待识别图像，执行设备610利用其上部署的物体识别模型对待识别图像进行识别，并向本地设备601或本地设备602返回识别结果。[0154]在另一种实现中，本地设备601或本地设备602上可以直接部署物体识别模型，这样，本地设备601或本地设备602通过摄像装置采集到待识别图像之后，可以自己使用物体识别模型对待识别图像进行识别。[0155]目前的物体识别模型，通常是使用大量已知类别的物体图像对物体识别模型进行训练，以使得物体识别模型能够学习到不同类别物体所特有的特征，并记录不同类别的物体的特征与类别标签的对应关系。这样，训练过的物体识别模型在实际业务应用中输入了物体图像时，即可以根据该物体图像推理出该物体的类别，从而达到物体识别的目的。[0156]例如，用户利用手机等终端设备进行物体检测时，可以利用训练好的物体识别模型来识别出手机等终端拍摄到的图像中的物体的类别。[0157]上述通过训练使得物体识别模型能够识别物体的类别的方法存在如下问题：该物体识别模型只能识别训练过程中涉及的物体类别，若目标物体的类别不属于训练过程中涉及的物体类别，则物体识别模型识别不出该目标物体；或者，物体识别模型识别出物体类别之后，该识别结果不满足用户的需求，例如，物体识别模型识别出一张图像中的对象为狗，[0158]针对上述问题，对物体识别模型进行训练之后，在物体识别模型的使用过程中，可以运行用户对物体识别模型进行更新，以使得物体识别模型的识别结果可以满足用户需[0159]下面先介绍本申请的更新物体识别模型的方法的几种示例性应用场景。[0160]应用场景1:[0161]用户在使用机器人时，希望机器人能够对其感兴趣的物体进行识别。[0162]例如，用户希望机器人能识别他/她手上拿的多啦A梦，则用户可以指着布娃娃，对[0163]应用场景2:[0164]用户在使用机器人对其感兴趣的物体进行识别时，对机器人输出的物体类别不满意，并告知机器人该物体更准确的类别。[0165]例如，用户手指指向小猪佩奇，机器人获取视觉信息，并根据视觉信息输出类别的语音指令，生成类别标签“小猪佩奇”和对应图像的对应关系，将类别标对应图像输入机器人的模型中。机器人更新后的模型具备识别“小猪佩奇”的能力。[0166]应用场景3:[0167]用户在使用机器人对其感兴趣的物体进行识别时，机器人输出的物体类别不对，用户告知机器人该物体的正确类别。物体放到我面前吧”。小孩把物体放到机器人面前，机器人识别出物体名称，并对小孩说：[0169]下面介绍本申请的更新物体识别模型的方法的示意性流程图。[0170]图7为本申请一个实施例的更新物体识别模型的方法的示意性流程图。如图4所[0171]S710,获取目标图像。[0172]该目标图像可以是智能设备上的摄像设备进行视觉信息采集得到的图像。目标图像中可以包括一个或多个物体。[0173]S720,获取第一语音信息，所述第一语音信息用于指示所述目标图像中的目标物体的第一类别。[0174]目标物体是指目标图像中用户感兴趣的物体，即用户希望获知类别的物体。该第一语音信息可以是智能设备上的语音设备采集的语音信息，例如可以是麦克风等语音设备采集的语音信息。[0175]智能设备采集到用户输入的语音指令之后，可以获取该语音指令中的知识，从而得到该第一语音信息。例如，可以使用自然语言理解的方法来获取语音指令中的知识，从而得到第一语音信息。图像中的目标物体的第一类别。[0177]S730,根据所述目标图像和所述第一语音信息，更新第一物体识别模型，更新后的所述第一物体识别模型中包括所述目标物体的特征和第一标签，且所述目标物体的特征与所述第一标签之间具有对应关系，所述第一标签用于表示所述第一类别。[0178]换句话说，可以生成用于表示第一类别的第一标签，向第一物体识别模型中添加目标物体的特征和第一标签，以及目标物体的特征和第一标签之间的对应关系。[0179]第一物体识别模型用于识别出图像中的物体的类别。在一些示例中，第一物体识别模型输入图像之后，可以输出图像中的物体的类别标签。[0180]第一物体识别模型可以是神经网络模型。在一些示例中，第一物体识别模型可以通过训练集的训练得到，该训练集中可以包括大量图像，这些图像中可以包括不同类别的物体，且这些物体的类别已知，即该训练集中的图像对应的标签已知。通过训练集训练得到该第一物体识别模型的方法可以参考现有技术，此处不再赘述。[0181]例如，第一物体识别模型的训练集可以包括ImageNet数据集以及该数据集对应的标签。ImageNet数据集是指图像网络大规模视觉识别挑战(ImageNetlargescalevisualrecognitionchallenge,ILSVRC)竞赛所用公开数据集。[0182]又如，第一物体识别模型的训练集可以包括OpenImages数据集以及该数据集对应的标签。[0183]目标物体的特征可以是第一物体识别模型对目标图像进行特征提取得到的。例如，第一物体识别模型中可以包括特征提取子模型，并使用该特征提取子模型提取目标图像中的特征。该特征提取子模型可以是密集卷积神经网络、空洞神经网络或残差神经网络[0184]本申请实施例的方法，通过向物体识别模型中添加物体特征和该特征对应的类别标签，使得该物体识别模型可以识别出该类别的物体，从而提高物体识别模型的识别率，进而提升物体识别模型的智能化。[0185]此外，本申请实施例的方法使得用户可以通过语音指示目标物体的类别，可以提高用户更新该物体识别模型的便捷性。[0186]在一些可能的实现方式中，S730,即根据所述目标图像和所述第一语音信息，更新第一物体识别模型，可以包括：根据所述目标图像和所述第一语音信息，确定第一语音信息指示的第一类别为所述目标物体的实际类别的目标置信度；在所述目标置信度大于或等于预设的置信度阈值时，将所述目标物体的特征、所述第一标签和所述特征与所述第一标签的对应关系添加至所述第一物体识别模型。[0187]这些实现方式中，在确定用户通过语音为目标物体指示的第一类别的置信度较高的情况下，才将目标物体的特征和第一标签以及对应关系更新到第一物体识别模型。[0188]或者说，在确定用户通过语音为目标物体指示的第一类别的置信度较低，例如小于或小于预设的置信度阈值的情况下，可以不更新第一物体识别模型。例如，用户通过语音输入的第一语音信息中的第一标签错误时，或者，获取用户的语音中的第一语音信息发生错误时，或者，获取到的目标物体不是用户指定的需要识别的物体时，可以不更新第一物体识别模型。[0189]这些实现方式可以提高更新后的第一物体识别模型的识别准确率，进而可以提高第一物体识别模型的智能化。[0190]在一些可能的实现方式中，所述目标置信度可以是根据第一概率确定的，所述第一概率可以是第二物体识别模型对所述目标物体的类别进行推理得到的，且指示所述目标物体的类别标签为第一类标签的概率，所述第二物体识别模型用于对图像进行识别以得到所述图像中的物体的类别标签为至少一类标签中的每个类标签的概率，所述至少一类标签是所述第一物体识别模型中类别标签进行聚类得到的，所述至少一类标签包括所述第一类标签，所述第一标签与所述第一类标签的相似度大于所述第一标签与所述至少一类标签中其他类标签的相似度。[0191]该实现方式中，第二物体识别模型可以是神经网络，例如可以是卷积神经网络。[0192]下面先介绍获取上述至少一类标签的示例性方法。[0193]在一种示例方法中，可以先获取第一物体识别模型中的类别标签，并提取第一物体识别模型中每个类别标签的语义特征；然后基于所有类别标签的语义特征对第一物体识别模型中所有类别标签进行聚类，从而得到所述至少一类标签，其中，这至少一类标签中的每类标签可以包括第一物体识别模型的所有类别标签中的一个或多个类别标签。[0194]例如，可以使用BERT模型来提取第一物体识别模型中每个类别标签的语义特征。[0195]例如，可以使用k-means方法基于第一物体识别模型的类别标签的语义特征，对第一物体识别模型的类别标签进行聚类，得到至少一类标签。[0196]图8为基于标签特征对标签进行聚类以得到至少一类标签的示意图。图8中，一个点表示一个标签特征，一个椭圆框表示一类标签。[0197]以第一物体识别模型的训练集包括ImageNet数据集为例，可以使用BERT模型对ImageNet数据集对应的1000类标签进行特征提取；使用K-means基于这1000类标签的特征，将这1000类标签聚类成200类标签。这200类标签即为上述至少一类标签。[0198]下面介绍获取第二物体识别模型的示例性方法。[0199]在一种示例性方法中，可以获取第一物体识别模型的训练集，并将训练集中每个训练数据的类别标签修改为该类别标签所对应的类标签，从而得到新的训练集；然后使用该新的训练集对一个分类模型进行训练，从而得到第二物体识别模型，训练得到的第二物体识别模型输入的图像时能够推理出图像中的物体对应哪一类标签。[0200]以第一物体识别模型的训练集包括ImageNet数据集，且聚类得到上述200类标签为例，使用ImageNet数据集和这200类标签，对mobilenet模型进行训练，从而得到第二物体识别模型，其中，ImageNet数据集中每个图像对应的标签从原来的1000类标签映射到这200类标签中相应的标签。[0201]下面结合图9介绍获取所述目标置信度以及根据目标置信度更新第一物体识别模[0202]S910,根据第一标签和至少一类标签中每类标签的相似度，确定第一标签为所述至少一类标签中的第一类标签，所述第一标签用于表示目标物体的第一类别。[0203]在一种示例性方法中，可以获取第一标签与所述至少一类标签中的每个类标签的相似度，并将相似度最大的那一类标签确定为所述第一类标签。[0204]获取第一标签与所述至少一类标签中的每个类标签的相似度时，在一种示例性实现方式中，可以获取第一标签与所述每个类标签的中心标签之间的相似度，并将该相似度作为第一标签与该每个类标签的相似度。[0205]第一标签与所述每类标签的中心标签之间的相似度可以通过第一标签的语义特征与所述每类标签的中心标签的语义特征之间的距离来度量，其中，距离越小，说明相似度越大。[0206]第一标签的语义特征与所述每类标签的中心标签的语义特征之间的距离的一种计算方式如下：提取第一标签的语义特征，提取该中心标签的语义特征，计算第一标签的语义特征与中心标签的语义特征之间的距离。[0207]例如，使用BERT模型提取第一标签的语义特征，可以得到一个特征向量；使用该BERT模型提取中心标签的语义特征，可以得到另一个特征向量；计算这两个特征向量之间[0208]获取第一标签与所述至少一类标签中的每类标签的相似度时，在另一种示例性实现方式中，可以获取第一标签与所述每类标签中的每个标签之间的相似度，并计算平均相似度，将该平均相似度作为第一标签与该每类标签的相似度。[0209]S920,使用第二物体识别模型，对目标物体的类别进行推理，得到所述目标物体的类别标签为所述第一类标签的第一概率。[0210]例如，将所述目标图像输入第二物体识别模型，第二物体识别模型进行推理之后，输出所述目标物体所属的类别的标签以及所述目标物体属于其中每个类别的概率，这些标签中包括第一类标签。也就是说，第二物体识别模型可以输出目标物体的类别标签为第一类标签的第一概率。[0211]S930,根据所述第一概率确定第一类别为所述目标物体的真实类别的目标置信度。[0212]也就是说，根据目标物体的类别标签为第一类标签的第一概率，确定用户指示的第一标签为目标物体的真实类别标签的目标置信度。[0213]例如，可以将第一概率作为目标置信度。当然，也可以根据第一概率进行其他运[0214]S940,在所述目标置信度大于或等于置信度阈值时，将所述目标物体的特征和所述第一标签添加至第一物体识别模型。[0215]本实施例中，判断用户指定的第一标签属于哪一类标签，以及使用训练好的分类模型推理目标物体属于该类标签所标识的类别的概率，并根据该概率确定用户指定的第一标签为目标物体的真实类别标签的置信度，且在该置信度超过预设的置信度阈值时，才认为用户指定的第一标签是可靠的，进而才更新第一物体识别模型。这样可以提高更新后的第一物体识别模型的识别准确率。[0216]如图10所示，第一标签为“俄罗斯蓝猫”;使用BERT模型对第一标签进行语义特征知目标图像中的目标物体的标签为“猫”类标签的第一概率为0.04,并将该第一概率作为目标置信度；由于目标执行度0.04小于预设的置信度阈值0.06,因此，不更新第一物体识别模[0217]由图10所示的示例可以看出，本申请中根据目标置信度来更新第一物体识别模型，可以在用户为目标物体指示错误标签的情况，避免将该错误标签更新到第一物体识别模型，从而避免降低第一物体识别模型的错误识别。[0218]可以理解的是，图9所示的方法中的第一标签不局限于是用户通过第一语音信息指示的，其可以是用户通过任何方式指示的，例如，可以是用户通过文字[0219]在一些可能场景中，目标图像中可能会包括多个物体，而用户感兴趣的仅是其中一个物体，即用户希望被识别的物体是这多个物体的一个，或者说，用户通过语音指示的第一标签是这多个物体中的一个物体的期望标签，用户感兴趣的该物体才是目标物体。[0220]这种场景中，需要从目标图像中确定哪个物体才是用户期望的目标物体，这样才能正确获知用户指示的第一标签对应的是哪个目标物体，从而有助于提高更新好的第一物体识别模型的识别准确率。[0221]针对上述场景，本申请进一步提出了从目标图像中确定目标物体的方法。从目标图像中确定目标物体的一种实现方式中，可以预先指定一种或多种物体类别，且规定目标图像中被这一种或多种类别的物体指向的物体为目标物体，即位于这一种或多种类别指示的方向上的物体为目标物体。本申请的实施例中，为了描述方便，将这些预先指定的物体称为第一物体。[0222]此处所述的预先指定的物体可以包括手和/或眼球。当然，也可以是其他类别，本申请对此不作限制。[0223]下面介绍如何根据第一物体从目标图像中确定目标物体。[0224]根据第一物体从目标图像中确定目标物体的一种实现方式中，可以包括如下步骤一至步骤五。[0225]步骤一，对目标图像进行目标检测，得到第一物体的位置和第一物体的边界框。[0226]以第一物体包括手为例，可以使用单目标多框检测法(singleshotmulti-boxdetector,SSD)检测出手所在位置和手的边界框。[0227]以第一物体包括眼球为例，可以使用SSD检测法检测出人脸所在位置和人脸的边[0228]步骤二，根据所述边界框中的图像确定所述第一物体指示的方向。[0229]以第一物体包括手为例，可以使用训练好的分类模型对边界框内的手进行分类，从而获取手指示的方向。例如，可以将手指图像分为36类，相邻两类手指图像指示的方向之间间隔10度；对应地，将手的图像也分为36类，每个类别的手指图像对应手指示的一种方[0230]以第一物体包括眼球为例，可以使用训练好的分类模型对人脸边界框内的眼球进行分类，从而获取眼球指示的方向。可以将眼球图像分为36类，相邻两类眼球图像指示的方向之间间隔10度。[0231]步骤三，对所述目标图像进行视觉显著性检测，得到所述目标图像中的多个显著[0232]获取所述目标图像中的显著区域的一种实现方式中可以包括：计算目标图像的显著性概率图；将显著性概率图输入主体区域候选框生成模型，获得主体区域候选框；将图像显著性概率通过主体区域，分割成主体像素集合和非主体像素集合；分别计算主体像素集合的平均显著性概率值和非主体像素集合的平均显著性概率值，并求这两个概率值的比值，将该比值作为主体区域的显著性评分；显著性评分大于预先配置的评分阈值的主体区域即为前述的显著区域，若有多个主体区域的显著性评分大于评分阈值，则得到多个显著[0233]在一些实现方式中，将目标图像输入显著性概率图生成模型，并根据显著性概率图生成模型的输出生成目标图像的显著性概率图，目标图像的显著性概率图可以包括与目标图像中的像素值一一对应的概率值，每一个概率值代表其对应的像素值所在位置的显著性概率。其中，主体区域候选框生成模块可以是使用显著性检测数据集训练得到的。[0234]作为一种示例，显著性概率图生成模型可以是一个二分类的分割模型。将目标图像输入该二分类的分割模型之后，该分割模型可以分割该目标图像中两种类别的事物，一类是显著物体，一类是背景，并且，该分割图像可以输出目标图像中每个像素属于相应类别的概率，这些概率即构成显著性概率图。[0235]在一些实现方式中，主体区域候选框生成模型可以使用选择性搜索或连通区域分析等方法获取目标图像的主体区域候选框。[0236]步骤四，根据所述第一物体指示的方向和所述边界框的位置，从所述多个显著区域中确定目标显著区域，所述目标显著区域为所述多个显著区域中，在所述第一物体指示的方向上，离所述边界框最近的显著区域。[0237]也就是说，将第一物体所指示的方向上离第一物体最近的显著区域确定为目标显著区域。[0238]以第一物体包括手为例，获取位于手指示的方向上显著区域，并计算这些显著区域与手之间的距离，最后将距离最小的显著区域确定为目标显著区域。[0239]如图11所示，位于手指指示的方向上的显著区域1,与位于手指指示的方向上的显著区域2相比，距离手指更近，因此显著区域1为目标显著区域。[0240]以第一物体包括眼球为例，获取眼球所指示的方向上的显著区域，并计算这些显著区域与眼球之间的距离，最后将距离最小的显著区域确定目标显著区域，目标显著区域中的物体即为目标物体。[0241]步骤五，根据所述目标显著区域更新所述第一物体识别模型。[0242]例如，获取所述目标显著区域中的物体的特征，并将该特征和第一标签添加到第一物体识别模型。[0243]图12为本申请一个基于用户指令更新物体识别模型的示意性流程图。[0244]S1201,接收用户指令，并获取用户指令中的指示信息“这是A”,A即为第一标签。[0245]S1202,获取目标图像，对目标图像进行多主体显著性检测，获得多个显著性区域。[0246]S1203,基于用户指示的方向(手势指示的方向或眼球指示的方向)),从多个显著性区域中获取位于用户指示的方向上的目标显著性区域。[0247]S1204,判断第一标签A为目标显著性区域中的物体的类别标签的置信度。[0248]使用ImageNet数据集对应的1000类标签，对这1000类标签使用BERT模型提取特征；使用K-means将1000类聚类成200类，生成200个聚类中心；对1000类物体标签均映射到200类超类；使用ImageNet数据集和对应的200类超类标签，使用mobilenetv2训练200类分计算距离，选取最近的距离对应的超类H为标签的超类；将显著性区域输入mobilenetv2模型，生成该区域属于超类H的概率，将其作为用户反馈的置信度。[0251]图13为本申请一个基于用户指令纠正物体识别模型的示意性流程图[0252]S1301,对目标图像进行多主体显著性检测，获得多个显著性区域。[0253]S1302,针对OpenImage数据集，将其中的图像中的目标框对应的标签都改为“物[0254]S1303,使用修改后的OpenImages数据集训练FastRCNN模型。[0255]S1304,将目标图像[0256]S1305,基于目标图像中的用户指示的方向(手势指示的方向