CN110378900A 产品缺陷的检测方法、装置及系统 （北京迈格威科技有限公司）

集角度和/或采集位置不同；通过预先训练得到置和/或缺陷种类；基于每张产品图像的缺陷信2通过预先训练得到的神经网络模型对所述产品图获取图像采集设备在多个指定位置下对所述待检测产品进行多角度拍摄得到的多张获取图像训练集；所述图像训练集包括多张标记有缺陷信息的训将所述图像训练集输入至待训练神经网络模型中进行训练获取每张所述产品图像与预先建立的所述待检测产品的3D模基于所述映射关系，将每张所述产品图像检测到的缺陷基于点云配准算法对所述深度图像与预先建立的所述待检测产品的3D模型进行点云基于所述目标2D图像和所述深度图像之间的映射关系，以基于所述目标2D图像的采集位置与其它所述2D图像的采集将每张所述产品图像的缺陷位置投射至所述3D模型所得3基于得到的所述投射位置和预设方式确定多个目标投确定每张所述产品图像的缺陷位置投射至所述3重复执行预设的聚类算法，直至多个所述投射位置所述聚类算法为：从多个所述投射位置的中心类中心；采用KD-Tree算法从多个所述投射位置的中心点中查找当前每个所述聚类中心的对于所述3D模型的每个缺陷位置，根据产品图像与所述3应出现与所述3D模型的该缺陷位置对应的缺陷基于每张所述产品图像的缺陷信息，确定经所述神经对于所述3D模型的每个缺陷位置，根据每张所述产品图将出现与所述3D模型的该缺陷位置对应的逆投射缺陷的产品计算所述缺陷图像的数量与经所述神经网络模型检测出的具有该缺陷位置对应的缺4缺陷检测模块，用于通过预先训练得到的神经网络模型对所述产品图像进行缺陷检所述存储装置上存储有计算机程序，所述计算机程序在被5陷信息包括缺陷位置和/或缺陷种类；基于每张所述产品图像的缺陷信息确定初始缺陷检训练图像是图像采集设备基于多个采集位置和每个所述采集位置下的多个采集角度得到信息包括缺陷位置；所述基于每张所述产品图像的缺陷信息确定初始缺陷检测结果的步6映射关系；基于所述目标2D图像的采集位置与其它所述2D图像的采集位置之间的映射关3D模型所得到的投射位置；基于得到的所述投射位置和预设方式确定多个目标投射位置，张所述产品图像的缺陷位置投射至所述3D模型所得到的投射位置进行聚类的步骤，包括：聚类算法为：从多个所述投射位置的中心点中随机选取指定数量的中心点作为聚类中心；采用KD-Tree算法从多个所述投射位置的中心点中查找当前每个所述聚类中心的临近点，将当前每个所述聚类中心的临近点归为一类，以及将临近点有重合的聚类中心进行合并；7有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面任一项所述的方得到每张产品图像的缺陷信息，然后基于每张产品图像的缺陷信息确定初始缺陷检测结点可以从说明书推知或毫无疑义地确定，或者通过实施本发明实施例的上述技术即可得8[0037]如图1所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理器程逻辑阵列(PLA)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种[0039]所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或9[0045]参见图2所示的一种产品缺陷的检测方法流程图，该方法包括以下步骤S202～步相同的采集角度获取到的多张产品图像；或者是从待检测产品周围的相同的采集位置上，位置可以覆盖待检测产品的外表面，以便可以全面地获取到待检测产品的外观细节照片。上述采集角度可以根据图像采集设备与待检测产品之间的距离大小以及待检测产品自身[0050]本实施例中所提及的上述缺陷位置可以体现出缺陷在产品上的具体位置以及缺[0052]利用上述训练好的神经网络模型可以识别出待检测产品的每张产品图像中的缺[0055]考虑到产品表面可能出现反光等现象，诸如容易将光斑错误认为是缺陷(也即伪[0058]本发明实施例提供的上述产品缺陷的检测方法，能够获取多张采集角度和/或采始缺陷检测结果进一步验证，并基于验证后的初始缺陷检测结果确定最终缺陷检测结果。本实施例提供的上述方式，一方面是基于获取到的多张采集角度和/或采集位置不同的产[0060]为便于理解，以下给出了一种获取待检测产品的多张产品图[0061](1)获取图像采集设备在多个指定位置下对待检测产品进行旋转拍摄得到的视频测产品上方象征性示意出了用于设置图像采集设备的三个指定位置c1、c2和c3，如图3所检测效率，抽取出的视频帧可以包括在指定位置处拍摄到的待检测产品各个角度的图像，采集设备在待检测产品的每一个指定位置处旋转30度角度后拍摄的视频流包括100张图像可以是拍摄角度间隔为3度的10张图像，以较为全面地获得待检测产品在各个角度下的[0065](3)将抽取的视频帧作为待检测产品的多张产品图像。由于上述抽取到的视频帧缺陷标签)的训练图像；多张训练图像是图像采集设备基于多个采集位置和每个采集位置照图4所示的一种产品图像的缺陷信息验证方法流程图，其中，上述缺陷信息包括缺陷位[0071]步骤S402，获取每张产品图像与预先建立的待检测产品的3D模型之间的映射关[0073]以下给出了一种获取每张产品图像与预先建立的待检测产品的3D模型之间的映[0074](1)从多张2D图像中选取一张目标2D图像，获取目标2D图像对应的深度图像。其中，该目标2D图像可以是从待检测产品的初始的指定位置拍摄的多张2D图像中抽取出的，也可以是从其他任意指定位置拍摄的多张2D图像中抽取出的，上述深度图像可以是使用使用RGB相机和深度相机同时拍摄待检测产品，分别采集得到待检测产品的目标2D图像和[0075](2)建立目标2D图像和深度图像之间的映射关系。根据图像采集设备相机的内参[0076](3)基于点云配准算法对深度图像与预先建立的待检测产品的3D模型进行点云配建立的待检测产品的CAD模型进行模型重建得到待检测产品的3D点云模型，简称3D模型)，也就是待检测产品的3D点云坐标是已知的。由上述深度图像可以获得点云图像，利用PPF(PointPairFeature)点云配准算法或其他点云配准算法对上述点云图像和3D点云模型[0077]以PPF算法为例，本实施例给出了一种采用PPF算法进行点云配准的具体实施方选位姿聚类计算初始位姿变换。得到初始位姿变换后还需要采用迭代最近点算法[0078](4)基于目标2D图像和深度图像之间的映射关系，以及深度图像与3D模型之间的缺陷位置映射到3D点云模型中的相应位置，并得到缺陷位置信息(例如缺陷边缘的点的坐[0080](5)基于目标2D图像的采集位置与其它2D图像的采集位置之间的映射关系，以及到其他采集位置拍摄的2D图像与3D模型之置进行合并，将合并后的投射位置的中心点的聚类中心确定为3D模型的缺陷位置的中心后重复执行预设的聚类算法，直至多个投射位置的中心点均已归类且聚类中心不再改变。上述聚类算法为：从多个投射位置的中心点中随机选取指定数量的中心点作为聚类中心；采用KD-Tree算法从多个投射位置的中心点中查找当前每个聚类中心的临近点，将当前每下的步骤(1)～步骤(5)：[0089]步骤(1)：假设多张产品图像中的缺陷位置投射至3D模型中的该步骤也即前述从多个投射位置的中心点(n个中心点)中随机选取指定数量的中心点(m个骤也即前述采用KD-Tree算法从多个投射位置的中心点中查找当前每个聚类中心的临近每个缺陷位置都对应一个缺陷(当然，不同的缺陷位置对应的缺陷种类可能相同或不同)。品图像的数量即为与3D模型的该缺陷位置对应的缺陷的产品图像的理论数量(即理论上有[0103](2)基于每张产品图像的缺陷信息，确定经神经网络模型检测出的具有该缺陷位置(简称逆投射位置)与神经网络模型检测并标注在该产品图像上的缺陷位置之间的重合[0111](4)如果第一比值低于预设第一数值，确定初始缺陷检测结果中包含的该缺陷位[0112]如果计算出的该缺陷位置对应缺陷的第一比值小于预设第一数值(预设第一数值的大小可以根据待检测产品的形状或结构进行设置)，则说明3D模型上的该缺陷位置对应[0114](1)根据每张产品图像与3D模型之间的映射关系，将3D模型的缺陷位置逆投射至位置逆投射至每张产品图像中的缺陷位置。示例性的，参照如图7所示的缺陷逆投射示意逆投射后，得到多张产品图像中所呈现的将3D模型的缺陷位置逆投射在产品图像中的位[0116](2)将出现与3D模型的缺陷位置对应的逆投射缺陷的产品图像确定为缺陷图像。[0117]当3D模型的缺陷位置逆投射在产品图像中的位置(虚线圆圈)与产品图像中原有的缺陷位置逆投射在产品图像中的位置(虚线圆圈)与产品图像中原有的缺陷位置(实线圆圈)的没有面积重合或重合率小于预设重合率阈值时，则认为该虚线圆圈所在的产品图像中的产品图像p1和p2中的3D模型的缺陷位置逆投射在产品图像中的位置(虚线圆圈)与产p1和p2确定为缺陷图像；产品图像p3中的3D模型的缺陷位置逆投射在产品图像中的位置(虚线圆圈)与产品图像中原有的缺陷位置(实线圆圈)的面积重合率小于预设重合率阈值，[0118](3)计算缺陷图像的数量与经神经网络模型检测出的具有该缺陷位置对应的缺陷数量较少，则将不满足该预设比值的逆投射缺陷的缺陷图像对应的缺陷信息确定为伪信张产品图像可以是能否较为全面地从各个方位呈现[0129]图像采集设备以多个采集位置和采集角度拍摄到待检测产品的100张产品图像，可能只有特定的位置和角度才能拍摄到缺陷d3，因此假设有10张产品图像拍摄到缺陷d3；中有5张产品图像拍摄到了缺陷d2。将上述产品图像经神经网络模型检测并标记出的缺陷实的缺陷，所以投射在3D模型中的投射位置会比较集中；而缺陷d2由于是伪缺陷(例如光[0130]在一种实施方式中(如前述验证方式一)，根据产品图像与3D模型之间的映射关图像中只有50张图像拍摄到了缺陷d1，则认为存在d1的缺陷图像(又可称为可视图像)为[0132]本发明实施例提供的上述产品缺陷的检测方法，在不同位置/角度对产品进行全[0140]本发明实施例提供的上述产品缺陷的检测装置，能够获取多张采集角度和/或采始缺陷检测结果进一步验证，并基于验证后的初始缺陷检测结果确定最终缺陷检测结果。本实施例提供的上述方式，一方面是基于获取到的多张采集角度和/或采集位置不同的产于获取每张产品图像与预先建立的待检测产品的3D模型之间的映射关系；基于映射关系，将每张产品图像检测到的缺陷位置投射到3D模型上，基于投射位置确定3D模型的缺陷位投射位置，将多个目标投射位置的中心点的聚类中心确定为3D模型的缺陷位置的中心点；中随机选取指定数量的中心点作为聚类中心；采用KD-