CN115063671B 胶带切断及入槽位置视觉识别检测系统及其检测方法 （中国科学院长春光学精密机械与物理研究所）

胶带切断及入槽位置视觉识别检测系统及本发明提供一种胶带切断及入槽位置视觉采集模块用于拍摄获取位于包胶机胶带槽口检像特征提取模块用于对通过视觉定位的结果裁剪出的包胶机胶带槽口检测区域的图像进行特切断及胶带入槽的实时检测并且通过网口通信模块向包胶机智能控制终端发送胶带的实时反2所述摄像采集模块用于拍摄获取位于包胶机胶带槽口检测区所述视觉定位模块用于对所述胶带图像的包胶机胶带槽口检测区域进所述图像特征提取模块用于对通过所述视觉定位的结果裁剪出的包胶机胶带槽口检所述分类识别模块用于对所述待检测图像进行分类识别；所述胶带切断识别子模块用于对包胶结束后的包胶物进行胶带是否切断的视觉识别所述胶带入槽识别子模块用于在所述胶带切断的情形下，对视觉定位所述环形光源亮度调节控制器用于调节所述环形光源光源采用发光二极管灯珠阵列并固定在环形漫5.如权利要求3或4所述的胶带切断及入摄像采集模块包括无畸变摄像头和外壳，所述外壳含有固定支架固定于包胶机机械臂前所述图像灰度转换子模块用于将采集的原始图像转所述图像截取子模块用于在所述灰度图像中截取包胶机胶带槽口检测区域作为匹配所述图像预处理子模块用于根据图像灰度信息对所述匹配定位的模板图像进行预处所述图像下采样子模块用于对包胶机胶带槽口检测区域的检测图像和所述匹配定位所述图像匹配定位子模块用于对包胶机胶带槽口检测区域的图像与所述匹配定位的3匹配模板边长d小于原始模板图像边长m。i层图像匹配的归一化互相关系数，7取最大值时为最优匹配定位位置，templateMean_i为i层模板图像的灰度均值；templatestd_i为i层模板图像的有偏样本标准差；samplestd_i为i层与模板等尺寸检测图像区域的有偏样本标准差；sumpixe/(s)为i层与模板等尺寸检测区域图像像素和；为i层模板与等尺寸检测图像的所述图像获取子模块用于裁剪为以包胶机胶带槽口检测区域为中心的边长为m的正方所述颜色空间变换子模块用于将RGB颜色空间图像转变为HSV所述图像掩膜处理子模块用于将转换后的所述HSV颜色空间图像进行掩膜，获取图像所述特征变化子模块用于胶带在遮挡包胶机胶带槽口检测区域的特征所述图像压缩子模块用于压缩图像以获取含有特征信息的所述胶带断检区域图像处理单元用于将所述胶带断检区域图像进行灰度所述胶带断检区域数据采集模块用于对所述对视觉定位结果裁剪出的胶带槽口区域所述胶带断检区域分类器训练模块用于计算所述正负样本的灰度梯度直方图以训练所述胶带断检区域分类器识别模块用于判断包胶结束后胶带4所述胶带槽口区域图像检测单元用于获取包胶机胶带槽口检所述胶带入槽检测区域数据采集单元用于将入槽检测区域图像数据采集所述胶带入槽检测分类器训练单元用于计算所述正负样本的灰度梯度直方图以训练所述胶带入槽检测分类器识别单元用于对包胶机胶带入槽识别进14.一种胶带切断及入槽位置视觉识别检测方法，利用权利要求1~13所述的胶带切断S1、通过所述摄像采集模块拍摄获取图像数据，对S120、在所述灰度图像中截取所述包胶机胶带槽口检测区域作为匹配定位的模板图S130、根据所述匹配定位的模板图像的图像灰S140、根据所述匹配定位的模板图像以及包胶S150、采用基于归一化互相关系数对多层模板与S210、采用提取感兴趣区域的方法，裁剪为以包S220、基于颜色空间变换方法，将所述正方形区域图像的5S330、根据所述正负样本计算其灰度梯度直方图S340、根据包胶机胶带切断视觉识别分类器，对S370、根据所述正负样本计算其灰度梯度直方图6[0005]本发明提供的胶带切断及入槽位置视觉识别检测系统，包括前端部分和后端部[0009]图像特征提取模块用于对通过视觉定位的结果裁剪出的包胶机胶带槽口检测区7[0019]图像截取子模块用于在灰度图像中截取包胶机胶带槽口检测区域作为匹配定位[0021]图像下采样子模块用于对包胶机胶带槽口检测区域的检测图像和匹配定位的模[0022]图像匹配定位子模块用于对包胶机胶带槽口检测区域的图像与匹配定位的模板[0031]图像获取子模块用于裁剪为以包胶机胶带槽口检测区域为中心的边长为m的正方[0033]图像掩膜处理子模块用于将转换后的HSV颜色空间图像进行掩膜，获取图像特征[0038]胶带切断识别子模块用于对包胶结束后的包胶物进行胶带是否切断的视觉识别8[0043]胶带断检区域分类器训练模块用于计算正负样本的灰度梯度直方图以训练包胶[0048]胶带入槽检测分类器训练单元用于计算正负样本的灰度梯度直方图以训练包胶[0050]本发明提供的利用上述胶带切断及入槽位置视觉识别检[0052]S2、根据包胶机胶带槽口检测区域的视觉定位结果裁剪截取出胶带槽口检测区[0053]S3、基于SVM的机器学习模型，训练含有特征信息的图像数据得到图像分类识别9[0077]图1是根据本发明实施例提供的胶带切断及入槽位置视觉识别检测系统的框架结[0084]图4中的(b)是根据本发明实施例提供的图像截取子模块匹配定位截图的模板图[0085]图4中的(c)是根据本发明实施例提供的图像匹配定位子模块的视觉定位结果图[0087]图5中的(b)是根据本发明实施例提供的图像获取子模块获取的槽口检测区域图[0089]图5中的(d)是根据本发明实施例提供的图像掩膜处理子模块掩膜与开运算后的[0090]图5中的(e)是根据本发明实施例提供的图像特征压缩子模块图像特征压缩后的[0092]图6中的(b)是根据本发明实施例提供的胶带位于槽口内部状态未进行开运算的[0093]图6中的(c)是根据本发明实施例提供的胶带位于槽口内部状态进行k次开运算的[0095]图6中的(e)是根据本发明实施例提供的胶带位于槽口极限边缘位置未进行开运[0096]图6中的(f)是根据本发明实施例提供的胶带位于槽口极限边缘位置k次开运算的[0109]图10是根据本发明实施例提供的胶带切断及入槽位置视觉识别检测方法的流程[0113]图1是根据本发明实施例提供的胶带切断及入槽位置视觉识别检测系统的框架结征提取模块21用于对通过视觉定位的结果裁剪出的包胶机胶带槽口检测区域15的图像进5固定于包胶机机械臂6前端，无畸变摄像头2通过固定支架5固定于环形光源4内的中心[0120]如图3b和图3c所示，无畸变摄像头2垂直于包胶机胶带槽口平面14且摄像机镜头[0124]图像截取子模块用于在灰度图像中截取包胶机胶带槽口检测区域15作为匹配定板灰度均值templateMean及有偏样本标准差t[0126]图像下采样子模块用于对包胶机胶带槽口检测区域15的检测图像和匹配定位的[0129]图像匹配定位子模块用于对包胶机胶带槽口检测区域15的图像与匹配定位的模的有偏样本标准差；sampleMean_i为i层与模板等尺寸检测图像区域的灰度均值；板等尺寸检测区域图像像素和；为i层模板与等尺寸检测图像的像素卷[0139]图5中的(b)是根据本发明实施例提供的图像获取子模块获取的槽口检测区域图(蓝色)三色通道模式表示的截取后图像转为H(色调)、S(饱和度)、V(明度)[0143]图5中的(d)是根据本发明实施例提供的图像掩膜处理子模块掩膜与开运算后的[0144]如图5中的(d)所示，设裁剪后图像中槽口两侧明显的特征区域颜色为color1(特[0147]图5中的(e)是根据本发明实施例提供的图像特征压缩子模块图像特征压缩后的[0148]如图5中的(e)所示，将图像掩膜及开运算处理后的特征图像大小从m×m压缩成n械手旋转结构13运动到指定角度，并使摄像机拍摄的包胶机胶带槽口检测区域15相对固[0164]胶带切断识别子模块用于对包胶结束后的包胶物进行胶带是否切断的视觉识别胶带11切断的情形下，对视觉定位结果裁剪出的胶带槽口区域进行胶带入槽视觉识别检块用于判断包胶结束后胶带切断刀片16是否对胶带11进分类器识别单元用于对包胶机胶带入槽识别[0167]上述内容详细说明了本发明实施例提供的胶带切断及入槽位置视觉识别检测系[0168]图10示出了根据本发明实施例提供的胶带切断及入槽位置视觉识别检测方法的槽口检测区域15，并利用图像处理方法对包胶机胶带槽口检测区域15的图像进行特征提[0175]步骤S120(如图5中的(b)所示)、在灰度图像中截取包胶机胶带槽口检测区015域[0177]步骤S140、根据匹配定位的模板图像以及包胶机胶带槽口检测区域15的检测图将图像像素匹配结果坐标(xl，yl)扩大1倍后，在检测图像匹配结果坐标邻域附近进行局的有偏样本标准差；sampleMean_i为i层与模板等尺寸检测图像区域的灰度均值；板等尺寸检测区域图像像素和；T(x.)8J(x,)为i层模板与等尺寸检测图像的像素卷的视频图像裁剪为m×m(m＜width，m＜height)大小的以包胶机胶带槽口检测区域15为中设置颜色阈值，提取特征颜色区域；设裁剪后图像中槽口两侧明显的特征区域颜色为color1(特征颜色可根据实际情况喷涂为其他颜色)，即掩膜时所选被掩颜色为color1。征描述子训练包胶机胶带切断视觉识别分类器；调用OpenCV库中SVM模型，设置核函数为[0200]步骤S380(如图9中的(c)-图9中的(d)所示)、根据包胶机胶带入槽视觉识别分类术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结