基于机器视觉的智能空瓶检测机器人研究.pdf

第2 5 卷 第5 期 仪器仪表学报 2 0 0 4 年1 0 月 基于机器视觉的智能空瓶检测机器人研究 段峰王耀 南 刘焕 军 湖 南大 学 电气与 信息 工程 学 院 长沙4 1 0 0 8 2 摘 要介 绍 了智 能空 瓶检 测机 器人 的机 械 与 电气控 制 系统 以及机 器视 觉 在空 瓶检 测 中 的应 用原 理 分 析 了其 中的关 键技 术 提出了相应的图像检测算法 并在实验样机上验证 了算法的有效性和实用性 关键词 机器视觉空瓶检测机器人机电一体化 图像处理人工智能 S t u d y o n M a c h i n e Vi s i o n Ba s e d Emp t y Bo t t l e I n s p e c t o r D u a n F e n g Wa n g Ya o n a n L i u Hu a n j u n C o l l e g e o f E l e c t r i c a l a n d I n f o r ma t i o n E n g i n e e r i n g Hu n a n Un i v e r s i t y C h a n g s h a 4 1 0 0 8 2 C h i n a Ab s t r a c t I t i n t r o d u c e s t h e me c h a n i c a l s t r u c t u r e a n d e l e c t r i c c o n t r o l s y s t e m o f e mp t y b o t t l e i n s p e c t o r Th e a p p l i c a t i o n o f ma c h i n e v i s i o n f o r e mp t y b o t t l e i n s p e c t i o n i s i l l u s t r a t e d B e s i d e s t h e a n a l y s i s o f k e y t e c h n o l o g i e s r e l a t e d a l g o r i t h ms f o r d e t e c t i o n a r e p r o p o s e d E x p e r i me n t s i n a p r o t o t y p e h a v e p r o v e d t h e e f f e c t i v e n e s s a n d v a l u e o f p r o p os e d a l g or i t hms Ke y w o r d s M a c h i n e v i s i o n Emp t y b o t t l e i n s p e c t o r Me c h a n i s m a n d e l e c t r i c i t y i n t e g r a t i o n I ma g e p r o c e s s i n g Ar t i f i c i a l i n t e l l i g e n c e 1 引 言 目前大部分瓶装饮料生产厂商都使用可以回收的 饮料瓶 例如啤酒瓶 汽水瓶等 所 回收的空瓶必须经 过洗瓶 空瓶检测才能进入灌装工序 在经过洗瓶机或 人工洗瓶后 凡是瓶 子本身有缺陷 内有脏 物 残留液 的 如图 1所示 必须从生产线上剔除 人工检测空瓶 效率低 速度慢 精度低 漏检率高 检测人员很容易疲 劳 而基于机器视觉的智能空瓶检测机器人能够利用 特殊的高速光学摄像系统 借助数字图像分析与处理 技术 自动完成空瓶 的全面检测 具有速度快 精 度高 的特点 是提高生产效率 解放人力的高科技手段 目 前空瓶检测机器人能够对各种饮料瓶的瓶底 瓶身 瓶 口 瓶嘴螺纹和瓶 内残留液进行检测 能够识别出细小 的污点或瓶子玻璃 的裂纹 能够区分饮料瓶本身的玻 璃花纹 甚 至通过使用特定的滤波光源与智能图像识 别算法能够检测到饮料瓶内可能存在的微小的透明玻 璃碎片 其检测速度通常在 2 0 0 0 0 瓶 d 时以上 快的 可达 5 4 0 0 0瓶 d 时 远远超过人工检测速度 在现代 化的高速饮料生产线上 智能 空瓶检测机器人是不可 缺少 的高新技术设备之一 是我国饮料生产行业 特别 是啤酒行业近期机电设备建设的重点之一 鬣 粕 图 1 不符合要求的空瓶 2 智能空瓶检测机器人的系统结构 2 1 智能 空瓶 检 测机 器人 机械 结构 空瓶检测机器人根据空瓶的传送方式可以分为两 类 直线式和旋转式 其 中 直线式 空瓶检测机器 本文于 2 0 0 2年 l 1 月收到 系国家自然科学基金 6 0 3 7 5 0 0 1 高校博士点基金 2 0 0 3 0 5 3 2 0 0 4 资助项目 维普资讯 第 5期 基于机器视觉 的智能空瓶检测机器人研究 6 2 5 人结构简单 维修调整方便 得 到了广泛的应用 图 2 为其结构简图 图 2 直 线式 空瓶 检测 机 器人 1 空瓶输人口 2 分瓶机3 瓶口光源4 瓶 口摄像机 5 瓶底摄像机6 空瓶传送带7 瓶底清洁器 8 瓶底光源9 残留液检测模块1 0 瓶身检测模块 1 1 次瓶击出器1 2 空瓶输出口 1 3 1 4 1 5 1 6 1 7 1 8 光电传感器 直线式空瓶检测机器人主要 由以下部分组成 1 空瓶输入 口 与整 套流水生产线 的传 送带相 连 从洗瓶机送 出的待检空瓶 由此输入 2 分瓶机 从洗瓶机送出的待检空瓶之间往往没 有间隙 为了保证对空瓶进行可靠的检测 必须使用分 瓶机将空瓶彼此隔开一定 的距离 空瓶间距可通过改 变分瓶机速度来进行调整 3 瓶底清洁器 从洗瓶机送 出的待检空瓶的瓶底 外表面难免粘有各种脏物 泡沫等 这对于瓶底检测是 极为不利 的 必须利用瓶底清洁器在瓶底检测之前除 去可能的赃物 泡沫等 4 瓶底 瓶 口光源 采用特制的 L E D灯对瓶底 瓶 口进行照射 使检测 C C D摄像机能利用其透射光或 反射光获得瓶底或瓶 口的清晰图像 5 光电传感器 在空瓶检测机器人各处安装有多 个光电传感器 分别负责空瓶 的位置检测 姿态检测 向控制系统提供相关信息 用于高速拍照和 系统运行 控制 6 空瓶传送带 生产流水线上 的传送带是普通型 的 从底部托住空瓶向前传送 但空瓶检测机 内 由于 必须对瓶底进行检测 必须采用特制传送带从空瓶两 侧将空瓶夹紧传送 使瓶底悬空 以利于检测 见图 3 传送带表面有特制的纵 向齿纹 用于防止空瓶传送 过 程中滑倒 两侧传送带 的间距可以调整以改变夹住空 瓶 的力 度 图 3 空瓶 直 线传 送原 理 7 瓶底 瓶 口C C D摄像机 负责对高速运动的空 瓶摄像 获得空瓶被检部分的图像 8 瓶内残留液检测模块 使用射频水分测量传感 器或红外传感器对瓶内残留液进行检测 9 瓶身检测模块 包括 C C D摄像机和光源 并采 用一套光学反射系统 利用一台 C C D摄像机完成对瓶 身近 3 6 0度 画面 的拍摄 与 检测 1 0 次瓶击出器 采用气锤击 出器将检测不合格 的空瓶击出 1 1 系统保护 在各面板处都有限位开关 一旦面 板被打开 机器能够立即暂停运行 系统还配有报警灯 与报警笛 一旦出现紧急情况 能以声 光形式报警 综上所述 智能空瓶检测机器人的结构复杂 其传 送系统 各种传感器 以及多台高速专用摄像机必须在 机器人 的电气控制系统的精确控制下 才能协调完成 复杂 的检测任务 2 2空瓶检测机器人电气控制系统 图 4为控制系统硬件框图 考虑到整个空瓶图像 检测的信息量大 而检测速度要求很快 特别是瓶身检 测要实时处理较大的图像 因而使用两台工控机 一台 负责瓶 口 瓶底检测 另一台负责瓶身检测 同时采用 一 台可编程控制器负责整个系统的底层控制 包括整 个系统协调 传动控制 击出器控制 系统保护等 被检 空瓶首先 由空瓶输人 口输入 并由分瓶机将 间距分开 空瓶经过瓶底清洁器除去瓶底可能附着的污物 以后 将依次经过瓶 口 瓶底 瓶内残 留液和瓶身检测模块 同时触发安装在各检测位置的光电传感器 这时工控 机将起动相应的图像采集系统 实时完成检测 并将处 理结果通过通信网络传送到可编程控制器 可编程控 制器根 据各种传感器信息 以及工控 机传送的检测结 果 完成对次瓶的标记与定位 从而准确地控制击出器 将次瓶击出 3 空瓶的机器视觉检测原理 3 1 光源 照明方式以及光学成像 系统 对于基于机器视觉 的空瓶检测机器人来说 高速 维普资讯 6 2 6 仪器仪表学报 第 2 5 口 cCD摄 像 机 I I I I 1 1 I 工控机 厂 瓶身c C D 摄像机1 L 睦 通信网络 残留液检测模块 交流电机变频 调速控制器 图 4 空瓶检测机器人电气控制系统 光学摄像系统是其重要组成部分 空瓶检测机器人对 瓶底 瓶身和瓶 口的检测都是利用高速 C C D摄像机对 其进行拍照 然后再进行数字 图像处理与分析 空瓶检 测对光源要求较高 光源亮度 的均匀与稳定程度以及 入射光和透射光 的方 向对成像质量和检测结果影响都 很大 若要检测特殊 目标 例如透明玻璃碎片 还必须 使用特殊的滤光片 为了得到较好而又稳定的图像 空 瓶检测机器 人采用 的是效率高 寿命 长 容易控制 的 L E D光源 图 5 是对各个被检测部分拍照的光路图 瓶底 的图像是 由摄像机穿过瓶 口拍摄而成 因而必须 使用合适的光学镜头 才能拍摄到完整的瓶底 对瓶 口 拍照是利用置于瓶 口上方的穹形光源 照射瓶 口 利用 反射光成像 为了对瓶颈部分获得较高 的分辨率 还可 使用两台摄像机分别对瓶颈 和瓶身的下半部分拍照 一 般使用一套光学系统将瓶身不同角度的图像合成在 一 幅图像 中 以完成对瓶身的 3 6 0度全检 L E D 光源 C C D 摄像机 C C D 摄像机 C C D 摄像机 图 5 对各个被检测部分拍照的光路图 3 2 检 测 区域 的 标定 与定 位 在空瓶检测 中需要预先人工标定 出要处理的区域 的形状 这样就不需要用计算机采用图像处理 的算法 来确定检测区域形状和大小 节省了运算时间 并且用 人工标定要 比用计算机 自动确定区域形状准确可靠得 多 可以避免图像 中某些 区域 的干扰 例如瓶身 的边 缘 这对正确完成检测是十分重要的 如图 6 所示 图 中虚线即人工预先设定的区域 系统将只在预先设定 好 的区域 中进行处理 从而大大缩短处理运算 的时间 提高了效率 空瓶检测机器人利用安装在各检测位置 的光电传 感器来确定对空瓶的拍照时间 当被检测 的空瓶 特定的检测区域时 对应的光电传感器将被触发 出相应 的信号起动 图像抓取 系统获得空瓶 的即日 像 若使用无异步重置功能的 C C D摄像机 由于掘 机帧周期的影 响 起动拍照的时刻与实际拍 照的日 将有一个时间间隔 由于空瓶是在传送带上高速运 所以实际拍照的位置与期望 的将不一样 其偏差 个随机值 在图像上 的最大偏差 E 单位为像 素 由 1 式 得 出 一 V t m 回 图 6 处理区域标定 其中 V为空瓶 的运动速度 t m A x 等于 C C D摄 的帧周期 f 为 C C D摄像机镜头的焦距 h为被检 与镜头间的物距 R 为 C C D摄像机 的水平解析度 为 C C D摄像机 中C C D感光晶片的宽度 例如 若 2 5帧 秒 1 2 水平解析度为 6 4 8列的摄像机 光 头 焦 距 为 2 0 mm 物 距 h 一 0 8 m 在 2 0 0 0 0瓶 d 日 啤酒生产线上 空瓶运动速度约为 0 4 m s 图像一 瓶位置的最大偏差高达 4 0个像素 完全不能忽略 使用价格昂贵的具有异步重置功能的摄像机能大I 减少这种偏差 但 由于空瓶在高速传送过程 中还j 机械晃动等因素 使得最终 图像上空瓶的位置始 在不可忽略的偏差 因而必须使用软件算法 自动 被检空瓶在图像上的精确位置 即确定瓶身的中轴 瓶 口 瓶底 的圆心位置 从而使后续的检测能在正 区域 内进行 由于在实际高速应用中 图像中存在 干扰和变化 因素 因而定位算法必须具有速度快 j 高 容错能力强的特点 传统的霍夫变换速度太慢 质心法 最佳拟合法在图像本身有较大干扰 时会j 较大的误差 这里提出一种简洁 高效的边缘点直 滑动窗 口法 例如对于一幅瓶身图像 f i j 将其 左右两部分 分别利用式 2 3 求其差分值 然J 择合适 的阈值 T 分离出被检 空瓶 的瓶颈到瓶嘴 的边缘点 图像上每一行只求两个边缘点 左边一 右边一个 构成边缘点对 L 和 R i 1 2 3 n j 7所示 对应每一对边缘点按式 4 可求得一个瓶 轴线横坐标 的参考值 X r 一一一一一一一 0 r 1 二 k 瞄 l 二 J f叠 1 维普资讯 第 5期 基 于机 器 视觉 的智 能空 瓶检 测机 器人 研 究 6 2 7 Vf i j 一2 f i j f i 1 j f i j 1 Vf i j 一2 f i j f i 1 j f i j 1 xr i 1 2 3 n 2 3 4 图 7 瓶身边缘点 图 8 X r直方图 统 计 Xr 获 得 其 在 各 种 数 值 上 出 现 的 次 数 H X r 从而可获其直方图 如图 8所示 假想一个宽 度为 T的滑动 窗口在直方图上从 C 移到 C 同时按 式 5 计算 当前窗口内直方图总和 S X 当滑动窗 口 从 C 移到 C 时 可得 到 一 个 最 大 的 S X 进 而 可 由 6 式最终确定瓶身中轴线的横坐标 X 同样 对于瓶 口 瓶底图像 也可以先获得 其边缘点 然后采用 以上 算法获得瓶 口 瓶底 圆心的纵 横坐标 从而完成检测 区域的定位 直方图滑动窗口法能够巧妙地利用统计 值排除分布较散 而幅值又较大的干扰 在滑动窗口内 又采用加权平均法获得精确值 实验证明 以上算法对 边缘点 的检测要求不高 即使 图像上相当一部分 的边 缘检测有误 也能非 常精确地确定被检 目标在图像上 的位置 而这一点在实际应用中是非常重要的 被检图像区域D x T s x 一 H X r Xr X X T 2 X r H x r Xd X T 2 H X r 5 6 6 式中 X满足 S X 一 ma x S X XE E C C 3 3图像检测算法 空瓶检测机器人是机器视觉 数 字图像处理与识 别技术在生产实践 中的典型应用之一 空瓶检测机器 人必须能完成多 幅图像 的连续 实时 同步抓 取与处 理 图像处理与识别模块是其软件 的核心部分 是空瓶 检测机器人主要技术难点之一 该模块必须具有高速 高精度和实时性的特点 在空瓶检测中 空瓶的破损部 分 破损大小具有多样性和随机性 空瓶本身的玻璃气 泡 花纹 以及环境光会产生干扰 而空瓶的高速运动还 会产生图像 的运动模糊 所以即使采用了较好 的光源 照明方式和光学成像 系统也难以保证获得理想的空瓶 图像 更重要的是实际应用中的空瓶检测速度高达 1 O 瓶 秒 甚至更快 这就使得不少经典图像处理算法难 以胜任 而图 9 所示的专家决策算法具有速度快 实用 效果好的特点 能够用于高速空瓶检测 首先由有经验 的检测人员提供多种识别规则及相应的初始权值 计 算机在一个检测窗口内完成图像预处理并提取 图像特 征 包括灰度总和 灰度差总和 灰度值低于某一 阈值 的像素点总和等 然后根据预先 提供 的规则与权值进 行识别判断 采用加权求和的方式来确定被检测的窗 口内是否有缺陷或异物 图 9 用于空瓶检测的专家决策算法 例如在瓶身检测中 可选择灰度总和与灰度差总和两 个特征 对于图 1 0 a 中的污点 其特征是灰度低于正常图 像 因而可以构建一个规则 用灰度总和 S作为判据 S可 由式 7 计算出 而对于图 1 0 b 中的异物 具有明显的边 缘 因而可以构建另一个规则 用灰度差之和 S E作为判 据 S E可由式 8 计算出 对于其他更复杂的情况 可选择 更多的特征 组合成更多的规则 达到更好的检测效果 但 由于处理时间的限制 特征与规则的数量都有一定限制 必 须在实际应用中确定最佳值 s f i j p D s E E f i j 一f i 1 j 1 p D 4 结束语 7 8 研制开发一台智能空瓶检测机器人实验样机 并 下转 第 6 6 2页 一 维普资讯 6 6 2 仪器仪表学报 第 2 5 卷 Wa v e f o r m C h a r t 当中 由于各 指标 不属 于 同一量 级 因而需安装手形工具以备查询 4 2 实 现程 序 各主要功能的实现由下列模块程序完成 通过比较语句 C o mp a r i s o n 判定指标值是否超限 并闪亮报警 灯 B o o l e a n 利用选择 结构 C a s e S t r u c t u r e 内的报警程序 B e e p v i 完成声 音报警 延 时器 非离 子氨 当日 三日 本周 十日 均值 o o o oo o 0 街 的 峰 值 0 0 0 0 o 6 t 谷 值 0 0 0 ft O 0 0 0 缸 基站 1 基站2 基站i 基站n 图 4 主程序前面板 部分 Wa i t Un t i l Ne x t ms Mu l t i p l e F u n c t i o n 使测量 间隔 时间按要求 如突发环境事件时连续监测 无级可调 通过数学运算模块 Nu me r i c 和 比较语句实现数据统 计 其他功能可通过 L a b VI E W 提供的接 口实现 仪器运行的开始和终止按钮 由 L a b V I E W 的窗口 工具菜单提供 5 结 论 虚拟仪器作为计算机和测试仪器技术共同孕育和 发展 的产物 充分利用 了计算机 的软硬件资源 借助于 一 定 的软件模块或模块化功能插卡完成传统的电测功 能 结合虚拟仪器技术思想 开发研制基于个人微机的 用于水库水质在线监测的多通道虚拟监测系统 既可 免除 目前多数情况下手工测量的烦琐 又使得监测结 果及时可靠 并且节约了监测成本 弥补 了我国在水质 在线监测方面的缺憾 同时 其界面友好 操作 自如 有 着十分广阔的应用前景 应当指出 检测结果的实 时性 是在线 监测 的关键 之一 这就需要及时的现场数据采集 由于目前我国使 用广泛的铬法分析 c 0D最快也要 2 0 mi n时间 使得该 指标数据的发生相对滞后 因此 采用其他更科学合理 的方法 如电极氧化法 臭氧法等等 以便于在几分钟 内获取数据 是十分必要 的 而且 随着各种快速分析 仪的出现 加之现代传感器技术 的飞速发展 更加快捷 方便的数据采集方法也将不断出现 参考文献 1 魏相华 张士文 赵继敏 虚拟仪器 VI 的发展现状和前 景E J 工业控制计算机 2 0 0 1 1 4 3 1 2 2 Br y a n t G G Co n t i n u o u s t e mp e r a t u r e s e n s o r f o r c o n t i n u O U S s t e e l c a s t i n g p r o c e s s c o n t r o 1 J I n d u s t r i a l H e a t i n g 1 9 8 5 4 2 0 3 李胜强 仲朔平 查美生 基于虚拟仪器技术的多功能振 动测试仪 J 计算机 自动测量 与控制 2 0 0 1 9 5 6 4 6 6 4 L