（测试计量技术及仪器专业论文）机器视觉在线检测图像处理技术研究.pdf

机器视觉在线检测图像处理技术研究 摘要 结构光三维轮廓测量是以图像为传递信息载体，依据光学三角法测量原理， 利用数字图像处理技术对物体的二维图像进行研究，通过建立视觉测量数学模 型，得到物体的大小、形状。 本论文主要以实现物体三维轮廓尺寸在线检测为研究目标，深入分析国内 外相关研究成果，对线结构光非接触测量技术的关键环节进行分析研究。主要 研究内容可概括成以下几个方面： ( 1 ) 介绍了文中涉及的数字图像的基本理论以及图像处理的关键算法，主 要包括图像增强、图像分割、图像平滑算法。 ( 2 ) 研究视觉测量中各种几何参数的图像处理算法，如圆与椭圆的拟合、 圆心坐标的确定、拐角自动探测、直线的自动提取等。 ( 3 ) 针对激光光条图像的特点，研究采用细化算法提取光条骨架，根据激 光光束能量呈高斯分布的特性，采用最小外接矩形分割光条图像，在每个矩形 区域内采用高斯曲线拟合法提取光条中心，利用最小二乘法拟合出光条中心直 线。它将光条中心定位精度提高到亚像素级，有效的提高了光条中心定位精度。 ( 4 ) 介绍了线结构光测量系统的数学模型，以及测量系统的硬件构成，论 述了线结构光传感器的标定方法和步聚。 ( 5 ) 基于v c + + 6 o 软件平台搭建图像处理软件系统，建立视觉测量开放式 图像处理标准函数库。并对标准量块进行测量，实验结果证明了结构光在线检 测技术的正确性和可行性。 关键词：三维视觉，光条中心提取，几何基元检测，结构光 r e s e a c ho nt h ei m a g ep r o c e s s i n gi nr e a l t i m e m e a s u r e m e tt e c h n i q u e a b s t r a c t i m a g ei s t h ec a r r i e ro fi n f o r m a t i o ni n s t r u c t u r e d l i g h tt h r e e - d i m e n s i o n a l p r o f i l em e a s u r i n gs y s t e m ，a c c o r d i n gt o t h et h e o r yo fo p t i c a lt r i a n g u l a t i o n ，t h e i m a g eo fo b j e c ti ss t u d i e db yd i g i t a li m a g et e c h n i q u e ，t h e nt h em o d e lo fv i s i o n m e a s u r e m e n ti sb u i l t ，a n dt h eq u a n t i t a t i v ed i m e n s i o na n ds h a p eo fp r a c t i c a lo b j e c t s c a nb ea c h i e v e d i nt h ep u r p o s eo fa c h i e v i n gr e a l t i m et h r e e d i m e n s i o n a lm e a s u r e m e n t ，t h ek e y t e c h n i q u eo fs t r u c t u r e d l i g h tm e a r s u r e m e n tt e c h n i q u e sh a sb e e nr e s e a c h e da tt h e b a s eo ft h er e l a t i o nr e s e a r c he f f o r t m a i n l yi n c l o u d i n g ： ( 1 ) t h eb a s et h e o r yo fn u m e r i c a li m a g ea n dt h ek e ya l g o r i t h m so fi m a g e p r o c e s s i n ga r ei n t r o d u c e df i r s t l y s u c ha si m a g ee n h a n c e d ，i m a g es p l i t e da n d i m a g es m o o t h i n g ( 2 ) r e s e a r c ho nt h ei m a g ep r o c e s s i n ga l g o r i t h m so fg e o m e t r i cp a r a m e n t e ri n v i s i o nd e t e c t i o n ，s u c ha sc i r c l ea n de l l i p s ea p p r o a c h i n g ，g e t t i n gt h ec e n t e ro fc i r c l e ， c r o s s i n ga u t o d e t e c t e da n dl i n ea u t o - d e t e c t i o n e t c 【3 ) c o m b i n i n gw i t ht h ec h a r a c t e r so fl a s e rs t r i p e ，t h et h i n i n gm e t h o dh a sb e e n s t u d i e df o re x t r a c t i n gt h el i g h ts t r i p a c c o r d i n gt ot h el a s e rb e a mo b e y sg a u s s d i s t r i b u t i o n ，t h el i g h ts t r i p ei sp a r t e du s i n gm i n i m u me n c l o s i n gr e c t a n g l e ，t h e c e n t r i co fl i g h ts t r i p ei sg o t t e nb yt h em e t h o do fg a u s s i a nc u r v ea p p r o x i m a t i o ni n e v e r yr e c t a n g l er e g i o n ，t h el i g h ts t r i p el i n ei sf i tb yl e a s ts q u a r em e t h o d t h el i g h t s t r i pc e n t e ri s l o c a t e da t s u b p i x e l a n dt h ep r e c i s i o no ft h em e a s u r e m e n ti s i n c r e a s e d ( 4 ) t h em a t hm o d e la n dt h eh a r d w a r es t r u c t u r eo ft h es t r u c t r u e dl i g h t3 - d p r o f i l em e a s u r e m e n ts y s t e m a r ei n t r o d u c e d ，a n dt h em e t h o d sa n dt h es t e p so f c a l i b r a t i o nf o rc a m e r aa r ed o m o n s t r a t e d ( 5 ) t h ed e v e l o p m e n to fi m a g ep r o c e s s i n gs o f tb a s e do nv c + + 6 0 ，b u i l d i n gt h e o p e nb a s e s t a n d a r df u n c t i o ns t o r e r o o mf o rv i s i o nm e a s u r e m e n t ，t h ee x p e r i m e n t r e s u l t so fc r i t e r i o nm e a s u r i n gs h o w st h es t r u c t u r e d - l i g h tt h r e e d i m e n s i o n a lp r o f i l e m e a s u r i n gt e c h n i q u e sp u tf o r w a r d e di nt h i sp a p e ri sp r a c t i c a la n ds u i t a b l ef o r o n i i n ed e i e c t i o n k e y w o r d s ：t h r e e d i m e n s i o n a lv i s i o n ；l i g h ts t r i p e sc e n t e re x t r a c t i o n ； g e o m e t r i ce l e m e n td e t e c t i o n ；s t r u c t u r e d l i g h t ； 插图清单 图2 1 图像及其灰度直方图8 图2 2 图像灰度分布概率密度函数9 图2 3 直方图均衡化操作前后图像及其直方图9 图2 4 对比度调整前后图像1 0 图2 - 5 均值滤波1 1 图2 - 6 中值滤波1 1 图2 7 阈值分割后的二值化图像1 2 图2 8 凹凸性分析确定分割阈值1 4 图2 9 边缘检测1 5 图3 1 点一线的对偶性1 7 图3 2 直线检测中的h o u g h 变换1 8 图3 3 匹配原理图2 2 图3 - 4 遍历搜索过程图2 3 图3 5 提取靶标圆心2 4 图3 6h a r r i s 角点检测2 5 图3 7 背景和光条r 分量直方图2 7 图3 8 像素邻域特征图2 9 图3 - 9 测量物体细化2 9 图3 1 0 光刀光强分布图3 0 图3 1 1 提取激光光条中心 图4 - 1 结构光三维轮廓测量系统 图4 2 线结构光传感器模型 图4 3 交比不变原理 图4 - 4 共面平面标定靶标 图4 5 测量系统标定示意图 图4 - 6 标定结果 图4 7 像点误差直方图 图4 - 8 系统测量实例 图5 一l 组件化应用程序升级示例 图5 - 2 系统结构框图 图5 3 打开图像界面 3 3 3 5 3 9 4 1 4 2 4 2 4 3 4 4 4 8 5 0 5 0 5 l 图5 - 4 图像采集流程5 2 图5 5 图像预处理界面5 3 图5 - 6 视频设置5 3 图5 7 标定模块界面5 4 图5 8 系统总体框图5 6 图5 - 9 软件界面5 6 表3 1 表3 - 2 表4 1 表4 2 表4 3 表4 4 表4 5 表格清单 光条截面点数据 不同方法获得光条中心位置比较 光平面参数 靶标z l 处圆心像点的偏差 靶标z 2 处圆心像点的偏差 靶标z 3 处圆心像点的偏差 测量实例中光条上端点坐标 附表清单 附表1 共面平面标定靶标特征点空间坐标 附表2 靶标处位置z l 平面时特征点像面坐标 附表3 靶标处位置z 2 平面时特征点像面坐标 附表4 靶标处位置z 3 平面时特征点像面坐标 附表5 光平面特征点坐标 5 9 6 0 6 0 6 0 6 2 弭铊钙躺钾 独创性声明 本人声明所足交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所 知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果， 也不包含为获得 盒目曼王些盔堂 或其他教育机构的学位或证书而使用过的材料。与我一同 工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：球殇锋签字日期：洲年争月彰日 学位论文版权使用授权书 本学位论文作者完全了解盒胆王些本堂有关保留、使用学位论文的规定，有权保留并向国 家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权盒魍王、业盍堂可 以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手 段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名；棼莺绎 签字日期孑 彩年印月彩日 学位论文作者毕业后去向： j = 作靴：剧新科技狗硬刍刁 剔磁名锄皂磷 签字日期：o6 年眵爿“日 通讯地址：刍匏离新髟葫幽瑶昆刮吵乜。 电话：，塑蚴鹚z 邮编：2 哆c ，口g g 致谢 本学位论文是在金旌群副教授的悉心指导和关怀下完成的。导师最大限度地提供 了良好的学习和科研条件。从课程学习到按研究方向所进行的论文选题，课题立项、 论证、研究、实验、总结、论文撰写和修订中，金老师始终给予了我悉心地指导，倾 注了大量的心血，使得课题的研究取得了很好的成果，论文也得以顺利完成，我的专 业技术和科研能力有了长足进步。金老师渊博的知识、严谨的治学态度、和诲人不倦 的敬业精神，使我受益匪浅。在此，向尊敬的金老师表示衷心的感谢和最诚挚的敬意。 感谢仪器仪表学院光信息科学与技术系的卢荣胜教授在课题研究的很多环节，给 了我有效的指导和支持，也给课题研究提供了非常好的条件。 感谢宫能刚、石洪贵、赵阳、卫兵、李小惠、卞铭、张梅、米永奇等同学，在我 的学习、科研和生活中，他( 她) 们给予了很多启发和帮助，并使我研究生期间的生 活增添了很多快乐。 还要特别感谢我的家人，他们是我无私的后盾，在我最困难的时候他们总是在我 身后用他们独有的温暖帮助我、鼓励我。在此，我要向他们深深地鞠躬，希望我能在 未来用更多更好的成绩来回报他们。 再一次感谢所有帮助我和关心我的人们，祝他们身体健康、心想事成。 朱贵锋 2 0 0 6 年4 月 第一章绪论 测量的方法分为两大类：接触测量和非接触测量。对于接触测量，已经发 展的很充分，典型的是三坐标测量机，它的测量精度在几微米之内，而且配备 软件可以进行数据处理、进行自动测量。它的缺点是设备笨重、测量速度慢、 设备造价高。随着现代化生产的发展，机械加工的精度和复杂程度越来越高， 对零件检测的精度、效率和自动化程度的要求也越来越高，同时在生产过程中， 零件形状的复杂性和测量的实时性都对传统的检测方法提出了很大的挑战，在 一些特定的场合，如对易变形零件、曲面的轮廓以及零件的孔心距等的检测， 都是传统的检测方法无法做到的，这些都要求发展新的检测方法。视觉测量 方法由于其高分辨率、无破坏、数据获取速度快等优点被认为是最有前途的方 法。利用光学图像对目标的位置、尺寸、形状、方位和目标间相互关系等参数 进行测量，是数字图像处理技术的重要研究和应用领域。 1 2 数字图像处理技术概述 数字图像处理是模式识别、计算机视觉、图像通讯、多媒体技术等学科的 基础，是一门涉及多领域的交叉学科。它是指将图像信号转换成数字格式并利用 计算机对其进行处理的过程。数字图像处理最早出现于2 0 世纪5 0 年代，当时 的电子计算机已经发展到一定水平，人们开始利用计算机来处理图像信息。数 字图像处理作为门学科大约形成于2 0 世纪6 0 年代初期。不久以后，数字图 像处理技术很快对通信、电视传输、医学、印染工业、工业检测和科学研究等 领域产生了重大影响。正因如此图像处理理论和技术受到了各界的广泛重视， 科学工作者经过不懈的努力，己取得了令人瞩目的成就，并正在向更深入及更 广泛的层次发展。 1 2 。1 数字图像处理方法分类 数字图像处理方法可分为两大类。即：空域法和变换域法 1 空域法t z 这种方法把图像看作平面中各个像素组成的集合，然后直接对这一二维函 数进行相应地处理。空域处理法主要有下面两大类： ( 1 ) 邻域处理法 输出图像上的每一个像素的灰度值，由输入图像对应像素为中心的邻域中 多个像素的灰度值计算而得出。包括：梯度运算( g r a d i e n ta l g o r i t h m ) ，拉普拉 斯算子运算( l a p l a c i a n o p e r a t o r ) ，平滑算子运算( s m o o t h i n go p e r a t o r ) 和卷 积运算( c o n v o l u t i o na l g o r i t h m ) 。 ( 2 ) 点处理法 输出图像上的每一个像素的灰度值由输入图像对应像素的灰度值计算得 出。包括：灰度处理( g r e yp r o c e s s i n g ) 、面积、周长、体积、重心运算等。 2 变换域法1 3 l 数字图像处理的变换域处理方法是首先对图像进行正交变换，得到变换域 系数阵列，然后再实施各种处理，处理后再反变换到空间域，得到处理结果 这类处理包括：滤波、数据压缩、特征提取等处理。 1 2 2 数字图像处理的主要内容 图像处理大体包括以下几个方面的内容【4 】： ( 1 ) 图像增强与复原 图像增强的主要目的是改善图像质量，提高图像的可懂度。图像增强不考 虑图像降质的原因，突出图像中感兴趣的部分。如强化图像高频分量，可以使 图像中物体轮廓清晰，细节明显，如强调低频分量可减少噪声对图像的影响。 图像复原也称为图像恢复，其目的是尽可能减少或去除在获取数字图像过 程中发生的图像质量下降( 退化) ，恢复被退化图像的本来面目。 ( 2 ) 图像重建 图像重建是图像处理中非常重要的一部分内容。从研究的图像的维数来分 图像重建可以是针对一系列沿直线投影图来重建二维图像的，也可以是由一系 列二维图像重建三维物体的。同时，三维图像重建成为科学计算可视化技术的 一个重要应用领域。 ( 3 ) 图像编码压缩 图像编码压缩技术可以减少描述图像的数据量( 即比特数) ，以便节省图像 传输、处理时问和减少存储器容量。压缩可以在不失真前提下获得，也可以在 允许失真条件下进行。 ( 4 ) 图像分割 图像分割是数字图像处理中的关键技术之一。图像分割是将图像中有意义 的特征部分提取出来，其有意义的特征在图像中物体的边缘、区域等，这是进 一步进行图像识别、分析和理解的基础。 ( 5 ) 图像识别 图像识别的主要内容是图像经过预处理( 增强、复原、压缩) 后，进行图像 分割和特征提取，从而进行判决分类。 ( 6 ) 图像理解 用计算机系统解释图像。实现类似于人类视觉系统理解外部世界的过程， 被称为图像理解或计算机视觉。图像理解的过程包括图像预处理、图像描述、 图像分析和理解。 1 3 视觉在线检测技术的发展与应用 在线检测技术是把计量技术同生产工艺、自动控制原理结合起来的对生产 过程中的产品实现不停机检验，并要求生产过程中的产品始终处于最佳状态。 它综合运用传感技术、计算机技术和自动控制技术等，包含信息的采集、传递 和处理。在线检测的主要作用是实时跟踪和控制工业生产过程，降低了对操作 人员技术水平的要求，从而提高了劳动生产率，减少了人为的主观差错，并且 还能适应条件较为恶劣的工业生产现场的环境，在生产过程自动监控、图像分 析、精密测量、信息处理和传递、能源利用、微观探测等各个领域发挥着越来 越重要的作用。当今社会日益迫切要求检测系统能对各方面的复杂信息进行实 时和高速采集、数据处理和自动控制。 下面对国内外机器视觉检测技术在工业检测中成功应用的一些典型实例进 行概略的介绍。 ( 1 ) 机器视觉检测技术广泛地应用于电子工业中p c b 板和i c 芯片的检测b s l 。 目前在p c b 板和i c 芯片的生产线上。6 0 的检测任务由机器视觉检测来完成。 p c b 板检测被看作是机器视觉检测最重要的应用。在美国超过2 0 的机器视觉检 测系统应用到半导体行业中p c b 的检测主要包括典型缺陷( 如断路、短路和缝隙 等) 和几何特征( 如元器件的长度和宽度、过孔和焊盘的直径、布线宽度和布线 之间的距离等) 的自动检测。 ( 2 ) 表面检测【6 】是机器视觉检测技术在工业检测中的又一重要应用方向。以 钢铁生产过程中的冷轧钢板的表面缺陷检测为例，德国p a r s y t e c h 公司研制的 h t s - 2 冷轧钢表面视觉检测系统己经应用于韩国浦项制铁公司；英国e u r o p e a n e l e c t r o n i cs y s t e m 公司研制的热轧带钢机器视觉表面检测系统，已在欧美主 要钢铁制造企业得到应用。另外的应用还有，铸造件盲孔的内表面缺陷和裂缝 检测，木材、纺织品等的表面检测。 ( 3 ) 机器视觉检测技术在工业检测中一个重要的应用是产品尺寸检测【1 】，尤 其以在汽车工业中的应用最为突出。 英国r o v e r 汽车公司8 0 0 系列汽车车身轮廓尺寸精度的1 0 0 在线检测，是 机器视觉系统用于工业检测中的一个较为典型的例子，其测量精度达到 0 1 m m 。松下电工的新视觉产品a 2 l o 通过试验监测，其触发、采集图像、计 算的时间之和在4 0 m s 之内，完全能够满足在线检测要求。c b r a d l e y 和s k r u a d a 描述了他们研制的三维机器视觉检测系统，该系统通过测量平面状、圆柱状、 圆锥状以及球状零件的关键尺寸来获得零件表面有关参数，进而实现对零件的 自动分类。l a n d m a n 等人研究的称为e y e c r o m e t e ：的柔性视觉检测系统己经用于 他迭精上搏蚺士鼎饷厚度铡星。口幽l 。等人研制的采用结构光技术的视觉检泓 系统，用于对铝、橡胶和塑料等挤削轮廓产品的几何尺寸进行在线检测。 在国内，工业视觉系统尚处于概念导入期，一些高校和科研单位在机器视 觉检测方面作了不少研究工作，并将科研成果成功地应用于企业生产中，取得 了良好的社会经济效益。如天津大学精密测试技术国家重点实验室相继成功研 制了a u d i1 0 0 轿车白车身侧围视觉检测系统，i v e c o 白车身激光视觉检测系统 和夏利轿车白车身视觉检测系统【8 】，实现了总成车身的三维尺寸的自动测量， 取得了良好的经济效益。 除以上应用外，机器视觉检测技术也用于工件的形位误差检测，如直线度、 平行度、垂直度以及大型工件的同轴度等；在弧焊机器人焊缝的自动定位跟踪 中，机器视觉在线检测技术也己经得到了成功的应用。 上述这些应用实例，充分显示了机器视觉检测技术在工业中广阔的应用空 间和良好的应用前景。随着的计算机视觉理论以及众多交叉学科的渗透发展， 机器视觉检测技术及其系统也会不断完善和发展，人们对它的认识将会更加深 刻。国外有学者估计，将来大多数工业生产现场在线实时检测有6 0 以上将采 用视觉检测技术。基于视觉检测技术，重构三维场景与物体的三维模型，确定 物体在三维空间中的形状、大小、位置和方向，在产品质量检测、机器人定位 与导航、逆向工程、工业造型设计、模具制造、文物修复、量体裁衣、人体面 形美容与假肢制作、农作物分类等方面都具有广阔的应用前景。美国在“2 1 世 纪光学与光学工程”发展战略研究报告中已明确地把视觉检测技术作为一个重 要的研究发展方向与产业支柱。因此，作为人类视觉的延伸，视觉检测技术将 在现代和未来得到越来越广泛的应用。 1 4 物体轮廓测量方法简介 为便于理解这一项研究领域的内涵，总的来说，从光学投影法测量物体三 维轮廓所采用的原理上看可以分为两大类：直接三角形法和相位测量法。 1 4 1 直接三角形法【9 】 直接三角形法测量轮廓技术其基本原理是利用三角形测量原理为基础，通 过出射点、投影点和成像点三者之间的几何成像关系确定物体各点高度，因此， 其测量的关键在于确定三者之问的对应关系。它的优点是处理简单可靠，缺点 是精度不高，不能全场测量。三角形法包括激光逐点扫描法、光切法和新近兴 起的二元编码图样投影法。 ( 1 ) 激光逐点扫描法用一个光点扫描物体，获取物体的高度信息。优点是 由于扫描激光的强度是二值化的，并且光强较高，所以不会受到物体表面纹理 的干扰，结构简单可靠，但缺点是需要一个扫描装置，测量速度慢耗时，不能 对动态物体进行实时测量。 ( 2 ) 光切法【”“2 j 又称线结构光刀法，该方法是以一条或多条光线( 光刀) 图像来重现物体的 三维形貌，即从光刀图像中提取光刀的中心线位置，然后利用三角形测量原理 对光刀中心线逐点进行求解，来获得物体形面的三维数据。该方法由于采用线 光源投影，每次可测一个或多个剖面( 对多光刀而言) 的高度数据，测量速度较 快，并且，只需要一维的辅助扫描运动装置就可以实现完全形面测量。该方法 关键技术之一是：提取光刀中心线，很多研究者在这方面的硬件和算法上做了很 多工作，光刀中心线的提取精度达到了亚像素级，具有较高的测量精度。它测 量速度上比前者有很大的提高，确定测量点也比较容易，故它的应用范围比较 广泛，该方法适用于要求测得物体3 6 0 。三维轮廓数据，而难于实现被测物体与 测量装置之间的相对旋转，光切法仍然存在采集速度较慢的缺点。 ( 3 ) 空间编码方法 此种方法能够大大地提高测量速度，是一种很有前途的三维轮廓测量方法， 该方法需要几副不同的图案分别投影到被测物体表面，然后从几副图像中提取 物体的高度信息：或者是通过设计条纹光栅的排列与周期，即对不同颜色、大 小、形状的单根条纹进行排列组合形成有一定空间周期的条纹图案，根据物体 表面上的条纹进行判断与计算得到高度信息。为了提高测量的范围，则必须提 高光栅的空间周期，然而为提高测量精度则需提高光栅的密度，因此，有人提 出了彩色条纹编码的测量技术。二元编码图像投影法则是采用时间或空间编码 的二维光学图样投影( 一般用液晶屏作为投影装置) ，能够大大的提高测量速度。 空间编码方法的优点是信号的处理简单可靠，速度快，无须复杂的条纹分析就 能唯一确定各个测量点的绝对高度信息，自动分辨物体的凸凹。缺点是精度不 高，不能实现全场测量实时性差。 ( 4 ) 条纹投影测量方法【1 3 - 1 4 】 采用条纹图样投影到被测物体表面，由于受到物体不同高度的调制，从另 外一角度上看，此时条纹发生变形，根据条纹的变形量可以求出物体的高度信 息。条纹投影法比光刀法速度更快，利用投影仪把编制好的条纹图案投影到物 体上，只需一幅图像就可以实现提取高度信息。条纹的图案可以按照设计要求 任意的制造出来，同时可以实现全场测量，就有精度高、测量速度快的优点。 它是单光刀法的延伸，同时具有空间编码法的特点，结构简单，计算方便，是 一种很有前途的测量方法。 1 4 2 相位轮廓术【l ”】 相位式轮廓测量技术同样采用设计好的光栅图样投影到被测物体表面，光 栅投影技术借助数字化设备把投影的光栅图案输入计算机，并对该载波信号迸 行直接的解调计算，通过检测反射的相位信息的变化来获取深度信息变化。该 方法的特点是成本较低，测量速度快，但是采用光栅产生结构光，测量精度较 低。该类方法包括莫尔法，相移轮廓术p s p ( p h a s es h i f t i n gp r o f i l o m e t r y ) 和f o u r i e r 变换轮廓法f t p ( f o u r i e rt r a n s f o r mp r o f i l o m e t r y ) ，以及灰度编码相移技术( g r a y c o d e & p h a s es h i f t i n g ) 从而求得物体表面形貌信息。 1 5 课题的主要目的和内容 本论文工作是在合肥工业大学校基金项目“机器视觉在线检测技术研究” 资助下进行的，同时也是国家自然基金项目“基于单幅二维图像不标定自适应 三维场景重构技术与应用”研究内容的组成部分。 本论文主要从该系统的关键技术之一的图像处理方面入手，利用该测量系 统摄取的真实图像，在p c 机下采用v i s u mc + + 6 0 软件平台，开展结构光图 像处理和特征点检测技术研究，开发在不同测量环境下高鲁棒性的图像处理算 法，提高该系统的环境适应性和测量精度。 实现物体轮廓尺寸测量的线结构光三维扫描测量，关键是要解决图像噪声 的去除、投射光条的提取、光条中心的确定、测量系统的标定等几个问题，课 题的研究工作也是围绕这几个方面进行的。文章章节内容安排如下： 第二章介绍了图像处理的基本知识，特别重点介绍了本系统中将会应用到 的一些图像处理方法，如图像增强、图像分割等。 第三章对光条图像的处理方法进行研究，主要介绍了几何基元的提取方 法，包括直线、圆、角点的自动提取；根据激光光条呈高斯分布的特性，提出 了采用商斯曲线拟合的方法提取光条中心，并采用最小外接矩形分割光条图像。 它将光条中心定位精度提高到亚像素级，有效的提高光条中心定位精度。 第四章介绍了线结构光测量系统的数学模型，以及测量系统的硬件构成， 论述了线结构光传感器的标定方法和步聚。并对标准量块进行测量，通过实验 结果证明了结构光在线检测技术的正确性和可行性。 第五章基于v c + + 6 0 软件平台搭建图像处理软件系统，建立视觉测量开放 式图像处理标准函数库。 第六章对全文的研究结果进行了总结，并提出进一步研究的主要问题。 6 第二章数字图像处理相关技术 2 1 数字图像的描述 人眼看到的任何自然界的图像都是连续的模拟图像，其形状和形态表现由 图像各位置的颜色决定。色度学理论认为，任何颜色都可由红、绿、蓝三种基 本按不同比例混合，因此自然界的图像可用基于位置坐标的三维函数来表示， 即：f ( x y ，z ) = 。( x ，y ，z ) 。( x ，y ，z ) ，五t 。( x ，y ，z ) 其中，表示空间坐标为( x ，y ，z ) 位置点的颜色，。、。、五。分别表 示该点的红、绿、蓝三种原色的颜色分量值，它们都是空间的连续函数。为了 研究的方便，我们主要考虑平面图像。平面上每一点仅包括两个坐标值，因此， 平面图像函数是连续的二维函数即：f ( x ，y ) = ，。( x ，y ) ，。( x ，y ) ，五。( x ，y ) ) 图像可以分为黑白图像和彩色图像。所谓黑白图像，就是每一点的红、绿、 蓝、颜色分量都相等，对于黑白图像可用二维函数f ( x ，y ) 表示，一般把坐标原 点定在图像的左上角，横坐标是x 轴，从左到右：纵坐标是y 轴，从上到下，图 中坐标( x ，y ) 点的亮度值( 灰度值) 为f ( x ，y ) 。 由于计算机仅能处理离散的数据，所以如果要计算机来处理图像，连续的 图像函数必须转化为离散的数据集，这一过程叫做图像采集。采样和量化系统 统称为数字化，数字图像是连续图像f ( x ，y ) 的一种近似表示，通常由采样点 的值所组成的矩阵来表示： r ，( o 且)f ( o a ) i ，( 1 0 ) u j ) 1 ，- u v l 0 ) - 广( 一l ，d f 搀m 一毽 ，( l 村一1 ) f t n l m q 每个采样点叫做一个像素( p i x e l ) 。上式中m 、n 分别为数字图像在横、纵 方向上的像素数。在计算机中通常采用二维数组来表示数字图像的矩阵。把像 素按不同的方式进行组织或存储，就得到不同的图像格式，其中最常用的图像格 式是位图格式( 以b m p 为文件名) 。 在图像处理中，基本上都是对整幅画面顺序完成存取和处理操作的，具有 代表性的方法是逐行存取与处理的方式。在v c 中，对 f o r ( r = o ：r r o ：r 十+ ) f o r ( c = o ：c c o ：c + + ) 对g r a y y a l u e r c 的具体处理运算； ) 2 2 图像增强 获取或传输图像的过程往往会发生图像失真，所得到的图像与原始图像有 某种程度的差异，如果差异太大就会影响人和机器对图像的理解，为了改善视 觉效果或者便于人和机器对图像的分析，我们经常根据图像的特点或存在的问 题采取的加强图像特征的措施称为图像增强【1 7 1 叭。它不考虑图像降质的原因， 只将图像中感兴趣的特征有选择的突出，常用的方法有空间域法和频率域法。 由于空域法具有简单、速度快等优点，本文主要讨论空间域法，包括直方图增 强、对比度增强、平滑滤波和锐化等方面。 2 2 1 直方图增强 图像的灰度直方图是用来表达一幅图像灰度分布情况的统计表，它概括了 该幅图像的灰度级内容。每幅图像只有唯一的灰度直方图与其相对应。图2 - 1 所示为示例图像的灰度直方图 ，l 一 址 j、 05 01 0 01 si2 0 02 5 5 图2 1 图像及其灰度直方图 在灰度直方图中，横坐标轴表示灰度值，其范围为0 2 5 5 ，纵坐标表示某 一灰度的像素数与整幅图像的像素数的比例，即该灰度级出现的频率。灰度直 方图是反映一幅图像中的灰度级与出现这种灰度级的概率之间的关系的图形。 设变量r 代表图像中的像素灰度级，像素的灰度值可作归一化处理，r 的范围 是：0 r 1 。在灰度级中，r = o 代表黑，r = 1 代表白，每一个像素取得 0 ，1 区间内的灰度级是随机的，则r 是一个随机变量，假定对每一瞬间它们是连续 的随机变量，那么就可以用概率密度函数p ( r ) 来表示原始图像的灰度分布。 如果用横坐标表示灰度级r ，纵坐标表示灰度级的概率密度函数p ( r ) 。这样就 可以针对一幅图像在这个坐标系中作一条曲线来。这条曲线在概率论中就是分 布密度曲线( 见图2 2 ) 。 从图像灰度级的分布可以看出一幅图像的灰度分布特征。例如，图2 2 ( a ) 对应的图像大多数像素灰度值取在较暗的区域，所以这幅图像背景肯定较暗； 而图2 2 ( b ) 对应的图像像素灰度值集中在亮区，因此，图像将偏亮。 尽管扶度直方图不能表示出有某狄度级的像素在什么位置，但是具有统计 特征的直方图却能描述该图像的灰度分布特征，使人们从中得到诸如总体明亮 程度、对比度和对象物的可分性等与图像质量有关的灰度分布概貌。 d( b 】 图2 - 2 图象灰度分布概率密度函数 2 2 1 1 直方图均衡化 较暗的图像有较多的低像素灰度值，因此它的直方图只出现在低灰度区间 上，而较亮的图像的情况正好相反，比较柔和的图像的直方图灰度分布比较均 匀。均化量化的图像的灰度直方图在低值灰度区间上频率较大。图像中较暗区 域的细节常看不清。为了使图像清晰，可将图像的灰度范围拉开，并让灰度频 率较小的灰度级变大，灰度直方图在较大的动态范围内趋于一致。 用图像f ( x ，y ) 的直方图代替灰度分布的密度函数尸，( 力，则直方图均匀化 后的图像g 为： j g = t f 】= 【pr ( u ) d u ( 2 - 1 ) 对于数字图像可以对上述公式做离散近似。经过直方图均化，图像的细节 更清楚，各灰度级的比例更加平衡，但是由于没有考虑图像内容，使图像亮度 过高，如图2 3 所示。 l 1 从 圈2 3 直方圈均衡化操作前后图像及其直方图 八 一k 2 2 1 2 对比度增强 按一定的规则修改图像每一个像素的灰度，从而使图像狄度的动态范围扩 展、压缩或对灰度进行分段处理。它包括灰度调整、g a m m a 校正等方面。我们 着重讨论灰度调整。 ( 1 ) 灰度调整：如果原图像f ( x ，y ) 的灰度范围是 m ，m ，调整后的图像 g ( x ，y ) 的灰度范围是 r t ，n ，那么下述变换，就可以实现这一要求。 ，一” g ( x ，y ) = ： ! 厂( x ，y ) 一月q 】+ 玎 ( 2 - 2 ) 竹一，玎 对下图是对比度调整前后图像。 图2 - 4 对比度调整前后的图像 ( 2 ) g a m m a 校正：它也是数字图像处理的常用图像增强技术。g a m m a 因子的 取值决定了图象的灰度映射方式，即决定了增强低灰度或是高灰度。当g a m m a 因子大于l 时为线性变换，g a m m a 因子小于l 时为非线性变换。 2 2 2 图像平滑 图像采集设备所获得的原始图像有很多噪声，平滑的目的是消除其中的噪 声，降低噪声对图像的影响，使图像的背景变的均匀，而同时图像中的细节要 保持原有特征，提高图像的质量。均值滤波器、中值滤波器等技术都可以达到 平滑的目的。 2 2 2 1 均值滤波 线性滤波可去除扫描后图像的颗粒噪声。对于给定图像f ( i ，j ) 的每个像点 ( m 。n ) ，取其领域s 为3 3 矩阵，点( m ，n ) 位于图像中心。假设噪声n 是加性噪声， g 是未受污染的图像，含噪图象f 经领域平均后为： f r ( m , r 1 ) 2 击朋2 玄g ( f + 击州( 2 - 3 ) 幽上式可知经领域平均后噪声的均值不变，方差盯：= 万1 盯2 ，即噪声减 小，抑制了嗓声。 2 2 2 2 中值滤波 图2 - 5 均值滤波前后图片 中值滤波 2 0 1 是一种非线性信号处理方法，也是图像处理技术中最常用的预 处理技术。中值滤波器是在1 9 7 1 年由j w j u k e y 首先提出并应用在一维信号处 理技术中( 时间序列分析) ，后来被二维图像信号处理技术所引用。它在一定的 条件下可以克服线性滤波器如最小均方滤波、平均值滤波( 平滑滤波) 等所带来 的图像细节模糊，而且对滤除脉冲干扰及图像扫描噪声最为有效，在实际运算 过程中并不需要图像的统计特性，可以在保护图像边缘同时去除处噪声，这也带 来不少方便。但是对一些细节多特别是点、线、尖顶细节多的图像不宜采用中 值滤波方法。 中值滤波就是用一个有奇数点的滑动窗口。将窗口中心点的值用窗口内各 点的中值代替。假设窗口内有五点，其值为6 0 ，8 0 。1 0 0 ，1 2 0 ，1 6 0 ，那么此窗 口内点的中值即为1 0 0 。设有一个一维序列石，五， 。取窗口长度( 点数) 为 m ( m 为奇数) ，对此一维序列进行中值滤波，就是从输入序列中相继抽出个 数z 。，z + z ，。，z 。，其中z 为窗口中心点值，再将这个点的灰度值按 其数值大小排序，取其序号为中心点那个数作为滤波输出，这个过程用数学公 式可以表示为：y t = m e d ( f 。，z ，+ ，) 其中i z ，v = ( 用一1 ) 2 幽2 - 6 中值滤波前后图片 中值滤波器的主要功能是让与周围像素灰度差比较大的像素改取与周围像 素值接近的值，从而可以消除孤立的噪声点，由于它不是简单的取均值，所以 产生的模糊比较少。如图2 - 6 所示，对加有椒盐噪声的图像采用中值滤波处理， 测试结果表明图像上斑点很明显被清除，处理后的图像很清晰。 2 3 阈值分割 图像阈值化分割是一种最常用，同时也是最简单的图像分割方法，它特别 适用于目标和背景占据不同灰度级范围的图像。它不仅可以极大的压缩数据量， 而且也大大简化了分析和处理步骤，因此在很多情况下，是进行图像分析、特 征提取与模式识别之前的必要的图像预处理过程。图像闽值化的目的是要按照 灰度级，对像素集合进行一个划分，得到的每个子集形成一个与现实景物相对 应的区域，各个区域内部具有一致的属性，而相邻区域布局有这种一致属性。 这样的划分可以通过从灰度级出发选取一个或多个阈值来实现。 闽值分割法1 2 n 4 1 是一种基于区域的图像分割技术，其基本原理是：通过设 定不同的特征阈值，把图像像素点分为若干类常用的特征包括：直接来自原 始图像的灰度或彩色特征；由原始灰度或彩色值变换得到的特征设原始图像 为f ( x ，y ) ，按照一定的准则在f ( x ，y ) 中找到特征值t ，将图像分割为两个部 分，分割后的图像为 蝴) = 悟怒甾 。) 若取：b 。= 0 ( 黑) ，b 。- - 1 ( 白) ，即为我们通常所说的图像二值化。 2 3 1p - 分位数法 图2 7 闽值分割后的二值化图像 1 9 6 2 年d o y l e 提出的p 一分位数法( 也称p - t i l e 法) 可以说是最古老的一种 阈值选取方法。该方法使目标或背景的像素比例等于其先验概率来设定阈值， 简单高效，但是对于先验概率难于估计的图像却无能为力。 例如，根据先验知识，知道图像目标与背景像素的比例为p 。p b ，则可根据 此条件直接在图像直方图上找到合适的阈值t ，使得f ( x ，y ) t 的像素为目标， f ( x ，y ) e 。时就停止该点的计算，继续下一点计算。被搜索图越大，匹配速度 越慢：模板越小，匹配速度越快。误差法速度较快，阈值的大小对匹配速度影 响大，和模板的尺寸有关。 3 1 2 2 靶标圆心提取 h o u g h 变换精度比较高，抗干扰能力强，但计算量比较大，本课题中需要 提取9 0 个圆的圆心，不便采用h o u g h 变换的方法。模扳匹配法的计算量也比较 大，质心法计算简单，但