（机械电子工程专业论文）基于计算机视觉的工件表面立体纹理分析.pdf

浙江工业大学硕士论文 基于计算机视觉的工件表面立体纹理分析 摘要 随着对计算机认知科学和人工智能研究的不断深入，计算机视觉 和图像处理等分支得到了长足的发展。纹理作为一种广泛存在的图像 模式，自然成为计算机视觉和图像处理的重要研究课题。基于纹理分 析的工件表面质量检测在现代自动化生产过程中也得到广泛应用。本 文针对加工工件表面纹理的三维形态提出了立体纹理的新概念。在单 目视觉环境下，深入研究了基于序列散焦显微图像的三维重构方法并 应用于工件表面的立体纹理获取，通过基于纹理元灰度模式统计的纹 理分析方法提取立体纹理特征，并在此基础上分析了纹理特征与加工 条件的相关性。本文的研究主要包括： ( 1 ) 研究了显著边界特征匹配方法，对图像进行配准，并运用图 像配准的方法实现对序列散焦图像的细分。经过分析和实验表明此配 准方法能够达到高精度序列散焦图像聚焦分析的要求。 ( 2 ) 研究了基于纹理分析的小波变换聚焦评价方法。通过与经典 聚焦评价函数的对比分析，验证了纹理分析基础上运用小波理论构造 的评价函数的单调性、灵敏度和分辨力与已有算法相比有显著提高。 ( 3 ) 研究了基于高斯插值的纹理高度计算方法。根据聚焦评价函 数的分布特性，采用了高斯插值算法来估计聚焦位置，从而得到显微 样本的物体表面上每一点的高度信息，得到目标物体的三维模型。 ( 4 ) 研究了结合聚焦深度和灰度信息的表面三维重构方法：根据 浙江工业大学硕士论文 每个细分清晰区域上的灰度分布，对每个点的深度信息进行矫正，从 而得到更为精确的表面三维信息。 ( 5 ) 研究了基于纹理元灰度模式统计的纹理分析方法，全面地分 析立体纹理的特征参数并完成纹理的分类和分割以及工件的表面形 态分析。 ( 6 ) 通过实验分析了车削工件表面立体纹理特征与加工条件的相 关性，得出纹理高度分布、高度均值及方差与加工时间、加工参数的 关系。 关键词：立体纹理，小波变换，高斯插值，三维重构，工件表面形态 浙江工业大学硕士论文 s o lidt e x t u r ea n a l y siso fw o r k pie c es u r f a c eb a s e do n c o m p u t e rvislo n a b s t r a c t w i t ht h er e s e a r c hi nd e p t ho f c o m p u t e rc o g n i t i v es c i e n c ea n da r t i f i c i a l i n t e l l i g e n c e ，t h eb r a n c ho fc o m p u t e r v i s i o na n di m a g ep r o c e s s i n gh a v e d e v e l o p e dr a p i d l y t e x t u r e ，a sab r o a d l ye x i s t e n ti m a g em o d e ，h a s b e c o m et h ee m p h a s i st o p i co fd e v e l o p m e n t m e a s u r e m e n to f w o r k p i e c e s u r f a c eq u a l i t yb a s e do nt e x t u r ea n a l y s i sh a sb e e nw i d e l yp u ti n t oa c t i o n i nt h em o d e ma u t o m a t e dp r o d u c t i o n b a s e do nt h et r i d i m e n s i o n a ls h a p e o ft h et e x t u r eo nt h ew o r k p i e c es u r f a c e ，t h en e w c o n c e p to fs o l i dt e x t u r e i sp r o p o s e di nt h i sp a p e r b ym o n o c u l a rv i s i o n ，t h i sp a p e r d e e p l ys t u d i e d t h em e t h o do fd e f o c u sm i c r o s c o p yi m a g e3 - ds u r f a c er e c o n s t r u c t i o n ， w h i c hi sa p p l i e dt oa c q u i r i n gt h es o l i dt e x t u r eo f w o r k p i e c es u r f a c e e x t r a c t e dt h es o l i dt e x t u r ef e a t u r eb yt h et e x t u r ea n a l y s i sa p p r o a c hb a s e d o ns t a t i s t i c so f t e x t u r ep r i m i t i v e sg r a yp a t t e m ，a n da n a l y z e dt h er e l a t i v i t y b e t w e e nt h et e x t u r ef e a t u r ea n dt h ep r o c e s s i n gc o n d i t i o n s t h em a i n r e s e a r c hc o n t e n t sa r ea sf o l l o w s ： ( 1 ) a d o p t e dt h ee d g e c h a r a c t e r i s t i c i m a g er e g i s t r a t i o n ，a n dt h e p r a c t i c a le x p e r i m e n t sp r o v et h i sa u t o m a t c h i n gm e t h o di se f f e c t i v ei n f o c u sa n a l y s i sb yh i g ha c c u r a c yt os e r i a ld e f o c u s i n gi m a g e ( 2 ) s t u d i e dt h ei m a g ef o c u sc r i t e r i o nu s i n gw a v e l e tt r a n s f o r mb a s e d o nt h et e x t u r ea n a l y s i s c o n t r a s tt ot h ec l a s s i c sf o c u se v a l u a t i o nf u n c t i o n ， 浙江工业大学硕士论文 t h ef u n c t i o nc o n s t r u c t e db yw a v e l e tt r a n s f o r mb a s e do nt e x t u r ea n a l y s i si s m o r ea v a i l a b l ei nt h em o n o t o n i c i t y 、s e n s i t i v i t ya n dr e s o l u t i o n ( 3 ) s t u d i e dt h e m e t h o d c o m p u t i n gt h et e x t u r eh e i g h tb a s e d o n g a u s s i a ni n t e r p o l a t i o na l g o r i t h m a c c o r d i n gt ot h ed i s t r i b u t i n gf e a t u r eo f t h ef o c u se v a l u a t i o nf u n c t i o n ，g a u s s i a ni n t e r p o l a t i o na l g o r i t h mh a sb e e n s e l e c t e dt oi n t e r p o l a t eas m a l ln u m b e ro ff o c u sm e a s u r ev a l u e st oo b t a i n a c c u r a t ed e p t he s t i m a t e st o3 dr e c o n s t r u c t i o n ( 4 ) s t u d i e dt h e3 dr e c o n s t r u c t i o nb a s e do nt h ei n f o r m a t i o no fd e p t h a n dg r a ys c a l e ： a c c o r d i n gt ot h eg r a ys c a l ed i s t r i b u t e di nt h es u b d i v i d e d z o n eo fs h a r p n e s s ，r e c t i f i e dt h ed e p t ho fe v e r yp o i n ta n do b t a i n e dt h e m o r ea c c u r a t ei n f o r m a t i o no ft h e3 ds u r f a c e ( 5 ) s t u d i e dt h et e x t u r ea n a l y s i sa p p r o a c hb a s e do ns t a t i s t i c so ft e x t u r e p r i m i t i v e sg r a yp a t t e r n ，a n a l y z e dt h ec h a r a c t e r i s t i cp a r a m e t e ro ft h es o l i d t e x t u r ea l ls i d e d l yt oc l a s s i f ya n ds u b d i v i d et h e t e x t u r e ，t h e na n a l y z e dt h e w o r k p i e c es u r f a c es h a p e ( 6 ) a n a l y z e dt h er e l a t i v i t yb e t w e e nt h es o l i dt e x t u r ef e a t u r eo ft u r n i n g w o r k p i e c es u r f a c ea n dt h ep r o c e s s i n gc o n d i t i o n s ，p r o v e dh o wt h e d i s t r i b u t e 、m e a nv a l u ea n dt h ev a r i a n c eo ft e x t u r eh e i g h ti sr e l a t et o p r o c e s s i n gt i m ea n dp a r a m e t e r k e yw o r d s ：s o l i dt e x t u r e ，w a v e l e tt r a n s f o r m s ，g a u s s i a ni n t e r p o l a t i o n ， 3 dr e c o n s t r u c t i o n ，w o r k p i e c es u r f a c es h a p e 浙江工业大学 学位论文原创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行 研究工作所取得的研究成果。除文中已经加以标注引用的内容外，本论文 不包含其他个人或集体已经发表或撰写过的研究成果，也不含为获得浙江 工业大学或其它教育机构的学位证书而使用过的材料。对本文的研究作出 重要贡献的个人和集体，均已在文中以明确方式标明。本人承担本声明的 法律责任。 作者签名： 多蘑 日期砌g 年g 月谬日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权浙江工业大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存 和汇编本学位论文。 本学位论文属于 l 、保密口，在年解密后适用本授权书。 2 、不保密酬 ( 请在以上相应方框内打“”) 作者签名：砂俚 日期汩8 年奎月影日 导师签名纱岛 日期寂。口牌 j -月2 驴日 浙江工业大学硕士论文 1 1 选题意义和目的 第一章绪论 随着对计算机认知科学和人工智能研究的不断深入，计算机视觉和图像处理 等分支得到了长足的发展。纹理作为一种广泛存在的图像模式，自然成为计算机 视觉和图像处理的重要研究课题。自二十世纪七十年代开始，纹理分析己经在气 象、地质研究、生物医学、植物学等很多的领域得到了广泛的应用，对它的深入 研究将给人类的生产生活带来可观的效益。 对数字纹理图像进行分析已引起了众多学者的广泛关注，迄今为止，对它的 研究已有3 0 多年的历史。在这期间，有大量的论文和相关研究著作发表，提出 了许多纹理分析的方法，大致可以分为基于统计的、基于模型的和基于结构的方 法【1 】【2 】。目前，对数字纹理图像进行分析己经成为计算机视觉和数字图像处理的 一个重要研究课题。 由于计算机视觉系统可以快速获取大量信息，而且易于自动处理，也易于同 设计信息以及加工控制信息集成。因此，在现代自动化生产过程中，人们将计算 机视觉系统广泛地用于工况监视、成品检验和质量控制等领域。计算机视觉系统 的特点是提高生产的柔性和自动化程度。在一些不适合人工作业的危险工作环境 或人工视觉难以满足要求的场合，常用计算机视觉来替代人工视觉；同时在大批 量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用计算机视觉 检测方法可以大大提高生产效率和生产的自动化程度。 因此，本课题基于计算机视觉的相关理论，针对工件表面的加工纹理分析提 出了一个新的概念，我们称之为立体纹理。具体来说，就是在单目显微环境下， 应用图像融合及三维重构的相关算法对显微镜获取的序列二维散焦序列图像进 行处理，得到工件表面纹理的立体形态。本课题正是在三维重构得到立体纹理的 基础上，利用立体视觉原理生成工件立体纹理的左右视图和立体视图，并应用此 方法完成立体纹理的表面三维参数的测量分析。 这种基于计算机视觉的纹理分析方法不同于传统的分析方法，它主要考虑的 不是纹理中灰度级的空间分布，而是将纹理的高度信息作为主要参数对纹理进行 分割和提取，这样的统计结果更有效，误差更小，在工件表面质量检测领域具有 浙江工业大学硕士论文 重要的实际意义 综上所述，本课题提出纹理分析方法具有适用范围广，实用性强，可靠性好 等特点，对于节约社会资源以及提高社会整体的检测水平具有重要的理论价值和 实际意义。 1 2 纹理分析研究概况 1 2 1 纹理分析的研究内容 实际上对纹理的研究有两个目的：一个是研究纹理的观赏特性，即如何设计 具有特定效果的纹理，使之具有一定的美学价值或自然逼真效果，这是计算机图 形学所研究的主要目标。另一个是研究纹理图像的特性，即纹理分析，以便分类 和识别场景，这是机器视觉追求的目标。也就是说，对机器视觉来说，纹理是为 了分割和识别场景或物体表面类型而产生的一种视觉标记。 纹理分析的基本内容包括纹理定义、纹理分类、纹理分割、纹理合成以及由 纹理生成形状等，其中纹理定义是纹理分析的核心内容。为使纹理分析具有一个 规范的测试标准，人们发布了b r o d a t z l 3 1 、m i t l 4 1 、n e a s t e x l 5 】和o u t e x l 6 1 等各种 纹理图像库。 纹理分类用于判别图像纹理的类型1 7 。i l l 】。纹理分类需要预先知道尽可能多的 纹理类型。在实际应用中，一般首先提取能够反映纹理整体性质的全局纹理特征， 然后再利用各种模式识别方法对纹理类型进行判别【1 2 1 - 1 1 6 1 。 纹理分割的目的是把图像分割成不同的纹理区域，每个区域应具有均匀的纹 理性质，同时相邻区域应具有不同的纹理性质。纹理分割的困难在于缺乏足够的 先验知识，例如在纹理分割前往往不知道图像含有几种纹理类型。纹理分割的重 点不在于确认图像哪个区域存在何种纹理，而在于通过某种途径有效区分相邻的 不同纹理，并正确找到相邻不同纹理间的边界。纹理分割方法包括基于区域的方 法和基于边界的方法，前者侧重区域纹理的一致性，后者侧重区域边界的差异性。 纹理合成主要应用于计算机图形学领域。纹理合成首先对纹理图像进行建 模，通过学习、优化确定模型参数，然后改变模型参数，并用该纹理模型生成纹 理。常用的纹理模型包括自相关模型【1 7 】、自回归模型【1 引、分形模型1 9 1 、m a r k o v 随机场模型【2 0 1 1 2 1 】、g i b b s 随机场模型1 2 2 】和w b l d 模型1 2 3 】。 图像中有许多信息可用于推测物体的三维形状，如物体表面的阴影变化、边 2 浙江工业大学硕士论文 界的相对结构以及边界连接的形状等。在纹理图像中，纹理基元的尺寸、形状及 密度变化可用于评估物体表面的形状和姿态。 1 2 2 纹理分析方法研究现状 根据纹理的基本特征，目前已出现了很多纹理分析的方法。m h a r a l i c k 曾作 了较为全面的总结，基本上可归纳为统计法、结构法、模型法和空间频率域联 合分析法等4 类【2 4 1 。由于纹理分析各种方法都存在一些问题，故近年来呈现了 相互渗透的趋势。近年来，随着大量相关学术论文的发表，也出现了许多纹理分 析的新方法。 在基于统计法的研究方面，文酬2 5 j 运用一种矢量量化技术，从而生成原始图 像的符号图像，再构造共生矩阵，选用矩阵的统计特征，实现对纹理图像的快速 匹配。对于尺寸较大，信息冗余度也较大的图像，该方法具有较好的适用性。文 献【2 6 】在变差函数理论基础上提出了描述图像纹理特征的新方法，不仅考虑区域 化变量的随机性，而且考虑数据的空间结构特征，用变差函数的单步变差函数值 描述图像空间相邻两点的统计特征，不同的纹理有不同的变差函数值。 在基于模型法的研究方面，文献1 2 刀运用特征符号随机场的概念，将灰度图像 变换为特征符号随机场，然后采用g i b b s - 马尔科夫随机场描述特征符号随机场， 具有简单的形式，同时排除了传统的空间干涉关系。对b r o d a t z 标准图像纹理的 分割效果较好。分形维数因其与人眼对图像表面粗糙度的判断一致而倍受重视， 文献网通过对不同的分形维数估计方法的比较，发现差分盒计数估计方法和基 于分形布朗运动自相似模型的估计方法覆盖了图像f d 较大的动态范围，差分盒 计数方法对粗糙度小的纹理敏感，而基于分形布朗运动自相似模型的估计方法在 高粗糙度的情况下变化剧烈，因此文献综合运用两种f d 估计方法，对真实的图 像进行分割，取得了较好的效果。 在基于信号处理法的研究方面，文献1 2 9 1 着眼于单g a b o r 滤波器分割双纹理图 像，提出一种利用f o u r i e r 功率谱选择最佳g a b o r 滤波器的方法，给出了利用滤 波器频率带宽参数指导搜索最佳g a b o r 滤波器的策略，计算量小且效果好，为多 滤波器分割多纹理图像这种更为通用的方法提供了一种有用的思路。文献f 3 0 】深 入分析了傅氏变换具有的自配准特性，提出了一种基于傅氏变换自配准特性的图 像纹理识别和分割方法，对自然纹理和遥感图像进行分割比较有效，实现简单， 浙江工业大学硕士论文 抗噪能力强，且纹理的亮度不均和旋转容易处理。 在基于结合法的研究方面，文献【3 i l 将统计法与信号处理方法相结合，基于纹 理元直方图导出了一种纹理表示的新方法，并根据正交镜像滤波器的小波变换能 量的转换和量化来定义纹理元，还给出了多种小波纹理特征集的实验评价。文献 利用y d , 波变换与分形的联系，在计算多尺度h 参数特征时，用小波变换低 频分量图像的差分代替原定义中的图像各尺度的灰度差，得到了较好的分类效 果。 虽然现有的纹理分析方法有很多种，但从理论上来看，找到一种适合各种纹 理分析的通用方法还是很难，且很多方法对纹理的描述随分辨率而变化，对方向 敏感，易受噪声影响。因此，对于一个具体纹理图像，寻找综合性方法，充分利 用各自优势，是近年来的一个研究趋势。 1 3 显微立体视觉 1 3 1 系统的组成及其特点 立体视觉是计算机视觉研究的重要分支，一直是计算机视觉研究中的重点和 热点，它直接模拟了人类视觉处理景物的方式，可以在多种情况下灵活的测量景 物的三维信息，其作用是其它视觉方式所无法比拟的。对它的研究，无论从视觉 生理还是工程应用角度来看都有重要的意义。 随着微纳米与m e m s 技术的发展，人们对微观世界的研究已经由观察和认 识阶段发展到了改造阶段，并已用各种复杂的技术，如光刻、l i g a 、化学腐蚀 等方法制造出了微型零件，研制出了多种微型机器人及微型传感器，但这些还停 留在实验室阶段，要实现产业化和大批量生产，必然要高效率的生产工具和装配 线，而视觉监测系统作为一种重要的自动化手段，自然而然的被引入到了微操作 和微装配领域中，这就是显微立体视觉技术。微纳米与m e m s 技术的一个显著 特点就是尺度小，人工直接操作不方便且效率低，常需借助于显微镜、s e m 、 c c d 等观察设备对微观物体进行放大，利用放大后的图像完成指定操作【3 3 】- 【3 5 1 。 与宏观立体视觉系统相比，显微立体视觉系统在成像环节上增加了放大环节，这 同时也增加了系统标定和立体匹配的难度。 随着对微观领域探索意识的不断加强，对微小零件和细胞等微小物体的操作 已经逐渐开展起来，然而，在现有基础上通过显微镜对微小物体进行微操作还有 浙江工业大学硕士论文 一定困难。微操作系统是在无法确定的环境下完成自动化任务，因此，视觉系统 在微操作系统中是极为必要的，称为微操作显微视觉系统，如图1 1 所示，微操 作显微视觉系统主要有以下几部分组成：( 1 ) 完成对被操作物体精确移动、旋转、 抓取等操作的操作手。( 2 ) 有足够的分辨率、并能从多方向观察操作对象的显微 视觉系统。( 3 ) 能不失真地记录操作过程、对象及工具位置信息地图像采集系统。 ( 4 ) 图像信息处理系统。( 5 ) 微操作控制系统。 各研究机构根据自己地操作对象在原有微操作系统地基础上建立了各自地 显微视觉系统。各显微视觉系统地组成虽略有不同，但均是在上述系统结构基础 上构建地。 图1 1 微操作系统简图 1 3 2 国内外研究进展 根据操作对象不同，各自地视觉系统也略有不同，但大多数是在原有微操作 系统地基础上增加了视觉反馈环节，从而获得更好地控制效果以实现自动化、半 自动化操作。 美国麻省理工学院d e n n i sm f r e e m a n 教授在d a r p a 资助下，于1 9 9 9 年开 展了一项名为“计算机显微视觉在m s m s 中应用”的研究项目，其研究目的是 研究开发一套用于m e m s 器件的可视化定位与运动测量软件，并结合光学显微 镜、视频图像处理及机器视觉技术，最终形成一个可靠的廉价的m e m s 器件检 验与测试系统，如图1 2 所示。这套系统通过一台显微镜和c c d 并辅以相应的 图像处理软件，具有图像清晰自动调节，自动聚焦的功能，它实现了对m e m s 器件三维位移和转角的测量，其精度分别达到了纳米和弧秒，在u c b 微陀螺仪 转角和运动检测以及m i t 的微马达扭矩测量等多个实际测量试验中取得了令人 浙江工业大学硕士论文 满意的结果。为了扩大它的使用范围，该项目的研究人员还在u c b 、c m u 等多 所大学的传感器及执行器实验室都安装了这套系统，实现了远程和网络化的测 量。图1 3 是他们开发的一套名为m i r o u 干涉仪计算机显微视觉系统，利用频闪 观测仪来摄取m e m s 器件的运动图像，可以实现对m e m s 芯片的三维高精度测 量，其监督可达到亚纳米级1 3 昏”】。美国l a w r e n c el i v e r m o r e 国家实验室研制的 一种用于微组装的立体视觉系统中，使用两个c c d 和一个焦深很小的显微镜组 成的立体视觉系统，通过载物台的垂直移动，获取聚焦面的切片图像，以此来获 取物体的深度信息，其横向分辨率达到1 微米，纵向分辨率达到1 0 微米【3 8 1 。 图l - 2 加t 的 m e m s 检测系统 篆越 i n f yt 魈皇曩型- 鬟 b 融麓亟黧孑掰：蕊 j * k f p “c l 蠹墓苎硅_ 础l f 嚣 i ：f7 l ：， i t ：f、l i 图1 3 采用m i r o u 干涉仪的计算机显微视觉系统( m i t ) 东京大学研制了纳米机器人系统的纳米手眼系统，该系统由实时视觉跟踪处 理器、实时图像处理器、扫描电子显微镜( s e m ) 、光学显微镜和主从操作手构成。 s e m 作为主监视器对主从手平面信息进行跟踪测量，光学显微镜作为从监视器 对垂直方向的深度信息进行监控。在纳米手眼系统帮助下，已经实现了直径1 0 微米的微粒子摆放操作和3 微米宽直线刻线工作。日本通产省机械技术研究所与 大阪大学合作在研究双指微操作机器人基础上增加了光学显微镜，通过c c d 摄 像机获得指尖和微操作物体的平面位置信息，将这一信息传给控制系统实现对细 胞的自动化操作。此外还构建了显微镜的自动聚焦装置，对图像质量进行优化。 该系统完成了直径2 微米的玻璃球的抓取和在任意位置的放置操作实验；欧洲各 国在显微视觉方面经行了深入研究。德国卡尔鲁厄大学( k a r l s r u h e ) 研制了 m i n i m a n 机器人，原有的m i n i m a ni 型机器人和m i n i m a ni i 型机器人是在压电陶 瓷驱动下的五自由度机器人，该机器人可以实现精密移动，再配以管状操作手， 可以精确完成微操作任务。s e r g e jf a t i k o n 教授等人在此基础上增加了视觉传感 6 浙江工业大学硕士论文 器和力传感器，研制了m i n i m a ni i i 型机器人，在视觉系统引导下，机器人可在 光电显微镜或扫描电子显微镜下完成1 0 纳米以下的高精度微操作。该研究小组 将视觉系统分为全局和局部传感器系统进行分别研究并在显微视觉系统下的目 标识别和深度信息获取方法方面进行了探讨。瑞士洛桑大学采用激光扫描显微镜 作为监视装置，利用激光直接测量高度信息。 相对国外，国内研究起步较晚，山东大学的测试计量技术研究所研究了显微 镜景深自动扩展技术，利用数字图像处理技术，对多幅各层面聚焦图像进行处理， 得到各点均清晰聚焦的整幅图像。哈尔滨工业大学以微机械零件装配微操作目 标，以体式显微镜微监视系统经行了显微视觉系统的研究。大连理工大学微系统 ( m s t ) 研究中心王立鼎院士等从1 9 9 5 年开始微操作系统的研究工作，2 0 0 0 年开发 了面向生物微操作的有自己特色的微操作系统 3 9 - 4 0 ，系统中使用s l m 作为图像获 取设备，通过显微立体视觉系统实现微操作定位。 长春光机所是国内较早使用s l m 研究显微立体成像的单位之一，他们使用g 型s l m 建立视觉系统，用于细胞等生物操作。南开大学机器人与自动化研究所研 制了面向生物微操作的机器人，该系统使用显微视觉系统定位，定位精度可以达 到微米级。 1 3 3 显微视觉系统的关键问题 1 ) 显微镜的选用。显微镜是微操作视觉系统中不可缺少的工具，显微镜可分 为传统光学显微镜和体视显微镜两大类，区别主要体现在：( 1 ) 观察角度：传统 光学显微镜只提供了一个观察方向，因此只能获得平面信息，体视显微镜提供两 个略有差别的角度进行观察，由于两幅图像存在视差，因此能以类似人的双眼的 方式获得物体的三维信息( 景深) 。而传统的光学显微镜即使提供两个观察1 2 1 ，由 于两幅图像完全相同，也只能获得平面投影信息。( 2 ) 光源：传统光学显微镜通 常使用背透光源，因此要求被观察对象是透明或半透明的，如细胞等；体视显微 镜一般采用反射光源，所以操作对象可以是不透明的微机械零件或物体表明等。 二 ( 3 ) 放大倍数：传统显微镜的放大倍数在5 0 到1 2 0 0 之间，因此观察对象可以是 细菌等人眼无法看到的微物体，体视显微镜的放大倍数在5 到1 0 0 倍之间，因此 观察对象不可以过于细小，一般是针对人眼可以观察但无法得到准确信息的对 象，如微机械零件等。( 4 ) 调整难度：传统光学显微镜观察时可以通过更换目镜、 浙江工业大学硕士论文 物镜来调整放大倍数，如果通过c c d 获取图像，就只能通过更换物镜来调整， 因此通常放大倍数是固定的；而体视显微镜一般采用连续变倍系统，可以获取多 倍率下的图像。 2 ) 视觉系统的标定。对于微操作系统而言，他的操作对象、操作工具都是微 米级的，确定这些目标的尺寸及在操作空间中的实际位置将十分困难，因为这不 仅要求标定的精度非常高( 微米级、纳米级) 。操作过程中放大倍数的调整，操作 对象位置的改变，以及显微调焦时，都应重现对操作空间进行标定，避免因此造 成的误差。因此，快速、准确的标定算法对视觉系统的标定显得尤为重要。 3 ) 目标识别和自动聚焦。由于微操作视觉系统采用显微镜作为监视传感器， 而显微镜本身有视野小、景深短的缺点，因此操作工具和操作对象的移动极有可 能移出视野，使得操作无法进行。另外，显微镜景深小，使得图像聚焦面以外部 分变得模糊不清，如果仅仅靠操作人员的主观判断，对操作者的要求就较高，存 在很大的人为误差，对于严格要求测量精度的场合来说，将直接导致测量精度的 降低，这就要求对每一个被检对象进行目标识别和自动聚焦的调整。所谓自动聚 焦过程，就是找到合适的自动调焦评价函数，这一函数应具有较强的抗干扰能力， 在所需要的调焦范围内具有唯一性、无偏性。常用的评价函数有：有效像素数、 均方差函数、能量函数等，但这些算法都是根据特有图像进行选择的，因此对象 不同可选择不同的评价函数以实现最好的调焦效果。 1 4 计算机视觉检测技术应用现状 计算机视觉在工业在线检测的各个应用领域十分活跃，如：印刷电路板的视 觉检查、钢板表面的自动探伤、大型工件平行度和垂直度测量、容器容积或杂质 检测、机械零件的自动识别分类和几何尺寸测量等。此外，在许多其它方法难以 检测的场合，利用计算机视觉系统可以有效地实现。 机器视觉系统在质量检测的各个方面得到了广泛的应用，例如：采用激光扫 描与c c d 探测系统的大型工件平行度、垂直度测量仪；英国r o v e r 汽车公司 8 0 0 系列汽车车身轮廓尺寸精度的1 0 0 在线检测：纸币印刷质量检测系统，智 能交通管理系统，医疗图像分析，瓶装啤酒生产流水线检测系统。 英国的s m a n v i s 装置可监视热轧、冷轧、镀锌和彩色板带材，并可对缺陷分 类。此系统可对缺陷的类型、数量及其位置、板卷的宽度和长度加以储存。探测 8 浙江工业大学硕士论文 到缺陷时，图像可因自动触发而“冻结”起来，还可对需要的部位加以放大，以 便仔细观察。 比利时的p o r l d e l ap r a y e 工厂运用机器视觉方法对钢板因轧制或电镀时，对 表面产生的毛病进行监视。钢板速度为7 r r g s ，检测直径或宽度为1 1 5 m m 的缺 陷。在行进钢板的每一面，装上两台摄像机和一支宽2 m 的照明灯。四幅图像送 到图像处理系统进行分析，实时图像可以按灰度图像或二值图像的形式显示，可 指出缺陷是否是周期性出现以及周期是多少，缺陷距头部和边缘多少，自动在每 一板卷的末尾标识出结果。 挪威y n b v e s t r o m 提出的检测连铸坯表面质量的方法，是让连铸坯通过一个 高频线圈，使其表面有感应电流流过，在其它因素如钢的电气和热力学性能、感 应线圈的参数和钢坯速度等不变的条件下，在钢坯表面的缺陷处，感应电流的流 通路径将增长，从而在表面的单位长度上将产生较大的功耗，引起该部位的温度 升高；在钢坯四周装上4 个红外扫描器来探测表面的温度分布状况，从而确定缺 陷的形态和部位。 在我国，基于计算机视觉的表面自动检测系统与质量控制手段正处于研究发 展阶段，如钢板、钢管的表面检测，地形地貌检测，表面粗糙度检测，水果表面 检测等很多领域己经开始研究并取得很大进步。 1 5 本文主要研究内容 本课题的研究内容是首先设计基于聚焦合成的显微自动成像系统，能够实现 显微镜的自动调焦，图像匹配，以及散焦序列图像的融合显示；应用图像三维重 构算法，合成完整的纹理三维图像；通过测量分析立体纹理的三维参数，研究工 件的纹理特征；研究立体纹理特征与工件表面质量的关系，以及立体纹理分析在 工件检测领域中的应用。 研究内容1 ：基于聚焦合成的显微自动成像系统的设计。系统以显微镜景深 为参数实现自动调焦，获得散焦显微序列图像，使用聚焦评价函数提取每张序列 图像的清晰部分，并运用基于纹理分析的小波变换聚焦算子实现序列图像的融合 显示。 研究内容2 ：图像三维重构方法的研究。取得多张散焦显微图像序列的位置， 即求得显微物体z 轴坐标；修正分割图像由于聚焦位置的变动造成的边缘偏差和 9 浙江工业大学硕士论文 放大倍率波动，测定显微物体x ，y 轴坐标；设计一种网格轮廓线算法对高度索引 图进行三维重构显示。 研究内容3 ：工件立体纹理特征的研究。利用立体视觉原理生成工件立体纹 理的左右视图和立体视图，并应用此方法完成立体纹理的表面三维参数的测量分 析；运用基于统计学的纹理分析方法，研究不同加工参数下工件立体纹理的特征， 并对实验数据进行系统辨识，求出立体纹理各项参数的特征值。 研究内容4 ：立体纹理特征与工件表面质量关系的研究。通过立体纹理分析， 提取出不同加工参数下反映工件表面质量，如粗糙度、划痕、裂纹的纹理特征， 研究工件表面质量与立体纹理特征之间的定性关系，并将研究结果应用于工件质 量检测实验中。 i o 浙江工业大学硕士论文 第二章工件表面立体纹理分析的原理及研究对象 【摘要】本章首先介绍了纹理的定义及纹理分析的基本方法，并阐述了工件表面立体纹理分 析的原理及该方法在工件表面纹理分析过程中的优越性；针对工件表面形貌的评定参数，确 定了工件表面立体纹理分析的研究对象以及研究的主要内容。 2 1 纹理定义及基本算法 对纹理图像很难下一个确切的定义。一般来讲，纹理图像中灰度分布具有某 种周期性，即便灰度变化是随机的，它也具有一定的统计特性。纹理不同于诸如 灰度和颜色等图像特征，它所包含的信息不仅仅来源于单个像素，还与该像素周 围空间邻域的灰度分布状况有着密切的联系，是种由大量或多或少相似的纹理 元或模式组成的结构。目前对纹理还没有精确的定义，一般来讲，纹理是一种有 组织的区域现象，它的基本特征是移不变性( s h i f ti n v a r i a n c e ) ，即对纹理的视觉 感知基本上与其在图像中的位置无关。移不变性可被描述成是确定性的( 规则的 或结构的) 或是随机的( 不规则的) ，但很可能存在着介于这两者之间的类别。确 定性的图案通常是人造的，并且由线条、三角形、矩形、圆和多边形等图形有规 律地排列组成如图2 1 所示；而随机纹理则通常是自然界产生的，如图2 2 所示。 图2 - 1 人工纹理图2 - 2 自然纹理 在纹理分析的基本算法中，可以把纹理图像l 用简单的数学模型表述； i = r ( s k ) ( 2 - 1 ) 其中r 是位移( 或关系) 规则，s 。是像素的小区域，它构成了纹理基元( 元素) 。 s 。本身又是输入图像，( f ，_ ) 的函数。以下对纹理的研究也是从纹理基元和位移或 关系规则这两方面入手的。 浙江工业大学硕士论文 有两种常用的纹理分析方法，一类是统计的方法，另一类是结构分析的方法。 统训的方法立足于对纹理进行分析，进而描述出图案的特征。 结构分析的方法则试图通过研究( 2 一1 ) 式中的r 和s 。的特性来揭示纹理的细 节。后者实现相对困难一些，所以统计方法应用得更多一些但是，如果r 和s 。有 明确的定义或己知，那么用结构分析的方法就会相应变得简单。 按方程( 2 1 ) 的观点，可以从两个方面描述纹理：1 、描述组成纹理的基元； 2 、描述纹理基元之间的空间联系或相互影响。 图2 3 按方程( 2 一1 ) 观点的纹理描述方法 一个纹理基元( 不严格地说) 是一个具有一定的不变特性的视觉基元。这些不变特 性在给定区域内的不同位置上，以不同的变形和不同的方向重复出现。纹理基元 最基本的不变特性之一是区域内像素的灰度分布，在更为复杂的情况下可能还会 和形状有关。 2 2 纹理分析的基本方法 由于无法提出具有普遍性的纹理定义，使得对纹理的分析和描述更具挑战 性。正因如此许多学者利用各种方法或模型来描述纹理各方面的性质。国际标准 化组织在m p e g 一7 标准中用方向性、规则性和粗糙性来描述纹理的视觉特性【4 0 】， 而大量涌现的纹理分析方法也主要研究与方向性、规则度、粗糙度、精细度、平 滑度、粒度、随机度、线性度、圆丘度等相关的纹理特征。基本的纹理分析方法 1 2 浙江工业大学硕士论文 有灰度共生矩阵法、自相关法、边缘法、纹理能量法、傅立叶功率谱法、小波分 析法等，具体介绍如下。 2 2 1 灰度共生矩阵法 灰度共生矩阵( g r a y l e v e lc o - o c c u r r e n c em a t r i x ) 统计了图像中相距为( a , b ) 的两 个像素的灰度联合分布概率。灰度共生矩阵的元素可表示为； p ( i ，_ ，) = v ( x ，y ) l f ( x ，y ) = i , f ( x + a ，y + 6 ) = ，) ( 2 2 ) 式中“v ”表示集合中的元素数目，( x ，y ) 为像素坐标f ，产d ，j ，三一j ， 三为图像灰度级的数目，向，砂为灰度共生矩阵的距离参数。归一化的灰度共生 矩阵表示为： 聊，2 霞( 2 - 3 ， 灰度共生矩阵对纹理的局部和全局特征都有反映。当a 、b 取值较小时，对 于变化缓慢的纹理，其灰度共生矩阵对角线上的数值较大，而纹理变化越快，灰 度共生矩阵对角线上的数值就越小，对角线两侧的数值就越大 h a r a l i c k 定义了基于灰度共生矩阵的1 4 个纹理特征1 4 1 1 角二阶矩g u l a r s e c o n dm o m e n t ) 、对比度( c o n t r a s t ) 、相关( c o r r e l a t i o n ) 、熵( e n t r o p y ) 是其中最重 要的四个特征令p ( i ，力为灰度共生矩阵的元素，其中f ，j = o ，j ， 。，三j ，三 为图像的灰度级，角二阶矩定义为： a s m = i p ( f ，j f ) ) 2 ( 2 - 4 ) 角二阶矩是图像灰度分布均匀性的度量。图像灰度分布均匀时，其灰度共生 矩阵的元素主要集中于主对角线，此时角二阶矩较大。 对比度定义为： l - ! il - ! l - !i c o n t r a s t = 1 2 p ( f ，) ( 2 5 ) n = o l i = 0j = oj 式r p l i - j l = n 。对比度反映了图像的清晰程度。图像纹理的沟纹越深，则图像对比 度越大，图像的视觉效果就越清晰。 相关定义为： 浙江工业大学硕士论文 工一1 工一1 ( 扩) 尸( f ，j ) - i x c o r r p l a t i o n ：型 式中以、以、9 2 分别定义为： l - i l - i 段= f 盹) 1l - i工一l 一= ( f 一段) 2 尸( f ，歹) 山i = o1 = 0 1l - i l - i 蠢= ( f 一以) 2 p ( f ，j ) 山j = o i = o 相关反映了灰度共生矩阵的元素在行或列方向上的相似程度。 熵定义为： ( 2 6 ) ( 2 7 ) ( 2 8 ) ( 2 - 9 ) ( 2 - 1 0 ) 工一ll - l e n t r o p y = 一e ( i , j ) l o g ( p ( i ，朋 ( 2 11 ) 熵是图像信息量的度量，若图像没有任何纹理，则其灰度共生矩阵几乎为零 矩阵，其熵值接近为零。若图像充满纹理，则灰度共生矩阵的元素近似相等，其 熵值较大。 灰度共生矩阵在纹理分析领域得到了广泛应用，但也存在一些缺点【4 2 】： ( 1 ) 为减少数据量并实现可计算性，需要预先对图像进行灰度压缩，这必然 会从灰度分辨率方面丢失图像本身包含的部分纹理信息； ( 2 ) 基于灰度共生矩阵的纹理特征并未包含灰度共生矩阵的所有信息； ( 3 ) 对于同一幅图像，取不同的距离参数可得到不同的灰度共生矩阵，从而 会得到不同的纹理分析结果。 2 2 2 自相关法 对于分辨率为日w 的图像发朋，j ! ) ，其自相关函数定义为： 1 4 力以 p m 芦 = 以 浙江工业大学硕士论文 片- 1 妒一l f ( i ，歹) 邝+ t _ + 力 p ( x ，y ) = 竺型与丽丁一 ( 2 1 2 ) 州，j f ) i = 0j = o 自相关函数p 伍，纠随x 、y 的变化而变化，而且与图像中纹理粗细的变化也 有对应关系i 定义d 2 = x 2 + y 2 ，若x 可= d ，则尸伍，力= 7 为最大值。随着d 的增 加，尸仰呈下降状态。对于租纹理，尸彻随d 的增加下降速