基于DSP的密封圈表面瑕疵检测算法设计毕业设计论文.doc

基于dsp的密封圈表面瑕疵检测算法设计【摘要】为了能让密封圈与密封部件之间实现完全的黏合，因此工业用的石墨密封圈表面必须平整光滑，严禁出现裂缝、模影、暗纹等瑕疵。本文就是为了解决密封圈表面图像在机器视觉下呈现出的光照不均匀、瑕疵对比度低、噪声大等种种不利因素，经过现场实验，利用dsp捕捉到图像，对图像特点进行分析，综合了中值滤波、二值化、图像缩小、哈弗圆检测法、区域生长等一系列图像算法找得到了一个新的密封圈瑕疵识别算法。能够识别密封圈表面的裂缝、模影、暗纹等瑕疵。该方案主要利用tms320dm6437嵌入式主板、相机、光源、触摸屏、plc等硬件平台搭建。用适合的光源照射密封圈，将图像通过相机传入到主板中。利用ccs3.3软件编写算法检测程序。对图像进行检测后，检测结果通过plc来向执行机构发送信息，以达到密封圈好坏分类的目的。【关键词】数字图像处理；瑕疵检测；哈弗圆检测；区域生长；【abstract】in order to make the sealing ring and the sealing member to achieve complete bonding, the surface of sealing ring used in industrial must be flat and smooth. crack, mold, dark lines and other defects are banned. in order to solve the problem of poor image caused by uneven lighting, low flaw contrast and big noise, image captured by dsp was analyzed through field experiments. a new sealing ring defect recognition algorithm including median filter, binaryzation, image reduction, hough transform, region growing and so on was proposed,. the seal surface cracks, die shadow, dark lines and other defects can be identified . the hardware platform including tms320dm6437 embedded mainboard, cameras, lamp-house, touch screens and plc was build. the image was transmitted to the mainboard through the camera which on the uniform illumination. use ccs3.3 software to write the algorithm testing program. after testing the image, the result of testing will be dilivered to the actuator through plc to achieve the goal of sorting the good gasket ring from the bad one.【key words】digital image processing; flaw detection; houghtransform; region growing毕业设计（论文）原创性声明和使用授权说明原创性声明本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得 及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。作 者 签 名： 日 期： 指导教师签名： 日期： 使用授权说明本人完全了解 大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。作者签名： 日 期： 学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。作者签名： 日期： 年 月 日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权 大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。涉密论文按学校规定处理。作者签名：日期： 年 月 日导师签名： 日期： 年 月 日指导教师评阅书指导教师评价：一、撰写（设计）过程1、学生在论文（设计）过程中的治学态度、工作精神 优 良 中 及格 不及格2、学生掌握专业知识、技能的扎实程度 优 良 中 及格 不及格3、学生综合运用所学知识和专业技能分析和解决问题的能力 优 良 中 及格 不及格4、研究方法的科学性；技术线路的可行性；设计方案的合理性 优 良 中 及格 不及格5、完成毕业论文（设计）期间的出勤情况 优 良 中 及格 不及格二、论文（设计）质量1、论文（设计）的整体结构是否符合撰写规范？ 优 良 中 及格 不及格2、是否完成指定的论文（设计）任务（包括装订及附件）？ 优 良 中 及格 不及格三、论文（设计）水平1、论文（设计）的理论意义或对解决实际问题的指导意义 优 良 中 及格 不及格2、论文的观念是否有新意？设计是否有创意？ 优 良 中 及格 不及格3、论文（设计说明书）所体现的整体水平 优 良 中 及格 不及格建议成绩： 优 良 中 及格 不及格（在所选等级前的内画“”）指导教师： （签名） 单位： （盖章）年 月 日评阅教师评阅书评阅教师评价：一、论文（设计）质量1、论文（设计）的整体结构是否符合撰写规范？ 优 良 中 及格 不及格2、是否完成指定的论文（设计）任务（包括装订及附件）？ 优 良 中 及格 不及格二、论文（设计）水平1、论文（设计）的理论意义或对解决实际问题的指导意义 优 良 中 及格 不及格2、论文的观念是否有新意？设计是否有创意？ 优 良 中 及格 不及格3、论文（设计说明书）所体现的整体水平 优 良 中 及格 不及格建议成绩： 优 良 中 及格 不及格（在所选等级前的内画“”）评阅教师： （签名） 单位： （盖章）年 月 日教研室（或答辩小组）及教学系意见教研室（或答辩小组）评价：一、答辩过程1、毕业论文（设计）的基本要点和见解的叙述情况 优 良 中 及格 不及格2、对答辩问题的反应、理解、表达情况 优 良 中 及格 不及格3、学生答辩过程中的精神状态 优 良 中 及格 不及格二、论文（设计）质量1、论文（设计）的整体结构是否符合撰写规范？ 优 良 中 及格 不及格2、是否完成指定的论文（设计）任务（包括装订及附件）？ 优 良 中 及格 不及格三、论文（设计）水平1、论文（设计）的理论意义或对解决实际问题的指导意义 优 良 中 及格 不及格2、论文的观念是否有新意？设计是否有创意？ 优 良 中 及格 不及格3、论文（设计说明书）所体现的整体水平 优 良 中 及格 不及格评定成绩： 优 良 中 及格 不及格（在所选等级前的内画“”）教研室主任（或答辩小组组长）： （签名）年 月 日教学系意见：系主任： （签名）年 月 日第1章 概述1.1 图像处理的背景随着图像处理领域的发展，越来越多的处理算法被提出，图像识别技术已经能应对不少复杂的情况。在农业上，颗粒图像识别技术应用于对粮种品质测定和计数1；在工业上，图像识别跟踪技术应用于焊接时焊枪行进过程中与焊缝的时刻校准2；在交通上，图像字符识别技术应用于对车牌的识别3；在防暴上，人脸识别、指纹识别等技术仍旧依靠图像处理得以实现。可以说现阶段图像处理在各个领域都开始融入，都开始进入起步阶段。为以后的无人工厂，无人农场的发展提供了方向。1.2 系统设计的目的与意义工业技术的不断发展，人们对工业设备智能化的要求越来越高。机器视觉在这一领域占据了重要的位置。在工业设备上加入机器视觉技术，则可以取代一些本应需要人工肉眼检测的岗位。能够节省人力，加快无人化工厂的建设。机器视觉的核心是算法的设计。较好的算法具有更好的抗外部干扰能力，更快的识别定位速度，能为工厂带来更高的效益。本系统设计的是基于dsp的密封圈表面瑕疵识别算法。可以识别工业用密封圈上的瑕疵，判断出瑕疵的种类，解决了密封圈瑕疵在普通光源下成像对比度不明显的问题。1.3 国内外图像处理技术的现状图像识别是人工智能的一个重要方面，在现代自动控制技术及第五代电子计算机中都占有极重要的地位。它创始于五十年代后期，在六十年代初开始崛起，仅仅二十多年已受到许多学科的广泛重视，并在科研与工业生产中得到了应用。其含义是利用计算机对图像进行加工处理，以得到某些预期的效果，并从中提取有用信息，实现人对事物或现象的分析、描述、判断和识别4。图像识别的发展经历了三个历史阶段:文字识别，图像信息处理和识别及物体识别。国外的神经网络图像识别技术起步较早，目前已经能够走出实验室，并在图像信息处理中得到了应用。特别是一些著名的集成电路制造公司，如intel，motorola及松下、日立等均已推出自己的神经网络芯片，这给神经网络图像识别应用的发展以极大的推动5。国内对神经网络图像识别技术研究起步比较晚。1990 年中国科技大学的吴健康等人开始研究神经网络在图像识别中的应用，他们利用hopfield 网络完成对简单图像的匹配识别。该方法在收敛性方面不够理想，而且对有尺度变化的图像不能进行正确匹配6。黎倩等人提出基于双hopfield 神经网络假设检验的图像匹配方法对其改进，实现了对工件图的位移、旋转、尺度变化的不变识别。由于神经网络图像识别存在样本训练时输入和输出要一一对应、识别速度不如模糊系统快等缺点，神经网络技术与模糊理论、证据理论、贝叶斯决策理论等技术相结合进行图像识别己成为神经网络图像识别技术的发展趋势。1.4 当前图像处理面临的问题首先，完成一幅图像的识别一般需要经过许多不同的处理过程，图像识别正是这些过程综合作用的结果。然而，至今还没有一个普遍的原理来指导这些过程在完成特定任务时应该如何组织和搭配。其次，现有的各种图像识别算法或多或少的带有一定的局限性，即便是有一定通用性，效果较好的算法也存在着计算量大，难以实时应用的缺点。图像识别所面临的挑战除了要求解决大数量模式类的识别和复杂畸变不变性识别的传统难题，同时开始了更复杂的带有感情色彩的识别，如运动员训练及姿势矫正、由人走路的姿势识别人、对人的嘴形变化甚至面部表情的识别等等。1.5 本文工作1) 捕捉源图像捕捉源图像过程就是把图像信息从外部采集到系统内存中的过程，对应于本系统上，捕捉源图像过程就是相机采集到图像并利用传输线将图像传到视频信号采集模块tvp5146的过程。2) 预处理由于硬件环境的限制，图像在传输的采集过程中总会产生噪声，所以在正式处理图像前要将这些噪声去掉。这一系列过程就是图像的预处理。3) 二值化图像二值化又称图像分割。采集的图像除了我们需要的目标项外，往往还会带有许多与目标项无关的背景，为了后续处理，必须要去掉这些背景。较好的二值化处理就能够去掉图像里的无关背景。对应于本系统上，二值化的目的就是要去掉密封圈以外的背景部分。4) 目标提取目标提取就是在目标项上要精确的找到需要检测的部位的图像信息，比如在本系统上，目标提取就是要找到密封圈上的瑕疵。5) 目标特征参数计算这一过程是计算目标提取出的图像信息的特征参数，比如提取的目标图像的像素面积，长和宽等。在本系统上，该步骤就是计算瑕疵的面积，长和宽，并判断是否超出阈值要求。第2章 图像处理算法2.1 图像滤波在图像的采集过程中，图像中不可避免的会存在大量的噪声。所以，首先要对数字图像进行去噪处理。目前图像噪声一般指的是在成像和传输过程中产生的随机噪声中的高斯噪声和脉冲噪声，高斯噪声的特点是在乎坦的区域出现幅值较小的噪声。而脉冲噪声点分布比较孤立，灰度值突变，且与相邻像素点无相关性传统的图像滤波法有均值滤波和中值滤波法，两者都是构建一个二维的滑动窗口，其中的大小为的窗口（为大于0的整数）。对于其窗口的中心点为的像素值求计算。前者取窗口里所有像素的平均值后者对窗口里所有像素进行排序，取序列的最中间值。下面列出两种滤波方法详细的算法过程：如图 2.1 中值滤波示意图所示，构造一个二维滑动窗口，的大小为，中心点为，即图中红色部分。窗口内像素位置用表示。分别统计二维滑动窗口中的灰度分布7。图 2.1 中值滤波示意图中值滤波算法是：对窗口内的灰度成员进行从小到大的排序，让中心点的灰度值用窗口内灰度成员排序的中间值来代替。假设排序如下： 公式 (2.1)则最后输出： 公式 (2.2)则便是中心点的灰度值。而均值滤波算法：对窗口内的灰度成员进行求和取平均，让中心点的灰度值用窗口内灰度成员的平均值代替。则最后输出： 公式 (2.3)则便是中心点的灰度值。对于均值滤波和中值滤波这些经典方法确实不同程度的减少了噪声干扰，但是这些方法也存在一些问题，可以看到这些方法都是一种非线性的平滑滤波法。由于密封圈上的裂缝边缘具有一定的突变特征，这与噪声的特点非常相似，用这2种普通的滤波法就不能全面适用于图像中的每条裂缝的形状和走向，结果会导致在进行去噪的过程中模糊了裂缝的边缘。这不利于对裂缝的识别。因此要克服这个问题，对这两种经典方法进行了改进，把这种干扰降到最低。2.2 图像二值化图像二值化是从图像处理到图像分析的关键步骤，只有在图像二值化的基础上才能实现对目标对象的信息提取、分析和应用。二值化阈值选取的精确度甚至决定着图像分析的精确度。可以说，图像二值化结果的好坏直接影响对图像的理解。图像二值化的方法和种类很多，但到目前为止，还没有一种或几种完善的二值化方法能按照人们意愿准确分割出目标图像。比较著名的是最大类间方差阈值分割，这是由日本学者大津提出的一种自适应阈值确定方法，简称otsu法。其原理是统计出图片内的灰度直方图，根据直方图的波谷位置分布来确定合适的阈值。otsu阈值分割算法简单、处理速度快，是一种较好的图像二值方法。但由于在密封圈表面图像上瑕疵相对于背景像素所占的比例非常小，所以ostu在计算阈值的过程中，瑕疵元素影响很小。所以可以增添人工选出瑕疵区域的功能，使得算法应用在这个区域中，这样可以避免瑕疵比例小的问题。可以编程绘制灰度直方图，来描述图像中灰度值所对应的像素个数，其横坐标表示像素的灰度级别，纵坐标表示该灰度出现的像素个数，通过人工观察输入阈值的方法，来实现阈值分割图像的目的8。2.3 哈弗圆检测法找圆图 2.2为哈弗圆检测法找圆：设圆上的坐标为，圆心坐标为，外圆半径为，则根据圆方程可得： 公式 (2.4)遍历二值图上的点，假设每一个当前遍历点为圆心，则向外搜索满足如下圆方程的点： 公式 (2.5)可以想象得到哈弗圆检测法找圆是逐个对内存元素进行便利，所以运行的速度很慢，远远不能满足工业检测要求，所以我们要对哈弗圆检测法进行了优化10。确定圆心位置后，便可以根据密封圈表面圆环的内外径，来提取出目标圆环，利用公式遍历图像，将不满足的像素赋值为0，设圆环内径为，公式如下： 公式 (2.6)可以得到密封圈目标圆环的二值化图像。图 2.2 哈弗圆检测法找圆我们知道密封圈表面在图像上的位置后，就可以对原灰度图进行更细致的分区域二值化，以便找到瑕疵位置。提取瑕疵的特征。2.4 图像的细化经过二值化后，瑕疵的图像信息基本从背景中分离出来，整个图像也变成为了二值图像。由于分割时采用了瑕疵亮度比背景暗的特征进行的，所以在这种情况下，如果有与瑕疵同样亮度的干扰物存在，就会把干扰图像也同样保留下来。因此，要通过瑕疵的线性特征把这样干扰图像清除掉，为下一步的瑕疵的分析打下良好基础。为了实现这一目的，就要进行图像的细化运算10。所谓细化就是从原图中去掉部分点，但要保持原来的形状，即保持原图的骨架（如圆形的骨架为它的圆心，正方形的骨架为它的中心点，长方形的骨架为长方向的中轴线）根据这个特性，瑕疵经过细化将留下和瑕疵走向一致的曲线。之后对细化的图像进行滤波处理，这样非线性的细化点将会被清除。最后还原裂缝图像信息。运用数学形态学里的图像膨胀的算法对细化的图像进行处理，然后和细化前的图像的每个像素分别进行与操作（细化前的图背景为0，瑕疵为1），重复膨胀和与操作直到细化图像不再发生阈值的改变。此时便得到纯净度较高的瑕疵图像。2.5 本章小结本章主要介绍了当前国内外主要流行的图像处理的总体流程，以及几种经典的算法。并将这几种经典算法一一对应在本文工作当中。第3章 视觉瑕疵检测系统设计3.1 算法检测平台的搭建3.1.1 密封圈检测平台为了让相机捕捉到密封圈的图像，我们设计了如图 3.1 密封圈检测平台所示的检测平台，将密封圈放置在合适的光源正下方，将工业智能相机搭载光源正上方。用相机模拟数据传输线或者以太网接口将相机数据传送到嵌入式系统中。这样密封圈的图像就采集到图像识别系统中了，我们就可以在该嵌入式系统内对该图像进行算法识别，判断是否为合格产品。经过反复的实验测试，我们发现密封圈在红色同轴光和红色环形光的照射下，利用相机采集到的图像中的瑕疵成像效果比较清晰。其中裂纹、暗纹等细瑕疵在红色同轴光下比较明显；模影等瑕疵在红色环形光下成像明显。所以我们就做了2套检测系统，其中一套用红色同轴光源，另一套用红色环形光源，接上相应的光源驱动后，就可以对密封圈分2次进行检测。图 3.1 密封圈检测平台图像经过智能识别系统处理过后，会出现合格与次品的两种结果，利用plc通信，对密封圈分类装置进行电信号的通信11。让其对密封圈进行筛选归类。在2套系统检测过程中，如果有其中任意一套出现不合格的情况，那么在与密封圈分类装置通信时，该产品便为不合格产品。3.1.2 检测系统与检测平台的通信检测系统的通信如图 3.2所示，系统采用4个io通信口与检测平台建立联系。图 3.2 通信io口示意图1) 工件静止后,plc给dsp拍照命令，out1高电平。2) dsp处理完毕dsp首先发生结果信号，dsp输出到in2高电平，再发生确认处理完毕信号，dsp输出到in1，ok为高电平，ng为低电平。3) plc接收到结果并不马上恢复给dsp，而是等到进料机械手到达右形成时，移位寄存器记录并做30ms的延时后发生确认信号个dsp，确认信号发生的同时，要求dsp的确认信号同时有效。也就是dsp未收到plc的确认信号之前要保持高电平状态，dsp收到plc的确认信号后需要把确认信号置为低电平。3.1.3 相机获取的图片信息系统在收到plc的拍照信号后，检测系统便会将当前要检测的密封圈图像从相机中利用传输线写入到系统内存12，如图 3.3 密封圈8比特bmp位图数据所示便是把从相机写入内存的数据以bmp8比特位图的形式保存出来的图像。图 3.3 密封圈8比特bmp位图数据可以发现密封圈需要检测的表面是呈浅色圆环状的，在密封圈表面的左边有一道黑色的缝，这就是我们需要检测到的瑕疵。图 3.4 dsp核心主板组成及联系3.2 嵌入式图像处理器嵌入式核心的图像处理器由信号采集模块、触摸屏模块、处理芯片模块以及电源模块几个主要部分构成。各部分模块的联系如图 3.4所示13。电源模块负责给各个模块提供合适的工作电压，图像由信号采集模板输入到处理芯片。人机接口由触摸屏模块对处理芯片进行控制。最终的检测结果由处理芯片模块输出道执行机构。3.2.1 视频信号采集模块tvp51461) 概述tvp5146是高品质的单芯片数字视频解码器。能将基带模拟ntsc, pal制式，和secam视频转换成数字分量视频。支持复合视频输入（cvbs）和s-video输入。该设备包括两个tvp5146 10-bit采样的a / d转换器，线锁定采样方形像素。itu-r bt.601 (27 mhz)的输出格式，可与嵌入式20-/16-bit或10-/8-bit 4:2:2,或10-/8-bit itu-r bt.656 同步。该设备采用得克萨斯仪器公司的专利技术，能采集嘈杂，或不稳定的信号，并输出一个色度产生频率控制下游同步视频编码器。互补三线或四线自适应梳状滤波器是两个luma和数据路径提供色度旨在减少交叉亮度和跨色度文物;一色度陷波器也已经推出。视频特性包括亮度，色调，对比度和饱和度，支持i2c总线跟主机通信14。2) 供电模式和工作时钟tvp5146采用双电源供电，模拟3.3v和数字3.3v，数字1.8v和模拟1.8v。模拟电源用于模拟视频接口部分，3.3v数字电源则给数字io电路供电，1.8v数字电源给内核供电。其工作时钟可由芯片外接晶振提供，亦可由cpu提供，采取何种方式由芯片的工作模式决定。3) cpu接口传感器跟cpu的接口主要分两块，当接收来自cpu的控制信号时，用3.3v的i2c接口。跟cpu的接口有itu 656，以及raw格式。具体格式如下图 3.5 tvp5146内部结构图所示。3.2.2 核心控制芯片tms320dm6437tms320dm6437是ti(德州仪器)针对数字视频领域开发的支持达芬奇技术的单核dsp处理器。它具备c64x+内核。所配备的视频处理子系统(vpss)极大的支持了前端预处理与后端显示，减轩dsp核负担，配备的10/100m emac,减少外围电路，使硬件小型化成为可能。dm6437采用最高频率600mhz的c64x+内核，配备相对多的ll （112kb）和相对少的l2 （128kb）片内存储器。并不像同为达芬奇技术的6446有1个arm核，1个dsp核，通过贯通两核的dsp-link实现应用程序调用运行于dsp-side的算法codec。 6437使用单核支持达芬奇技术，在虚拟机上运行linux,应用程序运行在linux上，调用dsp上算法codec15。c64x+内核有8个功能单元，m. s. l. d.各两个，分别主要负责乘法，加法，逻辑，地址运算，同时也支持很多其他运算。2组共64个32bit寄存器,2路连接片外的数据通路，分为对称的ab两边。交叉数据通路允许某侧的单元在执行指令时将另外一边寄存器堆中寄存器作为操作数来源同时允许向另侧通往片外的数据通路传输数据。每个功能单元均支持流水线，每周期都开始1个新指令完成1个指令，8个单元可以并行，执行打包在一起的8条指令。采用数据与代码分开的哈佛总线结构，同时取指令与数据，最佳状况下，每时钟周期可以执行8条指令。图 3.5 tvp5146内部结构图片内配备32kb l1p(ram/cache) ,80kb l1d(ram/cache),128kb l2 d/p (ram/cache),l1d-cache最大设置为32kb;片外搭配128m kb ddr2 sram。形成片外sram，片内l2 ram/cache，片内l1 ram/cache的分级存储结构。cpu可直接访问l1，在l1d miss情况下stall等待l2数据或代码通过dma刷新到l1 cache，如果l2 cache miss、则消耗更多的时间等待数据或代码从片外sram通过dma刷新到l1 cache。系统框图如下图 3.6 dm6437功能框图所示。dsp/bios是一个用户可剪裁的实时操作系统，主要由三部分组成：多线程实时内核；实时分析工具；芯片支持库。利用实时操作系统开发程序，可以方便快速的开发复杂的dsp程序。操作系统维护调度多线程的运行，只需将定制的数字信号算法作为一个线程嵌入系统即可；芯片支持库帮助管理外设资源，复杂的外设寄存器初始化可以利用直接图形工具配置；实时分析工具可以帮助分析算法实时运行情况。 dsp/bios以模块化方式提供给用户对线程、中断、定时器、内存资源、所有外设资源的管理能力都可以根据需要剪裁。实际应用中需要的定制算法作为一个线程插入dsp/bios的调度队列，由dsp/bios进行调度。dsp/bios在一个主机/目标机环境中的组件如下图 3.7所示。其主要由三部分组成：1) dsp/bios api：用户设计的程序可通过api调用dsp/bios接口函数；2) dsp/bios 配置：创建的配置文件定义了程序使用的静态bios对象；3) dsp/bios分析工具：集成在ccs上的一些dsp/bios分析工具可以对运行与目标设备上的程序进行检测，包括cpu负载、时间、日志、线程执行状态等。图 3.6 dm6437功能框图图 3.7 dsp/bios在系统中的组成示意图3.2.3 触摸显示屏lilliput一般工业产品的人机接口主要是按键或者旋钮等，在密封圈瑕疵检测领域，实际环境较好，因此本系统采用触摸屏作为人机接口，并用鼠标辅助，按键则作为应急处理时的辅助手段。在非windows、linux系列的操作系统中，极少有同时支持触摸屏和鼠标，这是本软件系统的一大特点。3.3 图像采集设备图像采集设备主要有光源、相机、传输线、接口等。当前我们采用的是沃特克的wat-902b型号的模拟相机，模拟的数据传输屏蔽线，捕捉到的图像经由vga接口传递到触摸屏上显示出来16。考虑到不同种类的瑕疵在不同的光源下的清晰度不同，所以该系统用的是两套不同的光源，一个是红色同轴光源，另一个是红色低角度环形光源。前者我们选用的是维郎tz-d18-x，后者我们选用的是维郎hx-a90-d56-r1-x。3.3.1 同轴光源维郎tz-d18-x图 3.8 同轴光源所示的光源型号是上海维郎光源提供的tz-d18-x。图 3.8 同轴光源该光源有内部的光学镜片经过特殊的位置设置，使得光源的发光光路可以与相机成90直角。间接的起到了棱镜的使用效果。如图 3.9所示：图 3.9 同轴光源几何原理在该同轴光源的照射下，密封圈上比较细的裂纹可以清晰可见。图 3.10便是密封圈在该同轴光源下的成像效果17:图 3.10 同轴光源下的密封圈3.3.2 环形90度水平低角度光源维郎hx-a90-d56-r1-x如图 3.11低角度环形光源所示的光源型号是上海维郎光源提供的hx-a90-d56-r1-x:图 3.11低角度环形光源该光源led后部基板与水平面成90度，因此led颗粒变成水平方向，光源通常为1排led颗粒，水平照射后可以实现对于光滑表面的裂痕等由于凹凸造成的细微缺陷行程很好的反光效果。如图 3.12 低角度环形光源几何原理所示：图 3.12 低角度环形光源几何原理在该环形光源的照射下，密封圈上的暗纹可以清晰可见。图 3.13 低角度环形光源下的密封圈便是密封圈在该环形光源下的成像效果:图 3.13 低角度环形光源下的密封圈3.3.3 相机wat-902b该工业相机的特点就是抗噪性良好。由于密封圈表面的瑕疵往往都很细小，容易受到图像噪声的干扰。如果图像传输的过程中参杂了过多的噪声因素，无疑增加了识别算法的困难程度。所以为了避免产生过多的噪声。我们选用了该相机。如图 3.14 wat-902b工业相机。图 3.14 wat-902b工业相机3.4 本章小结本章主要交代了密封圈瑕疵检测系统平台的搭建，以及系统中所应用到的各部分硬件的名称和作用。第4章 密封圈表面瑕疵检测算法4.1 算法处理流程先今图像处理已经发现了很多巧妙的算法，本系统在设计的同时，也参考了当前比较先进的算法。图像处理一般分为如下图 4.1 图像处理流程所示的几个步骤18：图 4.1 图像处理流程4.2 捕捉源图像首先直接在相机里直接采集到的数组信息并不是灰度图信息。因为相机除了灰度信息外，还带有颜色上的分量。在图像处理中，颜色分量起不到太大的作用，我们可以将它去掉。直接保留图像的灰度信息。对于大部分的模拟相机，单位像素是以2像素4个数字保存的，如图 4.2 相机中图像灰度值保存的位置所示，表示相机捕捉到的图像的8个像素，每个像素包含的信息都是用黑色的粗框围成的，每个2像素包含4个数据，以横向2像素为1单位，其中蓝色和绿色数据表示颜色信息，每个像素的红色数据为灰度信息。我们可以申请一个内存空间；设相机内存数组为；则利用公式 公式 (4.1)可将相机内存中有用的图像灰度信息提取出来，放入内存空间当中，如上图 3.3 密封圈8比特bmp位图数据所示，便是在相机中提取出的灰度值。图 4.2 相机中图像灰度值保存的位置4.3 图片预处理由于图像在传输线中传输的时候不可避免会出现干扰，所以提取出的灰度图像要进行滤波处理以便减小干扰。传统的经典滤波方法是中值滤波和均值滤波，但是这些经典方法确实不同程度的减少了噪声干扰，但是这些方法也存在一些问题，可以看到这些噪声的特点和瑕疵边缘的特点近似，在进行去噪的操作中，同时也模糊了瑕疵的边缘。这不利于对瑕疵的识别。因此要克服这个问题，对这两种经典方法进行了改进，把这种干扰降到最低19。本系统用的是分角度的中值滤波法。为了适应瑕疵具有线性特征的特点，在二维的滑动窗口中，过中心点分别在0度，45度，90度，135度方向形成4个一维子窗口，分别对4个子窗口求中值，然后取其最小值作为中心点的值。具体算法如图 4.3 分角度中值滤波示意图所示，分别统计二维滑动窗口中绿色、蓝色、灰色、紫色部分的灰度分布。图 4.3 分角度中值滤波示意图具体滤波算法是：构造一个二维滑动窗口，的大小为，中心点为，即图中红色部分。窗口内像素位置用表示，则4个一维子窗口依次表示为： 公式 (4.2)对于每个子窗口分别进行一维中值滤波，即对子窗口所有元素进行排序取中值，设分别为，则最后输出： 公式 (4.3)则便是中心点的灰度值。这种滤波法可以较好的避免非线性平滑对瑕疵所造成的伤害20。4.4 图片二值化从图 3.3 密封圈8比特bmp位图数据中可以观察到，密封圈表面的颜色是比周边颜色要亮出许多的。为了要尽快找到要检测的目标区域。粗略二值化时可以采用全局二值化法。首先定义变量，对里的各个成员进行遍历求和 公式 (4.4)的值从0到，遍历求和结束后利用公式： 公式 (4.5)可以再定义调整值，取二值基准灰度值为 公式 (4.6)再次遍历灰度内存，当发现灰度值小于时，便将该点的灰度值设为0；当发现灰度值大于时，便将该点的值设为255，得到一个二值图的内存，由于密封圈表面颜色较亮，所以灰度值会大于平均值，因此在二值图中会显示为白色21。如图 4.4 密封圈二值图所示。图 4.4 密封圈二值图4.5 目标提取图像二值化后，已经去掉了大部分背景的干扰，因此在图 4.4 密封圈二值图的基础上可以继续进行目标提取过程。对于该系统，目标提取实际上就是提取密封圈的圆环的过程。传统的找圆算法是哈弗圆检测法找圆。但是哈弗圆检测法找圆的速度很慢，我们在哈弗圆检测法上进行了优化。具体算法步骤如下：4.5.1 图像缩小由于哈弗圆检测法要遍历整张图像，所以图像内存越小，遍历的速度越快，所以我们可以尝试将图像缩小后再处理。图 4.5 图像缩小过程本系统采用缩小16倍图像（长宽各缩短4倍），再在缩小的图像上进行哈弗圆检测法找圆，为了竟可能保留原图的信息，缩小时先申请一个缩小图像内存；遍历二值化图片内存，构建一个的二维活动窗，当窗里的灰度值为0的个数等于或超过8个时，缩小图像相对应的点的灰度值为0，反之，缩小图像想对应的点的灰度值为255。如图 4.5 图像缩小过程所示。如下所示图 4.6 二值图缩小16倍图像为二值化图片内存缩小16倍后的图像。图 4.6 二值图缩小16倍图像4.5.2 优化哈弗圆检测法找圆心为了要快速找到圆心，首先要通过学习模式，让系统掌握要搜索的圆环的外半径和内半径，之后在图像内存上遍历各个点，对每个点往24个方向上扫描，如图 4.7 优化哈弗所示，每隔15遍历图 4.7 优化哈弗圆检测法设外圆上的坐标为，外圆心坐标为，外圆半径为，则根据圆方程可得： 公式 (4.7)根据圆方程，我们可以构建一个像素为的小棍，本系统中的值为3，在遍历时我们可以假设每个点都当做外圆心，则根据外圆的特点，当满足条件： 公式 (4.8)为0到360，每间隔15取值，一个点上取24个方向，当有超过14个方向以上满足 公式 (4.8时，则将该点标记为可能外圆心点，遍历完成后，对所有可能外圆心点求平均值，公式如下： 公式 (4.9)则在二值图中外圆心坐标在的附近，确定大致的位置后，可以在二值图上的附近继续进行优化的哈弗圆检测法搜索，以便找到精确的外圆圆心位置。用类似的方法，也可以得到内圆的圆心位置：设内圆上的坐标为，内圆心坐标为，内圆半径为，则根据圆方程可得： 公式 (4.10)根据圆方程，我们同样也可以构建一个像素值为3的小棍，在遍历时我们可以假设每个点都当做内圆心，则根据内圆的特点，当满足条件： 公式 (4.11)为0到360，每间隔15取值，一个点上取24个方向，当有超过14个方向以上满足 公式 (4.11时，则将该点标记为可能内圆心点，遍历完成后，对所有可能内圆心点求平均值，公式如下： 公式 (4.12)则在二值图中内圆心坐标在的附近，确定大致的位置后，可以在二值图上的附近继续进行优化的哈弗圆检测法搜索，以便找到精确的内圆圆心位置。4.5.3 密封圈表面提取在二值图中确定内圆心与外圆心的位置后便可以根据学习中输入的外半径和内半径的长短，进行动态计算，取出最合适的内半径与外半径的值，进行匹配。设外圆真正最合适的外半径值为，在学习时输入的外半径值为，从上文中可知，设外圆上的坐标为，且已求得外圆心坐标为。则根据圆方程可得： 公式 (4.13)根据学习时输入的外半径，我们可以构建一个像素为的动态小棍，本系统中的动态取值为从-10取到+10，则在遍历时我们可以得到动态外半径，其中： 公式 (4.14)根据图像信息，我们同样以类似图 4.7 优化哈弗的方法，统计在该半径下外圆图像实际的匹配程度。同样构建一个像素为3的小棍，如果匹配，则必须满足如下方程： 公式 (4.15)为0到360，每间隔15取值，即每个动态外半径都要遍历24个方向上的点，设定点统计变量当满足 公式 (4.15时，该动态外半径所对应的统计变量加1。取出对应最大的动态外半径集合求平均就可得到最终自适应的外半径。同理可求得自适应的内半径，方法如下：设内圆真正最合适的内半径值为，在学习时输入的内半径值为，从上文中可知，设内圆上的坐标为，且已求得内圆心坐标为。则根据圆方程可得： 公式 (4.16)根据学习时输入的内半径，我们同样可以构建一个像素为的动态小棍，本系统中的动态取值为从-10取到+10，则在遍历时我们可以得到动态内半径，其中： 公式 (4.17)根据内半径的特点，则内半径必须满足如下方程： 公式 (4.18)为0到360，每间隔15取值，即每个动态内半径都要遍历24个方向上的点，设定点统计变量当满足 公式 (4.18时，该动态内半径所对应的统计变量加1。取出对应最大的动态内半径集合求平均就可得到最终自适应的内半径。确定圆心的内外径后，就可以提取出目标圆环，利用公式遍历图像，将不满足的像素赋值为0，公式如下： 公式 (4.19)可以得到密封圈目标圆环的二值化图像如图 4.8 密封圈目标捕捉所示。图 4.8 密封圈目标捕捉4.6 瑕疵提取我们知道密封圈表面在图像上的位置后，就可以对原灰度图进行更细致的分区域二值化，以便找到瑕疵位置。首先将灰度图与二值图进行与运算，就去掉了灰度图上的所有背景无关项。得到一个仅有密封圈表面灰度信息的图片内存，对这一图片信息进行分区域otsu法二值化22。otsu法二值化是由日本学者大津提出的一种自适应阈值确定方法，其原理是统计出图片内的灰度直方图，根据直方图的波谷位置分布来确定合适的阈值。otsu阈值分割算法简单、处理速度快，是一种较好的图像二值方法。但由于在密封圈表面图像上瑕疵相对于背景像素所占的比例非常小，所以otsu在计算阈值的过程中，瑕疵元素影响很小。所以可以增添人工选出瑕疵区域的功能，使得算法应用在这个区域中，这样可以避免瑕疵比例小的问题。可以编程绘制灰度直方图，来描述图像中灰度值所对应的像素个数，其横坐标表示像素的灰度级别，纵坐标表示该灰度出现的像素个数，通过人工观察输入阈值的方法，来实现阈值分割图像的目的。如图 4.9 otsu法确定阈值示意图所示，该曲线为图像信息的灰度直方图分布。红线所示位置所对应的图像亮度值便是otsu法计算出的阈值。图 4.9 otsu法确定阈值示意图对于该系统中，由于我们已经知道密封圈圆环的内外半径和圆心位置，则可以在取区域过程中只对圆环表面上分布的像素点进行分区域统计。遍历图片内存。otsu统计的区域划分如图 4.10所示图 4.10 分区域otsu法示意图对蓝色区域的一共8个区域分别进行直方图统计，每个区域都求出相对应的阈值，遍历该区域内的像素点成员，当的像素值与阈值之间的灰度差距大于人为设定的参数时，就说明该点与周围像素环境之间存在着明显的不同。可将该点的灰度值赋值为0。否则该点赋值为255。公式如下： 公式 (4.20)最终从得到的新二值图像内存数组命名为。该数组的亮度信息如图 4.11所示。图 4.11 otsu二值图可以在上图中看出，瑕疵的信息因为局部二值化的关系而被很好的保留了下来。4.7 瑕疵特性参数计算瑕疵特征的提取主要包括瑕疵面积、长度和宽度的计算等。为了要提取出这些信息，可以用区域生长法来完成23。4.7.1 区域生长法提取普通的区域生长法是8连通法。就是对一个点的上，左上，右上，左，右，下，左下，右下一共8个方向进行遍历扫描，如果在该遍历方向上