织物疵点检测系统的关键技术研究PPT课件.ppt

1 苏州大学纺织与服装工程学院2010届研究生毕业论文答辩 2020 3 17 2 织物疵点检测系统的关键技术研究 作者 姚桂国指导老师 左保齐教授 2020 3 17 3 第一章绪论 第二章图像采集系统 第三章摄像机的标定 第四章图像的拼接 第五章结论 目录 2020 3 17 4 现今织物之疵点检测主要依靠人工检测 此种检测无法满足生产及质量的要求 织物疵点自动检测系统是用机器视觉的方法代替人工检测 克服其缺点 提高劳动生产率及纺织品质量 因此对该系统的探索性研究 具有一定的科技和市场价值 一 研究的目的和意义 人工检测 自动检测 误检 漏检率高 检测速度低等缺点 2020 3 17 5 光源 CCD芯片 镜头 被测物 像素数据 模拟或数字信号 相机 采集卡 内存中的图像数据 设备驱动及SDK 用户交互 检测结果 位置 大小 1 2 3 3 147mm 3 052mm 2 785mm FGinterface 触发 控制数据 HALCON File serial socketI O GraphicsI O Imageprocessing 自动检测原理图 2020 3 17 6 一般情况下 机器视觉图像采集系统由光源 相机 镜头 图像采集卡 工控机等部分组成 根据自动验布机的检测对象的具体要求 即疵点的大小 如一根纤维的直径 和现有的人工验布机的要求 该系统需满足横纵向的分辨力为0 3mm 0 2mm 检测宽度为1900mm 检测高度为1m左右 检测的速度为2 5 3m s 摄像机 光源 二 图像采集系统 本验布机采集系统 2020 3 17 7 摄像机检测幅宽 横向检测能力 像元分辨率和布匹的运动速度DalsaP3 80 8K40相机镜头像元尺寸 检测幅宽Schneider公司的Apo Componon4 0 60镜头采集卡图像采集系统每秒待处理的图像大小Dalsa公司X64 CL iPro光源稳定 均匀 抗干扰能力强 覆盖全视场线性LED灯 2 1采集设备选型 2020 3 17 8 摄像机的安装编码器的安装LED线性光源的安装 2 2设备安装 平衡性 水平 偏角 软联接 角度 摄像机的安装 编码器的安装 LED的安装 2020 3 17 9 无参考质量评价方法 2 3采集图像评价 L表示灰度图像级 w代表权重系数 step表示步长 根据清晰度公式计算的30幅图像的度量值 得知所有图像的清晰度都超过0 9 甚至有一部分图像达到1 说明采集的图像表示细节的能力比较强 能够满足后面图像处理 疵点分割 特征提取等要求 2020 3 17 10 采集的图像 2020 3 17 11 为了消除摄像机的出厂设置与实际的偏差和确定图像像素位置与检测点位置的关系 就需要对摄像机进行标定 摄像机标定技术是从摄像机获取的图像信息出发计算三维空间中物体的几何信息 并由此重建 定位和识别物体 而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的 包含内部参数和外部参数两部分 内部参数主要有主点 焦距等 外部参数主要是世界坐标系与摄像机坐标系的关系 它包括旋转矩阵和平移矩阵 三 摄像机的标定 2020 3 17 12 摄像机与世界坐标系示意图 3 1基础理论 2020 3 17 13 图像坐标系与成像坐标系示意图 2020 3 17 14 世界坐标系 摄像机坐标系 图像物理坐标系 图像像素坐标系 针孔摄像机成像模型 2020 3 17 15 首先 选择合适的标定板尺寸 其次 配置一个标定板描述文件 该描述文件记录了标定板上标志点之世界坐标系中的坐标 最后 对标定板图像进行处理 处理步骤 1 运用模板进行中值滤波 以此消除噪声影响 2 用圆形结构算子对上述图像进行形态法开运算 3 为提高打印效果 即需运用office软件增加像数点以进一步减少图像锯齿效应 4 通过直方图规定化解决图像对比度问题 3 2标定板制作 2020 3 17 16 处理后图像 处理前图像 2020 3 17 17 3 3halcon标定 3 3 1输入参数 2020 3 17 18 拍摄图像要求 1 使用多幅标定图像覆盖视场整个区域2 改变标定板方位3 拍摄10 15幅标定图像4 标定板上亮的区域灰度值至少应该达到100 3 3 2图像拍摄 2020 3 17 19 步骤 首先 用find caltab在图像中寻找标定板 其次 运用find marks and pose从标定板中提取标定点的坐标以及最终确定各个标定点图像坐标和世界坐标之间的对应关系 最后 使用camera calibration对摄像机两步标定 3 3 3标定结果 2020 3 17 20 摄像机标定有一定误差 主要有以下三个原因 1 摄像机的标定模板为自行设计和制作 未采用标准工业视觉的模板 精度稍差 为摄像机标定带来一定误差 2 在摄像机共面标定过程中 要保证z 0 需要标定模板与光学平台严格垂直 细微误差亦会影响标定结果 3 在镜头安装中 是否能保证光轴和CCD成像靶面垂直 以及透镜光轴和光学平台平行等都会影响实验结果 因此在实验中我们必须保证每个细节都要和理想情况无限接近才能保证实验数据的正确性和合理性 3 3 4实验结果误差分析 2020 3 17 21 图像拼接技术 指对两幅或多幅重叠图像进行无缝拼接 以形成一幅完整大幅图像的技术 其主要包括两项关键技术 即图像配准和图像融合 图像配准 即把同一场景在不同时刻 不同视角或不同传感器下拍摄的图像进行空间对齐与灰度融合 依据是图像之间的相似性度量 图像融合的主要问题是消除拼接的两幅图像在拼接之后不出现明显的拼接接缝 使其在视觉上没有明显拼接痕迹 图像预处理 图像的配准 图像的融合 拼接的评价 织物拼接的流程图 四 图像的拼接 2020 3 17 22 4 1基本原理 匹配原理图 网格匹配原理图 2020 3 17 23 相似度度量的方法 1 绝对差 SAD 2 差值平方和 SSD 3 归一化相关系数 NCC 其中 2020 3 17 24 本实验是在AMDTurion64 主频2 01GHz 内存为1 5GB的PC机上完成的 取20幅左右有重叠图像 图像的大小为256 256像素 网格匹配的大小为100 100像素 实验主要研究在不同相似度情况下的匹配效果和融合方法的比较 下图在归一化相关系数和加权平均融合后的拼接效果 4 2匹配和融合方法的选择 2020 3 17 25 拼接的效果图 2020 3 17 26 相似性度量比较 2020 3 17 27 1 图像匹配分析网格匹配与普通的匹配算法相比 时间复杂度有了大幅度提高 配准的精度没有大幅度降低 说明网格匹配可以用于以后织物图像的实时拼接 从三种相似性度量上看出 基于归一化相关系数的方法 匹配的精确度最好 其原因在于通过减去平均灰度值可以消除加法的影响 标准方差相除来消除乘法的影响 最终达到消除了线性光照对结果的影响 差值平方和可以看作互相关的方法 不过没有归一化 而绝对差是匹配最差的 主要是因为它对噪声的影响比较敏感 2 融合方法分析通过实验分析比较 可以得出加权平均和小波的多分辨率融合的方法都可以达到消除拼接接缝的要求 原因在于算术平均是加权平均的特殊情况 所以可以将它们归为一类 由于在双目视觉中采集的图像背景几乎没有明显的差异 而后种多分辨率的方法比较复杂 加权平均的方法就可以满足织物图像拼接的要求 实验结果分析 2020 3 17 28 按照实验要求 取12幅左右有重叠图像 图像的大小为256 256像素 然后 制作30幅拼接图像 分别为没有融合处理的拼接 融合处理的拼接 匹配点错误的拼接共三种 各自做6个 最后 研究它们的上文提出的6个统计特征 拼接后图像与原图像的均值差 标准差差 交叉熵 相关系数以及拼接图像的平均梯度 熵 4 3拼接的客观评价 2020 3 17 29 三种拼接图的统计特征 分析 融合拼接图像相对于其它两种拼接图像的均值差 标准差之差 交叉熵的差异小 说明拼接前后的变化小 融合的拼接图像相对于其它两种方法 它们的平均梯度与熵的值比较大 说明它们的纹理细节和信息表达比较好 通过分析 可以得出以上6种统计特征可以很好评价拼接图像的好坏 2020 3 17 30 1 基于机器视觉的自动验布机硬件选用DalsaP3 80 8K40相机 2个1m的白色LED灯 Schneider公司的Apo Componon4 0 60镜头 X64 CL iPro采集卡 研华610H工控机和改进的验布机可以实现图像的实时采集 为以后的图像处理做准备 2 本文提出了应用G View软件制作标定板图像 然后根据需要做成25cm左右的图像 通过形态法 增加像素点和对比度拉伸的方法 来获取清晰 高精度的标定图像 应用Halcon软件提供的标定功能 确定好输入图像与空间的对应点参数和摄像机的基本参数 使用两步法实现摄像机机的标定 标定的结果比