基于CAD模型的物体六自由度位姿检测方法.pdf

中图分类号 中图分类号 TN911 73 单位代号 单位代号 10280 密级 公开密级 公开 内部学号 内部学号 13721122 硕士学位论文硕士学位论文 SHANGHAI UNIVERSITY MASTER S DISSERTATION 题题 目目 基于基于 CAD 模型的模型的 物体六自由度位姿检测方法物体六自由度位姿检测方法 作 者作 者 周 扬周 扬 学科专业学科专业 机械电子工程机械电子工程 导 师导 师 宋 薇宋 薇 完成日期完成日期 2016 年年 03 月月 上海大学硕士学位论文 II 原创性声明 原创性声明 本人声明 所呈交的论文是本人在导师指导下进行的研究工作 除了文中特别加以标注和致谢的地方外 论文中不包含其他人已发表 或撰写过的研究成果 参与同一工作的其他同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意 签 名 日 期 本论文使用授权说明 本论文使用授权说明 本人完全了解上海大学有关保留 使用学位论文的规定 即 学 校有权保留论文及送交论文复印件 允许论文被查阅和借阅 学校可 以公布论文的全部或部分内容 保密的论文在解密后应遵守此规定保密的论文在解密后应遵守此规定 签 名 导师签名 日期 上海大学硕士学位论文 III 上海大学工学硕士学位论文 基于基于 CAD 模型的模型的 物体六自由度位姿检测方法物体六自由度位姿检测方法 姓 名 周扬 导 师 宋薇 学科专业 机械电子工程 上海大学机电工程与自动化学院 二 一六年三月 上海大学硕士学位论文 IV A Dissertation Submitted to Shanghai University for the Degree of Master in Engineering Research on 6 DOF Pose estimate Method based on CAD Model MA Candidate ZHOU Yang Supervisor SONG Wei Major Mechatronics Engineering School of Mechatronics Engineering and Automation Shanghai University March 2016 上海大学硕士学位论文 V 摘摘 要要 随着工业自动化 机器人和人工智能等领域的越发成熟 工程中 对视觉测量的要求逐渐提高 由传统的二维平面上的尺寸测量发展到 空间六自由度的快速实时位姿测量和位姿跟踪 其中基于单目视觉测 量以其系统结构简单 无需进行系统匹配标定却仍能达到较好的精度 水平的特点 广泛应用于小型零件分拣 大型零件安装 航空对接等 方面 本文就单目视觉下的工业零件六自由度位姿测量问题展开研究 论文的主要包含了三部分内容 首先 为目标物体离线建立空间匹配 模板 目标物体由一种通用 CAD 格式 STL 格式描述 从文件的读取 到三维数据的分析存储方法再到模板探索点的建立 本文都进行了详 细的描述 并提出一种基于单目视觉图像意义的物体位姿描述法 使 各参数在搜索时能相对独立 然后 介绍单目视觉图像的处理方法 将相机采集到的图像进行 Canny 边缘处理和距离映射 用以和空间匹 配模板进行匹配 在匹配方法上 本文使用了按倾角分层的 Chamfer 距离匹配 并在 Canny 边缘提取时就进行倾角分层 节省了时间 最 后 讨论了优化搜索算法 遗传算法 将待匹配位姿用遗传算法进 行编码搜索 在适应度函数值超过阈值后加入了局部优化 很大程度 地提高了搜索效率 此外 本文还从硬件方面介绍了用于实验的位姿测量平台 从软 件方面介绍了部分算法的程序实现方法和程序结构 为程序加入多线 程 提高各算法间的协作运行效率 最后 分别从算法的准确性 抗 干扰性和快速性三个方面设计并进行了实验 验证了本文所设计的算 法是准确可行的 且能达到一定的实时位姿测量要求 关键词 关键词 位姿检测 CAD 模型 Chamfer 匹配 遗传算法 上海大学硕士学位论文 VI ABSTRACT With the development of industrial automation robotics and artificial intelligence the requirement of computer vision measurement is gradually increased from the traditional size measurement on two dimensions plane to the six degrees of freedom rapidly pose estimate and trace Among the measure methods monocular vision measurement is more widely used in bin pick of small part installation of large part and space docking for the reason of its simple system and can achieve high accuracy without system calibration This paper discussed the problem of the six degrees of freedom measurement and trace of industrial parts The main theory contains three parts Firstly the creation of 3 D matching template for object beforehand The object is described by a universal CAD format STL File reading data analysis and the creation of the matching template are all described in detail A description of object pose based on image meaning are proposed to decouple the searching parameters Secondly the image processing The image grabbed from the camera carries on canny edge detected and distance transform which will be benefit for the matching of template and image As for the matching method we impoved the Chamfer Match with angle match We devide the edge points into 4 angle section during the edge dection which will save much time Thirdly the optimized search algorithm Genetic Algorithm GA The six parameters of object pose are coded and searched with GA The GA is optimized with local hill climbing which benefits much for the seaching efficiency In additon this paper also introduces the hardwares of the pose measurement plantform and introduces the code realize of some algorithm and program structure Multi thread technology is added to the program for increasing the operation efficiency of each algorithm Finally we conducted three experiments to confirm the accuracy anti disturbance and rapidity respectively The experiment results show that the whole algorithm designed by this paper is accurate and feasible and can meet the requirement of real time pose estimate and trace Keywords Pose Estimate CAD File Chamfer Match Genetic Algorithm 上海大学硕士学位论文 VII 目目 录录 摘 要 V ABSTRACT VI 目 录 VII 第一章 绪 论 1 1 1 课题的背景和意义 1 1 2 国内外研究现状 2 1 2 1 视觉位姿检测算法研究现状 2 1 2 2 视觉位姿控制机械研究现状 5 1 3 主要研究内容 7 第二章 单目视觉位姿测量平台 9 2 1 引 言 9 2 2 单目视觉位姿测量原理 10 2 3 实验平台和硬件的选择 11 2 3 1 测量实验平台 11 2 3 2 相机 12 2 3 3 镜头 13 2 3 4 光源 14 第三章 匹配模板的建立和投影 15 3 1 CAD 模型文件的读取 15 3 2 匹配模板库的建立 18 3 2 1 单观察点下的模板提取 18 3 2 2 虚拟观察点的分布 22 3 3 三维模板的投影变换 24 3 3 1 基于图像含义的位姿表示法 24 3 3 2 以常规位姿表示结果 27 3 3 3 离线模板产生的误差分析 29 上海大学硕士学位论文 VIII 第四章 图像的处理和匹配 33 4 1 边缘提取和匹配原理 33 4 1 1 边缘提取算法介绍 33 4 1 2 距离变换匹配原理 35 4 2 图像匹配的改进 按倾角匹配 38 4 2 1 边缘点按倾角分层 38 4 2 2 为孤立点增加初始距离 39 4 3 匹配度函数 41 第五章 最优值搜索方法 43 5 1 优化搜索算法介绍 43 5 2 遗传算法 44 5 2 1 遗传算法原理介绍 44 5 2 2 基因个体编码和存储方式 45 5 2 3 遗传算法的程序实现 46 5 3 对搜索算法的改进 48 5 3 1 对交叉运算的改进 48 5 3 2 爬山法局部优化 49 第六章 程序和实验 53 6 1 程序的结构和功能 53 6 1 1 多线程程序结构 53 6 1 2 程序的界面和功能 55 6 2 实验 56 6 2 1 位姿测量结果验证实验 56 6 2 2 复杂环境零件的匹配实验 59 6 2 3 单目标动态跟踪实验 60 第七章 结论和展望 63 7 1 结论 63 7 2 展望 64 上海大学硕士学位论文 IX 参考文献 65 作者在攻读硕士学位期间公开发表的论文 69 作者在攻读硕士学位期间所作的项目 70 致谢 71 上海大学硕士学位论文 1 第一章 绪 论 第一章 绪 论 1 1 课题的背景和意义课题的背景和意义 自从 20 世纪 60 年代初世界第一台机器人在美国问世以后 机器人便表现 出极大的生命力 机器人首先被用于工业生产 近半个世纪来机器人技术发展非 常迅速 工业机器人已在工业生产中得到了广泛的应用 机器人技术是一种综合 了计算机 控制论 机构学 信息和传感技术 人工智能 仿生学等多学科而形 成的高新技术 是当代研究十分活跃且应用日益广泛的领域 机器人应用情况已 成为一个国家工业自动化水平的重要标志 工业机器人是一种对生产条件和生产环境适应性和灵活性很强的柔性自动 化设备 特别适合于多品种 变批量的柔性生产 它对稳定提高产品品质 提高 生产效率和改善劳动条件起着十分重要的作用 由于机器人是一种能适应产品迅 速更新换代的柔性自动化设备 所以它的应用大大缩短了新产品的换产周期 从 而提高了产品的市场竞争力 目前全世界已拥有 100 多万台工业机器人 在当 代工业技术革命中 工业生产日益趋向柔性自动化方向发展 工业机器人技术已 成为现代工业技术革命中的一个重要组成部分 许多国家都已将机器人技术列入 高技术发展计划 工业机器人技术的发展必将对社会经济和生产力的发展产生更 加深远的影响 1 视觉引导与定位是工业机器人应用领域中广泛存在的问题 对于工作在自动 化生产线或柔性制造系统上的工业机器人来说 其完成最多的一类操作是 抓取 放置 动作 为了完成这类操作 对被操作物体定位信息的获取是必要的 首先 机器人必须知道物体被操作前的位姿 以保证机器人准确地抓取 其次是 必须知道物体被操作后的目标位姿 例如放置到加工设备上的工件夹具中 或装 配到与之配合的零部件中 以保证机器人准确地完成任务 在传统的工业机器人 应用场合 机器人只是按照固定的程序进行操作 物体的初始位姿和终止位姿是 事先规定的 而 FMS 柔性制造系统 中的物料输送系统与传统的自动化生产 上海大学硕士学位论文 2 线或流水线不同 FMS 的工件输送系统可以不按固定的节拍强迫输送工件 工 件的传输也没有固定的顺序 甚至可以是几种工件混杂在一起输送 而且工件输 送系统都处于可以进行随机调度的工作状态 2 很明显 传统的工业机器人的工作方式是无法胜任的 为了解决这种矛盾 引入了机器视觉 这样 在机器人工作之前 可以首先通过视觉系统实时地采集 零件的位置信息并传到有关图像处理系统 对零件进行识别和定位 确定所感兴 趣的零件以及该零件的位置和方向 之后将此信息传给机器人控制系统 从而引 导机器人准确地抓取零件 3 识别的目的是为机器人提供是否操作或进行何种操 作的信息 定位的目的是导引机器人手爪实时准确地抓取零件 机器人通过视觉 了解工作环境的变化 相应地调整动作 保证任务的正确完成 这种情况下 即 使生产线的调整或定位有较大的误差也不会对机器人准确作业造成多大影响 视 觉系统实际上提供了外部闭环控制机制 保证机器人自动补偿由于环境变化而产 生的误差 从前面的叙述可以看出 利用视觉对工件进行识别和定位对于工业机器人能 否高质量的完成任务起到重要的作用 虽然已有一些研究成果和应用实例 但是 还存在着识别目标比较单一 定位还停留在二维平面上等一些问题 因此 本课 题主要研究如何利用视觉识别出所感兴趣的零件类型并定位出该零件相对于机 器人基坐标系的位姿 进而利用这些信息去指导机器人实时准确地抓取零件 该 研究不仅可以促进机器人视觉技术的发展和应用 而且对提高企业生产自动化水 平具有重要意义 同时也对研究智能机器人更好的应用于实践起到一定的作用 1 2 国内外研究现状国内外研究现状 1 2 1 视觉位姿检测算法研究现状视觉位姿检测算法研究现状 基于视觉的位姿检测可以分成两个关键问题 匹配方法和求解方法 匹配方 法是指 待检测的目标 模板 如何与实际图像中的物体进行匹配 求解方法是 指 在模板与图像匹配后 如何求解得出图像中目标的位姿 侧重匹配的位姿检测方法一般是找出图像与模板中的特征 然后由特征点的 上海大学硕士学位论文 3 投影变换关系来求出两坐标系的变换关系 即求解 PnP 问题 4 也有使用椭圆中 心 直线 角点 5 这样的几何特征进行匹配 或者直接使用图像模板进行匹配 6 这种方法为正向求解过程 计算量小速度快 并且可以达到很高精度 但该方法 要求待测目标有明显的特征点 多用于特定项目的开发 如大型零件装配定位 传送带上特定零件分拣 空间对接等方面 但对于形状复杂多变的目标物体 其 特征也各不相同 有时还需要人为设定特征点 5 使其通用性较差 侧重求解的方法并不需要找到模板与图像的唯一匹配关系 而是首先确定一 个假定位姿 Multiple Hypotheses 下的探索模板与实际图像的匹配度函数 然后通 过优化搜索方法找到匹配度最大时的一个或多个假定位姿 以之作为最终结果 该方法的缺点在于搜索运算量大 但该方法避免了寻找目标的几何特征 通用性 强 有更广阔的使用范围 例如机械手自动捡取零件堆中的物体 智能服务机器 人识别定位生活中的物体等 因此 目前更多的研究偏向于这种侧重求解的搜索 匹配方法 在匹配度函数的确定上 最广泛使用的是模板点集到图像边缘点集的平均距 离作为匹配量度 在距离的计算上 一般使用近似欧式距离例如切削距离 Chamfer Distance 或城市街区 棋盘距离等 7 为了更正确的反映出轮廓的匹配 程度 某些文献增加了计算图像边缘点集到模板点的距离 求两个点集间相互距 离的最大值 这也称为豪斯多夫距离 Hausdorff distance 但豪斯多夫距离对图 像噪声和干扰十分敏感 只适合在简单场景中做图像匹配 刘凌云等人将图像中离散的边缘点先进行霍夫变换 使它们抽象成直线和椭 圆等几何元素 同时其匹配模板也由几何元素构成 匹配时计算几何元素集间的 豪斯多夫距离 将特征提取与搜索匹配相结合 大大减少了计算量 8 不过 当 目标图像背景复杂且目标边缘短时 霍夫变换将难以得到图中可靠地几何元素信 息 且要求目标必须有明确的圆或直线特征 在文献 9 中 DM Gavrila 以匹配点的角度差来计算匹配权值 这样即使模 板边缘点与实际图像边缘点相距很近 如果倾角相差较大 也会受到权值的影响 而使两点的匹配值降低 从而减少错误匹配 但此方法仍然依赖于找模板边缘点 的最邻近图像边缘点 文献 10 同样计算了图像中边缘点的角度 并将连续且过 上海大学硕士学位论文 4 渡圆滑的边缘线近似为直线段 以这种方式将点的匹配转为线段匹配 从而很大 程度地减少匹配量 节省了匹配时间 此方法不仅适用于棱边分明的物体 对边 缘圆滑的物体 例如水果 动物 玩具等有也较好的效果 a 边缘图像 b 线段化后的边缘图像 图 1 1 将边缘图像离散为线段 除了以上基于边缘点距离的方法外 随着深度相机的发展 目前很多研究还 加入了对深度图的匹配 Walter Wohlkinger 为立体模型在正二十面体的 20 个顶 点上建立空间点云模板 分别求它们与实际深度点云的匹配程度 使匹配能适用 于一般物体和杂乱环境 11 Hao Yuan Kuo 等人也使用了同样的方法 并使用迭 代就近点算法 ICP 对点云匹配进行迭代搜索 使检测算法能可靠地应用于 Bin Pick 中 12 如图 1 2 图 1 2 深度点云模板与深度图像的匹配 由于深度图像能不受颜色的影响 基于深度的匹配还能被用来检测透明物体 的位姿 13 而这是仅使用图像传感器做不到的 不过 Stefan等人受深度匹配的 启发 提出了利用单色物体 Textureless 内部的明暗变化来得到近似的深度信息 使基于轮廓的匹配和基于深度的匹配在单图像传感器下也能进行 以此提高匹配 的可靠性 14 除了直接在全图上进行目标物体的匹配外 有学者还提出了先使用图像分割 算法 找到图像中可能的独立物体中心 然后再进行匹配 图像分割算法有基于 上海大学硕士学位论文 5 图像的边缘线连接方法 15 也有基于深度图像的 Mean Shift 方法 16 不过图像 分割寻找目标中心的运算量较大 大多不适合实时匹配 1 2 2 视觉位姿控制机械研究现状视觉位姿控制机械研究现状 早在 20 世纪末 瑞士 ABB 公司曾经展示过一款名为 Flex Picker 的机器 人 它可以在视觉引导的情况下完成传送带上的各种快速拣选工作 速度可以达 到 2 次 秒 芬兰 RTS 公司研制了一款可以自动进行生产船舰驱动部件的视觉 系统 通过和计算机辅助设计模型相匹配来检验船舰驱动部件的生产过程 Stoianovici D 等人研制了一种医学用机器人 这种机器人可以用于医学上的 外科注射 该系统由机械模块 视觉定位和放射线注射针等模块组成 其可以通 过图像引导来完成控制操作杆进行注射的目的 17 Hazan E J 等人研制了一种 MARS 机器人 该系统是一个包含钻孔机的微 型机器人 钻孔机安装在末端 重量约 150 克 其通过对比多幅 X 光图像得 出锁孔的中心位置从而控制钻孔机指定到轴中心 精度可以达到 0 1mm 18 Kowsari T 等人研制了一种通过光流场来躲避障碍物的机器人 19 Drummond T 等研制了一种能够实现自动跟踪的多关节三维模型伺服系统 该系 统可以通过视觉引导使机器人避免了各种干扰 20 Yoshimi B H 等提出了一种机器人视觉伺服控制方法 避免了在世界坐标系 和图像空间坐标系之间进行标定 直接从获取的图像中得出控制信息 减少了因 为像机标定带来的误差 其将摄像机安装在机器人的末端支架上 摄像机既不需 要标定同时也不受初始安装位置影响 可以快速完成对齐 装配 安装工件等工 序 21 Ahmed M 叙述了视觉系统在机械装配中的应用 其可以跟踪工件装配在像 机视场中的运动 22 Hori N 等研制了一种机器人 将视觉和速度传感器相融合 采用的机器人型号为 K 1607 将摄像头和速度传感器安装在机械末端 结合关 节编码器 通过分析信息并处理从而确定机器人和目标的相对位置 23 如图 1 3 上海大学硕士学位论文 6 图 1 3 具有速度传感器的视觉机械手 在大型物体的定位测量上 国外一些著名公司 大企业都在研究多传感器视 觉测量应用技术 图 1 4 是美国 Perceptron 公司研制的用于轿车车身生产的 Perceptron 1000 型多传感器视觉测量系统 该系统的每个传感器可检测小范围内 的空间深度信息 将多个传感器安装在特定的位置上 通过这些传感器的信息联 合 可精确计算出待测大型物体的尺寸和位置 图 1 4 Perceptron 多视觉传感器位姿测量系统 国内方面 工业视觉系统还处于概念期 各行业的龙头企业都逐渐将目光投 向视觉测量领域 以北京中科院 西安交大等国内高校为代表 在图像处理领域 如通过视觉控制机器人手和眼的协调 视觉机器导航等多方面都有深层的研究 例如 哈尔滨工业大学研制的通过摄像机来实现机器人进行作业同时可用于作业 机器的自定位 其另一以卫星拍摄地面作为实验平台的全局视觉引导系统通过图 像反馈实现对机器人的运动进行规划 机器视觉在交通方面也得到广泛的应用 上海大学硕士学位论文 7 施树明等人研究了一种通过单目视觉的方法探测前方车辆 24 其通过单帧 图像识别出路径标线以便建立感兴趣区域 进而对目标识别 然后在序列图像中 通过 Kalman预估器实现对目标的跟踪 最后通过摄像机的参数标定 计算出前 方车辆的距离 尽管视觉技术有了长足的进步 但国内的机器视觉研究应用水平 跟国外相比依然还有一定的差距 进一步开展图像处理方面理论的创新和突破 同时借鉴国外相关的先进技术和实践经验 不断的发展机器视觉的适用范围将是 我们一直努力的方向 1 3 主要研究内容主要研究内容 本文研究了一种基于单目视觉的刚性物体的位姿检测方法 以往的研究通常 都介绍了如何从模型中提取特征进而进行匹配 而忽略了模型的建立过程 本文 从读取通用 CAD 模型开始 研究如何将 CAD 模型与实际图像匹配而求得实际 物体位姿的方法 本文研究的内容包括三个主要部分 模型分析 图像处理 搜 索匹配 1 模型分析 这部分主要有两项工作 读取 CAD 文件 把文件内容按照其编写格式解 读成可为程序使用的几何信息 如点 线 面及它们的相对位置和拓扑关系等 由物体的几何信息 生成可用于匹配的模型点 这些模型点对应图像的边缘点 并带有边缘倾角信息 另外 一个物体并非所有棱边都能在图像上表现出明显的 边缘特征 本文还将讨论模型点的优化选取问题 模型预处理的工作将离线完成 以缩短位姿检测时间 2 图像处理 摄像头采集到的图像包含丰富的内容 通过一定的方法从中提取有意义的信 息将更有利于算法对图像的分析 本课题研究的位姿检测方法基于图像的边缘信 息 主要思想是使模型探索点与图像中物体的边缘达到最佳匹配 因此首先需要 对图像进行边缘提取操作 在下一步的匹配过程中 需要计算一个值作为模型探 索点与实际图像的边缘的匹配量度 为了使方法有更强的抗背景干扰能力 并使 匹配量度更能准确的反应实际匹配情况 本文将讨论以边缘的倾角差和边缘距离 上海大学硕士学位论文 8 来共同反映匹配程度 要实现这样的匹配 在图像处理中 就需要求取边缘的倾 角信息 并作出图像的边缘距离图 以便求得模型边缘与图像边缘的距离 3 搜索匹配 寻找模型特征和图像特征匹配的过程 有搜索和计算两种方法 搜索即不断 求假定位姿的模型和图像的匹配程度 直到找到最好的匹配 遗传算法是一种求 最优解的启发式算法 在有一个合理的模型点匹配量度的前提下 遗传算法能够 帮助快速搜索到最优匹配 本文将讨论变搜索范围的自适应遗传算法在加快搜索 速度上的有效性 另外 计算的方法是指直接由特征点对应关系求取位姿变换的 方法 其难点在于找到模型特征点和图像点的对应关系 本文将在匹配算法中研 究这两种方法 拟将搜索方法用于粗匹配 在得到物体大致位姿后 用计算的方 法计算出物体的精确位姿 由于计算的方法时间开销小 将有可能实现实时的检 测和物体跟踪功能 另外 在介绍上述三部分的主要分析方法和算法之前 本文将先对整个位姿 测量系统进行总的概述 并介绍硬件平台的搭建 而在它们之后 本文将介绍在 程序中算法是如何实现和调度的 以及程序的操作界面和实现的功能 上海大学硕士学位论文 9 第二章第二章 单目视觉位姿测量单目视觉位姿测量平台平台 2 1 引引 言言 理想单目相机模型下的位姿测量原理可以概括为 根据小孔成像模型 求出 已知形状的目标物体在某个假定的位姿下在成像平面上理论呈现的边缘形状 将 相机实际采集到的图像也进行边缘处理 25 反复寻找理论边缘形状与实际边缘 图像的匹配 当匹配达到最优时 所得到的假定位姿即为实际图像中物体的位姿 估计 在具体实现时 为了使本文所述方法可方便的应用于各种目标物体 本文的 待匹配物体的形状由三维 CAD 文件描述 首先对 CAD 文件进行离线分析建立 匹配模板库 在给出假定位姿时 通过坐标变换和投影得到理论边缘形状 为使 相机捕获的实际图像能与理论边缘形状进行匹配 除了需要对原图像进行边缘处 理外 还需作出边缘距离映射图 以方便得出理论边缘与实际边缘的匹配程度 在反复搜索寻优的过程中 利用匹配度峰值分布的特性 利用优化搜索算法进行 寻优搜索 整个系统中匹配算法部分的流程如图 2 1 图 2 1 位姿检测算法流畅图 为了验证算法的可行性 本文搭建了实验平台 实验平台包括工业相机 配 有低畸变测量用镜头 光源 解算计算机 在计算机上根据设计的步骤和算法 进行编程 实时地对实验平台测量区内的目标物体的六自由度位姿进行测量和跟 踪 相机 捕获图像 边缘距离 映射图 CAD 文件 探索模板库 探索模板 最优位姿 输出结果 模型分析 坐标变换 图像处理 搜索匹配 离线 上海大学硕士学位论文 10 2 2 单目视觉位姿测量原理单目视觉位姿测量原理 定义世界坐标系 W 模型坐标系 M 相机坐标系 C 和成像平面 I 世界 坐标系与基座固联 是系统的绝对坐标系 模型坐标系与目标物体固联 其相对 于世界坐标系的运动即物体的位姿 将模型坐标系的原点定为物体的中心位置 相机坐标系与相机固联 其 Z 轴为光轴背离观察者方向 成像平面为过相机焦 点且平行于相机坐标系 XOY 平面的平面 是虚拟的投影平面 它们的关系如图 图 2 2 坐标系定义 本文约定 坐标点 向量用粗体表示 右上角的字母代表坐标或向量是在哪 个坐标系下描述的 例如 A 表示 P 点在 A 坐标系中的坐标 坐标变换矩阵记为 A B 它表示 A 坐标系到 B 坐标系的变换矩阵 26 所以 B 坐标系中的点可由此 矩阵转换到 A 坐标系中表示 A A B B 用斜体表示待求变量 例如位置参 数 设实际目标物体棱边上的一点P0在图像上投影的坐标为 I 0 而目标物体的 CAD 模型中 也有一棱边上的点P 现在为 CAD 模型在世界坐标系中的位姿取 一个假定值 则可以得到世界坐标系到模型坐标系的变换矩阵 W M 将相机置 于一个已知的或固定的位置上 即测量系统中相机的外参数应已知 就可以得到 OW W W W M M M M OI O C C I I 目标物体 边缘投影 u0 v0 成像平面 OM C OC M I 上海大学硕士学位论文 11 世界坐标系到相机坐标系的变换矩阵 W C 结合假定位姿下的世界坐标系到模型 坐标系的变换矩阵 W M 可以得到相机坐标系到模型坐标系的变换矩阵 C M C M W C 1 W M 2 1 在得到矩阵 C M后 就可以得到假定位姿 下 P 点在相机坐标系中的坐标 P xC yC zC C T C M P M 2 2 根据小孔成像原理 结合相机内参数 可以求出 P 点在成像平面 I 上投影像 素的理论坐标 I u v zC u v 1 1 dx0u0 01 dyv0 001 f00 0f0 001 0 0 0 xC yC zC 1 2 3 其中 f 为镜头焦距 dx dy代表每个像素在图像传感器上所占的长度 f 与 二者的商fx fy可由相机标定得到 根据式求得模型中 P 点理论坐标 I 后 就可以与图像上实际边缘点 I 0匹配 求距离 距离越小匹配度越好 推广到整个模型 所有理论边缘点与图像上实际 边缘点的平均距离 就衡量了假定位姿 与真实目标物体的实际位姿的匹配程度 若能找到匹配度最好的 就可以认为是目标物体的实际位姿最佳估计 27 2 3 实验平台和实验平台和硬件的选择硬件的选择 2 3 1 测量实验平台测量实验平台 本文所研究的单目视觉位姿测量方法 目标物体的位姿是首先在相机坐标系 下进行匹配的 因此若希望得到目标物体在世界坐标系下的位姿 需将相机放置 于一个固定的位置 或已知的可动位置 上 这样才可以知道世界坐标系到相机 坐标系的相对变换关系 以得出目标物体在世界坐标系下的位姿 本文所使用的视觉测量平台如图 2 3 图中相机高度固定 镜头焦点到最低 平面的距离为 330mm 标定得到 在这个距离上 可观察到的视场范围为 240mm 180mm 上海大学硕士学位论文 12 图 2 3 位姿检测实验平台 为使位姿表述直观 本文将世界坐标系原点取在相机正下方的载物台上 世 界坐标系 z 轴 W 指向相机中心 x 轴 W 与相机坐标系 x 轴 C 平行 由上面 的描述 可得世界坐标系 W 到相机坐标系 C 的变换矩阵 C W 1 0 00 10 0 0 0 0 0 1 00 330 1 2 4 2 3 2 相相机机 常见的工业相机的数据连接一般有 Gige 网络和 USB 两种 Gige 网络连接的 相机一般通过千兆交换机与主机相连 适用于多台相机连接的情况 而二者在使 用方式 编程方式上几乎无差别 但 Gige 网络相机需要额外供电或 PoE 供电 28 为了方便使用 本文选用 USB 接口的相机 如图 2 4 图 2 4 USB接口工业相机 180mm 240mm 180mm 330mm 330mm W W W W W W 上海大学硕士学位论文 13 本相机的主要参数见表 2 1 表 2 1 相机参数 SENSOR 尺寸 1 2 CMOS 彩色 有效像素 2048 1536 3M 像元尺寸 3 2 m 3 2 m 曝光时间 0 054 3000 ms 2 3 3 镜头镜头 本文实验平台所使用镜头为 8mm 定焦镜头 手动对焦和手动光圈 C 口连 接 如图 2 5 图 2 5 低畸变测量用镜头 此镜头为低畸变的测量用工业镜头 使用 OpenCV 对 10 张棋盘格法 29 对镜 头进行畸变校正 得到畸变校正参数 30 为 1 0 012575 2 0 85152 1 0 02076 2 0 02296 3 3 15624 a 未经畸变校正的图像 b 畸变校正后的图像 c 校正前后的差别 图 2 6 OpenCV 畸变校正对比 选取一张棋盘格照片进行畸变校正 图 2 6 a 为原图 图 2 6 b 为校正后的 图片 图 c 为校正前后图像差值绝对值取负片 可以看出此镜头径向畸变量很小 由 OpenCV 得出的校正参数也有可能是棋盘格板不平整造成 因此本文不再在后 上海大学硕士学位论文 14 续算法中进行畸变校正 2 3 4 光源光源 本文的实验平台在白天光线充足时 自然光照下的图像即可达到实验要求 自然光照不足需要补光时 也要求光源光线柔和均匀 对比 LED 与荧光灯 LED 虽亮度很高 但多为点光源 在照射到有反光材质的零件上时会留下灯影 且 LED 光源价格较贵 考虑到实验平台对光源的要求不高 本文选择环形荧光灯 作为实验光源 如图 2 7 图 2 7 环形荧光光源 上海大学硕士学位论文 15 第三章第三章 匹配模板的建立和投影匹配模板的建立和投影 本文在工业应用中 待测量的目标经常更换 为了使检测的目标易于更换 使方法能应用于不同的目标检测中 检测的目标将可以由 CAD 文件来描述 本文中待匹配目标的形状由三维 CAD 文件描述 3 1 CAD 模型文件的读取模型文件的读取 三维 CAD 文件有多种通用格式 例如 DXF Autodesk Drawing Exchange Format 格式 IGES The Initial Graphics Exchange Specification 初始化图形交换 规范 格式 STEP Standard for the Exchange of Product Model Data 格式 31 以上 三种格式以自己的 ASCII 码格式存储了几何体表面的几何元素和拓扑关系 例 如圆拉伸得到的圆柱面 样条曲线扫描得到曲面 另如 STL Stereo Lithography 光固化立体造型术标准 格式 直接以 ASCII 码 或二进制 存储了几何体表面 的细分三角网格 如前文所述 本文希望待检测目标的形状由 CAD 文件描述 实际上是希望 由 CAD 文件得到待测目标的理论边缘形状 若由几何元素分析 由于几何元素 种类多样 需要对各种几何元素逐一设立规则 方法繁琐 如果由细分的三角片 来分析 则规则简单 且也能得到希望的效果 因此 本文选取由细分三角片来 分析得到目标的理论边缘 通用 CAD 格式一般包括 DXF IGES STEP STL 等格式 前三种格式 可由开源 CAD 库 OpenCASCADE 完成文件的读取和三角网格划分 而 STL 格 式由于其本来就存储了几何体表面的细分三角网格信息 只需将信息读取即可 本文使用 STL 格式的文件为例介绍 STL 文件中 每个三角形以法向量 三顶点坐标方式存储 法向量数字字符 串前有固定的 normal 字样 以此为标志依次读取文件中的 12 个数字字符串 存储为法向量 三个顶点的坐标 32 如图 3 1 上海大学硕士学位论文 16 图 3 1 ASCII 编码的 STL 文件 根据这个规则 以 normal 为关键字 依次读取三角形的法向量 三顶点 坐标 读取代码按下面的方式编写 图 3 2 STL 文件读取代码 读入的三角形网格中 每个点都会被多个三角形共用 为能表达两个三角形 是否共顶点 共线 将所有的网格点坐标列入顶点列表中 而用三个顶点列表序 号来表示一个三角形 即建立了三角形索引表 三角形索引表由顶点坐标列表 三角形顶点索引号的形式存储 由三坐标点表示的三角形数组转为三角形索引表 的流程如图 3 3 图 3 3 三角网格处理流程图 开始 取得第 i 个三角形的 三个顶点坐标 顶点列表记录新的 顶点坐标 编号 1 记下该点在 顶点列表中的编号 i i 1 否 是 该 3 点是否在 顶点列表中 三角形索引 1 记录 该三角形顶点编号 上海大学硕士学位论文 17 在得到三角形数据后 由于我们需要做的是提取边缘线 线段 因此接下 来需要将三角网格转为线段 相似的 线段列表也采用顶点坐标列表 线段顶点 索引的格式 方法如下 图 3 4 线段处理流程图 至此 我们已完成对 CAD 文件的读取和数据处理 此阶段读入的数据最终 被保存为不重复的线段的列表 线段的顶点坐标由顶点序列索引 每条线段还包 含了其相邻两个三角形的法向量 线段中点的附加信息 例如读入一个如图 3 5 所示的 CAD 模型 经过此阶段的处理后 得到如表 3 1 表所列的数据 图 3 5 STL 模型三角网格图 表 3 1 三维模型顶点列表 顶点序号 顶点坐标 0 286 84 508 25 872 00 1 288 58 504 52 872 00 2 290 94 501 15 872 00 141 1094 17 1016 32 360 76 开始 由第 i 个三角形的三点 编号得到该三角形的 边线段 两个点编号 该线段是否在 线段列表中 线段列表 1 记录新 线段及其临面法向量 由三角形法向量知 在重复的线段后记录 线段临面法向量 并 不再查找该线段 i i 1 否 是 上海大学硕士学位论文 18 表 3 2 三维模型线段列表 线段 序号 端点号 表 3 1 临面法向量 1 临面法向量 2 线段中点 0 0 1 0 00 0 00 1 00 0 79 0 34 0 51 287 71 506 39 872 00 1 1 2 0 00 0 00 1 00 0 72 0 47 0 51 289 76 502 84 872 00 2 2 0 0 00 0 00 1 00 0 39 0 77 0 51 288 89 504 70 872 00 319 138 141 0 19 0 00 0 98 0 25 0 00 0 97 1122 59 516 32 367 15 这些读入数据中的坐标点和向量信息 是在 CAD 文件定义的原始坐标系中 描述的 记这个 CAD 文件中的坐标系为 CAD 数据坐标系 D 设 CAD 模型的 中心位置的坐标为 x D 0 y D 0 z D 0 由于在 2 2 小节中定义了模型坐标系的原点 为 CAD 模型的中心 记 M D x D 0 y D 0 z D 0 T 3 1 则 M D 就是 CAD 数据坐标系到模型坐标系的平移向量 M D M D M D 01 3 2 3 2 匹配模板库的建立匹配模板库的建立 3 2 1 单观察点下的模板单观察点下的模板提取提取 得到构成几何体表面三角形的所有线段后 需要找出呈现为边缘图像的线段 这些线段分为两类 棱边线段和切边线段 33 其一 棱边线段是几何体上两临面的共边线段 投影到图像上形成边缘图像 线条 因此这些线段的两个临面有一定夹角 计算每条线段相邻两面的法向量夹 角 若夹角大于一定阈值 则认为该线段为棱边线段 为区别于 STL 弧面细分 产生的网格线 该阈值必须大于弧面细分角度 本文选阈值为 20 如图 3 6 为棱边线段筛选结果 上海大学硕士学位论文 19 图 3 6 三维模型中的棱边线段 另一种 切边线段是模型在某观察点下 呈现于模型最边缘处的线段 这些 线段可能是某条弧面细分产生的网格线 计算某观察点下 线段两相邻面的法向 量与观察方向的夹角 若分别呈锐角和钝角 则该线段为切边线段 可以看出 棱边线段取决于物体的几何形状而切边线段取决于观察方向 因 此在求目标物体的边缘线段时 需要有一个假定的观察点 即需要给出一个假定 的目标物体与相机的相对位姿关系 如图 3 7 为棱边线段和切边线段共同呈现的 结果 图 3 7 三维模型中的棱边线段和切边线段 接下来需要解决两个问题 其一是消隐掉被遮挡的不可见边缘 其二是将线 段离散成图像上的点 构成几何体边缘的线段的遮挡关系 往往会出现一段线段 一部分不被遮挡而另一部分被遮挡的情况 因此不能直接对整条线段判断其遮挡 情况 如果先将所有边缘线段进行离散成点 再对这些点进行遮挡判断消隐 则 可以解决这个问题 对线段进行离散采样按照下面的方法进行 首先确定一个线段上点的采样间距 单位为图上距离 即像素 当线段 长度 大于采样间距 时 等间距采样 图 3 8 a 当线段的 小于时 这条线段 为短线段 顺序连接与短线段相邻的线段 直到两端跨度 即将超过 然后 取中间的点为作为这些短线段的采样点 图 3 8 b 采样时记录每点所在线段的 空间向量 短线段的采样点方向取两共点线段的平均方向 上海大学硕士学位论文 20 a 长线段采样方法 b 连续短线的采样方法 图 3 8 由线段采样得到探索点 按照上述方法 对图 3 7 中的线段进行采样 可得到如图 3 9 的三维空间点 假设 M D 已完全定义 在模型坐标系 M 下表示这些点 记为 M n0 同时记 录每点所在线段的向量 M n0 所有这些点的集合记为 MM n0 图 3 9 所有边缘线段的采样点 接下来就要解决消隐不可见的边缘点的问题 本文借鉴 OpenGL 的深度测试 方法来解决此问题 OpenGL 深度测试方法 34 此方法可以解决OpenGL 渲染图像时不同远近的 物体相互遮挡的问题 具体做法为 首先建立一个深度缓存区 为画面上的每个 像素点提供一个可以保存投影深度的空间 初始时深度缓存区中的每一点深度都 为 1 在渲染几何体表面上的每个点时 先计算该点在相机中的深度 将这个深 度在 OpenGL 投影剪裁区中从近到远归一化到 0 1 并与深度缓存区中的对应点 的深度进行比较 若待渲染点的深度小于缓存区中点的深度 则将该点渲染至图 像上 并更新深度缓存区中的对应点深度 在 OpenGL 画图时 如果设置了 glEnable GL DEPTH TEST 则上述操作 a b 上海大学硕士学位论文 21 由 OpenGL 自动完成 现在用此方法来消隐掉图中不可见的边缘点 则需要自己 编写程序完成上述步骤 首先 设置一个合适大小的观察窗口 本文取 650 650 在当前假定的观 察点下用 OpenGL 渲染出目标物体 此目的为生成深度缓存区的数据 使用 glReadPixels GL DEPTH COMPONENT 函数读取深度缓存区数据 OpenGL 绘 制的图和读到的深度缓存区数据如图 3 10 a OpenGL 绘制的三维物体 b OpenGL 深度缓冲区中的数据 图 3 10 OpenGL 深度缓冲区 然后 对 M n0 中的每个点使用 gluProject 函数投影到图像坐标系 I 中 得到 ui vi zi 这里 ui vi 是该点投影到图像上的像素坐标 而zi是该点投影后 在相机坐标系中的深度 经裁剪归一化的值 将此深度值与读取到的深度缓存区 中的值D u v 进行比较 若 zi ui vi eps 3 3 则该点为可见的边缘点 否则就是被遮挡的边缘点 将其