（精密仪器及机械专业论文）基于视觉的三维坐标测量技术研究.pdf

摘要 摘要 近年来 大尺寸测量技术的有了很大的发展 视觉测量技术是其中的热点 视觉测量技术由于其高精度 非接触等特点在工业现场检测中得到快速的普及与 发展 f a s t 是 5 0 0 米口径球面射电望远镜 的英文简写 它是我国正在进行 中的一项重大科学工程项目 建成后将成为世界上最大的射电天文望远镜 针对 f a s t 项目密云5 0 m 缩比模型中的3 m 面板的面型的检测要求 通过比较各种大 尺寸检测技术的优缺点 决定采用机器视觉检测的方法 本文的研究采用精度较高的传统标定方法 由于传统3 d 标定靶制作成本高 而且加工精度受到限制 所以现在实验中人们倾向于用精度较高且制作成本低的 二维标定靶来模拟三维标定靶 文中给出了一种利用2 d 标定靶通过沿直线移动 来模拟3 d 标定靶的方法 通过对标定靶移动位置的直线度分析 以及三维重构 的精度分析得知 该模拟方法精度很高 完全满足实验要求 文中对摄像机模型进行了详细的分析 通过数据仿真模拟分析了线性与非线 性模型下 多种相机模型的精度 最终采用精度较高的多项式拟合的非线性模型 作为实验模型 在双目视觉系统中 对两种不同重构方法进行了数据模拟 选取了精度较高 的一种重构方法 在物面坐标存在误差 像面坐标存在误差 物面坐标和像面坐 标都存在误差这三种仿真数据模拟情况下 分析了重构的精度 仿真结果与不存 在误差的情况下相比较误差不大 在可允许精度范围内 通过现场搭建的双目视觉系统 对f a s t 项目密云5 0 m 缩比模型中3 m 面板 的面型进行初步的现场检测 采用全站仪测出的基准点坐标对相机进行标定 再 由双目视觉系统采集面板上的标志点坐标 进而对这些标志点进行三维重构 重 构点坐标值与全站仪给出的标准坐标值相比较 精度达到要求并在2 0 0 9 年7 月 通过了f a s t 项目组专家的验收 关键字 f a s t 大尺寸视觉检测c c d 摄像机标定三维重构 a b s t r a c t a b s t r a c t r e c e n t l yy e a r s l a r g e s i z ed e t e c t i o nt e c h n o l o g yh a sm a d eg r e a td e v e l o p m e n t v i s u a ld e t e c t i o nm e t h o di st h ed e v e l o p m e n to fh o ts p o t s v i s u a ld e t e c t i o nt e c h n o l o g y g e t sr a p i dp o p u l a r i z a t i o na n dd e v e l o p m e n ti nt h ef i e l do fi n d u s t r i a ld u et oi t sh i g l l p r e c i s i o n n o n c o n t a c t f a s ti s t h ea b b r e v i a t i o no f f i v e h u n d r e d m e t e ra p e r t u r e s p h e r i c a lr a d i ot e l e s c o p e i ti so n e o fm a j o rs c i e n t i f i cp r o j e c t si n0 1 1 1 c o u n t r y w h i c h w i l lb et h ew o r l d sl a r g e s tr a d i ot e l e s c o p e f a s tp r o j e c t sn e e dt oa c c u r a t e l ym e a s u r e t h e3 mp a n e lp a t t e mo f5 0 ms c a l em o d e lo fm i y u n w ea d o p tt h em e a s u r e m e n tm e a n s o fm a c h i n ev i s i o nt h r o u g hc o m p a r ea d v a n t a g e sa n dd i s a d v a n t a g e so fs o m el a r g e s i z e d e t e c t i o nt e c h n o l o g y t h i sp a p e ra d o p t st h et r a d i t i o n a lh i g hp r e c i s i o nc a l i b r a t i o nt e c h n i q u e s t h e t r a d i t i o n a l3 dc a l i b r a t i o nt a r g e tc o s t sm o r ea n dt h em a c h i n i n gp r e c i s i o ni sl i m i t e d s o t h i st h e s i sg i v e sam e t h o do fu s i n g2 dc a l i b r a t i o nt a r g e tt os i m u l a t i o n3 dc a l i b r a t i o n t a r g e tt h r o u g hm o v i n ga l o n gas t r a i g h tl i n e 1 1 l ep r e c i s i o no ft h i ss i m u l a t i o nm e t h o di s s oh i g ht h a t f u l l y m e e tt h er e q m r e m e n to fe x p e r i m e n tt h r o u g ha n a l y z i n gt h e s t r a i g h t n e s so fc a l i b r a t i o nt a r g e tp o s i t i o na n dp r e c i s i o no f3 dr e c o n s t r u c t i o n t h j sp a p e rd e t a i l e da n a l y z e st h em o d e lp r e c i s i o no fc a m e r al i n e a rm o d e la n d n o n l i n e a rm o d e lt h r o u g ht h ed a t as i m u l a t i o n f i n a l l y w ea d o p tt h ep o l y n o m i a l n o n l i n e a rm o d e lw i t hh i g h e rp r e c i s i o na st h ee x p e r i m e n t a lm o d e l i nt h eb i n o c u l a rv i s i o ns y s t e m w ec o m p a r e da n dd a t as i m u l a t e dt w od i f f e r e n t r e c o n s t r u c t i o nm e t h o d st os e l e c ta h i g h e ra c c u r a c ym e t h o d i nd a t as i m u l a t i o no ft h r e e c a s e s e r r o ri nt h eo b j e c tp l a n ec o o r d i n a t e s e r r o ri nt h ei m a g ep l a n ec o o r d i n a t e e r r o r i nt h eo b j e c ta n di m a g ep l a n ec o o r d i n a t e s w ea n a l y z et h er e c o n s t r u c t i o na c c u r a c ya n d c o m p a r et h es i m u l a t i o nr e s u l tw i t hc a s eo fn oe r r o r t h er e s u l ta c c u r a c yi si nt h er a n g e o fa l l o w a b l ea c c u r a c y w eb u i l dp r e l i m i n a r yb i n o c u l a rv i s i o ns y s t e mt od e t e c tt h e3 mp a n e lp a t t e r no f 5 0 ms c a l em o d e lo fm i y u n f i r s t l y w ec a l i b r a t et h ec a m e r a s 析n lt h ed a t u mm a r k s w h i c hf r o mt h et o t a ls t a t i o na n dr e c o n s t r u c tt h es i g nm a r k sw h i c hs t i c kt ot h ep a n e l p a t t e m t h er e c o n s t r u c t i o np o i n t s c o o r d i n a t e sc o m p a r e 析t ht h ea c c u r a c yc o o r d i n a t e s f r o mt h et o t a ls t a t i o n t h ep r e c i s i o ni su pt ot h er e q u e s ta n dg e tt h ea c c e p t a n c eo f f a s t p r o j e c te x p e r t si nj u l y2 0 0 9 k e y w o r d s f a s t l a r g e s i z e v i s i o nd e t e c t i o n c c d c a m e r ac a l i b r a t i o n 3 d r e c o n s t r u c t i o n i i 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文 是本人在导师指导下进行研究工作所取得的成 果 除已特别加以标注和致谢的地方外 论文中不包含任何他人已经发表或撰写 过的研究成果 与我一同工作的同志对本研究所做的贡献均已在论文中作了明确 的说明 作者签名 垄窒 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一 学位论文著作权拥有者授权中国科学技术大学拥 有学位论文的部分使用权 即 学校有权按有关规定向国家有关部门或机构送交 论文的复印件和电子版 允许论文被查阅和借阅 可以将学位论文编入有关数据 库进行检索 可以采用影印 缩印或扫描等复制手段保存 汇编学位论文 本人 提交的电子文档的内容和纸质论文的内容相一致 保密的学位论文在解密后也遵守此规定 厂 d i 公开口保密 年 作者签名 盔垒 导师签名 蕉妞 第1 章绪论 1 1 研究背景 1 1 1 大尺寸测量技术现状 第1 章绪论 近几十年来 尺寸测量技术的发展主要是受工业产品需求的影响 主要是往 两个极端方向发展 小尺寸检测和大尺寸测量 其被测物体的形状朝着结构复杂 形状特异方向发展 l j 小尺寸检测方向主要是 集成电路的检测和m e m s 中微 结构的检测等 大尺寸测量的方向主要是 航空航天 汽车 造船 水利水电 大型地面望远镜等行业和领域 如飞船推进舱测量 3 m 飞机桁架测量 2 0 m 以上 导弹总装测量 7 1 0 m 大型水轮机座环测量 1 2 m 大型天线测 量 1 0 5 0 m 等 2 j 大尺寸测量主要是获得工件的关键点三维坐标 计算出工件 几何量 获得工件曲面的三维点云等 大尺寸测量主要是对被测大型工件的几何量进行测量 几何量测量主要包括 角度 距离 位移 直线度和空间位置等量的测量 其中最为通用和普及的就是 确定空间位置的三维坐标测量 而其他的待测量都可以通过对三维坐标进行一定 的计算间接得到 大型工件特征点坐标测量具有其特殊性和复杂性 首先因为大型工件尺寸比 较大 若要通过特征点来反映工件的表面形貌 被测特征点在工件表面上的分布 往往很分散 数量也较多 这就制约了测量效率和测量准确度的提高 其次对特 征点的瞄准准确度也是制约测量准确度的关键因素 1 1 2 大尺寸测量技术分类 目前 可以实现大尺寸三维坐标的方法和系统按照所使用的主要传感器可以 分为以下几大类1 3 巧j 1 三坐标测量机 c m m 三坐标测量机是传统的接触式三维测量仪器 主要用于室内测量 它的优点 是测量精确 效率高 缺点是对环境要求高 非便携 难以用于现场测量 测量 范围较小等 发展到现在 三坐标测量机向高精度化 智能化方向发展 出现了 智能三坐标测量机 纳米三坐标测量机等 2 经纬仪测量系统 t h e o d o l i t e 第1 章绪论 经纬仪坐标测量系统是一种在大尺寸测量领域应用最早和最广的工业坐标 测量系统 它由多台 至少两台 高精度的电子经纬仪构成 采用空间三角前方交 汇的原理进行坐标测量 经纬仪测量系统的优点是测量范围较大 3 米至几十米 是光学 非接触式 测量方式 测量精度比较高 在二十米范围内的坐标精度达到o o l m m m 其缺 点是采用人眼照准目标 逐点测量 测量速度慢 自动化程度不高 8 4 1 3 激光干涉仪 l a s e ri n t e r f e r o m e t e r 采用机械式测量原理 很难满足几十米的大尺寸测量要求 激光跟踪干涉仪 综合了激光测长和经纬仪测量角度的原理 是目前几十米的大尺寸测量精度较高 的一类仪器 它的工作原理基于球坐标测量系统 激光干涉仪是一种高精度距离测量仪器 配合相应的光学组件还可以完成 角度 直线度的测量 1 5 郴 4 全站仪测量系统 t o t a ls t a t i o n 全站仪是一种兼有电子测角和电子测距的测量仪器 它也采用了激光测距技 术 激光测距在技术上可分为脉冲式激光测距和连续波相位式激光测距 瑞士 l e i c a 公司的t d m5 1 0 0 型全站仪采用具有正弦载波信号的红外调制光配合反 射目标进行测距 在百米之内测距误差不超过1m m 全站仪其坐标测量原理较为简单 是空间极 球 坐标测量的原理 全站仪坐 标测量系统只需单台仪器即可测量 因此仪器设站非常方便和灵活 测程较远 特别适合于测量范围大的情况 5 关节式坐标测量机 a r t i c u l a t e da r m s 关节式坐标测量机是一种便携的接触式测量仪器 通过对空间中不同位置待 测点的接触来上模拟人手臂的运动方式 仪器由测量臂 码盘 测头等组成 它 通过安装在内部的角编码器获得各关节及连杆的转角 再结合关节及连杆的机 械参数 角度 厚度 长度等 计算出测量点的三维坐标 关节式坐标测量机利用 空间支导线的原理实现三维坐标测量功能 它也是非正交系坐标测量系统的一 种 关节式坐标测量系统是一种非常简单但是经济有效的测量解决方案 和三坐 标测量机比较 关节式坐标测量机的测头可灵活转动 并且它不需要被测点是可 见的 因此存在隐藏点的情况下这种测量系统式非常适合的 但是关节式坐标测 量系统的测臂长度有限 导致了其测量范围有限 一般用于中 小型模具 汽车 零部件 钣金件 塑料制品 木制品 雕塑等的快速检测和逆向设计 l 引 6 室内g p s h a d o o rg p s 室内g p s 系统 1 9 是一种基于工业厂房区域内超大型现场测量系统 所谓室 2 第1 章绪论 内g p s 其测量原理与地面g p s 相同 也是由发射器和接收器组成 基本测量参 数是发射器的水平角和垂直角 其接收器和发射器的组台就像是经纬仪与目标 确定接收器的位置至少需要两个发射器 两个发射器之间的相对位置和方向要 用建立测量网的方法来确定 需要引入校准过的标尺来定义一对接收嚣之间的 距离 室内g p s 系统的特点是测量范围不受限制 测量范围大 可达上百米 无论 在工件外还是在工件内 都可以完成测量 适用于大型结构的整体精密测量 7 基于图像的视觉测量系统 视觉测量系统以相机 一般采用c c d 相机 作为传感器 结合摄影测量 三 角交汇测量 结构光投射钡6 量或多目标测头剽量等技术实现场景点的坐标测量 根据使用c c d 相机的数目又可分为单相机系统或双 多 相机系统 视觉测 量系统是一种典型的非接触式测量 具有精度高 便携等特点 测量范围一般都 在1 0m 以内 此外 还具有其它系统所无法比拟的优点 测量现场工作量小 快速 高效和不易受温度变化 振动等外界因素的干扰 12 本文的主要研究内容 2 1 课题来源及意义 f a s t 是5 0 0 米口径球面射电望远镜 f i v c h u n d r e d m e t e ra p e r t u r es p h e r i c a l r a d i o t e l e s c o p e 的英文简写 f a s t 是我国正在进行的一项大科学工程项目 它 建成后将是世界上最大单口径射电望远镜 图1 一1 f a s t 的主要技术指标为 主动反射面半径为3 0 0 米 最大口径为5 0 0 米 球冠张角为1 1 0 1 2 0 工作频 率为7 0 m h z 3 g h z 光谱分辨率 l 波段 2 9 多波束 l 波段 为1 9 个 观测换源时间 1 0 r n i n 躅1 lf a s t 项目示意匿 第l 章绪沧 f a s t 作为一个多学科基础研究平台 育能力将中性氧观测延伸至宇宙边缘 观测暗物质和暗能量 寻找第一代天体 能用一年时间发现约7 0 0 0 颗脉冲星 研究极端状态下的物质结构与物理规律 有希望发现奇异星和夸克星物质 发现 中子星 黑洞般星 无需依赖模型精确测定黑洞质量 通过精确测定脉冲星到 达时间来检测引力波 作为最大的台站加入国际甚长基线网 为天体超精细结构 成像 还叫能发现高红移的巨脉泽星系 实现银河系外第一个甲醇超脉泽的观测 突破 用于搜寻识别可能的星际通讯信号 寻找地外文明等等 f a s t 在国家重大需求方面有重要应用价值 把我国空间测控能力由地球同步 轨道延伸至太阳系外缘 将深空通讯数据下行速率提高1 0 0 倍 脉冲星到达时间 测量精度由目前的1 2 0 纳秒提高至3 0 纳秒 成为国际上最精确的脉冲星计时阵 为自主导航这一前蟾性研究制作脉冲星钟 进行高分辨率微波巡视 以i h z 的 分辨率诊断识别微弱的空间讯号 作为被动战略雷达为国家安全服务 作为 子 午工程 的非相干散射雷达接收系统 提供高分辨率和高效率的地面观测 跟踪 探测日冕物质抛射事件 服务于太空天气预报 f a s t 项目具有3 项自主创新 利用贵州天然的喀斯特洼坑作为台址 洼坑 内铺设数千块单元组成5 0 0 m 球冠状主动反射面 采用轻型索拖动机构和并联机 器人 实现望远镜接收机的高精度定位 为实现对f a s t 关键技术的优化 2 0 0 4 年2 月在国家天文台密云观测站开 始建设f a s t5 0 米总体模型 总体模型包括 4 个馈源支撑塔 馈源一级驱动与 二级精调s t e w a r t 平台 l 波段馈源接收机 主动索网反射面等 圈1 2 圉1 2f a s t 密云模型示意图 本课面得到的基金项目资助包括 i 国家自然科学基金面上 青年 基会项目 大尺度多目标坐标测量中关键 第l 章绪论 技术研究 2 中科院重大科研装备研制项目 大尺度多目标高精度动态立体视觉测量 设备 3 国家十一五大科学工程f a s t 项目 1 2 2 课题的主要研究内容 f a s t 密云5 0 m 缩比模型中的主反射面由边长为3 m 的正三角形面板拼接而 成 本人所在的机器视觉实验室所承接的研究内容 对这些三角形面板的面型进 行检测 保证面板达到工程所需的精度 根据工程实际需要 本课题的主要研究内容集中在大尺寸物体的坐标点测量 上面 其中包括 标志点检测及匹配 相机标定 三维重构 精度分析等技术 1 3 项目技术方案选择 1 3 i 机器视觉技术 2 4 1 人类是通过眼睛和大脑来获取 处理与理解视觉信息的 周围环境中的物体 在可见光照射下 在人眼的视网膜上形成图像 有感光细胞将其转换为神经脉冲 信号 并经神经纤维传入大脑皮层进行处理与理解 所以说 视觉不仅指对光信 号的感受 还包括对视觉信息的获取 传输 处理与理解的全过程 随着计算机技术与光电信号技术的发展 人们试图用摄像机获取周围环境图 像并将去转换成数字信号 并用计算机实现对视觉信息处理的全过程 这样就形 成了一门新兴的学科 计算机视觉 计算机视觉的研究目标是使计算机具有通 过一幅或多幅图像认知周围环境的能力 这使计算机不仅能模拟人眼的功能 而 且更重要的是使计算机完成人眼所不能胜任的工作 机器视觉则是建立在计算机视觉理论基础上 偏重于计算机视觉技术工程 化 与计算机视觉研究的视觉模式识别 视觉理解等内容不同 机器视觉重点在 于感知环境中物体的形状 位置 姿态 运动等几何信息 一个完整的机器视觉 系统就是一个能自动获取一幅或多幅目标物体图像 对所获得的图像的各种特征 量进行处理 分析和测量 并对测量结果做出定性分析和定量解释 从而得到有 关目标物体的某种认识并做出相应决策的系统 机器视觉系统的功能包括 物体 定位 特征检测 缺陷判断 目标识别 计数和运动跟踪 5 第 章绪论 3 2 视觉测量技术的发展 随着计算机技术和光电技术的发展 基于机器视觉的视觉测量技术 简称视 觉测量技术 在大尺寸测量领域应用也越来越广泛 视觉测量技术是近年来发展 起来的测量技术 视觉测量技术是咀现代光学为基础 融光电子学 计算机图像 学 信息处理 机器视觉等科学技术为一体的现代测量技术 随着计算机视觉理论体系的完善 机器视觉应用得到了较快的发展 凶为这 些应用均以商品化的图像传感器及电子产品为基础 同时 人类在其他相关领域 如图像处理 模式识别 人工智能技术等方面取得的巨大成就也极大的推动了计 算机视觉的发展 以计算机视觉为理论基础的机器视觉技术正逐渐应用到航天航 空 军事 生物医疗 物体识别 文字识别 加工制造 工业检测 自动化控制 等领域 在目标识别 虚拟现实 生产加工 尺寸控制中起着重要的作用 传统的人工测量或接触式测量存在测量误差大 费时费力的缺点 视觉测量 技术能够实现智能化 数字化 小型化 网络化和多功能化 具备在线检剽 实 时分析 实时控制的能力 在军事 工业 医学 科学研究等领域得到广泛关注 和应用 与计算机视觉研究的视觉模式识别 视觉理解等内容不同 机器视觉重点研 究物体的几何尺寸参数和物体的位置 例如物体的直径尺寸等几何参数 近几十 年来 国内外在视觉测量方面都有相应的工业级产品出现 如美国g s i 公司生产 的v s t a r s 系统 图i 3 挪威m e t r o n o r 公司的m e t r o n o r 系统 2 0 2 2 圈l 4 等 国内的机器视觉厂家很少 相应的研究一般都集中在高校和科研结构中 目 前比较好的有 西安交通大学的x j t u d p 三维光学点测量系统等1 2 其测量精 度可以达到0i m m m 图1 3 v s t a r s 系统 第 章绪论 33 视觉测量技术的优点 圈1 4 m e t r o n o r 系统 通过对比国内外近年来在相类似大尺寸望远镜项目e 的实际测量情况 吐及 各测量方法的优劣 本实验室最终采取了近年来迅速发展的基于图像技术的视觉 测量技术 对视觉测量技术的研究 美国 德国 加拿大等发达国家早在上世纪六十年 代后期就己经开始 直到上世纪九十年代 随着计算机技术的发展成熟 视觉测 量技术逐渐成为一个研究热点 视觉测量技术的发展呈现出以下几个特点 1 多学科交叉 视觉测量技术运用数学 物理 光学 机械 计算机技术 电子技术等多学科知识 出现这种多学科知识相交叉的现象 视觉测量技术作为 一种新兴的检测技术 其非接触 小型化 智能化 灵活性的特点能够满足地质 医学 机械等学科的发展需求 2 6 2 9 1 2 多传感器数据融合 这主要表现为两种形式 一是同类传感器融合 即 采用多个视觉传感器同时测量一个物体 并对其数据进行综合 以扩大视觉传感 器的工作范围 减少测量条件的限制i 二是非同类传感器融合 即将视觉传感器 同其它多种传感器一同使用 并对不同的传感器获得的信息进行综合评定 l 3 精度越来越高 随着计算机技术和光电技术的发展 图像硬件设备的分 辨率和处理速度越来越高 为高精度实时图像处理提供了硬件基础 4 本文的研究内容及安排 本文作者一直从事基于c c d 图像的视觉测量技术研究 本论文中所研究的 第1 章绪论 课题 主要完成的工作包括以下内容 1 基于面阵c c d 摄像机的图像采集及图像处理软件编写 2 进行了面阵c c d 摄像机标定算法的研究以及实现 并分析了影响摄像机 标定精度的主要因素 3 在c c d 相机标定好 使用双目视觉系统对特征点进行重构 分析了影响 重构精度 本论文的行文大致安排如下 在第二章中主要介绍了c c d 摄像机标定的一 些相关知识 包括摄像机标定常用的方法和透视投影模型 标定方法的精度以及 选取 标定模型中影响精度的参数分析 这部分内容为后面章节做铺垫 双目重 构算法以及精度分析安排在第三章 在第四章中 应用上面两章已经确定好的算 法 对f a s t 缩比模型3 m 面板进行了实地检测 将计算得出的结果与给定的数 据相比较 基本符合要求 最后一章是论文总结与展望 8 第2 章摄像机标定 第2 章摄像机标定 基于图像的视觉测量技术一般使用的为c c d 摄像机 获取图片质量的好坏 直接影响着测量结果的精度 因此需要对摄像机模型进行充分的了解 所以标定 就成为关键的内容 由于镜头生产工艺 加工精度 机械装配以及镜头畸变等存 在较大的误差 必须对c c d 摄像机所拍摄的物体空间与成像空间的定量对应关 系有一个清楚的了解 对c c d 摄像机的内部参数和外部参数进行标定就非常必 要 2 1 摄像机模型的建立 标定的目的是建立连接外部3 d 坐标与摄像机内部2 d 图像坐标系之间的摄 像机模型 这个模型建立的好坏决定了摄像机最终数据处理的精度 摄像机成像 模型有很多种不同的描述 每种方法都有自己对应的模型参数 都有自己的适用 范围 模型的精度与算法的稳定性直接影响摄像机工作结果的准确性 2 1 1c c d 相机 3 0 c c d 电荷耦合元件 c h a r g ec o u p l e dd e v i c e 是目前机器视觉最为常用的图 像传感器 它集光电转换及电荷存贮 电荷转移 信号读取于一体 是典型的固 体成像器件 c c d 图像传感器可直接将光学信号转换为数字电信号 实现图像 的获取 存储 传输 处理和复现 其显著特点是 1 体积小重量轻 2 功耗小 工作电压低 抗冲击与震动 性能稳定 寿命长 3 灵敏度高 噪声低 动态范 围大 4 响应速度快 有自扫描功能 图像畸变小 无残像 5 应用超大规模集 成电路工艺技术生产 像素集成度高 尺寸精确 商品化生产成本低 c c d 从功能上可分为线阵c c d 和面阵c c d 两大类 两者之间的优缺点比 较如下 1 线阵c c d 结构简单 成本较低 可以同时储存一行电视信号 由于其 单排感光单元的数目可以做得很多 在同等的测量精度的前提下 其测量范围可 以做的较大 并且线阵c c d 实时传输光电变换信号和自扫描速度快 频率响应 高 能够实现动态测量 并能在低照度下工作 所以线阵c c d 广泛地应用在产 品尺寸测量和分类 非接触尺寸测量 条形码等许多领域 2 面阵c c d 对于面阵c c d 来说 应用面较广 如面积 形状 尺寸 位置等 面阵c c d 的优点是可以获取二维图像信息 测量图像直观 缺点是像 9 第2 章摄像机标定 元总数多 而每行的像元数一般较线阵少 帧幅率受到限制 而线阵c c d 的优 点是一维像元数可以做得很多 而总像元数较面阵c c d 相机少 而且像元尺寸 比较灵活 帧幅数高 特别适用于一维动态目标的测量 典型的c c d 摄像机由光学镜头 时序及同步信号发生器 垂直驱动器 模 拟 数字信号处理电路组成 c c d 相机由于制造安装等过程存在误差 如 c c d 芯片的纵横比误差 摄 像机自身装配误差等 同时成像光学镜头存在一些误差 如径向畸变 切向畸变 等 这些误差模型会在下一节中详细给出 2 1 2 摄像机模型 摄像机通过成像透镜把三维场景点投影到二维像平面上 这个投影关系可用 成像变换模型描述 即摄像机成像模型 摄像机成像模型有许多种不同的描述方 式 本节将介绍这种模型下常用的坐标系及其转换关系 然后介绍摄像机的线性 模型和非线性模型 2 1 2 1 坐标系及其转换 如图2 一l 所示 在图像上定义像素坐标系 v 像素坐标 材 v 分别代表该 像素在图片数组中的列数与行数 d d iy b o 1 o u x 图2 1 图像坐标系 建立以物理单位 如毫米 表示的图像坐标系 该坐标系以图像内的某一点 q 为原点 x 轴与 轴分别与 v 轴平行 其中 x y 表示以毫米为单位的 图像坐标系的坐标值 1 表示以像素为单位的图像坐标系的坐标值 原点d l 定 义在摄像机的光轴与图像平面的交点 该点在图像像素坐标系下的坐标设为 0 假设每个像素在x 轴与 轴方向上的物理尺寸为d x d y 则这两个 1 0 第2 章摄像机标定 坐标系有如下转换关系 0 0 y 00 2 1 摄像机模型几何成像关系如图2 2 所示 此图为前成像示意图 其中0 点称 为摄像机光心 x 轴和y 轴与图像的x 轴与 轴平行 z 轴为摄像机光轴 它与 图像平面垂直 摄像机光轴与图像平面的交点0 1 即为图像坐标系的原点 由 点0 与x y z 轴组成的直角坐标系称为摄像机坐标系 0 0 1 为摄像机焦距 0 图2 2摄像机坐标系与世界坐标系 w z w 由于摄像机可以安放在四周环境中的任何地方 所以我们需要在环境中选择 一个基准坐标系来描述摄像机的位置 并用它描述环境中任何物体的位置 则该 坐标系被称为世界坐标系 它由x w 儿 钆轴组成 摄像机坐标系与世界坐标 系之间的关系有如下转换关系 r h 列 l 1 2 2 其中 尺和f 分别为摄像机坐标系相对于世界坐标系的旋转 平移矩阵 尺为 3 x 3 的正交单位矩阵 t 为三维平移向量 2 1 2 2 针孔成像模型 针孔成像模型又称为线性摄像机模型 它是摄像机模型中最简单的一种模 1 1 1 j x y l o o l 加 仆 第2 章摄像机标定 型 空间任何一点p 在图像中的成像位置可以用针孔成像模型近似表示 即任何 点尸在图像中的投影位置p 为摄像机光心d 与p 点的连线o p 与图像平面的交 点 这种关系也称为中心射影或透视投影 p e r s p e c t i v ep r o j e c t i o n 上述透视投 影关系可表示为 r x 0 0 推 01 o j l l 2 3 阳圈 f 吒0 i o 口y l00 i x w y z w 1 2 4 其中 口 口y 由于口 口y 甜o 只与摄像机内部参数有 关 称这些参数为摄像机内部参数 r 和f 由摄像机相对于世界坐标系的方位决 定 称为摄像机外部参数 2 1 2 3 非线性模型 由于实际的镜头并不是理想的透视成像 而是带有不同程度的畸变 使得空 间点所成的像并不是在线性模型所描述的位置 而是在受到镜头失真影响而偏移 的实际像平面坐标 譬如我们经常在生活中看到的桶形畸变与枕形畸变等 都是 由于实际光线经镜头上的透镜组折射后产生偏移 在c c d 上生成的畸变图像 下面来分析一下畸变的具体来源 首先是由于组成摄像机的光学系统的透镜组不完善 造成径向畸变 其次是 由于不正确的透镜组合引起的离心畸变和摄像机装配不完善造成的薄透镜畸变 后两种畸变都包括径向畸变和切向畸变 3 1 3 2 非线性模型就是考虑了这些摄像机 畸变后的成像模型 像差畸变模型如下 i 瓯 x d 七l p 2 k 2 p 4 k 3 3 x d y d 2 k 4 x d y h y d k i p 2 也 2 k 3 x d y d k 4 x d 2 3 y d 2 叼7 1 2 o 0 l r j x y l r 矿 l 1 j o 0 0 第2 章摄像机标定 为了提高狈0 量精度 还可以将传统摄像机非线性模型中像差的参数模型修改 为下述多项式模型 3 3 疋 a o a l x d 口2 匕 口3 霹 n 4 埒 c 1 5 x d 匕 口6 x 口7 巧 口8 霸匕 口9 髟巧 口i o 叉 口l l 曙 口1 2 x a 巧 口1 3 x 2 r 口1 4 义暑巧 1 f 吮 b o 6 i x d 6 2 匕 6 3 鬈 b 4 y f 玩虬圪 6 6 霸 b t y 3 d b 8 霸兄 b g r d y 2 6 l o e 6 l l 巧 6 1 2 x d 巧 b 1 3 x d 3 巧 6 l x j 巧 p 丘 e 表示针孔模型下p 点的理想图像坐标 p 髟 圪 是由摄像机非线 性畸变引起的偏离尸 托 艺 的实际图像坐标 式 2 5 2 6 中 以 以一x d e 一匕 瓯 或为坐标畸变量 k i k 2 为径向畸变系数 k 3 k 4 为切向畸变系裂1 9 1 a o a l a 1 4 a o a l a 1 4 为非线性模型下摄像机标定的内参数 2 1 3 标定方法 摄像机标定是计算机视觉领域根据二维图像获取三维空间信息必不可少的 步骤 在三维重建 目标跟踪定位和视觉监控等领域有重要的用途 摄像机标定 主要是确定摄像机内外参数的一个过程 即确定摄像机的内部几何与光学参数 内部参数 和确定摄像机坐标系相对于某一世界坐标系的三维位置和方向关系 外部参数 这个求解参数的过程被称为标定 3 制 精确标定摄像机内外参数对于提高图像测量精度具有重要的意义 无论是在 图像测量或者机器视觉应用中 摄像机参数的标定都是非常关键的环节 其标定 结果的精度及算法的稳定性直接影响到摄像机工作得结果的准确性 因此 做好 摄像机标定是做好后续测量工作的前提 提高标定精度也就成了测量工作的重点 所在 确切的说来 摄像机标定就是用不同的算法来解出上一节中建立的摄像机模 型中各个参数 摄像机标定有多种方法 广义上来说摄像机标定可分为三种 传 统标定方法 直接线性变换法 d l t 两步法 t w o s t a g e 机器人手眼定标和 自标定方法1 3 引 2 1 3 1 传统标定方法 d l t 直接线性变换方法 3 q 需要使用具有高精度标准点的3 d 标定参照物 通过建 立标定参照物上坐标已知的标准点与其图像点间的对应关系 通过直接线性求解 来得到摄像机的内外参数 由于直接线性求解没有考虑到摄像机成像过程中图像 畸变的问题 为了提高精度 直接线性变换添加了非线性畸变的部分 并使用非 1 3 第2 章摄像机标定 线性的手段求解 针对3 d 立体靶标上的特征点 用线性模型首先计算出线性模 型的参数作为近似初值 再用迭代的方法计算精确解 是非线性模型摄像机标定 较为有效的方法 2 1 3 2 两步法 t w o s t a g e 从摄影测量学中的传统方法可以看出 三维空间坐标与二维图像坐标系的方 程一般说来是摄像机内部参数和外部参数的非线性方程 如果忽略摄像机镜头的 非线性畸变并且把透视变换矩阵中的元素作为未知数 给定一组三维控制点和对 应的图像点 就可以利用线性方法求解透视变换矩阵中的各个元素 严格来说 基于摄像机针孔模型的透视变换矩阵方法与直接线性变换方法没有本质的区别 t s a i 3 7 给出了一种基于径向约束的两步法 t w o s t a g e 标定方法 是摄像机 标定的一项重要成果 该方法的第一步是利用最小二乘法解超定线性方程 给出 外部参数 第二步求解内部参数 如果摄像机无透镜畸变 可由一个超定线性方 程解出 如果存在径向畸变 则可结合非线性优化的方法获得全部参数 该方法 计算量适中 精度较高 平均精度可达1 4 0 0 0 深度方向精度可达1 8 0 0 0 一般来讲 3 d 立体靶标的制作成本较高 且加工精度收到一定得限制 张 正友 3 8 1 基于2 d 平面靶标提出了一个新的摄像机标定方法 z h a n g 方法 在该方 法中 要求摄像机在两个以上不同的方位拍摄一个平面靶标 摄像机和2 d 平面 靶标都可以自由的移动 不需要知道运动参数 在标定过程中 假设摄像机内部 参数始终不变 即不论摄像机从任何角度拍摄靶标 摄像机内部参数都为常数 这种标定方法既具有较好的鲁棒性 又不需昂贵的精制标定块 很有实用性 但z h a n g 方法在进行线性内外参数估计时 由于假定模板图像上的直线经透视投 影仍然为直线 进而进行图像处理 获得亚像素精度的点坐标实际上引入了误差 所以在广角镜畸变比较大的情况下校正效果偏差比较大 2 1 3 3 机器人手眼定标 在机器视觉应用到机器人技术时 经常将摄像机固定在机器人手臂的末端执 行器上 其目的是当机器人的末端执行器 即机器人的手爪 在执行任务时 如 抓取工件 由摄像机测定末端执行器与工件的相对位置 这种确定视觉传感器 与末端执行器坐标系问的位姿关系方法一般称之为手眼标定 3 9 手眼标定是机器人学研究与机器人应用中一个热点问题 是机器人基于视觉 的自主行为规划与控制 主动视觉 视觉监控作业及机器人辅助3 d 测量与重构 等科研与工程应用领域中的关键技术 1 4 第2 章摄像机标定 2 1 3 4 自标定方法 前面几个小节介绍的几种标定方法有一个共同的特点 即需要在摄像机前放 一个已知二维或三维物体 即标定靶 在标定过程中 利用标靶上一些图形点的 已知三维坐标和它们的图像点坐标 来计算摄像机的内外参数 但是在一些特定的应用场合 摄像机的位置可能也根据周围环境而移动 而 且摄像机的焦距也需要经常调节 因此 在每次调节后都需要对摄像机的内外参 数进行重新标定 若每次标定时都在摄像机前放置标定靶 但是这种情况在很多 场合中是不方便甚至是不可能的 这就需要采用摄像机自标定 s e l f c a l i b r a t i o n 方 法 自从1 9 9 2 年f a u g e r a s 4 0 1 首次提出摄像机自标定的思想后 摄像机自标定及 其相关研究已成为目前计算机视觉领域的研究热点 目前已有的自标定技术大致 可以分为几种 4 l 利用绝对二次曲线和极线变换性质解k r u p p a 方程的摄像机自 标定方法 分层逐步标定法 基于二次曲面的自标定方法 基于主动视觉的摄像 机自标定技术 4 2 j 上面提到的经典标定方法和主动视觉中的标定方法都是利用到已知物面标 志点坐标或摄像机运动的旋转平移矩阵等 对于物面场景任意 摄像机运动未知 的最一般的情形 这两种情况是不合适的 同传统标定方法相比 自标定方法不 需要使用标定靶等 仅根据图像间图像点之间的对应关系就能估计出摄像机的内 外参数 摄像机自标定技术主要应用于场景未知和摄像机任意运动的一般情形 下 利用摄像机在运动过程中周围环境的图像之间的对应关系对摄像机进行标 定 主动视觉中的标定方法和摄像机自标定方法需要移动摄像机 在精密测量系 统中 这两种标定方法所能够达到的测量精度不如经典标定方法 在一般的工业 精密测量中 经典标定方法应用范围较广 本文的摄像机标定的研究也是基于传 统的经典标定方法展开的 2 2 三维点数据的获得 在上节所描述的标定方法中 经典标定方法精度最高 本人所在的实验室通 过对各种标定方法进行比较 最终也是采用了这种标定方法 但是这种方法需要 确切已知标定点的三维坐标 一般情况下 人们使用精度较高的三维靶标来进行 标定 但是三维靶标制作复杂 而且成本较高 所以人们普遍利用精度较高的二 维靶标来模拟三维靶标 1 5 第2 章摄像机标定 2 2 1 二维靶标 在实验室现有的测量装置中 对c c d 摄像机的标定 我们采用的是主动发 光的光点阵列标定靶 如图2 3 所示 1 5 r i i i x i i i i i i i i z i i f 芷l j 1 i j 7 5 l j j 2 5 卜 1 nl f 畜 亩 高 高 1 打白 图2 0 平面标准靶上的光点阵列示意图 标定靶的结构如图2 4 所示 在遮光的玻璃标定靶上通过半导体刻蚀工艺加 工出透光的圆孔阵列 相邻圆孔之间的距离为5 毫米 且横竖两个方向正交 圆 孔的位置精度达到1 微米 在标定靶的背面用面型l e d 照明 通过透光的孔 在板的正面形成2 9 x 2 9 的光点阵列 标准靶的有效尺寸为1 4 0 毫米x 1 4 0 毫米 7 透光的孔 睽筻三扳 图2 4 点阵列标定靶结构 2 22 利用二维靶标模拟三维靶标 本人所在实验室就是利用在上节所述二维阵列标准靶来模拟3 d 立体靶标 得到相应的具体实验过程如下 在获得三维空间点的过程中 关键问题是要利用2 d 光点阵列标准靶来构造 3 d 标定靶 因此为方便起见 如图2 5 所示 在实验平台上 放着两个高精度 的方箱 其平面度可达o0 1 m m 其中方箱1 固定在平台上 方箱2 紧靠在方箱 1 上 方箱2 上安装了两个二维阵列标定靶 标定靶l 对应着标定用的摄像机 第2 章摄像机标定 这样方向2 就可以靠着方向1 进行直线移动 图2 5 二维标定靶精确移动示意图 建立世界坐标系o 一x y z 将世界坐标系的原点坐标0 移动到与标定靶 1 左上点与之重合 这样 和h 坐标分别于标定靶1 的x 轴y 轴向重合 方箱 2 沿 方向在平台上移动 由c c d 摄像机测量标定靶2 的位置 可以得到方箱 2 在z 方向上的移动距离 这样标定靶1 的每个移动位置z 都能被标定靶2 测量 得到 于是标定靶的几个不同位置就等同于3 d 立体靶标 分别对这几个位置的 标准靶进行图像采集 然后用光重心法对图像进行处理 就可以得到标定靶每幅 图像所有光点的位置 如图2 6 所示 1 7 第2 章摄像机标定 位置 位置勿 图2 6 二维标定靶模拟的3 d 数据示意图 2 2 3 单相机多项式拟