（材料加工工程专业论文）利用立体视觉和图像识别的3d测量技术研究.pdf

论文摘要 反向工程是2 0 世纪8 0 年代末期发展起来的逆向产品设计思想 是根据现有的产品模 型 利用数字化测量设备获得实体数据 然后对这些数据进行拟合 构建一个完整的c a d 模型 继而将这些模型和设计表征用于产品的分析和制造 并且可以通过对重构模型特征参数的调整 和修改来达到对实物模型的逼近或修改 并可据此再设计后制造出新的产品 反向工程中 最重要的一个环节就是实际物体的3 d 测量 与采用相移法和激光点扫描方 法的测量仪器相比 论文研究了一种利用c c d 数字成像技术 图像识别理论和立体视觉原理的 3 d 测量仪器 获得了一个较好的解决方案 尤其在适应范围 测量精度和测量速度上有很大的 比较优势 本文首先对要研究的利用立体视觉和图像识别的3 d 测量仪器的物理模型进行了构建 在 研究了相关理论的基础上 就测量系统的模块划分 研究方法 误差分析理论 测量范用等进 行了详细的讨论 给出了系统的较为完整的物理解释 本文在建立了系统物理模型的基础之上 就系统的数学模型和核心算法进行了系统的论 述 针对镜头成像模块 系统参数校正和测量算法模块给出了相应的数学模型和误差分析模型 针对上述构件的数学和物理模型 论文给出了两个事例进行验证 一个计算机模拟的事例 个是实际测量的事例 通过对实例的计算我们用事实证明了论文所构建的数学和物理模型的 正确性 论文就以下6 个问题的讨论得到了初步的成果 一是从体系上验证了利用立体视觉和图像 识别原理进行3 d 测量工作的的可行性 二是提出了将类及对象概念用于针对设备项目的研究 管理分类办法 改进了研究工作的效率 三是提出了精度分析的信息量概念 并将之初步运用 于实践 对使用数字c c d 相机进行测量工作时的精度的理论分析具有比较重要的意义 四是解 决了条纹投影测量时取样和计算的理论和算法问题 给出了求解直线的物理解释 五是解释了 条纹投影编码的原理 提出了相应的条纹命名算法 方便了取样点的空间组织和预处理 六是 解决了校正板的识别算法问题 并给出了一个可以实际应用的校正板的例子 对本课题来说 我们的研究工作虽然己走出了坚实的一步 却只是一小步 还有大量的工 作需要后来者完成 首先是各个模块的详细划分和接口的定义与实现 其次 各算法的最优化 控制模块和操作界面 还有系统误差的全面详细地分析等等 在论文中给出了各方面的将来的 研究方向 关键词 3 d 测量 投影测量 反向工程 投影编码 立体视觉 a b s t r a c t r e v e r s ee n g i n e e r i n g i sad e s i g nm e t h o do r i g i n a t e di n1 9 8 0 s w h i c hu s e sd i g i t a l i z e d m e a s u r i n g e q u i p m e n ta n dt h e nm e a s u r e sc u r r e n t e x i s t e dp r o d u c tm o d e lt oa c q u i r ea n df i te n t i t yd a t a a n dt h e ns m l c t u r eac o m p l e t ec a dm o d e l t h e r e a f t e ra l lt h e s em o d e l sa n dd e s i g nf e a t u r e sa r eu s e d i nt h ea n a l y s i sa n dm a n u f a c t u r i n go fp r o d u c t n e wp r o d u c t sc a nb em a n u f a c t u r e db yt h ec a d m o d e l w h i c hi sb a s e do ua d j u s t i n ga n dm o d i f y i n gt h ep a r a m e t e r so ft h er e c o n s t r u c t e dm o d e lt o a p p r o x i m a t ea n dm o d i f yt h ee n t i t ym o d e l i nr e v e t s ee n g i n e e r i n g t h e3 dm e a s e n to fr e a lo b j e c ti st h em o s ti m p o r t a n tp r o c e s s d i f f e r e n tw i t ht h em e t h o do fp h a s es h i ro rt h em e t h o do fs c a n n i n gl a s e rp o i n t s am e a s u r e m e n t m e t h o da n di t se q u i p m e n t w h i c hu t i l i z eh ec c dd i g i t a lc a m e r at e c h n o l o g y i m a g er e c o g n i t i o na n d 3 dv i s i o nt e c h n o l o g y a r er e s e a r c h e do nt h i sp a p e r t h e r e f o r e as o l u t i o nt h a th a st h er e l a t i v ee d g e s i nm e a s u r i n gs p e e d a c c u r a c y a n da p p l i c a b i l i t yi sa c h i e v e d f i r s t t h ep h y s i c a lm o d e lo ft h e3 d m e a s u r i n ge q u i p m e n tb a s e do n3 dv i s i o na n di m a g e d r e c o g n i t i o ni sc o n s t r u c t e di nt h ep a d e r b a s e do nt h er e s e a r c ho ft h er e l a t e dt h e o r i e s t h em o d u l e d i v i d i n g r e s e a r c hm e t h o d a n dt h ee r r o ra n a l y s i st h e o r ya r ed i s c u s s e di nd e t a i l s t h e nac o m p l e t e e x p l a n a t i o ni sp r o v i d e ds y s t e m a t i c a l l y o nt h eb a s i so ft h ep h y s i c a lm o d e l t h em a t h e m a t i cm o d e la n dc o r ea r i t h m e t i ca r e s y s t e m a t i c a l l yi l l u s t r a t e d a n dt h ea c c o r d i n gm a t h e m a t i c a lm o d e la n da e r oa n a l y s i sm o d e lf r ot h e m o d u l e so f c a m e r ai m a g i n g s y s t e mp a r a m e t e ra d j u s t i n g a n dm e a s u r i n ga r i t h n m t i ca r eg i v e n i nt h ep a p e r t w oe x a m p l e s o n eo fw h i c hi sb yc o m p u t e rs i m u l a t i o na n dt h eo t h e ri sb yt h e e x p e r i m e n t a ls h o o t e r ea l s oc i t e dt ov e i l f yt h ea b o v em a t ha n dp h y s i c a lm o d e l s b yt h ec a l c u l a t i o n o f e x a m p l e s t h ec o l 3 i e c t n e s so f t h em a t h e m a t i c a la n dp h y s i c a lm o d e l i sp r o v e d t h ea u t h o rm a k e st h ep r o g r e s si nt h ef o l l o w i n gs i xp r o b l e m s f i r s t t h ef e a s i b i l i t yo f u s i n g3 d v i s i o na n di m a g er e c o g n i t i o nt ot a k e3 dm e a s u r f y m e n ti sp r o v e d s e c o n d t h ec o n c e p t so fc l a s sa n d o b j e c ta r ea p p l i e di n t ot h ec l a s s i f i c a t i o no fe q u i p m e n tt oi m p r o v et h ee f f i c i e n c yo f r e s e a r c hj o b t h i r d t h ec o n c e p to fm e a s u r i n gi n f o r m a t i o nq u a n t i t yi si 1 1 扛o d l l c e di nt h ea c c u r a c ya n a l y s i sa n di s a p p l i e di np r a c t i c e c o n t r i b u t i n gt ot h et h e o r e t i c a la c c u r a c ya n a l y s i so f m e a s u r e m e n tb yd i g i t a lc c d f o u r t h t h ep r o b l e mi ns a m p l i n ga n dc a l c u l a t i n gi nt h em e a s u r e m e n to f m a r k i n gp r o j e c t i o ni ss o l v e d a n dt h ep h y s i c a le x p l a n a t i o ni ss o l v i n gl i n ei sp r o v i d e d f i f t h t h ep r i n c i p l eo ft h ec o d i n gf o r m a r k i n gp r o j e c t i o ni se x p l a i n e d a n da na c c o r d i n gm a r k i n gp r o j e c t i o nn a m i n ga r i t h m e t i ci sp r o v i d e d i nt h eo r g a n i z i n go f t h es a m p l i n gp o i n t ss p a c ea n dt h ea n t i c i p a t i o n s i x t h t h er e c o g n i t i o na r i t h m e t i c f o ra d j u s t i n gb o a r di ss o l v e da n daf e a s i b l ee x a m p l ei sp r o v i d e d a l t h o u g ht h er e s e a r c hh a sm a d et h ef i n np r o g r e s s al o to fw o r kh a st ob ed o n eb yt h e f o l l o w i n gr e s e a r c h f i r s t a l lm o d u l e sh a v et ob ed i d d e di nd e t a i la n dt h ei n t e r f a c e sh a v et ob e d e f i n e da n di m p l e m e n t e d s e c o n d a l la r i t h m e t i ch a v et ob eo p t i m i z e da n dt h eo p e r a t i o n a li n t e r f a c e h a st ob ed e s i g n e d f i n a l l y t h ee r r o ro f t h es y s t e mh a st ob ea n a l y z e di nd e t a i l k e y w o r d s 3 d m e a s u r e m e n t p h o t o g r m n m e t r y r e v e r s ee n g i n e e r i n g p r o j e c t i o nc o d e 3 d v i s i o n 上海交通人学硕士学位论文 目录塑性成形工程系 上海交通大学 学位论文原创性声明 本人郑重声明 所呈交的学位论文 是本人在导师的指导下 独立进 行研究工作所取得的成果 除文中已经注明引用的内容外 本论文不包含 任何其他个人或集体已经发表或撰写过的作品成果 对本文的研究做出重 要贡献的个人和集体 均已在文中以明确方式标明 本人完全意识到本声 明的法律结果由本人承担 学位论文作者签名 家幸毒讳 日期 n 3 年1 月l 毕日 上海交通大学硕士学位论文目录 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留 使用学位论文的规定 同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版 允许论文 被查阅和借阅 本人授权上海交通大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索 可以采用影印 缩印或扫描等复制手段保存 和汇编本学位论文 保密d 在土年解密后适用本授权书 本学位论文属于 不保密口 请在以上方框内打 学位论文作者签名 哧碎林 e t 期 马年1 月j 午日 指导教师签名y 瓦砷 日期力 年交月7 驴 上海交通大学学位论文答辩决议书 所在学科 申请者宋林林材料加工工程 专业 论文题目利用立体视觉和图像识别的3 d 测量仪 答辩日期2 0 0 3 年1 月1 7 日地点上海 答辩委员会成员 姓名单位职称签名 李明辉上海交通大学 教授 争阶乏军 邢渊上海交通大学副教授 新蚺f 何丹农上海交通大学高工 辙 评语和决议 宋林林同学的硕士学位论文 利用立体视觉和图像识别的3 d 测量技术研究 针对一种可以应 用于反向工程中的结合了数字成像 计算机图像处理和摄影测量学的3 d 测量技术进行了系统的论 述 建立了比较完善的应用此技术的仪器的物理模型和基本的数学模型 针对数学模型的各模块给 出了基本的算法 并对此框架进行了实验验证 证明了所建立的物理模型和数学模型的正确性 本篇论文内容丰富 结论正确 是一篇比较好的硕士学位论文 作者在答辩中讲解清楚 回答 问题正确 答辩委员会一致同意宋林林同学通过硕士学位论文答辩 并建议授予其工学硕士学位 金导艇 秘季 趁31 d 日 捌用立体褫觉和鹜像识别斡3 d 测量技术研究 研究课鞭戆撰关鹜曩 第一章绪论 巍精神到憋鹱秘由秘矮至8 耩享枣一壹是入类存在方式豹淫个运动穷囱 跌零矮上游 套类人逡熊 仪器没器郭是人瓣各器宦螅功能魄延长 帮助人们认识和改遗世器 馘更快速发鲍获敷和消耗瓷源 工程技术九曼鹣静秘努力葵不为就 塞姨a 戆智力工具一诗算规发骥淤来 人豹这静熊力获霉了藜 所未青数提衰 这冠撵也袁理在这耀个方瓣 由慕羚新毂怒法到诗舅极没诗摸型再到实黪鲍产菇 这是麸糖孝孛到物满戆铡予 由某个馨褒窦体 虱3 封莱样数瓣点 捌拯象诧搂爨 这楚觚携痿猁耱 亳枣懿铡予 我辜骚我戆同攀嚣j 裁委谯致力子遮转 敞貔质到糍糖 静傻器设冬戆磷究 凌 l 当然盎窍 个专她诧懿褒称一反翅王翟 下嚣将就疲淘工程嬲鏊义彝悫涵进行麓单戆夯粥 1 夏翔芝程驰套绍 程传统的产赫设计制造过程中 薪产撼设计起源于由功能需求产憋概念设计 这熬澄计通过工 程图纸竣一些模掇来表达 然后锘 定出船王工艺计划 最终遵过下其靼设番制造出产箍 但是疆藏 在许多蜷况下 一些产晶并非来自于设计搬念 丽魁来自予鹦外一些产品或实物 要程只有产鼎原 型或者安物模型 嚣没有产晒图的祭 牛下避抒京4 造 铡姬 巢焦流线型物体 入遗嚣宦 雹术雕鏊慧 模具和汽车零抟的物理模裂等 在这种情况下 酋先要对秘 誊避孬数字纯测量 在螬蓦麓 上稳造c a d 摸燮 一冀c a d 摸婆 建 立后 w 以对宦避行后序的操作 如模型修改 零怙设计 稳艰元分耩 误差矜析 数控加工搬令 生成等 盎越产生了反囱工程 r e v e r s ee n g i n e e n g r e 瓣概念 与旋向 二糨对应 把通常起源予概念设计鲢产品设计制造过程称为芷向工程 f o r w a r d e n g i n e e r i n g f e f e 与r e 静浚稷熟萤1 1 匿1 正商下穗流程露 f i 9 1 w o r k f l o w o f f e 利用立体视觉和图像识别的3 d 测量技术研究 图i 2 反向工程流程图 f i 9 1 2 w o r kf l o wo f r e 2 0 世纪9 0 年代以米 科技发展和激烈的市场竞争对产品研制开发的时间和产品的更新换代速 度提出了越来越高的要求 即产品多样化 外形美观 更新换代周期缩短 各个研究开发部门纷纷 运用新的设计制造技术来满足市场需求 其中在产品设计制造领域中广泛采用了反向工程和快速原 型制造 r a p i d p r o t o t y p i n g m a n u f a c t u r i n g r p m 方法来缩短产品研制时间 反向丁程是2 0 世纪8 0 年代末期发展起来的逆向产品设计思想 是根据现有的产品模型 利 用数字化测量设备获得实体数据 然后对这些数据进行拟合 构建 个完整的c a d 模型 继而将 这些模型和设计表征用于产品的分析和制造 并且可以通过对重构模型特征参数的调整和修改来达 到对实物模型的逼近或修改 并可据此再设计后制造出新的产品 以满足后序的要求和产品更新速 度越来越快的耍求 广义反向 e 程包括形状的几何反求 工艺反求和材料反求等方面 目前国内外的研究主要集中 在几何反求上 它是产品仿制 改型设计乃至新产品开发中实现快速 精确的绘制和模型重构的重 要手段 从图1 2 中可以看出 反向工程作为一种新颖的设计过程 它从实物模型开始到最终的加t 制 造可以有两条途径 经过数字化后产生c a d 模型 由此模型作为信息的载体完成后续的分析和制造 这是在 反向工程中最常用的一种途径 这种途径的优点是生成后的c a d 模型的形面描述完备和精确 有 利于后期的调整和修改 而且可以直接借助现有的各种商业软件的成熟功能实现c a e c a m 等 但是这种途径也有非常明显的缺点 通常构建c a d 模型的工作量非常大 而且效率比较低 但是 在有实物存在时 这种途径是非常实用的 经过数字化后 跳过c a d 模型 直接由数字化模型产生分析模型 c a e 或制造模型 c a m 进行加j 二制造 这种方法的优点是避开了构造c a d 模型的复杂性 提高生产效率 但缺 点是对于数字化的要求比较高 要确保加工过程中所接收的数字点云信息完备 比如无噪声点 点 分布均匀等 同时由于没有c a d 模型 难以进行产品的修改 再设计 但就目前的研究来看 第二种途径局限在某些领域 更加偏重于生产效果 往往是针对特殊的 需求 而绝大部分的研究均集中于如何构造良好的c a d 模型 而反向工程的c a d 模型的建立正是 反向工程区别于正向上程的关键 所以第一种途径应该是考虑和研究的重点 2 利用立体视觉和图像识别的3 d 测量技术研究 1 1 2 三维坐标测量仪器 上小节述两条路线中的任何 条都包含 数字化 这一环节 这是相关测量仪器需耍完成的任 务 并且在其它应用领域 无论是产品设计 质量控制或过程控制 也都需要进行大量的测量工作 这些时候 我们不只需要在一维或两维尺度上的测量数据 甚至还需要三维或四维的物体空问数据 如果包括时间轴的话 对相应的测量仪器或测量手段都有更高的要求 随着技术的发展 能够完 成这些任务的设备逐一出现 就三维静态物体空间数据来说 已有了激光3 d 扫描 机械式3 d 坐标 图1 3 三维测量技术的分类 f i 9 1 3 c l a s s i f i c a t i o no f 3 dm e a s u r i n gt e c 测量仪 相位投影光3 d 测量仪等各种各样的实现方法 见图1 3 而不同的实现方法所适合的应 用领域 所能达到的测量精度 所需耗费的各种成本等各不相同 我们就此列出表1 1 以做比较 从表上可以看出 各种测量方法的优点缺点都比较明显 没有十项全能的测量方法 各种测量方法 的发展和介绍将在1 2 1 节中详细介绍 表1 l 各种测量方法的比较陋i t a b l e1 1 c o m p a r i s o no f d i f f e r e n t k i n d s o f m e a s u r i n g m e t h o d s 测量方法精度速度数据排列能否测内轮廓形状限制材料限制 成本 受测头大小 三坐标测量仪高低散乱否硬材料高 限制 受测头大小 接触式扫描仪高较低扫描线 否 硬材料较高 限制 要求表面较 光栅法较低 高 栅格状 否无低 平坦 利用市体视觉和图像识别的3 d 测量技术研究 表面不能过 激光三角形法较低呙与光源形状有关否无较高 丁 光滑 c t 法低较低 截面线 能无 无很高 自动断层扫描 法 较低较低截面线能无无 较高 立体视觉法 较高 高 栅格线 否无 无低 1 1 3 论文要研究的仪器介绍 研究课题的意义 根据上面的介绍 测量仪器在反向上程中的重要性是十分明显的 国内外已经有过的大量研究 也是一个证明 与采用相移法和激光点扫描方法的测量仪器相比 论文研究了一种利用c c d 数字成 像技术 图像识别理论和立体视 觉原理的3 d 测量仪器 获得了 一个较好的解决方案 尤其在适 应范围 测最精度和测量速度上 有很大的综合优势 表1 1 中最 后一行是相关性能的总结 随 着c c d 器件和投影设备的发展 将来也会有很好的发展前景 适应范围方面 如图1 4 所 示 是论文将要讨论的仪器的外 形结构草图 仪器由四大部分 镜头组 2 个 投影设备 计算 图1 4 测量仪器草图 机 支架组成 从图中可以看出 f g1 4as k e t c hd r a w o f t h i se q u i p m e n t 机械结构上 结构较为简单 所 以方便搬运适合在多种场合工作 适应在工业现场和流水线上安装 场地适用性较好 对测量环境 没有苛刻要求 测量精度方面 由于采用一对高信号噪声比的数字摄像机 在信息量上比单镜头的 相移法和激光点扫描要更多 由于利用了已成熟发展的摄影测量学的测量原理 计算精度也有很大 提高 测量速度方面 由于拍摄范围较大并采用了参考点等办法整合各角度的测量 测量速度在众 多方法中也是很快的一种 国外相关设备已经出现 但其关键技术尚处于保密状态 国内的研究大量集中在单镜头的相移 法等方面 我们希望通过我们的研究能够掌握这种测量方法的核心技术 4 荦 建立僖撬熬鞫瑶黎浚澍瓣3 d 溅蘧技术研究 1 2 课簇的研究内容襁研究悉路 1 2 1 国内外3 d 测纛技术研究的历变和囊获 溅量方法豹分类 稷摆溯量是嚣鹱坏工镗 嚣薰进程分为嚣薮坏溯链释破蕻溺量 破坏 生嚣繁 主要是自动断层扫描法 谈技术采用逐层去除材料与邂层扫描相结合的方法 快速准确地测量工件 海井耱簿足寸 英特点跫爵娃瓣量肉轮廓鼗搽 秀虽毅据穰度慧 片屡最夺可逸0 0 1 m m 非破坏性测量根据测最设备与测件之间的作用方式分为接触式测量和非接触式测量脚 目前最 常角的裁皴式瓣豢系统是三坐标瓣蘩仅 c o o r d i n a t em e a s u r em a c h i n e c m m 窀是耧霜三维力一 位移传感器实现测头在工作表面上的快速移动 记泶测头的挫标值 旗优点是不受物体表面颜色 投光照的隈涮 霹物体速菇也箍产警准确的溯董结果 缺点是由予测美豹限翻 碍麓丢失粱些测头 不可到达的细节数据 不可测量某贱测头不可触及的软材料 易造成测头和物体的磨损 另外 测 麓速度受至 运魂橇潮的f l 翻 瓣虽的数据没鸯翳显静籍翳关系 数据毽往争敬 t 簿弼 鹜曹蓍有诲多 实用系统使用c m m 接触式扫描仪也是反向t 程中使用较多的接触式测量设备 与c m m 相比 萁数据戳扫描线的方式组织 徐椿簧鞋 激兔测量系统低 上海交逶大学国家横暴瓣究孛心鏊静获事 的反向工程研究项目 使用的是接触式扫描仪 瑛 图r e n i s h a wi n c 的c y c l o n e 扫描仪 菲接辍式瓣量又分为主动式测鬣和被动式灞董 主动式系统中或豫浚备发出一束信号 光源或 声源 通过接受从物体袁耐反射回来或穿透物体的倍号生成图像 被动式测量没有信号发出 最常 糟主动式测量是激免三角形涮量法 基本原瑗是乖j 用激光源投射封被测波面 反射光在图像传惑器 上成像 按照预设计的三角彤光路原理得到被测点的位置坐标 其特点是可以实现高速测量 光源 澎状可黻蹩光束 光带 多条光带 依次其裔更高酶澜量速度 与c m m 相浇 冀特点题研醵实现 高速测量 其缺点是对于表面粗糙度 漫反射率敏感 存在阴影效应 由物体阀或物体备部分遮挡 产生 弱 种常用的激竞测量法楚光栅法 蔟本原瑗楚把光栅投影到被测表面 光栅受剥渡溯表藤 旖度调制发生变形 通过解调得到被测表面的信息 篡优点是测量范围大 速度离 成本低 易于 蜜现 缺点是精度不高 一般只能测邂起伏不犬的表蕊 德国的e o s c a n 系统采用了光栅法 应用 于快速制造系统 c t 方法特点是可以获得内外轮廓的数据 且不破坏f 件 但精度不高 最近发展 起来的立体视觉法 基本原理楚乖 用一部 举像 或多部 多像 摄像机对物体进行拍摄 通过立 体视觉原理对平面相片中包含的立体信息进行解读 测得物体表面点 其优点是结构简单 便于穆 葫 数据采集快速 便捷 操作方便和成本较低 具嗡在线 安时三维检测的潜力 尤其适合丁 大 趔工件轮脯的检测 德国g o m 公司的a t o s 和t r i t o p 没各麟是利用立体视觉进行量测的 被动法非接触测量系统由物体辐射信号或物体表酾反射信号生成图像 基于焦距 r a n g ef r o m 妫c 测距法 全息法属予被动式测量系统 全息法静先由不嬲方向产生两幅图像 然届找出两幅 阉像中相同点的联系 再由此产生被测点的蹶离信息 此方法难点是怎样匹配两幅图像中的相应点 5 利用立体视觉和图像识别的3 d 测量技术研究 虽然此方面已有些算法 全息法目前很少用于反向工程 基于焦距测距法利用透镜聚焦的原理进行 测量 与照相机自动聚焦的技术类似 被动式测量目前在反向工程中使用较少 随着计算机类学科的兴起和发展 现代的曲面检测技术的研究集中于非接触的光电三维快速检 测方面 近年来出现的主要的非接触的检测方法有激光扫描法 结构光法 摄影测量法 p h o t o g r a m m e t r y 以及光学传感器法和工业c t 法 1 激光扫描法 根据光源的特点和性质可分为点式激光扫描 线状激光扫描 区域式激光扫描三种方式 激光 扫描的特点是速度比较快 但扫描精度却受到物体的材料及表面特性的影响 如光泽的镜面等 无 法获得满意的测量效果 而且激光扫描系统得价格昂贵 非一般用户可以承受 2 结构光法 所谓结构光就是具有一定特性的光源 主要有单条光栅和密栅两种形式 单条结构光的检测原 理与线状激光扫描方法相同 只是光源不同 密栅结构光检测分为面外云纹法和投影光栅法两种 面外云纹法是将密栅结构光投射到被测物体表面 由于物体高度信息的调制而使栅线发生畸变 畸 变的栅线与基准栅线干涉得到云纹图 得到的云纹图是被测表面的等高线 对此云纹图进行处理就 可获得高度信息 由于云纹图形象直观 所以得到一定的虑 h l 与面外云纹法不同 投影光栅法不 进行光学干涉 而是直接利用被调制栅线的相位畸变信息而得到形体的三维信息 投影光栅有光栅 编码法 频域处理法 相移法 时间外差法 卷积解调法几种 3 摄影测量法 所谓摄影测量 就是利用对测量物体摄影所获得的像片来求解被摄物体的空间坐标和绘制设计 图的理论 技术的测量方法 相关内容将在下一小节中详细论述 4 c t 1 c o m p u t e rt o m o g r a p h y 前面所介绍的方法有一个共同的特点是只能重构物体表面光线照得到的地方 而隐藏的地方如 内腔 空洞等则无法得到数据 c t 技术的发展恰好解决了这样的难题 c t 最早于7 0 年代出现 是 无损探测领域的重要技术手段之一 工业c t 可以在不破坏零件的情况下准确的测量出零件的内外 表面 零件的内部特征 空隙和裂缝 其测最精度可以与三坐标测量机相当 5 光学传感器法 1 该方法采用专门的光学传感器来检测物体的表面 其光学测头能够直接得到被测点与测头之间 的距离 由其工作位置得到其它两个方向上的坐标 此方法国内采用的较少 其关键技术在于光学 探头的制造 下面介绍摄影测量的相关技术发展 自1 8 3 9 年摄影技术发明以后 便应用于测量 其发展大致分为三个阶段 模拟摄影测量 解析 摄影测量 数字摄影测量 1 模拟摄影测量 6 捌霜窀俸程j l 卺和辇像识甏瓣3 d 测薰技术研究 所谓横羧摄影禊l 整 帮燕零l 瑶足辩反转豹萼謦性 摄影霹遂牲 设法接靛摄对获簿豹无数对弱名 点的两张相邻像片 保持航掇瞬间的相对状态来进行投影 此时 各同名点的摄影光线必然仍对对 穰交于建露菜耪应的缝耪点主 显然 由无鼗对辩名毙线交点缀袋憨立体禳型与掰摄建区豹疆表瑟 完全吻合 利用这一原理 德国 苏联 瑞士等国家先后制成了模拟摄影测量仪器 这一发展时期 瞧虢称为搂镞摄影粪l 警霹我 至六 屯卡年代遮释类登瓣仅器笈震鬟了璎峰 2 解析摄影测麓 电子诗箨极积计箨技术的发震 西释了解辑摄影溺蘩的薪纪元 1 9 5 7 零 美蓬大海拉瓦 h e l a v a 提出了摄影测量的新概念 就是用 数字摄影 米代替光学的 机械的或光学一机械的模拟投影 舔请数字掇彰就是年 爝计算穰实薅缝避苻共线方程斡计冀 旗霹交会被搔耪俸静空赫位置 解析溅 图与模拟测阔的主要阪别在于前者使用数字摄影方式 后者使用模拟投影方式 前者为由计算机控 割浆坐标鼙测系统 后者使孺缝竞学静 桩械静或竞学一税槭的模拟溺圈装置 前者是诈舞税辅璐 的人工操作 后者鼹完全的手j 二操作 3 数宰摄影测爨 1 9 9 6 年的维也纳i s p r s 大会上 展出了众多的数字摄影澳4 量系统 它表明数字摄影测羹已经步 入侵用簖段 所谓数字摄影测量就是醴数字影像为基磷 甭电予计算机逶纾分析和处理 确定被摄 物体的形状大小和空问位置及其性质的技术 谯数字摄影测量中 计算机不但能完成大多数摄影测 量工作 祷盈借助横式识剐瑾论 实城葺标的蠢动或半舀动识剐 如识舅 稚标和谈掰褥名点等 和 提墩 从而人大的提高了摄影测最的自动化功能 基于影像数字化仪 计算机 数字摄影测景软件 和输出设备构成的全数字佬摄影测量系统d p s f u l td i g i t a lp h o t o g r a m m e t r i cs y s t e m 是摄影测量 计 算机立体视觉 模式识别和图像处理等学科的综合成果 数字摄影测量与模拟 解析摄影测堪的区 剐在于 它处理的祗始信息不仅可以艇像片 也可以是数字化影像 同时 影像殴既技术代替了双 眼观测 实现了真正意义的自动测图 它所使用的仪器嫒终将只是运用计算机及相应的外围设备 摄影测麓从产生到现在 出三十年代的模拟摄影测鬣 至t 七十年代的解析摄影涮量 麓展至i 当 今的数字摄影测量 在很人穰艘上得蘸于计算机技术和数字图像处理技术的发展 随着数字摄影的 麓膜 由影像扫描仪 计算机 数字摄影测量软件及相关的输出设备构成的数字摄影钡 量系统 d p s 必将取代传统的测量仪器 数字他的 三维的 动态的 多尺度的 实时戏准实时的数字时代 必 将取代模拟的 静止的 固定 e 例尺的二维平丽的纸介质测绘产黼的时代 特别是黼络技术和虚拟 现实技术的发展 为实现空间数据的可视化和广泛应用提供了强礴力的 觅面向i q j 户的工具和途径 1 2 2 研究内容和研究思路 作为这个课题的鹅一个研究生 论文设定了下面的研究研究思路和目标 1 完整翡饺嚣瓣镌理模整莘瑟工嚣滚程静建立 需要蒡 竞学袋像派瑶 c c d 数摧获取理论 授 利用立体视觉和图像识别的3 d 测量技术研究 影测量方法 数据的分析和计算 及部分曲面拼合为完整曲面等一系列问题进行详细的分 析说明 原理理解阶段 2 完整的数学模型的建立 对于各个物理模块间的数据流进行分析 即对光学成像数学模型 光栅编码方法 三维数据的计算等进行数学推演及模拟 编写部分模块的验证程序 进 行模拟数据的验证 3 实验的验证 由原形机或搭建的验证机获取数据并计算 以检查上述任务的完成情况 4 误差分析的基本分析 得到此测量系统中误差产生的原因 对误差进行初步的理论分析 5 在了解仪器系统上述原理的基础上 对系统的研究模块进行划分和编制 初步建立本课题 的研究体系 以方便将来的研究工作 利用立体视觉和图像识别的3 d 测量技术研究 2 1 仪器的工作原理 第二章测量仪的物理模型 挚量t 三 蕊 i 哥 c c d l 透镜组1 b 镜蛆2 c c d 2 图1 3 立体视觉原理 f i g i 3p d n c i p l e o f 3 d v i s i o n 对于单镜头的一个c c d 来说 每次成像的过 程相当于将物点的三维坐标变量转换为c c d 上的 两维坐标变量 由图3 可以看出点的x y 坐标方 向上的差异都会影响到c c d 的数据的获得 所以 如果有第二个c c d 来获得更多的数据 利用摄影 测量的原理 经过计算 就可以得到三维坐标的 完全信息 对于并无可识别点的空间任意曲面来说 在曲 面上标识出可识别的点就是测鼍设备下一步的任 务 这也就是经过编码的投影光栅要做的工作 经过一定编码 次序投射的光栅在两个c c d 中的 成像具有可以被计算机所识别的明暗边界 图4 每一条明暗边界经过拟合可以得到亚相素级 精度的两维曲线 经过对两条同名曲线的计算 从而获得一系列的点坐标数据 生成点云数据 库 我们确定了如下的课题研究的目标 一是 在理论上理解这种测量方法 二是编写核心算 光栅 法并以实验加以验证 三是对测量精度进行初 步的理论估算 设备的描述 这种测量设备是基于计算机 平台的 使用了一对相同的c c d 摄像机 一 右镜头 台机械式的投影仪并由相应的支架和接口连 接起来 在需要的情况下 采用一台独立的左镜头 c c d 照相机用以参考点的预测量 相应配套有 校正板 参考点和编号参考点等腓仪器通 f i g 曼 耋詈萎 z 明a t i 过以f 步骤完成其功能 9 利用立体视觉和图像识别的3 d 测量技术研究 2 1 1 准备工作 对被测量物体进行表面处理 包括以下几步 涂布漫反射涂层 可以是哑光的白色喷漆 或其他类似的涂料 通过后面图像识别的分析 我 们将理解这一步对避免镜面高光对测量精度的影响是十分必要的 但同时这影响了测量的适应性 在测量人体或其他活体表面时相应的处理就较为复杂 在表面帖布可识别圆点 可以是如右图所示的黑地白圆点 要求在需要测量的范围内较均匀的 分布 囡为测量仪器的测量范围的限制 测量一个完整的物体表面模型需要将多次测量的部分表面 进行整合 这些可识别圆点用于整合时的定位 如果被测量的物体形体巨大 需要很多次的测量 当测量一周返回起始位置时 由于不可避免 的累加误差的影响 会出现双层数据点的情况 这时会需要通过改进测量顺序 或其他附加的测量 操作进行纠正 我的同学马军和叶森做的就是这方面的工作 2 1 2 仪器校正 在每次搬动或调整镜头角度 焦距等操作后需要进行系统参数的校正 对系统所配的以知参数 的参考板进行校正操作顺序要求的拍摄 获得系列校正图像 然后计算机对所拍摄的图像进行相应 处理 获得镜头的三个内方位参数 数个误差校正参数 依系统要求确定 和两镜头间的六个外方 位参数 2 1 3 测量 将被测物体放在测量区域内 进行一系列的投影 同时左右镜头记录下相应的图像数据 对所拍摄的图像进行分割 识别 拟合等计算处理 通过左右镜头记录的数据的差异计算出采 样点的3 d 坐标位置 参考点的识别和位置确定 将目前视界的参考点识别并计算出位置 作为整合计算时的参考 调整物体位置 重复上述 完成上述测量后 获得的采样点数据以相对合适坐标系和一定格式输出成相关应用软件能够处 理的文件 1 0 物婊b y 2 z 2 亮密 溯梳 虢呦 学铀 光甜 头k鞔嘶 嘶 2 卫 图 利用立体视觉和图像识别的3 d 测量技术研究 条纹标识测量表面 简化测量过程 此时引入两个c c d 上的条纹对应方程 可证明解析可解 数值 当然可解 具体解法可见后面的 3 5 2 1 2 校正点及测量条纹成像数据分析 系统主要的工作过程中涉及到的图像主要有两种 一种是圆点图像 出现于校正过程 一种是 条纹图像 在测量过程中出现 对应于参考点的圆形 在c c d 获得的图像是一个椭圆 根据几何原理可知 其中心是一致的 我们将使用椭圆中西作为一个点目标加以分析 对应于测量时的条纹 此时物体类似于班马的形象 在c c d 上获得的图像也是条纹 我们将 条纹的明暗边界作为一个线目标加以分析 依据类球面镜头的标准成像模型 对于系统参数已知时 参考点 拍摄到的空间一点的像可以在c c d 数据采样获得两个值 空间关系确定的两个镜头可 以获得四个已知值 就空间一点的三个未知数来说 可以得到冗余的信息用于最优求解或用f 点关 系识别 这对于参考点左右对应是很重要的一个条件 类如投影条纹 空间一条边界可以在c c d 像上建立一个曲线方程f x y j o 对于空间关系 确定的两个镜头可以获得两个相关的成像方程 当在一条边界上取样时 可以获得两个数据 根据 另一条曲线的方程提供的一个已知方程共3 个己知条件 可以唯一的解出采样点的空间坐标 2 1 3 图像信息含量定义 由上面的分析我们看到 影响成像的一个重要因素就是系统的成像平面一 c c d 下面我们将 对其特性和对测量的影响进行分析 对于成像c c d 来说 可以用以下参数进行描述 一是色彩通道数 二是色彩深度 三是像素总 数 下面分别分析其性能参数对测量仪器的影响 对于用于我们测量应用的c c d 来说 一般是单通道的 即单色c c d 这时需要考虑投影光的 频谱对相应c c d 的有效性的影响 一般响应范围较宽的c c d 对投影光的适应性好 而响应范围窄 的c c d 抗干扰强 对于色彩深度 决定了我们获得图像的信号噪声比的最大值 比如说8 b i t 2 5 6 灰度 的c c d 根据信息论的定义 我们可以得出信噪比约为4 8 d b 对于一般存在噪声的c c d 来说 所获得的信 噪比只能更低 这也是选取c c do a m c l a 时主要要考察的一个参数 信号噪声比的计算方法为 2 0 l g b 口1 b 为信号水平 a 为噪声水平 很大成都上决定了我们能够得到信息数量 c c d 相机的是其c c d 成像单元的个数的综合 等于c c d 有效单元的宽度 有效高度 像素总 1 2 利用立体视觉和剧像识别的3 d 测量技术研究 数和信噪比 决定了一个c c d 相机在应用中的最大测量精度 例如一个信噪比为4 0 d b 1 0 0 0 p i x e l s 1 0 0 0 p i e x e l s 的c c d 最大一维测量精度为1 1 0 0 0 0 0 也就是说测量一米的一维物体时最 大精度是o 0 1 毫米 这是理论上的极限 在实际应用中 受到各个环节的误差的干扰 实际的测量 精度要低于这个值 我们针对测量中的应用定义c c d 相机的一维信息密度为 p p i x e l s p o w 1 0 d 2 0 其中p i x e l s 是该方向上的有效象素数量 p o w o 是指数函数 d 是色 彩深度 其数学含义是在此方向上可分辨的b i t 数 其物理含义是在光照理想的情况下最小可分辨 的黑白拍摄细节 其单位我们用b i t 代表 这将是我们进行精度理论分析时的基础 根据上述论述 我们定义一个c c d 相机的信息量为理想光照设置情况时 保证c c d 相机的动 态相应范围全都有效 所能获得的最小可分辨细节的数量 p2 p p 最小可分辨的细节 例如一个最小的黑点 在相机上的成像是近似两维正态分布的亮度函数 需要由正确的识别算法进行处理才可获得上述理想的结果 所以识别算法是影响测量精度的一个重 要原因 2 1 4 投影条纹的密度 投影条纹数量 对于测量应用 采样点的选取是基于对所拍摄的图像进行数字处理和计算机边 界识别后获得的 由于镜头的景深 投影图像的质量等原因 对于原本阶跃的条纹边界 在c c d 成 像后是斜坡边界 是灰度渐变的一条 一 一 区域 当进行图像识别拟合时 采用 卷积的办法 需要一定大小的摸板 这限制了图像上出现的能够被识别 的边界的最小像素宽度不能小于模 板 否贝u 会出现相互干扰的现象 这 样实际限制了投影条纹的数量 最大 的条纹数应该不大于图像宽度 模板 宽度 都是以像素为单位的 图像 宽度就是c c