（测试计量技术及仪器专业论文）基于视觉的复杂曲面几何形状三维测量技术研究.pdf

沈阳工业大学硕士学位论文 摘要 逆向工程是为适应先进制造技术的发展而产生的一门新兴技术，随著计算机辅助设 计与图形学的发展，逆向工程已成为c a d c a m 中一个相对独立的学科。应用逆向工程可 以实现产品的改型设计和新产品的快速响应，从而可以缩短产品从设计到制造的时间， 提高产品在市场上的竞争力。 本文研究了逆向工程关键技术之一自由曲面的三维测量技术。采用基于视 觉的光切法测量原理，在原有测量平台的基础上，对软件各个部分进行了设计。主要研 究了摄像机针孔模型的建立、测量传感器的一次标定和二次标定；图像的快速采集和处 理，在图像处理中采用了可变模板的并行细化算法、水平中值算法和重心算法提取光刀 中心，较好地解决了提取速度和精度之间的矛盾；根据旋动理论建立空问坐标变换数学 模型，进而建立其不同视角下的测量数据融合算法，生成完整的物体三维数据集合；最 后，完成了三维测量数据的可视化，对所测三维物体可实现各种角度的观察，放大、缩 小及动画效果。 测量结果表明，该测量系统在实测中具有一定的速度和精度，所测数据能够正确反 映被测物体的三维外形。系统性能稳定，结果可靠，完成了预定的设计目标。在国内自 由曲面三维测量的研究方面具有一定的学术价值和实用价值。 关键词：逆向工程，三维自由曲面，激光测量 沈阳工业大学硕士学位论文 t h er e s e a r c ho n3 dm e a s u r e m e n to ff r e ef o r ms u r f a c eb a s e do n c o m p u t e r v i s i o n t e c h n i q u e w i m t h e d e v e l o p m e n t o f c a da n d c o m p u t e r g r a p h i c s ，r e v e r s e e n 酉n e e r i n g i s b e c o m i n g ar e l a t i v ei n d e p e n d e n ts u b j e c ti nc a d c a m ，w h i c hi ss t e m m e df r o ma d v a n c e dm a n u f a c t u r i n g t e c h n o l o g y i ti sp o s s i b l et op r o d u c t s s h a p em o d i f i c a t i o nd e s i g na n dr a p i dm a r k e tr e s p o n s e ， w h i c hc a l lc o m p a c tt h et i m ef r o md e s i g nt om a n u f a c t u r i n ga n di m p r o v et h ec o m p e t i t i o no n m a r k e t i nt h i sp a p e r ，o n eo ft h ek e y t e c h n i q u e so f r e v e r s ee n g i n e e r i n g ，3 dm e a s u r e m e mm e t h o d o ff r e ef o r ms u r f a c e ，i ss t u d i e d b a s e d0 1 1ap r o t o t y p ep l a t f o r mo f3 do b j e c tm e a s u r e m e n t ，t h e s o t l v a r ep a c k a g ei sd e s i g n e do nt h eb a s i so fl i g h t - c u t 圯a 翻卫n l 饥tt h e o r yo fc o m p u t e rv i s i o n t h e s e t - u po fp i n h o l em o d e l o ft h ec a m e r a , t h eo n c ea n dt w i c ec a l i b r a t i o no ft h es e n s o ra n dt h e r e a lt i m ei m a g ec o l l e c t i o na n dp r o c e s s i n ga l ed e s c r i b e d u s i n gt h ep a r a l l e lm i 咄a n d h o r i z o n t a la v e r a g et h i n n i n ga l g o r i t h mb a s e d0 1 1t h ev a r i a b l et e m p l a t ei ni m a g ep r o c e s s i n g ，i ti s w e l ls o l v e dt h et r a d eo f fb e t w e e nt h i n n i n gs p e e da n dp r e c i s i o n b a s e do ns c r e wt h e o r y ，t h e t r a n s f o r ma r r a yb e t w e e nt w oc o o r d i n a t i o ns y s t e m si sc a l c u l a t e dt od e a lw i t ht h ed a t af u s i o ni n d i f f e r e mv i e wa n g l ea n ds y n t h e s i z et h e3 dm o d e lo fao b j e c tf i n a l l y ，t h em o d e li sd i s p l a y e d a n di tc a nb er o t a t e da ta n y a n g l e ，z o o m e d a ta n ys c a l ea n dt r a n s l a t e da ta n yd i r e c t i o n i ti ss h o w e dt h r o u g ha n a l y s i st h em s d td a t at h a tt h em e a s u r e m e n ts y s t e mc a na c h i e v ea r a t h e rh i g hs p e e da n d a c c u r a c yw i t hs t r o n gs t a b i l i t ya n df l e x i h i l i t y ，w h i c hr e a c h e s t h e e x p e c t e d t a r g e t i tw i l lp r o m o t e t h ed e v e l o p m e n to f3 dm e a s u r e m e n ti no u rc o u n t r yi na c a d e m i ca n d p r a c t i c a l k e y w o r d ：r e v e r s e e n g i n e e r i n g 3 1 ) f r e ef o r ms u r f a c el a s e rm e a s u r e m e n t 2 独创性说明 本人郑重声明：所呈交的论文是我个人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得 沈阳工业大学或其他教育机构的学位或证书所使用过的材料。与我一同 工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表 示了谢意。 签名：日期：刀咋置尸 关于论文使用授权的说明 本人完全了解沈阳工业大学有关保留、使用学位论文的规定，即： 学校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公 布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论 文。 签名： ( 保密的论文在解密后应遵循此规定) 导师签名：丝 日期：鬯! ：! 1 2 沈阳工业大学硕士学位论文 1 1 前言 全球化市场的激烈竞争对产业工业提出了更高的要求，这些要求包括大幅度削减产 品的开发周期、降低开发成本、提高产品的先进性、增加产品的客户性，它们需要有全 新的技术策略和工具来支持。在竞争激烈的全球化市场中，企业往往采用并行工程的概 念以实现对提高产品质量和快速响应周期的需求。逆向工程技术可以有效地实现这一目 标。利用这一技术可以缩短产品从设计到制造的时间，从而可以提高产品在市场上的竞 争力。 三维实体几何形状的逆向工程是逆向工程在机械设计与应用领域中的一个重要任 务。复杂的几何形状，一般称为自由曲线曲面，指的是不能用二次方程来描述的曲线曲 面。在工业产品的设计与制造中，常常会遇到诸如雕塑艺术品的复制( 如人头) 、人体 及人体骨骼( 如牙模、关节模) 的复制以及对一个已有的工业产品造型进行仿制，或仿 制出一个与其相同或相似的产品。根据已有产品进行逆向设计称为实物逆向设计，其实 质是从实物模型的三维表面测量到该实物c a d 模型建立的全过程。目前大家一致公认 从自由曲面面型测量到其c a d 模型的建立是自由曲面实物逆向工程的基础。一旦有了 c a d 模型，就可以对其进行公差分析、整体特征分析、安装和装配分析、有限元分 析、以及从模型直接到n c 加工或激光快速成型制造等等一系列的操作。 逆向工程在航空、汽车、电子、家电等行业上的应用较为突出，在美国、日本、加 拿大、欧洲等发达工业国，逆向工程技术已在上述领域广为采用。与国外相比，国内的 研究起步较晚，除一些实验室的小型软件外，自主开发的商用软件仅有浙江大学的反求 工程c a d 软件r e s o f t 和西北工业大学的实物测量造型系统n p u s r m s ，尚缺乏自主的 c a d c a m 的软件支撑。 本文主要研究基于计算机辅助技术的逆向工程技术。研究对象为产品实物，即形状 几何的逆向( 也称实物反求) ，主要应用领域为快速模具制造、产品快速原形等。逆向 工程有两个主要研究内容：一是实物原型表面数据获取技术；二是曲面构造技术。本文 沈阳工业大学硕士学位论文 具体研究前者，即三维几何形状的测量，并对已有的实用样机给出提高测量精度的方 法，为实用样机向商用机转化提供理论支持和实验验证。 1 - 2 逆向工程的概念 在产品开发和制造过程中，有许多产品最初并不是由计算机辅助设计c a d 模型描 述的，设计和制造者面对的是实物样件。为了利用先进制造技术，需要通过一定途径将 实物样件转化为c a d 模型，这种从实物样件获取产品数学模型，进而开发出同类的先 进产品的技术就是“逆向工程”( r e v e r s ee n g i n e e r i n g ) ，或称反向工程，反求工程。 广义的产品“逆向工程”的研究对象包括产品实物、软件( 图纸、程序、技术文 件) 基影像等，其最终产品除了实现形状( 几何) ，还包括功能逆向、材料逆向等诸多 方面。逆向工程的关键技术包括形状表面数字化、三维模型重建、数字化制造、逆向工 程集成等。在这一意义下，逆向工程又可定义为：逆向工程是与将实物转变为c a d 模 型，进而制造出同类新产品相关的数字化技术和几何模型重建技术的总称，本文的研究 即限于这一定义“+ “。 逆向工程的设计过程与传统的设计过程是不同的哪。它是针对一个现有的实物，快 速地将物体的三维坐标数据以数据点集的形式获取得到，在经过数据处理、曲面重构 后，传送至通常的c a d c a m 系统作进一步的设计，再由c a d c a m 系统生成刀具n c 加工 轨迹传送至c n c 机床制造出所需模具：或者直接生成s t l 文件送到快速成型机将样品模 型制作出来，也可由c a d 生成机械加工图纸，再由传统的机床加工出产品，这就是集成 逆向工程系统流程，见图1 - l 。 图1 1 逆向工程流程 2 沈阳工业大学硕士学位论文 习惯上，人们把上述整个系统的前半部分( 虚线以上) 当作逆向工程看待。所以， 有关逆向工程的研究基本上都集中在由实物样件到曲面重构的过程。 1 3 逆向工程的应用 逆向工程是一个迅速发展的学科，它覆盖了许多应用领域，概括起来有以下一些 具体应用【4 】： 基于实物模型的产品外形设计。当设计师难以直接用计算机进行某些物体如复 杂的艺术造型、人和其它动植物外形等的三维几何设计时，常用黏土、木材或泡沫塑料 进行初始外形设计( 概念设计) ，这就需要通过逆向工程将实物模型转化为三维c a d 模型。 对现有产品的局部修改。由于工艺、美观、使用效果等方面的原因，经常要 对已有的产品做局部修改。在原始设计没有三维c a d 模型的情况下，若能将实物构件 通过数据测量与处理产生与实际相符的c a d 模型，对c a d 模型进行修改以后再进行 加工，将显著提高生产效率。因此，逆向工程在改型设计方面可以发挥不可替化的作 用。 对无法得到图纸的已有产品数字化。传统产业的产品往往无图纸可用，需要采 用逆向工程的方法来实现传统产品的数字化。因此逆向工程技术是改造传统产业、推动 产品更新换代，带动产业结构升级的重要手段。 对以已有产品为基准点进行的设计。借鉴别人的成功设计并在此基础上进行产 品再创新设计是在剧烈竞争的市场中赶超同类行业先进水平的上个重要捷径，也是当仿 的一条新的设计理念。 磨损或损坏物体的还原。某些大型设备，如航空发动机、汽轮机组等，常会因 为某一零部件的损坏而停止运行，通过逆向工程手段，可以快速生产这些零部件的替代 件，从而提高设备的利用率和使用寿命。 医学模型制作。逆向工程系统可通过c t 等临床手段获取人体扫描的分层截面 图像，并将数据传送至r p m 系统，制作出人体局部或内脏器官的模型。 一3 一 沈阳工业大学硕士学位论文 工业产品无损探伤。借助于层析x 射线摄影法( c t 技术) ，逆工程还可以快 速发现、度量、定位物体的内部缺陷，从而成为工业产品无损探伤的重要手段。 产品的检测。通过逆向工程技术，利用c a d 信息自动生成测量程序，通过三 坐标测量机完成对产品的测量任务，获得测量结果再与c a d 信息进行比较来评价产品 的加工准确度。 1 4 基于视觉的逆向工程主要内容 前面说过，几何形状的逆向工程可以简单地定义为从实物表面获取数据并将其转化 为c a d 模型的过程。实物表面三维数据的测量是逆向工程的第一步。 当前，有多种测量方法可应用于实物表面的测量，其中基于视觉的方法是近年来发 展起来的一种方法【4 】。该方法综合运用计算机视觉、计算机图形学、图像处理与模式识 别、坐标变换等多方面的技术，快速地构建出被测实物的三维外形。在基于视觉的测量 方法中，一般采用摄像机( c c d ) 来模拟人类的眼睛，这就是“视觉”一词的由来。采用 单个摄像机称为“单目视觉”；两个摄像机称为“双目视觉”；三个或三个以上的摄像 机称为“多目视觉”。 “双目视觉”和“多目视觉”又可称为“立体视觉”。“单目 视觉”方法的测量装置与使用的算法都较为简单，而“多目视觉”方法中要考虑度多个 摄像机所采集的图像间的匹配问题，并且对图像处理和特征识别提出了很高的要求，因 而算法较为复杂，在实际操作中尚有很多问题。本文采用“单目视觉”法，即只采用一 个摄像机。 在基于视觉的测量方法中，激光扫描测量是目前三维自由曲面测量行之有效的方 法，也是一个发展方向口，6 。由于激光是以线的形式投射至被测物体表面，为了得到物 体的外形轮廓，必须进行3 6 0 。旋转测量。在实际测量中，c c d 摄像机不动，将被测物 体置于旋转台上，按等时间隔逐一拍摄被测物体，得到各个视角下的测量数据( 称为单 视点“点云”数据) 。最后再将多个视点的数据转换到同一个坐标系下进行表示，即是 多视点数据融合问题。 由上述可知，对于一个已经存在的三维实体，经过图像采集和处理，生成单视点 “点云”数据：通过多视角测量数据的融合将各个视点的“点云”数据转换到同个坐 一4 一 沈阳工业大学硕士学位论文 标系下，形成完整的曲面“点云”数据；利用曲面拟合技术对“点云”数据进行拟合， 形成三维曲面模型；最后对生成的曲面模型，可能还要进行处理和分析。由此可见，基 于视觉的自由曲面逆向工程主要包括以下几项内容】：自由曲面的数字化技术、多视点 测量数据的融合技术，自由曲面的拟合技术与处理技术。 本文主要研究自由曲面的数字化和多视点数据融合两方面的内容。 1 5 自由曲面数字化技术 自由曲面的数字化是通过特定的测量设备和测量方法获取实物表面离散点的几何坐 标数据，开发高精度、快速的数字化测量系统和测量构件，如何根据几何外形选取不同 的测量方法和测量路径，一直是数字化技术的主要研究内容，目前的三维数字方法根据 测量探头或传感器是否与被测量实物接触，可分为接触式和非接触式两类，见图1 2 。 数据获取方法 接触方法非接触方法其它 辍 c m m 光学 断 手 激光三激光测结构 干涉测 图像分 亩 电 龛 波 磁 角法距法光法量法析法 图1 2 曲面数字化技术分类 1 5 1 接触式操4 量方法 三坐标测量机( c m m ) 是广泛采用的接触式测量设备，作为大型精密测量仪器， c m m 开始是用于制造产品的检测，可以对具有复杂形状的实物空间尺寸进行测量。在 逆向工程应用初期，c m m 是数据采集的主要手段，具有测量精度高、适应性强等优 点，但一般接触式测头测量效率低，而且对软质表面无法进行测量。 1 5 2 非接触式测量方法 非接触式测量方法是一种无而与被测件接触就能获取数据的方法，根据测量原理不 同，有光学测量、超声波测量、电磁测量等方式。其中光学测量又可分为主动式测量和 被动式测量。主动式测量有专门的光源，被动式测量则没有。主动式测量是逆向工程常 用的方法。光学测量方法是目前最广泛使用的也是相对速度最快的非接触式获取数据的 一5 一 沈阳工业大学硕士学位论文 方法，主要有以下几种方法：结构光法、激光三角法、激光测距法、干涉测量法、图像 处理等方法。 1 5 2 1 激光三角法 三角法是光学三维面型测量中，历史最悠久，实际应用中最常见的一种方法。它又 分为单光点、单光条和多光条方法3 孔。 单光点基本原理是光束以一定角度投射到被测物体上，在另一个方向上用传 感器( 如c c d 摄像头等) 接受散射到散射光，利用三角几何关系来计算被测目标的深 度信息。这种单光点的三角法已被广泛研究。由于这一种方法一次只能获得一点的信 息，使用中一般是采用整个的测量机械地运动或用同步扫描镜来获取整个物体上多点的 三维坐标，其三维坐标数据的采集过程类似于接触测量中的扫描测量头。它的机构简 单、体积小、易于实现较高的测量精度，但在测量速度上仍显不足，目前这种测头一般 是安装在坐标测量机上，它的测量分辨率最高可达0 0 0 5 r a m 。 单光条一为了提高测量的速度，线光源投射的方法也被广泛地采用，这种线光条 是结构光测量法中最简单的一种，也称为光刀法。这种测量方法具有单光点三角测量法 的所有优点，而且还能实现高密度、高精度的表面面型测量，是目前较为可靠的一种测 量方法。它也是目前自由曲面反求工程技术中三维面型信息快速获取的主要方法。这种 线光条三维曲面测量的研究已有不少新成果出现，这些新成果主要体现在精度和速度的 提高方法上。其研究内容主要集中在光条的产生与提取，以及系统的物、像坐标标定等 方面。 在光条的提取方面，为了提高精度，主要是提取高斯分布重心位置，并多采用亚象素的方法。这些 方法有极值法、阈值法、重心法、以及傅立叶变化法等，极值法就是找出光刀上最亮( 灰度值最 人) 的一点，若t | ： j 插值法也可得到亚象素级的精度，但极值只有分布完全对称时才完全与重心位置 重合，因而该方法只能近似提取重心。阈值法就是在光条图像中用二值化的方法得到光条位置。这 种方法最为简单，但精度比较差。重心法是比较合理的方法，但它的缺点是只在光条有一定宽度时 数据提取才有效，但宽光条又会影响测量精度。近年来提出的傅立叶变换的方法实际上是对重心法 的改进，它比重心法具有更强的抗噪声干扰能力，但不足之处也是光条必须具有一定宽度。 6 沈阳工业大学硕士学位论文 在标定方面，目前主要有参数标定法。该方法的优点是建立了物、像坐标对应形式 的数学模型，易于理解，而且用标定出的几个参数就可以代表整个系统的三角几何关 系。该方法存在一定的缺陷，即其本身具有一定的原理误差，虽然这方面的文献已经给 出了包括像差在内的一些修正项的表达公式，但由于物象对应的复杂性，这些公式在推 导时进行了一定的假设，所以参数标定法只是物、像标定法的一个近似表达式，由于参 数误差的存在，很难做到高精度标定。 多光条与单光条结构光相类似，多光条结构光测量方法也是为了提高测量速 度，多光条结构光测量方法是全场测量的方法，它一次可得到整个被测物体上的三维面 型信息，当光栅投影到物体表面上时，周期性光栅的相位就受到物体表面高度轮廓的调 制，形成变形光栅，变形光栅虽然是二维图像，但携带有三维信息，这种三维信息的提 取方法也就引出了多种调制方法：基于三角几何关系的直接计算法、莫尔拓扑法、傅立 叶变化轮廓法、相位步进解调法、综合法。 1 5 2 2 图像法 这种方法是基于图像的三维获取，它是利用图像的大小、明暗、纹理等信息或用立 体视觉法求出三维信息，主要有如下两种： 聚焦法一是通过象距的调节，使聚焦正确，也就是使物体轮廓的图像锐利，由此 可以得到物距的调节，使聚焦正确，也就是使物体轮廓的图像锐利，由此可以得到物 距，这就是从聚焦得到距离估计的原理。所谓正确的聚焦是指由聚焦的锐利性测度来度 量的，使物体轮廓图像达到锐利的过程。其优点是从聚焦得到的距离估计不需要预先的 图像分割，它的局限性是对灰度平坦的区域测距精度不高。另外聚焦法也和单点的三角 法同属单光点测量，因而也需要通过坐标测量机或数控铣床移动来实现机械运动式扫 描，这种测量方法一般可达较高的测量精度，分辨率一般可达l l o u m ，但测量速度较 慢，其多应用于测量精度要求较高，对测量点密度要求不大的场合。 立体视觉法一这种方法类似于人眼看物体的方法。如果只采用单摄像机一般只可 用于对平面型物体的测量。绝大多数情况下是采用两个摄像机摄取两幅图像，从而通过 两幅图像找出对应点，通过这些特征点匹配，得到物体表面某些位置上的点与相机光学 一7 一 沈阳t 业大学硕十学位论文 中心之间的距离。为了得到比较稠密的表面点的距离数据从而得到距离图像，需要用内 插法，为了弥补两个摄像机的不足，一些系统还采用了三个摄像机，甚至四个摄像机的 测量系统。这种立体视觉的方法一般情况下精度不高，分辨率一般是毫米数量级。但该 方法具有快速的信息获取能力，可实现动态的测量。因而这种方法一般用于机器人视觉 和物体特征识别方面。目前，这种方法一般不用作反求工程中c a d 数据获取的测量系 统。 1 ，5 _ 3 其它方法 主要是指近年来发展起来的“断层扫描”方法，包括超声波数字化方法、c t 法、 核磁共振法( m ) 法及逐层照相测量法( c g i ) 。这些方法的一个共性就是可以得到 复杂物体的内外表面信息，不受物体形状的影响。 本文采用的自由曲面数字化方法属于上述激光三角法中的单光条测量法。 1 5 4 论文的主要工作 基于视觉的逆向程一般步骤见图1 3 ，论文的主要工作集中在图中的虚线框内。 运用计算机视觉、计算机图形学、图像处理、传感器等理论技术和方法，研究基于 视觉的几何形状测量技术。具体内容如下： 研究了计算机视觉的应用技术，并在此基础上以摄像机针孔模型为基础建立了摄像 机数学模型及光平面方程，从而建立了接个测量传感器的模型。重点研究了摄像机的线 性模型和非线性模型的标定以及在三维恢复时的精度；提出了一种投影矩阵的二次修正 方法，并对修正前、后的重建精度进行了比较。 研究了图像处理技术。图像处理的目的是提取光刀中心位置，包括图像滤波、二值 化，细化等。比较了几种阈值下图像细化的效果，给出了模板细化、水平中值细化和重 心法。采用水平中值法可较好地解决提取精度和运算速度的矛盾。 研究了基于视觉的单视点“点云”数据的计算以及多视角测量数据的融合技术。重 点研究了基于旋动理论的数据融合方法。 一8 一 沈阳工业大学硕士学位论文 利用m a t l a b 的三维绘图功能，实现了测量结果的可视化。可进行任意角度旋转 观察、放大缩小、平移及动画效果。 i 一一一一一。一一一j ：! ! ! ! ! j 圈一_ 一一_ 一一一一_ _ 一一一_ 一一_ 一一一- - - _ 一一- 。； 单视点“点云”数据 视点ll 多视点测量 数据融合 酗 视点2i 曲 一 像 维面 采 实拟 斗 集 网网 r _ - 体口 l 摄像机 l 标定 埘 图1 - 3 基于视觉的逆向工程一般步骤 曲 面 模 型 1 6 小结 本章介绍了逆向工程的概念、基于视觉的逆向工程内容、自由曲面数字化技术，阐 明了论文所做的工作。 光学测量方法是目前三维几何形状测量中最广泛使用的也是相对速度最快的非接触 式获取数据的方法。采用这种方法可以逐点、逐线扫描测量，也可进行全场测量，这些 都取决于投射到被测物体上的光信号的形态( 光点、光线、光栅) 。在实用的快速逆向 工程系统中的测量子系统中，要求能够快速而准确地反映被测物体的面型特征，因此本 9 沈阳工业大学硕士学位论文 文选择的是线扫描测量法( 也称光刀法) 。此方法的测量速度比点扫描法快，测量精度 比投影光栅全场测量法高。 光学三维几何形状测量的原理就是通过分析受到三维物体面型调制的空间光场，解 调含有三维物体面型特征信息的信号，以便获得三维面型的三维坐标。 2 1 系统测量原理 本系统不是直接利用三角光切原理，而是利用已标定好的摄像机内外参数及激光平 面的参数，根据这些约束条件直接求出被测物体的三维坐标。它是基于单目视觉的测量 方法，故又称为基于视觉的光切法 2 7 1 。其测量原理见图2 1 。 o 摄像机中心 图2 1 系统测量原理 激光器发出的球面光通过柱状透镜变成窄缝光以一个光平面的形式投射出去， 在空间截切被测物体( 这就是光切法的由来) ，在被测物体表面形成一条激光亮 带，该激光亮带向空间散射，被c c d 摄像机所摄取并成像。该图像通过专用视频电 缆送至计算机，计算机通过图像采集卡和相关的软件将图像显示于监视器上。 从摄像机采集的某一帧图像，经过一系列的处理( 详见第四部分) 之后变成了 单像素宽的线条，再通过一定的算法搜索出线条上各点的图像坐标( 如图2 1 的p 点) ，实际物体上的点p 既在摄像机光心0 与p 的连线上又在光平面上，如果求得 1 0 一 沈阳工业大学硕士学位论文 连线和光平面的交点，即可得p 点的三维坐标。 2 _ 2 测量系统构成 数据采集、处理及显示系统 图2 2 测量系统构成 测量系统的组成如图2 2 所示。系统由传感器测头、旋转平台、竖直平移机构、水 平平移机构、测量平台、主机、监视器等组成。传感器测头由c c d 摄像机和激光发射 器组成并固定在一起，主要进行图像的采集；旋转平台是对被测物体进行3 6 0 。扫描时 的旋转支撑装置；竖直平移机构主要是为了测量高度较大的物体时，一次3 6 0 。扫描不 能将被测物体测量完整，需要调整c c d 的高度，对物体在不同高度上进行多次扫描， 这样就可以得到物体的完整测量；平移平台一方面调整c c d 与被测物之间的距离，另 一方面提供平移数据以便在数据融合时确定两个坐标系问的关系。另外，旋转平台和竖 直平移机构安装有伺服电机和光栅编码器，光栅编码器将当前位置反馈回计算机，与计 算机中的伺服控制器一起构成一个闭环回路，从而能精确地控制转台和测头的位置。为 多视角数据融合提供精确的基础数据。 2 3 测量系统的工作过程 将被测物体置于旋转平台中央，启动整个测量系统的软硬件平台，上下调整摄像机 的位置，使被测物体能被摄像机观察到，左右调整平移平台的位置，使被测物体处于摄 像机镜头的最佳视场附近，复位各光栅编码计数器，以此位置为起始点，启动测量软件 沈阳工业大学硕士学位论文 模块，驱动旋转平台以一定的速度旋转，同时摄像机按等时间间隔拍摄被测物体，其图 像被不断地送往计算机，通过处理，求得被测物体的三维坐标。最后通过多视点数据融 合，形成整个物体的三维外形数据集，再由三维显示模块显示出被测物体的几何外形。 实现测量数据的可视化。 2 4 小结 本章主要介绍了基于光切法测量原理和测量系统构成，阐明了系统的工件过程，由 此给出了本设计的整体框架，以后几章将以此框架为基础逐步介绍各部分的功能及实现 方法。 3 传感器的标定 计算机视觉的基本任务之一是从摄像机获取的图像信息出发计算空间物体的几何信 息，并由此重建和识别物体，而空间物体表面某点的三维几何位置与其在图像中对应点之 间相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数。在 大多数条件下这些参数必须通过实验与计算才能得到，这个过程被称为摄像机标定。现 有的摄像机标定技术可分为两类：传统的摄像机标定方法和摄像机自标定方法”“。从计 一1 2 一 沈阳工业大学硕士学位论文 算方法上看，传统的摄像机标定方法可以分成四类：利用最优化算法的标定方法、利用 摄像机变换矩阵的标定方法、进一步考虑畸变补偿的两步法和双平面标定法。 本章介绍的标定方法为变换矩阵法和两步法，前者具体包括线性模型摄像机的标定 和光平面的标定，标定结果投影矩阵m 和光平面法矢量，并不分离出摄像机的内、外参 数；后者则是在考虑径向畸变的前提下分两步标定出摄像机的内、外参数。 需要说明的是：立体视觉测量是从左右两个摄像面所得的两幅图像中获取被测对象 的深度( 距离) 信息。由于它直接模拟人类视觉处理景物的方法，可在多种条件下灵活地 测量物体的立体信息，并通过立体匹配策略来获得表面的三维数据。但是，利用立体视 觉获得自由曲面表面信息时，由于难以抽取明显的匹配特征，必须人为地在物体表面上 提供便于匹配的特征点。立体匹配是立体视觉核心问题，如何降低匹配难度、避免匹配 的歧义性等，在理论和技术 上都存在着问题。 本设计采用一个摄像 机，但辅助以一个与摄像机 关系确定的激光平面，激光 器与摄像机固定于一个称为 激光测头的装置内。如图3 1 所示。 在由c c d 、镜头、激光 器组成的激光测头投入实际 图3 1 激光测头 使用之前，如果上述三者任意一个位置发生变化，例如 拆下镜头又装上，调整激光器的发射角等，都要重新进行标定。标定包括由c c d 和镜 头组成的摄像机的标定和激光平面的标定。 3 1 线幽煳像机的标定 在图像采集器中需要将客观世界的3 d 场景投影到摄像机( 采集器) 的2 d 象平面 上，这个投影可用成象变换描述。最常用的成象变换是几何透视变换，其特点是随着 一1 3 沈阳工业大学硕士学位论文 f i = f 一；。一，； c 。一- ， 其中坳为图像中心坐标，n x , n y 为象平面坐标x u 轴y u 轴上每单位长度的象素数。上 式的逆关系为： 阡 1 0 ， o一土 。 00 ( 3 - 2 ) 摄像机坐标系x o y 与世界坐标系z 肠之间的变换：摄像机除本身有一个坐标系 外，它还处于世界坐标系之中，它的位置要在世界坐标系中描述。摄像机成像几何关系 可用图3 3 表示。 一1 4 1j nb一 一虬一q， 沈阳工业大学硕士学位论文 z ) h ，z 。) 图3 3 摄像机成像几何关系 摄像机在世界坐标系中位置用旋转矩阵r 和平移矩阵t 表示，其矩阵形式如下： x y z 1 = 肖。 匕 z 。 1 x 。 匕 乙 1 ( 3 - 3 ) 其中，r 为3 x 3 旋转正交单位矩阵，r 为三维平移向量；口气o ，0 ，o ) 7 ；为4 x 4 矩阵。至此，已经得出四个坐标系中以砂与( ) “，y u ) 以及佤。k ，乙j 与y 国的关系。那 么，摄像机将空间任一点p 翰成象于象平面中的点p ( x 。，y u ) 的过程可由摄像机模型来 描述。 3 1 2 线性摄像机针子l 模型 对于线性摄像机模型，从客观场景到数字图像的成象变换由以下3 步组成( 9 】。 区互，k 玉 p 士口 世界举标 摄像机舭标无失真象平面举标帧存举标 图3 4 世界坐标到帧存坐标的变换 1 5 一 沈阳工业大学硕士学位论文 空间任何一点p 在图像上的成像位置可以用针孔模型近似表示，即任何点p 在图 像上的投影位置p ，为光心0 与p 点的连线o p 与图像平面的交点。这种关系也称为中 心投影或透视投影。由比例关系可得： 试 屯2 丁 y 。：孕( 3 - 4 ) z 其中，po 屯均为空间点p 投影到图像平面的坐标，c y 乃为空间点p 在摄像机 坐标系下的坐标。用齐次坐标与矩阵表示上述透视投影关系： 剐0 x y z l ( 3 - 5 ) 将( 3 一1 ) ，( 3 3 ) 式代入上式，得到空间点p 的世界坐标与其投影点p 的计算机图像坐标( “，v ) 的关系： 即 朴一0 以i ! 。o io i 。i l ir：lot x 。 l z 。 l x 。 匕 z 。 1 其中，m 为3 x 4 矩阵，称为投影矩阵；肘j 完全由n 。，n y ，eu o ，v o 决定，由于它们只与摄 像机内部结构有关，称这些参数为摄像机内部参数；m z 完全由摄像机相对于世界坐标 系的方位决定，称为摄像机外部参数，确定某一摄像机的内外参数，称为摄像机标定。 由上式可见，如果知道摄像机的内外参数，就可以求得投影矩阵肘，对于任何空 间点尸如果知道它的世界坐标x w = ( x w ，y w j 0 ，1 ) 7 ，就可以通过式( 3 6 ) 求得图像点p 的 一1 6 一 ，0 o 。l = 1，j 矗虬 l z r = _ r 矿 l j o o o 厂 y o o 厂 f 一0 o 。l = 1j “v l 。l z 沈阳工业大学硕士学位论文 位置( “，v ) ，这是因为在已知肘和x ，时，( 3 巧) 式给出了三个方程，在这三个方程中消去 z 就可以求得( “，v ) 。但是反过来，如果已知计算机图像点p 的坐标( “，v ) ，即使摄像机的 内外参数均知道( 即投影矩阵m 已知) ，也不能唯一确定。事实上，( 3 “) 式中，m 为3 x 4 不可逆矩阵，当已知m 和( “，v ) 时，由( 3 “) 式给出的三个方程中消去z ，只能得 到关于蜀，1 0 的两个线性方程。这两个线性方程是两个平面方程，联立后得到的是射 线o p 的方程，也就是说，投影点为p 的所有点均在该射线上，由图3 3 可以看出，当 已知图像点p 时，由针孔模型，任何位于射线o p 上的空间点的图像点都是p 点，因 此，该空间点是不能唯一确定的。 3 1 3 线性模型摄像机的标定 式( 3 6 ) 给出了摄像机的线性模型，投影矩阵m 中包含了摄像机的内、外参数。 为了确定这些参数，可以对摄像机和镜头进行直接测量，但用摄像机作为测量装置来确 定它们通常更为方便。为此需要先知道一组象平面点的世界坐标，借助这些已知点获取 摄像机参数的计算过程就是摄像机的标定r ”。 图3 5 标定块 摄像机标定一般都需要一个放置在摄像机前的特定的参照物( 见图3 5 ) ，摄像机获取 该物体的图像，得到图像上每一个特征点的帧存坐标沁v ) 。而标定参照物上每一个特征 点( 图3 4 标定块上每一个小方块的定点) 相对于世界坐标系的位置( 五，乙) 在制作时 应精确测定。对线性模型摄像机来说，在获取了每个特征点的帧存坐标( u ，v ) 和世界坐标 ( j 0 比乙) 之后就可以进行标定了。标定结果体现为投影矩阵m ( 基于坐标的) 。 将( 3 棚式写成如下形式： 一1 7 沈阳工业大学硕士学位论文 制隹m r lr群th2 m r 到3 刘 即， x 匕lz 1 0 00 0 一u l x 。l u l y t u i z 。 0 000x lz 1 一v i x 。l v l l l v t z 。 x 。匕1 00 0 0 一“。x 。一u n k 一“。z 。 0 0 00z 。z 。1 一v 。x 。一v n k v n z 。 毡埘3 4 v l 卅3 4 “h 鸭4 m 3 4 ( 3 - i o ) 蛳脚脚脚脚脚呦晰脚批脚 沈阳工业大学硕士学位论文 d d ( 3 - 7 ) 式可见，m 矩阵乘以任意不为零的常数并不影响( x w ，y w 函0 与( u v b 的关 系，因此，在( 3 一l o ) 式中可以指定m f l ，从而得到关于肘矩阵其它元素的2 n 个线性 方程，这些未知元素的个数为1 1 个，记为1 1 维向量胁，将( 3 1 0 ) 式简写为： km=u(3-11) 其中置为( 3 一l o ) 式左边的2 n x l l 矩阵；小为未知的1 1 维向量：e ，为( 3 一l o ) 式右边 的抽维向量，置，u 为已知量。当2 n 1 1 时，可以用最小二乘法求出上述线性方程组的 解。 m 向量中的1 1 个参数与m 3 4 - = 1 构成了所要求解的投影矩阵肘。投影矩阵m 确定 了特征点的世界坐标与它的帧存图像坐标的关系，在许多应用场合，计算出m 矩阵 后，不必要再分解求出摄像机内外参数，也就是说，m 矩阵已经代表了摄像机参数，但 这些参数没有具体的物理意义。 3 1 4 摄像机标定试验 本设计实际采用的标定参照物是如图3 - 6 所示的标定靶。该靶面安装于一个三维坐 图3 , 6 标定靶图3 7 提取标定点 标台上，可前后移动，这样相当于图3 - 5 所示的标定块，三维坐标台的坐标系被定义为 世界坐标系，靶面与坐标台的x o y 面平行( 也可自行定义三个坐标轴的方向) ，前后移动 的方向定为2 方向。靶上1 6 个标定点的中心坐标可直接由坐标台读出。该靶面图像被 摄像机摄取并显示在监视器上。 1 9 沈阳工业大学硕士学位论文 本设计通过人机交互的方式提取标定点，见图3 7 。首先设计了一个称为橡皮条的 多边形框窗口，当程序处于标定状态时，在图像的标定点周围点击鼠标左键，构成一个 多边形，并使多边形包围标定点( 如图3 7 虚线框) ，此点即被选定。 标定点选定后，由操作者手动录入该点的世界坐标。重复上述步骤依次选取标定点并 录入世界坐标值。 在提取标定点之前，先要对所拍摄的标定靶图像进行滤波处理，然后进行二值化， 选取合适的阈值，使图像变为只有两个灰度级，且使标定圆斑成为较完整的椭圆，这样 提取的标定点可以精确地计算其重心，重心坐标值就是标定点的帧存坐标( 曲。 设多边形框内的标定圆斑经过处理共有h 个亮点( 黑色圆斑图像取反，使黑斑变为 白斑，背景变为黑色) ，其中第i 个亮点的图像坐标为v j ) ，则亮斑圆心的图像坐标 v ) 为： “= 去m v - 吉v ， ( 3 _ 1 2 ) 程序建立两个链表，一个用于存放亮斑圆心的图像坐标 v ) ，另一个用于存放由坐 标台读出的世界坐标( 瓦，y w 五，) ，图像坐标 v ) 由程序自动写入，而，k 五，) 则由录入窗 口由操作者手工录入。按下标定按钮即可算出摄像机的投影矩阵m ，图3 8 即为某次计 算结果： 图3 8 摄像机投影矩阵 沈阳工业大学硕士学位论文 3 2 线性模型标定法的修正 在三维计算中，无论是基于单摄像头还是基于双摄像头，都是以投影矩阵m 作为 中间变换矩阵，由帧存坐标( 地v ) 计算出三维坐标k ，y w ，动的。显然，在影响三维测量精 度的诸多因素( 如标尺误差、标定靶位置误差、光平面误差、光刀中心提取误差) 中，投 影矩阵的精度是主要因素之一，虽然投影矩阵中的参数没有明确的物理意义，但它包含 了摄像机的内外参数，因此这些参数的误差也都反映在投影矩阵中。本节提出一种投影 矩阵的修正方法( 或称二次标定) ，并以单摄像头为例进行了试验。 在摄像机的线性模型中，通过投影矩阵m 使图像帧存坐标( u ，v ) 变换为三维世界坐 标( 丘心z ) ，其变换关系由式( 3 7 ) 给出。在式( 3 - 7 ) 中，令m ，= 1 ，则对于点( u ，v j ) 有 刊辜 ( 3 1 3 ) 将上式展开，消去z 后得到 朦兰”：篡+m14-ujj淼絮拦z鬈i(3-14)m mm v , x r r lm v , z m 【x 。研2 l + 圪2 】+ z “2 3 + h 一。】i u 匕，i w ”= v 由于( 丘匕z ) 是经投影矩阵m 重建的，它与实际的三维坐标之间是有误差的，设 ( u ，v ) 对应的实际三维坐标为( 尼圪国，相应的误差记为 x 。一x ，= a x ，一l = a y ，z 。一z 。= a z( 3 1 5 ) 投影矩阵修正的思想是：将误差折算到投影矩阵中，使投影矩阵增加一个偏移量， 由此得到新的投影矩阵m 。，在新的投影矩阵变换下，将使图像坐标( 1 w ) 变换为实际的 三维坐标( 尼圪囝。 基于这一思想，令 m。=m+am(3-16) 设图像上某一特征点的坐标为( u i ，v i ) ，由投