（系统工程专业论文）基于结构光测量原理的自由曲面3D测量的系统技术研究.pdf

沈阳工业大学硕士学位论文 摘要 随着现代工业，尤其是航空、航天、汽车及模具工业的迅速发展，自由曲面零件得 到了越来越广泛的应用，因此各类曲面物体的测量与数字化技术也显得越来越重要。曲 面测量与数字化广泛应用予决速原形制造、轨迹跟踪、曲面结构设计以及加工制造。传 统的测量方法如体视法、莫尔条纹法、光栅立体图法等需要昂贵的仪器设备和训练有素 的专门技术人员，而且测量周期长、效率低，这些缺点使得传统的测量方法阻碍了自由 曲面测量的广泛应用。 随着光电技术和计算机技术的发展，尤其是高分辨率数字摄像机的出现以及视频摄 像处理技术的发展，基于结构光3 d 测量原理和视觉观测技术的非接触式测量系统，相比 于传统接触式测量方法具有自动化程度高、速度快、精度高，易于实现和可视化等优 点，是现代测量的发展方向。 本文以机器人化自由曲面自动检测加工系统为应用背景，结合计算机3 d 视觉机 理，研究基于结构光测量原理的自由曲面3 d 测量系统及关键技术，以实现自由曲面在 线自动化检测，从而达到成功研制面向自由曲面的机器人化自动检测加工系统的目标。 本文通过深入分析国内外相关研究成果，对应用线结构光进行非接触测量技术的各 个环节进行分析研究，对自由曲面测量方法进行比较；根据非接触钡量技术的发展状况 和现实条件，对基于结构光测量原理的非接触式3 d 测量方法进行了深入研究，选择应 用线激光的结构光扫描模式作为3 d 信息获取传感器；研究结构光图象处理的改进方法 以达到高质量的视觉检测；结合线结构光图像的特点，提出了一种有效处理结构光图像 的方法。并建立了相应的视觉测量系统的数学模型。 本文同时对基于机器人化检测加工系统中采用的关键技术一手跟系统进行了深入 研究：重点研究了基于机器视觉的手眼系统标定问题，提出了一种基于投影矩阵肼的 机器人手眼标定线性化方法，提高了手眼系统的标定精度和效率。 关键词：自由曲面，非接触在线检测，线结构光，图像处理 些塑三些查堂堡圭鲨丝壅 一一一 3 dm e a s u r e m e n t s y s t e mt e c h n o l o g y r e s e a r c hf o rf r e e f o r m p l a nb a s e do ns t r u c t u r e d l i g h t m e a s u r e m e n t p r i n c i p l e a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to ft h ea v i a t i o n ，s p a c ef l i g h t ，a u t o m o b i l ea n dm o d d i n d u s t r y ， t h ef r e e d o mc u r v e ds u r f a c ep a r th a sg o tm o r ea n dm o r ee x t e n s i v ea p p l i c a t i o n ，s om o r ea n dm o r e i m p o r t a n t t ot h em e a s u r e m e n to f a l lk i a d so f c u r v e ds u r f a c e s c u r v e ds u r f a c em e a s u r e m e n ta n d d i g i t a l i z a t i o na p p l i e st oc u r v e ds u r f a c em a k i n g ，t h eo r b i tf o l l o w i n g , c u r v e ds u r f a c es t r u c t u r a l d e s i g n i n g a n d p r o c e s s i n ga n dm a n u f a c t u r i n ge x t e n s i v e l y t h et r a d i t i o n a lm e a s u r em e t h o d ss u c h a ss t e r e o s c o p i cl a w , m o l l l ss t r i p el a w ，g r a t i n gc u b i cc h a r tl a we t c n e e de x p e n s i v ee q m p m e n t a n dw e l l - t r a i n e ds p e c i a lt e c h n i c a ls t a f f , a n dl o n gm e a s u r i n gc y c l e ，l o wm e a s u r i n ge f f i c i e n c y ， t h e s es h o r t c o m i n g sm a k et h et r a d i t i o n a lc o n t a c t - t y p em e a s u r e m e n tm e t h o dh i n d e rt h ew i d e a p p l i c a t i o n t h a ti sm e a s u r e d w i t ht h ed e v e l o p m e n to f p h o t o e l e c t r i ct e c l m o l o g ya n dc o m p u t e rt e c h n o l o g y ，e s p e c i a l l y a p p e a r a n c eo fh i g h - r e s o l u t i o nd i g i t a l c a l n e r aa n dt h ed e v e l o p m e n to ft e c h n o l o g yi nv i d e o r e c o i d m g , t h en o n - c o n t a c t i n gm e a s u r i n gs y s t e mb a s e do nt h es t r u c t u r a ll i g h tm e a s u r e m e n t p r i n c i p l e a n dv i s i o n a ld e t e c t i o n t e c h n o l o g y h a s a d v a n t a g e so fh i 。g ha u t o m a t i o n , t h eh j 【g h p r e c i s i o n ，e a s yr e a l i z i n gv i s u a l l yc o m p a r i n go nc o n t a c t - t y p em e a s u r i n gm e t h o d ，s ot h a ti st h e m o d e r n m e a s u r i n gd e v e l o p i n g d i r e c t i o n t h ep a p e rc o m b i n e st h ep r i n c i p l eo ft h ec o m p u t e r3 dv i s i o nt or e s e a r c ht h ef r e e d o m c u r v e ds u r f a c e3 dm e a s u r i n gs y s t e ma n dk e yt e c h n o l o g i e sb a s e do nt h e s t r u c t u r e l i g h t m e a s u r i n gp r i n c i p l e a i m e d a t r e a l i z i n go n - l i n ea u t o m a t i o nd e t e c t i o no ff r e e - f o r ms u r f a c es oa s t og e ts u c c e s s f u l l yr o b o t i ca u t o m a t i o nd e t e c t i o na n d p r o c e s ss y s t e m sf a c i n gt of r e e - c u r v e dp l a n b ya n a l y z i n gc o r r e l a t i v er e s e a r c h i n gr e s u l t s ，t h ep a p e rh a sa n a l y z e da n dr e s e a r c h e de v e r y s t e po fn o n - c o n t a c tm e a s u r e m e n tt e c h n o l o g yb yu s i n gl i n e a rs t r u c t u r a ll i g h ta n dc o m p a r e d s e v e r a lm e a s u r e m e n tm e t h o d so f f r e e - f o r m p l a n a c c o r d i n gt ot h ep r e s e n td e v e l o p m e n t o f n o n c o n t a c tm e a s u r e m e n t t e c h n o l o g y ，t h ep a p e r h a sr e s e a r c h e d i n d e p t h n o n - c o n t a c t3 d m e a s u r e m a n tm e t h o d sb a s e do ns t r u c t u r a ll i g h tm e a s a a r e m e n tp r i n c i p l ea n ds e l e c t e ds t r u c t u r a l 2 沈阳工业大学硕士学位论文 s c a n n i n gb yu s i n gl i n e a rl a s e ra s3 di n f o r m a t i o ns e n s o r , a n dr e s e a r c h e di m p r o v e dm e t h o d s a b o u ts t r u c t u r ml i g h ti m a g ep r o c e s s i n gi no r d e rt oa c q u i r eh i g h - q u a l i t yv i s i o nd e t e c t i o n b y f i n d i n gt h ec h a r a c t e r i s t i c so ft h es t r u c t u r a lh g h t ，t h ep a p e rp r e s e n t sam e t h o dt op r o c e s st h e s t m c r l r a ll i g h ti m a g ea n ds e t su pam a t h e m a t i cm o d e la b o u t v i s i o nm e a s u r e m e n t s y s t e m t h e p a p e r h a sa l s or e s e a r c h e di n 。d e p t hh a n d e y es y s t e mw h i c h i st h ek e y t e c h n o l o g yu s e d i nr o b o t i cd e t e c t i o na n d p r o c e s ss y s t e ma n d t a k e n e m p h a s i so n t h eh a n d e y ec a l i b r a t i o n p r o b l e m b a s e do nc o m p u t e r v i s i o n ，s op r e s e n t e dal i n e a ra p p r o a c hf o rr o b o th a n d e y ec a l i b r a t i o nb a s e d o n p r o j e c t i o n m a t r i x m ，t h i sm e t h o dc a ng e tb e t t e rr e s u l t i nc a l i b r a t i o n a c c u r a c ya n d e f f i c i e n c v k e yw o r d s ：f r e e - f o r m p l a n ，n o n - c o n t a c tm e a s u r e m e n t ，l i n e a rs t r u c t u r e d l i g h t , i m a g ep r o c e s s i n g 一3 独创性说明 本人郑重声明：所呈交的论文是我个人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得 沈阳工业大学或其他教育机构的学位或证书所使用过的材料。与我一同 工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表 示了谢意。 签名： 到雌 日期： 垒嫂篁! 王! f s 关于论文使用授权的说明 本人完全了解沈阳工业大学有关保留、使用学位论文的规定，即： 学校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公 布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论 文。 ( 保密的论文在解密后应遵循此规定) 签名： 壹l 肇 导师签名 日期：趁! ：主： 沈阳工业大学硕士学位论文 1 绪论 1 1 课题的研究背景 随着科学技术和工业生产的发展，具有自由曲面的产品越来越多，对产品的质量和 精度要求越来越高，如何更准确、高效地对这类产品进行检测是摆在广大科技工作者面 前的一个亟待解决的实际问题。 自由曲面的测量方法可以分为接触式与非接触式两大类。在实际生产中，经常采用 传统方法检测自由曲面的几何形状，即将曲面的截面形状复制到平面样板上，用人工比 对的方法找出样板和实际曲面之间的差别，这种方法需要制作许多实物样板，成本高且 精度低。随着技术的发展，三坐标测量机c m m ( c o o r d i n a t em e a s u r i n gm a c h i n e ) 逐渐成 为应用最为广泛的接触式测量设备，它具有噪声低、精度高和重复性好等优点，英国 r e n i s h o w 公司研制的三坐标测量机的测量精度最高可达0 5 删。但是接触测量方法存 在接触力、测量时间长、需进行测头半径补偿、测量数据连续性差等局限性，因而效率 较低，尤其不能适应具有自由曲面物体的数字化3 d 重建。为解决这些问题，2 0 世纪 9 0 年代多种具有不同原理的非接触测量技术开始出现，并以其高响应、高分辨率而倍 受重视。由于非接触式传感器在测量时不接触待测物体的表面，它可以从根本上解决接 触式测量所产生的各种缺陷，而且测量速度快，并可以保持测量的连续性，因而可以采 用密集采样方式对产品表面进行测量，形成“点云”数据，从而为3 d 数字化重建提供 了可行性。所以非接触测量已成为自由曲面测量的一个重要发展方向。 目前国内外对非接触式测量技术的研究大都集中在非接触测量方法和激光位移传感 器的研制与革新上，非接触式测量的数据传递介质主要有激光、声波和电磁场等。因为 光学非接触测量方法受环境电磁场影响小，工作距离大，测量精度高且可测量非金属 面，所以随着各种高性能元件如半导体激光器l d ( l a s e rd e v i c e ) 、电荷耦合器件 c c i ) 、c m o s ( c o m p l e m e n t a r ym e t a lo x i d es e m i c o n d u c t o r ) 图像传感器、位置敏感器件 p s d 等的出现，光学非接触测量技术得到了迅猛发展。根据文献 1 、2 、3 8 ，采用激 光作为光源的激光扫描法已经应用在汽车制造等行业中，它是利用光源、物体表面反射 点和成像点之间的三角关系计算出表面反射点的空间位置。如果采用线光源，激光扫描 沈用工业大学硕士学位论文 测量方法可以达到很高的测量速度和精度，英国3 ds c a n n e r 公司的r e v e r s a 激光测 头扫描速度达到1 50 0 0 点秒，测量精度可达1 0 3 0 o n 。面结构光法也是正在兴起 的一种三维表面测量方法，它的原理是将具有一定模式的光源如栅状光条投射到物体表 面，然后用高精度c c d 镜头获取不同角度的图像，通过图像处理的方法得到整幅图像 上各个像素的三维坐标，这种方法具有数据采集速度快、无需运动平台等优点，德国 g o m 公司的a t o s 光学扫描测量系统可以在l m i n 内完成一幅图像的采集和处理，包括 4 3 0 0 0 0 点的测量，精度达1 0 0 口m 。 进入二十一世纪，新型传感器不断出现，非接触测量理论日趋完善，这些使得利用 非接触测量技术实现自由曲面在线测量成为可能，它比传统的样板测量、c 更适合生 产需要，有助于提高机械加工过程的自动化和智能化水平，在这个方向开展研究工作， 具有现实可行性和必要性。 l 。2 自由曲面非接触测量技术现状 起初，人们对自由曲面的测量是通过手工的方法来实现的，该方法效率低下，已经 远远不能满足现代工业对曲面测量的要求。近年来，随着计算机技术和电子技术的不断 进步以及c c d 、p s d 等光敏器件性能的提高，计算机视觉 1 1 1 2 0 1 在航空航天、工业自动 化、生物医疗、物体识别等领域得到了广泛的应用，该测量基本上都是再坐标测量机上 完成，测量头是坐标测量机的关键部分。 随着传感技术、控制技术、制造技术、计算机技术等相关技术的发展，出现了各种 各样的测量头，总体上分为接触式与非接触式。早期的坐标测量机大多使用固定刚性测 量头，它最为简单，缺点也最多，而目前，人们研究了各种非接触式测量方法。基于计 算机的非接触式测量是现代测量技术的一个重要分支，它是以现代光学为基础，融合了 电子学、计算机图形学、信息处理、计算机视觉等科学技术的现代测量技术，具有测量 速度快、精度高、可实现在线测量、对待测物无磨损、无破坏，特别适合于易碎易变形 的材料等优点而被公认为最有前途的三维测量方法。 曲面的非接触测量以其速度高、无磨损、不需进行测量头补偿且特别适合于易碎易 变形的材料等优点而越来越受到人们广泛的重视。非接触式高速扫描测量是三坐标测量 技术的发展趋势。对于物体厚度的测量，目前亦普遍应用非接触式测量，如超声波法、 达塑三些盔堂堡主芏垡笙壅 一 射线法等，尽管在一定程度上克服了接触式测量法的部分局限性，但由于他们本身的特 征，例如易受被测物体的材质、温度、色泽等因素的影响，响应速度慢，易对人体造成 伤害等而阻碍了特们的普遍应用。光学非接触式测量技术比较成功地解决了上述问题， 以其高响应、高分辨率而备受重视，该方法具有受环境电磁波影响小、工作距离大、测 量精度高以及测量非金属面等特点。随着各种高性能器件如半导体激光器l d 、电荷耦 合器件c c d 、c m o s 图像传感器、位置敏感器件p s d 等的出现，光学非接触钡0 量技术得到 迅猛的发展，新型传感器不断出现，传感器的性能也大幅度提高。因此，利用结构光 3 d 测量装置、精密伺服驱动和先进的测量规划策略构成的三维自由曲面非接触式扫描 测量系统是目前常用的3 d 测量方法和装备，基于各种结构光的3 d 非接触式测量方法和 装置的研究与研制已进行了多年，并且国内外己经成功运用该类型测量系统实现了各种 自由曲面的测量，在许多场合该技术已趋向于成熟。 对于非接触式测量的评价主要从准确度，可靠性和测量范围三个方面来衡量。其中 测量范围和准确性是相互矛盾的，需要有一个平衡条件，非接触式测量的测量精度受被 测物体表面的反射特性影响很大。目前国内外对非接触式测量的研究主要集中在非接触 式测量方法和激光位移传感器的研制与革新上。 i 2 1 自由曲面非接触测量的几种方法 现代计算机技术和光电技术的发展使得基于光学原理、以计算机图像处理为主要手 段的三维自由曲面非接触式测量技术得到了快速发展，各种各样的新型测量方法不断产 生。根据被测物体照明方式的不同，用于自由曲面非接触测量的方法大致可以分为主动 测量法和被动测量法，前者是使用人工光源装置产生一束光( 点、线或栅格) 照射物体， 并通过光学传感器接收反射光信号，运用光路的几何关系进行测量计算，从而达到采集 物体表面3 d 信息的目的，如三角测量法和相位测量法m ；后者则是直接利用灰度变 化、视差或观察对象的几何信息来进行3 d 测量，如由图像灰度恢复物体三维形状的方 法s f s ( s h a p ef r o ms h a d i n g ) 、立体视觉法( s h a p ef r o ms t e r e o ) 0 0 1 等。 1 2 1 1 s f s 方法由灰度恢复形状的方法是h o r n 最先提出的，是计算机视觉中三维 数据获取的重要手段之一。 沈用工业大学硕士学位论文 一般情况下，物体表面的灰度分布主要与以下因素有关：物体表面的几何形状；光 源的方向和强度；观察者的位置以及被光线照射物体表面的反射特性；其中物体表面形 状的逐渐变化引起图像的灰度平滑变化。对于表面反射均匀的漫反射体，在理想的成像 条件下( 光源和摄像机无穷远) ，根据朗伯光学定律图像的灰度与物体表面方向满足一定 关系，即图像灰度反射图方程：讹纠= 月 砂，其中眠为图像的灰度， 足颤圳= ( d z d x ，矗衫咖) 为物体表面方向。最初由灰度恢复形状的方法就是利用该反射图 方程在一定的约束条件下由图像的灰度讹计算出物体的表面方向r 砂，进而从单 幅或多幅图像的灰度信息中获得物体表面的形状信息。然而该反射图方程的病态特性一 直是很难解决的问题，尽管目前已经有人用直接方法或间接迭代方法进行求解，但是都 存在某些方面的缺陷和局限性。而且该方法在恢复物体形状的过程中，采用的都是局部 特征即使用表面取向或边界信息，没有考虑物体表面取向与边界之间的相对位置关系， 所以很难得到理想的结果。因此该方法虽具有主动测量法无法比拟的优点如不受光源限 制、便于现场操作、信息量大等而一直倍受关注，但是还未能在测量精度上获得较大提 高，距离实际应用尚待时日。 1 2 1 2 双目立体视觉法两台相对位置固定的摄像机与被测物构成三角形，被测物体 在两个成像面上形成立体图像对，通过特征点的提取和匹配获取测量点在两个图像平面 上的坐标，然后用三角测量原理计算图像像素间的位置偏差( 即视差) 来获取景物的三维 信息，再利用成像公式就可以计算出测量点的空间坐标。 双目立体视觉的原理虽然简单，但是在实际应用中仍然存在若干问题，立体匹配始 终是立体视觉中最重要也是最困难的问题。当空间三维场景被投影为二维图像时，场景 中的诸多因素，如光照条件、物体的几何与物理性质、摄像机特性以及噪声干扰等，都 被综合成单一的图像中的灰度值，因此，要对其进行无歧义匹配在两幅图像中匹配出对 应的点，显然是十分困难的。 已知立体成像模型和匹配视差后，三维距离的恢复是很容易的，但目前无论哪种匹 配方法都不可能恢复出所有图像点的视差，因此往往还需要对恢复出的离散信息进行表 面内插重建，才能得到完整的几何模型【2 3 。 沈用工业大学硕士学位论文 1 2 1 3 基于调制度测量的三维轮廓术基于调制度测量的三维轮廓术删p n ”，它完全 基于投影到待测物面上的正弦条纹的调制度分布，利用横向相移技术计算物面上各点的 调制度，然后将物体在纵向范围内移动n 次，得n n 帧调制度图，再找出每一个像素 点调制度最大值的位置，由此位置就可计算出此像素点的高度值。 调制度测量轮廓术解决了基于三角测量的三维测量方法不能检测阴影区域的问题。 在调制度测量轮廓术中，因为投影方向和观察方向一致，所以就有阴影、遮挡等问题， 亦即可测量有高度剧烈变化和空间不连续及有深孔的复杂物体，这种方法对获取复杂物 体的三维数据具有良好的应用前景。 1 2 1 4 光学三角法入射光照射到被测表面，接收器接收被测表面的散射光，成像光 点在接收器上的位置是测头和被测表面距离之间的函数，检测像点的位移变化可求得物 体表面位移变化。 激光三角法是目前最成熟，也是应用最广的一种非接触测量方法。测量速度快，准 确度高，测量精度最高可以达到1 o n ，已广泛应用于工业、测绘、航空、航天、军 事等各个领域。这个方法的优点是结构简单、分辨率高、工作距离大，但是这种方法在 原理上存在非线性，被测面的表面质量对测量结果有很大影响，当光束投射到物体表面 上时，由于被测表面散射光含有正反射成分，且被测表面倾斜引起接收光功率的质心偏 移，所以测量精度随入射角( 光束与被测点法线的夹角) 的增加而降低，有时甚至使测量 失效。通过分析可以证明，在三角测量中，可以通过缩小测量范围、增大成像物镜的共 轭距、增大三角测量系统的角度、缩小成像物镜的放大倍率等措施达到线性的测量结 果。激光三角法根据采用光源的不同分为：点光源，线光源，面光源( 即栅光源) 三种。 ( 1 ) 点光源激光器产生的光束投射到被测物体的表面上产生一个光点，该光点的一 部分散射光( 含反射光) 通过会聚透镜成像于位置敏感接收器( 如c c d 、p s o 等) 的表面。 如果被测物体沿着激光柬方向发生位置移动，那末探测器面上的像点也会相应随之移 动，通过像点的移动距离可以检测出被测面的移动距离。 ( 2 ) 线光源采用线光源照明的三角传感系统使用二维面阵探测器作为接收器件，只 需要附加一维扫描就可以形成完整的三维面形数据，这个方法也称为线结构光三维扫描 法( 光刀法) 。激光束经柱状透镜扩束并准直后成为一束很薄的片状光束投影到物面上， 丝堕王些盔堂堡圭堂垡望奎一 载有物体的平台沿给定坐标方向以一定速度平移，完成投影光在物面的扫描，在另一方 向上用面阵c c d 接收光条图像，由于物面的高低不同，每条投影光条在c c d 光敏面上 的像为一条曲线，通过坐标转换可以将这条投影曲线的变形值转化为物体表面的实际坐 标。 ( 3 ) 栅光源采用栅光源的三角位移传感系统是投射一个二维图形到被测物体表面， 形成结构光照明，其中最简单的是由多个线光源发出的片状光束构成的多线结构光照 明，其它常用的面结构光照明的二维图形还有黑白光栅和正弦光栅。 i 2 1 5 光栅投射法光学三维测量中，光栅投射技术是最常用的、最有发展前途的技 术。光栅投射技术借助图像数字化设备将投射条纹输入计算机，并对该载波信号进行直 接的解调计算，从而求取物体面形信息。光栅投射技术实际上是一种位相编码方式，常 见的编码方法包括二维网格图案编码、二进制编码、位相编码、随机图案编码以及各种 颜色编码等。与其它方式相比，位相编码的优点在于可实现较高的测量分辨率，但是采 用相移技术时需要采集多幅图像，不易实现实时测量。目前，光栅投射法研究热点集中 于变频条纹投射技术的研究，其目的是实现绝对位相的自动求解，解决具有台阶或不连 通区域的复杂面形测量中的去包裹问题。 1 2 2自由曲面非接触测量技术的发展趋势 自由曲面光学三维测量13 、“7 1 中，采用栅光源的光学非接触测量方法的测量速度 快，在其视场区域内不需机械扫描便可得到被测面的三维形貌，如基于调制度的三维轮 廓术和光栅投射法，所以是最有发展前途的非接触测量技术之一。 近年来，通过对物体摄像然后对照片进行图像处理从而建立物体三维模型的方法也 受到了国内外学者广泛关注。由于在实体建模中使用单一的视觉信息往往难以获得满意 效果，不少学者们对综合使用多种视觉信息的方法进行了研究，将物理原理引入物体表 面测量及重建就是其中之一，如可变形模型在由图像中的视觉信息产生的模拟外力作用 下发生变形，变形结果就是重建的物体表面形状，参考文献m 9 1 中提出了多种基于这 一原理的方法。 沈阳工业大学硕士学位论文 1 3 课题的主要研究内容 本文以机器人化自由曲面自动检测加工系统为应用背景，结合计算机3 d 视觉机 理，研究基于结构光测量原理的自由曲面3 d 测量系统及关键技术，以实现自由曲面在 线自动化检测，从而达到成功研制面向自由曲面的机器人化自动检测加工系统的目标。 在这个研究任务中，基于结构光测量原理的自由曲面3 d 测量方法是关键技术之 一。经过对上述多种非接触测量方法的综合比较，采用线结构光的三维扫描测量方法原 理简单，易于实现，速度快，可以满足在线检测，鲁棒性好，所以采用线结构光的激光 扫描法完成本文的研究任务是现实可行的。 实现自由曲箍的线结构光3 d 测量并获得较高精度的采样数据，关键是要解决两个 问题：一是测量系统的标定【2 0 2 “2 。2 ”；二是图像处理、2 5 2 ”l 。课题的研究工作也是 围绕这方面进行的。 ( 1 ) 测量系统的标定过程制作标志点靶面，使光平面与靶面相交，根据已知的标 志点靶面坐标，通过中值滤波、闽值分割以及特征提取等图像处理过程精确提取图像的 形心坐标，然后利用最小二乘法求解非线性方程组取得摄像机内外参数来完成摄像机标 定；利用机器人的运动来严格控制测量头的移动，结合矩阵直积运算来进行机器人手眼 标定的线性化解法，完成机器人的手眼标定。 ( 2 ) 线结构光图像的处理测量系统采用线激光器将光条投射到物体表面，利用 c c d 像机采集经过物体表面形状调制的线结构光条，这样采集的线结构光图像由于物体 表面的倾斜和漫反射以及激光器功率的不均匀，使得整体图像噪声严重，不能够准确提 取光条中心，因此采用了一定的图像处理方法进行滤波除噪。对取得的图像进行灰度化 后，试验了多种阔值分割方法，通过比较分析，提出了进行区域搜索的最大类间方差 法，将光条从图像背景中提取出来。详细分析了常用光条中心提取方法的误差产生原 因，采用曲线拟合的方法改进了质心算法，实现了亚像素精度的光条中心点提取，提高 了数据处理精度。 ( 3 ) 试验 通过试验进行系统标定和实物测量，验证测量系统的可行性。 沈阳工业大学硕士学位论文 2 基于计算机视觉的自动化检测技术 2 1 计算机视觉 人类在征服自然、改造自然和推动社会进步的过程中，面临着自身能力、能量的局 限性，因而发明和创造了许多机器来辅助或者替代人类完成任务，智能机器，包括智能 机器人，是这种机器最理想的形式，也是人类科学研究中所面i 临的最大挑战之一。智能 机器是指这样的一种系统，它能模拟人类的功能，能感知外部世界并有效地解决人所能 解决的问题。人类感知外部世界主要是通过视觉、触觉、听觉和嗅觉等感觉器官，其中 约8 0 的信息是由视觉获取的。因此，对于智能机器来说，赋予机器以人类视觉功能对 发展智能机器是极其重要的，由此形成了门新的学科机器视觉。 机器视觉是研究用计算机来模拟生物外显或宏观视觉功能的科学和技术。机器视 觉系统的首要目标是用图像创建或者恢复现实世界模型，然后认知现实世界，机器世界 系统获取的场景图像一般是灰度图像，即三维场景在二维平面上的投影。此时，场景三 维信息只能通过灰度图像或者灰度图像序列来恢复处理，这种恢复需要进行多点对一点 的映射逆变换，在信息恢复过程中，还需要有关的场景知识和投影几何知识。 机器视觉是个相当新且发展十分迅速的研究领域，并成为计算机科学的重要研究 领域之一。机器视觉是在2 0 世纪5 0 年代从统计模式识别开始的，当时的工作主要集中 在二维图像分析和识别上，如光学字符识别、工件表面、显微图片和航空图片的分析和 解释等。6 0 年代，r o b e r t s 通过计算机程序从数字图像中提取出诸如立方体、楔形体、 棱柱体等多面体的三维结构，并对物体形状及物体的空间关系进行描述。r o b e r t s 的研 究工作开创了以理解三维场景为目的的三维机器视觉的研究。r o b e r t s 对积木世界的创 造性研究给人们极大的启发，许多人相信，一旦由白色玩具组成的三维世界可被理解， 则可以推广到理解更复杂的三维场景。于是启发人们对积木世界深入的研究，研究的范 围从边缘、角点等特征提取，到线条、平面、曲面等几何要素分析，一直到图像明暗、 纹理、运动以及成像几何等，并建立了各种数据结构和推理规则，到了7 0 年代，已经 出现了一些视觉应用系统。 沈用工业大学硕士学位论文 2 1 1m a r r 的计算机视觉理论框架 7 0 年代中期到8 0 年代初期，m a r r 提出了第一个计算机视觉领域的理论框架 视觉计算理论，极大地推动了计算机视觉地发展，并最终形成了这一领域的主导思 想。m a r r 的视觉计算理论立足于计算机科学，系统地概括了心理物理学、神经生理 学、临床神经病理学等方面已取得的所有重要成果，是迄今为止最为系统的视觉理 论。计算机视觉这一学科与此理论框架之间有着密切的关系a 要素图2 5 维图 三维模型 图2 1m a r r 视觉理论 m a r r 的视觉计算理论从信息处理的角度出发，认为视觉处理中存在三个不同的 层次，即计算理论的层次、表示( 数据结构) 与算法的层次、硬件实现的层次。其 中最重要的是计算机理论层次，并根据w a r r i n g t o n 临床神经学的研究结果，阐明视 觉的目的是从图像中建立物体形状和位置的描述。在这一层次把视觉过程主要规定 为二维图像信息中定量地恢复出图像所反映的场景中的三维物体地形状和空间位 置，即三维重建。在计算理论这一层次上，m a r r 将三维重建这一过程分为三个阶 段，如图2 1 所示。 前期视觉处理阶段是由输入的二维图像而获得二维图素。图素指的是图像中灰 度变化剧烈处的位置以及几何分布和组织结构。中期视觉处理阶段由二维图索而获 得2 5 维图形，2 5 维图形这的是以观察者为中心的坐标系中，可见表面的法向、 大致的深度以及他们的不连续轮廓等。由于2 5 维图中包含了深度的信息，因而包 含的比二维的更多，但还不是真正的三维表示。这一阶段是由多个相对独立的视觉 模块组成，又称“s h a p ef r o mx ”模型，这些模型包括由某些图像特征( 如边缘 点、轮廓现、纹理、颜色、序列图像对应特征等) 恢复物体的三维形状等，后期处 理阶段是从2 5 维图获得场景中物体的三维描述，识别处场景中存在的物体以及确 定这些物体的位置和姿态。三维描述指的是以物体为中心的坐标系中，用含有体积 沈用工业大学硕士学位论文 基元和面积基元的模块化的分层次表示，同时给出各物体之间的空间关系描述。 m a r ，的视觉计算理论比较系统地、一般地揭示了用二维图像恢复三维物体形态 的可能性和基本方法，具有划时代的意义，为计算机视觉称为一门学科奠定了重要 的基础。 2 1 2 计算机视觉的研究现状 目前计算机视觉系统已逐步形成一套体系，针对不同问题形成不同的解决方 法，有的针对基础研究，有的针对应用。大致分为以下几个重要的研究领域：1 摄像 机标定技术研究：主要研究在计算机视觉系统内摄像机的定位和内外参数的识别问 题；2 体视法：主要研究应用立体成像原理从图像上恢复物体三维数据的方法；3 运动序列图像分析法：即通过研究分析序列图像从而获得物体的三维特征和运动特 性的方法；4 直接由静态图像上的物体的灰度特性恢复物体的三维特征的方法，丰 要研究借助几何光学的辐射光度理论和对物体边缘的假设恢复物体的三维特性；5 基于模型的识别方法：这是一种自七而下的识别方法，通过对事先建立的低层处理的 模型与图像的匹配从而识别物体；6 主动法：即通过视觉传感器直接获取物体的三维 数据从而恢复物体的三维特性。 计算机视觉还存在研究欠缺以及实验标准不完善的问题，因此对应用问题的研 究要足够重视，另外新方法的研究、新手段的探索，如使用神经网络、采用主动视 觉等都可以从另一个侧面去处理我们所面对的视觉问题。就目前的技术水平而言， 短期内不可能实现全自动的通用三维视觉系统，应结合实际的应用条件，开发各种 专用视觉系统，并且允许以人工交互的方式改善系统性能；因视觉过程求解的复杂 性，很难进入深入的理论分析，因而用实验手段来检验和评价各种理论和算法就极 为可取。因此，系统的实验方法的研究、实验系统的设计和实施以及各种测试标准 的建立已经称为近期计算机视觉的研究课题。 2 2 摄像机标定 三维视觉系统应能从摄像机获取的图像信息出发，计算估计景物中物体的3 d 位 置、形状等几何信息，并由此建立景物中物体的识别信息。 沈用工业大学硕士学位论文 图像上每一成像点的灰度色彩都反映了所对应的唯一空间点的反射发射光的强度 与颜色。这种空间对应关系是有视觉系统的光学几何成像模型所确定约束的。摄像机 标定就是指建立图像象素位置和场景点之间的空间位置关系，即通过数学方法建立视觉 系统的光学几何成像模型。 2 2 1 成像几何模型 成像几何模型是光学成像的简化描述，一般假设摄像机模型为针孔透视模型，这是 一种最常用的理想状态模型，其物理上相当于薄透镜成像，它的最大优点是成像关系是 线性的。 it c ， r l。，p ( x w y w j z 1 x c 。l 珥哆f y ) c 。肛 元 0 圄2 2 小孔成量梗塞 如图2 2 所示，0 。一x 。z 。为摄像机坐标系，其原点q 为摄像机的光心，z 。轴 与光轴重合，仇一z 。匕z 。为世界坐标系，o 一砂为图像的物理坐标系，坐标原点在 光轴与图像平面的交点为o ，其x ，y 轴分别平行于摄像机坐标系的x 。，i 轴。d 一“v 为图像的像素坐标系，( 卫。，匕，z 。) 是三维世界坐标系中物体点尸的三维坐标，( “，v ) 是计算机图像坐标系中空间任意一点p 的成像点p 的实际图像坐标，单位是像素数 ( p i x e l ) ，焦距厂为图像平面到光学中心的距离。p 在图像上的成像位置p 通过透视 投影几何关系如下确定： ，一，墨 “一z y y 。= f 等 z ( 2 1 ) 其中，( z 。，t ，z 。) 是p 在摄像机坐标系中的三维坐标。( 吒，儿) 是理想情况下小孔摄 沈用工业大学硕士学位论文 像机模型下p 点的物理图像坐标，单位是毫米( n n ) 。 由于图像点的像素坐标( “，v ) 表示的是像素位于数字图像数组中的行数和列数， j 壮5 ”+ u 0( 2 2 ) 其中，s ；，s ，为图像平面单位距离上的像素数( p i x e l m m ) ，( “。，v 。) 为摄像机光轴与图 一五孵 眨。， 其中，：i = f + 虬，工= ，+ s 。，六称为图像“轴的尺度因子，工称为图像v 轴的尺度 因子，由于摄像机制造以及工艺等原因，像素点很可能发生畸变。如图2 3 所示， p 。= 1 s ；，p ，= 1 ，以，p ，分别为像素的宽和高，a 为像素点的倾斜角。 j = ( 伽口) ，称为畸变因子，当像素点是矩形时，口= o , o = 0 ；当像素点不是矩形 o v ， 国2 3 翱理坐标和圉像坐标之闽关系 p，f p x 圉2 。4t 素点慎斜 令p 为归一化的理想图像坐标时，即相当于假设摄像机焦距等于1 ，其中 z = z 。z 。，y = z 。则有： 沈用工业大学硕士学位论文 p 惜阵 亿a ， 则图像点的像素坐标m 与归一化图像坐标p 之间的关系以齐次坐标表示为： m * 雕孵卜 s ， 其中。k 包含5 个内参数，它反映的是摄像机内部的成像参数，所以称为内参数矩 x ： e z 。 l lx 。 r 胄 1 ik 2 l 0 7l j k i1 ( 2 6 ) 其中r 和t 分别为从世界坐标系到摄像机坐标系的旋转和平移变换，它反映的是摄像 机坐标系与世界坐标系之间的位姿关系，因此称为外参数。r 是一个3 3 的单位正 交矩阵，它只有三个自由度，由目( 俯仰角) 、伊( 旋转角) 缈( 倾斜角) 三个角度决 定。f 是一个的3 1 的平移向量。 由( 2 5 ) 和( 2 6 ) 可得空间点的实际三维坐标与像素坐标之间的关系如下： z 扑i = 心 s 工 0 谁 o o l0 o1 i0 x w 1 x ： e z 。 1 = m l m 2 x = m x ( 2 7 ) 其中m 为3 x 4 矩阵，称为透视投影矩阵，m 只与摄像机内部参数有关，称为摄像 机内部参数；m ：只与摄像机相对于世界坐标系的方位有关，称为摄像机外部参数， ，圳川0 心妒 州刊叫 沈用工业大学硕士学位论文 j 为空间点在世界坐标系下的齐次坐标。 2 2 2 常用的标定方法 由于实际成像系统中存在着各种误差因素。如透镜像差和成像平面与透镜光轴不垂 直等，这样像点、光心和物点在同一条直线上的前提假设不再成立，这表明实际成像模 型并不满足线性关系，而是一种非线性关系。此时采用针孔模型，必定会给摄像测量带 来较大的误差。因此，当需要获得较高的测量精度时，应该采用非线性模型来对摄像系 统进行标定。 根据求解非线性成像模型方法的不同，目前常用的摄像测量系统标定方法主要有如 下几类： ( 1 ) 直接非线性求解法直接非线性求解法首先建立标定点的空间三维坐标与图像 坐标的投影关系，然后用迭代算法对非线性方程组求解。该方法的优点是可以覆盖所有 的像差变形，即可选定任意的系统误差模型。因此若提出的估计模型比较