（材料加工工程专业论文）商品化的反求系统三维重构关键技术研究.pdf

华中科技大学硕士学位论文 摘要 反求工程与快速成形的结合，带来了一种全新的产品设计、制造及三维尺寸测 量模式。华中科技大学快速成形中心致力于三维激光扫描测量系统的研究并成功实 现了商品化。本文深入研究了扫描测量系统中从二维图像重构三维数据的过程，以 及将三维视觉测量技术用于产品快速检测或实物反求设计的若干关键技术。 激光条纹图像质量直接影响三维激光扫描测量系统的精度。因此本文提出新的 图像处理方法，该方法经过对图像进行中值滤波后，消除噪声的同时保护了激光条 纹的边界信息；然后采取一种迭代求取图像最佳阈值的分割法，对图像实现了动态 分割，得到二值化的激光条纹；最后通过采取一种新的基于曲线拟合的图像细化算 法，获得了单像素宽的激光条纹线。 实现三维数据重构的关键在于高精度的立体匹配。由于系统“盲区”的存在， 三维重构后的点云可能出现“空洞”现象，严重影响了数据的完整性和系统扫描的 精确性。为此本文提出一种基于激光面和极线约束的条纹匹配算法，提高了系统扫 描的效率和精度。 对影响系统三维重构精度的因素进行了分析，并提出了提高测量精度的方法。系 统测量实验的结果证明了该方法的可行性和有效性。 为了快速准确的测量产品的三维尺寸，并根据这些信息对产品进行修改，本文 设计了基于点云数据的三维尺寸检测子系统。并研究了球体、类阶梯块的产品及任 意方位圆柱面的最小二乘拟合算法和特定尺寸的计算问题。 关键词：反求工程计算机视觉图像处理激光面和极线约束 激光条纹匹配三维尺寸测量 华中科技大学硕士学位论文 a b s t r a c t t h ec o m b i n a t i o no fr e v e r s ee n g i n e e r i n gw i t hr a p i dp r o t o t y p i n gb r i n g s an e w p a r e m f o rp r o d u c td e s i g n & m a n u f a c t u r i n g 3 - dm e a s u r i n g t h e3 - dl a s e rs c a n n i n ga n d m e a s u r e m e n ts y s t e mh a sb e e nd e v e l o p e da n dc o m m e r c i a l i z e di nt h ec e n t e ro fr a p i d p r o t o t y p i n go fh u s t ( h u a z h o n gu n i v e r s i t yo f s c i e n c ea n dt e c h n o l o g y ) d e e ps t u d i e s o nr e c o n s t r u c t i o no f3 dd a t aa n dk e yt e c h n i q u e so f3 dv i s i o nm e a s u r e m e n tf o rr a p i d i n s p e c t i o no f p r o d u c t sa n d r e v e r s ee n g i n e e r i n ga r ec a r r i e do u ti nt h i sd i s s e r t a t i o n t h e q u a l i t yo f l a s e rs t r i p ei m a g e sh a sd i r e c te f f e c to nt h ea c c u r a c yo fs y s t e m an e w w a y t op r o c e s sl a s e rs t r i p ei m a g e si sp r e s e n t e d i no r d e rt om a k ef u r t h e rp r o c e s s i n g ，t h e i m a g e sn e e dt ob ep r e p r o c e s s e ds oa st om a k ei m a g e sm o r e c l e a rw i t hd i s t i n c t i v el a s e r s t r i p eb o u n d a r y t h e nt h eb e s t t h r e s h o l di m a g es e g m e n t a t i o na l g o r i t h mi sp u tf o r w a r d ， a n dt h ed y n a m i c a li m a g e ss e g m e n t a t i o ni sc a r r i e di n t oe x e c u t i o n i nt h em e a nt i m e ，t h e b i n a r yi m a g e sc a nb eo b t a i n e d f u r t h e r m o r e ，s i n g l e p i x e l w i d cl a s e r s t r i p e l i n e sa r e e x t r a c t e db y a d o p t i n g an e w t h i n n i n ga l g o r i t h mb a s e d o i lc u r v e f i t t i n g t oo b t a i nh i 【g ha c c u r a c yo fr e c o n s t r u c t i o no f3 dd a t a , t h ek e yt l l i n gi sh o w t om a t c h t h el a s e rs t r i p e sm o r ep r e c i s e l ya n de f f i c i e n t l y a st h ee x i s t i n go f “b l i n dv i e w ，t h ed a t u m o f r e c o n s t r u c t i o nm a yb ef r a g m e n t a r y i nt a c k l i n gt h ep r o b l e m ，an e w m a t c h i n ga l g o r i t h m f o rl a s e rs t r i p ei sp r e s e n t ，w h i c hi sb a s e do nl a s e rp l a n e - c p i p o l a rc o n s t r a i n t t h ef a c t o r st h a ta f f e c tt h ea c c u r a c yo f3 dr e c o n s t r u c t i o no f3 dl a s e rs c a n n i n ga n d m e a s u r e m e n t s y s t e m a r e a n a l y z e d ，a n d m e t h o d so f i m p r o v i n g t h e a c c u r a c y a r e p r e s e n t e d i t i sp r o v e di nt h ee x p e r i m e n tt h a tt h e ya r ef e a s i b l ea n de f f e c t i v e i no r d e rt og e tt h e3 di n f o r m a t i o no f o b j e c t si nt i m ea n dt h e nm o d i f yt h es h a p eo f o b j e c t s ，a t h r e ed i m e n s i o n sm e a s u r e m e n ts u b s y s t e mb a s e do n3 dl a s e rs c a na n d m e a s u r e m e n ts y s t e mi s d e s i g n e d l a s t l y ，l e a s ts q u a r ef i t m e t h o do fs p h e r e ，p a r t sl i k e l a d d e rb l o c k sa n d a r b i t r a r yc o l u m ni ss t u d i e d ，a n d s o m eo t h e r s p e c i a l d i m e n s i o n s c a l c u l a t i o nm e t h o d sa r er e s e a r c h e d k e yw o r d s ：r e v e r s ee n g i n e e r i n gc o m p u t e rv i s i o ni m a g ep r o c e s s i n g l a s e rp l a n ea n d e p i p o l a r l a s e rs t r i p em a t c h i n g3 d m e a s u r i n g 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个 人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体， 均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位敝储魏降崃 日期渺珏年印月扩日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在 年解密后适用本授权书。 本论文属于 不保密耐 ( 请在以上方框内打“4 ”) 、 学位论文作者签名：际易吼 指导教师签名 日期 绷绰础月扣 讶一 日期：缈弘年伊阳加 华中科技大学硕士学位论文 1 1 引言 1 绪论 全球一体化带来了全球统一市场的逐步形成，并加剧世界市场的竞争，使得市 场对产品的性价比更为敏感。产品的生命周期变得越来越短，产品需求品种增多， 产品的更新换代频繁、批量变小【1 1 。这种竞争激烈的市场要求生产者快速完成产品 开发、降低成本、缩短交货时f s 、提高产品质量等。因此，怎样快速、高质量的开 发出新产品，已成为赢得市场竞争的首要因素。而传统的产品开发逐渐难以满足这 种需求，反求工程( r e ，r e v e r s ee n g i n e e r i n g ) 技术则以其独特的优势在产品开发 中发挥着越来越大的作用。 1 1 1 反求工程与正向工程 反求工程是指根据实物模型测得的数据，构造c a d 模型，继而进行分析制造【“， 过程如图1 1 所示【3 1 。在传统的产品设计制造过程中，新产品设计起源于由功能需求 产生概念设计再进行详细设计，最终产生完整c a d 模型，继而进行分析、制造。与反 求工程对应，通常的产品设计、制造过程称为正向工程，如图1 2 所示。反求工程是 缩短产品开发周期的一种有效途径，特别是形状复杂的物体或自由曲面组成的物体 例如：流线型物体、人体器官、雕塑品、模具等。具体应用可以分为以下几类：1 ) 起源 于物理模型的新零件的设计；2 ) 对无法得到图纸的现有零件的复制；3 ) 磨损或损坏物 体的还原；4 ) 对现有产品的局部修改：5 ) 产品的检测。 图1 1 反求工程产品开发流程图 一一 l 华中科技大学硕士学位论文 图1 2 正向工程中产品开发流程图 1 1 2 反求工程中的测量方法介绍 反求工程测量( 即对被测实体轮廓信息进行数字化) 是r e 技术的第一步。测 量方法的好坏直接影响到对被测实体进行描述的精确、完整程度，进而影响到重构 的c a d 曲面、实体模型的质量，并最终影响到快速成形制造出来的产品是否能真 实地反映原始的实体模型。因此，它是整个r e 技术的基础。 目前反求工程获得被测产品的数据，主要有两种测量方法：分别为接触式测 量法、非接触式测量法，如图1 3 所示【4 j ： 图1 3 数据获取方法的分类 ( 1 ) 接触式测量法 三坐标测量机( c m m ) 是一类使用的最为广泛的接触式测量设备，它几乎可以 代表所有接触式测量设备的特点。它具有可靠性高、精度高、噪声低、与工件表面 的反射性无关、重复性好等优点，它也是逆向工程的研究重点，但是其速度慢，效 率低，而且对于复杂曲面很难测量或者对零件有损伤【5j 等缺点。 ( 2 ) 非接触式测量法 非接触式测量法是利用某种与物体表面发生相互作用的物体现象来获取其三维 信息。其中应用光学原理发展起来的现代三维彤状测量方法应用最为广泛洳三角形 法、结构光法、计算机视觉法、激光干涉法、激光衍射法等。由于具有测量过程非 2 华中科技大学硕士学位论文 接触和测量迅速等优点越来越受到人们的重视。距离法是利用光线飞行的时间来计 算距离，常采用激光和脉冲光束。比较典型的应用就是电子经纬仪交绘测量法。这种 方法测速慢，工作量大，测量相当困难，但可以测很大的物体。图像法类似于结构光法 以图像帧来确定被测物体的空间形态，但它采用的分析方法并不仅限于投影图案。两 幅图像上的标记点或图案的相关分析常用束确定被测空间点的三维坐标。激光三角 法【6 】原理是利用激光作为光源，让其照；i , l n 被测物体上，利用c c d 接受漫射光成像点 艮据光源、物体表面反射点和成像点之间的三角关系计算出表面反射点的三维坐标。 此方法目前已走向实用。结构光投影测量法被认为是目前三维形状测量中最好的方 法，它的原理是将具有一定模式的光源，如栅状光条投射到物体表面，然后用两个镜头 获耿不同角度的图像，通过图像处理的方法得到整幅图像上像素的三维坐标，这种方 法具有速度快、无需运动平台的优点。但它仍然存在着图像获取和处理时间长、测 量量程短等问题。立体视觉测量是根据同一个三维空间点在不同空间位置的两个( 多 个) 摄像机拍摄的图像中的视差，以及摄像机之间位置的空间几何关系来获取陔点 的三维坐标值。立体视觉测量方法可以对处于两个( 多个) 摄像机共同视野内的目 标特征点进行测量，而无需伺服机构等扫描装置。立体视觉测量面临的最大困难是 空间特征点在多幅数字图像中提取与匹配的精度与准确性等问题。近来出现了以将 具有空间编码特征的结构光投射到被测物体表面制造测量特征的方法，它有效解决 了测量特征提取和匹配的问题，但在测量精度与测量点的数量上仍需改进n 干涉 法心i 是通过测量两束相干光的光程差来计算物体的高度分布，测量精度相当高但测 量范围小抗干扰能力弱，不适合测量凹凸变化大的复杂曲面。激光衍射法的情况与干 涉法基本相同。莫尔等高线法是一种非接触的三维物体形状测量方法，通常采用影像 云纹和扫描云纹获取物体表面的等高线，初步解决了三维物体的形状识别问题但它 不能直接确定物体表面的凹凸变化，且需抽取条纹中心线，进一步处理要插值和拟合 而使精度降低。一种直接投影分析栅线的变化来代替分析莫尔等高线的方法近期发 展很快，通过分析编码的投影栅线的畸变提取物体高度信息，但仍需对栅线编码、细 化、插值和拟合，精度难以提高。w o l f 等用投影栅相移法测量物体三维形状，精度较 高但要求有专门的步进平台相移器和类似正弦分布的投影格栅，且同一物体需摄取 三幅以上的相移图。t a n g 等应用低通f i r 数值滤波技术，采用栅线投影测量法测量 了三维物体的形状，但运算较复杂。 各种获取数据的方法各有其优缺点，分别用于不同的场合。本中心在仔细分析 j 华中科技大学硕士学位论文 市场需求的基础上，为保证反求系统的测量精度和速度，降低开发成本，最终采用 一种立体视觉测量即基于计算机视觉的双目激光扫描的测量方法，其原理将在后面 的章节中介绍。 1 2 反求工程中测量系统的研究状况及其应用 1 2 1 国内外的研究状况 目前有些国内外的公司和大学科研院所都在研究反求设备，而且有的已经进入 商品化进程。英国3 d s c a n n e r 公司研究并生产的r e v e r s a 测量系统，它采用激光 三角法来获取被测产品的三维点云数据。它通过采用线光源，r e v e r s a 激光测头 扫描速度达到了1 5 0 0 0 点秒，在精度上达到了o ，0 2 5 m m 。3 dd i g i t a lc o r p 开发的3 d 数字化仪采用激光三角法，精度达到了0 ：0 2 r a m 。b u e r u c k m a n ng m b h 公司开发的 o p t o t o p h e 系列扫描测量系统采用了光栅投影三角法，精度达到了0 0 1 5 m m ，扫描 速度可以达到1 3 0 0 0 0 0 m 。德国g o m 公司a t o s 光学扫描测量系统采用了结构光投 影测量法。此系统可以在1 分钟内完成一幅包括4 3 0 0 0 0 点的图像测量，精度可达到 0 0 3 r a m ，不过它存在图像获取和处理时间长，测量量程较短等问题。另外美国“l a s e r d e s i g n ”s u r v e y o r l 2 0 0 立体激光扫描系统扫描的效率和精度都达到了较高的水平。 这些测量设备功能较完善，但价格相当昂贵。 由于国内起步晚，加上发达国家的技术封锁，国内反求工程技术的发展要落后 于国外先进水平。为了打破国外对这一技术的垄断，政府、企业、高校纷纷走上了 合作研发这一高新技术的发展道路。目前进展比较好的有：海信集团技术中心工业 设计所研制开发的反求工程项目 9 1 ，已经通过了国家级技术鉴定。此项目包括 c m s 4 0 0 型层析三维数字化测量机、激光线扫描测量仪、电路板在线检测仪和反求 工程设计开发系统。台湾智泰科技有限公司也致力于三维激光扫描技术的研究，目 前已经开发出了多系列的三维激光扫描测量系统和三维影像测量仪，应用在了工业 界的产品丌发、模具设计、手板制作、原版雕刻、r p 快速成型、电路板检测等领域。 华中科技大学图像所开发了三维激光彩色扫描系统3 d l c s 9 5 ，于1 9 9 5 年获得国家 专利。华中科技大学快速成形中心开发的三维激光扫描测量系统，在2 0 0 3 年进入商 品化的进程。 4 华中科技大学硕士学位论文 1 2 2 应用领域 将r e 与r p ( r a p i dp r o t o t y p i n g ) 相结合，在许多方面有重要应用【l ： ( 1 ) 对于只有样件，没有样件图形文档的情况下需要对样件进行有限元分析、 备件加工、模具制造或者需对样件进行修改，考察修改后的样件与其它零件间的装 配协调性等等，这就需要利用反求工程中的手段将实物模型重建为c a d 模型。 ( 2 ) 对于一些外形十分复杂的物体，如一些动物、植物及玩具等，用目前普通 的c a d 软件，还很难满足形状设计的要求，常常要先制作手工模型，然后运用逆 向工程将实物模型转化为c a d 模型。而模型重建的效果如何，可以通过快速成形制 造得到直观的检验。 ( 3 ) 将反求工程与快速成形制造相结合，组成产品三维尺寸测量、建模、制造、 修改、再测量的闭环系统，可以实现快速测量、设计、制造、修改的反复迭代，高 效率完成产品设计。 ( 4 ) 在医学领域，利用层析x 射线( c o m p u t e r i z e dt o m o g r a p h y ，c t ) 及核 磁共振( m a g n e t i c r e s o n a n c e i m a g i n g m r ) 等设备采集人体器官、骨骼、关节等部 位的外形数据，重建三维数字化模型，然后用快速成形技术制造教学和手术参考用 的模型或用于帮助制造假肢或外科修复。由于可以针对具体患者采集数据并建立相 应的计算机模型，可以使假肢制造、牙齿镶复等更加具有针对性，更符合具体患者 的需求。 1 3 本学位论文的选题及其意义 反求工程中的测量设备在国民生产和生活中占据了越来越重要的作用。市场上 对测量系统的要求如系统精度和扫描效率也越来越高。国外的机器发展已比较成熟， 但引进国外的机器受到各种因素的限制，如资金、核心技术封锁以及人才缺乏等等， 所以自主研发的高精度、高效率的测量系统具有重要的意义。而影响测量系统的精 度和效率的因素主要有：摄像机的标定精度；图像处理的效率和精度；匹配 的算法。怎样得到高精度、高效率的测量系统? 提高摄像机标定精度和图像处理速 度和精度，以及选取一种高效率，高精度的匹配算法是关键所在。 华中科技大学快速成形中心2 0 世纪9 0 年代初期就开始进行快速成形方面的研 究，目自u 已研制并商品化多种快速成形设备，如纸叠型、选择性激光烧结型、光固 华中科技大学硕士学位论文 化型。为实现真正意义上的快速响应制造，实现r p 系统的配套。本中心丌发了基 于计算机视觉的双目激光扫描测量系统。本文主要从图像处理和匹配算法方面进行 了较深入的研究，并且所有研究成果都用于华中科技大学第一台商品化的三维激光 扫描测量系统，取得了较好的效果。 1 4 基于计算机视觉的激光扫描测量系统的测量原理 本课题采用了基于双目立体视觉的激光扫描测量技术。其测量系统结构简单， 数据采集快速便捷，操作方便，测量成本较低，且具有实时三维测量的能力，尤其 适合于大型工件轮廓的检测。本中心白行开发的反求测量系统由两个面阵c c d 摄 像机( c h a 唱e c o u p l e dd e v i c e ，电荷耦合器件，分辨率为6 9 3 ( h ) x 4 8 5 ( v ) 像素) 、一 个带有3 0 个参考点( 已知坐标) 的靶标、一个半导体线激光器( 功率2 m w ) 、一台 p c 机、控制柜( 其包括一块采集卡、一块运动控制卡及相应的控制硬件) 和软件组 成。如图l4 所示。利用c c d 摄像机获得三维物体的二维图像，实现实际空间坐标 系与摄像机平面坐标系之间的透视变换。通过由两个摄像机从不同视角拍摄到的两 帧二维图像，通过处理、立体匹配等过程即可综合测出物体的三维曲面轮廓或三维 空问点位。其扫描测量过程可以分为以下三个步骤。 图1 4 双目立体视觉测量系统原理图 扫i t - + m + l 量工作的第一步，用靶标对由两个摄像机构成的系统进行标定，称为摄 像机标定。其上的各靶点空间位置坐标都是预先经精确测定而已知的。图像采集卡 把c c d 接收到的图像信号输入计算机，由计算机进行处理。通过已知的靶标上特 6 华中科技大学硕士学位论文 旺点的坐标和两个c c d 像面上对应像点的坐标，计算后便可确定双摄像机的内部 参数和外部参数，完成摄像机标定。 扫描测量工作的第二步，通过对左右两个摄像机拍摄到的激光条纹图象进行预 处理、分割及细化等处理过程后，得到单象素宽的激光条纹线。 扫描测量工作的第三步，利用左右两条激光条纹线完成立体匹配的工作，重构 出激光扫描线的点云数据。通过不断的处理，即可得到整个被测物体表面的所有点 云数据信息。由此便完成了整个过程。 1 5 本文的主要研究工作 本课题的研究内容全部用在了商品化的三维激光扫描测量系统中。其主要的内 容如下： 第l 章分析各种在反向工程中的常用获取被测产品数据的测量方法及其优缺 点，确立了本中心研究开发的三维激光扫描测量系统采用的获取数据的方式，最后 还分析国内外测量系统的研究情况及其应用领域。 第2 章针对激光条纹图像的特点，分析了常用的图像预处理，分割和细算法， 在现行算法的基础上设计出一套适合于三维激光扫描测量系统激光条纹图像的处理 方法。 第3 章提出一种新型的激光条纹匹配算法。消除了基于双目c c d 的激光扫描 测量系统中的盲区问题所带来的三维点云数据的“空洞”现象，并提出控制匹配算 法的误差措施，提高了扫描系统的精度。 第4 章影响三维激光扫描测量系统精度因素很多：控制系统的运动及其与图 像采集间的同步、图像的处理、激光条纹立体匹配的精度、系统机械的装置方式以 及目标点在像面上的定心等等。本文主要讨论这五个因素对三维激光扫描测量系统 精度的影响，并给出具体方法来提高精度。 第5 章利用三维激光扫描测量系统来完成对零件三维尺寸的检测。分析了三种 不同测量尺寸的方法及其他们的优缺点，从中可看出三维激光扫描测量系统测量三 维尺寸的方式具有精度高，而且还可测量其他两种方式不能测量的零件。最后给出 了测量常见零件如球体、类阶梯块的零件和圆柱面等尺寸的算法。 第6 章全文的总结与展望。本章总结了全文的研究工作，对该课题的进一步完 善和研究方向进行探讨。 一一一 7 华中科技大学硕士学位论文 2 激光扫描测量系统的二维激光条纹图像的处理 基于双目c c d 激光扫描测量系统采集到的激光条纹图像是扫描测量系统后续 处理的前提。从两个不同视点拍摄的激光条纹图像质量的好坏和处理这些图像的方 法正确与否关系到激光扫描测量系统的扫描精度的高低。因此，对图像预处理、分 割技术和细化算法都提出了较高要求。作者针对激光条纹图像特点和激光扫描测量 系统的具体要求，通过实验比较了多种算法，并在现有算法的基础上进行改造、创 新，经反复的实验分析，最终找到较适合于激光条纹图像的预处理、分割及细化等 算法。在激光扫描系统的实际运用中，采用先对原始激光条纹图像进行滤除噪声， 较好保存了激光条纹边缘信息，然后通过一种新的动态闽值图像分割技术，得到二 值激光条纹图像，最后采用一种求取中一心线并拟合的细化算法，完成了对激光条纹 图像的处理。实践证明，这些方法取得了较好的效果。 2 1 激光扫描测量系统的图像特点 下图为激光扫描测量系统的较典型的激光条纹图像和它的原始直方图 图2 1 激光条纹原始图像 图2 , 2 激光条纹图像原始直方图 在基于双目c c d 激光扫描测量系统中的激光条纹图像通常有以下特点 ( 1 ) 通常由于工作台和目标表面的反光，背景灰度值在进行规格化和光照补偿 后，仍存在一定的变化范围。 8 华中科技大学硕士学位论文 ( 2 ) 不同目标的表面和光学特征各异，但我们可以归结为两类，即“明目标， 暗背景”或者“暗目标，明背景”，在我们所研究的用于三维重建的图像通常如2 1 图所示为“明目标，暗背景”。 ( 3 ) 图像的统计直方图呈现多峰值且谷底不明显，很难用单一确定的闽值对图 像进行分割。 ( 4 ) 由于干扰噪声大，进行预处理和分割后，得到的二值图像噪声还是很大， 如果用通用的细化算法进行细化，得到的结果达不n y , 0 量系统的精度要求。 针对以上四个特点，为了便于下一步激光扫描线的三维数据重建和满足系统精 度的要求，需要对激光条纹图像进行预处理、分割以及细化等等处理，将数字图像 中的激光条纹转化为三维重建需要的单象素的激光扫描线。 2 2 二维激光条纹图像的预处理 由于激光扫描测量系统的扫描是针对于具有一定的粗糙度的表面上，散斑噪声 现象将不可避免的存在。除此之外，外界环境光的强度大小以及c c d 摄像机内部 的随机白噪声和图像采集卡的电噪声与热噪声等等的影响。所以生成的二维激光条 纹图像，包含各种各样的随机噪声和畸变，因此需要对原始图像进行预处理，突出 有用信息、抑制无用信息，从而提高图像质量。图像预处理的目的主要有两个：一 是改善图像的视觉效果，提高图像的清晰度；二是使图像变得更有利于计算机的处 理，便于各种特征分析。 2 2 1 激光条纹图像的平滑 由前面可知激光条纹图像的噪声十分复杂，而且有很强的随机性，同时它们往 往与信号，图像中的目标交织在一起，恶化了图像的质量，使图像的目标和背景间 的区分没有理想的那么明显。因此，对激光条纹图像的滤波处理提出了较高的要求。 怎样有效的去除目标( 激光条纹) 和背景中的噪声以适应计算机处理的要求：同时， 又能很好的保持激光条纹的细节如形状、大小等特征成为了下一步图像处理坚实的 基础u 1 o 中值滤波在消除噪声的同时保持了图像细节。通过实验分析，中值滤波更 适合于激光条纹图像。 中值滤波 1 2 】的定义为： g t m ， ) = m e d i a nj ( ，j ( m + k ，n + ，) ，( 女，) w ( 21 ) 9 华中科技大学硕士学位论文 式中m e c t i a n ，表示在窗口a 中取中间值， ( m + 七，h + ，) 表示以象素( i t i , r 1 ) 为中心 的a 窗口下的各个捩度值。它是一种非线性的平滑滤波技术，它的脉冲抑制能力取 决于滑动窗口尺；j 大小。实践表明，当图像受到尖峰、短正脉冲或负脉冲干扰时， 只要窗口大小是脉冲宽度的2 倍，中值滤波就能抑制这类脉冲干扰。当干扰脉冲充 分分散时，可完全被滤掉。它的算法过程如下： ( 1 ) 选取一个窗口a ( m n ) 即模板在图中漫游，并将模板中心与图中某个像素 位置重合； ( 2 ) 读取模板下各对应像素的灰度值； ( 3 ) 将这些灰度值从小到大排成1 列； ( 4 ) 找出这些值在中间的1 个： ( 5 ) 将这个中间值赋给对应模板中心位置的像素。 从上步骤看出，中值滤波是用一个窗口在图像上扫描，把窗口内包含的图像像 素按灰度级的升( 降) 序排列起来，取灰度值中的像素灰度为窗口中心像素的灰度， 由此便完成了对激光条纹图像的中值滤波。它的唯一参数是窗口大小，窗口一般可 以取3 3 、5 5 、7 7 等。但若邻域取得越大，程序计算量越大，滤波速度越慢， 并且平滑的程度越高，边缘信息丢失得越多，所以在激光扫描测量系统中采用了3 3 窗i z i 。作者开发的激光扫描测量系统软件采用此中值滤波方法，取得了较好的 效果。最后系统生成的三维点云数据噪声点有了较明显的减少。 2 3 激光条纹图像的分割技术 图像分割是图像由预处理转入分析的关键步骤。图像阈值法或二值化是图像分 割最基本的方法之一”。利用取闽值方法分割灰度图像时一般都对图像有一定的假 设。换句话说，是基于一定的图像模型。最常用的模型可描述如下：假设图像有 具有单峰灰度分布的目标和背景组成，在目标和背景内部的相邻像素间的狄度值是 高度相关的，但在目标和背景交界处两边的像素在灰度值上有很大的差别。如果一 幅图像满足这些条件，它的灰度直方图基本上可看作是有分别对应目标和背景的2 个单峰直方图混合而成。此时如果这2 个分布大小( 数量) 接近且均值相距足够远， 而且均方差也足够小，则直方图应是双峰的。对这类图像常可用取阈值方法来较好 的分割。针对激光条纹图像的特点，本文采用了闽值分割法。 1 0 华中科技大学硕士学位论文 对于激光条纹图像，图像分割就是要将图像中的激光条纹突出出来，将其他部 分忽略。由图像特点可知其目标与背景在灰度特性上的差异比较大，但是又由于其 噪声等影响因素的存在。常用的阂值分割法并不能满足激光扫描测量系统的需求。 2 3 1 激光条纹图像阈值分割算法的选择 图像闽值分割的关键是恰当的选择分割闽值 1 5 】。如果闽值选得过高，则过多的 目标点将被误归为背景，反之则出现相反情况。这势必影响分割出来的目标的大小 和形状，甚至使目标失落。 由于本系统采用自动连续扫描测量，所以拍摄到每一幅图像的灰度或者质量都 可能受到环境和目标表面的变化而变化，如果我们采用固定阈值对其进行分割，那 么很有可能达不到系统的要求：而如果用全局阈值法，那么从激光条纹图像的第一 和第三个特点来看得到的结果有可能是背景，而不是我们需要的目标( 激光条纹， 下同) 。本文在此基础上提出了新的阈值分割方法。 作者采用一种迭代求图像最佳分割阈值法【l ，它是一种动态阈值与全局闽值相 结合的图像分割法 t 7 t 8 。 2 3 2 选代求图像最佳分割阈值的图像分割法 阈值可以定义为包含以下形式的函数t 的一个算子： t ( x ，y n ( x ，y ) ，g ( x ，y ) ) ( 2 2 ) 其中g ( x y ) 是点( x ，y ) 处的灰度值，y ( x ，y ) 表示局部特征。如果r 仅取决于 g ( x ，川，则称之为全局阂值；如果，取决于g ( x ，y ) 、n ( x ，y ) 二者，则称之为局部 阙值：如果r 取决于x ，y ，g ( x ，y ) ，uc x ，_ ) ) 四者，则称之为动态闽值。 当图像背景比较单一，灰度直方图明显呈双峰分布，采用全局阈值进行图像分割 一般可得到比较满意的结果全局阈值图像分割的方法有多种，如直方图阈值图像 分割、类l 刮差阂值图像分割、最大熵阈值图像分割等。但是当目标图像比较复杂时 图像的灰度直方图看不出明显的双峰，用全局阈值对图像进行分割时效果并不理想。 在图像分割实践中，达到整体最优时，即根据整幅图像确定一个全局闽值束实施分 割，往往会丢失感兴趣的细节。为兼顾这两者，目前采用多闽值分割或局部闽值分 割。尽管多闽值策略在一定程度上能改善图像分割的质量，但也引入了第三个甚至 华中科技大学硕士学位论文 更多个中间扶度级，而这些狄度究竟代表目标还是背景，增加了图像分析的强度。 在局部阈值分割中，将给定的图像划分为若干个子图像，然后根据每个子图像确定 相应的闽值，由于对子图的划分引入了人为因素，所以局部闽值也不是一种很好的 办法。同时激光条纹图像的灰度直方图并不都是呈双峰分布，此时我们可考虑采用 动态阈值对图像进行分割。所谓动态阂值是相对于常规的固定阈值而言的，即在全 局最优准则下，首先确定出一个( 或多个) 阀值来，该闽值具有一定的抗噪声能力， 以此闽值为基础，并利用分割点所在位置周围象素点的灰度分布特性，对其进行调 整所得闽值即为动态闽值。 动态闽值分割的效果要比全局阈值分割的效果要好，但也带入了人为造成的一 些痕迹，所以本文把全局阈值与动态闽值相结合，提出了一种新型的适合于激光条 纹图像分割算法。即迭代求图像最佳分割阈值的图像分割法。 这种算法的步骤如下： ( 1 ) 求出图像中的最小和最大灰度之y 和y k ，令闽值初值为 v v t o = 1 二尘( 2 ( 2 ) 根据阈值t 。将图像分割成目标和背景两部分，求出两部分的平均灰度值乙 和z 。： z ( i ，j ) x n ( i ，) z o _ 业暑丽矿 ( 2 4 ) z ( i ，) n ( i ，) z 日= 坐型；i _ ( 2 5 ) 82 1 矿 旺 = ( ，i t 式中z ( f ) 是图像上( f ，_ ，) 点的狄度值， v ( ，) = 1 0 。 ( 3 ) 求出新的阀值： t 一：坦 2 n ( i ) 是( f ，j ) 点的权重系数，一般 ( 2 6 ) 1 2 华中科技大学硕士学位论文 ( 4 ) 如果t = t ”1 ，则结束，否则k - k + l ，转到2 重新开始。 通过本文提出的方法动态获得的闽值对图像进行分割，所得到的边缘曲线反映 了激光条纹的边缘特征，取得较好的分割效果，满足了进一步点云三维重建的要求。 为了便于激光条纹图像中的激光条纹提取，我们需要对其进行二值化。基本思 想是：设f ( x y ) 是图像( x y ) 处的灰度值，灰度级为m ，如果灰度值t 是图像的 一个阚值，则用阀值对图像进行分割的准则为： 目标部分：f ( x y ) t ： 背景部分：f ( x y ) t ： 一幅经过闽值化处理的图像可以定义为： 如= 震臀 仨， 选择不同的门限值t ，将会得到不同的图像分割结果。要想获得满意的结果， 必需找到一个最佳的门限值。通过本文提出的方法得到的阈值对激光条纹图像进行 分割，设瓦为最后确定的最佳分割闽值。那么灰度值小于z 的像素值被赋予0 ( 黑) ， 代表分割出的背景：大于等于瓦的像素值被赋予2 5 5 ( 白) ，代表分割出的激光条纹。 图2 3 阶梯块的扫描原始图像 图2 4 经过闽值分割和二值化后的激光条纹图像 本中心丌发的基于计算机视觉的激光扫描测量系统使用激光器作为光源，使激 光条纹与背景之矧的对比度增大如图2 3 ，作者采用上述的迭代求图像最佳分割闽值 的图像分割阈值法，较好的提取出目标一激光条纹部分。其二值化后的图像如图! 4 可以看出，图像经二值化后仅留下激光条纹部分，背景已被全部去掉，而且图像的 1 3 华中科技大学硕士学位论文 连通性好、清晰度高。较好地满足了进一步实现三维数据重建的需要。而且，通过 和其它算法相比较，计算量和处理时间较少，满足了激光条纹图像对于实时性和精 度的要求。 2 4 二维激光条纹图像的细化 激光条纹图像中细化效果影响激光扫描线点云重建的精度。所以在选择细化算 法，总体上就得满足两个条件：正确的找到其激光条纹的中心线和保证细化后的激 光条纹的单像素性。由于激光照射在物体表面上的激光条纹宽度约为l m m 左右， c c d 摄像后得到的激光条纹宽度所占像素数目不只一个，所以激光条纹图像必须做 中心线搜寻处理。在激光束中心线搜寻过程中，光束的宽度愈小，其误差愈低。为 了提高测量的精度，我们必须提取一条单像素的激光中心线，即需要对激光条纹图 像进行细化。 2 4 1 细化算法的比较 激光条纹的细化，就是不断的去除曲线上不影响连通性的轮廓像素，从而获得 单像素的中心骨架的过程。关于细化过程，目前还没有精确的数学定义，这在一定 程度上反映了细化算法的多样性但不管采用何种细化算法，它都应满足：细化结 果应与原图保持拓补等效性、细化结果应保持原图中图形的连续性、细化结果应为 ( 或接近) 原图线形的中心、细化后线宽应为一个象素、细化结果对原图边界噪声 不敏感、保留曲线的端点，交叉部分中心线不畸变、细化速度快。 针对各种不同的应用，国内外的学者为此提出了许多细化算法，如经典的细化 算法【1 ，z h a u g 快速并行细化，朱氏细化算法，熊氏细化算法，形态学细化算法 2 0 】， 范氏细化算法等。 圈2 6 ah i l l d i t c h 法的细化结果 图2 6 bd 驰t s c h 法的纲化结果 1 4 华中科技大学硕士学位论文 图2 6 ez h a n g 法的细化结果 圈2 6 d 形态学法的细化结果 图2 6 各种细化算法效果比较图 图2 6 给出了利用这四种算法将图2 4 细化之后的实例。可以看出h i l l d i t c h 细 化算法的断点比较多，保形性较差( 图2 6 a ) ；d e d u t c h 细化算法的连通性较好，但 有毛刺( 图2 6 b ) ；张氏细化算法有断点，连通性差( 图2 6 c ) ，形态学细化算法的 综合效果较好( 图2 6 d ) ，但是在激光条纹线上偶尔出现了双像素或更多的像素，没 有达到我们提取单像素的目的。所以我们采用了一种改进的激光条纹图像细化算法。 2 4 2 基于曲线拟合的圈像细化算法 对于激光条纹中心位置提取，就是要找出激光条纹中心轨迹的位置，这种中心 轨迹的确定有很多种算法【2 1 2 2 1 ：极值法、阈值法和重心法等等。下面作者介绍一种 改进的激光条纹中心位置提取的综合算法。图2 7 给出了利用这一算法将2 4 图细化 之后的实例。 在基于计算机视觉的激光扫描测量系统中，虽然由双目c c d 拍摄到的左右两 幅激光条纹图像中的激光条纹( 目标) 与底面( 背景) 存在较大的灰度差，但从 激光条纹图像特点可知，直接采用重心公式来求取中心位置，提取到的中心位置 可能偏移实际的位置，误差变大，使得最后的三维数据点云误差变大。所以作者 利用最佳闽值对图像进行分割后，并不直接进行二值化。而令图像中灰度值小于t 部分的灰度值变成0 ，大于t 部分的灰度值保留。然后采用重心公式来计算，这时 候可以利用图像保留下来部分的灰度值定出光条提取的第二个最佳阈值工。利用 1 1 重新对图像中灰度值不为0 的部分进行分割，然后，用每一像元采样的值g ；减去 华中科技大学硕士学位论文 门限值王，得到结果为h i ，当结果为负时，令h i = 0 ，对每一行像元的各激光条纹 处都有一个非零的峰值区，假设第k 个非零峰值区为从第m 列到第1 1 列的h i 0 ( m i n ) ，则该激光条纹的重心位置为： x = ( 2 8 ) 算的值为正的实数，这是亚像素级的。这种方法提取的激光条纹的中心位置非 常直观和易于实现的。但是在由于激光条纹的中央部分是很锐利的，可能会发生断 点的情况，为了保证激光条纹的连续性和精度，这种情况，作者利用三次b 样条曲 线对单像素的激光条纹线进行了拟合。 图2 7 基于曲线拟合细化的激光条纹图像 在激光扫描测量系统的研究开发中，作者同时采用了这种激光条纹图像细化算 法，降低了对图像噪声的敏感度，较大提高了图像处理的精度。 2 5 本章小结 影响三维激光扫描测量系统的扫描精度的一个重要的因素，就是对左右两幅 激光条纹图像处理的情况。其中包括对图像的预处理( 增强、滤波) 、分割、及细化 等过程a 经过上述的处理，最后得到了从不同视角下摄取的两条单像素宽激光条纹， 为下一步快速匹配出激光扫描线三维数据奠定了坚实基础，保证匹配的效率和精度。 1 6 华中科技大学硕士学位论文 3 一种新型激光扫描线数据生成方法 一个完整的立体视觉系统通常可分为图像获取、摄像机定标、图像处理、立体 匹配等五个大部分，其中立体匹配是最重要也是最困难的部分。双目视觉法【2 “j 是立体视觉测量中最常用的形式之一，其基本原理是以两台结构和性能完全相同的 c c d 摄像机从不同视角获取物体图像，通过空间物点在两幅图像中对应像点之间的 几何位置关系来重构该物点的空间三维坐标。图3 1 给出了基于计算机视觉的双目 c c d 的激光扫描测量系统软件部分一般流程。 摄像机 图像的基于激基于空 数学模预处理光条纹间点的 型的建- q p及澈光的氯段_ 三维重 立和参条坟的 匹配 建 数标定细化 图3 1 基于计算机视觉的激光扫描测量系统软件的一般流程 从图3 1 可