（测试计量技术及仪器专业论文）完整成像测量方法中拼接技术的研究.pdf

中文摘要 随着计算机技术的快速发展，影像测量技术在测量技术中得到了广泛的应 用，但是由于视场与精度的矛盾，在对零件尤其是微型零件进行检测时，完成一 次测量任务往往要进行多个机械动作，测量过程由于测量对象的不同也不尽相 同。当需要对复杂特征如轮廓特征进行检测时，测量过程更是麻烦并且精度受到 限制。 根据以上问题本文提出完整成像法的思想，并且研究了图像拼接技术在完 整成像法中的应用，它能实现检测过程的标准化、自动化及智能化。论文的主要 工作如下： 1 、针对现今影像测量仪器测量方法的不足之处，提出了完整成像测量方法的 思想，并研究了完整成像测量方法的实现途径。 2 、广泛研究了各种图像拼接发展状况、方法原理、特点和关键技术，并对其 中的主要方法进行了实验验证。 3 、分析图像拼接的过程，为了提高图像的质量，研究了图像狄度校f 并取得 良好的效果。分析对比基于相位相关、模板相关等基于统计信息的配准方 法及基于特征的配准方法，并且初步实现图像亚像素配准，尝试了一种基 于角点匹配的微型零件拼接方法。 4 、研究了利用亚像素技术实现高精度特征定位的方法，从光学成像规律分析 亚像素特征定位标准，进而找出最合适的边缘定位算法。利用基于空间距、 z e r n i k e f 交距方法及曲面曲线插值技术进行亚像素边缘检测，研究利用 一维三次样条插值结合微分算子的方法实现像素边缘检测，最后利用直 接椭圆最小二乘拟合实现特征的高精度检测。 5 、分析基于图像内部信息拼接技术的优缺点，提出一种基于基准模板的拼接 方法，巧妙地利用基准模板非常有效地实现在微小视场中增加外在信息的 目的，进而大幅度地提高特征的定位精度，并且使测量过程标准化、自动 化，进而非常适合于工业应用的推广。 关键词：完整成像法图像拼接距像素图像配准框标 a b s t r a c t w i t ht h ed e v e l o p m e n to fc o m p u t e rt e c h n i q u e s ，i m a g em e a s u r i n gt e c h n i q u e si s w i d e l yu s e di nm e t r o l o g y b u tb e c a u s eo ft h ec o n f l i c to fp r e c i s i o na n dt h ef i e l do f v i e w , w h e nd o i n gt e s to np a r t se x p e c i a l l ym i c r o p a n s ，s e v e r a lm e c h a n i c a la c t i o n sm u s t b ed o n et o c o m p l e t eo n et e s t w h e nd o i n gt e s t o nc o m p l i c a t e df e a t m e ss u c ha s c o n t o u lt h et e s tp r o c e s si sv e r yt r o u b l e s o m ea n dd i f f i c u l tt oa c h i e v eh i g hp r e s i o n t of i xt h ep r o b l e m sa b o v e ，t h i st h e s i sp u tf o r w a r da l li d e an a m e dt h ee n t i r e i m a g i n gm e a s u r i n gm e t h o da n ds t u d i e dt h ea p p l i c a t i o no fi m a g em o s a i c i n gi nt h i s i d e a i ti sag o o dw a yt os u c c e e dn o r m a l i z a t i o n ，a u t o m a t i o na n di n t e l l i g e n c ei nt e s t p r o c e s s t h i st h e s i s sm a i nw o r k i s ： 1 c o n s i d e r i n gt h es h o r t a g e so fp r e s e n t e di m a g et e s tm e t h o d ，p u tf o r w a r da r li d e a n a m e dt h ee n t i r ei m a g i n gm e a s u r i n gm e t h o da n ds t u d ym e a n st oa c h i e v et h i si d e a 2 w i d e l ys t u d yd e v e l o p m e n ts i t u a t i o n ，p r i c i p l e s ，c h a r a c t e r i s t i ca n dk e yt e c h n i q u e s i ni m a g em o s a i c s h a v ed o n es o m ee x p e r i n a e n t st ov a l i d a t em a j o rm e t h o d so fi t 3 a n a l y s et h ep r o c e s so fi m a g em o s a i c i n g t oe n h a n c ei m a g eq u a l i t y ，s t u d y g r e y l e v e lc o r r e c t i o na n da c h i e v eag o o dr e s u l t a n a l y s ea n dc o m p a r es t a t i s t i c b a s e di m a g er e g i s t r a t i o ns u c ha sp h a s ec o r r e l a t i o na n dt e m p l a t ec o r r e l a t i o na n d f e a t u r eb a s e dm o t h o da n ds t u d y s u b p i x e lr e g i s t r a t i o n a l s o ，d os o m ew o r ko na c o m e rm a t c hb a s e dm i c r o p a r tm o s a i c i n gm e t h o d 4 s t u d ya n du s es u b f i i x e lt e c h n i q u e st o a c h i e v e h i g h p r e s i o n f e a t u r el o c a t i o n a n a l y et h ep r i n c i p l eo f i m a g ef o r m a t i o nt of i n df e a t u r el o c a t i o ns t a n d a n d ，a n df i n d o u tt h eb e s tw a yf o re d g el o c a t i o nm a k eu s eo fs p a c em o m e n t s ，z e m i k em o m e n t s a n ds u r f a c ea n dc u r v ei n t e r p o l a t i o nt e c h n i q u e st ol o c a t es u b p i x e le d g e d os o m e w o r ko no n ed i m e n s i o nc u b i cs p l i n ei n t e r p o l a t i o nc o m b i n e dw i t hd i f f e r e n t i a l c o e f f i c i e n ta n dd i r e c tl e a s ts q u a r sf i t t i n go fe l l i p s e st oa c h i e v es u b p i x e lp r e s i o n 5 ，b r i n gf o r w a r dab e n c h m a r kt e m p l a t eb a s e dm o s a i c i n gm e t h o d ，m a k eu s eo f b e n c h m a r kt e m p l a t et oa d do u t s i d ei n f o r m a t i o ni nm i c r o v i s i o ne f f e c t i v e l y ，a n d a c h i e v eh i g hp r e s i o nf e a t u r el o c a t i o n ，m a k et e s tp r o c e s sa c h i e v en o r m a l i z a t i o n ， a u t o m a t i o na n ds u i t a b l ef o ri n d u s t r ya p p l i c a t i o n k e yw o r d s ：e n t i r ei m a g i n gm e a s u r i n gm e t h o d ，i m a g em o s a i c i n g ，s u b p i x e l i m a g er e g i s t r a t i o n ，f i d u c i a l 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得墨盗盘芏或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：互步压 签字日期：t ，厂年 ，月卢同 学位论文版权使用授权书 本学位论文作者完全了解蠢鲞盘堂有关保留、使用学位论文的规定。 特授权苤洼盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：互膨房导师签名 签字同期：) 缈年剧。 f i签字同期： 酚中 址弗年【 天津大学硕十学俯论文 第一章绪论 1 1 概述 第一章绪论 本文是天津市应用基础研究计划面上项目“微型零件完整成像法测量技术研 究”的子课题。 近十年来，不同领域对微小型零件的需求日益增长，例如，计算机、通讯、 汽车、医疗、环境工程、航空航天、家用电器等领域，如图1 1 所示。 图1 1 各种微型零件 而在微型零件( 如手表零件) 测量领域，一直以来主要的测量仪器为卡尺、 投影仪及万工显等，其方法为手工操作，不仅麻烦、速度慢，而且精度还受工人 的经验影响，因而利用视觉测量方法替代手工测量成为热点，国内外推出了很多 的影像测量仪器。如日本n i k o n 公司的n e x i v 系列产品，三丰公司的q u i c ks c o p e 系列产品，瑞士m a r c e la u b e r ts a 公司的影像测量系统，美国光学量具产品公司 的s m a r ts c o p e 序列以及m i c r o v u 的v e r t e x 序列等，我国贵阳新天光电科技 有限公司，万濠精密仪器有限公司也有相应产品问世。这些产品可分为2 类： 1 ) 观察型 用于生物、医学、金相等方面，这种类型的产品仅对被放大后的观察对象做 定性分析，此时主要需要的是高放大倍率，精度不是十分重要。 2 ) 替代瞄准型 目静，大多数厂家为制造业推出的产品属此类型。我们使用传统测量显微镜 时，需要先通过分划板上的瞄准图案对准被测对象的第一测量点，记录下此时的 坐标信息：然后移动被测对象或镜头瞄准下一测量点，再次记录坐标信息。通过 求两次坐标差可获得两测量点问的距离。此时，测量精度主要取决于位移坐标记 录精度和瞄准精度，这种方法的不足之处在于：瞄准过程要由人工束操作，因此 无法保证瞄准精度，并且人工胳准和记录都比较费时。这种类型的产品采用的另 天津大学硕十学位论文 第一章绪论 外一种测量方法是影像法：只要目标出现在视场内，就可以通过计算机图像处理， 自动完成瞄准工作，然后再记录观测点与测量头坐标系中心的相对坐标差，最后 利用机械位移量和相对坐标差之问的关系，计算出两点问的距离。当测量点为虚 点时，如圆心，影像法更具优势。与传统测量方法相比，影像法简化了测量操作， 提高了工作效率，并且可以获得较高的精度。同本n i k o n 公司的n e x i v 系列产品， 万濠精密仪器有限公司的v m s 1 5 1 0 a 、v m s 2 5 1 5 a 影像测量仪，m a r c e l a u b e r t s a 公司的影像测量系统都采用了影像法，如图1 2 所示。 图1 2 各种影像测管仪器 上述的替代瞄准型产品在测量过程中必须要有瞄准操作，这种瞄准式测量方 法，仅能完成点对点测量。当测量点较多时，瞄准头和工件将多次相对运动，且 运动无规律可言。另外，目前采用点到点测量方法的仪器均需精确位移机构，致 使仪器成本大为提高，检测效率大为降低。 基于上述情况，我们提出在取得被测对象的完整图像的基础上，完全凭借对 图像的处理完成工件的各种检测任务的方法，这就是完整成像法的思想。但是， 在常规尺度范围内，这个目标很难有实现。这是因为：1 ) 具有配合关系的零件 通常要求测量不确定度小于o 0 1 - 4 ) 0 0 1 r m n ，而具有足够分辨力的物镜视场通常 很小；2 ) 鉴于当前c c d 器件的制造水平和经济代价，c c d 器件像素级相对测 量精度仅在1 0 - 3 数量级，难以一次获取大的图像。因而，除在极小范围内，我 们还不能很好地得到被测零件的完整图像，彻底的影像测量也就无从谈起。 完整成像法的主要障碍是基于现有成像方法，满足精度要求的测量视场太 小。本文提出的解决方法是化整为零，再集零为整。首先，获得足够精度的局部 图像，然后利用相应精度的图像拼接技术生成被测目标的完整图像。可以看出， 图像拼接在完整成像这种思想中将会得到很大地应用。 微型零件是完整成像法测量最具优势的对象，通过较少次数拼接就可以获得 完整的图像。与显微镜相比，它可以实现轮廓测量；与投影仪相比，可以减少模 板误差，因为此时实物模板被数字化理想模板取代。 天津中鸥表业有限公司质检部门认为，基于完整成像法的仪器将给微型精密 零件检测技术带来革命化的变化。实现自动化、智能化检测，消除人为因素影响， 是企业迫切需要的技术手段，这将导致质量评价体系更加科学，更加公正，更可 信赖。 犬津大学硕十学位论文 第一章绪论 为此，我们提出本课题：高精度完整成像法测量技术研究。作为完整成像测 量研究的初步，选择微型零件入手，采用亚像素技术，通过直接溯源、自校准图 像拼接，在单元成像和图像拼接两方面取得精度上的突破，把影像法提升到对测 量对象的完整成像，实现整个测量自动化。 试想，仅是用完整成像影像测量仪取代今天的光学投影仪和测量显微镜，就 将面对多么大的市场。随着器件的进步与技术的完善，它的测量范围不只是显微 镜、投影仪的概念，完整成像测量方法的应用领域将同益宽广。 项目的主要研究内容有以下四个部分： 1 ) 光学成像系统 一次成像范围与精度是整个系统的基础。在保证精度i i i 提下，追求视场最大 化是重点研究内容。 2 ) 高精度图像提取 光学像差矫正：光学系统不可避免存在残余像差。作为通用精密测量系统， 要从硬件和软件两个方面考虑，确保整个视场测量精度一致性。 系统标定：这项任务将最终给出物一像问的精确定量的对应关系。 实用亚像素技术研究：光学图像是靠c c d 器件转换为电子信号的。一般情 况下c c d 象素是光电变换的基本单位。如前所述，以l ：l 成像为例，像素当量 远大于l t t m ，系统无法达到要求的分辩力。需要开展实用亚像素技术研究，使系 统具有低于像素级的分辨能力。 3 ) 高精度图像拼接技术 这是本课题的重要创新点，也是本论文的主要工作内容利用图像拼接， 扩大视场范围，实现完整成像。 4 ) 计算机智能数据处理技术 1 2 图像拼接技术及国内外研究概况 图像拼接是指根据多幅图像问的相互约束关系，把单元图像统一到一个坐 标系之下。它是计算机视觉中具有很久的历史同时应用非常广泛的一个重要的分 支，最早被用在遥感技术上，用来产生高精度的卫星图像f l 】。在这之后图像拼接 在各行业得到了很快地发展【3 l 【1 2 1 ，一直被应用在遥感图像处理、医学应用、全景 拼接及虚拟环境重构【6 j 、移动视频拼接，海底图像探测、显微图像拼接及工业测 量等场合中。 遥感影像拼接是图像拼接的一个最早而且非常重要的应用场合，因为遥感 影像处理的对象往往非常的宽如对森林的损害监测1 2 ”、国家甚至整个地球数字地 天滓人学硕十学 上论文 第一章绪论 图的绘制、火星地貌生成肛培，不经过拼接是很难得到对象的全貌的。还有，现 今的一些高分辨率卫星如i k o n o s 、q u i c k b i r d 及o r b v i e w 等也是靠多个高精度 的c c d 图像拼接来实现其对地面目标高达一米的分辨率的( 1 6 】。 图像配准是指利用图像的相互信息得到图像之问的对应关系，它是图像拼接 的关键技术，医学图像配准1 4 j 是医学图像处理中的一项基本任务，它可以把来自 不同模态或不同时间的多幅图像进行配准，然后为图像的进一步后处理提供保 证。如在序列图像的三位重建和压缩中，一般二维图像数据是来源于c t 或m r i 等 设备，在扫描过程中由于病人的移动可能使得这些二维图像在方位和角度上发生 变化，如果这样的数据直接用于三维重建，重建出来的图像将不准确，因此需要 先对图像进行配准。 全景拼接及虚拟环境重构是现今图像拼接中发展最快的一个领域，微软研究 院的r i c h a r ds z e l i s k i 教授和匹兹堡大学的s e v k e tg u m u s t e k i n 博士是这一领域具有 代表性的研究人员，他们在拼接基础理论研究上做了很多工作【2 】【3 1 。英国牛津大 学电子与科学技术学院机器人研究组对基于图像自身信息的拼接方法进行了广 泛的研究1 2 ”。视觉是人类信息获取的最重要来源之一，因此在虚拟现实技术中， 最重要的是对视觉的模拟。全景图像就是一种耗资低廉、可以广泛应用的模拟视 觉感知的虚拟现实技术。观察者的上下前后左右的所有图像信息就构成了一幅全 景图像。利用全景图像可以建立起供用户观察的虚拟环境，通过在全景图像中的 漫游可以使用户能够主动地从不同的观察点和方向了解环境。目i ； 世界上已有多 家公司或机构推出了全景视频产品，包括a p p l e 公司的q u i c k t i m e v r ，m i c r o s o f t 公司的s u r r o u n d v i d e o 和国防科大的h v s 等。柱面全景图像将场景映射到一个圆柱 面上，观察者位于圆柱面旋转轴上的某一点，全方位全景图像将外界场景映射到 一个球面或其它能反映所有方位的场景的曲面上，观察者位于球心或曲面内部的 某点。 移动视频拼接【7 】是把相机安放在移动目标如机器人上，当目标移动时，通过 定时拍摄图像，形成一组序列图像，通过对序列图像的拼接就可以得到目标所走 过路线的拼接图像，这可以作为一种高效的方便经济的交通数字地图绘制方法。 海底地貌探测【8 9 1 是视频拼接技术应用的一个重要方面，可以用来进行新地 貌探索、沉船可视化检测等。最早是通过在特定位置放置相机来得到拼接图样， 后来m a r k s 等人f 2 4 l 研制出一种实时视频拼接系统。现今已经有成型的地貌探测系 统如英国f o r t k e y 公司研制出的基于视觉水下测量系统。 提高图像的分辨率和获得更大的视场一直是图像系统追求的目标，由于显微 光学系统满足精度要求一次成像视场都非常小，无法在更大的视场罩观察对象如 生物整像，因此利用图像拼接就可以得到一次性的观察测量目标，文献【1 1 】研制 大律大学硕七宁位论文第一章绪论 和实现了一种基于特征的显微图像拼接系统。 工业拼接测量分为二维拼接测量i 嘲及三维拼接测量【1 3 j l l 4 】，二维拼接主要用 在视场小、测量要素为二维物体的场合下，实现的精度较高，而三维拼接测量可 以实现大工件如汽车外形等的拼接，其拼接精度在几十微米的数量级上。本论文 主要针对二维拼接测量，后面详述。 虽然图像拼接技术的应用很多，但是其大部分的应用场合都在于大尺寸场合 或者微尺寸非测量应用中，真正在微型尺寸领域实现零件配合级精度( o 0 1 m m ) 的例子很少，本文目标就在于在微型尺寸领域通过图像拼接技术及亚像素技术实 现机械配合级的工业测量应用。 1 3 测量系统要求特点 本文主要针对二维图像拼接测量。二维图像拼接测量，就是在测量系统中， 被测物体在光源照明作用下，通过光学成像系统，进入一个或多个面阵c c d 摄 像机，成像在光敏面上，由光敏单元将光学图像信号转换为视频信号，视频信号 经滤波、采样保持转化为数字信号，在计算机中经过图像预处理，提取公共特 征信息，通过公共特征信息将多图像统一到同一坐标系下，从而完成图像的拼接， 进而根据测量要求完成后续测量任务i l o 】。利用图像拼接技术，可以视场大大扩大， 同时精度得到保证。视场扩大之后，就可以对图像进行更精确、更全面的分析， 尤其是对图像轮廓等整体特征的测量将更加方便、快捷。 实现二维图像拼接的途径主要有： ( 1 ) 利用单元摄像机对图像的不同位置进行采集，利用外部约束如位置信息， 内部信息如图像特征点等把多幅图像拼接起来，提高摄像机的利用效率。 ( 2 ) 利用半导体制板及处理技术、微机械技术等制作专用的c c d 芯片，把 多个c c d 芯片单元拼接起来，形成一个集合多个芯片单元的c c d ，这种方法主 要应用在光学镜头口镜非常大的场合，如航天拍摄1 1 5 l 【1 7 】，c a r lz e i s s 研制的数字 组合相机( d m c ) 芯片i ，如图1 3 。 图1 3 多个芯片拼接成一个c c d 芯片及d m c 相机( 7 k 4 k ) ( 3 ) 多摄像机分别对被测物进行采集，每个相机单元采集一部分图像，将多 天沣人学硕十学侍论文第一章绪论 幅图像进行坐标转换和统一，进而获得被测物的整体信息【1 9 】【2 0 i 1 2 ”，如图1 4 。 采用多个c c d 相机测量时，存在各个c c d 相机的像面大小，像素大小，各 种畸变参数，照明条件不一样等问题，因此系统要经过复杂的相机标定，过程比 较复杂。不过因为在进行取像过程中，系统各部分相对静止，不存在各种由于相 对运动产生的误差，容易实现基于外约束的拼接。相对于多个c c d 相机测量情 况，采用单一c c d 时，所取得的各个单元图像其一致性非常的好，但是系统取 像时，存在工作台及相机的相对移动问题，因此要解决由于相对移动带来的各种 问题如位移误差、图像模糊。 可以看出，方法( 2 ) 费用非常昂贵，一般用于专用场合，不适合通用工业影 像测量仪器的研制。相对于方法( 2 ) ，方法( 1 ) 在成本上要低很多，当所需拼接的 单元图像数目很多时，显然方法( 1 ) 是一个很好的选择。本课题要实现四幅单元 图像的拼接，如利用方法( 3 ) 的话，单单镜头的费用就已经很高，而且与其相配 的光学系统，机械结构将会非常复杂。并且，系统以后可能会扩展到更多幅图像 的拼接，显然方法( 1 ) 具有良好的扩展性，综合考虑各种因素，本课题采用单c c d 的拼接方案。 幽】4 利用两个c c d 得剑人圆柱的外行人小 不管怎样，图像拼接完成后的图像质量相比于原来完整图像都会有所下降， 怎样保证图像拼接后精度的损失不能太大将是一个非常重要的问题，因此本课题 除了采用像素级的拼接技术外，还注意把亚像素技术与图像拼接结合起来，共同 完成拼接任务。 基于方法( 1 ) ，根据其图像配准方法不同，现有的拼接方法主要有：( 1 ) 基于 非图像约束即外部约束的方法，如精确记录两次成像相对位置关系的拼接方法： ( 2 ) 基于图像内部信息的方法，如利用两幅图像中重叠区域的拼接方法；( 3 ) 基于 图像外加信息的方法，如本课题组2 0 0 3 年完成的国家自然科学基金“无导轨图 像拼接及大范围现场检测技术研究”中使用的基于粘性目标的拼接方法。 单纯利用图像内部信息的拼接方法，由于零件本身精度受i ! i n 造误差的影 响，其精度往往不高，并且对于不同的零件，其拼接效果可能不一样。基于零 大津大学硕十学仿论文第一章绪论 件信息开发一个对所有零件其拼接精度都很一致的算法很难。因此本系统结合三 种方法的特点，研究综合拼接方法。 由于系统测量对象为微型零件，成像系统的视场很小，因此怎样引入外加信 息，如标准框杯辅助拼接将是一个不可避免的难点，本课题将提出一个可行有效 的方案。 1 4 本课题研究的主要内容和意义 引入完整成像概念，结合图像拼接技术及亚像素技术获得被测对象的高精度 的图像信息，高效而又经济地克服了光学测量系统中存在的视场大小与精度的矛 盾，进而实现非接触、快速、高糟度、大范圈、智能化及自动化测量，对促进拼 接技术在高精度如零件配合级应用场合的推广应用，对推动测量技术的发展及提 高零件生产检测水平有着重要的意义。 本课题作为“微型零件完整成像法测量技术研究”这个大课题的子课题，研 究内容主要有： 一、研究各种图像拼接发展状况、方法原理、特点和关键技术，并对其中主 要方法进行实验验证，力图给最终拼接算法的确定提供各种可能的方案， 进而确定最终的拼接方案。 二、分析图像拼接的过程，为了提高图像的质量，研究了图像灰度校币。分 析对比基于相位相关、模板相关等基于统计信息的配准方法及基于特征的 配准方法，研究利用相位相关及模板相关实现图像亚像素配准方法，研究 基于角点匹配的微型零件拼接方法。 三、设计用于二维拼接的实验模板，设计辅助定位框标。研究了利用亚像素 技术进行高精度特征定位的方法，从光学成像规律分析入手研究亚像素特 征定位标准。研究利用基于空问距、z e m i k e 正交距方法及曲面曲线插值 技术进行亚像素边缘检测，研究一维三次样条插值结合微分算子的方法实 现亚像素边缘检测，研究实现图像特征的高精度定位的直接椭圆最小二乘 拟合技术。 四、分析基于图像内部信息拼接技术的优缺点，研究基于基准模板的拼接方 法，研究利用基准模板实现在微小视场中增加外在信息的方法，致力于使 测量过程标准化、自动化，适合于工业应用的推广。 五、对各种拼接方法进行对比实验，分析精度实现情况，研究各种算法在完 整成像法中的应用前景，对基于基准模板的拼接方法进行精度评价工作。 天津人宁硕十学付论文 第一章图像拼接过样 第二章图像拼接过程 图像拼接过程就是物体在光源照明作用下，通过光学成像系统，迸入一个或 多个面阵c c d 摄像机，成像在光敏面上，由光敏单元将光学图像信号转换为视 频信号，视频信号经滤波、采样保持转化为数字信号，在计算机中经过图像预 处理，提取公共特征信息，最后，通过公共特征信息将多图像统- - n 同一坐标系 下，从而完成图像的拼接。 从概念可以看出，一个完整的图像拼接过程通常包括图像采集、灰度及变形 校正、图像配准和图像合并四个步骤，每一个步骤都会影响到最终的结果，其中 最关键部分为图像配准，而图像合并过程是将配准好的图像融合在一起，为了尽 可能保留原始信息，本论文拼接方法中不进行图像的灰度融合，只对重叠区域做 剪切处理。 2 1 图像采集 对于图像测量系统来说，图像采集往往是第一步，图像采集的质量直接影 响后续处理算法的选择和最后的精度指标，如果采集到的图像质量很差，那么要 实现高精度的测量是无从谈起的。 按照一般科研计划来说，应首先搭建成像系统，然后经过系统标定，单元图 像采集后，才进行图像拼接的研究。但是，为了能以最快的速度检验项目中关键 技术，解决其中的核心问题，确定项目研究的可行性，我们首先从项目关键技术 图像拼接技术开始研究，而图像的采集任务借助已得到广泛应用的力i 濠精密仪器 有限公司v m s 1 5 1 0 a 影像测量仪，如图2 1 所示。 其工作台行程为1 5 0 1 0 0 t u r n ，物镜为美国 n a v i - a r 变焦物镜，倍率为0 7 叫5 x ，物方视场 为1 0 6 - 1 6 m m ，工作距离为9 2 r a m 。摄像机为日 本原装1 2 寸彩色c c d 摄像机，6 4 0 x 4 8 0 像素单 元，象元大小为9 9 p m ，光学倍率为l 时，实际成 像面积为6 ，4 x 4 8 m m ，光学倍率为7 时实际成像 面积为9 1 6 9 r a m 。图2 2 手表中的夹板图像为在 i 璺i2 1v m s 一1 5 1 0 a 影像仪 0 7 光学倍率下采集所得。可以看出零件图像狄度分布不均匀，这会影响基于统 天沣人学硕十学仿论文 第一章图像拼接过拌 计信息的图像匹配精度，因此要进行灰度校丁f 。 2 2 灰度及变形校正 2 2 1 灰度校正 图2 2 零什图像 对于高精度图像测量系统来说，光学照明系统直接影响成像的质量，尤其是 对于拼接及亚像素技术的应用来说，更是要求图像照明在视场具有非常好的均匀 性1 2 5 1 。但是就算采用环形l e d 照明，也不可能使整个视场达到严格的均匀照明。 为使光强分布均匀，避免在后续图像处理中引入非均匀性误差，要调整好光强照 明方向和光强，初步使视场均匀，避免照明饱和。对难以用光学方法消除的非均 匀性光强分布，可采用软件方法消除影响，这样可极大地降低对照明系统的要求， 同时不降低系统的测量精度。 现有的灰度修正方法主要包括直方图均衡化方法【2 6 j ，基于频域的同态滤波 方法【2 7 1 ，以及参考杯样的灰度校f 方法f 2 8 l 。 直方图均衡化是使变换后的图像狄度分钿趋于均匀而对各像素点厌度级进 行的一种均衡调整。它对于一些灰度分粕比较密集或者对比度比较低的图像能取 得比较满意的增强结果。但它只考虑灰度统计信息而未考虑像素空间位置信息， 因此对于近距离成像引起的具有明暗渐变性质的图像，补偿光照的效果不好。 同态滤波方法是将图像视为入射分量和反射分量的乘积，非均匀照明体现在 入射分量中，它基本上是属于变化较缓慢的低频成分；而图像的细节、反差等特性 则主要由图像中物体本身的特性决定，它反映在图像的反射分量中。将二者的乘 法组合通过对数处理变成加法运算组合，然后进行傅罨叶频域变换。依据入射分 量与反射分量所表征的图像性质，设计出一个合适的滤波器，使得低频成分削弱， 高频分量适当增强，从而达到克服非均匀光场，压缩动态范围与增强对比度的目 天津人学硕十学仿论文 第一章幽像拼接过群 的。由于频域的滤波会在图像边界产生模糊效应，并涉及大量的时频转换时间开 销，不适合工业视觉在线检测系统。 参考杯样的灰度校正方法是对具有均匀分布的( 比如干净均匀的白纸) 标样 成像，以此标样来对实际图像进行灰度调整，主要用于光线不均或c c d 感光元件 差异而造成的图像灰度与实际景物亮度不匹配的场合。它在检测样品之问的微小 差异时作用明显，而对于被测目标位置变化大的测量任务难以胜任。 这里我们通过视场内的照度函数来校萨照度的不均匀性1 2 9 - 3 2 1 。 使图象质量下降的原因很多，有的是因为成像系统本身所致，比如摄像机的 靶面上每个像素，因其在靶面上的位詈不同而对光的响应不一致；有的是因为环 境本身光照不均( 比如室内有灯的地方较亮) 和成像特点( 如目标距离摄像机的远 近不同，近亮远暗) 所致；有时往往是上述三个方面的混合影响所致，因此一般难 以用一个显式的数学公式来描述。 对于高精度的图像测量系统来沈主要是由于成像系统本身的特点，以及成 像时的光照不均，使得进光量不同而造成亮度不均，形成中间亮、周围暗的效果。 对于余弦辐射体f 4 】【5 】，其在各个方向上的发光强度，随方向角b 的余弦而变 化。即： 厶= ，oc o s 8 ( 2 1 ) 当光照到不透明物体表面上时，部分被反射，部分被吸收，半h 糙的物体表面往 往将反射光向各个方向反射，这种一般的漫反射光都具有近似的余弦辐射特性。 那么在平面孔径角为u 的立体角范围内发出的光通量为： 西：l d af 7fs i n o c o s o d s d 缈：丌l d a s i n 2 u ( 2 2 ) 椰田 其中l 为光亮度，幽为投射面积。 对于光学系统轴上点来说，光照度如图2 3 。 么? ，港i卜， t ，本文取p ：m + 4 ，o ：n + 4 ，具体实现公式参见本章2 3 2 节 三、动态规划( d y n a m i cp r o g r a m m i n g ) 动态规划是解决非线性多变量优化问题的一个快捷的办法，其中v i t e r b i a l g o r i t h m 是其中应用最广泛的方法，他把一个n 个变量问题分解成n 个阶段的 单变量问题，然后逐个解决【5 ”。动态规划虽然是基于局部的最优化，但在搜索最 优匹配路径时可以达到全局最优。对于轮廓的可分性及数学模型的复杂性，可以 天津大学硕十学何论文 第一章图像拼接过群 结合动态规划的变量分解特性寻找匹配的最优路径，因此当曲线存在变形时，此 方法尤其有用。 为了利用动态规划进行图像匹配，首先要对图像进行轮廓提取，所有的边缘 点都包含在轮廓链中，如图2 1 9 i2。n c d 图2 】9 两轮廓图及二图关联图 图2 2 0 价值函数图例 每一个节点代表两个轮廓可能的匹配点，为了评价匹配效果，需要定义一个 价值函数来表达把这些匹配点连接起来的路径，这早最优匹配路径为使连接起来 所有匹配点后的累积价值函数最小。 这里算法如下p 2 j ： 矗( l ) = 垂垂2 f d ( ，一1 ，女) + c ( ，一】，七，_ ，) 】( 2 4 6 ) 这里d ( f 一1 ，女) 为末端为节点( f l ， ) 的匹配，路径的累积价值函数，c ( f 一1 ，k ，) 为节点( f l ，t ) 与( f ，) 匹配的价值函数，如图2 2 0 。价值函数可以定义为如下 7 】： 这里j ( f ) = c ( f ) 一c q ( o ，s ( _ ，) = c p ( ) 一c q ( j ) ，另b 么 c ( c p ( o ，c g ( 耽c p ( ，) ，叻( 埘刮s ( o j ( ，) “2( 2 4 7 ) 直接利用这个算法存在起始点及结束点未知的问题，这样就增加了算法难 度，由于利用角点检测及匹配束决定起始点及结束点，而且匹配点往往就在附近， 因此能够降低算法的难度。 天沣大学硕十学位论文 第二章高精度幽像特祉提取定 奇 第三章高精度图像特征提取定位 图像拼接关键技术在于图像配准，而图像配准是通过建立图像的相互坐标关 系把图像统一到一个坐标系下。建立图像相互坐标关系最直接、最方便的方法是 精确地确定用于建立坐标系的几个特征点( 特征点的多少与要进行的变形校正有 关) 的位置，因此，特征点的定位问题直接就影响到了图像拼接的精度。 本系统拼接精度最后要实现零件机械配合级即o 0 1 n u n 拼接误差，这要求系 统精度要达到误差的3 倍以上，因此拼接精度要达到3 p m ，由于测量范围为 3 0 m m ，因此系统相对测量精度为： 坚坚：l o 。 3 0 由于现今c c d 制造技术的限制，很难生产出像素数目为1 0 0 0 0 1 0 0 0 0 的 c c d ，即使生产出来其费用也将是个天文数字，对于一般的工业测量场合，显然 这样是行不通的，因此我们考虑使用软件处理的方法束解决图像中特征点的定位 问题，也就是应用亚像素定位技术。 下面就讲述如何利用亚像素特征提取及定位技术为图像拼接特征点的进行 高精度定位，首先说明基本原理，然后提出实现亚像素边缘定位的几个方法，最 后为针对特定目标讲述实现过程。 3 1 亚像素基本原理 利用预先知道的目标特性，对图像目标进行处理分析( 例如滤除噪声，突出 特征，提取特征和拟合灰度特征等) ，识别并确定与目标特征最吻合的位置。在 此分析定位过程中，采用浮点运算，可实现对目标优于整像素精度的定位。这种 利用目标特性从图像中分析计算出最符合特性的目标位霄的方法称为图像目标 亚像素定位技术【5 ”。 从定义上就可以看出应用亚像素定位技术需要的两个基本条件： 1 、目标是由一系列具有一定的几何和灰度分布特性点组成的。如果目标是 一个孤立的像素，则不存在细分的可能性。 2 、对于具有一定特征的目标，必须明确目标定位基准点在目标上的具体位 置，因为这是算法实现的依据。例如对于矩形目标，定位基准点是矩形的中心点， 还是端点；对某一目标定位基准点是目标中的最亮点或最暗点，还是灰度变化最 天津大学硕十学位论文第二章高精度幽像特祉提取定位 大点等。待定位目标的特征可以是人为建立的理想模型，也可以是从某一实际图 像中提取出的特定场景，或者是两者的结合。 根据上面两个条件我们就可以选择采用的算法，如假定边缘的具体位冒为 图像上灰度变化最大点，那么就可以采用微分的方法得到最大值即边缘位置。如 假定边缘位置保证距不变性，那么就可采用基于距的方法实现定位。 下面我们将从分析系统成像特点入手，寻找定义边缘位罱的标准，以及如何 知道采用的定位标准是合理的。 通常情况下可以把成像系统看成是一个线性系统。虽然事实上物体经过成像 系统后总会存在非线性特征，如果这种非线性失真不致于引起明显的误差，或者 在某些小范围内满足线性性质时，仍然可以把系统看成是线性的。 设物函数为f ( x ，y ) ，像函数为9 0 ，y ) ，那么有： g ( x ，力= h f ( x ，力= hil f ( a ，) 占( x t t t ，y f 1 ) d c t d f l ( 3 1 ) 基于系统线性的假定，有： g ( x ，y ) = iih f ( a ，) 占( x 一口，j ，一f 1 ) d a d f l = iif ( a ，p ) h 5 ( x 一口，y f 1 ) d a t d f l ( 3 2 ) = i jf ( a ，户) ( x ，y ，口，f 1 ) d a d f l 其中h ( x ，y ，口，) = 1 - 1 8 ( x 一口，y 一) 称为光学成像系统的冲激响应。它表示成 像系统对 ，) 光源的响应，因此又称为点扩展函数( p s f ) 1 5 5 1 1 5 6 1 。 由于光学成像系统是空不变系统，冲激响应只依赖。一口) 和( y 一历，即物平 面的点光源在物场中移动时，点光源的像也只改变其位置而不改变它的函数形 式，那么有： h ( x ，y ，口，) = h ( x 一口，y 一) 满足这样条件的点扩展函数称为空不变的点扩展函数，这在几何光学中称为 等晕条件。 由光学系统散焦造成的点扩展函数可用第一类b e s s e l 函数除以它的变量来 表示。即： 日( 虬功：( 州，口，d ) ：掣喜以( 竽届i i ) ( 3 3 ) ；, t a d 4 u 2 + v 2 口 其中a 为光学孔径，d 为透镜中心点与离焦图像间的距离，k 表示图像表面辐射 ，z 2 、j 度或亮度，一为第一类一阶b e s s e l 函数( 刁= 主季丽嘉，其中f 函数为 天沣大学硕十学位论文 第二章高精度图像特祉提取定侍 r ( 曲= f t - , e - , d ! 剐”。 当删d = 0 7 时，仿真效果图如下，其中图3 1 为原始边缘图像，图3 2 为 通过经过仿真系统后的图像。 图3 1 原始边缘图像图3 2 仿真图像 可以看得出来，经过光学系统之后，由于点扩展函数的作用，图像边缘变 得模糊了，也就是高频信息部分丢失。真实的边缘位置就不一定会出现在成像后 图像的像素点位置了。 根据系统点扩展函数的特点，我们就可以采取相应的亚像素边缘检测算法得 到真实的边缘位置。图像中边缘点是灰度分布发生突变的点，它是物体的物理特 性和表面形状的突变在图像中的反映，当成像系统的点扩展函数位移不变、对称 时，边缘点处及度分布一阶导数达到极大值，二级导数过零，证明过程参看文献 【6 6 。 虽然利用亚像素技术可以检测出真实的边缘位置，但是其能实现的精度受到 光学传递函数的限制。光学传递函数反映了光线通过系统孔径时的衍射情况，随 着物体空间频率的增大，其衍射角就会增大。由于图像透镜系统都有一定的光学 孔径，因此透镜系统并不能捕捉到所有级次的衍射光。对于非相干成像系统，传 递函数如下l ”j ： o ( x ，y ) = 其中o = a e o s ( 型掣) ，甜，v 表示二维物体的空间频率，口为光学孔 径，d 为物距，五为入射光波长。上式表明，只有一定频率范围的光能够被接收 到，特别地，只有频率低于等的光能够被成像，可以看得出来，透镜系统就是 盯 一个典型的低通滤波器，其中五：告：掣称为系统极限频率。 孙一硝幻一从 厢厢 力 一 唔 天津大学硕士学t 上论文第三章高精度幽像特征提取定位 对于万濠测量仪器v m s 1 5 1 0 a ，其镜头为美国n a v l t a r 公司z o o m6 0 0 0 变 焦镜头，其n a 值为0 0 7 i ： 因此该系统极限频率 五：旦：丝：墨：1 2 7 2 7 。1 0 ， 2 d 五5 5 0 x 1 0 -