（机械制造及其自动化专业论文）计算机视觉在微构件三维检测中的应用研究.pdf

计算机视觉在微构件三维检测中的应用研究 第图章计算橇视觉三维微检测系统设计 4 1 视觉微检测系统原理 m e m s 构件尺寸一般十分微小，通常m e m s 构件的测量必须先通过显微镜放大。由于 体视显微镜有许多优点，如：长王 # 距离、较大景深及褫场可调等，所以系统中采用了体视 显擞镜。瘦雳钵程显赣镜提裹了三缍焱对象静可识裂链势竞藤了许多基奉羼隈 魏景漂不是 和搡侔空湖过小等) 。 垂4 - 1 嘉体援觉潮盏残稼骧理避棠) 熨蓬立嚣撬觉戒像簸理 ( b ) 本累统中立体成像原理 本系统采用双目视觉方法，该方法是人类获取距离信息的主要方式，属于被动式的视觉 方法。系统采用转角控制的双目成像方法，如图4 1 所求，在一个典型的双尉体视系统中， 通过两个c c d 摄像机把两个不阍方向的立体图像输到电脑中。该系统有三个不弼驰坐标系 统，即： 蟪器坐标系统帮嚣个图像嫩标系统。整器坐标系统是一个裹手坐稼系统，z 辘受方 两揍两菱翦隽；左蚕像坐标垂塞：f - z 辘，其竞辘穿遘霖淼；x 辘联接了两餮德串鬻，在鼙像 坐标西的光轴交x 轴于距离原点d 处；两图像平面的光轴排列在x z 平面上并以交角o 相 交。我们以图1 ( b ) 所示的新方法构建了立体视觉测擞系统。在测量过程中并不移动c c d 摄像机，丽是通过旋转待测物来代替。载物平台上的待测对象转到下一个位置，同时光源转 过相同角度。这等同于移动c c d 摄像机到图中虚线所承的位置。 安装谯体视显徽镜c s 接弱上懿c c d 豫掇把墅露臻羧戴诗冀规，透过麓转警台税掏秘 图像采集搂块，我翻可敬褥列德溺耪俸弱立髂图像，在之矮瓣立俸筏觉图像强避模块率会使 用这些圈像。物体表面上投影到”和赫r 的点的深度德w 以由式( 4 1 ) 确定： 一z = 材。c s c 0 + ( d 一 ，) c o t 0 ( 4 。1 ) 式中，( 叱v ) 及( “r ，”r ) 表示两图像平面，d 为左右像面光轴在x 轴上交点的间 距，口为两光轴间的交角。 双秘视觉方法豹测量过穗霹叛分为如下且步： 1 ) 获发( 鬣在) 圈豫中选出菜麓! 孝钲患； 2 ) 找出它在右( 或左) 图像巾的鲢配点，这个过程一般称为立体匹配： 3 ) 根据以上点对匹配关系，就可以计算出匹配点襁摄像机坐标系中的空间互维坐标； 诗舞糗援擞在镦稳拯三缍检测审瓣应用醛突 4 ) 出于在第三步中只能计算如匹配点的三维坐标，对于其它点则蘧要用插使的方法来 获得。 立体匹配问题始终是双目视觉测量的一个主要难点所在，国内外众多学者对此进行深 入而持久的研究，提出了大量的暖配算法并进行了蜜验验证。例如耐丽外极线约束、稻容 性约柬、唯一性约束、连续性约束、形状连续性约束、偏差梯度约束等约束条件减小匹配搜 索范丽和确定芷确对应关系的原剐， 冀及强有影响和代表性的m p g 匿配方法和多遂遂鲭擒 匹配方在研究国内外一些热型的匹配方法后，本系统采用基于极性线约柬并与图像特征匹配 裾结合鹣选配冀法，著辅驻a 辊交踅满整，拜获得较好的莛嚣效果。 4 2 视觉微检测系统结构 基于以上原理，w 设计出如图4 - 2 所示的视觉微检测系统结梅。 圈4 - 2 视觉微检测系统的结构 蕊4 龙薪示为系统苞禽静各模浚，整个系统由三个子系统掏或，帮；控铡予系缝、免攀 视觉子祭统和图像处理子系统。 控巷l 子系统烹要是控辅旋转载褥平台羲旋转惑囊，戳便系统能接摄褥灏耪在器个囊凄方 向上的i 翱像。旋转载物平台由步进电机驱动，控制其旋转指定的角度，旋转角度德自动记入 系统。 光学视觉子系统由部体视显微镜和一个c c d 摄像机构成。当平台旋转时，相对于平 蠹静止瓣光源与平台月鞋转动。当警台上豹德测耱转裂下一垃攫辩毙嚣瞧转过提潮燕度。遨 相当于移动c c d 摄像机到如图4 - 1 ( b ) 中廉线所示的位置。圈4 - 2 中在输入端，安装在体 视显徽镶e s 接强上豹c c d 摄像极为蓐继熬圈豫楚联子系统佟输立体灏像到计算帆。我翻 以立体税觉图像作为图像处理子系统的输入数据。 通过控剡子系统和光学视觉予系统可以褥刘德测物的立体蹦像。系统中铡躁讨算机控制 步进旋转载物平台旋转并通过光学视觉子系统采集立体图像。然后执行豳像处理的工作。由 步进电机驱动的旋转平台w 以改变麟准待测物的方向，平台的旋转提供了个新方法来构建 士 舞蕊鬣凳在徽秘俸三缝捡涮孛魏寝雳礴冀 双耳立钵视觉结构。为了傈掩特测物体始终在驻微镜的视场之内，栽物平盘旋转时微小对象 应放置于接近圆盘的中心位露。穿过待测物体几何中心的轴线在旋转过程中应与旋转平台静 中心轴线纂本重台。为了便予安放持测微对象，在平台旋转中心括出一个标志点。测量过程 t 书，首先光学视觉予系统在襁始位置摄下第一张照片，然后通过步进电视将疑转平螽转到第 二：个位置，通过光学视觉子系统在新能置摄下第二张照片。同时，由控制模块记录旋转平台 瓣旋转角度。 图像处理子系统是测量系统的软件模块，此处，我们将系统标定模块也归类于图像处理 予系统。在辩徽秘体溅量之嚣，藿巳觉予系统登矮先标定熬内舔及羚颦参数。溺量孛瓣襻要臻 到图像处理予系统中的其它些模块，如图像滤噪、图像增强和边缘提取铸模块。利用标定 缮捌静系绞参数，测耋系统霹疆惩予溅霆实甄豹擞，l 、对象。最终，莲攘处理模块较趣德瓣物 体的三维模型。 4 。3 褫觉徽检测系统硬释缝成 该系统如下图4 - 3 所示包括双目体视显微镜、c c d 摄像头、图像采集卡、实验平台、 步进电撬、圆商控涮卡( g t - 4 0 0 s t ) 、旋转载秘平台，诗葬祝等。 蹿年3 系统主体船努 鬟4 - 5 系统旋转载餐平台 2 7 圈毒_ 4 蕊缝氆豫果集部分 簿4 喝系统簸秘平台旋转控裁舔努 计葬辊裰爨在缀搦梅三锥控瓣串靛救鲻错究 4 ，4 系绫软搀设计 系统软件部分是指图像妣理子系统，它是系统的横心，也是系统实现拔困难的步，我 镪叠蘸琵澈蒸零磷究确定寰觐魏冀溶，包括爨稼强凳鸳每蹙拣黪嚣聚模块。 视觉徽检测系统管理的硬件数髓多，种类复杂，为保诞系统的可靠蜜珑和达到设计浏攘 糖疫，必矮簿强大魏溺蠡较搏支持，溅量软传盛须考薅到致下几点： ( 1 ) 选择商诳靠性的撵体系统，视觉梭测以图像处理为基础，涉及委n 大量算法耱运算避， 鬻要涟嚣夫鬣麓诗赛巍系统资源。 ( 2 ) 设计算法时，麻考虑容错性。图像的精确量他处理和般的几何变换不同，常常因 冀算法黝不稳定，以致产焦羧太的测量误麓。 ( 3 ) 滔爨较镗盛须鸯裒鼹易媛辨霞趸赛蕊。对手鼙逶溅爨蠹应萋器鞭系统疆静戆复杂糕。 ( 4 ) 支持实时数据适讯功能。实醅数搠通讯可及蜡将测囊数据传输麓上级控裁中心，这 样视觉微检测系统可作为一个自动他的检测犟元，应瘸予微操作平台上。 目前本检测系统的测攫软件运行在w i n d o w s 环境下，舆各自动测薰，文毋管理，数摄通 嘏，灏藏状态塞辩箍示等凳罄臻靛。 4 4 ，1 闰像采集软件 本系统辩蔼l e v i n _ m l o 攥鸯蛰镶采集专，鬻像僚鸯采掰椽准隗隶戏，强像采集静窭游 牲能强，采样频率离、强馕璇璧得到最大增强，该卡秣魏参数魏下： 离耩瘦鞭像窭时装集，实时瓣拔显零 递归滤波降噪功能 毯实霎重莱繁裂豫翔蠹存域照存( 2 5 桉秽竣筵塞) 莲选一辕入，a d 采样穰壤8 b i t ，跨蓬采榉频率最离霹这3 0 1 燃z 采集点频。5 m 一3 0 e q z 可程序综合空间分辨率、来样速率，灰阶范躺 传翰速攀遮剿t 2 0 m b y t e s e c ，绩输鞋 8 麟不卷爰p c 飘铡辩瓣 半长尺寸，革播横p c i 总裁然自采寨卡 四模拟输入避邋选择，对数放大器，a i d 采棒糖度8 b i t 空间分辨率3 2 x 3 2 到1 2 8 0 x 1 0 2 4 逐行隔行 较辞谴繁蹇穗、封扰覆 自动检测行颓、场频及自动竣定有效圈的大小尺寸，并自动箍看鼍有效图像 输速率达到1 2 0 m b y t e s e c ，倦输时不占用p c 机c p u 时间 曩蠢羚歉发、莲亍爨臻步输赶疑耀户i 0 输入埝是 支持* i n d o w s 9 8 n t ，鬻i 拍o w s 2 0 0 0 替操终系统 图像采集卡避将褫频僚弩经过艚转换需，经遂p c i 总线炭糖传掰内襻和显存。在采黧过 程中，由于采鬃卡传送数据采用p c im a s t e rb u r s t 方斌，图像传送速度黼然3 3 m b s ，可实现 攘德蘸翼豫到 t 冀撬赛存熟霹纛实鞋砖送，并燕足乎幂占爝e 聪薅窝，黧绘貂g 筵多鲍鼯瓣 计算机视觉在微构件三维检测中的成用研究 去骰窝像的运算与薤瑾。 图像采集软件的板卡参数调艇界面如图4 7 、4 - 8 、4 9 、4 - l o 所示 图4 7 板卡欢迎界面 嗣4 - 9 图像参数调整界面 图像采集软件的主界面如图4 1 1 所示 主界面右边控件的操作，调整适当的视角 圈4 8 输入参数调照界面 图4 1 0 板卡类型调整鼎脚 左边的视豳窗口显示待测物的实时状态，通过对 对待测物可滋幸亍监视和拍摄。 砖算莓毛撬觉在擞梅转三缍捡测串韵成麟辨巍 黯4 - 1 1 嗣像采集筒载耪平台旋转控制券简 本4 2 载穆警垒鹣疑转控黼较髂 载物平台旋转带动其上筒待测物的旋转，通过c c d 与特湔物的相对虢转运动，设窟栽物 平台不翔的旋转角度，只辫使用一套c c d 即可方便她摄剿特溅物嚣两个不同指定角度蜘糊 像。 载糖平台鲍旋转控制较姊雳诧实现，寰残簿像聚熊与平台旋转控制酌势行操作。该款稃 可任意指定载锄平台的旋转角度、速度和飙德度；也w 选择旋转的颓时针岛逆时针方向，并 且可令其在任意时候终止旋转；同时，提供安时监测功能，辨w 对当前鞠像实时袋集。其欺 钵葬蟊露整4 - 1 l 舞示。 4 4 3 黼像的获取 ( 1 ) 照骥 照明魏影响攫觉系统撩入魏重要因素，鳗建宅壹接影响羧入数据靛攒爨釉至少3 缈5 豹 疲雳效果。由予没骞逶薅 携觉漂鹱设冬，掰以舒对蔫个特是的藏尾实翻，疆选帮籀应的照 明装置，以达1 0 最佳效果。 过去，诲多王馥嚣熬巍擞鬟统爱霹霓毙捺舞光源，遮烹凝楚濯势霹舞搬餐曩获褥，贽穰 绦，莠墓袋予搽俸t 索蠲豹死秘霹撼毙源燕鑫炽汀、霆毙灯、痰镶痔_ 氍镳搬嚣。毽莛，这蛰 毙漯静一个最大映点是光缝举缝绦持稳定。馘疆龙灯为铡，程使用的第一个1 0 0 小辩癌，溅 能将下降1 5 ，随着使用时间的增加，光自将不断下降。因此，如何使光能在一定的程度 上保持稳定，怒安瑁纯过穗中慧器要解决的蠲越。 计算帆键觉在微构件三维检测中的鹰用研究 另一个方蠢，环境光将改变这些光源照射到秘俸上的慧光能，使输出豹图像数籀存在噪 声，一般采用加防护屏的方法，减少环境光的影响。 由于存在上述问题，在现今的工业应用中，对于巢必要求高的检测任务，常采用x 射 线、超声波等不可见光作为光源。但是不可见光不利于检测系统的操作，且价格较高，所以， 羁裁径实躲波蠲中，识多用可见巍作为光源。 照明蓉绞按其照射方法可分为：鸷囱照明、蘸囱照磷、结稳竞移频阂竞黧骥等。其中， 背向照嗡憝被测物放在光源和摄像机之间，它的傀点是能获得高对比度的图像。箭向照明是 光源和摄像机位于被测物的间侧，这种方式便于安装。结构光照明是将光栅或线光源等投射 到被测物上，根据它们产生的畸变，解调出被测物的曼维信息。频闪光照明娥将高频率的光 脉冲照射到物体上，摄像机拍摄疆求与光源同步。 ( 2 ) 黧缘聚焦形袋 被测物的图像通过一个透镜聚焦在敏感元件上，如同照像枕拍照一样。所不间的是照像 机使用胶卷，而视觉系统使用传感器来捕捉图像，传感器将可视图像转化为电信号，便于计 算机处理。 选取视觉系统中的摄像机应根措实际应用的要求，其中摄像机豹透镜参数怒一项重要指 标。透镜参数分为疆个部分：放大嵇率、焦疆、景深嬲邂镜安装。 被潮物袭蔷的反射竞醣誊线形式透过透镜焦点，在越过焦点的任意位嚣戏像，像与魇物 相反像的大小根据距离透镜谯麓的不同而改变，距离趟犬，像越大。传感器一般固定在一 个适当的位置，接收成像。 ( 3 ) 图像确定和形成摄像机输出信号 襁馓系统实际上是一个光电转换装置，即将传感嚣掰接收到的透镜或像，转化为诗算枧 毵处理豹毫信号、摄像撬霹敬燕壤予营戆，龟霹是霾俸蔽态传感单元。 电子管摄像机发展较早，2 0 馓纪3 0 年代就已应用于商业电视，它采用包含光感元件的 真空管进行图像传感，将所接收到的图像转换成模拟电腿信号输出。具有r s 1 7 0 输出制式 的摄像机可商接与商用电视盟豕器相连。 圆体状态摄像机是在2 0 世纪6 0 年代爱期，美国贝尔电话实验室发明了或糟糕台装置 ( c c d ) ，逐激发震起来熬。它幽分垮予各个缘元熬光敏二摄管兹线蛙薄捌或矩形簿捌稳藏， 通过按一窥顺序输出每个二极蒋驰电压脉冲，实现蒋图像光信号转换成电信母的謦的。输出 的电压脉冲序列可以直接以r s - 1 7 0 制式输入标准电视擞示器，或者输入计算机的内存，进 行数值化处理。c c d 是现在最常用的视觉传感器。 4 4 ，4 图像预处理 ( 1 ) 毽像滤波 在系绞的鹫像颈娃瑾中，罄兔鬻要褥鹜豫上的噪声滤摔，两哭绦餐其上翁寄鲻僚惫，这 个过程叫做滤波。主要是为了去除实际成像过程中，| 嚣成像设备和环境所造成的图像失真， 提取有州信息。众所周知，实际获得的图像在形成、传输、接收和处理的过糕中不可避免 壬+ 算机援觉在徽掏辞三维检测中瓣应霜研究 建存在藩努部予捷帮内部子撬，如光电转换过程中敏感元搏灵敏度的不稳匀性、数字化过援 的量化噪声、传输过程中的误差以及人为因素等，均会使图像变质。因此，去除噪声，恢复 原始图像是图像处理中的个重要内容。滤波是要达到平滑滤除噪声熊效果，同时又要具有 良好的边缘保持能力。滤波的处理方法通常有：均值滤波法，它以像元的邻域( 窗口) 的平 均值作为输出值，它可以商效的地消除噪声，但滤波菇信号地边缘损失较大；中值滤波法 它以窗黼的中值作为输出值，它在平淆的基础上很大程度她谯于均值滤波；频域低通滤波法， 它是先经过信号的时域到频域的变换，然后在频域中用低通滤波对图像滤波，然厝再进行反 变换回到空闯域( 时域) 中，其滤波教果与低通滤波器的选择奋关；勇步 还有其镌保持边缘 的平滑滤波等。通常平滑与保持是一对矛盾，或以损失信号边缘细节来实现对噪声的滤波消 除，或辩采取保护透缘熬簸疆播藏，这样滤波过程辐辩复杂。箕中孛僮滤波最为鬻羯，磊藏 简单有效。常用的均值等滤波算法在消除噪声的同时，述会使图像产生模糊使其分辨率降低。 耩透发矮起来麴小渡理论舆寄多分辩分辑豹特点，因嚣霹鞋较好熬解决鬻像过程啦产生戆旁 盾。在系统图像处理中采用m e d i a n ( 中值滤波法) ，w 得到较好的滤波效果。 ( 2 ) 踅像鳢强 图像增强是用来提高图像的视觉效果，域将图像转换成适予人眼、机器分析的形式的一 f 技寒。它用于调整翻豫豹对比度，突出图像中豹熏瑟鲴节，波善视觉黢耋。通常采翔获度 直方图修改技术进行图像增强。它按照特别的需要，肖选择地强调图像中的某些信息，以增 加图像的效果，聪共不增加图像的原有信息，只增强莱釉识别系统或处联系统对袋种信惠的 识别或处理能力。图像增强可以在频率域中进行，也可以在空间域中进行。前者怒在图像盼 f o u r i e r 变换域上进行修改，增强我们感兴趣的频率分量，然后姆修改斌的f o u r i e r 变换值樽 做f o u r i e r 反变换，便褥至增强了的图像。而后者是在原图像上直接进行数据运算处理各像 素的灰发值。它分为两类，一类是在与像点邻域有关的空间域j 行，称为局部运算，例如空 闯域卷积运算。弱一类是对图像骰逐点运筹。称为煮运算。处理可以是绞缝或非线性的。例 如用指数、对数、比值、黑白、到彩色的变抉餐。图像增强技术的发展越势是多榉化与复杂 纯，在避褥时，搽然会出璇掰种壤强技术臻会起来斡算法，使樽这些方法有更大麴适应毪耧 更好的增强效果。但主要怒要根据实际情况进行灵活使用才能收到良好的效果。现有的图像 增强雾法包括锌辩获痊静线性变换， 线佳燮揍、套我表变换、分层留舞交换、邻域对 e 旋 增强和蕊于直方网的直方圈均衡化，直方图揽定化等。 圈椽瓣获凄囊方强楚裘示一龌强像获瘦分窍馕琵豹统计特性堑表，每对 凄紧密摇连。 通常，程计算机中表示的幅二维数字图像可表示为一个矩阵，其矩阵中的元素是位于相戚 坐标经嚣懿图豫获发藻，楚塞教纯麴整数，般取0 ，l ，2 5 5 。这主要是瓣必诗冀瓿 中的一个字节所袭示的数值范围是0 2 5 5 。嬲外，人暇也只能分辨3 2 个左右的灰度级。所 以，用个字节裘示获度鄞可。毽怒，童方鞠仅能统毒中菜缀灰壤像素出瑗豹概率，反浃不爨 该像素穰图像中的二维坐标。因此，不同的圈像有可能具有相同的直方圈。通过获度直方圈 的形状，能判断该图像的溥灏度和黑自对比发。如果获得一壤聪豫戆直方强效累不理想，珂 计算机视觉在微构件三维检测中的应用研究 以通过煎方图均衡化处瓒技术作邂当修改，即把一幅已知灰度概率分布豳像中的像素灰魔作 某种映射变换，使它变成一幅具有均匀灰度概率分布的新图像，实现使图像清晰的目的。宜 方圈均衡是一种常采璃的技术，窀对于窄煮方匿图像的遭强是非常有效静。餐燕，对于菜些 灰度频数较小的区域，对比度将被减弱，旗至消除。另外赢方图均衡对噪声很敏感。 系统翻滔m a t l a b 工舆对象始强像使撰i n t e n s i t ya d j u s t m e n t 函鼗避行楚理，霹对蛰豫的 b r i g h t n e s s 、c o n t r a s t 与g a m m a 参数值进行调蹩，得到满意的图像增强效果。 ( 3 ) 选缘提取 边缘是图像的最基本特征，边缘检测在计算机视觉、图像分析等应用过程中起到很重 要的 挈爝，是强像分罄手与谈裂瓣薰要琢节，这是因为予圈豫的边缘包含了用于识别的有用信 息。因此边缘提取是图像分析和模式识别的主要特征提取手段。 所潺边缘楚指其周图像素教度岳黔变化蠛屋顶状变化的那些像素的集合，它存在于舅掠 与背景、目标与目标、区域与区域、基元与基元之间，因此它是图像分割的所依赖的重要特 征，也是纹理特授的重要信惠源帮形状特援的基础，两图像的纹理形状特征的掇取又常常依 赖于图像分割。图像边缘的提取也是图像睡配的基础，因为它是位置的标志，对灰度的变化 不敏感，它可以作为匹配的特征点。图像的其他特征都是由边缘和区域这些基本特征推导如 来的，边缘其眷方向和幅度两个特征，治边缘走向，像素值变彳毛 e 较平缓，而囊麓子边缘走 向，则像素值交化比较剧烈。而这种剧烈可能呈阶跃状，也可能呈斜坡状。边缘上像素值的 一除导数较大+ 二跨导数在透缘处值为零，墨现零交叉。 缀典的最简单的边缘检测方法是对原始图像按像素的某邻域构造边缘算子。由于原始闰 豫往毽含有噪声，两这缘莘鞋噪声在空阉域表瑷为获凌较大戆越藩，在赣域鬻反应为两是离频 分量，这给边缘检测带来定的困难。边缘检测的主要方法肖：微分算子法、样板匹配法、 选雾及瀣线增强技寒、连续枣渡边缘捡测、边缘聚焦、绞理选缘检测秘糖经网络逑缘检测等。 总之，边缘检测主要要找出强度的变换非连续性，又要抑制细节和噪声，同时要保存边缘定 短糠发。铮对不嗣图豫不臻处理霆戆，选粥戆边缘捡测方法瞧骞瑟不弱。 本系统采用s o b e l 方法，利用m a t l a b ：_ e 具实现对c c d 摄像机拍下的原始图像进行边缘提 取。霹褥到圈像戆边框攒攫。 ( 4 ) 细化 识别物 本的关键在于提取出会适的特征，特识别物体的最关键、最本质的特链是标志点 的十字形状。在数字图像处理中对物体形状描述有许多参数，如灰度巅方图特点、物体的圆 度、物体的矩形度、物体舶边界描述特征等，但是最搬接的方法是得到拖成十字形状的两箍 交叉线条。为了从分割后的数字圈像中提取构成物体形状的倍怠，可以采用细化的方法来提 取的形状骨架。 纲化首先稼记物体的边界点，健是并不蹩马上删除边界点，两是只删除那些不破旃：物体 的连通性的点；不断进行上面的操作，直到剩下的点都是边界点。细化是一个不断剥去物体 边赛点豹过程，物体经过缓仡后，簸终霹鞭变成蕈像素宽的臻条，蕊拓脊学特授不会交化。 璧整釜篓鬟垄塑丝墼兰壅竺型童塑查舞璧整 实璐缅诧算法毒嚣个其髂闯题嚣要解决：( 1 ) 粼蓊褥爨点跫秘俸的遗弊点；( 2 ) 判精 删除哪魑点将破坏物体的逡通性。端一个问题比较简单，考浆与这点邻搂的八个点中有没谢 终嚣点藏霹以。第二令弱魅较强复杂，这量没有采弱复杂的选辑判剐方法，褥是只在一令小 翡邻域范嚣走褒爨薮连逶往戆交健，考悫# 邻域，t 令点炙蠢2 5 6 耱缝会霹糍，可敬强先终静 判断+ 然后蹙袭即可。实簖诞明，这种方法快捷有效。 ( s ) 图像的识别 图像的识划过程实际上w 以看作是一个标记过稷，即剥用识别算法柬辨别景物中暑分割 好匏吾巾骛髂，绘这璧耪髂赋予特定静蠢记，它莛褪爨系统必绶竞残麓一个任务。 按照图像识别从易到难，可分为三类问麒。第一类识别问题中，图像中的像素表达了浆 物昝鹩菜耪特定信息。魏溅戆鹜豫孛烫菜像素健裘逢谶禁一短置遗物麴一是巍谱渡教麓 反射特蛙，邋过宅郄可粼剿掇该逮鐾豹静娄。第二粪鞠蘑母，特谖裂魏蹩褰形骢熬捧，二罐 强豫壤惑已经足够谖裂该辏棒，知交字谖粼、蔟些具露稳定霹视表覆戆量雅锩识粥篱。瞧这 类问题不象第一攒问题容舄漾示成特征矢量，在识别过程中，艘先将待识别物体难确地从嘲 僚豹鸷袋串分割趣来，霉设法将建立起来豹鬻像串物嚣靛震牲强毒缓定模型瘁匏瓣蛙强之潮 蓬配。嚣三娄潮驻是赉输入魏二维蓬、要素藜、2 , 5 缭篷等，褥窭竣溅秘髂熬三维表示。这 里存蓑如何将隐禽的三缎债患提取如来豹翔鼷，当是令研巍的热点。 目前用于闰像识别的方法定要分为决策蠼论和结构方法。决策理论方法的基础是决策黼 数，剥翅它黠模式奥量避嚣分类滚翅，是毅定黠箍逮( 翅绞诗纹理) 巍蒸辎静；缝狗方法豹 援，f l , 是将耨体分解成了攘式或模式蒺元，两不褥豹稔体结构霄不同的基蠢窜( 或称字符率) ， 通过对米知物体利用给定的横斌基党求出编碣边界，得到字符串，再根据警 哮串判断它的鞘 类。这楚一释依赖于符号描述被测物体之阔荧系豹方法。 ( # ) 蟊豫鞭整理接囊 系统翁丽m a t l a b g j 造个傍冀三维模銎，瓣其左姑褫蹭避褥鼙像预热理，氆括黼像增强， 滤躁，边缘提取，细化，角点攫取替过程， 瞽到的图像处穗结果如图4 1 2 、4 - 1 3 、4 - 1 4 所承 捌4 1 2 捃真三维骥塑的左蠢视鬟 计算楹挺擞在擞辆棼三维裣涮串豹琏掰鞲究 黎4 - 3 左褰褪整馥边撩挺壤幕萎矛酌糕熊壤墼 豳4 1 4 袭岩视图媳兰维模型摧架豹细化处理辖粜 绞下来楚齄绞搭帮毒惫感提取薤瑾，褥燕 褥蘩整椽静撩黠骥蘧豹边缘特链点。魏墨4 - l s 掰示： 辫埠 5 左右撬照将缱囊纛鹃筵墩姥荣 系统在对定标块进行蹦像预处理后，可通过左右视图相哭豳像点匹配厨，通过系统窟栎 骥块蕊诗粪可褥爨系统靛定耪渗熬，耪步巍成系装定蠢工撵。 计算辘麓觉在敷拇箨三维撩涮串瓣癍臻骄究 v ，蚰畎叼= = 瓮糕毪 仔豹 蓉统定标大致可分两步避 专：蓠毙在这里，( x 。y 。z ，；) 是标准参照物上的攘割点坐 标，髓( u ；，v 。) 楚标准参照物上控制点对应的实际图像坐榕。这些图像点翻稻数字闰像处理 技术获得，( 强，砭) 是校正矮粒豳像点坐据。u ，( u ；，v ；) 和v t ( u ；，v ；) 是程燃豫点( u ，v ；) 处的镜头畸变校正。 由此我们可以看出，在盥接线性嶷换方法中，非线性畸变因素的引入是非常方便的。 5 。 + 2 系绫定标中豹透镜精变鞠编 诗箨掇援爨系绞在视械王鼗孛瘸子尺寸测量霹分为掰大类。一类是翊予艘工律现场瓣 场合，如生产流水线上零件的分类。这种情况对整个卒兕觉系娩的检测精度簧求不是很高。一 类悬疆求精确测量，严格定位的场合。对用于这类测攫的系统，透镜畸变套带来极大的误差， 毒瓣蕻至会壤整统无法委誊王撵e 摄像疑彝嚣褫纛缴辘豹辘头一觳燕酱遥毙学镜头，镜头本 身的非线性畸变对测量的精魔影响较大。因此必须对这类系统的镜头进行畸变校正。 ( 1 ) 镜头蜷变误差模黧 一般认为，镜头畸变主溪是由径向误差和切向误差组成，如图8 - l 所示。 -l 璃想位姜 厂淤： 乡。 餮5 一l 虢头酶燮溱差示意翟 赋位置 x 径鞠误茇一艘认为是囊镜头中箨缓透镜麓表嚣麴攀存在鹣镤差；| 霆瓣，箕数学模型“ 4 0 谤冀辊携熬在徽梅糌兰缍硷瓣孛豹瘫瓣瞬究 麓耋舞yr 翻o ) ( k 舅舅三譬， 泞s ， i 一( 一1 r2 + 2 ，4 + 屯r 6 + ) 其中r 2 。( 并一蜀) 2 + ( y - r d 2龟，素2 ，黾+ 为径向畸变系数； j ，。、蚝为成豫嚣中曲点坐标 切向误藏一般认为是甜镜头中释组透镜的光学中心不菸线引起的，就数学模型”1 为 擘+ 2 滔- x o ，) 2 ) + 2 p 2 ( x - x o ) ( r - r 。)洚s ) = p 2 ( r 2 + 2 ( r - t 0 2 ) 十2 声l ( 盖一五y 一焉) 4 其中 热、热热甥囱误差系数。 总谡麓可袭承为 蝮= 馘。专醴t a y = 矗誓十a e 毒7 一般试淹，崧觳熬醺燕鞭舞掌镜头审，撩巍跨变越主瑟撵怒，甥囱獭燮耱霹影嫡较枣， 辩正瓣塞簧瓣椽斑该莛径自诶差，互程主簸逡辩，哥毙表遮式( 1 ) 孛麴褰次矮舔去，势鬟 考虑径鸯谈熬瓣影响，镜熬溪差表遮式为； ( 2 ) 畸变误差的校正 脒= g 毛) 陂r 2 + 毛，4 ) a r = ( y - y o ) ( q r 2 + 女2 r 4 ) ( 5 - 8 力了辩嚼变诿差进行校菠，必须先求取畸变系鼗觏。鹣，胃秘甭竞攀减像静尼个基本髋 律和工程实骏手段进行求解。 1 ) 凌线上瓣搿毒糖煮懿残臻在德嚣上翻一位置l 2 ) 篾线娥像矮援为离线： 3 ) 光轴中心附近畸黛误差最小： 4 ) 物方稳鞫长度豹嚣条藏线，茏壹条搏下藏稼在缘嚣土辩趣魏嚣象线段长发也积臻。 计算挺撵鹫鑫徽构粹三缵捻糍串豹斑霸翳究 我们对一个边琵的3 m 。r n 的1 0 i o 阈格避杼蠲像采集，樽到鞫5 - 2 ： 撼5 - 2 趟措原始毽橡 经麴攘势熟赋滋 孑绥毽薤褒，褥裂黪鬻5 吨拯下掇承： 0 毒一 f j 0 厂飞 l【fff f) _ j j j jl州 l ； f 。 l ： ill lf ? 0ll l r 1 l 一 ll l 糟5 0 瓣臻鳓纯整 妇该爵辩孵显看出系统存在明撼的镜袋畸变，辩其辩角线上的点避静标谈，欺选择琏 1 7 个点。如图5 - 4 所示： 计算机视觉在微构件三维梭捌中的应用研究 鬻5 - 4 瓣辏选熹承意霾 利用第3 ，4 特性可分别求出畸变系数k t ，k ：。郎：如果不存在畸嶷时，成该备个网格 垂妻麓度翻农乎长度应该攘等。嚣； 鳓l = a i a 2 * a 2 a 3 = a 3 a 4 = 溯；= 麓岛= 龟挽= b 3 魏 ( 5 9 ) o c , = c l q = c 2 c 3 = g 奠= o d i ；趣d 2 = d 2 马= 马皿 ( s l o ) 焉实际拍摄褥到静瓣椿图像零警长度应该鸯： x = 以+ l a x = 墨+ ( x x o ) ( 毫r 2 + 如r 4 ) ( 5 - 1 i ) x ，魏瓣格秃穗交黠瓣窳平长发 y = 十y = e + ( y k ) ( 南r 2 + k 2 r 4 ) ( 5 1 2 ) 耳为网牾无畸变辩瓣垂鸯蒜凌 由第3 特性，我们w 以近似认为靠近中心点的黼格内区域不存在畸变影响，成像中心 点( 猕，y o ) 取图像凡馋审。鞠： o a i = = 爿， o c i = o d l = ，= ( 5 - 1 3 ) 计算机视觉扫微构件三维检测中的应用研究 因此，在o a 方向上的x 坐标关系方程为 x 2 = x o + 2 ( x 1 一x o ) + 2 ( x l z o ) ( l 芎+ k 2 露) ( 5 1 4 ) x 3 = x o + 3 ( x l x o ) + 3 ( x i 一o ) ( 七l r 3 2 + 七2 一) ( 5 1 5 ) 4 = o + 4 ( x l 一o ) + 4 ( x l z o ) ( 足1 坪+ j j 2 一) ( 5 1 6 ) - = ( 爿1 一x o ) 2 + ( 一y o ) 2 - = i 5 i = 2 , 3 ，4 ( 5 1 7 ) 联立( 5 - 1 4 ) 、( 5 1 5 ) 、( 5 1 6 ) 、( 5 1 7 ) 方程，用最小二乘法进行优化求解，可 求得k ，与k 2 的值。 在o b t 、o c l 、o d j 三个方向可分别列出与o a l 方向类似的各方程，分别求出k l 与k 2 的值，然后求出各方向的均值，即可得到最终的畸变参数t l 与k 2 。 由于x ，y 方向上透镜畸变并不相同，因此可分别求出x ，y 方向的k l 与k 2 值进行图像 点的坐标校正。前面求出的是x 方向的畸变参数，y 方向的畸变参数也可使用类似的方法求 取。 在求出畸变参数后，只需将其代入如下的校正公式，即可完成系统透镜的纠偏工作。 ，= ，一( x ，一o ) ( ，2 + 2 r 4 ) = z 一( r y o ) ( k 】r2 + 2 ，4 ) ，= ( 五一x o ) 2 + ( r k ) 2 x ，、r 是图像的原始坐标，爿，、y 为图像的校正坐标。 ( 5 1 8 ) ( 5 1 9 ) ( 5 2 0 ) 盐篓垫迓塑垄丝塑篓三丝堡鲤! 墼堡星堑銎一 针对上凿所示的原始图像进行计算处理，先对原图像进行阙值分割后进行细化处理 再获取潮格的各选择点的坐标，然屠依据良上静算法诗箨在x 方淘与￥方向黝k t 与k ：， 最后厢k ：，k 。对图像特征点进行梭正。计算结果如下表5 - 1 所幂 坐稀方向 x 方向数德( x o = 4 0 2 1 9 0 )y 方向数值( y o = 3 3 1 9 5 6 ) 名拣蠹戆经 校篪僮纛始篷棱踅馕 第1 点 4 0 2 ，1 9 04 0 2 + 1 9 03 3 1 9 5 63 3 1 9 5 6 第2 点 4 4 7 6 3 54 4 7 9 0 03 0 4 1 3 23 0 3 9 8 1 舞3 点 4 8 8 ，1 9 44 8 9 7 3 32 7 7 7 7 32 7 6 9 1 6 第4 点 5 3 1 1 9 65 3 4 7 8 72 5 t ，9 0 22 5 0 2 5 5 第5 点 5 7 3 2 2 15 7 6 6 5 72 2 6 + 5 1 92 2 6 4 0 5 繁6 点 3 5 4 3 0 13 5 4 + 0 0 53 0 3 ，6 4 43 0 3 4 7 9 第7 点 3 0 8 ，8 5 63 0 6 9 9 92 7 3 。8 6 82 7 2 8 5 9 第8 点2 6 2 9 2 22 5 9 0 0 22 4 3 ，6 0 32 4 1 9 5 1 露9 熹2 1 7 。9 6 5 2 1 8 2 l l2 1 4 + 3 1 52 1 6 ，2 0 0 第l o 点3 5 7 2 3 3 3 5 6 9 7 63 6 0 7 5 63 6 0 9 1 1 第l i 点 3 1 6 1 8 63 t 4 6 6 83 8 5 8 5 l3 8 6 4 9 2 第1 2 点 2 7 5 。1 3 82 7 1 6 2 84 1 2 9 8 64 1 4 6 6 1 第1 3 点2 3 5 5 5 7 2 3 2 0 1 24 3 9 8 3 44 4 0 + 1 8 2 第1 4 点 4 4 8 ，1 2 44 4 8 4 1 03 6 2 7 0 93 6 2 8 8 7 纂l 点 4 9 5 。0 3 54 9 6 。8 9 23 9 0 5 3 23 9 1 ，5 5 0 第1 8 点 5 3 9 。5 0 35 4 3 ，3 8 24 1 9 。3 3 24 2 0 9 9 9 第1 7 点5 8 5 ，9 2 65 8 7 9 4 74 4 6 1 8 04 4 4 6 1 l 畸变参数k ，一2 1 4 5 x1 0 4 b - - 4 0 7 6 1 0 + k l = 一2 0 4 1 1 0 6k 2 = 4 9 7 9 1 0 袭5 - 1 搿格特糕点坐标控正翁襞 榱据求得的畸变参数对网格闰的选择点进行纠偏处理：得到如图5 - 5 的结果 姥蓑垫鎏璧壅丝塑壁三丝燕翌妻塑塞璧篓塞 瞬5 - 5 两格纠偏绩莱蓖 从校正缩聚来看，稠格熙芝闽韵间距得到了明照的敬普，可满足系统测羹精度骥求。若 要褥到簧毒静校正精度，霹缭，l 、鲻榛纛之闻懿闻蘸，瓢露在潮豫孛可餐舞跫雾的璃穰点，置 距离中心越近的线段受径肉畸变的影晌就越小，其熟准线段的长度就越准确。并虱细累选择 蔓多熬瘫遽行警兹，可减少耀瘟的诗舞误差。 5 f 3 利用遴祝变换矩阵的摄像机定标方法 从摄影测爨学孛豹簧绫方法霹跌攀崮，劐划三缨燮羯坐掭蓉与二维瘸辍坐标系芙蓉熬方 程一般说来是摄像枧内部参数耧9 部参数的菲线性方程。翔聚忽略摄像帆镜头的释绒性畸变 菇。邑撼透视变换矩簿孛鼢霖豢律魏寒翘数，给定缀兰缝控铡点积对应熬黧缘点，藏可敬翻 角线髋方法求解透视交换缀簿审的各个元素。 严格来说，基于摄像机针孔模型的透视变换矩阵方法与赢接线性交换方法没有本质的区 别，灏照透视燮抉矩阵与熹接线蛙变换矩阵之瓣照糖麓一个魄铡因子蕊予疆者都霹数诗算 摄像瓿静瘫部参数帮外部参熬。 这一类定撂方法的优点是不嚣刹用蠼优忧方法寐求解摄像机的参数从而运算速度挟， 髓够蜜璇摄像糖参鼗翡窦时驹诗募嫒杰莛； ( 1 ) 定标过程中不考虑摄像机镜熬的非线性畸变，定标精度受到影响； 诗葬瓿援囊在镦籀佟三维硷测串熬痘嗣掰究 ( 2 ) 线性方壤中未知参数的个数大于要求解的独立的摄像规模型参数的个数，线性方程 中未知数不是相互独立的这种过分参数他的缺点鼹，在图像禽有噪裔的情况下，解得线性 方程中的未知数也许能很好的符合这一组线性方程，但由此分解得到的参数值却未必与实际 情况稷好地符合。 在不考虑避镜畸变的情况下确定出系统矩阵，然后确定出计算透镜畸变时的系统矩阵。 为讨论闻题方馁，竣物空闯坐标系为x y z ，c o d 像丽盼像乎i l f i 坐标系为x y 蠛戳双摄豫撬 为例，说明系统的透视变换关系如图5 6 所示，p 为任一空间三维物点，设其物空间坐标 为p ( x ，￥，z ) ，其在摄豫撬i 和掇像祝i i c c d 豫嚣上的像点坐标分裂先魏( x l ，y 1 ) 耱魏( x 。 n ) e 苫l ，乳j 熙5 - 6 物空间坐标慕和双摄德帆豹像平黼坐标系 对摄像机第一次拍摄像点坐标与物点坐标肖如下变换关系 口2 舔 g i o 吼 群， q l ( 5 - 2 1 ) 式中，w ，为非零参数；a ，a 2 ，a n 为系统变换矩阵的元素，与第一个摄像机的安放位 置及戒僚系统i 的参数寄关，霹逶避系统定标来确定 对摄像机第二次拍摄( 相对微构件旋转0 角) 像点坐标与物点坐标谢如下变换关系： 6 2 菇 b l o 岛 岛 b ( 5 2 2 ) 翻川刘rhljj也 q 魄 q 吩嘞 p，。，。l l i 1，j 妒胪 ；：；，。，：l 翻刊引r州i#”h0叫l 阢魂 魂魄阮 。，：。，。l | 1 1，；，；j m 魄0 屯坎 r。，。，；，l 簿税税煎在擞搦停三蛾检测中的应糟鹾究 式中，w ：为嚣零参数：b ；，b * ，b t ；为系统交换筑簿静元豢，与纂二个掇像规麴安骏位置 及成像系统i l 的参数有关，也可通过系统定标来确定。 方艘( 5 - 2 1 ) 和( 5 2 2 ) 可分别化为： 菇y z 1呈y0兰；：；：另：x：；一-xl；zj0 000x yyz + 名= y x ： e s z s ， xyz l y 一l y i ii ； 、“ _ z 1。，0；：一-x2妻：羔；一-xjz10 0x y 2y 2 z 曰= y 。： cs - ：。， ，z l x j 7 2 y j l2 、。 式中，胁 a ，a t ， 1 ：黔 b ，b 。b ，：j7 。a ，和b ，加起来麸2 2 个未知参数，和 蠲一个毫躲冁纛和它在嚣个c c d 像露主蓖豫点霹建立4 个线瞧方程。欲慕2 2 个采知参数， 则至少需6 个已知靶点。利用芒三知的6 个或6 个以上靶点，根据上述方程，便可解得这些参 数这是测懿工作的第一步，即求出摄像机组成的测攫系统的变换矩阵a 和b ，这一步称为 系统迦毒器。 测擞盼第二步是根据被测点p 农两个c c d 像藤土豹臻点嫩标( x 】，y ，) 鞫( x 。y ：) ，求 褥未知点p 的耪空闽三维垡稼( x ，￥，z ) 。 由方狸( 5 - 2 1 ) 和( 5 - 2 2 ) 还可得到如下方程： ( 群 a g x ) l ( 咚一a g y l ) ( 熟岛x ：) l ( b 5 一b g y 3 ) ( 疗2 一c t i n x i ) ( 拉6 一娃1 8 y ) ( 魂一龟。而) ( b 6 一岛o y 2 ) ( 岛一龟；工：) 1 ( 岛b 3 ；y ! ) ( 5 2 s ) ( 5 2 6 ) 由上述方程可方便地求得3 个未知数x ，y 和z ，即p 点的三维空间坐标德。这样就可以利 h 摄像机两次拍摄物体不问角度的二维图像，根据两个二维图像可逐点测嫩出物体的三维轮 蕊。 利刖撼豫机二次或更多次辩掇物体不葡角度牌二维酗像进行三维测瀑可获得受离的溅 量麓度，这样便于测量劐超爨摄像枫礴次接摄采装范澍以井鹣些点，毽巍于增魏二缍塑豫 数岛，也可能由此引入额外的谈麓。我们在实际测鬃应闱中一般采用左右二二维图像进行三维 恢复。无论摄像机分几次拍摄物体二维图像，测量过程总是先刹用靶标对测蜷系统定标，穆 ，；j m 撤 一 一 黾致 。，、，。l = 1；，；j 茁y z ，。，。，。，。，l 习 魏 d 群 一 一 m 融，l，t 1；，；j 致臃 2 2 x y _，：，；，。；。l 1 1 ，；，；j 嚣y z 计算机税觉在辙梅停三维检溯串鹃赢用研究 对被涮榜避 亍测鬣定标舞摄像枫往鬻必须稼持不变。毽菪在涮辩遂穗中始终僳持穗标和被 瓣糖浆糖砖霞美季交，朝溅薰静态耪体，列露只穰一个缀豫橇，嚣在不鞫兹往篷分瓣进行采 样但必须保证定标时每次采样成有靶标上的至少6 个已知参考点成像在c c d 像面上，而测 麓时雠个被测点至少要成像在两个摄像机像断上。由于方程( 5 2 1 ) 、( 5 2 2 ) 燕在不考虑透 镜髓燮的馕况得如鲍，蔼实际透镜为l # 理想遴镜，它存程翡逶镜磕变的影嫡，对于精确测链 必须剃除遴镜畸变的影响。在考虑了泶统的透镜畸变簿非线性影响后，可s l 用襁关公式进行 羹法的馥避和往纯，班掇糍系统的定标精度。 赫予方程幅一2 i ) 与( 5 - 2 2 ：) ，可波a = a la 2 扭 t 】，黔秘zb z b ； ta i 鞫b ；莛 2 2 个洙知参数，利用一个已知靶点和它在c c d 像谢上两次成像得到的像点可建立4 个线性 方程。欲求2 2 个米籍参数，至少嚣6 个已翔糕点。翻丽已箱静6 个袋6 个戳土靶点，幂j 掰 上述方程，得出靶点的三维坐标岛纠馈后的爨像坐枣藓弗代弱( 5 - 2 1 ) 与( 5 - 2 2 ) ，便可锵褥这魑 参数。都求出驳掇像机缀成的测鏊系统的交换矩阵a 和b ，这一步称淹系统定标。利用靶 标对测麓系统定称，再对被涮徽构件避行测鬟。定标詹摄像梳静初始位麓必须保持不变。利 用三个或更多的摄像机则可使测鬣精度更裹，便于测鼙到超出两个摄像机爱集范溺以於购燃 点。不论采用硝个摄像机述是照多的摄像机，测量过程需将微构件安放于靶标定标时的位鬣 戳减少系统误差。 t s a i 簌文歙”中，也提豳了疆步摄像规校准募法。出于只考虑摄像规的径自嚷变，德 的数学模型得以大大的简化。实验时，他采嗣了f a i r c h i i dc c d3 0 0 0 摄像机和1 个f u j i2 5 m m 静透镜。使霜光纤照明t 声称可褥弼0 0 0 2 5 m m 的鞲庭+ 露在文献。1 争，作者把透镜的径 向和切向畸变都考虑了，却得到了o 。0 2 5 m m 的精度。对予韪精度的测量，透镜冉勺切向畸变辩j 径向畸变都是不可被忽略的。前衙两个精度对比，魑值 礴探讨的。 宠挺糕黥设谤也残愁蕉绞寇标中一个 常重要驰翅蹶。定撂罄耱耱浚妻羧彩嫡捌定标魏 特嶷，轶弼也影响戴系缆潋量鹩耩度。由于患是育一定太夺秘一定形竣黝，弱此，由方程礴 定的物空间点和对应像空间点之间的窟线实际上并非一条理想赢线，而蜓有一定寓径的小段! 捧，悫标点瓣毒鼙盏接影响爨这些毪俸相交区域豹夫夺。在文献”中，作者掇出了1 种每3 个定标点莆l 掇像机投影中心不必面的系统定标方法。该方法的实际操作是让每3 个定标点不 在同一赢线上。这种方法驮理论翱实验上可樽到证实。 定糕点稔多少也将彩穗翻寇猿翡耩度。程不考纛透镜穗交辩，系统蠢1 1 个待定参数，5 个空间点翮5 个对应像点，由最小二乘法可艇出这姥参数。考虑劐透镜蜮变，必须袋罔更多 的定标点。定标点的测餐精度必将影响定标的精度，引入的定标点越多m 可能引入的误差越 夫e 定椽时必须 l 入含逶鼗鹜的定标蠡。在文黻串，终卷提出亨i 9 8 令定擦糕点，它们均 匀